ES2302794T3 - Dispositivo de procesamiento de imagenes. - Google Patents
Dispositivo de procesamiento de imagenes. Download PDFInfo
- Publication number
- ES2302794T3 ES2302794T3 ES02700603T ES02700603T ES2302794T3 ES 2302794 T3 ES2302794 T3 ES 2302794T3 ES 02700603 T ES02700603 T ES 02700603T ES 02700603 T ES02700603 T ES 02700603T ES 2302794 T3 ES2302794 T3 ES 2302794T3
- Authority
- ES
- Spain
- Prior art keywords
- pixel
- foreground
- background
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 373
- 238000002156 mixing Methods 0.000 claims abstract description 141
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 230000014509 gene expression Effects 0.000 claims abstract description 16
- 239000000203 mixture Substances 0.000 claims description 184
- 239000000284 extract Substances 0.000 claims description 75
- 238000000605 extraction Methods 0.000 claims description 15
- 238000003672 processing method Methods 0.000 claims description 11
- 238000000926 separation method Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000013075 data extraction Methods 0.000 claims 3
- 238000009877 rendering Methods 0.000 claims 1
- 230000015654 memory Effects 0.000 description 73
- 239000013598 vector Substances 0.000 description 62
- 238000010586 diagram Methods 0.000 description 45
- 230000008859 change Effects 0.000 description 42
- 230000008569 process Effects 0.000 description 36
- 238000004364 calculation method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 230000008520 organization Effects 0.000 description 5
- 238000010422 painting Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000037452 priming Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
- Image Processing (AREA)
Abstract
Un aparato de procesamiento de imágenes para realizar el procesamiento de imágenes sobre datos de imágenes de vídeo que están formados por un número predeterminado de píxeles obtenidos por un dispositivo de representación de imágenes que incluyen un número predeterminado de píxeles y que tiene una función integradora en el tiempo, y para calcular una relación de mezcla que indica un estado de mezcla entre componentes de primer plano y de fondo de los datos de píxeles de una pluralidad de objetos en el mundo real, comprendiendo dicho aparato de procesamiento de imágenes: medios de extracción de datos de píxeles para extraer, basados en un movimiento de un objeto en primer plano, que sirve como un primer plano de la pluralidad de objetos, una pluralidad de datos de píxeles mixtos que son los datos de píxeles de un número predeterminado de cuadros consecutivos en la que la pluralidad de cuadros son mixtos, y también para extraer, basados en un movimiento de un objeto de fondo que sirve como un fondo de la pluralidad de objetos, datos de píxeles de fondo que son los datos de píxeles formados por el objeto de fondo y que corresponden a los datos de píxeles mixtos, siendo los datos de píxeles de fondo extraídos de un cuadro que no es uno de los cuadros consecutivos en los que la pluralidad de objetos son mixtos; medios generadores de expresiones relacionales para generar expresiones relacionales para los datos de píxeles mixtos y los datos de píxeles de fondo, correspondientes al número predeterminado de cuadros consecutivos, basados en los datos de píxeles mixtos extraídos y los datos de píxeles de fondo extraídos según la fórmula: (Ver fórmula) donde M es el valor de píxel, alfa es la relación de mezcla, B es el valor de píxel de fondo, f es la suma de los componentes de primer plano, F es el valor de píxel de primer plano, y v es el número de porciones en las que el tiempo de exposición es dividido prácticamente tomado de la magnitud de movimiento de objeto en primer plano en un cuadro de referencia en unidades de paso de píxel, siendo las expresiones relacionales un conjunto de ecuaciones obtenidas aplicando la fórmula a cada uno de los píxeles de los cuadros consecutivos en los que la pluralidad de objetos son mixtos y aplicando el método de cuadrados mínimos a estas ecuaciones para obtener la única relación alfa de mezcla; y medios de detección de relación de mezcla para detectar la única relación de mezcla para el número predeterminado de cuadros consecutivos, basados en las expresiones relacionales.
Description
Dispositivo de procesamiento de imágenes.
La presente invención se refiere a aparatos de
procesamiento de imágenes y, más particularmente, a un aparato de
procesamiento de imágenes en el que se tiene en cuenta una
diferencia entre una señal detectada por un sensor y el mundo
real.
Se usa extensamente una técnica para detectar
incidentes que ocurren en el mundo real mediante un sensor y para
procesar la salida de datos muestreados desde el sensor de
imágenes.
Por ejemplo, borrosidad por movimiento ocurre en
una imagen obtenida captando con una videocámara un objeto que se
mueve delante de un fondo fijo predeterminado si la velocidad de
movimiento es relativamente alta.
Cuando un objeto está moviéndose delante de un
fondo fijo, no solo ocurre borrosidad por movimiento causada por la
mezcla del propio objeto móvil sino que también ocurre la mezcla de
la imagen de fondo y la imagen de objeto. Hasta ahora no se ha
considerado detectar el estado de mezcla de la imagen de fondo y el
objeto móvil.
El documento WO99/22520 describe que, en un
método para detectar partes cubiertas y descubiertas en una imagen
a ser interpolada entre imágenes de entrada anterior (I) y siguiente
(III) vecinas, vectores de movimiento hacia atrás desde la imagen
de entrada siguiente a la imagen de entrada anterior, y que tienen
errores de estimación hacia atrás correspondientes, y vectores de
movimiento hacia delante desde la imagen de entrada anterior a la
imagen de entrada siguiente, y que tienen errores de estimación
hacia delante correspondientes, son determinados, partes
descubiertas y cubiertas son detectada en las imágenes de entrada
anterior y siguiente vecinas, respectivamente, en la partes
descubiertas así detectadas, partes descubiertas en la imagen a ser
interpolada son detectadas determinando segundos errores de
estimación hacia atrás comparando ambas imágenes de entrada
anterior y siguiente vecinas cuando son desplazadas parcialmente
sobre los vectores de movimiento hacia atrás a una posición
temporal de dicha imagen a ser interpolada, y comparando los
segundos errores de estimación hacia atrás con un umbral, y en las
partes cubiertas así detectadas, partes cubiertas en la imagen a
ser interpolada son detectadas determinando segundos errores de
estimación hacia delante comparando ambas imágenes de entrada
anterior y siguiente vecinas cuando son desplazadas parcialmente
sobre los vectores de movimiento hacia delante a una posición
temporal de la imagen a ser interpolada, y comparando los segundos
errores de estimación hacia delante con el umbral.
El documento GB2279531A expone que el
interpolador temporal compensado en movimiento es capaz de
determinar cuando una escena de fondo es cubierta o descubierta por
un objeto en primer plano proyectando vectores de movimiento
determinados para el campo de salida sobre campos de entrada
temporalmente adyacentes (i/p1, i/p2) y detectando el número de
veces que cada píxel de entrada es usado como una fuente para el
píxel de salida (cubrimiento corresponde al uso de píxeles
múltiples en el campo siguiente mientras que descubrimiento
corresponde al uso de píxeles múltiples en el campo precedente).
Los vectores de movimiento para píxeles de salida en un área
cubierta pueden ser corregidos entonces proyectando vectores hacia
delante desde el par de cuadros precedente mientras que los píxeles
de salida en un área descubierta son corregidos proyectando vectores
hacia atrás desde el par siguiente.
El documento EP0933727A describe un aparato y
método de procesamiento de imágenes en el que datos de imágenes son
introducidos, los datos de imágenes introducidos son divididos en
bloques construidos por una pluralidad de píxeles, un movimiento de
los datos de imágenes es detectado en cada bloque, y al menos los
datos de imagen de un primer objeto y los datos de imagen de un
segundo objeto son clasificados a partir de los datos de imágenes de
acuerdo con el resultado de detección.
El documento EP 1 164 545 con una prioridad
anterior describe un aparato de procesamiento de imágenes para
segmentación de objetos en primer plano y de fondo a partir de
cuadros de vídeo, basado en información que especifica un área en
primer plano formada por objetos en primer plano, un área de fondo
formada por objetos de fondo y un área mezclada que represente una
mezcla de los objetos en primer plano y de fondo con contribuciones
de los objetos en primer plano y de fondo en sus bordes anteriores y
posteriores. El documento describe además un procesador de señales
que adquiere una segunda señal obtenida detectando una primera
señal, como una señal del mundo real, que tiene una primera
dimensión. La segunda señal tiene una segunda dimensión menor que la
primera dimensión y tiene distorsión con respecto a la primera
señal. El procesador 12 de señales realiza procesamiento de señales
que está basado en la segunda señal para generar una tercera señal
de distorsión reducida en comparación con la segunda señal.
La presente invención se ha hecho en vista de
los antecedentes descritos anteriormente. Por consiguiente, un
objeto de la presente invención es detectar una relación de mezcla
que representa el estado de mezcla de una pluralidad de objetos
tales como una imagen de fondo y una imagen de objeto móvil.
La invención se refiere a un aparato de
procesamiento de imágenes según las reivindicaciones 1 a 9.
La invención se refiere además a un método de
procesamiento de imágenes según las reivindicaciones 10 a 17.
La invención se refiere además a un método de
grabación para realizar el método de procesamiento de imágenes de
las reivindicaciones 10 a 17.
La invención se refiere además a un programa
para permitir que un ordenador ejecute el método de procesamiento de
imágenes de las reivindicaciones 10 a 17.
La Figura 1 es un esquema de bloques que ilustra
la configuración de una realización de un aparato de procesamiento
de señales según la presente invención.
La Figura 2 es un esquema de bloques que ilustra
el aparato de procesamiento de señales.
La Figura 3 ilustra la captación de imágenes
realizada por un sensor.
La Figura 4 ilustra la disposición de
píxeles.
La Figura 5 ilustra el funcionamiento de un
dispositivo de detección.
La Figura 6A ilustra una imagen obtenida por
captación de imagen de un objeto correspondiente a un primer plano
móvil y un objeto correspondiente a un fondo fijo.
La Figura 6B ilustra un modelo de una imagen
obtenida por captación de imagen de un objeto correspondiente a
primer plano móvil y un objeto correspondiente a un fondo fijo.
La Figura 7 ilustra un área de fondo, un área en
primer plano, un área mixta, un área de fondo cubierta y un área de
fondo descubierta.
La Figura 8 ilustra un modelo obtenido
extendiendo en la dirección de tiempo los valores de píxeles
alineados lado a lado en una imagen obtenida por captación de imagen
de un objeto correspondiente a un primer plano fijo y un objeto
correspondiente a un fondo fijo.
La Figura 9 ilustra un modelo en el que los
valores de píxeles están extendidos en la dirección de tiempo y el
período correspondiente al tiempo de obturador está dividido.
La Figura 10 ilustra un modelo en el que los
valores de píxeles están extendidos en la dirección de tiempo y el
período correspondiente al tiempo de obturador está dividido.
La Figura 11 ilustra un modelo en el que los
valores de píxeles están extendidos en la dirección de tiempo y el
período correspondiente al tiempo de obturador está dividido.
La Figura 12 ilustra un ejemplo en el que son
extraídos los píxeles en un área en primer plano, un área de fondo y
un área mixta.
La Figura 13 ilustra las relaciones entre los
píxeles y un modelo obtenido extendiendo los valores de píxeles en
la dirección de tiempo.
La Figura 14 ilustra un modelo en el que los
valores de píxeles están extendidos en la dirección de tiempo y el
período correspondiente al tiempo de obturador está dividido.
La Figura 15 ilustra un modelo en el que los
valores de píxeles están extendidos en la dirección de tiempo y el
periodo correspondiente al tiempo de obturador está dividido.
La Figura 16 ilustra un modelo en el que los
valores de píxeles están extendidos en la dirección de tiempo y el
período correspondiente al tiempo de obturador está dividido.
La Figura 17 ilustra un modelo en el que los
valores de píxeles están extendidos en la dirección de tiempo y el
período correspondiente al tiempo de obturador está dividido.
La Figura 18 ilustra un modelo en el que los
valores de píxeles están extendidos en la dirección de tiempo y el
período correspondiente al tiempo de obturador está dividido.
La Figura 19 es un organigrama que ilustra el
procesamiento para ajustar la cantidad de borrosidad por
movimiento.
La Figura 20 es un esquema de bloques que
ilustra un ejemplo de la configuración de una unidad 103 de
especificación de áreas.
La Figura 21 ilustra una imagen cuando es móvil
un objeto correspondiente a un primer plano.
La Figura 22 ilustra un modelo en el que los
valores de píxeles están extendidos en la dirección de tiempo y el
período correspondiente al tiempo de obturador está dividido.
La Figura 23 ilustra un modelo en el que los
valores de píxeles están extendidos en la dirección de tiempo y el
período correspondiente al tiempo de obturador está dividido.
La Figura 24 ilustra un modelo en el que los
valores de píxeles están extendidos en la dirección de tiempo y el
período correspondiente al tiempo de obturador está dividido.
La Figura 25 ilustra las condiciones para
determinar el área.
La Figura 26A ilustra un ejemplo del resultado
obtenido especificando el área mediante la unidad 103 de
especificación de áreas.
La Figura 26B ilustra un ejemplo del resultado
obtenido especificando el área mediante la unidad 103 de
especificación de áreas.
La Figura 26C ilustra un ejemplo del resultado
obtenido especificando el área mediante la unidad 103 de
especificación de áreas.
La Figura 26D ilustra un ejemplo del resultado
obtenido especificando el área mediante la unidad 103 de
especificación de áreas.
La Figura 27 ilustra un ejemplo del resultado
obtenido especificando el área mediante la unidad 103 de
especificación de áreas.
La Figura 28 es un organigrama que ilustra el
procesamiento de especificación de áreas.
La Figura 29 es un esquema de bloques que
ilustra un ejemplo de otra configuración de la unidad 103 de
especificación de áreas.
La Figura 30 ilustra un modelo en el que los
valores de píxeles están extendidos en la dirección de tiempo y el
período correspondiente al tiempo de obturador está dividido.
La Figura 31 ilustra un ejemplo de una imagen de
fondo.
La Figura 32 es un esquema de bloques que
ilustra la configuración de una porción 302 de extracción de
imágenes de objetos binarios.
La Figura 33A ilustra el cálculo de un valor de
correlación.
La Figura 33B ilustra el cálculo de un valor de
correlación.
La Figura 34A ilustra el cálculo de un valor de
correlación.
La Figura 34B ilustra el cálculo de un valor de
correlación.
La Figura 35 ilustra un ejemplo de la imagen de
objeto binario.
La Figura 36 es un esquema de bloques que
ilustra la configuración de un detector 303 de cambio de tiempo.
La Figura 37 ilustra determinaciones efectuadas
por una porción 342 determinantes de áreas.
La Figura 38 ilustra un ejemplo de
determinaciones efectuadas por el detector 303 de cambio de
tiempo.
La Figura 39 es un organigrama que ilustra el
procesamiento de especificación de áreas realizado por la unidad 103
de especificación de áreas.
La Figura 40 es un organigrama que ilustra
detalles del procesamiento de especificación de áreas.
La Figura 41 es un esquema de bloques que
ilustra otra configuración más de la unidad 103 de especificación de
áreas.
\global\parskip0.950000\baselineskip
La Figura 42 es un esquema de bloques que
ilustra la configuración de una porción 361 de procesamiento
robusto.
La Figura 43 ilustra la compensación de
movimiento realizada por un compensador 381 de movimiento.
La Figura 44 ilustra la compensación de
movimiento realizada por el compensador 381 de movimiento.
La Figura 45 es un organigrama que ilustra el
procesamiento de especificación de áreas.
La Figura 46 es un organigrama que ilustra
detalles del procesamiento robusto.
La Figura 47 es un esquema de bloques que
ilustra la configuración de un calculador 104 de relaciones de
mezcla.
La Figura 48 ilustra un ejemplo de la relación
\alpha de mezcla ideal.
La Figura 49 ilustra un modelo en el que los
valores de píxeles están extendidos en la dirección de tiempo y el
período correspondiente al tiempo de obturador está dividido.
La Figura 50 ilustra un modelo en el que los
valores de píxeles están extendidos en la dirección de tiempo y el
período correspondiente al tiempo de obturador está dividido.
La Figura 51 ilustra la selección de
píxeles.
La Figura 52 ilustra la selección de
píxeles.
La Figura 53 es un esquema de bloques que
ilustra la configuración de un procesador 401 de relaciones de
mezcla estimadas.
La Figura 54 es un esquema de bloques que
ilustra la configuración de un calculador 422 de relaciones de
mezcla.
La Figura 55 ilustra un ejemplo de la relación
de mezcla estimada.
La Figura 56 es un esquema de bloques que
ilustra otra configuración del calculador 104 de relaciones de
mezcla.
La Figura 57 es un organigrama que ilustra el
procesamiento para calcular la relación \alpha de mezcla.
La Figura 59 es un esquema de bloques que
ilustra un ejemplo de la configuración de un separador 105 de primer
plano/fondo.
La Figura 60A ilustra una imagen de entrada, una
imagen de componentes de primer plano y una imagen de componentes de
fondo.
La Figura 60B ilustra un modelo de una imagen de
entrada, una imagen de componentes de primer plano y una imagen de
componentes de fondo.
La Figura 61 ilustra un modelo en el que los
valores de píxeles están extendidos en la dirección de tiempo y el
período correspondiente al tiempo de obturador está dividido.
La Figura 62 ilustra un modelo en el que los
valores de píxeles están extendidos en la dirección de tiempo y el
período correspondiente al tiempo de obturador está dividido.
La Figura 63 ilustra un modelo en el que los
valores de píxeles están extendidos en la dirección de tiempo y el
período correspondiente al tiempo de obturador está dividido.
La Figura 64 es un esquema de bloques que
ilustra un ejemplo de la configuración de una porción separadora
601.
La Figura 65A ilustra un ejemplo de una imagen
separada de componentes de primer plano.
La Figura 65B ilustra un ejemplo de una imagen
separada de componentes de fondo.
La Figura 66 es un organigrama que ilustra el
procesamiento para separar un primer plano y un fondo.
La Figura 67 es un esquema de bloques que
ilustra un ejemplo de la configuración de una unidad 106 ajustadora
de borrosidad por movimiento.
La Figura 68 ilustra la unidad de
procesamiento.
La Figura 69 ilustra un modelo en el que los
valores de píxeles de una imagen de componentes de primer plano
están extendidos en la dirección de tiempo y el período
correspondiente al tiempo de obturador (exposición) está
dividido.
\global\parskip1.000000\baselineskip
La Figura 70 ilustra un modelo en el que los
valores de píxeles de una imagen de componentes de primer plano
están extendidos en la dirección de tiempo y el período
correspondiente al tiempo de obturador (exposición) está
dividido.
La Figura 71 ilustra un modelo en el que los
valores de píxeles de una imagen de componentes de primer plano
están extendidos en la dirección de tiempo y el período
correspondiente al tiempo de obturador (exposición) está
dividido.
La Figura 72 ilustra un modelo en el que los
valores de píxeles de una imagen de componentes de primer plano
están extendidos en la dirección de tiempo y el período
correspondiente al tiempo de obturador (exposición) está
dividido.
La Figura 73 ilustra un ejemplo de otra
configuración de la unidad 106 ajustadora de borrosidad por
movimiento.
La Figura 74 es un organigrama que ilustra el
procesamiento para ajustar la cantidad de borrosidad por movimiento
contenida en una imagen de componentes de primer plano realizado por
la unidad 106 ajustadora de borrosidad por movimiento.
La Figura 75 es un esquema de bloques que
ilustra un ejemplo de otra configuración de la unidad 106 ajustadora
de borrosidad por movimiento.
La Figura 76 ilustra un ejemplo de un modelo en
el que se indican las relaciones entre valores de píxeles y
componentes de primer plano.
La Figura 77 ilustra el cálculo de componentes
de primer plano.
La Figura 78 ilustra el cálculo de componentes
de primer plano.
La Figura 79 es un organigrama que ilustra el
procesamiento para eliminar la borrosidad por movimiento contenida
en un primer plano.
La Figura 80 es un esquema de bloques que
ilustra otra configuración de la función del aparato de
procesamiento de señales.
La Figura 81 ilustra la configuración de un
sintetizador 1001.
La Figura 82 es un esquema de bloques que
ilustra otra configuración más de la función del aparato de
procesamiento de señales.
La Figura 83 es un esquema de bloques que
ilustra la configuración de un calculador 1101 de relaciones de
mezcla.
La Figura 84 es un esquema de bloques que
ilustra la configuración de un separador 1102 de primer
plano/fondo.
La Figura 85 es un esquema de bloques que
ilustra otra configuración más de la función del aparato de
procesamiento de señales.
La Figura 86 ilustra la configuración de un
sintetizador 1201.
La Figura 1 es un esquema de bloques que ilustra
la configuración de una realización de un aparato de procesamiento
de señales según la presente invención.
Una unidad central de procesamiento (CPU:
Central Processing Unit) 21 ejecuta diversos tipos de procesamiento
según los programas almacenados en una memoria ROM 22 de solo
lectura o en una unidad 28 de almacenamiento. Los programas
ejecutados por la CPU 21 y los datos son almacenados en una memoria
RAM 23 de acceso aleatorio como sea necesario. La CPU 21, la
memoria ROM 22 y la memoria RAM 23 están conectadas entre sí por un
bus 24.
Una interfaz 25 de entrada/salida también está
conectada a la CPU 21 por vía del bus 24. Una unidad 26 de entrada,
que está formada por un teclado, un ratón, un micrófono, etc., y una
unidad 27 de salida, que está formada por una presentación visual,
un altavoz, etc., están conectadas a la interfaz 25 de
entrada/salida. La CPU 21 ejecuta diversos tipos de procesamiento
en respuesta a una orden introducida desde la unidad 26 de entrada.
Entonces, la CPU 21 extrae una imagen o un sonido, obtenido como un
resultado del procesamiento, a la unidad 27 de salida.
La unidad 28 de almacenamiento conectada a la
interfaz 25 de entrada/salida está formada, por ejemplo, de un
disco duro y almacena programas ejecutados por la CPU 21 y diversos
tipos de datos. Una unidad 29 de comunicación comunica con un
dispositivo externo por vía de Internet u otra red. En este ejemplo,
la unidad 29 de comunicación sirve como una unidad de obtención para
obtener una salida de un sensor.
Alternativamente, un programa puede ser obtenido
por vía de la unidad 29 de comunicación y almacenado en la unidad 28
de almacenamiento.
Una unidad 30 conectada a la interfaz 25 de
entrada/salida acciona un disco magnético 51, un disco óptico 52,
un disco magneto-óptico 53, una memoria 54 de semiconductor, etc.,
cuando un soporte de grabación tal está unido a la unidad 30, y
obtiene un programa o datos almacenados en el soporte
correspondiente. El programa o los datos obtenidos son transferidos
a la unidad 28 de almacenamiento y almacenados en ella si es
necesario.
Tomando un ejemplo más específico, ahora se
proporciona una descripción de un aparato de procesamiento de
señales que realiza procesamiento, tal como especificar un área que
tiene información significativa incrustada en ella o extraer
información significativa incrustada en ella a partir de datos
obtenidos por un sensor. En el ejemplo subsiguiente, un sensor de
línea de dispositivo de acoplamiento por carga (CCD:
charge-coupled device) o un sensor de área CCD
corresponde al sensor, la información de área o la relación de
mezcla corresponde a la información significativa y el estado de
mezcla de un primer plano y un fondo o la borrosidad por movimiento
en un área mixta corresponde a distorsión.
La Figura 2 es un esquema de bloques que ilustra
el aparato de procesamiento de señales.
No importa si las funciones individuales del
aparato de procesamiento de señales son implementadas por hardware o
software. Es decir, los esquemas de bloques de esta memoria
descriptiva pueden ser esquemas de bloques de hardware o esquemas de
bloques funcionales de software.
La borrosidad por movimiento es una distorsión
contenida en una imagen correspondiente a un objeto móvil, causada
por el movimiento de un objeto a ser captado en el mundo real, y las
características de captación de imagen del sensor.
En esta memoria descriptiva, una imagen a ser
captada correspondiente a un objeto en el mundo real es denominada
como un objeto imagen.
Una imagen de entrada suministrada al aparato de
procesamiento de señales es suministrada a una unidad 101 de
extracción de objetos, un a unidad 103 de especificación de áreas,
un calculador 104 de relaciones de mezcla y un separador 105 de
primer plano/fondo.
La unidad 101 de extracción de objetos extrae un
objeto imagen aproximado correspondiente a un objeto en primer
plano contenido en la imagen de entrada, y suministra el objeto
imagen extraído a un detector 102 de movimiento. La unidad 101 de
extracción de objetos detecta, por ejemplo, un contorno del objeto
imagen en primer plano contenido en la imagen de entrada a fin de
extraer un objeto imagen aproximado correspondiente al objeto en
primer plano.
La unidad 101 de extracción de objetos extrae un
objeto imagen aproximado correspondiente a un objeto de fondo
contenido en la imagen de entrada, y suministra el objeto imagen
extraído al detector 102 de movimiento. La unidad 101 extractora de
objetos extrae un objeto imagen aproximado correspondiente al objeto
de fondo a partir de, por ejemplo, la diferencia entre la imagen de
entrada y el objeto imagen extraído correspondiente al objeto en
primer plano.
Alternativamente, por ejemplo, la unidad 101
extractora de objetos puede extraer el objeto imagen aproximado
correspondiente al objeto en primer plano y el objeto imagen
aproximado correspondiente al objeto de fondo a partir de la
diferencia entre la imagen de fondo almacenada en una memoria de
fondo incorporada y la imagen de entrada.
El detector 102 de movimiento calcula un vector
de movimiento del objeto imagen extraído aproximadamente
correspondiente al objeto en primer plano según una técnica, tal
como un emparejamiento de bloques, gradiente, correlación de fase o
técnica recurrente de elementos de imagen, y suministra el vector de
movimiento calculado y la información de posición de vector de
movimiento (que es información para especificar las posiciones de
los píxeles correspondientes al vector de movimiento) a la unidad
103 de especificación de áreas, al calculador 104 de relaciones de
mezcla y a una unidad 106 de extracción de borrosidad por
movimiento.
La salida de vector de movimiento del detector
102 de movimiento contiene información correspondiente a la magnitud
v de movimiento.
El detector 102 de movimiento puede extraer el
vector de movimiento de cada objeto imagen, junto con la información
de posiciones de píxeles para especificar los píxeles del objeto
imagen, a la unidad 106 ajustadora de borrosidad por movimiento.
La magnitud v de movimiento es un valor que
indica un cambio de posición en una imagen correspondiente a un
objeto móvil en unidades de paso de píxel. Por ejemplo, si una
imagen de objeto correspondiente a un primer plano es móvil tal que
es exhibida en una posición separada cuatro píxeles de un cuadro de
referencia cuando está situada en el cuadro subsiguiente, la
magnitud v de movimiento de la imagen de objeto correspondiente al
primer plano es 4.
\newpage
La unidad 101 de extracción de objetos y el
detector 102 de movimiento son necesarios cuando se ajusta la
cantidad de borrosidad por movimiento correspondiente a una objeto
móvil.
La unidad 103 de especificación de áreas
determina a cual de un área en primer plano, un área de fondo o un
área mixta pertenece cada píxel de la imagen de entrada, y
suministrada información que indica a qué área pertenece cada píxel
(denominada en lo sucesivo "información de de área") al
calculador 104 de relaciones de mezcla, al separador 105 de primer
plano/fondo y a la unidad 106 ajustadora de borrosidad por
movimiento.
El calculador 104 de relaciones de mezcla
calcula la relación de mezcla correspondiente a los píxeles
contenidos en un área mixta 63 (denominada en lo sucesivo la
"relación \alpha de mezcla") basado en la imagen de entrada,
el vector de movimiento y su información de posición suministrados
desde el detector 102 de movimiento, y la información de área
suministrada desde la unidad 103 de especificación de áreas, y
suministra la relación \alpha de mezcla al separador 105 de primer
plano/fondo.
La relación \alpha de mezcla es un valor que
indica la relación de los componentes de imagen, correspondientes
al objeto de fondo (en lo sucesivo también serán denominados
"componentes de fondo"), al valor de píxel como es expresado
por la ecuación (3), que es mostrada a continuación.
El separador 105 de primer plano/fondo separa la
imagen de entrada en una imagen de componentes de primer plano
formada solo por los componentes de imagen correspondientes al
objeto en primer plano (en lo sucesivo también serán denominados
"componentes de primer plano") y una imagen de componentes de
fondo formada solo por los componentes de fondo basado en la
información de área suministrada desde la unidad 103 de
especificación de áreas y la relación \alpha de mezcla
suministrada desde el calculador 104 de relaciones de mezcla, y
suministra la imagen de componentes de primer plano a la unidad 106
ajustadora de borrosidad por movimiento y a un selector 107. La
imagen separada de componentes de primer plano puede ser dispuesta
como la salida final. Un primer plano y un fondo más precisos
pueden ser obtenidos comparados con un método conocido en el que
solo un primer plano y un fondo son especificados sin considerar el
área mixta.
La unidad 106 ajustadora de borrosidad por
movimiento determina la unidad de procesamiento, que indica al
menos un píxel contenido en la imagen de componente de primer plano,
basada en la magnitud v de movimiento obtenida del vector de
movimiento y basada en la información de área. La unidad de
procesamiento son datos que especifican un grupo de píxeles a ser
sometidos a los ajustes de borrosidad por movimiento.
Basada en la cantidad en la que la borrosidad
por movimiento ha de ser ajustada, que es introducida en el aparato
de procesamiento de señales, la imagen de componentes de primer
plano suministrada desde el separador 105 de primer plano/fondo, el
vector de movimiento y su información de posición suministrados
desde el detector 102 de movimiento y la unidad de procesamiento,
la unidad 106 ajustadora de borrosidad por movimiento ajusta la
cantidad de borrosidad por movimiento contenida en la imagen de
componentes de primer plano eliminando, reduciendo o aumentando la
borrosidad por movimiento contenida en la imagen de componentes de
primer plano. Después, la unidad 106 ajustadora de borrosidad por
movimiento extrae la imagen de componentes de primer plano, en la
que la cantidad de borrosidad por movimiento está ajustada, al
selector 107. No es esencial que el vector de movimiento y su
información de posición sean usados.
El selector 107 selecciona una de la imagen de
componentes de primer plano, suministrada desde el separador 105 de
primer plano/fondo, y la imagen de componentes de primer plano, en
la que la cantidad de borrosidad por movimiento está ajustada,
suministrada desde la unidad 106 ajustadora de borrosidad por
movimiento, basado en, por ejemplo, una señal de selección que
refleja una selección de usuario, y extrae la imagen seleccionada de
componentes de primer plano.
Una imagen de entrada suministrada al aparato de
procesamiento de señales es tratada a continuación con referencia a
las Figuras 3 a 18.
La Figura 3 ilustra la captación de imagen
realizada por un sensor. Por ejemplo, el sensor está formado por
una videocámara de dispositivo de acoplamiento por carga (CCD:
Charge-Coupled Device) provista de un sensor de
área CCD, que es un dispositivo de formación de imagen de estado
sólido. Un objeto 111, correspondiente a un primer plano en el
mundo real, se mueve, por ejemplo, horizontalmente desde la
izquierda a la derecha, entre un objeto 112 correspondiente a un
fondo y el sensor.
El sensor capta la imagen del objeto 111,
correspondiente al primer plano, junto con la imagen del objeto 112
correspondiente al fondo. El sensor extrae la imagen captada en
unidades de cuadros. Por ejemplo, el sensor extrae una imagen que
tiene 30 cuadros por segundo. El tiempo de exposición del sensor
puede ser 1/30 de segundo. El tiempo de exposición es un período
desde cuando el sensor empieza a convertir la luz de entrada en
carga eléctrica hasta cuando la conversión de la luz de entrada a
la carga eléctrica es terminada. El tiempo de exposición también es
denominado "tiempo de obturador".
La Figura 4 ilustra la disposición de píxeles.
En la Figura 4, A a I indican los píxeles individuales. Los píxeles
están dispuestos en un plano de una imagen correspondiente. Un
dispositivo de detección correspondiente a cada píxel está
dispuesto en el sensor. Cuando el sensor realiza la captación de
imagen, cada dispositivo de detección extrae un valor de píxel del
píxel correspondiente que forma la imagen. Por ejemplo, la posición
del dispositivo de detección en la dirección X corresponde a la
dirección horizontal en la imagen mientras que la posición del
dispositivo de detección en la dirección Y corresponde a la
dirección vertical en la imagen.
Como se muestra en la Figura 5, el dispositivo
de detección, que es un CCD por ejemplo, convierte la luz de
entrada en carga eléctrica durante un período correspondiente a un
tiempo de obturador (exposición), y almacena la carga eléctrica
convertida. La cantidad de carga es casi proporcional a la
intensidad de la luz de entrada y al período durante el que la luz
es introducida. El dispositivo de detección suma secuencialmente la
carga eléctrica convertida a partir de la luz de entrada a la carga
eléctrica almacenada durante el período correspondiente al tiempo
de obturador (exposición). Es decir, el dispositivo de detección
integra la luz de entrada durante el período correspondiente al
tiempo de obturador (exposición) y almacena la carga eléctrica
correspondiente a la cantidad de luz integrada. Puede considerarse
que el dispositivo de detección tiene una función integradora con
respecto al
tiempo.
tiempo.
La carga eléctrica almacenada en el dispositivo
de detección es convertida en un valor de tensión por un circuito
(no mostrado), y el valor de tensión es convertido además en un
valor de píxel, tal como dato digital, y es extraído. Por
consiguiente, cada valor de píxel extraído del sensor es un valor
proyectado sobre un espacio lineal, que es un resultado de integrar
una cierta porción tridimensional del objeto correspondiente al
primer plano o al fondo con respecto al tiempo de obturador
(exposición).
El aparato de procesamiento de señales extrae
información significativa incrustada en la señal de salida, por
ejemplo, la relación \alpha de mezcla, mediante la operación de
almacenamiento del sensor. El aparato de procesamiento de señales
ajusta la cantidad de distorsión, por ejemplo, la cantidad de
borrosidad por movimiento, causada por la mezcla del propio objeto
imagen en primer plano. El aparato de procesamiento de señales
también ajusta la cantidad de distorsión causada por la mezcla del
objeto imagen en primer plano y del objeto imagen de fondo.
La Figura 6A ilustra una imagen obtenida
captando un objeto móvil correspondiente a un primer plano y un
objeto fijo correspondiente a un fondo. En un ejemplo mostrado en
la Figura 6A, el objeto correspondiente al primer plano es móvil
horizontalmente desde la izquierda a la derecha con respecto a la
pantalla.
La Figura 6B ilustra un modelo obtenido
extendiendo en la dirección de tiempo los valores de píxeles
correspondientes a una línea de la imagen mostrada en la Figura 6A.
La dirección horizontal mostrada en la Figura 6B corresponde a la
dirección espacial X en la Figura 6A.
Los valores de los píxeles en el área de fondo
son formados solo a partir de los componentes de fondo, o sea, los
componentes de imagen correspondientes al objeto de fondo. Los
valores de los píxeles en el área en primer plano son formados solo
a partir de los componentes de primer plano, es decir, los
componentes de imagen correspondientes al objeto en primer
plano.
Los valores de los píxeles del área mixta están
formados a partir de los componentes de fondo y los componentes de
fondo y los componentes de primer plano. Como los valores de los
píxeles en el área mixta están formados a partir de los componentes
de fondo y los componentes de primer plano, puede ser denominada un
"área de distorsión". El área mixta es clasificada además en
un área de fondo cubierta y un área de fondo descubierta.
El área de fondo cubierta es un área mixta en
una posición correspondiente al extremo anterior en la dirección en
la que el objeto en primer plano está moviéndose, donde los
componentes de fondo son cubiertos gradualmente con el primer plano
en el tiempo.
En contraste, el área de fondo descubierta es un
área mixta correspondiente al extremo posterior en la dirección en
la que el objeto en primer plano está moviéndose, donde los
componentes de fondo aparecen gradualmente en el tiempo.
Como se trató antes, la imagen que contiene el
área en primer plano, el área de fondo o el área de fondo cubierta
o el área de fondo descubierta es introducida como la imagen de
entrada en la unidad 103 de especificación de áreas, el calculador
104 de relaciones de mezcla y el separador 105 de primer
plano/fondo.
La Figura 7 ilustra el área de fondo, el área en
primer plano, el área mixta, el área de fondo cubierta y el área de
fondo descubierta tratadas anteriormente. En las áreas
correspondientes a la imagen mostrada en la Figura 6A, el área de
fondo es una porción fija, el área en primer plano es una porción
móvil, el área de fondo cubierta del área mixta es una porción que
cambia desde el fondo al primer plano y el área de fondo descubierta
del área mixta es una porción que cambia desde el primer plano al
fondo.
La Figura 8 ilustra un modelo obtenido
extendiendo en la dirección de tiempo los valores de píxeles de los
píxeles alineados lado a lado en la imagen obtenida captando la
imagen del objeto correspondiente al primer plano fijo y la imagen
del objeto correspondiente al fondo fijo. Por ejemplo, como los
píxeles alineados lado a lado, píxeles dispuestos en una línea en la
pantalla, pueden ser seleccionados.
\newpage
Los valores de píxeles indicados por F01 a F04
mostrados en la Figura 8 son valores de los píxeles correspondientes
al objeto del primer plano fijo. Los valores de píxeles indicados
por B01 a B04 mostrados en la Figura 8 son valores de los píxeles
correspondientes al objeto del fondo fijo.
El tiempo transcurre desde la parte superior a
la parte inferior en la Figura 8, en la dirección vertical de la
Figura 8. La posición en el lado superior del rectángulo en la
Figura 8 corresponde al momento en el que el sensor empieza a
convertir la luz de entrada en carga eléctrica, y la posición en el
lado inferior del rectángulo en la Figura 8 corresponde al momento
en el que ha terminado la conversión de la luz de entrada en carga
eléctrica. Es decir, la distancia desde el lado superior al lado
inferior del rectángulo en la Figura 8 corresponde al tiempo de
exposición.
Los píxeles mostrados en la Figura 8 son
descritos a continuación suponiendo que, por ejemplo, el tiempo de
exposición es igual que el tamaño de cuadro.
La dirección horizontal en la Figura 8
corresponde a dirección espacial X en la Figura 6A. Más
específicamente, en el ejemplo mostrado en la Figura 8, la
distancia desde el lado izquierdo del rectángulo indicado por
"F01" en la Figura 8 al lado derecho del rectángulo indicado
por "B04" es ocho veces el paso de píxel, o sea, ocho píxeles
consecutivos.
Cuando el objeto en primer plano y el objeto de
fondo son fijos, la entrada de luz en el sensor no cambia durante el
período correspondiente al tiempo de exposición.
El período correspondiente al tiempo de
exposición es dividido en dos o más porciones de períodos iguales.
Por ejemplo, si el número de porciones divididas virtuales es 4, el
modelo mostrado en la Figura 8 puede ser representado por el modelo
mostrado en la Figura 9. El número de porciones divididas virtuales
puede ser fijado según la magnitud v de movimiento del objeto
correspondiente al primer plano dentro del tiempo de exposición.
Por ejemplo, el número de porciones divididas virtuales es dispuesto
en 4 cuando la magnitud v de movimiento es 4, y el período
correspondiente al tiempo de exposición es dividido en cuatro
porciones.
La línea superior de la Figura 9 corresponde al
primer período dividido desde cuando el obturador se ha abierto. La
segunda línea en la Figura 9 corresponde al segundo período dividido
desde cuando el obturador se ha abierto. La tercera línea en la
Figura 9 corresponde al tercer período dividido desde cuando el
obturador se ha abierto. La cuarta línea en la Figura 9 corresponde
al cuarto período dividido desde cuando el obturador se ha
abierto.
El tiempo de exposición dividido de acuerdo con
la magnitud v de movimiento también es denominado en lo sucesivo el
"tiempo de exposición/v".
Cuando el objeto correspondiente al primer plano
es fijo, la luz introducida en el sensor no cambia y, de este modo,
el componente F01/v de primer plano es igual que el valor obtenido
dividiendo el valor F01 de píxel por el número de porciones
divididas virtuales. De modo similar, cuando el objeto
correspondiente al primer plano es fijo, el componente F02/v de
primer plano es igual al valor obtenido dividiendo el valor F02 de
píxel por el número de porciones divididas virtuales, el componente
F03/v de primer plano es igual al valor obtenido dividiendo el
valor F03 de píxel por el número de porciones divididas virtuales y
el componente F04/v de primer plano es igual al valor obtenido
dividiendo el valor F04 de píxel por el número de porciones
divididas virtuales.
Cuando el objeto correspondiente al fondo es
fijo, la luz introducida en el sensor no cambia y, de este modo, el
componente B01/v de fondo es igual que el valor obtenido dividiendo
el valor B01 de píxel por el número de porciones divididas
virtuales. De modo similar, cuando el objeto correspondiente al
fondo es fijo, el componente B02/v de fondo es igual que el valor
obtenido dividiendo el valor B02 de píxel por el número de porciones
divididas virtuales, el componente B03/v de fondo es igual que el
valor obtenido dividiendo el valor B03 de píxel por el número de
porciones divididas virtuales, y el componente B04/v de fondo es
igual que el valor obtenido dividiendo el valor B04 de píxel por el
número de porciones divididas virtuales.
Más específicamente, cuando el objeto
correspondiente al primer plano es fijo, la luz correspondiente al
objeto en primer plano introducida en el sensor no cambia durante
el período correspondiente al tiempo de exposición. Por
consiguiente, el componente F01/v de primer plano correspondiente a
la primera porción de tiempo de exposición/v desde cuando el
obturador se ha abierto, el componente F01/v de primer plano
correspondiente a la segunda porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, el componente F01/v de
primer plano correspondiente a la tercera porción del tiempo de
exposición/v desde cuando el obturador se ha abierto y el
componente F01/v de primer plano correspondiente a la cuarta porción
del tiempo de exposición/v desde cuando el obturador se ha abierto
se hacen del mismo valor. Lo mismo es aplicable a F02/v hasta F04/v,
como en el caso de F01/v.
Cuando el objeto correspondiente al fondo es
fijo, la luz correspondiente al objeto de fondo introducida en el
sensor no cambia durante el período correspondiente al tiempo de
exposición. Por consiguiente, el componente B01/v de fondo
correspondiente a la primera porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, el componente B01/v de
fondo correspondiente a la segunda porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, el componente
B01/v de fondo correspondiente a la tercera porción del tiempo de
exposición/v desde cuando el obturador se ha abierto y el componente
B01/v de fondo correspondiente a la cuarta porción del tiempo de
exposición/v desde cuando el obturador se ha abierto se hacen del
mismo valor. Lo mismo es aplicable a B02/v hasta B04/v.
Se proporciona una descripción del caso en el
que el objeto correspondiente al primer plano es móvil y el objeto
correspondiente al fondo es fijo.
La Figura 10 ilustra un modelo obtenido
extendiendo en la dirección de tiempo los valores de píxeles de los
píxeles en una línea, que incluye un área de fondo cubierta, cuando
el objeto correspondiente al primer plano está moviéndose hacia la
derecha en la Figura 10. En la Figura 10, la magnitud v de
movimiento es 4. Como un cuadro es un período corto, puede
suponerse que el objeto correspondiente al primer plano es un cuerpo
rígido que se mueve con velocidad constante. En la Figura 10, la
imagen de objeto correspondiente al primer plano es móvil tal que
está situada cuatro píxeles hacia la derecha con respecto a un
cuadro de referencia cuando es exhibida en el cuadro
subsiguiente.
En la Figura 10, los píxeles desde el píxel
izquierdo al cuarto píxel pertenecen al área en primer plano. En la
Figura 10, los píxeles desde el quinto píxel al séptimo píxel desde
la izquierda pertenecen al área mixta que es el área de fondo
cubierta. En la Figura 10, el píxel derecho pertenece al área de
fondo.
El objeto correspondiente al primer plano es
móvil tal que cubre gradualmente el objeto correspondiente al fondo
en el tiempo. Por consiguiente, los componentes contenidos en los
valores de píxeles de los píxeles pertenecientes al área de fondo
cubierta cambian desde los componentes de fondo a los componentes de
primer plano en un cierto momento durante el período correspondiente
al tiempo de exposición.
Por ejemplo, el valor M de píxel rodeado por el
cuadro grueso en la Figura 10 es expresado por la ecuación (1)
siguiente:
(1)M =
B02/v+B02/v+F07/v+F06/v
Por ejemplo, el quinto píxel desde la izquierda
contiene un componente de fondo correspondiente a una porción del
tiempo de exposición/v y componentes de primer plano
correspondientes a tres porciones del tiempo de exposición/v y, por
tanto, la relación \alpha de mezcla del quinto píxel desde la
izquierda es 1/4. El sexto píxel desde la izquierda contiene
componentes de fondo correspondientes a dos porciones del tiempo de
exposición/v y componentes de primer plano correspondientes a dos
porciones del tiempo de exposición/v y, por tanto, la relación
\alpha de mezcla del sexto píxel desde la izquierda es 1/2. El
séptimo píxel desde la izquierda contiene componentes de fondo
correspondientes a tres porciones del tiempo de exposición/v y un
componente de primer plano correspondiente a una porción del tiempo
de exposición/v y, por tanto, la relación \alpha de mezcla del
séptimo píxel desde la izquierda es 3/4.
Puede suponerse que el objeto correspondiente al
primer plano es un cuerpo rígido y el objeto en primer plano es
móvil con velocidad constante tal que es exhibido cuatro píxeles a
la derecha en el cuadro subsiguiente. Por consiguiente, por
ejemplo, el componente F07/v de primer plano del cuarto píxel desde
la izquierda en la Figura 10, correspondiente a la primera porción
del tiempo de exposición/v desde cuando el obturador se ha abierto,
es igual que el componente de primer plano del quinto píxel desde la
izquierda en la Figura 10 correspondiente a la segunda porción del
tiempo de exposición/v desde cuando el obturador se ha abierto. De
modo similar, el componente F07/v de primer plano es igual que el
componente de primer plano del sexto píxel desde la izquierda en la
Figura 10, correspondiente a la tercera porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, y que el
componente de primer plano del séptimo píxel desde la izquierda en
la Figura 10 correspondiente a la cuarta porción del tiempo de
exposición/v desde cuando el obturador se ha abierto.
Puede suponerse que el objeto correspondiente al
primer plano es un cuerpo rígido y el objeto en primer plano es
móvil con velocidad constante tal que es exhibido cuatro píxeles
hacia la derecha en el cuadro subsiguiente. Por consiguiente, por
ejemplo, el componente F06/v de primer plano del tercer píxel desde
la izquierda en la Figura 10, correspondiente a la primera porción
del tiempo de exposición/v desde cuando el obturador se ha abierto,
es igual que el componente de primer plano del cuarto píxel desde la
izquierda en la Figura 10 correspondiente a la segunda porción del
tiempo de exposición/v desde cuando el obturador se ha abierto. De
modo similar, el componente F06/v de primer plano es igual que el
componente de primer plano del quinto píxel desde la izquierda en
la Figura 10, correspondiente a la tercera porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, y que el
componente de primer plano del sexto píxel desde la izquierda en la
Figura 10 correspondiente a la cuarta porción del tiempo de
exposición/v desde cuando el obturador se ha abierto.
Puede suponerse que el objeto correspondiente al
primer plano es un cuerpo rígido y el objeto en primer plano es
móvil con velocidad constante tal que es exhibido cuatro píxeles
hacia la derecha en el cuadro subsiguiente. Por consiguiente, por
ejemplo, el componente F05/v de primer plano del segundo píxel desde
la izquierda en la Figura 10, correspondiente a la primera porción
del tiempo de exposición/v desde cuando el obturador se ha abierto,
es igual que el componente de primer plano del tercer píxel desde la
izquierda en la Figura 10 correspondiente a la segunda porción del
tiempo de exposición/v desde cuando el obturador se ha abierto. De
modo similar, el componente F05/v de primer plano es igual que el
componente de primer plano del cuarto píxel desde la izquierda en
la Figura 10, correspondiente a la tercera porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, y que el
componente de primer plano del quinto píxel desde la izquierda en
la Figura 10 correspondiente a la cuarta porción del tiempo de
exposición/v desde cuando el obturador se ha abierto.
\newpage
\global\parskip0.900000\baselineskip
Puede suponerse que el objeto correspondiente al
primer plano es un cuerpo rígido y el objeto en primer plano es
móvil con velocidad constante tal que es exhibido cuatro píxeles
hacia la derecha en el cuadro subsiguiente. Por consiguiente, por
ejemplo, el componente F04/v de primer plano del píxel izquierdo en
la Figura 10, correspondiente a la primera porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, es igual que
el componente de primer plano del segundo píxel desde la izquierda
en la Figura 10 correspondiente a la segunda porción del tiempo de
exposición/v desde cuando el obturador se ha abierto. De modo
similar, el componente F04/v de primer plano es igual que el
componente de primer plano del tercer píxel desde la izquierda en la
Figura 10, correspondiente a la tercera porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, y que el
componente de primer plano del cuarto píxel desde la izquierda en la
Figura 10 correspondiente a la cuarta porción del tiempo de
exposición/v desde cuando el obturador se ha abierto.
Como el área en primer plano correspondiente al
objeto móvil contiene borrosidad por movimiento como se trató antes,
también puede ser denominada un "área de distorsión".
La Figura 11 ilustra un modelo obtenido
extendiendo en la dirección de tiempo los valores de píxeles en una
línea que incluye un área de fondo descubierta cuando el objeto
correspondiente al primer plano es móvil hacia la derecha en la
Figura 11. En la Figura 11, la magnitud v de movimiento es 4. Como
un cuadro es un período corto, puede suponerse que el objeto
correspondiente al primer plano es un cuerpo rígido móvil con
velocidad constante. En la Figura 11, la imagen de objeto
correspondiente al primer plano es móvil hacia la derecha tal que
está situada cuatro píxeles hacia la derecha con respecto a un
cuadro de referencia cuando es exhibido en el cuadro
subsiguiente.
En la Figura 11, los píxeles desde el píxel
izquierdo al cuarto píxel pertenecen al área de fondo. En la Figura
11, los píxeles desde el quinto píxel al séptimo píxel desde la
izquierda pertenecen al área mixta que es un área de fondo
descubierta. En la Figura 11, el píxel derecho pertenece al área en
primer plano.
El objeto correspondiente al primer plano que
cubre el objeto correspondiente al fondo es móvil tal que es
separado gradualmente del objeto correspondiente al fondo en el
tiempo. Por consiguiente, los componentes contenidos en los valores
de píxeles de los píxeles pertenecientes al área de fondo
descubierta cambian desde los componentes de primer plano a los
componentes de fondo en un cierto momento del período
correspondiente al tiempo de exposición.
Por ejemplo, el valor M' de píxel rodeado por el
cuadro grueso en la Figura 11 es expresado por la ecuación (2).
(2)M' =
F02/v+F01/v+B26/v+B26/v
Por ejemplo, el quinto píxel desde la izquierda
contiene componentes de fondo correspondientes a tres porciones del
tiempo de exposición/v y un componente de primer plano
correspondiente a una porción del tiempo de exposición/v y, por
tanto, la relación \alpha de mezcla del quinto píxel desde la
izquierda es 3/4. El sexto píxel desde la izquierda contiene
componentes de fondo correspondientes a dos porciones del tiempo de
exposición/v y componentes de primer plano correspondientes a dos
porciones del tiempo de exposición/v y, por tanto, la relación
\alpha de mezcla del sexto píxel desde la izquierda es 1/2. El
séptimo píxel desde la izquierda contiene un componente de fondo
correspondiente a una porción del tiempo de exposición/v y
componentes de primer plano correspondientes a tres porciones del
tiempo de exposición/v y, por tanto, la relación \alpha de mezcla
del séptimo píxel desde la izquierda es 1/4.
Cuando las ecuaciones (1) y (2) son
generalizadas, el valor M de píxel puede ser expresado por la
ecuación (3):
(3)M = \alpha
\cdot B + \sum\limits_{i}Fi /
v
donde \alpha es la relación de
mezcla, B indica un valor de píxel del fondo y Fi/v designa un
componente de primer
plano.
Puede suponerse que el objeto correspondiente al
primer plano es un cuerpo rígido que es móvil con velocidad
constante, y que la magnitud de movimiento es 4. Por consiguiente,
por ejemplo, el componente F01/v de primer plano del quinto píxel
desde la izquierda en la Figura 11, correspondiente a la primera
porción del tiempo de exposición/v desde cuando el obturador se ha
abierto, es igual que el componente de primer plano del sexto píxel
desde la izquierda en la Figura 11 correspondiente a la segunda
porción del tiempo de exposición/v desde cuando el obturador se ha
abierto. De modo similar, el componente F01/v de primer plano es
igual que el componente de primer plano del séptimo píxel desde la
izquierda en la Figura 11, correspondiente a la tercera porción del
tiempo de exposición/v desde cuando el obturador se ha abierto, y
que el componente de primer plano del octavo píxel desde la
izquierda en la Figura 11 correspondiente a la cuarta porción del
tiempo de exposición/v desde cuando el obturador se ha abierto.
Puede suponerse que el objeto correspondiente al
primer plano es un cuerpo rígido, que es móvil con velocidad
constante, y qué la magnitud v de movimiento es 4. Por consiguiente,
por ejemplo, el componente F02/v de primer plano del sexto píxel
desde la izquierda en la Figura 11, correspondiente a la primer
porción del tiempo de exposición/v desde cuando el obturador se ha
abierto, es igual que el componente de primer plano del séptimo
píxel desde la izquierda en la Figura 11 correspondiente a la
segunda porción del tiempo de exposición/v desde cuando el
obturador se ha abierto. De modo similar, el componente F02/v de
primer plano es igual que el componente de primer plano del octavo
píxel desde la izquierda en la Figura 11 correspondiente a la
tercera porción del tiempo de exposición/v desde cuando el obturador
se ha abierto.
\global\parskip1.000000\baselineskip
Puede suponerse que el objeto correspondiente al
primer plano es un cuerpo rígido, que es móvil con velocidad
constante, y que la magnitud v de movimiento es 4.
Consiguientemente, por ejemplo, el componente F03/v de primer plano
del séptimo píxel desde la izquierda en la Figura 11,
correspondiente a la primera porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, es igual que el componente
de primer plano del octavo píxel desde la izquierda en la Figura 11
correspondiente a la segunda porción del tiempo de exposición/v
desde cuando el obturador se ha abierto.
Con referencia a las Figuras 9 a 11, se ha
descrito que el número de porciones divididas virtuales es 4. El
número de porciones divididas virtuales corresponde a la magnitud v
de movimiento. Generalmente, la magnitud v de movimiento
corresponde a la velocidad de movimiento del objeto correspondiente
al primer plano. Por ejemplo, si el objeto correspondiente al
primer plano es móvil tal que es exhibido cuatro píxeles hacia la
derecha con respecto a cierto cuadro cuando está situado en el
cuadro subsiguiente, la magnitud v de movimiento es dispuesta en 4.
El número de porciones divididas virtuales es dispuesto en 4 de
acuerdo con la magnitud v de movimiento. De modo similar, cuando el
objeto correspondiente al primer plano es móvil tal que es exhibido
seis píxeles hacia la izquierda con respecto a un cierto cuadro
cuando está situado en el cuadro subsiguiente, la magnitud v de
movimiento es dispuesta en 6, y el número de porciones divididas
virtuales es dispuesta en 6.
Las Figuras 12 y 13 ilustran la relación del
área en primer plano, el área de fondo y el área mixta que consiste
en un fondo cubierto o un fondo descubierto, que son tratadas
anteriormente, con los componentes de primer plano y los componentes
de fondo correspondientes a los períodos divididos del tiempo de
exposición.
La Figura 12 ilustra un ejemplo en el que
píxeles en el área en primer plano, el área de fondo y el área mixta
son extraídos de una imagen que contiene un primer plano
correspondiente a un objeto móvil enfrente de un fondo fijo. En el
ejemplo mostrado en la Figura 12, el objeto correspondiente al
primer plano es móvil horizontalmente con respecto a la
pantalla.
El cuadro nº n+1 es un cuadro subsiguiente al
cuadro nº n y el cuadro nº n+2 es un cuadro subsiguiente al cuadro
nº n+1.
Los píxeles en el área en primer plano, el área
de fondo y el área mixta son extraídos de uno de los cuadros nº n a
nº n+2, y la magnitud v de movimiento es dispuesta en 4. En la
Figura 13 se muestra un modelo obtenido extendiendo en la dirección
de tiempo los valores de píxeles de los píxeles extraídos.
Como el objeto correspondiente al primer plano
es móvil, los valores de píxeles en el área en primer plano están
formados por cuatro componentes diferentes de primer plano
correspondientes al tiempo de exposición/v. Por ejemplo el píxel
izquierdo de los píxeles en el área en primer plano mostrada en la
Figura 13 consisten en F01/v, F02/v, F03/v y F04/v. O sea, los
píxeles en el primer plano contienen borrosidad por movimiento.
Como el objeto correspondiente al fondo es fijo,
no cambia la luz introducida en el sensor correspondiente al fondo
durante el tiempo de exposición. En este caso, los valores de
píxeles en el área de fondo no contienen borrosidad por
movimiento.
Los valores de píxeles en el área mixta que
consta de un área de fondo cubierta o un área de fondo descubierta
están formados por componentes de primer plano y componentes de
fondo.
A continuación se proporciona una descripción de
un modelo obtenido extendiendo en la dirección de tiempo los
valores de píxeles de los píxeles que están alineados lado a lado
en una pluralidad de cuadros y que están situados en las mismas
posiciones cuando los cuadros son superpuestos cuando la imagen
correspondiente al objeto es móvil. Por ejemplo, cuando la imagen
correspondiente al objeto es móvil horizontalmente con respecto a
la pantalla, píxeles alineados en la pantalla pueden ser
seleccionados como los píxeles alineados lado a lado.
La Figura 14 ilustra un modelo obtenido
extendiendo en la dirección de tiempo los píxeles que están
alineados lado a lado en tres cuadros de una imagen obtenida
captando un objeto correspondiente a un fondo fijo y que están
situados en las mismas posiciones cuando los cuadros están
superpuestos. El cuadro nº n es el cuadro subsiguiente al cuadro nº
n-1 y el cuadro nº n+1 es el cuadro subsiguiente al
cuadro nº n. Lo mismo es aplicable a otros cuadros.
Los valores B01 a B12 de píxeles mostrados en la
Figura 14 son valores de píxeles correspondientes al objeto de
fondo fijo. Como el objeto correspondiente al fondo es fijo, los
valores de píxeles de los píxeles correspondientes en el cuadro nº
n-1 al cuadro nº n+1 no cambian. Por ejemplo, el
píxel en el cuadro nº n y el píxel en el cuadro nº n+1, situados en
la posición correspondiente del píxel que tiene el valor B05 de
píxel en el cuadro nº n-1, tienen el valor B05 de
píxel.
La Figura 15 ilustra un modelo obtenido
extendiendo en la dirección de tiempo los píxeles que están
alineados lado a lado en tres cuadros de una imagen obtenida
captando un objeto correspondiente a un primer plano que es móvil
hacia la derecha en la Figura 15 junto con un objeto correspondiente
a un fondo fijo y que están situados en las mismas posiciones
cuando los cuadros están superpuestos. El modelo mostrado en la
Figura 15 contiene un área de fondo cubierta.
En la Figura 15, puede suponerse que el objeto
correspondiente al primer plano es un cuerpo rígido que se mueve
con velocidad constante, y que está moviéndose tal que es exhibido
cuatro píxeles hacia la derecha en el cuadro subsiguiente. Por
consiguiente, la magnitud v de movimiento es 4 y el número de
porciones divididas virtuales es 4.
Por ejemplo, el componente de primer plano del
píxel izquierdo del cuadro nº n-1 en la Figura 15,
correspondiente a la primera porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, es F12/v y el componente
de primer plano del segundo píxel desde la izquierda en la Figura
15, correspondiente a la segunda porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, también es F12/v. El
componente de primer plano del tercer píxel desde la izquierda en
la Figura 15, correspondiente a la tercera porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, y el
componente de primer plano del cuarto píxel desde la izquierda en
la Figura 15, correspondiente a la cuarta porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, son F12/v.
El componente de primer plano del píxel
izquierdo del cuadro nº n-1 en la Figura 15,
correspondiente a la segunda porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, es F11/v. El componente de
primer plano del segundo píxel desde la izquierda en la Figura 15,
correspondiente a la tercera porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, también es F11/v. El
componente de primer plano del tercer píxel desde la izquierda en
la Figura 15, correspondiente a la cuarta porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, es F11/v.
El componente de primer plano del píxel
izquierdo del cuadro nº n-1 en la Figura 15,
correspondiente a la tercera porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, es F10/v. El componente de
primer plano del segundo píxel desde la izquierda en la Figura 15,
correspondiente a la cuarta porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, también es F10/v. El
componente de primer plano del píxel izquierdo del cuadro nº
n-1 en la Figura 15, correspondiente a la cuarta
porción del tiempo de exposición/v desde que el obturador se ha
abierto, es F09/v.
Como el objeto correspondiente al fondo es fijo,
el componente de fondo del segundo píxel desde la izquierda del
cuadro nº n-1 en la Figura 15, correspondiente a la
primera porción del tiempo de exposición/v desde cuando el
obturador se ha abierto, es B01/v. Los componentes de fondo del
tercer píxel desde la izquierda del cuadro nº n-1
en la Figura 15, correspondientes a las porciones primera y segunda
del tiempo de exposición/v desde cuando el obturador se ha abierto,
son B02/v. Los componentes de fondo del cuarto píxel desde la
izquierda del cuadro nº n-1 en la Figura 15,
correspondientes a las porciones primera a tercera del tiempo de
exposición/v desde cuando el obturador se ha abierto, son B03/v.
En el cuadro nº n-1 en la Figura
15, el píxel izquierdo pertenece al área en primer plano, y los
píxeles segundo a cuarto desde la izquierda pertenecen al área
mixta que es un área de fondo cubierta.
Los píxeles quinto a duodécimo desde la
izquierda del cuadro nº n-1 en la Figura 15
pertenecen al área de fondo y sus valores de píxeles son B04 a B11,
respectivamente.
Los píxeles primero a quinto desde la izquierda
en el cuadro nº n en la Figura 15 pertenecen al área en primer
plano. El componente de primer plano en el tiempo de exposición/v en
el área en primer plano del cuadro nº n es uno cualquiera de F05/v a
F12/v.
Puede suponerse que el objeto correspondiente al
primer plano es un cuerpo rígido que se mueve con velocidad
constante y que es móvil tal que la imagen en primer plano es
exhibida cuatro píxeles hacia la derecha en el cuadro subsiguiente.
Por consiguiente, el componente de primer plano del quinto píxel
desde la izquierda del cuadro nº n en la Figura 15, correspondiente
a la primera porción del tiempo de exposición/v desde cuando el
obturador se ha abierto, es F12/v y el componente de primer plano
del sexto píxel desde la izquierda en la Figura 15, correspondiente
a la segunda porción del tiempo de exposición/v desde cuando el
obturador se ha abierto, también es F12/v. El componente de primer
plano del séptimo píxel desde la izquierda en la Figura 15,
correspondiente a la tercera porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, y el componente de primer
plano del octavo píxel desde la izquierda en la Figura 15,
correspondiente a la cuarta porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, son F12/v.
El componente de primer plano del quinto píxel
desde la izquierda del cuadro nº n en la Figura 15, correspondiente
a la segunda porción del tiempo de exposición/v desde cuando el
obturador se ha abierto, es F11/v. El componente de primer plano
del sexto píxel desde la izquierda en la Figura 15, correspondiente
a la tercera porción del tiempo de exposición/v desde cuando el
obturador se ha abierto, también es F11/v. El componente de primer
plano del séptimo píxel desde la izquierda en la Figura 15,
correspondiente a la cuarta porción del tiempo de exposición/v desde
cuando el obturador se ha abierto, es F11/v.
El componente de primer plano del quinto píxel
desde la izquierda del cuadro nº n en la Figura 15, correspondiente
a la tercera porción del tiempo de exposición/v desde cuando el
obturador se ha abierto, es F10/v. El componente de primer plano
del sexto píxel desde la izquierda en la Figura 15, correspondiente
a la cuarta porción del tiempo de exposición/v desde cuando el
obturador se ha abierto, también es F10/v. El componente de primer
plano del quinto píxel desde la izquierda del cuadro nº n en la
Figura 15, correspondiente a la cuarta porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, es F09/v.
Como el objeto correspondiente al fondo es fijo,
el componente de fondo del sexto píxel desde la izquierda del
cuadro nº n en la Figura 15, correspondiente a la primera porción
del tiempo de exposición/v desde cuando el obturador se ha abierto,
es B05/v. Los componentes de fondo del séptimo píxel desde la
izquierda del cuadro nº n en la Figura 15, correspondientes a las
porciones primera y segunda del tiempo de exposición/v desde cuando
el obturador se ha abierto, son B06/v. Los componentes de fondo del
octavo píxel desde la izquierda del cuadro nº n en la Figura 15,
correspondientes a las porciones primera a tercera del tiempo de
exposición/v desde cuando el obturador se ha abierto, son B07/v.
En el cuadro nº n en la Figura 15, los píxeles
sexto a octavo desde la izquierda pertenecen al área mixta que es un
área de fondo cubierta.
Los píxeles noveno a duodécimo desde la
izquierda del cuadro nº n en la Figura 15 pertenecen al área de
fondo, y sus valores de píxeles son B08 a B11, respectivamente.
Los píxeles primero a noveno desde la izquierda
en el cuadro nº n+1 en la Figura 15 pertenecen al área en primer
plano. El componente de primer plano en el tiempo de exposición/v en
el área en primer plano del cuadro nº n+1 es uno cualquiera de F01/v
a F12/v.
Puede suponerse que el objeto correspondiente al
primer plano es un cuerpo rígido que se mueve con velocidad
constante, y que está moviéndose tal que la imagen en primer plano
es exhibida cuatro píxeles hacia la derecha en el cuadro
subsiguiente. Por consiguiente, el componente de primer plano del
noveno píxel desde la izquierda del cuadro nº n+1 en la Figura 15,
correspondiente a la primera porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, es F12/v y el componente
de primer plano del décimo píxel desde la izquierda en la Figura
15, correspondiente a la segunda porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, también es F12/v. El
componente de primer plano del undécimo píxel desde la izquierda en
la Figura 15, correspondiente a la tercera porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, y el
componente de primer plano del duodécimo píxel desde la izquierda en
la Figura 15, correspondiente a la cuarta porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, son F12/v.
El componente de primer plano del noveno píxel
desde la izquierda del cuadro nº n+1 en la Figura 15,
correspondiente a la segunda porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, es F11/v. El componente de
primer plano del décimo píxel desde la izquierda en la Figura 15,
correspondiente a la tercera porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, también es F11/v. El
componente de primer plano del undécimo píxel desde la izquierda en
la Figura 15, correspondiente a la cuarta porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, es F11/v.
El componente de primer plano del noveno píxel
desde la izquierda del cuadro nº n+1 en la Figura 15,
correspondiente a la tercera porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, es F10/v. El componente de
primer plano del décimo píxel desde la izquierda en la Figura 15,
correspondiente a la cuarta porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, también es F10/v. El
componente de primer plano del noveno píxel desde la izquierda del
cuadro nº n+1 en la Figura 15, correspondiente a la cuarta porción
del tiempo de exposición/v desde cuando el obturador se ha abierto,
es F09/v.
Como el objeto correspondiente al fondo es fijo,
el componente de fondo del décimo píxel desde la izquierda del
cuadro nº n+1 en la Figura 15, correspondiente a la primera porción
del tiempo de exposición/v desde cuando el obturador se ha abierto,
es B09/v. Los componentes de fondo del undécimo píxel desde la
izquierda del cuadro nº n+1 en la Figura 15, correspondientes a las
porciones primera y segunda del tiempo de exposición/v desde cuando
el obturador se ha abierto, son B10/v. Los componentes de fondo del
duodécimo píxel desde la izquierda del cuadro nº n+1 en la Figura
15, correspondientes a las porciones primera a tercera del tiempo de
exposición/v desde cuando el obturador se ha abierto, son B11/v.
En el cuadro nº n+1 en la Figura 15, los píxeles
décimo a duodécimo desde la izquierda pertenecen al área mixta que
es un área de fondo cubierta.
La Figura 16 es un modelo de una imagen obtenida
extrayendo los componentes de primer plano de los valores de píxeles
mostrados en la Figura 15.
La Figura 17 ilustra un modelo obtenido
extendiendo en la dirección de tiempo los píxeles que están
alineados lado a lado en tres cuadros de una imagen obtenida
captando un objeto correspondiente a un primer plano que es móvil
hacia la derecha en la Figura 17, junto con un objeto
correspondiente a un fondo fijo, y que están situados en las mismas
posiciones cuando los cuadros están superpuestos. El modelo mostrado
en la Figura 17 contiene un área de fondo descubierta.
En la Figura 17 puede suponerse que el objeto
correspondiente al primer plano es un cuerpo rígido que se mueva con
velocidad constante y que está moviéndose tal que es exhibido cuatro
píxeles hacia la derecha en el cuadro siguiente. Por consiguiente,
la magnitud v de movimiento es 4.
\newpage
Por ejemplo, el componente de primer plano del
píxel izquierdo del cuadro nº n-1 en la Figura 17,
correspondiente a la primera porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, es F13/v y el componente
de primer plano del segundo píxel desde la izquierda en la Figura
17, correspondiente a la segunda porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, también es F13/v. El
componente de primer plano del tercer píxel desde la izquierda en
la Figura 17, correspondiente a la tercera porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, y el
componente de primer plano del cuarto píxel desde la izquierda en
la Figura 17, correspondiente a la cuarta porción del tiempo de
exposición/v desde cuando el obturador se ha abierto,
son F13/v.
son F13/v.
El componente de primer plano del segundo píxel
desde la izquierda del cuadro nº n-1 en la Figura
17, correspondiente a la primera porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, es F14/v. El componente de
primer plano del tercer píxel desde la izquierda en la Figura 17,
correspondiente a la segunda porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, también es F14/v. El
componente de primer plano del tercer píxel desde la izquierda en
la Figura 17, correspondiente a la primera porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, es F15/v.
Como el objeto correspondiente al fondo es fijo,
los componentes de fondo del píxel izquierdo del cuadro nº
n-1 en la Figura 17, correspondientes a las
porciones segunda a cuarta del tiempo de exposición/v desde cuando
el obturador se ha abierto, son B25/v. Los componentes de fondo del
segundo píxel desde la izquierda del cuadro nº
n-1 en la Figura 17, correspondientes a las
porciones tercera y cuarta del tiempo de exposición/v desde cuando
el obturador se ha abierto, son B26/v. El componente de fondo del
tercer píxel desde la izquierda del cuadro nº n-1
en la Figura 17, correspondiente a la cuarta porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, es B27/v.
En el cuadro nº n-1 en la Figura
17, los píxeles izquierdo a tercero pertenecen al área mixta que es
un área de fondo descubierta.
Los píxeles cuarto a duodécimo desde la
izquierda del cuadro nº n-1 en la Figura 17
pertenecen al área en primer plano. El componente de primer plano
del cuadro es uno cualquiera de F13/v a F24/v.
El píxel izquierdo al cuarto píxel desde la
izquierda del cuadro nº n en la Figura 17 pertenecen al área de
fondo, y sus valores de píxeles son B25 a B28, respectivamente.
Puede suponerse que el objeto correspondiente al
primer plano es un cuerpo rígido que se mueve con velocidad
constante y que está moviéndose tal que es exhibido cuatro píxeles
hacia la derecha en el cuadro subsiguiente. Por consiguiente, el
componente de primer plano del quinto píxel desde la izquierda del
cuadro nº n en la Figura 17, correspondiente a la primera porción
del tiempo de exposición/v desde cuando el obturador se ha abierto,
es F13/v y el componente de primer plano del sexto píxel desde la
izquierda en la Figura 17, correspondiente a la segunda porción del
tiempo de exposición/v desde cuando el obturador se ha abierto,
también es F13/v. El componente de primer plano del séptimo píxel
desde la izquierda en la Figura 17, correspondiente a la tercera
porción del tiempo de exposición/v desde cuando el obturador se ha
abierto, y el componente de primer plano del octavo píxel desde la
izquierda en la Figura 17, correspondiente a la cuarta porción del
tiempo de exposición/v desde cuando el obturador se ha abierto, son
F13/v.
El componente de primer plano del sexto píxel
desde la izquierda el cuadro nº n en la Figura 17, correspondiente
a la primera porción del tiempo de exposición/v desde cuando el
obturador se ha abierto, es F14/v. El componente de primer plano
del séptimo píxel desde la izquierda en la Figura 17,
correspondiente a la segunda porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, también es F14/v. El
componente de primer plano del octavo píxel desde la izquierda en
la Figura 17, correspondiente a la primera porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, es F15/v.
Como el objeto correspondiente al fondo es fijo,
los componentes de fondo del quinto píxel desde la izquierda del
cuadro nº n en la Figura 17, correspondientes a las porciones
segunda a cuarta del tiempo de exposición/v desde cuando el
obturador se ha abierto, son B29/v. Los componentes de fondo del
sexto píxel desde la izquierda del cuadro nº n en la Figura 17,
correspondientes a las porciones tercera y cuarta del tiempo de
exposición/v desde cuando el obturador se ha abierto, son B30/v. El
componente de fondo del séptimo píxel desde la izquierda del cuadro
nº n en la Figura 17, correspondiente a la cuarta porción del tiempo
de exposición/v desde cuando el obturador se ha abierto, es
B31/v.
En el cuadro nº n en la Figura 17, los píxeles
quinto a séptimo desde la izquierda pertenecen al área mixta que es
un área de fondo descubierta.
Los píxeles octavo a duodécimo desde la
izquierda del cuadro nº n en la Figura 17 pertenecen al área en
primer plano. El valor en el área en primer plano del cuadro nº n,
correspondiente al período del tiempo de exposición/v, es uno
cualquiera de F13/v a F20/v.
El píxel izquierdo al píxel octavo desde la
izquierda del cuadro nº n+1 en la Figura 17 pertenecen al área de
fondo, y sus valores de píxeles son B25 a B32, respectivamente.
Puede suponerse que el objeto correspondiente al
primer plano es un cuerpo rígido que se mueve con velocidad
constante y que está moviéndose tal que es exhibido cuatro píxeles
hacia la derecha en el cuadro subsiguiente. Por consiguiente, el
componente de primer plano del noveno píxel desde la izquierda del
cuadro nº n+1 en la Figura 17, correspondiente a la primera porción
del tiempo de exposición/v desde cuando el obturador se ha abierto,
es F13/v y el componente de primer plano del décimo píxel desde la
izquierda en la Figura 17, correspondiente a la segunda porción del
tiempo de exposición/v desde cuando el obturador se ha abierto,
también es F13/v. El componente de primer plano del undécimo píxel
desde la izquierda en la Figura 17, correspondiente a la tercera
porción del tiempo de exposición/v desde cuando el obturador se ha
abierto y el componente de primer plano del duodécimo píxel desde
la izquierda en la Figura 17, correspondiente a la cuarta porción
del tiempo de exposición/v desde cuando el obturador se ha abierto,
son F13/v.
El componente de primer plano del décimo píxel
desde la izquierda del cuadro nº n+1 en la Figura 17,
correspondiente a la primera porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, es F14/v. El componente de
primer plano del undécimo píxel desde la izquierda en la Figura 17,
correspondiente a la segunda porción del tiempo de exposición/v
desde cuando el obturador se ha abierto, también es F14/v. El
componente de primer plano del duodécimo píxel desde la izquierda
en la Figura 17, correspondiente a la primera porción del tiempo de
exposición/v desde cuando el obturador se ha abierto, es F15/v.
Como el objeto correspondiente al fondo es fijo,
los componentes de fondo del noveno píxel desde la izquierda del
cuadro nº n+1 en la Figura 17, correspondientes a las porciones
segunda a cuarta del tiempo de exposición/v desde cuando el
obturador se ha abierto, son B33/v. Los componentes de fondo del
décimo píxel desde la izquierda del cuadro nº n+1 en la Figura 17,
correspondientes a las porciones tercera y cuarta del tiempo de
exposición/v desde cuando el obturador se ha abierto, son B34/v. El
componente de fondo del undécimo píxel desde la izquierda del
cuadro nº n+1 en la Figura 17, correspondiente a la cuarta porción
del tiempo de exposición/v desde cuando el obturador se ha abierto,
es B35/v.
En el cuadro nº n+1 en la Figura 17, los píxeles
noveno a undécimo desde la izquierda en la Figura 17 pertenecen al
área mixta que es un área de fondo descubierta.
El duodécimo píxel desde la izquierda del cuadro
nº n+1 en la Figura 17 pertenece el área en primer plano. El
componente de primer plano en el tiempo de exposición/v en el área
en primer plano del cuadro nº n+1 es uno cualquiera de F13 a F16,
respectivamente.
La Figura 18 ilustra un modelo de una imagen
obtenida extrayendo los componentes de primer plano de los valores
de píxeles mostrados en la Figura 17.
Refiriéndose nuevamente a la Figura 2, la unidad
103 de especificación de áreas especifica señalizadoras que indican
a cual de un área en primer plano, un área de fondo, un área de
fondo cubierta o un área de fondo descubierta pertenecen los
píxeles individuales de la imagen de entrada usando los valores de
píxeles de una pluralidad de cuadros, y suministra los
señalizadotes al calculador 104 de relaciones de mezcla y a la
unidad 106 ajustadora de borrosidad por movimiento como la
información de área.
El calculador 104 de relaciones de mezcla
calcula la relación \alpha de mezcla para cada píxel contenido en
el área mixta basado en los valores de píxeles de una pluralidad de
cuadros y la información de área, y suministra la relación \alpha
de mezcla calculada al separador 105 de primer plano/fondo.
El separador 105 de primer plano/fondo extrae la
imagen de componentes de primer plano compuesta solo por los
componentes de primer plano basado en los valores de píxeles de una
pluralidad de cuadros, la información de área y la relación
\alpha de mezcla, y suministra la imagen de componentes de primer
plano a la unidad 106 ajustadora de borrosidad por movimiento.
La unidad 106 ajustadora de borrosidad por
movimiento ajusta la cantidad de borrosidad por movimiento contenida
en la imagen de componentes de fondo basada en la imagen de
componentes de fondo suministrada desde el separador 105 de primer
plano/fondo, el vector de movimiento suministrado desde el detector
102 de movimiento y la información de área suministrada desde la
unidad 103 de especificación de áreas, y después extrae la imagen de
componentes de primer plano en la que la borrosidad por movimiento
está ajustada.
El procesamiento para ajustar la cantidad de
borrosidad por movimiento realizado por el aparato de procesamiento
de señales es descrito a continuación con referencia al organigrama
de la Figura 19. En el paso S11, la unidad 103 de especificación de
áreas ejecuta procesamiento de especificación de áreas, basado en
una imagen de entrada, para generar información de área que indica
a cual de un área en primer plano, un área de fondo, un área de
fondo cubierta o un área de fondo descubierta pertenece cada píxel
de la imagen de entrada. Detalles del procesamiento de
especificación de áreas son dados a continuación. La unidad 103 de
especificación de áreas suministra la información de área generada
al calculador 104 de relaciones de mezcla.
En el paso S11, la unidad 103 de especificación
de áreas puede generar, basada en la imagen de entrada, información
de área que indica a cual del área en primer plano, el área de fondo
o el área mixta (con independencia de si cada píxel pertenece a un
área de fondo cubierta o un área de fondo descubierta) pertenece
cada píxel de la imagen de entrada. En este caso, el separador 105
de primer plano/fondo y la unidad 106 ajustadora de borrosidad por
movimiento determinan, basados en la dirección del vector de
movimiento, si el área mixta es un área de fondo cubierta o un área
de fondo descubierta. Por ejemplo, si la imagen de entrada está
dispuesta en el orden del área en primer plano, el área mixta y el
área de fondo en la dirección del vector de movimiento, se determina
que el área mixta es un área de fondo cubierta. Si la imagen de
entrada está dispuesta en el orden del área de fondo, el área mixta
y el área en primer plano en la dirección del vector de movimiento,
se determina que el área mixta es un área de fondo
descubierta.
descubierta.
En el paso S12, el calculador 104 de relaciones
de mezcla calcula la relación \alpha de mezcla para cada píxel
contenido en el área mixta, basado en la imagen de entrada y la
información de área. Detalles del procesamiento de cálculo de
relaciones de mezcla son dados a continuación. El calculador 104 de
relaciones de mezcla suministra la relación \alpha de mezcla
calculada al separador 105 de primer plano/fondo.
En el paso S13, el separador 105 de primer
plano/fondo extrae los componentes de primer plano de la imagen de
entrada basado en la información de área y la relación \alpha de
mezcla, y suministra los componentes de primer plano a la unidad
106 ajustadora de borrosidad por movimiento como la imagen de
componentes de primer plano.
En el paso S14, la unidad 106 ajustadora de
borrosidad por movimiento genera, basada en el vector de movimiento
y la información de área, la unidad de procesamiento que indica las
posiciones de píxeles consecutivos dispuestos en la dirección de
movimiento y pertenecientes a cualquiera del área de fondo
descubierta, el área en primer plano y el área de fondo cubierta, y
ajusta la cantidad de borrosidad por movimiento contenida en los
componentes de primer plano correspondientes a la unidad de
procesamiento. A continuación se dan detalles del procesamiento para
ajustar la cantidad de borrosidad por movimiento.
En el paso S15, el aparato de procesamiento de
señales determina si el procesamiento ha terminado para toda la
pantalla. Si se determina que el procesamiento no ha terminado para
toda la pantalla, el proceso sigue al paso S14 y se repite el
procesamiento para ajustar la cantidad de borrosidad por movimiento
para los componentes de primer plano correspondientes a la unidad de
procesamiento.
Si en el paso S15 se determina que el
procesamiento ha terminado para toda la pantalla, el procesamiento
es completado.
De esta manera, el aparato de procesamiento de
señales es capaz de ajustar la cantidad de borrosidad por movimiento
contenida en el primer plano separando el primer plano y el fondo.
Es decir, el aparato de procesamiento de señales es capaz de
ajustar la cantidad de borrosidad por movimiento contenida en datos
muestreados que indican los valores de píxeles de los píxeles de
primer plano.
A continuación se describe la configuración de
cada una de la unidad 103 de especificación de áreas, el calculador
104 de relaciones de mezcla, el separador 105 de primer plano/fondo
y la unidad 106 ajustadora de borrosidad por movimiento.
La Figura 20 es un esquema de bloques que
ilustra un ejemplo de la configuración de la unidad 103 de
especificación de áreas. La unidad 103 de especificación de áreas
mostrada en la Figura 20 no usa un vector de movimiento. Una
memoria 201 de cuadros almacena una imagen de entrada en unidades de
cuadros. Cuando la imagen a ser procesada es el cuadro nº n, la
memoria 201 de cuadros almacena el cuadro nº n-2,
que es el cuadro dos cuadros antes del cuadro nº n, el cuadro nº
n-1, que es el cuadro un cuadro antes del cuadro nº
n, el cuadro nº n, el cuadro nº n+1, que es el cuadro un cuadro
después del cuadro nº n, y el cuadro nº n+2 que es el cuadro dos
cuadros después del cuadro nº n.
Una porción 202-1 determinante
de fija/móvil lee el valor de píxel del píxel del cuadro nº n+2
situado en la misma posición que un píxel especifico del cuadro nº
n en el que se determina el área a la que pertenece el píxel, y lee
el valor de píxel del píxel del cuadro nº n+1 situado en la misma
posición del píxel específico del cuadro nº n desde la memoria 201
de cuadros, y calcula el valor absoluto de la diferencia entre los
valores de píxeles leídos. La porción 202-1
determinante de fija/móvil determina si el valor absoluto de la
diferencia entre el valor de píxel del cuadro nº n+2 y el valor de
píxel del cuadro nº n+1 es mayor que un umbral prefijado Th. Si se
determina que la diferencia es mayor que el umbral Th, una
determinación de fija/móvil que indica "móvil" es suministrada
a una porción 203-1 determinante de áreas. Si se
determina que el valor absoluto de la diferencia entre el valor de
píxel del píxel del cuadro nº n+1 es menor o igual que el umbral Th,
la porción 202-1 determinante de fija/móvil
suministra una determinación de fija/móvil que indica "fija" a
la porción 203-1 determinante de áreas.
Una porción 202-2 determinante
de fija/móvil lee el valor de píxel de un píxel específico del
cuadro nº n en el que se determina el área a la que pertenece el
píxel, y lee el valor de píxel del píxel del cuadro nº n+1 situado
en la misma posición que el píxel específico del cuadro desde la
memoria 201 de cuadros, y calcula el valor absoluto de la
diferencia entre los valores de píxeles. La porción
202-2 determinante de fija/móvil determina si el
valor absoluto de la diferencia entre el valor de píxel del cuadro
nº n+1 y el valor de píxel del cuadro nº n es mayor que un umbral
prefijado Th. Si se determina que el valor absoluto de la diferencia
entre los valores de píxeles es mayor que el umbral Th, una
determinación de fija/móvil que indica "móvil" es suministrada
a la porción 203-1 determinante de áreas y a una
porción 203-2 determinante de área. Si se determina
que el valor absoluto de la diferencia entre el valor de píxel del
píxel del cuadro nº n+1 y el valor de píxel del píxel del cuadro nº
n es menor o igual que el umbral Th, la porción
202-2 determinante de fija/móvil suministra una
determinación de fija/móvil que indica "fija" a la porción
203-1 determinante de áreas y a la porción
203-2 determinante de áreas.
Una porción 202-3 determinante
de fija/móvil lee el valor de píxel de un píxel específico del
cuadro nº n en el que se determina el área a la que pertenece el
píxel, y lee el valor de píxel del píxel del cuadro nº
n-1 situado en la misma posición que el píxel
especifico del cuadro nº n desde la memoria 201 de cuadros, y
calcula el valor absoluto de la diferencia entre los valores de
píxeles. La porción 202-3 determinante de
fija/móvil determina si el valor absoluto de la diferencia entre el
valor de píxel del cuadro nº n y el valor de píxel del cuadro nº
n-1 es mayor que el umbral prefijado Th. Si se
determina que el valor absoluto de la diferencia entre los valores
de píxeles es mayor que el umbral Th, una determinación de
fija/móvil que indica "móvil" es suministrada a la porción
203-2 determinante de áreas y a una porción
203-3 determinante de áreas. Si se determina que el
valor absoluto de la diferencia entre el valor de píxel del píxel
del cuadro nº n y el valor de píxel del píxel del cuadro nº
n-1 es menor o igual que el umbral Th, la porción
202-3 determinante de fija/móvil suministra una
determinación de fija/móvil que indica "fija" a la porción
203-2 determinante de áreas y a la porción
203-3 determinante de áreas.
Una porción 202-4 determinante
de fija/móvil lee el valor de píxel del píxel del cuadro nº
n-1 situado en la misma posición que un píxel
específico del cuadro nº n en el que se determina el área a la que
pertenece el píxel, y lee el valor de píxel del píxel del cuadro nº
n-2 situado en la misma posición que el píxel
específico del cuadro nº n de la memoria 201 de cuadros, y calcula
el valor absoluto de la diferencia entre los valores de píxeles. La
porción 202-4 determinante de fija/móvil determina
si el valor absoluto de la diferencia entre el valor de píxel del
cuadro nº n-1 y el valor de píxel del cuadro nº
n-2 es mayor que un umbral prefijado Th. Si se
determina que el valor absoluto de la diferencia entre los valores
de píxeles es mayor que el umbral Th, una determinación de
fija/móvil que indica "móvil" es suministrada a la porción
203-3 determinante de áreas. Si se determina que el
valor absoluto de la diferencia entre el valor de píxel del píxel
del cuadro nº n-1 y el valor de píxel del píxel del
cuadro nº n-2 es menor o igual que el umbral Th, la
porción 202-4 determinante de fija/móvil suministra
una determinación de fija/móvil que indica "fija" a la porción
203-3 determinante de áreas.
Cuando la determinación de fija/móvil
suministrada desde la porción 202-1 determinante de
fija/móvil indica "fija" y cuando la determinación de
fija/móvil suministrada desde la porción 202-2
determinante de fija/móvil indica "móvil", la porción
203-1 determinante de área determina que el píxel
específico del cuadro nº n pertenece a un área de fondo descubierta
y dispone "1", que indica que el píxel específico pertenece a
un área de fondo descubierta, en un señalizador determinante de área
de fondo descubierta asociado con el píxel específico.
Cuando la determinación de fija/móvil
suministrada desde la porción 202-1 determinante de
fija/móvil indica "móvil" o cuando la determinación de
fija/móvil suministrada desde la porción 202-2
determinante de fija/móvil indica "fija", la unidad
203-1 determinante de áreas determina que el píxel
específico del cuadro nº n no pertenece a un área de fondo
descubierta y dispone "0", que indica que el píxel específico
no pertenece a un área de fondo descubierta, en el señalizador
determinante de área de fondo descubierta asociado con el píxel
específico.
La porción 203-1 determinante de
áreas suministra el señalizador determinante de área de fondo
descubierta, en el que está dispuesto "1" o "0" como se
trató antes, a una memoria 204 de cuadro que almacena señalizadores
determinantes.
Cuando la determinación de fija/móvil
suministrada desde la porción 202-2 determinante de
fija/móvil indica "fija" y cuando la determinación de
fija/móvil suministrada desde la porción 202-3
determinante de fija/móvil indica "fija", la porción
203-2 determinante de áreas determina que el píxel
específico el cuadro nº n pertenece al área fija y dispone
"1", que indica que el píxel pertenece al área fija, en un
señalizador determinante de área fija asociado con el píxel
específico.
Cuando la determinación de fija/móvil
suministrada desde la porción 202-2 determinante de
fija/móvil indica "móvil" o cuando la determinación de
fija/móvil suministrada desde la porción 202-3
determinante de fija/móvil indica "móvil", la porción
203-2 determinante de área determina que el píxel
específico del cuadro nº n no pertenece al área fija y dispone
"0", que indica que el píxel no pertenece al área fija, en el
señalizador determinante de área fija asociado con el píxel
específico.
La porción 203-2 determinante de
áreas suministra el señalizador determinante de área fija, en el que
está dispuesto "1" o "0" como se trató antes, a la memoria
204 de cuadro que almacena señalizadores determinantes.
Cuando la determinación de fija/móvil
suministrada desde la porción 202-2 determinante de
fija/móvil indica "móvil" y cuando la determinación de
fija/móvil suministrada desde la porción 202-3
determinante de fija/móvil indica "móvil", la porción
203-2 determinante de áreas determina que el píxel
específico del cuadro nº n pertenece al área móvil y dispone
"1", que indica que el píxel específico pertenece al área
móvil, en un señalizador determinante de área móvil asociado con el
píxel específico.
Cuando la determinación de fija/móvil
suministrada desde la porción 202-2 determinante de
fija/móvil indica "fija" o cuando la determinación de
fija/móvil suministrada desde la porción 202-3
determinante de fija/móvil indica "fija", la porción
203-2 determinante de áreas determina que el píxel
específico del cuadro nº n no pertenece al área móvil y dispone
"0", que indica que el píxel no pertenece al área móvil, en el
señalizador determinante de área móvil asociado con el píxel
específico.
La porción 203-2 determinante de
áreas suministra el señalizador determinante de área móvil, en el
que está dispuesto "1" o "0" como se trató antes, a la
memoria 204 de cuadro que almacena señalizadores determinantes.
Cuando la determinación de fija/móvil
suministrada desde la porción 202-3 determinante de
fija/móvil indica "móvil" y cuando la determinación de
fija/móvil suministrada desde la porción 202-4
determinante de fija/móvil indica "fija", la porción
203-3 determinante de áreas determina que el píxel
específico del cuadro nº n pertenece a un área de fondo cubierta y
dispone "1", que indica que el píxel específico pertenece al
área de fondo cubierta, en un señalizador determinante de área de
fondo cubierta asociado con el píxel específico.
Cuando la determinación de fija/móvil
suministrada desde la porción 202-3 determinante de
fija/móvil indica "fija" o cuando la determinación de
fija/móvil suministrada desde la porción 202-4
determinante de fija/móvil indica "móvil", la porción
203-3 determinante de áreas determina que el píxel
específico del cuadro nº n no pertenece a un área de fondo cubierta
y dispone "0", que indica que el píxel específico no pertenece
a un área de fondo cubierta, en el señalizador determinante de área
de fondo cubierta asociado con el píxel específico.
La porción 203-3 determinante de
áreas suministra el señalizador determinante de área de fondo
cubierta, en el que está dispuesto "1" o "0" como se trató
antes, a la memoria 204 de cuadro que almacena señalizadores
determinantes.
La memoria 204 de cuadro que almacena
señalizadores determinantes almacena así el señalizador determinante
de área de fondo descubierta suministrado desde la porción
203-1 determinante de áreas, el señalizador
determinante de área fija suministrado desde la porción
203-2 determinante de áreas, el señalizador
determinante de área móvil suministrado desde la porción
203-2 determinante de áreas y el señalizador
determinante de área de fondo cubierta suministrado desde la porción
203-3 determinante de áreas.
La memoria 204 de cuadro que almacena
señalizadores determinantes suministra el señalizador determinante
de área de fondo descubierta, el señalizador determinante de área
fija, el señalizador determinante de área móvil y el señalizador
determinante de área de fondo cubierta almacenados en ella a un
sintetizador 205. El sintetizador 205 genera información de área
que indica a cual del área de fondo descubierta, el área fija, el
área móvil o el área de fondo cubierta pertenece cada píxel basado
en el señalizador determinante de área de fondo descubierta, el
señalizador determinante de área fija, el señalizador determinante
de área móvil y el señalizador determinante de área de fondo
cubierta suministrados desde la memoria 204 de cuadro que almacena
señalizadores determinantes, y suministra la información de área a
una memoria 206 de cuadro que almacena señalizadores
determinantes.
La memoria 206 de cuadro que almacena
señalizadores determinantes almacena la información de área
suministrada desde el sintetizador 205 y también extrae la
información de área almacenada en él.
Un ejemplo del procesamiento realizado por la
unidad 103 de especificación de áreas es descrito a continuación con
referencia a las Figuras 21 a 25.
Cuando el objeto correspondiente al primer plano
es móvil, la posición de la imagen correspondiente al objeto en la
pantalla cambia en cada cuadro. Como se muestra en la Figura 21, la
imagen correspondiente al objeto situado en la posición indicada
por Yn(x,y) en el cuadro nº n está situada en
Yn+1(x,y) en el cuadro nº n+1 que es subsiguiente al cuadro
nº n.
En la Figura 22 se muestra un modelo obtenido
extendiendo en la dirección de tiempo los valores de píxeles de los
píxeles alineados lado a lado en la dirección de movimiento de la
imagen correspondiente al objeto en primer plano. Por ejemplo, si
la dirección de movimiento de la imagen correspondiente al objeto en
primer plano es horizontal con respecto a la pantalla, el modelo
mostrado en la Figura 22 es un modelo obtenido extendiendo en la
dirección de tiempo los valores de píxeles de los píxeles dispuestos
lado a lado en una línea.
En la Figura 22, la línea en el cuadro nº n es
igual que la línea en el cuadro nº n+1.
Los componentes de primer plano,
correspondientes al objeto contenido en el píxel segundo al píxel
decimotercero desde la izquierda en el cuadro nº n, están
contenidos en el píxel sexto al píxel decimoséptimo desde la
izquierda en el cuadro nº n+1.
En el cuadro nº n, los píxeles pertenecientes al
área de fondo cubierta son los píxeles undécimo a decimotercero
desde la izquierda, y los píxeles pertenecientes al área de fondo
descubierta son los píxeles segundo a cuarto desde la izquierda. En
el cuadro nº n+1, los píxeles pertenecientes al área de fondo
cubierta son los píxeles decimoquinto al decimoséptimo desde la
izquierda, y los píxeles pertenecientes al área de fondo descubierta
son los píxeles sexto a octavo desde la izquierda.
En el ejemplo mostrado en la Figura 22, como los
componentes de primer plano contenidos en el cuadro nº n son
movidos en cuatro píxeles en el cuadro nº n+1, la magnitud v de
movimiento es 4. El número de porciones divididas virtuales es 4 de
acuerdo con la magnitud v de movimiento.
Ahora se proporciona una descripción de un
cambio en valores de píxeles de los píxeles pertenecientes al área
mixta en los cuadros antes y después de un cuadro específico.
En la Figura 23, los píxeles pertenecientes a un
área de fondo cubierta en el cuadro nº n, en el que el fondo es
fijo y la magnitud v de movimiento en el primer plano es 4, son los
píxeles decimoquinto a decimoséptimo desde la izquierda. Como la
magnitud v de movimiento es 4, los píxeles decimoquinto a
decimoséptimo desde la izquierda en el cuadro nº
n-1 anterior contienen solo componentes de fondo y
pertenecen al área de fondo. Los píxeles decimoquinto a
decimoséptimo desde la izquierda en el cuadro nº
n-2, que es uno antes del cuadro nº
n-1, contienen solo componentes de fondo y
pertenecen al área de fondo.
Como el objeto correspondiente al fondo es fijo,
el valor de píxel del píxel decimoquinto desde la izquierda en el
cuadro nº n-1 no cambia respecto al valor de píxel
del píxel decimoquinto desde la izquierda en el cuadro nº
n-2. De modo similar, el valor de píxel del píxel
decimosexto desde la izquierda en el cuadro nº n-1
no cambia respecto al valor de píxel del píxel decimosexto desde la
izquierda en el cuadro nº n-2, y el valor de píxel
del píxel decimoséptimo desde la izquierda en el cuadro nº
n-1 no cambia respecto al valor de píxel del píxel
decimoséptimo desde la izquierda en el cuadro nº
n-2.
O sea, los píxeles en el cuadro nº
n-1 y el cuadro nº n-2
correspondientes a los píxeles pertenecientes al área de fondo
cubierta en el cuadro nº n consisten solo en componentes de fondo, y
sus valores de píxeles no cambian. Por consiguiente, el valor
absoluto de la diferencia entre los valores de píxeles es casi 0. De
este modo, la determinación de fija/móvil, efectuada para los
píxeles en el cuadro nº n-1 y el cuadro nº
n-2, correspondientes a los píxeles pertenecientes
al área mixta en el cuadro nº n, por la porción
202-4 determinante de fija/móvil, es
"fija".
Como los píxeles pertenecientes al área de fondo
cubierta en el cuadro nº n contienen componentes de primer plano,
sus valores de píxeles son diferentes que los del cuadro nº
n-1 que consisten solo en componentes de fondo. Por
consiguiente, la determinación de fija/móvil, efectuada para los
píxeles pertenecientes al área mixta en el cuadro nº n y los
píxeles correspondientes en el cuadro nº n-1 por la
porción 202-3 determinante de fija/móvil, es
"móvil".
Cuando el resultado de determinación de
fija/móvil que indica "móvil" es suministrado desde la porción
202-3 determinante de fija/móvil y cuando el
resultado de determinación de fija/móvil que indica "fija" es
suministrado desde la porción 202-4 determinante de
fija/móvil, como se trató antes, la porción 203-3
determinante de áreas determina que los píxeles correspondientes
pertenecen a un área de fondo cubierta.
En la Figura 24, en el cuadro nº n en el que el
fondo es fijo y la magnitud v de movimiento en el primer plano es
4, los píxeles contenidos en un área de fondo descubierta son los
píxeles segundo a cuarto desde la izquierda. Como la magnitud v de
movimiento es 4, los píxeles segundo a cuarto desde la izquierda en
el cuadro nº n+1 subsiguiente contienen solo componentes de fondo y
pertenecen al área de fondo. En el cuadro nº n+2, que es
subsiguiente al cuadro nº n+1, los píxeles segundo a cuarto desde la
izquierda contienen solo componentes de fondo y pertenecen al área
de fondo.
Como el objeto correspondiente al fondo es fijo,
el valor de píxel del segundo píxel desde la izquierda en el cuadro
nº n+2 no cambia respecto al valor de píxel del segundo píxel desde
la izquierda en el cuadro nº n+1. De modo similar, el valor de
píxel del tercer píxel desde la izquierda en el cuadro nº n+2 no
cambia respecto al valor de píxel del tercer píxel desde la
izquierda en el cuadro nº n+1 y el valor de píxel del cuarto píxel
desde la izquierda en el cuadro nº n+2 no cambia respecto al valor
de píxel del cuarto píxel desde la izquierda en el cuadro nº
n+1.
O sea, los píxeles en el cuadro nº n+1 y el
cuadro nº n+2 correspondientes a los píxeles pertenecientes al área
de fondo descubierta en el cuadro nº n consisten solo en componentes
de fondo y sus valores de píxeles no cambian. Por consiguiente, el
valor absoluto de la diferencia entre los valores de píxeles es casi
0. De este modo, la determinación de fija/móvil, efectuada para los
píxeles en el cuadro nº n+1 y el cuadro nº n+2, correspondientes a
los píxeles determinantes al área mixta en el cuadro nº n, por la
porción 202-1 determinante de fija/móvil, es
"fija".
Como los píxeles pertenecientes al área de fondo
descubierta en el cuadro nº n contienen componentes de primer
plano, sus valores de píxeles son diferentes que los del cuadro nº
n+1 que consisten solo en componentes de fondo. Por consiguiente,
la determinación de fija/móvil, efectuada para los píxeles
pertenecientes al área mixta en el cuadro nº n y los píxeles
correspondientes en el cuadro nº n+1 por la porción
202-2 determinante de fija/móvil, es
"móvil".
Cuando el resultado de determinación de
fija/móvil que indica "móvil" es suministrado desde la porción
202-2 determinante de fija/móvil y cuando el
resultado de determinación de fija/móvil que indica "fija" es
suministrado desde la porción 202-1 determinante de
fija/móvil, como se trató antes, la porción 203-1
determinante de áreas determina que los píxeles correspondientes
pertenecen a un área de fondo descubierta.
La Figura 25 ilustra las condiciones de
determinación para el cuadro nº n efectuadas por la unidad 103 de
especificación de áreas. Cuando el resultado de determinación para
el píxel en el cuadro nº n-2 situado en la misma
posición de imagen que un píxel en el cuadro nº n a ser procesado y
para el píxel en el cuadro nº n-1 situado en la
misma posición que el píxel en el cuadro nº n es fija y cuando el
resultado de determinación para el píxel en el cuadro nº n y el
píxel en el cuadro nº n-1 situado en la misma
posición que el píxel en el cuadro nº n es móvil, la unidad 103 de
especificación de áreas determina que el píxel en el cuadro nº n
pertenece a un área de fondo cubierta.
Cuando el resultado de determinación para el
píxel en el cuadro nº n y el píxel en el cuadro nº
n-1 situado en la misma posición de imagen que el
píxel en el cuadro nº n es fija y cuando el resultado de
determinación para el píxel en el cuadro nº n y el píxel en el
cuadro nº n+1 situado en la misma posición de imagen que el píxel
en el cuadro nº n es fija, la unidad 103 de especificación de áreas
determina que el píxel en el cuadro nº n pertenece al área fija.
Cuando el resultado de determinación para el
píxel en el cuadro nº n y el píxel en el cuadro nº
n-1 situado en la misma posición de imagen que el
píxel en el cuadro nº n es móvil y cuando el resultado de
determinación para el píxel en el cuadro nº n y el píxel en el
cuadro nº n+1 situado en la misma posición de imagen que el píxel
en el cuadro nº n es móvil, la unidad 103 de especificación de áreas
determina que el píxel en el cuadro nº n pertenece al área
móvil.
Cuando el resultado de determinación para el
píxel en el cuadro nº n y el píxel en el cuadro nº n+1 situado en
la misma posición de imagen que el píxel en el cuadro nº n es móvil
y cuando el resultado de determinación para el píxel en el cuadro
nº n+1 situado en la misma posición de imagen que el píxel en el
cuadro nº n y el píxel en el cuadro nº n+2 situado en la misma
posición de imagen que el píxel en el cuadro nº n es fija, la
unidad 103 de especificación de áreas determina que el píxel en el
cuadro nº n pertenece a un área de fondo descubierta.
Las Figuras 26A a 26D ilustran ejemplos de los
resultados de determinación de áreas obtenidos por la unidad 103 de
determinación de áreas. En la Figura 26A, los píxeles que se
determinan pertenecientes a un área de fondo cubierta son indicados
en blanco. En la Figura 26B, los píxeles que se determinan
pertenecientes a un área de fondo descubierta son indicados en
blanco.
En la Figura 26C, los píxeles que se determinan
pertenecientes a un área móvil son indicados en blanco. En la Figura
26D, los píxeles que se determinan pertenecientes a un área fija son
indicados en blanco.
La Figura 27 ilustra la información de área que
indica el área mixta, en la forma de una imagen, seleccionada de la
información de área extraída de la memoria 206 de cuadro que
almacena señalizadores determinantes. En la Figura 27, los píxeles
que se determinan pertenecientes al área de fondo cubierta o al área
de fondo descubierta, o sea, los píxeles que se determinan
pertenecientes al área mixta, son indicados en blanco. La
información de área que indica el área mixta extraída de la memoria
206 de cuadro que almacena señalizadores determinantes designa el
área mixta y las porciones que tienen una textura rodeadas por las
porciones sin una textura en el área en primer plano.
El procesamiento de especificación de áreas
realizado por la unidad 103 de especificación de áreas es descrito
a continuación con referencia al organigrama de la Figura 28. En el
paso S201, la memoria 201 de cuadros obtiene una imagen del cuadro
nº n-2 al cuadro nº n+2 que incluye el cuadro nº
n.
En el paso S202, la porción
202-3 determinante de fija/móvil determina si el
resultado de determinación para el píxel en el cuadro nº
n-1 y el píxel en el cuadro nº n situado en la misma
posición es fija. Si se determina que el resultado de determinación
es fija, el proceso sigue al paso S203 en el que la porción
202-2 determinante de fija/móvil determina si el
resultado de determinación para el píxel en el cuadro nº n y el
píxel en el cuadro nº n+1 situado en la misma posición es fija.
Si en el paso S203 se determina que el resultado
de determinación para el píxel en el cuadro nº n y el píxel en el
cuadro nº n+1 situado en la misma posición es fija, el proceso sigue
al paso S204. En el paso S204, la porción 203-2
determinante de áreas dispone "1", que indica que el píxel a
ser procesado pertenece al área fija, en el señalizador
determinante de área fija asociado con el píxel a ser procesado. La
porción 203-2 determinante de áreas suministra el
señalizador determinante de área fija a la memoria 204 de cuadro que
almacena señalizadores determinantes y el proceso sigue al paso
S205.
Si en el paso S202 se determina que el resultado
de determinación para el píxel en el cuadro nº n-1 y
el píxel en el cuadro nº n situado en al misma posición es móvil o
si en el paso S203 se determina que el resultado de determinación
para el píxel en el cuadro nº n y el píxel en el cuadro nº n+1
situado en la misma posición es móvil, el píxel a ser procesado no
pertenece a un área fija. Por consiguiente, el procesamiento del
paso S204 es omitido y el proceso sigue al paso S205.
En el paso S205, la porción
202-3 determinante de fija/móvil determina si el
resultado de determinación para el píxel en el cuadro nº
n-1 y el píxel en el cuadro nº n situado en la misma
posición es móvil. Si se determina que el resultado de
determinación es móvil, el proceso sigue al paso S206 en el que la
porción 202-2 determinante de fija/móvil determina
si el resultado de determinación para el píxel en el cuadro nº n y
el píxel en el cuadro nº n+1 situado en la misma posición es
móvil.
Si en el paso S206 se determina que el resultado
de determinación para el píxel en el cuadro nº n y el píxel en el
cuadro nº n+1 situado en la misma posición es móvil, el proceso
sigue al paso S207. En el paso S207, la porción
203-2 determinante de áreas dispone "1", que
indica que el píxel a ser procesado pertenece a un área móvil, en
el señalizador determinante de área móvil asociado con el píxel a
ser procesado. El área 203-2 determinante de área
suministra el señalizador determinante de área móvil a la memoria
204 de cuadro que almacena señalizadores determinantes y el proceso
sigue al paso S208.
\newpage
Si en el paso S205 se determina que el resultado
de determinación para el píxel en el cuadro nº n-1 y
el píxel en el cuadro nº n situado en la misma posición es fija o
si en el paso S206 se determina que el resultado de determinación
para el píxel en el cuadro nº n y el píxel en el cuadro nº n+1
situado en la misma posición es fija, el píxel en el cuadro nº n no
pertenece a un área móvil. Por consiguiente, el procesamiento del
paso S207 es omitido y el proceso sigue al paso S208.
En el paso S208, la porción
202-4 determinante de fija/móvil determina si el
resultado de determinación para el píxel en el cuadro nº
n-2 y el píxel en el cuadro nº n-1
situado en al misma posición es fija. Si se determina que el
resultado de determinación es fija, el proceso sigue al paso S209 en
el que la porción 202-3 determinante de fija/móvil
determina si el resultado de determinación para el píxel en el
cuadro nº n-1 y el píxel en el cuadro nº n situado
en la misma posición es móvil.
Si en el paso S209 se determina que el resultado
de determinación para el píxel en el cuadro nº n-1 y
el píxel en el cuadro nº n situado en la misma posición es móvil,
el proceso sigue al paso S210. En el paso S210, la porción
203-3 determinante de áreas dispone "1", que
indica que el píxel a ser procesado pertenece a un área de fondo
cubierta, en el señalizador determinante de área de fondo cubierta
asociado con el píxel a ser procesado. La porción
203-3 determinante de áreas suministra el
señalizador determinante de área de fondo cubierta a la memoria 204
de cuadro que almacena señalizadores determinantes y el proceso
sigue al paso S211.
Si el paso S208 se determina que el resultado de
determinación para el píxel en el cuadro nº n-2 y el
píxel en el cuadro nº n-1 situado en la misma
posición es móvil o si en el paso S209 se determina que el píxel en
el cuadro nº n-1 y el píxel en el cuadro nº n
situado en la misma posición es fija, el píxel en el cuadro nº n no
pertenece a un área de fondo cubierta. Por consiguiente, el
procesamiento del paso S210 es omitido y el proceso sigue al paso
S211.
En el paso S211, la porción
202-2 determinante de fija/móvil determina si el
resultado de determinación para el píxel en el cuadro nº n y el
píxel en el cuadro nº n+1 situado en la misma posición es móvil. Si
en el paso S211 se determina que el resultado de determinación es
móvil, el proceso sigue al paso S212 en el que la porción
202-1 determinante de fija/móvil determina si el
resultado de determinación para el píxel en el cuadro nº n+1 y el
píxel en el cuadro nº n+2 situado en la misma posición es fija.
Si en el paso S212 se determina que el resultado
de determinación para el píxel en el cuadro nº n+1 y el píxel en el
cuadro nº n+2 situado en la misma posición es fija, el proceso sigue
al paso S213. En el paso S213, la porción 203-1
determinante de áreas dispone "1", que indica que el píxel a
ser procesado pertenece a un área de fondo descubierta, en el
señalizador determinante de área de fondo descubierta asociado con
el píxel a ser procesado. La porción 203-1
determinante de áreas suministra el señalizador determinante de área
de fondo descubierta a la memoria 204 de cuadro que almacena
señalizadores determinantes y el proceso sigue al paso S214.
Si en el paso S211 se determina que el resultado
de determinación para el píxel en el cuadro nº n y el píxel en el
cuadro nº n+1 situado en la misma posición es fija o si en el paso
S212 se determina que el resultado de determinación para el píxel
en el cuadro nº n+1 y el píxel en el cuadro nº n+2 es móvil, el
píxel en el cuadro nº n no pertenece a un área de fondo
descubierta. Por consiguiente, el procesamiento del paso S213 es
omitido y el proceso sigue al paso S214.
En el paso S214, la unidad 103 de especificación
de áreas determina si las áreas de todos los píxeles en el cuadro
nº n están especificadas. Si se determina que las áreas de todos los
píxeles en el cuadro nº n no están especificadas todavía, el
proceso vuelve al paso S202 y l procesamiento de especificación de
áreas es repetido para los píxeles restantes.
Si el paso S214 se determina que las áreas de
todos los píxeles en el cuadro nº n están especificadas, el proceso
sigue al paso S215. En el paso S215, el sintetizador 205 genera
información de área que indica el área mixta basado en el
señalizador determinante de área de fondo descubierta y el
señalizador determinante de área de fondo cubierta almacenados en
la memoria 204 de cuadro que almacena señalizadores determinantes,
y también genera información de área que indica a cual del área de
fondo descubierta, el área fija, el área móvil o el área de fondo
cubierta pertenece cada píxel, y dispone la información de área
generada en la memoria 206 de cuadro que almacena señalizadores
determinantes. Entonces, el procesamiento es completado.
Como se trató antes, la unidad 103 de
especificación de áreas es capaz de generar información de área que
indica a cual del área móvil, el área fija, el área de fondo
descubierta o el área de fondo cubierta pertenece cada uno de
píxeles contenidos en un cuadro.
La unidad 103 de especificación de áreas puede
aplicar la operación O lógica a la información de área
correspondiente al área de fondo descubierta y a la información de
área correspondiente al área correspondiente al área de fondo
cubierta a fin de generar información de área correspondiente al
área mixta, y después puede generar información de área consistente
en señalizadores que indican a cual del área móvil, el área fija o
el área mixta pertenecen los píxeles individuales contenidos en el
cuadro.
Cuando el objeto correspondiente al primer plano
tiene una textura, la unidad 103 de especificación de áreas es capaz
de especificar el área móvil más precisamente.
La unidad 103 de especificación de áreas es
capaz de extraer la información de área que indica el área móvil
como la información de área que indica el área en primer plano, y
extrae la información de área que indica el área fija como la
información de área que indica el área de fondo.
La realización se ha descrito suponiendo que el
objeto correspondiente al fondo es fijo. Sin embargo, el
procesamiento de especificación de áreas antes descrito puede ser
aplicado aunque la imagen correspondiente al área de fondo contenga
movimiento. Por ejemplo, si la imagen correspondiente al área de
fondo es uniformemente móvil, la unidad 103 de especificación de
áreas desplaza la imagen global de acuerdo con este movimiento y
realiza el procesamiento de una manera similar al caso en el que
objeto correspondiente al fondo es fijo. Si la imagen
correspondiente al área de fondo contiene movimientos localmente
diferentes, la unidad 103 de especificación de áreas selecciona los
píxeles correspondientes a los movimientos y ejecuta el
procesamiento descrito.
La Figura 29 es un esquema de bloques que
ilustra un ejemplo de otra configuración de la unidad 103 de
especificación de áreas. La unidad 103 de especificación de áreas
mostrada en la Figura 29 no usa un vector de movimiento. Un
generador 301 de imagen de fondo genera una imagen de fondo
correspondiente a una imagen de entrada y suministra la imagen de
fondo generada a una porción 302 de extracción de imágenes de
objetos binarios. El generador 301 de imagen de fondo extrae, por
ejemplo, un objeto imagen correspondiente a un objeto de fondo
contenido en la imagen de entrada y genera la imagen de fondo.
En la Figura 30 se muestra un ejemplo de un
modelo obtenido extendiendo en la dirección de tiempo los valores
de píxeles alineados lado a lado en la dirección de movimiento de
una imagen correspondiente a un objeto en primer plano. Por
ejemplo, si la dirección de movimiento de la imagen correspondiente
al objeto en primer plano es horizontal con respecto a la pantalla,
el modelo mostrado en la Figura 30 es un modelo obtenido extendiendo
en el dominio de tiempo los valores de píxeles de los píxeles
dispuestos lado a lado en una sola línea.
En la Figura 30, la línea en el cuadro nº n es
igual que la línea en el cuadro nº n-1 y que la
línea en el cuadro nº n+1.
En el cuadro nº n, los componentes de primer
plano correspondientes al objeto contenido en los píxeles sexto a
decimoséptimo desde la izquierda están contenidos en los píxeles
segundo a decimotercero desde la izquierda en el cuadro nº
n-1 y también están contendidos en los píxeles
décimo a vigésimo primero desde la izquierda en el cuadro nº
n+1.
En el cuadro nº n-1, los píxeles
pertenecientes al área de fondo cubierta son los píxeles undécimo a
decimotercero desde la izquierda y los píxeles pertenecientes al
área de fondo descubierta son los píxeles segundo a cuarto desde la
izquierda. En el cuadro nº n, los píxeles pertenecientes al área de
fondo cubierta son los píxeles decimoquinto a decimoséptimo desde
la izquierda y los píxeles pertenecientes al área de fondo
descubierta son los píxeles sexto a octavo desde la izquierda. En
el cuadro nº n+1, los píxeles pertenecientes al área de fondo
cubierta son los píxeles decimonoveno a vigésimo primero desde la
izquierda y los píxeles pertenecientes al área de fondo descubierta
son los píxeles décimo a duodécimo desde la izquierda.
En el cuadro nº n-1, los píxeles
pertenecientes al área de fondo son el primer píxel desde la
izquierda y los píxeles decimocuarto a vigesimoprimero desde la
izquierda. En el cuadro nº n, los píxeles pertenecientes al área de
fondo son los píxeles primero a quinto desde la izquierda y los
píxeles decimoctavo a vigesimoprimero desde la izquierda. En el
cuadro nº n+1, los píxeles pertenecientes al área de fondo son los
píxeles primero a noveno desde la izquierda.
En la Figura 31 se muestra un ejemplo de la
imagen de fondo correspondiente al ejemplo mostrado en la Figura
30, generada por el generador 301 de imagen de fondo. La imagen de
fondo consta de los píxeles correspondientes al objeto de fondo y
no contiene componentes de imagen correspondientes al objeto en
primer plano.
La porción 302 de extracción de imágenes de
objetos binarios genera una imagen de objeto binario basada en la
correlación entre la imagen de fondo y la imagen de entrada, y
suministra la imagen de objeto binario generada a un detector 303 de
cambio de tiempo.
La Figura 32 es un esquema de bloques que
ilustra la configuración de la porción 302 de extracción de imágenes
de objetos binarios. Un calculador 321 de valores de correlación
calcula la correlación entre la imagen de fondo suministrada desde
el generador 301 de imagen de fondo y la imagen de entrada a fin de
generar un valor de correlación, y suministra el valor de
correlación generado a un procesador 322 de valores umbral.
El calculador 321 de valores de correlación
aplica la ecuación (4), por ejemplo, a 3x3 bloques de imagen de
fondo que tienen X_{4} en el centro, como se muestra en la Figura
33A y, por ejemplo, a 3x3 bloques de imagen de fondo que tienen
Y_{4} en el centro que corresponde a los bloques de imagen de
fondo, como se muestra en la Figura 33B, calculando de tal modo un
valor de correlación correspondiente a Y_{4}.
\vskip1.000000\baselineskip
El calculador 321 de valores de correlación
suministra el valor de correlación calculado para cada píxel, como
se trató antes, al procesador 322 de valores umbral.
Alternativamente, el calculador 321 de valores
de correlación puede aplicar la ecuación (7), por ejemplo, a 3x3
bloques de imagen de fondo que tienen X_{4} en el centro, como se
muestra en la Figura 34A, y, por ejemplo, a 3x3 bloques de imagen
de fondo que tienen Y4 en el centro que corresponde a los bloques de
imagen de fondo, como se muestra en la Figura 34B, calculando de
tal modo la suma de valores absolutos de diferencias
correspondientes a Y_{4}.
El calculador 321 de valores de correlación
suministra la suma de los valores absolutos de las diferencias,
calculada como se describió antes, al procesador 322 de valores
umbral como el valor de correlación.
El procesador 322 de valores umbral compara el
valor de píxel de la imagen de correlación con un valor umbral th0.
Si el valor de correlación es menor o igual que el valor umbral th0,
1 es dispuesto en el valor de píxel de la imagen de objeto binario.
Si el valor de correlación es mayor que el valor umbral th0, 0 es
dispuesto en el valor de píxel de la imagen de objeto binario.
Después, el procesador 322 de valores umbral extrae la imagen de
objeto binario cuyo valor de píxel está dispuesto en 0 o 1. El
procesador 322 de valores umbral puede almacenar el valor umbral
th0 en él por adelantado o pueda usar el valor umbral th0
introducido desde una fuente externa.
La Figura 35 ilustra la imagen de objeto binario
correspondiente al modelo de la imagen de entrada mostrada en la
Figura 30. En la imagen de objeto binario, 0 está dispuesto en los
valores de píxeles de los píxeles que tienen una correlación mayor
con la imagen de fondo.
La Figura 36 es un esquema de bloques que
ilustra la configuración del detector 303 de cambio de tiempo.
Cuando se determina el área de un píxel en el cuadro nº n, una
memoria 341 de cuadros almacena una imagen de objeto binario del
cuadro nº n-1 del cuadro nº n y del cuadro nº n+1
suministrada desde la porción 302 de extracción de imágenes de
objetos binarios.
Una porción 342 determinante de áreas determina
el área de cada píxel del cuadro nº n basada en la imagen de objeto
binario del cuadro nº n-1, del cuadro nº n y del
cuadro nº n+1 a fin de generar información de área y extrae la
información de área generada.
La Figura 37 ilustra las determinaciones
efectuadas por la porción 342 determinante de áreas. Cuando el píxel
que interesa de la imagen de objeto binario en el cuadro nº n es 0,
la porción 342 determinante de áreas determina que el píxel que
interesa en el cuadro nº n pertenece al área de fondo.
Cuando el píxel que interesa de la imagen de
objeto binario en el cuadro nº n es 1 y cuando el píxel
correspondiente de la imagen de objeto binario en el cuadro nº
n-1 es 1 y cuando el píxel correspondiente de la
imagen de objeto binario en el cuadro nº n+1 es 1, la porción 342
determinante de áreas determina que el píxel que interesa en el
cuadro nº n pertenece al área de primer plano.
Cuando el píxel que interesa de la imagen de
objeto binario en el cuadro nº n es 1 y cuando el píxel
correspondiente de la imagen de objeto binario en el cuadro nº
n-1 es 0, la porción 342 determinante de áreas
determina que el píxel que interesa en el cuadro nº n pertenece a un
área de fondo cubierta.
Cuando el píxel que interesa de la imagen de
objeto binario en el cuadro nº n es 1 y cuando el píxel
correspondiente de la imagen de objeto binario en el cuadro nº n+1
es 0, la porción 342 determinante de áreas determina que el píxel
que interesa en el cuadro nº n pertenece a un área de fondo
descubierta.
La Figura 38 ilustra un ejemplo de las
determinaciones efectuadas por el detector 303 de cambio de tiempo
en la imagen de objeto binario correspondiente al modelo de la
imagen de entrada mostrada en la Figura 30. El detector 303 de
cambio de tiempo determina que los píxeles primero a quinto desde la
izquierda en el cuadro nº n pertenecen al área de fondo puesto que
los píxeles correspondientes de la imagen de objeto binario en el
cuadro nº n son 0.
El detector 303 de cambio de tiempo determina
que los píxeles sexto a noveno desde la izquierda pertenecen al
área de fondo descubierta puesto que los píxeles de la imagen de
objeto binario en el cuadro nº n son 1 y los píxeles
correspondientes en el cuadro nº n+1 son 0.
El detector 303 de cambio de tiempo determina
que los píxeles décimo a decimotercero desde la izquierda pertenecen
al área en primer plano puesto que los píxeles de la imagen de
objeto binario en el cuadro nº n son 1, los píxeles
correspondientes en el cuadro nº n-1 son 1 y los
píxeles correspondientes en el cuadro nº n+1 son 1.
El detector 303 de cambio de tiempo determina
que los píxeles decimocuarto a decimoséptimo desde la izquierda
pertenecen al área de fondo cubierta puesto que los píxeles de la
imagen de objeto binario en el cuadro nº n son 1 y los píxeles
correspondientes en el cuadro nº n-1 son 0.
El detector 303 de cambio de tiempo determina
que los píxeles decimoctavo a vigésimo primero desde la izquierda
pertenecen al área de fondo puesto que los píxeles correspondientes
de la imagen de objeto binario en el cuadro nº n son 0.
El procesamiento de especificación de áreas
realizado por la unidad 103 de especificación de áreas es descrito
a continuación con referencia al organigrama de la Figura 39. En el
paso S301, el generador 301 de imagen de fondo de la unidad 103 de
especificación de áreas extrae, por ejemplo, un objeto imagen
correspondiente a un objeto de fondo contenido en una imagen de
entrada basado en la imagen de entrada a fin de generar una imagen
de fondo, y suministra la imagen de fondo generada a una porción 302
de extracción de imágenes de objetos binarios.
En el paso S302, la porción 302 de extracción de
imágenes de objetos binarios calcula un valor de correlación entre
la imagen de entrada y la imagen de fondo suministrada desde el
generador 301 de imagen de fondo según, por ejemplo, el cálculo
tratado con referencia a las Figuras 33A y 33B. En el paso S303, la
porción 302 de extracción de imágenes de objetos binarios calcula
una imagen de objeto binario a partir del valor de correlación y el
valor umbral th0, por ejemplo, comparando el valor de correlación
con el valor umbral th0.
En el paso S304, el detector 303 de cambio de
tiempo ejecuta el procesamiento determinante de área y el
procesamiento es completado.
Detalles del procesamiento determinante de área
en el paso S304 son descritos a continuación con referencia al
organigrama de la Figura 40. En el paso S321, la porción 343
determinante de áreas del detector 303 de cambio de tiempo
determina si el píxel que interesa en el cuadro nº n almacenado en
la memoria 341 de cuadros es 0. Si se determina que el píxel que
interesa en el cuadro nº n es cero, el proceso sigue al paso S322.
En el paso S322, se determina que el píxel que interesa en el cuadro
nº n pertenece al área de fondo y el procesamiento es
completado.
completado.
Si en el paso S321 se determina que el píxel que
interesa en el cuadro nº n es 1, el proceso sigue al paso S323. En
el paso S323, la porción 342 determinante de áreas del detector 303
de cambio de tiempo determina si el píxel que interesa en el cuadro
nº n almacenado en la memoria 341 de cuadros es 1 y si el píxel
correspondiente en el cuadro nº n-1 es 0. Si se
determina que el píxel que interesa en el cuadro nº n es 1 y el
píxel correspondiente en el cuadro nº n-1 es 0, el
proceso sigue al paso S324. En el paso S324 se determina que el
píxel que interesa en el cuadro nº n pertenece al área de fondo
cubierta y el procesamiento es completado.
Si en el paso S323 se determina que el píxel que
interesa en el cuadro nº n es 0 o que el píxel correspondiente en
el cuadro nº n-1 es 1, el proceso sigue al paso
S325. En el paso S325, la porción 342 determinante de áreas del
detector 303 de cambio de tiempo determina si el píxel que interesa
en el cuadro nº n almacenado en la memoria 341 de cuadros es 1 y si
el píxel correspondiente en el cuadro nº n+1 es 0. Si se determina
que el píxel que interesa en el cuadro nº n es 1 y el píxel
correspondiente en el cuadro nº n+1 es 0, el proceso sigue al paso
S326. En el paso S326 se determina que el píxel que interesa en el
cuadro nº n pertenece al área de fondo descubierta y el
procesamiento es completado.
Si en el paso S325 se determina que el píxel que
interesa en el cuadro nº n es 0 o que el píxel correspondiente en
el cuadro nº n+1 es 1, el proceso sigue al paso S327. En el paso
S327, la porción 342 determinante de áreas del detector 303 de
cambio de tiempo determina que el píxel que interesa en el cuadro nº
n pertenece al área en primer plano y el procesamiento es
completado.
\newpage
Como se trató antes, la unidad 103 de
especificación de áreas es capaz de especificar, basada en el valor
de correlación entre la imagen de entrada y la imagen de fondo
correspondiente, a cual del área en primer plano, el área de fondo,
el área de fondo cubierta o el área de fondo descubierta pertenece
cada píxel de la imagen de entrada, y genera información de área
correspondiente al resultado especificado.
La Figura 41 es un esquema de bloques que
ilustra otra configuración de la unidad 103 de especificación de
áreas. La unidad 103 de especificación de áreas usa un vector de
movimiento y su información de posición suministrados desde el
detector 102 de movimiento. Los mismos elementos que los mostrados
en la Figura 29 son designados con números de referencia iguales y,
por tanto, es omitida una explicación de ellos.
Una porción 361 de procesamiento robusto genera
una imagen robusta de objeto binario basada en imágenes de objetos
binarios de N cuadros suministradas desde la porción 302 de
extracción de imágenes de objetos binarios, y extrae la imagen
robusta de objeto binario al detector 303 de cambio de tiempo.
La Figura 42 es un esquema de bloques que
ilustra la configuración de la porción 361 de procesamiento robusto.
Un compensador 381 de movimiento compensa el movimiento de las
imágenes de objetos binarios de N cuadros basado en el vector de
movimiento y su información de posición suministrados desde el
detector 102 de movimiento, y extrae una imagen de objeto binario
compensada en movimiento a un conmutador 382.
La compensación de movimiento realizada por el
compensador 381 de movimiento es tratada a continuación con
referencia a ejemplos mostrados en las Figuras 43 y 44. Ahora se
supone, por ejemplo, que el área en el cuadro nº n ha de ser
procesada. Cuando las imágenes de objetos binarios del cuadro nº
n-1, el cuadro nº n y el cuadro nº n+1 mostrados en
la Figura 43 son introducidas, el compensador 381 de movimiento
compensa el movimiento de la imagen de objeto binario del cuadro nº
n-1, y de la imagen de objeto binario del cuadro nº
n+1, como es indicado por el ejemplo mostrado en la Figura 44,
basado en el vector de movimiento suministrado desde el detector
102 de movimiento, y suministra las imágenes de objetos binarios
compensadas en movimiento al conmutador 382.
El conmutador 382 extrae la imagen de objeto
binario compensada en movimiento del primer cuadro a una memoria
383-1 de cuadro y extrae la imagen de objeto binario
compensada en movimiento del segundo cuadro a una memoria
383-2 de cuadro. De modo similar, el conmutador 383
extrae las imágenes de objetos binarios compensadas en movimiento
de los cuadros tercero a (N-1)-simo
a las memorias 383-3 a 383-(N-1) de
cuadro y extrae la imagen de objeto binario compensada en
movimiento del N-simo cuadro a una memoria
383-N de cuadro.
La memoria 383-1 de cuadro
almacena la imagen de objeto binario compensada en movimiento del
primer cuadro y extrae la imagen de objeto binario almacenada a una
porción 384-1 de ponderación. La memoria
383-2 de cuadro almacena la imagen de objeto
binario compensada en movimiento del segundo cuadro y extrae la
imagen de objeto binario almacenada a una porción
384-2 de ponderación.
De modo similar, las memorias
383-3 a 383-(N-1) de cuadro
almacenan las imágenes de objetos binarios compensadas en
movimiento de los cuadros tercero a
(N-1)-simo y extraen las imágenes de
objetos binarios almacenadas a las porciones 384-3
a 384-(N-1) de ponderación. La memoria
383-N de cuadro almacena la imagen de objeto binario
compensada en movimiento del N-simo cuadro y extrae
la imagen de objeto binario almacenada a una porción
384-N de ponderación.
La porción 384-1 de ponderación
multiplica el valor de píxel de la imagen de objeto binario
compensada en movimiento del primer cuadro suministrado desde la
memoria 383-1 de cuadro por un peso predeterminado
w1, y suministra una imagen de objeto binario ponderada a un
acumulador 385. La porción 384-2 de ponderación
multiplica el valor de píxel de la imagen de objeto binario
compensada en movimiento del segundo cuadro suministrado desde la
memoria 383-2 de cuadro por un peso predeterminado
w2 y suministra la imagen de objeto binario ponderada al acumulador
385.
Igualmente, las porciones 384-3
a 384-(N-1) de ponderación multiplican los valores
de píxeles de las imágenes de objetos binarios compensadas en
movimiento de los cuadros tercero a
(N-1)-simo, suministrados desde las
memorias 383-3 a 383-(N-1) de
cuadro, por pesos predeterminados w3 a w(N-1)
y suministra las imágenes de objetos binarios ponderadas al
acumulador 385. La porción 384-N de ponderación
multiplica el valor de píxel de la imagen de objeto binario
compensada en movimiento del cuadro N-simo,
suministrado desde la memoria 383-N del cuadro, por
un peso predeterminado wN, y suministra la imagen de objeto binario
ponderada al acumulador 385.
El acumulador 385 acumula los valores de píxeles
de las imágenes de objetos binarios compensadas en movimiento
multiplicados por los pesos w1 a wN de los cuadros primero a
N-simo, y compara el valor de píxel acumulado con
el valor umbral predeterminado th0, generando de tal modo la imagen
de objeto binario.
Como se trató antes, la porción 361 de
procesamiento robusto genera una imagen robusta de objeto binario a
partir de N imágenes de objetos binarios, y la suministra al
detector 303 de cambio de tiempo. Por consiguiente, la unidad 103
de especificación de áreas configurada como se muestra en la Figura
41 es capaz de especificar el área más precisamente que la mostrada
en la Figura 29 aunque ruido esté contenido en la imagen de
entrada.
\newpage
El procesamiento de especificación de áreas
realizado por la unidad 103 de especificación de áreas, configurada
como se muestra en la Figura 41, es descrita a continuación con
referencia al organigrama de la Figura 45. Los procesamientos del
paso S341 al paso S343 son similares que los del paso S301 al paso
S303 tratados con referencia al organigrama de la Figura 39 y, por
tanto, una explicación de ellos es omitida.
En el paso S344, la porción 361 de procesamiento
robusto realiza el procesamiento robusto.
En el paso S345, el detector 303 de cambio de
tiempo realiza el procesamiento de determinación de área y el
procesamiento es completado. Los detalles del procesamiento del paso
S345 son similares que el procesamiento tratado con referencia al
organigrama de la Figura 40 y, por tanto, una explicación de ellos
es omitida.
Detalles del procesamiento robusto
correspondiente al procesamiento del paso S344 en la Figura 45 son
dados a continuación con referencia al organigrama de la Figura 46.
En el paso S361, el compensador 381 de movimiento realiza la
compensación de movimiento de una imagen de objeto binario de
entrada basado en el vector de movimiento y su información de
posición suministrados desde el detector 102 de movimiento. En el
paso S362, una de las memorias 383-1 a
383-N de cuadro almacena la imagen correspondiente
de objeto binario compensada en movimiento suministrada por vía del
conmutador 382.
En el paso S363, la porción 361 de procesamiento
robusto determina si están almacenadas N imágenes de objetos
binarios. Si se determina que no están almacenadas N imágenes de
objetos binarios, el proceso vuelve al paso S361 y el procesamiento
para compensar el movimiento de la imagen de objeto binario y el
procesamiento para almacenar la imagen de objeto binario son
repetidos.
Si en el paso S363 se determina que están
almacenados N imágenes de objetos binarios, el proceso sigue al
paso S364 en el que la ponderación es realizada. En el paso S364,
las porciones 384-1 a 384-N de
ponderación multiplican las N imágenes correspondientes de objetos
binarios por los pesos w1 a wN.
En el paso S365, el acumulador 385 acumula las N
imágenes ponderadas de objetos binarios.
En el paso S366, el acumulador 385 genera una
imagen de objeto binario a partir de las imágenes acumuladas, por
ejemplo, comparando el valor acumulado con un valor umbral
predeterminado th1 y el procesamiento es completado.
Como se trató antes, la unidad 103 de
especificación de áreas, configurada como se muestra en la Figura
41, es capaz de generar información de área basada en la imagen
robusta de objeto binario.
Como se ve por la descripción anterior, la
unidad 103 de especificación de áreas es capaz de generar
información de área que indica a cual del área móvil, el área fija,
el área de fondo descubierta o el área de fondo cubierta pertenece
cada píxel contenido en un cuadro.
La Figura 47 es un esquema de bloques que
ilustra la configuración del calculador 104 de relaciones de mezcla.
Un procesador 401 de relaciones de mezcla estimadas calcula una
relación de mezcla estimada para cada píxel calculando un modelo de
un área de fondo cubierta basado en el vector de movimiento y en su
información de posición suministrados desde el detector 102 de
movimiento y la imagen de entrada, y suministra la relación de
mezcla estimada calculada a una porción 403 determinante de
relaciones de mezcla.
Un procesador 402 de relaciones de mezcla
estimadas calcula una relación de mezcla estimada para cada píxel
calculando un modelo de un área de fondo descubierta basado en el
vector de movimiento y su información de posición suministrados
desde el detector 102 de movimiento y la imagen de entrada, y
suministra la relación de mezcla estimada calculada a la porción 403
determinante de relaciones de mezcla.
Puesto que puede suponerse que el objeto
correspondiente al primer plano es móvil con velocidad constante
dentro del tiempo de exposición, la relación \alpha de mezcla de
los píxeles pertenecientes a un área mixta exhibe las
características siguientes. O sea, la relación \alpha de mezcla
cambia linealmente según el cambio de posición en los píxeles. Si
el cambio de posición en los píxeles es unidimensional, un cambio en
la relación \alpha de mezcla puede ser representado linealmente.
Si el cambio de posición en los píxeles es bidimensional, un cambio
en la relación \alpha de mezcla puede ser representado en un
plano.
Como el período de un cuadro es corto, puede
suponerse que el objeto correspondiente al primer plano es un cuerpo
rígido que se mueve con velocidad constante.
El gradiente de la relación \alpha de mezcla
es inversamente proporcional a la magnitud v de movimiento dentro
del tiempo de exposición del primer plano.
En la Figura 48 se muestra un ejemplo de la
relación \alpha de mezcla ideal. El gradiente l de la relación
\alpha de mezcla ideal en el área mixta puede ser representado por
la inversa de la magnitud v de movimiento.
Como se muestra en la Figura 48, la relación
\alpha de mezcla ideal tiene el valor de 1 en el área de fondo,
el valor de 0 en el área en primer plano y el valor mayor que 0 y
menor que 1 en el área mixta.
En el ejemplo mostrado en la Figura 49, el valor
C06 de píxel del séptimo píxel desde la izquierda en el cuadro nº n
puede ser indicado por la ecuación (8) usando el valor P06 de píxel
del séptimo píxel desde la izquierda en el cuadro nº
n-1.
En la ecuación (8), el valor C06 de píxel es
indicado por un valor M de píxel del píxel en el área mixta mientras
que el valor P06 de píxel es indicado por un valor B de píxel del
píxel en el área de fondo. Es decir, el valor M de píxel del píxel
en el área mixta y el valor B de píxel del píxel en el área de fondo
pueden ser representados por las ecuaciones (9) y (10),
respectivamente.
En la ecuación (8), 2/v corresponde a la
relación \alpha de mezcla. Como la magnitud v de movimiento es 4,
la relación \alpha de mezcla del séptimo píxel desde la izquierda
en el cuadro nº n es 0,5.
Como se trató antes, el valor C de píxel en el
cuadro nº n que interesa es considerado como el valor de píxel en
el área mixta, mientras que el valor P de píxel del cuadro nº
n-1, anterior al cuadro nº n, es considerado como
el valor de píxel en el área de fondo. Por consiguiente, la ecuación
(3) que indica la relación \alpha de mezcla puede ser representada
por la ecuación (11):
donde f en la ecuación (11) indica
la suma \Sigma_{i}Fi/v de los componentes de primer plano
contenidos en los píxeles que interesan. Las variables contenidas
en la ecuación (11) son dos factores, o sea, la relación \alpha de
mezcla y la suma f de los componentes de primer
plano.
De modo similar, en la Figura 50 se muestra un
modelo obtenido extendiendo en la dirección de tiempo los valores
de píxeles en los que la magnitud de movimiento es 4 y el número de
porciones divididas virtuales es 4 en un área de fondo
descubierta.
Como en la representación del área de fondo
cubierta, en el área de fondo descubierta, el valor C de píxel del
cuadro nº n que interesa es considerado como el valor de píxel en el
área mixta, mientras que el valor N de píxel del cuadro nº n+1,
subsiguiente al cuadro nº n, es considerado como el área de fondo.
Por consiguiente, la ecuación (3) que indica la relación \alpha de
mezcla puede ser representada por la ecuación (12).
La realización se ha descrito suponiendo que el
objeto de fondo es fijo. Sin embargo, las ecuaciones (9) a (12)
pueden ser aplicadas al caso en el que el objeto de fondo es móvil
usando el valor de píxel de un píxel situado correspondiente a la
magnitud v de movimiento del fondo. En la Figura 49 se supone ahora,
por ejemplo, que la magnitud v de movimiento del objeto
correspondiente al fondo es 2, y el número de porciones divididas
virtuales es 2. En este caso, cuando el objeto correspondiente al
fondo es móvil hacia la derecha en la Figura 49, el valor B de
píxel del píxel en el área de fondo en la ecuación (10) es
representado por el valor P04 de píxel.
Como cada una de las ecuaciones (11) y (12)
contiene dos variables, la relación \alpha de mezcla no puede ser
determinada sin modificar las ecuaciones.
Por consiguiente, la relación \alpha de mezcla
es determinada formulando ecuaciones para el píxel perteneciente al
área mixta y el píxel correspondiente perteneciente al área de fondo
de acuerdo con la magnitud v de movimiento del objeto en primer
plano.
Como la magnitud v de movimiento, son utilizados
el vector de movimiento y su información de posición suministrados
desde el detector 102 de movimiento.
\newpage
Ahora se proporciona una descripción de un
cálculo de la relación de mezcla estimada por el procesador 401 de
relaciones de mezcla estimadas usando la magnitud v de movimiento
basado en el modelo correspondiente al área de fondo cubierta.
En el ejemplo mostrado en la Figura 49
correspondiente al área de fondo cubierta, la ecuación (13) puede
ser válida para P02 del cuadro nº n-1 y la ecuación
(14) puede ser válida para C06 del cuadro nº n.
En las ecuaciones (13) y (14), el valor
correspondiente a la relación \alpha de mezcla es el mismo, o sea
2/v. En las ecuaciones (13) y (14), el valor correspondiente a la
suma de los componentes de primer plano es el mismo, o sea
Es decir, la relación \alpha de mezcla y la
suma de los componentes de primer plano de P02 del cuadro nº
n-1 son iguales que las de C06 del cuadro nº n, y
puede decirse que C06 del cuadro nº n corresponde a P02 del cuadro
nº n-1 debido al movimiento del objeto en primer
plano.
Usando la hipótesis de que el objeto
correspondiente al primer plano es móvil con velocidad constante por
una pluralidad de cuadros, y que los componentes de primer plano
son uniformes, es posible seleccionar una pluralidad de conjuntos,
consistente cada conjunto en un píxel perteneciente al área mixta y
el píxel correspondiente perteneciente al área de fondo cuya
relación \alpha de mezcla y la suma de los componentes de primer
plano son iguales, de acuerdo con la magnitud v de movimiento del
objeto en primer plano. Por ejemplo, pueden prepararse cinco
conjuntos, consistente cada conjunto en un píxel perteneciente al
área mixta y el píxel correspondiente perteneciente al área de
fondo.
Por ejemplo, como se muestra en la Figura 51, de
acuerdo con la magnitud v de movimiento del objeto en primer plano,
los píxeles Mt1 a Mt5 pertenecientes al área mixta y los píxeles
correspondientes Bt1 a Bt5 pertenecientes al área de fondo,
respectivamente, pueden ser seleccionados del cuadro nº
n-3 al cuadro nº n+2.
Las ecuaciones (15) a (19) pueden ser válidas
para los píxeles Mt1 a Mt5 y los píxeles Bt1 a Bt5,
respectivamente:
donde en las ecuaciones (15) a
(19), f indica la suma \Sigma_{i}Fi/v de componentes de primer
plano.
En las cinco ecuaciones, o sea en las ecuaciones
(15) a (19), están contenidas las variables comunes, o sea la
relación \alpha de mezcla y la suma f de los componentes de primer
plano. Por consiguiente, aplicando el método de los cuadrados
mínimos a las ecuaciones (15) a (19), pueden ser obtenidas la
relación \alpha de mezcla y la suma f de los componentes de primer
plano.
Por ejemplo, el procesador 401 de relaciones de
mezcla estimadas almacena una ecuación normal para calcular la
relación \alpha de mezcla y la suma f de los componentes de primer
plano por adelantado, y dispone un valor de píxel perteneciente al
área mixta y el valor de píxel correspondiente perteneciente al área
de fondo en la ecuación normal almacenada, calculando de tal modo
la relación \alpha de mezcla y la suma f de los componentes de
fondo mediante un método de cálculo matricial.
En el caso en el que el fondo sea móvil, como se
muestra en el ejemplo de la Figura 52, el procesador 401 de
relaciones de mezcla estimadas dispone un valor de píxel
perteneciente al área mixta y el valor de píxel correspondiente
perteneciente al área de fondo en la ecuación normal según la
magnitud v' de movimiento del fondo, y después calcula la relación
\alpha de mezcla y la suma f de los componentes de primer plano
mediante un método de cálculo matricial.
Más específicamente, suponiendo que una
pluralidad de píxeles correspondientes pertenecen al área de fondo
cubierta, el procesador 401 de relaciones de mezcla estimadas
extrae, basado en la magnitud v de movimiento del objeto en primer
plano entre una pluralidad de objetos, datos de una pluralidad de
píxeles mixtos correspondientes que indican los valores de píxeles
(datos de píxeles) de los píxeles de un número predeterminado de
cuadros consecutivos en los que una pluralidad de objetos están
mezclados, y también extrae, basado en la magnitud v' de movimiento
del objeto de fondo desde una pluralidad de objetos, datos de
píxeles de fondo que indican los valores de píxeles (datos de
píxeles) de los píxeles que forman el objeto de fondo
correspondiente a los datos de píxeles mixtos, siendo los datos de
píxeles de fondo extraídos de un cuadro diferente que los cuadros
en los que los datos de píxeles mixtos están presentes entre un
número predeterminado de cuadros consecutivos. Después, el
procesador 401 de relaciones de mezcla estimadas genera una
expresión relacional de los datos de píxeles mixtos y los datos de
píxeles de fondo correspondientes al número predeterminado de
cuadros consecutivos basado en los datos de píxeles mixtos y los
datos de píxeles de fondo extraídos, y detecta una sola relación de
mezcla correspondiente al número predeterminado de cuadros
consecutivos basado en la expresión relacional. La relación de
mezcla detectada es dispuesta en la relación de mezcla estimada.
El procesador 401 de relaciones de mezcla
estimadas calcula la relación de mezcla estimada usando la magnitud
v de movimiento basado en un modelo correspondiente al área de fondo
cubierta.
De modo similar, el procesador 402 de relaciones
de mezcla estimadas calcula la relación de mezcla estimada usando
la magnitud v de movimiento basado en un modelo correspondiente al
área de fondo descubierta. En el modelo correspondiente al área de
fondo descubierta, el píxel correspondiente perteneciente al área de
fondo es seleccionada del cuadro subsiguiente al cuadro que tiene el
píxel que interesa.
Más específicamente, suponiendo que una
pluralidad de píxeles correspondientes pertenecen al área de fondo
descubierta, el procesador 402 de relaciones de mezcla estimadas
extrae, basado en la magnitud v de movimiento del objeto en primer
plano entre una pluralidad de objetos, datos de una pluralidad de
píxeles mixtos correspondientes que indican los valores de píxeles
(datos de píxeles) de los píxeles de un número predeterminado de
cuadros consecutivos en los que una pluralidad de objetos son
mixtos, y también extrae, basado en la magnitud v' de movimiento
del objeto de fondo desde una pluralidad de objetos, datos de
píxeles de fondo que indican los valores de píxeles (datos de
píxeles) de los píxeles que forman un objeto de fondo
correspondiente a los datos de píxeles mixtos, siendo los datos de
píxeles de fondo extraídos de un cuadro diferente que los cuadros en
los que los datos de píxeles mixtos están presentes entre un número
predeterminados de cuadros consecutivos. Después, el procesador 402
de relaciones de mezcla estimadas genera una expresión relacional de
los datos de píxeles mixtos y los datos de píxeles de fondo
correspondientes al número predeterminado de cuadros consecutivos
basado en los datos de píxeles mixtos y los datos de píxeles de
fondo extraídos, y detecta una sola relación de mezcla
correspondiente al número predeterminado de cuadros consecutivos
basado en la expresión relacional. La relación de mezcla detectada
es dispuesta en la relación de mezcla
estimada.
estimada.
La Figura 53 es un esquema de bloques que
ilustra la configuración del procesador 401 de relaciones de mezcla
estimadas para calcular la relación de mezcla estimada usando la
magnitud v de movimiento basado en un modelo correspondiente al área
de fondo cubierta.
Una memoria 421 de cuadros almacena una
pluralidad de cuadros de una imagen de entrada y suministra los
cuadros almacenados a un calculador 422 de relaciones de mezcla.
Por ejemplo, la memoria 421 de cuadros almacena seis cuadros, en
unidades de cuadros, y suministra los seis cuadros almacenados al
calculador 422 de relaciones de mezcla.
El calculador 422 de relaciones de mezcla
almacena una ecuación normal para calcular por adelantado la
relación \alpha de mezcla y la suma f de los componentes de primer
plano.
El calculador 422 de relaciones de mezcla
dispone en la ecuación normal un valor de píxel perteneciente al
área mixta y el valor de píxel correspondiente al área de fondo
contenida en los cuadros suministrados desde la memoria 421 de
cuadros. El calculador 422 de relaciones de mezcla resuelve la
ecuación normal en la que están dispuestos al valor de píxel
perteneciente al área mixta y el valor de píxel correspondiente
perteneciente al área de fondo según un método de solución
matricial a fin de obtener la relación de mezcla estimada, y extrae
la relación de mezcla estimada calculada.
La Figura 54 es un esquema de bloques que
ilustra la configuración del calculador 422 de relaciones de
mezcla.
Un sumador 441 de ecuaciones normales almacena
una ecuación normal para calcular la relación de mezcla estimada por
adelantado.
El sumador 441 de ecuaciones normales dispone un
valor correspondiente perteneciente al área mixta y el valor
correspondiente perteneciente al área de fondo contenidas en una
imagen de M cuadros suministrada desde la memoria 421 de cuadros.
El sumador 441 de ecuaciones normales suministra la ecuación normal,
en la que están dispuestos el valor de píxel perteneciente al área
mixta y el valor de píxel correspondiente perteneciente al área de
fondo, a un calculador 442 de ecuaciones normales.
El calculador 442 de ecuaciones normales
resuelve la ecuación normal, en la que los valores de píxeles están
dispuestos, suministrada desde el sumador 441 de ecuaciones
normales, aplicando por ejemplo un método de barrido (eliminación
Gauss-Jordan) a fin de obtener la relación de mezcla
estimada, y extrae la relación de mezcla calculada.
Como se trató antes, el procesador 401 de
relaciones de mezcla estimadas calcula la relación de mezcla
estimada usando la magnitud v de movimiento, basado en un modelo
correspondiente al área de fondo cubierta.
El procesador 402 de relaciones de mezcla
estimadas tiene una configuración similar que el procesador 401 de
relaciones de mezclas estimadas y, por tanto, una explicación de él
es omitida.
La Figura 55 ilustra un ejemplo de la relación
de mezcla estimada calculada por el procesador 401 de relaciones de
mezcla estimadas. La relación de mezcla estimada mostrada en la
Figura 55 es el resultado representado por la línea y obtenido
calculando las ecuaciones normales en las que siete pares de píxeles
son dispuestos cuando la magnitud v de movimiento del objeto en
primer plano móvil con velocidad constante es 11.
Como se muestra en la Figura 48, se ve que la
relación de mezcla estimada cambia casi linealmente en el área
mixta.
Refiriéndose nuevamente a la Figura 47, la
porción 403 determinante de relaciones de mezcla dispone la relación
\alpha de mezcla basada en la información de área suministrada
desde la unidad 103 de especificación de áreas y que indica a cual
del área en primer plano, el área de fondo, el área de fondo
cubierta o el área de fondo descubierta pertenece al píxel para el
que la relación \alpha de mezcla ha de ser calculada. La porción
403 determinante de relaciones de mezcla dispone la relación
\alpha de mezcla en 0 cuando el píxel correspondiente pertenece
al área en primer plano, y dispone la relación \alpha de mezcla en
1 cuando el píxel correspondiente pertenece al área de fondo.
Cuando el píxel correspondiente pertenece al área de fondo
cubierta, la porción 403 determinante de relaciones de mezcla
dispone la relación \alpha de mezcla en la relación de mezcla
estimada suministrada desde el procesador 401 de relaciones de
mezcla estimadas. Cuando el píxel correspondiente pertenece al área
de fondo descubierta, la porción 403 determinante de relaciones de
mezcla dispone la relación \alpha de mezcla en la relación de
mezcla estimada suministrada desde el procesador 402 de relaciones
de mezcla estimadas. La porción 403 determinante de relaciones de
mezcla extrae la relación \alpha de mezcla que ha sido dispuesta
basada en la información de área.
De esta manera, el calculador 104 de relaciones
de mezcla es capaz de calcular la relación \alpha de mezcla para
cada píxel contenido en la imagen, y extraer la relación \alpha de
mezcla calculada.
La Figura 56 es un esquema de bloques que
ilustra otra configuración del calculador 104 de relaciones de
mezcla. Un selector 461 suministra un píxel perteneciente al área
de fondo cubierta y los píxeles correspondientes en los cuadros
anterior y subsiguiente a un procesador 462 de relaciones de mezcla
estimadas basado en la información de área suministrada desde la
unidad 103 de especificación de áreas. El selector 461 suministra
un píxel perteneciente al área de fondo descubierta y los píxeles
correspondientes en los cuadros anterior y subsiguiente a un
procesador 463 de relaciones de mezcla estimadas basado en la
información de área suministrada desde la unidad 103 de
especificación de áreas.
El procesador 462 de relaciones de mezcla
estimadas calcula la relación de mezcla estimada del píxel que
interesa perteneciente al área de fondo cubierta según la ecuación
normal correspondiente al área de fondo cubierta basado en el
vector de movimiento y en su información de posición suministrados
desde el detector 102 de movimiento y los valores de píxeles
introducidos desde el selector 461, y suministra la relación de
mezcla estimada calculada a un selector 464.
El procesador 463 de relaciones de mezcla
estimadas calcula la relación de mezcla estimada del píxel que
interesa perteneciente al área de fondo descubierta según la
ecuación normal correspondiente al área de fondo cubierta basado en
el vector de movimiento y su información de posición suministrados
desde el detector 102 de movimiento y los valores de píxeles
introducidos desde el selector 461, y suministra la relación de
mezcla estimada calculada al selector 464.
Basado en la información de área suministrada
desde la unidad 103 de especificación de áreas, el selector 464
dispone la relación \alpha de mezcla en 0 cuando el píxel que
interesa pertenece al área en primer plano, y dispone la relación
\alpha de mezcla en 1 cuando el píxel que interesa pertenece al
área de fondo. Cuando el píxel que interesa pertenece al área de
fondo cubierta, el selector 464 selecciona la relación de mezcla
estimada suministrada desde el procesador 462 de relaciones de
mezcla estimadas y la dispone como la relación \alpha de mezcla.
Cuando el píxel que interesa pertenece al área de fondo descubierta,
el selector 464 selecciona la relación de mezcla estimada
suministrada desde el procesador 463 de relaciones de mezcla
estimadas y la dispone como la relación \alpha de mezcla.
Después, el selector 464 extrae la relación \alpha de mezcla que
ha sido seleccionada y dispuesta basado en la información
de área.
de área.
Como se trató antes, el calculador 104 de
relaciones de mezcla configurado como se muestra en la Figura 56 es
capaz de calcular la relación \alpha de mezcla para cada píxel
contenido en la imagen, y extrae la relación \alpha de mezcla
calculada.
El procesamiento de cálculo para la relación
\alpha de mezcla realizado por el calculador 104 de relaciones de
mezcla es tratado a continuación con referencia al organigrama de la
Figura 57. En el paso S501, el calculador 104 de relaciones de
mezcla obtiene información de área suministrada desde la unidad 103
de especificación de áreas. En el paso S502, el procesador 401 de
relaciones de mezcla estimadas ejecuta el procesamiento para
estimar la relación de mezcla usando un modelo correspondiente a un
área de fondo cubierta basado en un vector de movimiento y su
información de posición suministrados desde el detector 102 de
movimiento, y suministra la relación de mezcla estimada a la
porción 403 determinante de relaciones de mezcla. Detalles del
procesamiento para estimar la relación de mezcla son tratados a
continuación con referencia al organigrama de la Figura 57.
En el paso S503, el procesador 402 de relaciones
de mezcla estimadas ejecuta el procesamiento para estimar la
relación de mezcla usando un modelo correspondiente a un área de
fondo descubierta basado en un vector de movimiento y su
información de posición suministrados desde el detector 102 de
movimiento, y suministra la relación de mezcla estimada a la porción
403 determinante de relaciones de mezcla.
En el paso S504, el calculador 104 de relaciones
de mezcla determina si las relaciones de mezcla han sido estimadas
para todo el cuadro. Si se determina que las relaciones de mezcla no
han sido estimadas todavía para todo el cuadro, el proceso vuelve
al paso S502 y se ejecuta el procesamiento para estimar la relación
de mezcla para el píxel subsiguiente.
Si en el paso S504 se determina que las
relaciones de mezcla han sido estimadas para todo el cuadro, el
proceso sigue al paso S505. En el paso S505, la porción 403
determinante de relaciones de mezcla dispone la relación de mezcla
basada en la información de área suministrada desde la unidad 103 de
especificación de áreas y que indica a cual del área en primer
plano, el área de fondo, el área de fondo cubierta o el área de
fondo descubierta pertenece el píxel para el que la relación
\alpha de mezcla ha de ser calculada. La porción 403 determinante
de relaciones de mezcla dispone la relación \alpha de mezcla en 0
cuando el píxel correspondiente pertenece al área en primer plano,
y dispone la relación \alpha de mezcla en 1 cuando el píxel
correspondiente pertenece al área de fondo. Cuando el píxel
correspondiente pertenece al área de fondo cubierta, la porción 403
determinante de relaciones de mezcla dispone la relación de mezcla
estimada suministrada desde el procesador 401 de relaciones de
mezcla estimadas como la relación \alpha de mezcla. Cuando el
píxel correspondiente pertenece al área de fondo descubierta, la
porción 403 determinante de relaciones de mezcla dispone la relación
de mezcla estimada suministrada desde el procesador 402 de
relaciones de mezcla estimadas como la relación \alpha de mezcla.
Entonces el procesamiento es completado.
Como se trató antes, el calculador 104 de
relaciones de mezcla es capaz de calcular la relación \alpha de
mezcla, que indica una característica cantidad correspondiente a
cada píxel, basado en el vector de movimiento y su información de
posición suministrados desde el detector 102 de movimiento, la
información de área suministrada desde la unidad 103 de
especificación de áreas y la imagen de entrada.
Utilizando la relación \alpha de mezcla, es
posible separar los componentes de primer plano y los componentes
de fondo contenidos en los valores de píxeles mientras se mantiene
la información de borrosidad por movimiento contenida en la imagen
correspondiente al objeto móvil.
El procesamiento del calculador 104 de
relaciones de mezcla configurado como se muestra en la Figura 56 es
similar al tratado con referencia al organigrama de la Figura 57 y,
por tanto, una explicación de él es omitida.
Con referencia al organigrama de la Figura 58,
ahora se proporciona una descripción del procesamiento de cálculo
ejecutado por el procesador 401 de relaciones de mezcla estimadas en
el paso S502 en el que la relación de mezcla es estimada según el
modelo del área de fondo cubierta.
En el paso S521, el sumador 441 de ecuaciones
normales del calculador 422 de relaciones de mezcla lee el vector
de movimiento y su información de posición suministrados desde el
detector 102 de movimiento a fin de obtener la magnitud v de
movimiento.
En el paso S522, el sumador 441 de ecuaciones
normales selecciona los píxeles de la imagen de M cuadros
suministrados desde la memoria 421 de cuadros, y dispone los píxeles
seleccionados en una ecuación normal prealmacenada.
En el paso S523, el sumador 441 de ecuaciones
normales determina si ha terminado la disposición de los valores de
píxeles de los píxeles correspondientes. Si se determina que no ha
terminado la disposición de los valores de píxeles de los píxeles
correspondientes, el proceso vuelve al paso S522 en el que el
procesamiento para disponer los valores de píxeles es repetido.
Si en el paso S523 se determina que ha terminado
la disposición de los valores de píxeles de los píxeles
correspondientes, el proceso sigue al paso S524. En el paso S524,
el sumador 441 de ecuaciones normales suministra la ecuación
normal, en la que los valores de píxeles están dispuestos, al
calculador 442 de ecuaciones normales y el calculador 442 de
ecuaciones normales resuelve la ecuación normal aplicando, por
ejemplo, un método de barrido (eliminación
Gauss-Jordan) a fin de obtener la relación de mezcla
estimada. Entonces, el procesamiento es completado.
Como se trató antes, el procesador 401 de
relaciones de mezcla estimadas es capaz de calcular la relación de
mezcla estimada.
El procesamiento de relaciones de mezcla
estimadas ejecutado por el procesador 402 de relaciones de mezcla
estimadas en el paso S503 de la Figura 57, en el que la relación de
mezcla es estimada usando el modelo correspondiente al área de
fondo descubierta, es similar que el procesamiento ejecutado usando
la ecuación normal correspondiente al modelo del área de fondo
descubierta indicado por el organigrama de la Figura 58 y, por
tanto, una explicación de él es omitida.
El procesamiento ejecutado por el procesador 462
de relaciones de mezcla estimadas es similar que el ejecutado por
el procesador 401 de relaciones de mezcla estimadas y, por tanto,
una explicación de él es omitida. El procesamiento ejecutado por el
procesador 463 de relaciones de mezcla estimadas es similar que el
ejecutado por el procesador 402 de relaciones de mezcla estimadas y,
por tanto, una explicación de él es omitida.
El separador 105 de primer plano/fondo es
tratado a continuación. La Figura 59 es un esquema de bloques que
ilustra un ejemplo de la configuración del separador 105 de primer
plano/fondo. La imagen de entrada suministrada al separador 105 de
primer plano/fondo es suministrada a una porción separadora 601, un
interruptor 602 y un interruptor 604. La información de áreas
suministrada desde la unidad 103 de especificación de áreas, y que
indica la información del área de fondo cubierta y del área de
fondo descubierta, es suministrada a la porción separadora 601. La
información de área que indica el área en primer plano es
suministrada al interruptor 602. La información de área que indica
el área de fondo es suministrada al interruptor 604.
La relación \alpha de mezcla suministrada
desde el calculador 104 de relaciones de mezcla es suministrada a la
porción separadora 601.
La porción separadora 601 separa los componentes
de primer plano de la imagen de entrada basada en la información de
área que indica el área de fondo cubierta, la información de área
que indica el área de fondo descubierta y la relación \alpha de
mezcla, y suministra los componentes de primer plano separados a un
sintetizador 603. La porción separadora 601 también separa los
componentes de fondo de la imagen de entrada y suministra los
componentes de fondo separados a un sintetizador 605.
El interruptor 602 es cerrado cuando un píxel
correspondiente al primer plano es introducido basado en la
información de área que indica el área en primer plano, y suministra
solo los píxeles correspondientes al primer plano, contenidos en la
imagen de entrada, al sintetizador 603.
El interruptor 604 es cerrado cuando un píxel
correspondiente al fondo es introducido basado en la información de
área que indica el área de fondo, y suministra solo los píxeles
correspondientes al fondo, contenidos en la imagen de entrada, al
sintetizador 605.
El sintetizador 603 sintetiza una imagen de
componentes de primer plano basado en los componentes de primer
plano suministrados desde la porción separadora 601 y los píxeles
correspondientes al primer plano suministrados desde el interruptor
602, y extrae la imagen sintetizada de componentes de primer plano.
Como el área en primer plano el área mixta no se superponen, el
sintetizador 603 aplica, por ejemplo, la operación O lógica a los
componentes de primer plano y los píxeles de primer plano,
sintetizando de tal modo la imagen de componentes de primer
plano.
En el procesamiento de inicialización ejecutado
al comienzo del procesamiento sintetizador para la imagen de
componentes de primer plano, el sintetizador 603 almacena una imagen
cuyos valores de píxeles son todos 0 en una memoria de cuadros
incorporada. Después, en el procesamiento sintetizador para la
imagen de componentes de primer plano, el sintetizador 603 almacena
la imagen de componentes de primer plano (sobrescribe la imagen
anterior mediante la imagen de componentes de primer plano). Por
consiguiente, 0 es almacenado en los píxeles correspondientes al
área de fondo en la imagen de componentes de primer plano extraída
del sintetizador 603.
El sintetizador 605 sintetiza una imagen de
componentes de fondo basado en los componentes de fondo
suministrados desde la porción separadora 601 y los píxeles
correspondientes al fondo suministrados desde el interruptor 604, y
extrae la imagen sintetizada de componentes de fondo. Como el área
de fondo y el área mixta no se superponen, el sintetizador 605
aplica, por ejemplo, la operación 0 lógica a los componentes de
fondo y los píxeles de fondo, sintetizando de tal modo la imagen de
componentes de fondo.
En el procesamiento de inicialización ejecutado
al comienzo del procesamiento sintetizador para la imagen de
componentes de fondo, el sintetizador 605 almacena una imagen cuyos
valores de píxeles son todos 0 en una memoria de cuadros
incorporada. Después, en el procesamiento sintetizador para la
imagen de componentes de fondo, el sintetizador 605 almacena la
imagen de componentes de fondo (sobreescribe la imagen anterior
mediante la imagen de componentes de fondo). Por consiguiente, 0 es
almacenado en los píxeles correspondientes al área en primer plano
en la imagen de componentes de fondo extraída del sintetizador
605.
La Figura 60A ilustra la imagen de entrada
introducida en el separador 105 de primer plano/fondo y la imagen
de componentes de primer plano y la imagen de componentes de fondo
extraídas del separador 105 de primer plano/fondo. La Figura 60B
ilustra un modelo de la imagen de entrada introducida en el
separador 105 de primer plano/fondo y la imagen de componentes de
primer plano y la imagen de componentes de fondo extraídas del
separador 105 de primer plano/fondo.
La Figura 60A es un diagrama esquemático que
ilustra la imagen a ser exhibida, y la Figura 60B ilustra un modelo
obtenido extendiendo en la dirección del tiempo los píxeles
dispuestos en una línea que incluye los píxeles pertenecientes al
área en primer plano, los píxeles pertenecientes al área de fondo y
los píxeles pertenecientes al área mixta correspondientes a la
Figura 60A.
Como se muestra en las Figuras 60A y 60B, la
imagen de componentes de fondo extraída del separador 105 de primer
plano/fondo consiste en los píxeles pertenecientes al área de fondo
y los componentes de fondo contenidos en los píxeles del área
mixta.
Como se muestra en las Figuras 60A y 60B, la
imagen de componentes de primer plano extraída del separador 105 de
primer plano/fondo consiste en los píxeles pertenecientes al área en
primer plano y los componentes de primer plano contenidos en los
píxeles del área mixta.
Los valores de píxeles de los píxeles en el área
mixta son separados en los componentes de fondo y los componentes
de primer plano por el separador 105 de primer plano/fondo. Los
componentes de fondo separados forman la imagen de componentes de
fondo junto con los píxeles pertenecientes al área de fondo. Los
componentes de primer plano separados forman la imagen de
componentes de primer plano junto con los píxeles pertenecientes al
área en primer plano.
Como se trató antes, en la imagen de componentes
de primer plano, los valores de píxeles de los píxeles
correspondientes al área de fondo son dispuestos en 0, y valores de
píxeles significativos son dispuestos en los píxeles
correspondientes al área en primer plano y los píxeles
correspondientes al área mixta. De modo similar, en la imagen de
componentes de fondo, los valores de píxeles de los píxeles
correspondientes al área en primer plano son dispuestos en 0 y
valores de píxeles significativos son dispuestos en los píxeles
correspondientes al área de fondo y los píxeles correspondientes al
área mixta.
A continuación se proporciona una descripción
del procesamiento ejecutado por la porción separadora 601 para
separar los componentes de primer plano y los componentes de fondo
de los píxeles pertenecientes al área mixta.
La Figura 61 ilustra un modelo de una imagen que
indica los componentes de primer plano y los componentes de fondo
en dos cuadros que incluyen un objeto en primer plano móvil desde la
izquierda hacia la derecha en la Figura 61. En el modelo de la
imagen mostrado en la Figura 61, la magnitud v de movimiento es 4 y
el número de porciones divididas virtuales es 4.
En el cuadro nº n, el píxel izquierdo y los
píxeles decimocuarto a decimoctavo desde la izquierda consisten
solo en los componentes de fondo y pertenecen al área de fondo. En
el cuadro nº n, los píxeles segundo a cuarto desde la izquierda
contienen los componentes de fondo y los componentes de primer plano
y pertenecen al área de fondo descubierta. En el cuadro nº n, los
píxeles undécimo a decimotercero desde la izquierda contienen
componentes de fondo y componentes de primer plano y pertenecen al
área de fondo cubierta. En el cuadro nº n, los píxeles quinto a
décimo desde la izquierda consisten solo en los componentes de
primer plano y pertenecen al área en primer
plano.
plano.
En el cuadro nº n+1, los píxeles primero a
quinto desde la izquierda y el píxel decimoctavo desde la izquierda
consisten solo en los componentes de fondo y pertenecen al área de
fondo. En el cuadro nº n+1, los píxeles sexto a octavo desde la
izquierda contienen componentes de fondo y componentes de primer
plano y pertenecen al área de fondo descubierta. En el cuadro nº
n+1, los píxeles decimoquinto a decimoséptimo desde la izquierda
contienen componentes de fondo y componentes de primer plano y
pertenecen al área de fondo cubierta. En el cuadro nº n+1, los
píxeles noveno a decimocuarto desde la izquierda consisten solo en
los componentes de primer plano y pertenecen al área en primer
plano.
La Figura 62 ilustra el procesamiento para
separar los componentes de primer plano de los píxeles
pertenecientes al área de fondo cubierta. En la Figura 62,
\alpha1 a \alpha18 indican las relaciones de mezcla de los
píxeles individuales del cuadro nº n. En la Figura 62, los píxeles
decimocuarto a decimoséptimo desde la izquierda pertenecen al área
de fondo cubierta.
El valor C15 de píxel del píxel decimoquinto
desde la izquierda en el cuadro nº n puede ser expresado por la
ecuación (20):
donde \alpha15 indica la relación
de mezcla del píxel decimoquinto desde la izquierda en el cuadro nº
n y P15 designa el valor de píxel del píxel decimoquinto desde la
izquierda en el cuadro nº
n-1.
La suma f15 de los componentes de primer plano
del píxel decimoquinto desde la izquierda en el cuadro nº n puede
ser expresada por la ecuación (21) basada en la ecuación (20).
De modo similar, la suma f16 de los componentes
de primer plano del píxel decimosexto desde la izquierda en el
cuadro nº n puede ser expresada por la ecuación (22), y la suma f17
de los componentes de primer plano del píxel decimoséptimo desde la
izquierda en el cuadro nº n puede ser expresada por la ecuación
(23).
De esta manera, los componentes fc de primer
plano contenidos en el valor C de píxel del píxel perteneciente al
área de fondo cubierta pueden ser expresados por la ecuación
(24):
donde P designa el valor de píxel
correspondiente en el cuadro
anterior.
La Figura 63 ilustra el procesamiento para
separar los componentes de primer plano de los píxeles
pertenecientes al área de fondo descubierta. En la Figura 63,
\alpha1 a \alpha18 indican las relaciones de mezcla de los
píxeles individuales del cuadro nº n. En la Figura 63, los píxeles
segundo a cuarto desde la izquierda pertenecen al área de fondo
descubierta.
El valor C02 de píxel del segundo píxel desde la
izquierda en el cuadro nº n puede ser expresado por la ecuación
(25):
donde \alpha2 indica la relación
de mezcla del segundo píxel desde la izquierda en el cuadro nº n y
N02 designa el valor de píxel del segundo píxel desde la izquierda
en el cuadro nº
n+1.
La suma f02 de los componentes de primer plano
del segundo píxel desde la izquierda en el cuadro nº n puede ser
expresada por la ecuación (26) basada en la ecuación (25).
\vskip1.000000\baselineskip
De modo similar, la suma f03 de los componentes
de primer plano del tercer píxel desde la izquierda en el cuadro nº
n puede ser expresada por la ecuación (27), y la suma f04 de los
componentes de primer plano del cuarto píxel desde la izquierda en
el cuadro nº n puede ser expresada por la ecuación (28).
De esta manera, los componentes fu de primer
plano contenidos en el valor C de píxel del píxel perteneciente al
área de fondo descubierta pueden ser expresados por la ecuación
(29):
\vskip1.000000\baselineskip
donde N designa el valor de píxel
del píxel correspondiente en el cuadro
subsiguiente.
\newpage
Como se trató antes, la porción separadora 601
es capaz de separar los componentes de primer plano de los píxeles
correspondientes al área mixta y los componentes de fondo de los
píxeles pertenecientes al área mixta basada en la información que
indica el área de fondo cubierta y la información que indica el área
de fondo descubierta contenidas en la información de áreas, y la
relación \alpha de mezcla para cada píxel.
La Figura 64 es un esquema de bloques que
ilustra un ejemplo de la configuración de la porción separadora 601
para ejecutar el procesamiento antes descrito. Una imagen
introducida en la porción separadora 601 es suministrada a una
memoria 621 de cuadros, y la información de área que indica el área
de fondo cubierta y el área de fondo descubierta, suministrada
desde el calcular 104 de relaciones de mezcla, y la relación
\alpha de mezcla son suministradas a un bloque 622 de
procesamiento de separación.
La memoria 621 de cuadros almacena las imágenes
de entrada en unidades de cuadros. Cuando un cuadro a ser procesado
es el cuadro nº n, la memoria 621 de cuadros almacena el cuadro nº
n-1, que es el cuadro un cuadro antes del cuadro nº
n, el cuadro nº n y el cuadro nº n+1 que es el cuadro un cuadro
después del cuadro nº n.
La memoria 621 de cuadros suministra los píxeles
correspondientes en el cuadro nº n-1, el cuadro nº n
y el cuadro nº n+1 al bloque 622 de procesamiento de separación.
El bloque 622 de procesamiento de separación
aplica los cálculos tratados con referencia a las Figuras 62 y 63 a
los valores de píxeles de los píxeles correspondientes en el cuadro
nº n-1, el cuadro nº n y el cuadro nº n+1
suministrados desde la memoria 621 de cuadros basado en la
información de área, que indica el área de fondo cubierta y el área
de fondo descubierta, y la relación \alpha de mezcla a fin de
separar los componentes de primer plano y los componentes de fondo
de los píxeles pertenecientes al área mixta en el cuadro nº n, y los
suministra a una memoria 623 de cuadros.
El bloque 622 de procesamiento de separación
está formado por un procesador 631 de área descubierta, un
procesador 632 de área cubierta, un sintetizador 633 y un
sintetizador 634.
Un multiplicador 641 del procesador 631 de área
descubierta multiplica el valor de píxel del píxel en el cuadro nº
n+1 suministrado desde la memoria 621 de cuadros por la relación
\alpha de mezcla, y extrae el valor de píxel resultante a un
interruptor 642. El interruptor 642 es cerrado cuando el píxel del
cuadro nº n (correspondiente al píxel en el cuadro nº n+1)
suministrado desde la memoria 621 de cuadros pertenece al área de
fondo descubierta, y suministra el valor de píxel multiplicado por
la relación \alpha de mezcla suministrada desde el multiplicador
641 a un calculador 643 y al sintetizador 634. El valor obtenido
multiplicando el valor de píxel del píxel en el cuadro nº n+1 por
la relación \alpha de mezcla extraída del interruptor 642 es
equivalente a los componentes de fondo del valor de píxel del píxel
correspondiente en el cuadro nº n.
El calculador 643 resta los componentes de
fondo, suministrados desde el interruptor 642, del valor de píxel
del píxel en el cuadro nº n suministrado desde la memoria 621 de
cuadros a fin de obtener los componentes de primer plano. El
calculador 643 suministra los componentes de primer plano del píxel
en el cuadro nº n, perteneciente al área de fondo descubierta, al
sintetizador 633.
Un multiplicador 651 del procesador 632 de área
cubierta multiplica el valor de píxel del píxel en el cuadro nº
n-1, suministrado desde la memoria 621 de cuadros,
por la relación \alpha de mezcla, y extrae el valor de píxel
resultante a un interruptor 652. El interruptor 652 es cerrado
cuando el píxel del cuadro nº n (correspondiente al píxel en el
cuadro nº n-1), suministrado desde la memoria 621 de
cuadros, pertenece al área de fondo cubierta, y suministra el valor
de píxel multiplicado por la relación \alpha de mezcla,
suministrando desde el multiplicador 651, a un calculador 653 y al
sintetizador 634. El valor obtenido multiplicando el valor de píxel
del píxel en el cuadro nº n-1 por la relación
\alpha de mezcla, extraído del interruptor 652, es equivalente a
los componentes de fondo del valor de píxel del píxel perteneciente
en el cuadro nº n.
El calculador 653 resta los componentes de
fondo, suministrados desde el interruptor 652, del valor de píxel
del píxel en el cuadro nº n suministrado desde la memoria 621 de
cuadros a fin de obtener los componentes de primer plano. El
calculador 653 suministra los componentes de primer plano del píxel
en el cuadro nº n, perteneciente al área de fondo cubierta, al
sintetizador 633.
El sintetizador 633 combina los componentes de
primer plano de los píxeles pertenecientes al área de fondo
descubierta y suministrados desde el calculador 643 con los
componentes de primer plano de los píxeles pertenecientes al área
de fondo cubierta y suministrados desde el calculador 653, y
suministra los componentes de primer plano sintetizados a la memoria
623 de cuadros.
El sintetizador 634 combina los componentes de
fondo de los píxeles pertenecientes al área de fondo descubierta y
suministrados desde el interruptor 642 con los componentes de fondo
de los píxeles pertenecientes al área de fondo cubierta y
suministrados desde el interruptor 652, y suministra los componentes
de fondo sintetizados a la memoria 623 de cuadros.
La memoria 623 de cuadros almacena los
componentes de primer plano y los componentes de fondo de los
píxeles en el área mixta del cuadro nº n suministrados desde el
bloque 622 de procesamiento de separación.
La memoria 623 de cuadros extrae los componentes
de primer plano almacenados de los píxeles en el área mixta en el
cuadro nº n y los componentes de fondo almacenados de los píxeles en
el área mixta en el cuadro nº n.
Utilizando la relación \alpha de mezcla, que
indica la característica cantidad, los componentes de primer plano y
los componentes de fondo contenidos en los valores de píxeles pueden
ser separados completamente.
El sintetizador 603 combina los componentes de
primer plano de los píxeles en el área mixta en el cuadro nº n,
extraídos de la porción separadora 601, con los píxeles
pertenecientes al área en primer plano a fin de generar una imagen
de componentes de primer plano. El sintetizador 605 combina los
componentes de fondo de los píxeles en el área mixta en el cuadro
nº n, extraídos de la porción separadora 601, con los píxeles
pertenecientes al área de fondo a fin de generar una imagen de
componentes de fondo.
La Figura 65A ilustra un ejemplo de la imagen de
componentes de primer plano correspondiente al cuadro nº n en la
Figura 61. La Figura 65B ilustra un ejemplo de la imagen de
componentes de fondo correspondiente al cuadro nº n en la Figura
61.
La Figura 65A ilustra un ejemplo de la imagen de
componentes de primer plano correspondiente al cuadro nº n en la
Figura 61. El píxel izquierdo y el píxel decimocuarto desde la
izquierda consisten solo en los componentes de fondo antes de que
el primer plano y el fondo sean separados y, por tanto los valores
de píxeles son dispuestos en 0.
Los píxeles segundo y cuarto desde la izquierda
pertenecen al área de fondo descubierta antes de que el primer
plano y el fondo sean separados. Por consiguiente, los componentes
de fondo son dispuestos en 0 y los componentes de primer plano son
mantenidos. Los píxeles undécimo a decimotercero desde la izquierda
pertenecen al área de fondo cubierta antes que el primer plano y el
fondo sean separados. Por consiguiente, los componentes de fondo
son dispuestos en 0 y los componentes de primer plano son
mantenidos. Los píxeles quinto a décimo desde la izquierda
consisten solo en los componentes de primer plano que, por tanto,
son mantenidos.
La Figura 65B ilustra un ejemplo de la imagen de
componentes de fondo correspondiente al cuadro nº n en la Figura
61. El píxel izquierdo y el píxel decimocuarto desde la izquierda
consisten solo en los componentes de fondo antes de que el primer
plano y el fondo sean separados y, por tanto, los componentes de
fondo son mantenidos.
Los píxeles segundo a cuarto desde la izquierda
pertenecen al área de fondo descubierta antes de que el primer
plano y el fondo sean separados. Por consiguiente, los componentes
de primer plano son dispuestos en 0 y los componentes de fondo son
mantenidos. Los píxeles undécimo a decimotercero desde la izquierda
pertenecen al área de fondo cubierta antes de que el primer plano y
el fondo sean separados. Por consiguiente, los componentes de
primer plano son dispuestos en 0 y los componentes de fondo son
mantenidos. Los píxeles quinto a décimo desde la izquierda
consisten solo en los componentes de primer plano y, por tanto, los
valores de píxeles son dispuestos en 0.
El procesamiento para separar el primer plano y
el fondo, ejecutado por separador 105 de primer plano/fondo, es
descrito a continuación con referencia al organigrama de la Figura
66. En el paso S601, la memoria 621 de cuadros de la porción
separadora 601 obtiene una imagen de entrada y almacena el cuadro nº
n para el que el primer plano y el fondo son separados junto con el
cuadro anterior nº n-1 y el cuadro subsiguiente nº
n+1.
En el paso S602, el bloque 622 de procesamiento
de separación de la porción separadora 601 obtiene información de
área suministrada desde el calculador 104 de relaciones de mezcla.
En el paso S603, el bloque 622 de procesamiento de separación de la
porción separadora 601 obtiene la relación \alpha de mezcla
suministrada desde el calculador 104 de relaciones de mezcla.
En el paso S604, el procesador 631 de área
descubierta extrae los componentes de fondo de los valores de
píxeles de los píxeles pertenecientes al área de fondo descubierta,
suministrados desde la memoria 621 de cuadros, basado en la
información de área y la relación \alpha de mezcla.
En el paso S605, el procesador 631 de área
descubierta extrae los componentes de primer plano de los valores
de píxeles de los píxeles pertenecientes al área de fondo
descubierta, suministrados desde la memoria 621 de cuadros, basado
en la información de área y la relación \alpha de mezcla.
En el paso S606, el procesador 632 de área
cubierta extrae los componentes de fondo de los valores de píxeles
de los píxeles pertenecientes al área de fondo cubierta,
suministrados desde la memoria 621 de cuadros, basado en la
información de área y la relación \alpha de mezcla.
En el paso S607, el procesador 632 de área
cubierta extrae los componentes de primer plano de los valores de
píxeles de los píxeles pertenecientes al área de fondo cubierta,
suministrados desde la memoria 621 de cuadros, basado en la
información de área y la relación \alpha de mezcla.
En el paso S608, el sintetizador 633 combina los
componentes de primer plano de los píxeles pertenecientes al área
de fondo descubierta, extraídos en el procesamiento del paso S605,
con los componentes de primer plano de los píxeles pertenecientes
al área de fondo cubierta extraídos en el procesamiento del paso
S607. Los componentes de primer plano sintetizados son
suministrados al sintetizador 603. El sintetizador 603 combina
además los píxeles pertenecientes al área en primer plano,
suministrados por vía del interruptor 602, con los componentes de
primer plano suministrados desde la porción separadora 601 a fin de
generar una imagen de componentes de primer plano.
En el paso S609, el sintetizador 634 combina los
componentes de fondo de los píxeles pertenecientes al área de fondo
descubierta, extraídos en el procesamiento del paso S604, con los
componentes de fondo de los píxeles pertenecientes al área de fondo
cubierta extraídos del procesamiento del paso S606. Los componentes
de fondo sintetizados son suministrados al sintetizador 605. El
sintetizador 605 combina además los píxeles pertenecientes al área
de fondo, suministrados por vía del interruptor 604, con los
componentes de fondo suministrados desde la porción separadora 601 a
fin de generar una imagen de componentes de fondo.
En el paso S610, el sintetizador 603 extrae la
imagen de componentes de primer plano. En el paso S611, el
sintetizador 605 extrae la imagen de componentes de fondo. Entonces
el procesamiento es completado.
Como se trató antes, el separador 105 de primer
plano/fondo es capaz de separar los componentes de primer plano y
los componentes de fondo de la imagen de entrada basado en la
información de área y la relación \alpha de mezcla, y extrae la
imagen de componentes de primer plano consistente solo en los
componentes de primer plano y la imagen de componentes de fondo
consistente solo en los componentes de fondo.
Ahora se proporciona una descripción de ajustes
para la cantidad de borrosidad por movimiento en la imagen de
componentes de primer plano.
La Figura 67 es un esquema de bloques que
ilustra un ejemplo de la configuración de la unidad 106 ajustadora
de borrosidad por movimiento. El vector de movimiento y su
información de posición suministrados desde el detector 102 de
movimiento y la información de área suministrada desde la unidad 103
de especificación de áreas son suministrados a una porción 801
determinante de unidad de procesamiento y a una porción 802
formadora de modelos. La imagen de componentes de primer plano
suministrada desde el separador 105 de primer plano/fondo es
suministrada a un sumador 804.
La porción 801 determinante de unidad de
procesamiento suministra, junto con el vector de movimiento, la
unidad de procesamiento que es generada basada en el vector de
movimiento y su información de posición y la información de área, a
la porción 802 formadora de modelos. La porción 801 determinante de
unidad de procesamiento suministra la unidad de procesamiento
generada al sumador 804.
Como es indicado por A en la Figura 68, por
ejemplo, la unidad de procesamiento generada por la porción 801
determinante de unidad de procesamiento indica píxeles consecutivos
dispuestos en la dirección de movimiento que empiezan desde el
píxel correspondiente al área de fondo cubierta de la imagen de
componentes de primer plano hasta el píxel correspondiente al área
de fondo descubierta, o indica píxeles consecutivos dispuestos en
la dirección de movimiento que empiezan desde el píxel
correspondiente al área de fondo descubierta hasta el píxel
correspondiente al área de fondo cubierta. La unidad de
procesamiento está formada por dos fragmentos de datos que indican,
por ejemplo, el punto izquierdo superior (que es la posición del
píxel más a la izquierda o del píxel superior en la imagen designada
por la unidad de procesamiento) y el punto derecho inferior.
La porción 802 formadora de modelos forma un
modelo basado en el vector de movimiento y la unidad de
procesamiento de entrada. Más específicamente, por ejemplo la
porción 802 formadora de modelos puede almacenar por adelantado una
pluralidad de modelos de acuerdo con el número de píxeles contenidos
en la unidad de procesamiento, el número de porciones divididas
virtuales del valor de píxel en la dirección de tiempo y el número
de componentes de primer plano para cada píxel. Entonces, la
porción 802 formadora de modelos puede seleccionar el modelo en el
que es designada la correlación entre los valores de píxeles y los
componentes de primer plano, tal como ese en la Figura 69, basada
en la unidad de procesamiento y el número de porciones divididas
virtuales del valor de píxel en la dirección de tiempo.
Ahora se supone, por ejemplo, que el número de
píxeles correspondientes a la unidad de procesamiento es 12 y que
la magnitud v de movimiento dentro del tiempo de exposición es 5.
Entonces, la porción 802 formadora de modelos dispone el número de
porciones divididas virtuales en 5 y selecciona un modelo formado
por ocho tipos de componentes de primer plano de modo que el píxel
izquierdo contiene un componente de primer plano, el segundo píxel
desde la izquierda contiene dos componentes de primer plano, el
tercer píxel desde la izquierda contiene tres componentes de primer
plano, el cuarto píxel desde la izquierda contiene cuatro
componentes de primer plano, el quinto píxel desde la izquierda
contiene cinco componentes de primer plano, el sexto píxel desde la
izquierda contiene cinco componentes de primer plano, el séptimo
píxel desde la izquierda contiene cinco componentes de primer
plano, el octavo píxel desde la izquierda contiene cinco componentes
de primer plano, el noveno píxel desde la izquierda contiene cuatro
componentes de primer plano, el décimo píxel desde la izquierda
contiene tres componentes de primer plano, el undécimo píxel desde
la izquierda contiene dos componentes de primer plano y el duodécimo
píxel desde la izquierda contiene un componente de primer plano.
En lugar de seleccionar un modelo a partir de
los modelos prealmacenados, la porción 802 formadora de modelos
puede generar un modelo basado en el vector de movimiento y la
unidad de procesamiento cuando el vector de movimiento y la unidad
de procesamiento son suministrados.
La porción 802 formadora de modelos suministra
el modelo seleccionado a un generador 803 de ecuaciones.
El generador 803 de ecuaciones genera una
ecuación basado en el modelo suministrado desde la porción 802
formadora de modelos. A continuación se proporciona una
descripción, con referencia al modelo de la imagen de componentes
de primer plano mostrada en la Figura 69, de una ecuación generada
por el generador 803 de ecuaciones cuando el número de componentes
de primer plano es 8, el número de píxeles correspondientes a la
unidad de procesamiento es 12, la magnitud v de movimiento es 5 y
el número de porciones divididas virtuales es 5.
Cuando los componentes de primer plano
contenidos en la imagen de componentes de primer plano,
correspondiente al tiempo de exposición/v, son F01/v a F08/v, las
relaciones entre F01/v a F08/v y los valores C01 a C12 de píxeles
pueden ser expresadas por las ecuaciones (30) a (41).
El generador 803 de ecuaciones genera una
ecuación modificando las ecuaciones generadas. Las ecuaciones
generadas por el generador 803 de ecuaciones son indicadas por las
ecuaciones (42) a (53)
\vskip1.000000\baselineskip
Las ecuaciones (42) a (53) pueden ser expresadas
por la ecuación (54)
En la ecuación (54) j designa la posición del
píxel. En este ejemplo, j tiene uno de los valores de 1 a 12. En la
ecuación (54), i designa la posición del valor de primer plano. En
este ejemplo, i tiene uno de los valores de 1 a 8.
En la ecuación (54), aij tiene el valor 0 o 1
según los valores de i y j.
Le ecuación (54) puede ser expresada por la
ecuación (55) teniendo en cuenta el error.
En la ecuación (55), ej designa el error
contenido en el píxel Cj que interesa.
La ecuación (55) puede ser modificada a la
ecuación (56).
Para aplicar el método de cuadrados mínimos, la
suma cuadrática E del error es definida como la ecuación (57).
Para minimizar el error, el valor de derivada
parcial usando la variable Fk con respecto a la suma cuadrática E
del error debería ser 0. Fk es determinada de modo que la ecuación
(58) sea satisfecha.
\newpage
En la ecuación (58), como la magnitud v de
movimiento es un valor fijo, puede deducirse la ecuación (59).
Para extender la ecuación (59) y transponer los
términos, puede obtenerse la ecuación (60).
La ecuación (60) es extendida a ocho ecuaciones
sustituyendo k por los números enteros individuales de 1 a 8 en la
ecuación (60). Las ocho ecuaciones obtenidas pueden ser expresadas
por una ecuación matricial. Esta ecuación es denominada una
"ecuación normal".
Un ejemplo de la ecuación normal generada por el
generador 803 de ecuaciones, basado en el método de cuadrados
mínimos, es indicado por la ecuación (61).
Cuando la ecuación (61) es expresada por
A\cdotF = v\cdotC, C, A y v son conocidas y F es desconocida. A
y v son conocidas cuando el modelo es formado mientras que C resulta
conocida cuando el valor de píxel es introducido en el procesamiento
adicional.
Calculando los elementos de primer plano según
la ecuación normal basada en el método de cuadrados mínimos, el
error contenido en el píxel C puede ser distribuido.
El generador 803 de ecuaciones suministra la
ecuación normal, generada como se trató antes, al sumador 804.
El sumador 804 dispone, basado en la unidad de
procesamiento suministrada desde la porción 801 determinante de
unidad de procesamiento, el valor C de píxel contenido en la imagen
de componentes de primer plano en la ecuación matricial
suministrada desde el generador 803 de ecuaciones. El sumador 804
suministra la matriz, en la que el valor C de píxel es dispuesto, a
un calculador 805.
El calculador 805 calcula el componente Fi/v de
primer plano del que la borrosidad por movimiento es eliminada por
el procesamiento basado en una solución, tal como un método de
barrido (eliminación Gauss-Jordan), a fin de
obtener Fi correspondiente a i que indica uno de los números enteros
de 1 a 8, que es el valor de píxel del que la borrosidad por
movimiento es eliminada. Después, el calculador 805 extrae la imagen
de componentes de primer plano, que consiste en los valores Fi de
píxeles sin borrosidad por movimiento, tal como esa en la Figura 70,
a un sumador 806 de borrosidad por movimiento y un selector 807.
En la imagen de componentes de primer plano sin
borrosidad por movimiento mostrada en la Figura 70, la razón para
disponer F01 a F08 en C03 a C10, respectivamente, es no cambiar la
posición de la imagen de componentes de fondo con respecto a la
pantalla. Sin embargo, F01 a F08 pueden ser dispuestos en
cualesquiera posiciones deseadas.
El sumador 806 de borrosidad por movimiento es
capaz de ajustar la cantidad de borrosidad por movimiento sumando
la magnitud v' en la que la borrosidad por movimiento es ajustada,
que es diferente que la magnitud v de movimiento, por ejemplo, la
magnitud v' en la que la borrosidad por movimiento es ajustada, que
es la mitad del valor de la magnitud v de movimiento, o la magnitud
v' en la que la borrosidad por movimiento es ajustada, que es
irrelevante para la magnitud v de movimiento. Por ejemplo, como se
muestra en la Figura 71, el sumador 806 de borrosidad por
movimiento divide el valor Fi de píxel de primer plano sin
borrosidad por movimiento por la magnitud v' en la que la
borrosidad por movimiento es ajustada a fin de obtener el componente
Fi/v' de primer plano. Después, el sumador 806 de borrosidad por
movimiento calcula la suma de los componentes Fi/v' de primer
plano, generando de tal modo el valor de píxel en el que la cantidad
de borrosidad por movimiento está ajustada. Por ejemplo, cuando la
magnitud v' en la que la borrosidad por movimiento es ajustada es 3,
el valor C02 de píxel es dispuesto en (F01)/v', el valor C03 de
píxel es dispuesto en (F01+F02)/v', el valor C04 de píxel es
dispuesto en (F01+F02+F03)/v' y el valor C05 de píxel es dispuesto
en (F02+F03+F04)/v'.
El sumador 806 de borrosidad por movimiento
suministra a un selector 807 la imagen de componentes de fondo en la
que la cantidad de borrosidad por movimiento es ajustada.
El selector 807 selecciona una de la imagen de
componentes de primer plano sin borrosidad por movimiento
suministrada desde el calculador 805 y de la imagen de componentes
de primer plano en la que la cantidad de borrosidad por movimiento
está ajustada, suministrada desde el sumador 806 de borrosidad por
movimiento, basado en una señal de selección que refleja una
selección de usuario, y extrae la imagen seleccionada de componentes
de primer plano.
Como se trató antes, la unidad 106 ajustadora de
borrosidad por movimiento es capaz de ajustar la cantidad de
borrosidad por movimiento basada en la señal de selección y la
magnitud v' en la que la borrosidad por movimiento está
ajustada.
Asimismo, por ejemplo, cuando el número de
píxeles correspondientes a la unidad de procesamiento es 8, y la
magnitud v de movimiento es 4, como se muestra en la Figura 72, la
unidad 106 ajustadora de borrosidad por movimiento genera una
ecuación matricial expresada por la ecuación (62).
De esta manera, la unidad 106 ajustadora de
borrosidad por movimiento calcula Fi, que es el valor de píxel en
el que la cantidad de borrosidad por movimiento es ajustada,
disponiendo la ecuación de acuerdo con la longitud de la unidad de
procesamiento. De modo similar, por ejemplo, cuando el número de
píxeles contenidos en la unidad de procesamiento es 100, la
ecuación correspondiente a 100 píxeles es generada a fin de calcular
Fi.
La Figura 73 ilustra un ejemplo de otra
configuración de la unidad 106 ajustadora de borrosidad por
movimiento. Los mismos elementos que los mostrados en la Figura 67
son designados con números de referencia iguales y, por tanto, una
explicación de ellos es omitida.
Basado en una señal de selección, un selector
821 suministra directamente un vector de movimiento de entrada y
una señal de posición de él a la porción 801 determinante de unidad
de procesamiento y a la porción 802 formadora de modelos.
Alternativamente, el selector 821 puede sustituir la magnitud del
vector de movimiento por la magnitud v' en la que la borrosidad por
movimiento es ajustada y después suministra el vector de movimiento
y su señal de posición a la porción 801 determinante de unidad de
procesamiento y a la unidad 802 formadora de modelos.
Con esta disposición, la porción 801
determinante de unidad de procesamiento al calculador 805 de la
unidad 106 ajustadora de borrosidad por movimiento, mostrada en la
Figura 73, son capaces de ajustar la cantidad de borrosidad por
movimiento de acuerdo con la magnitud v de movimiento y la magnitud
v' en la que la borrosidad por movimiento es ajustada. Por ejemplo,
cuando la magnitud de movimiento es 5 y la magnitud v' en la que la
borrosidad por movimiento es ajustada es 3, la porción 801
determinante de unidad de procesamiento al calculador 805 de la
unidad 106 ajustadora de borrosidad por movimiento, mostrada en la
Figura 73, ejecutan el cómputo en la imagen de componentes de
primer plano en la que la magnitud v de movimiento es 5, mostrada en
la Figura 69, según el modelo mostrado en la Figura 71 en la que es
3 la magnitud v' en la que es ajustada la borrosidad por
movimiento. Como resultado, se obtiene la imagen que contiene
borrosidad de movimiento que tiene la magnitud v de movimiento de
(magnitud v de movimiento)/(magnitud v' en la que la borrosidad por
movimiento es ajustada) = 5/3, os sea, se obtiene 1,7
aproximadamente. En este caso, la imagen calculada no contiene
borrosidad por movimiento correspondiente a la magnitud v de
movimiento de 3. Por consiguiente, debería observarse que la
relación entre la magnitud v de movimiento y la magnitud v' en la
que es ajustada la borrosidad por movimiento es diferente que el
resultado del sumador 806 de borrosidad por movimiento.
Como se trató antes, la unidad 106 ajustadora de
borrosidad por movimiento genera la ecuación de acuerdo con la
magnitud v de movimiento y la unidad de procesamiento, y dispone los
valores de píxeles de la imagen de componentes de primer plano en
la ecuación generada, calculando de tal modo la imagen de
componentes de primer plano en la que la cantidad de borrosidad por
movimiento es ajustada.
El procesamiento para ajustar la cantidad de
borrosidad por movimiento contenida en la imagen de componentes de
primer plano, ejecutado por la unidad 106 ajustadora de borrosidad
por movimiento, es descrito a continuación con referencia al
organigrama de la Figura 74.
En el paso S801, la porción 801 determinante de
unidad de procesamiento, de la unidad 106 ajustadora de borrosidad
por movimiento, genera la unidad de procesamiento basada en el
vector de movimiento y la información de área, y suministra la
unidad de procesamiento generada a la porción 802 formadora de
modelos.
En el paso S802, la porción 802 formadora de
modelos de la unidad 106 ajustadora de borrosidad por movimiento
selecciona o genera el modelo de acuerdo con la magnitud v de
movimiento y la unidad de procesamiento. En el paso S803, el
generador 803 de ecuaciones genera la ecuación normal basado en el
modelo seleccionado.
En el paso S804, el sumador 804 dispone los
valores de píxeles de la imagen de componentes de primer plano en
la ecuación normal generada. En el paso S805, el sumador 804
determina si están dispuestos los valores de píxeles de todos los
píxeles correspondientes a la unidad de procesamiento. Si se
determina que no están dispuestos todavía los valores de píxeles de
todos los píxeles correspondientes a la unidad de procesamiento, el
proceso vuelve al paso S804 y es repetido el procesamiento para
disponer los valores de píxeles en la ecuación normal.
Si en el paso S805 se determina que están
dispuestos los valores de píxeles de todos los píxeles
correspondientes a la unidad de procesamiento, el proceso sigue al
paso S806. En el paso S806, el calculador 805 calcula los calores
de píxeles del primer plano en los que la cantidad de borrosidad por
movimiento está ajustada basado en la ecuación normal, en la que
los valores de píxeles están dispuestos, suministrada desde el
sumador 804. Entonces, el procesamiento es completado.
Como se trató antes, la unidad 106 ajustadora de
borrosidad por movimiento es capaz de ajustar la cantidad de
borrosidad por movimiento de la imagen de primer plano que contiene
borrosidad por movimiento basada en el vector de movimiento y la
información de área.
O sea, es posible ajustar la cantidad de
borrosidad por movimiento contenida en los valores de píxeles, o
sea, contenida en datos muestreados.
Como se ve por la descripción anterior, el
aparato de procesamiento de señales mostrado en la Figura 2 es
capaz de ajustar la cantidad de borrosidad por movimiento contenida
en la imagen de entrada. El aparato de procesamiento de señales
configurado como se muestra en la Figura 2 es capaz de calcular la
relación \alpha de mezcla, que es información incrustada, y
extrae la relación \alpha de mezcla calculada.
La Figura 75 es un esquema de bloques que
ilustra otro ejemplo de la configuración de la unidad 106 ajustadora
de borrosidad por movimiento. El vector de movimiento y su
información de posición suministrados desde el detector 102 de
movimiento son suministrados a una porción 901 determinante de
unidad de procesamiento y a una porción ajustadora 905. La
información de área suministrada desde la unidad 103 de
especificación de áreas es suministrada a la porción 901
determinante de unidad de procesamiento. La imagen de componentes de
primer plano suministrada desde el separador 105 de primer
plano/fondo es suministrada a un calculador 904.
\newpage
La porción 901 determinante de unidad de
procesamiento suministra, junto con el vector de movimiento, la
unidad de procesamiento, generada basada en el vector de movimiento
y su información de posición y la información de área, a una porción
902 formadora de modelos.
La porción 902 formadora de modelos forma un
modelo basada en el vector de movimiento y la unidad de
procesamiento de entrada.
Un generador 903 de ecuaciones genera una
ecuación basada en el modelo suministrado desde la porción 902
formadora de modelos.
Ahora se proporciona una descripción, con
referencia a los modelos de imágenes de componentes de primer plano
mostrados en las figuras 76 a 78, de un ejemplo de la ecuación
generada por el generador 903 de ecuaciones cuando el número de
componentes de primer plano es 8, el número de píxeles
correspondientes a la unidad de procesamiento es 12 y la magnitud v
de movimiento es 5.
Cuando los componentes de primer plano
contenidos en la imagen de componentes de primer plano
correspondientes al tiempo de exposición/v son F01/v a F08/v, las
relaciones entre F01/v a F08/v y los valores C01 a C12 de píxeles
pueden ser expresados por las ecuaciones (30) a (41), como se
expresó antes.
Considerando los valores C12 y C11 de píxeles,
el valor C12 de píxel contiene solo el componente F08/v de primer
plano, como es expresado por la ecuación (63), y el valor C11 de
píxel consiste en la suma del componente F08/v de primer plano y
del componente F07/v de primer plano. Por consiguiente, el
componente F07/v de primer plano puede ser hallado por la ecuación
(64)
De modo similar, considerando los componentes de
primer plano contenidos en los valores C10 a C01 de píxeles, los
componentes F06/v a F01/v de primer plano pueden ser hallados por
las ecuaciones (65) a (70), respectivamente.
El generador 903 de ecuaciones genera las
ecuaciones para calcular los componentes de primer plano por la
diferencia entre los valores de píxeles, como es indicado por los
ejemplos de las ecuaciones (63) a (70). El generador 903 de
ecuaciones suministra las ecuaciones generadas al calculador
904.
El calculador 904 dispone los valores de píxeles
de la imagen de componentes de primer plano en las ecuaciones
suministradas desde el generador 903 de ecuaciones a fin de obtener
los componentes de primer plano basado en las ecuaciones en las que
los valores de píxeles son dispuestos. Por ejemplo, cuando las
ecuaciones (63) a (70) son suministradas desde el generador 903 de
ecuaciones, el calculador 904 dispone los valores C05 a C12 de
píxeles en las ecuaciones (63) a (70).
El calculador 904 calcula los componentes de
primer plano basado en las ecuaciones en las que los valores de
píxeles son dispuestos. Por ejemplo, el calculador 904 calcula los
componentes F01/v a F08/v de primer plano, como se muestra en la
Figura 77, basado en los cálculos de las ecuaciones (63) a (70) en
las que los valores C05 a C12 de píxeles son dispuestos. El
calculador 904 suministra los componentes F01/v a F08/v de primer
plano a la porción ajustadora 905.
La porción ajustadora 905 multiplica los
componentes de primer plano suministrados desde el calculador 904
por la magnitud v de movimiento contenida en el vector de movimiento
suministrado desde la porción 901 determinante de unidad de
procesamiento a fin de obtener los valores de píxeles de primer
plano de los que la borrosidad por movimiento está eliminada. Por
ejemplo, cuando los componentes F01/v a F08/v de primer plano son
suministrados desde el calculador 904, la porción ajustadora 905
multiplica cada uno de los componentes F01/v a F08/v de primer
plano por la magnitud v de movimiento, o sea 5, a fin de obtener los
valores F01 a F08 de píxeles de primer plano de los que la
borrosidad por movimiento está eliminada, como se muestra en la
Figura 78.
La porción ajustadora 905 suministra la imagen
de componentes de primer plano, que consiste en los valores de
píxeles de primer plano sin borrosidad por movimiento calculados
como se describió antes, a un sumador 906 de borrosidad por
movimiento y a un selector 907.
El sumador 906 de borrosidad por movimiento es
capaz de ajustar la cantidad de borrosidad por movimiento usando la
magnitud v' en la que la borrosidad por movimiento es ajustada, que
es diferente que la magnitud v de movimiento, por ejemplo, la
magnitud v' en la que la borrosidad por movimiento es ajustada, que
es la mitad del valor de la magnitud v de movimiento, o la magnitud
v' en la que la borrosidad por movimiento es ajustada, que es
irrelevante para la magnitud v de movimiento. Por ejemplo, como se
muestra en la Figura 71, el sumador 906 de borrosidad por
movimiento divide el valor Fi de píxel de primer plano sin
borrosidad por movimiento por la magnitud v' en la que la
borrosidad por movimiento es ajustada a fin de obtener el componente
Fi/v' de primer plano. Después, el sumador 906 de borrosidad por
movimiento calcula la suma de los componentes Fi/v' de primer
plano, generando de tal modo el valor de píxel en el que la cantidad
de borrosidad por movimiento está ajustada. Por ejemplo, cuando la
magnitud v' en la que la borrosidad por movimiento está ajustada es
3, el valor C02 de píxel es dispuesto en (F01)/v', el valor C3 de
píxel es dispuesto en (F01+F02)/v', el valor C04 de píxel es
dispuesto en (F01+F02+F03)/v' y el valor C05 de píxel es dispuesto
en (F02+F03+F04)/v'.
El sumador 906 de borrosidad por movimiento
suministra la imagen de componentes de primer plano, en la que la
cantidad de borrosidad por movimiento está ajustada, al selector
907.
El selector 907 selecciona la imagen de
componentes de primer plano sin borrosidad por movimiento
suministrada desde la porción ajustadora 905 o la imagen de
componentes de primer plano en la que la cantidad de borrosidad por
movimiento está ajustada, suministrada desde el sumador 906 de
borrosidad por movimiento, basado en una señal de selección que
refleja una selección de usuario, y extrae la imagen seleccionada de
componentes de primer plano.
Como se trató antes, la unidad 106 ajustadora de
borrosidad por movimiento es capaz de ajustar la cantidad de
borrosidad por movimiento basada en la señal de selección y la
magnitud v' en la que la borrosidad por movimiento es ajustada.
El procesamiento para ajustar la cantidad de
borrosidad por movimiento del primer plano, ejecutado por la unidad
106 ajustadora de borrosidad por movimiento configurada como se
muestra en la Figura 75, es descrito a continuación con referencia
al organigrama de la Figura 79.
En el paso S901, la porción 901 determinante de
unidad de procesamiento de la unidad 106 ajustadora de borrosidad
por movimiento genera la unidad de procesamiento basada en el vector
de movimiento y la información de área, y suministra la unidad de
procesamiento generada a la porción 902 formadora de modelos y la
porción ajustadora 905.
En el paso S902, la porción 902 formadora de
modelos de la unidad 106 ajustadora de borrosidad por movimiento
selecciona o genera el modelo según la magnitud v de movimiento y la
unidad de procesamiento. En el paso S903, el generador 903 de
ecuaciones genera, basado en el modelo seleccionado o generado, las
ecuaciones para calcular los componentes de primer plano mediante
la diferencia entre los valores de píxeles de la imagen de
componentes de primer plano.
En el paso S904, el calculador 904 dispone los
valores de píxeles de la imagen de componentes de primer plano en
las ecuaciones generadas, y extrae los componentes de primer plano
usando la diferencia entre los valores de píxeles basado en las
ecuaciones en las que los valores de píxeles están dispuestos. En el
paso S905, el calculador 904 determina si han sido extraídos todos
los componentes de primer plano correspondientes a la unidad de
procesamiento. Si se determina que no han sido extraídos todos los
componentes de primer plano correspondientes a la unidad de
procesamiento, el proceso vuelve al paso S904 y el procesamiento
para extraer los componentes de primer plano es repetido.
Si en el paso S905 se determina que han sido
extraídos todos los componentes de primer plano correspondientes a
la unidad de procesamiento, el proceso sigue al paso S906. En el
paso S906, la porción ajustadora 905 ajusta cada uno de los
componentes F01/v a F08/v suministrados desde el calculador 904
basada en la magnitud v de movimiento a fin de obtener los valores
F01/v a F08/v de píxeles de primer plano de los que la borrosidad
por movimiento está eliminada.
En el paso S907, el sumador 906 de borrosidad
por movimiento calcula los valores de píxeles de primer plano en
los que la cantidad de borrosidad por movimiento está ajustada, y el
selector 907 selecciona la imagen sin borrosidad por movimiento o
la imagen en la que la cantidad de borrosidad por movimiento está
ajustada, y extrae la imagen seleccionada. Entonces, el
procesamiento es completado.
Como se describió antes, la unidad 106
ajustadora de borrosidad por movimiento, configurada como se muestra
en la Figura 75, es capaz de ajustar más rápidamente la borrosidad
por movimiento de la imagen de primer plano que contiene borrosidad
por movimiento según cómputos más sencillos.
Una técnica conocida para eliminar parcialmente
la borrosidad por movimiento, tal como un filtro Wiener, es eficaz
cuando es usada en el estado ideal pero no es suficiente para una
imagen real cuantificada y que contiene ruido. En contraste, se
demuestra que la unidad 106 ajustadora de borrosidad por movimiento,
configurada como se muestra en la Figura 75, es suficientemente
eficaz para una imagen real cuantificada y que contiene ruido. De
este modo, es posible eliminar borrosidad por movimiento con gran
precisión.
La Figura 80 es un esquema de bloques que
ilustra otra configuración de la función del aparato de
procesamiento de señales.
Los elementos similares a los mostrados en la
Figura son designados con números de referencia iguales y, por
tanto, una explicación de ellos es omitida.
La unidad 101 extractora de objetos extrae un
objeto imagen aproximado correspondiente a un objeto en primer
plano contenido en una imagen de entrada, y suministra el objeto
imagen extraído al detector 102 de movimiento. El detector 102 de
movimiento calcula un vector de movimiento del objeto imagen
aproximado correspondiente al objeto en primer plano, y suministra
el vector de movimiento calculado y la información de posición del
vector de movimiento al calculador 104 de relaciones de mezcla.
La unidad 103 de especificación de áreas
suministra información de áreas al calculador 104 de relaciones de
mezcla y a un sintetizador 1001.
El calculador 104 de relaciones de mezcla
suministra la relación \alpha de mezcla al separador 105 de primer
plano/fondo y al sintetizador 1001.
El separador 105 de primer plano/fondo
suministra la imagen de componentes de primer plano al sintetizador
1001.
El sintetizador 1001 combina una cierta imagen
de fondo con la imagen de componentes de primer plano, suministrada
desde el separador 105 de primer plano/fondo, basado en la relación
\alpha de mezcla suministrada desde el calculador 104 de
relaciones de mezcla y en la información de área suministrada desde
la unidad 103 de especificación de áreas, y extrae la imagen
sintetizada en la que la cierta imagen de fondo y la imagen de
componentes de primer plano están combinadas.
La Figura 81 ilustra la configuración del
sintetizador 1001. Un generador 1021 de componentes de fondo genera
una imagen de componentes de fondo basado en la relación \alpha de
mezcla y una cierta imagen de fondo, y suministra la imagen de
componentes de fondo a una porción 1022 sintetizadora de imagen de
área mixta.
La porción 1022 sintetizadora de imagen de área
mixta combina la imagen de componentes de fondo, suministrada desde
el generador 1021 de componentes de fondo, con la imagen de
componentes de primer plano a fin de generar una imagen sintetizada
de área mixta, y suministra la imagen sintetizada de área mixta
generada a una porción 1023 sintetizadora de imagen.
El sintetizador 1023 de imagen combina la imagen
de componentes de primer plano, la imagen sintetizada de área
mixta, suministrada desde la porción 1022 sintetizadora de imagen de
área mixta, y la cierta imagen de fondo basado en la información de
área a fin de generar una imagen sintetizada, y la extrae.
Como se trató antes, el sintetizador 1001 es
capaz de combinar una imagen de componentes de primer plano con una
cierta imagen de fondo.
La imagen obtenida combinando una imagen de
componentes de primer plano con una cierta imagen de fondo basada
en la relación \alpha de mezcla, que es la característica
cantidad, aparece más natural comparada con una imagen obtenida
combinando píxeles simplemente.
La Figura 82 es un esquema de bloques que
ilustra otra configuración más de la función del aparato de
procesamiento de señales para ajustar la cantidad de borrosidad por
movimiento. El aparato de procesamiento de señales mostrado en la
Figura 2 realiza secuencialmente la operación de especificación de
área y el cálculo para la relación \alpha de mezcla. En
contraste, el aparato de procesamiento de señales mostrado en la
Figura 82 realiza simultáneamente la operación de especificación de
área y el calculo para la relación \alpha de mezcla.
Los elementos funcionales similares a esos en el
esquema de bloques de la Figura 2 son designados con números de
referencia iguales y, por tanto, una explicación de ellos es
omitida.
Una imagen de entrada es suministrada a un
calculador 1101 de relaciones de mezcla, un separador 1102 de primer
plano/fondo, la unidad 103 de especificación de áreas y la unidad
101 extractora de objetos.
El calculador 1101 de relaciones de mezcla
calcula, basado en la imagen de entrada, la relación de mezcla
estimada cuando se supone que cada píxel contenido en la imagen de
entrada pertenece al área de fondo cubierta, y la relación de
mezcla estimada cuando se supone que cada píxel contenido en la
imagen de entrada pertenece al área de fondo descubierta, y
suministra las relaciones de mezcla estimadas calculadas, como se
describió antes, al separador 1102 de primer plano/fondo.
La Figura 83 es un esquema de bloques que
ilustra un ejemplo de la configuración del calculador 1101 de
relaciones de mezcla.
Un procesador 401 de relaciones de mezcla
estimadas mostrado en la Figura 83 es igual que el procesador 401
de relaciones de mezcla estimadas mostrado en la Figura 47. Un
procesador 402 de relaciones de mezcla estimadas mostrado en la
Figura 83 es igual que el procesador 402 de relaciones de mezcla
estimadas mostrado en la
Figura 47.
Figura 47.
El procesador 401 de relaciones de mezcla
estimadas calcula la relación de mezcla estimada para cada píxel
mediante el cómputo correspondiente a un modelo del área de fondo
cubierta basado en el vector de movimiento y su información de
posición y la imagen de entrada, y extrae la relación de mezcla
estimada calculada.
El procesador 402 de relaciones de mezcla
estimadas calcula la relación de mezcla estimada para cada píxel
mediante el cómputo correspondiente a un modelo del área de fondo
descubierta basado en el vector de movimiento y su información de
posición y la imagen de entrada, y extrae la relación de mezcla
estimada calculada.
El separador 1102 de primer plano/fondo genera
la imagen de componentes de primer plano a partir de la imagen de
entrada basado en la relación de mezcla estimada, calculada cuando
se supone que el píxel pertenece al área de fondo cubierta,
suministrada desde el calculador 1101 de relaciones de mezcla, la
relación de mezcla estimada, calculada cuando se supone que el
píxel pertenece al área de fondo descubierta, suministrada desde el
calculador 1101 de relaciones de mezcla y la información de área
suministrada desde la unidad 103 de especificación de áreas, y
suministra la imagen generada de componentes de primer plano a la
unidad 106 ajustadora de borrosidad por movimiento y al selector
107.
La Figura 84 es un esquema de bloques que
ilustra un ejemplo de la configuración del separador 1102 de primer
plano/fondo.
Los elementos similares a los del separador 105
de primer plano/fondo mostrado en la Figura 59 son indicados por
números de referencia iguales y, por tanto, una explicación de ellos
es omitida.
Un selector 1121 selecciona, basado en la
información de área suministrada desde la unidad 103 de
especificación de áreas, la relación de mezcla estimada, calculada
cuando se supone que el píxel pertenece al área de fondo cubierta,
suministrada desde el calculador 1101 de relaciones de mezcla o la
relación de mezcla estimada, calculada cuando se supone que el
píxel pertenece al área de fondo descubierta, suministrada desde el
calculador 1101 de relaciones de mezcla, y suministra la relación
de mezcla estimada seleccionada a la porción separadora 601 como la
relación \alpha de mezcla.
La porción separadora 601 extrae los componentes
de primer plano y los componentes de fondo de los valores de
píxeles de los píxeles pertenecientes al área mixta basada en la
relación \alpha de mezcla suministrada desde el selector 1121 y
la información de área, y suministra los componentes de primer plano
extraídos al sintetizador 603 y también suministra los componentes
de primer plano al sintetizador 605.
La porción separadora 601 puede estar
configurada de modo similar que la equivalente mostrada en la Figura
64.
El sintetizador 603 sintetiza la imagen de
componentes de primer plano y la extrae. El sintetizador 605
sintetiza la imagen de componentes de fondo y la extrae.
La unidad 106 ajustadora de borrosidad por
movimiento mostrada en la Figura 82 puede estar configurada de modo
similar que la equivalente mostrada en la Figura 2. La unidad 106
ajustadora de borrosidad por movimiento ajusta la cantidad de
borrosidad por movimiento contenida en la imagen de componentes de
primer plano, suministrada desde el separador 1102 de primer
plano/fondo, basada en la información de área y el vector de
movimiento, y extrae la imagen de componentes de primer plano en la
que la cantidad de borrosidad por movimiento está ajustada.
El selector 107 mostrado en la Figura 82
selecciona la imagen de componentes de primer plano suministrada
desde el separador 1102 de primer plano/fondo o la imagen de
componentes de primer plano, en la que la cantidad de borrosidad
por movimiento está ajustada, suministrada desde la unidad 106
ajustadora de borrosidad por movimiento, basado por ejemplo en una
señal de selección que refleja una selección de usuario, y extrae la
imagen seleccionada de componentes de primer plano.
Como se trató antes, el aparato de procesamiento
de señales mostrado en la Figura 82 es capaz de ajustar la cantidad
de borrosidad por movimiento contenida en una imagen correspondiente
a un objeto en primer plano de la imagen de entrada, y extrae la
imagen resultante de objeto en primer plano. Como en la primera
realización, el aparato de procesamiento de señales mostrado en la
Figura 82 es capaz de calcular la relación \alpha de mezcla, que
es información incrustada, y extrae la relación \alpha de mezcla
calculada.
La Figura 85 es un esquema de bloques que
ilustra otra configuración de la función del aparato de
procesamiento de señales para combinar una imagen de componentes de
primer plano con una cierta imagen de fondo. El aparato de
procesamiento de señales mostrado en la Figura 80 realiza en serie
la operación de especificación de área y el cálculo de la relación
\alpha de mezcla. En contraste, el aparato de procesamiento de
señales mostrado en la Figura 85 realiza la operación de
especificación de área y el cálculo de la relación \alpha de
mezcla de una manera en paralelo.
Los elementos funcionales similares que los
indicados por el esquema de bloques de la Figura 82 son indicados
por números de referencia iguales y, por tanto, una explicación de
ellos es omitida.
El calculador 1101 de relaciones de mezcla
mostrado en la Figura 85 calcula, basado en el vector de movimiento
y su información de posición y la imagen de entrada, la relación de
mezcla estimada cuando se supone que cada píxel contenido en la
imagen de entrada pertenece al área de fondo cubierta y la relación
de mezcla estimada cuando se supone que cada píxel contenido en la
imagen de entrada pertenece al área de fondo descubierta, y
suministra las relaciones de mezcla estimadas calculadas como se
describió antes al separador 1102 de primer plano/fondo y a un
sintetizador 1201.
El separador 1102 de primer plano/fondo mostrado
en la Figura 85 genera la imagen de componentes de primer plano a
partir de la imagen de entrada basado en la relación de mezcla
estimada, calculada cuando se supone que el píxel pertenece al área
de fondo cubierta, suministrada desde el calculador 1101 de
relaciones de mezcla, la relación de mezcla estimada, calculada
cuando se supone que el píxel pertenece al área de fondo
descubierta, suministrada desde el calculador 1101 de relaciones de
mezcla, y la información de área suministrada desde la unidad 103
de especificación de áreas, y suministra la imagen generada de
componentes de primer plano al sintetizador 1201.
El sintetizador 1201 combina una cierta imagen
de fondo con la imagen de componentes de primer plano suministrada
desde el separador 1102 de primer plano/fondo basado en la relación
de mezcla estimada, calculada cuando se supone que el píxel
pertenece al área de fondo cubierta, suministrada desde el
calculador 1101 de relaciones de mezcla, la relación de mezcla
estimada, calculada cuando se supone que el píxel pertenece al área
de fondo descubierta, suministrada desde el calculador 1101 de
relaciones de mezcla, y la información de área suministrada desde
la unidad 103 de especificación de áreas, y extrae la imagen
sintetizada en la que la imagen de fondo y la imagen de componentes
de primer plano están combinadas.
La Figura 86 ilustra la configuración del
sintetizador 1201. Los elementos funcionales similares a los del
esquema de bloques de la Figura 81 son designados con números de
referencia iguales y, por tanto, la explicación de ellos es
omitida.
Un selector 1221 selecciona, basado en la
información de área suministrada desde la unidad 103 de
especificación de áreas, la relación de mezcla estimada, calculada
cuando se supone que el píxel pertenece al área de fondo cubierta,
suministrada desde el calculador 1101 de relaciones de mezcla o la
relación de mezcla estimada, calculada cuando se supone que el
píxel pertenece al área de fondo descubierta, suministrada desde el
calculador 1101 de relaciones de mezcla, y suministra la relación
de mezcla estimada seleccionada al generador 1021 de componentes de
fondo como la relación \alpha de mezcla.
El generador 1021 de componentes de fondo
mostrado en la Figura 86 genera una imagen de componentes de fondo
basado en la relación \alpha de mezcla suministrada desde el
selector 1221 y una cierta imagen de fondo, y suministra la imagen
de componentes de fondo a la porción 1022 sintetizadora de imagen de
área mixta.
La porción 1022 sintetizadora de imagen de área
mixta mostrada en la Figura 86 combina la imagen de componentes de
fondo, suministrada desde el generador 1021 de componentes de fondo,
con la imagen de componentes de primer plano a fin de generar una
imagen sintetizada de área mixta, y suministra la imagen sintetizada
de área mixta generada a la porción 1023 sintetizadora de
imagen.
La porción 1023 sintetizadora de imagen combina
la imagen de componentes de primer plano, la imagen sintetizada de
área mixta, suministrada desde la porción 1022 sintetizadora de
imagen de área mixta, y la imagen de fondo basada en la información
de áreas a fin de generar una imagen sintetizada, y la extrae.
De esta manera, el sintetizador 1201 es capaz de
combinar la imagen de componentes de primer plano con una cierta
imagen de fondo.
La invención ha sido tratada anteriormente
disponiendo la relación \alpha de mezcla en la relación de los
componentes de fondo contenidos en los valores de píxeles. Sin
embargo, la relación \alpha de mezcla puede ser dispuesta en la
relación de los componentes de primer plano contenidos en los
valores de píxeles.
La invención ha sido tratada anteriormente
disponiendo la dirección de movimiento del objeto en primer plano
en la dirección de izquierda a derecha. Sin embargo, la dirección de
movimiento no está limitada a la dirección antes descrita.
En la descripción anterior, una imagen en
espacio real que tiene un espacio tridimensional e información en
el eje de tiempo es proyectada sobre un
tiempo-espacio que tiene un espacio bidimensional e
información en el eje de tiempo usando una videocámara. Sin
embargo, la presente invención no está limitada a este ejemplo y
puede ser aplicada al caso siguiente. Cuando una cantidad mayor de
primera información en un espacio unidimensional es proyectada
sobre una cantidad menor de segunda información en un espacio
bidimensional, la distorsión generada por la proyección puede ser
corregida, información significativa puede ser extraída o una imagen
más natural puede ser sintetizada.
El sensor no está limitado a un CCD
(Charge-Coupled Device = dispositivo de acoplamiento
por carga) y puede ser otro tipo de sensor tal como un dispositivo
de representación de imágenes de estado sólido, por ejemplo un CMOS
(Complementary Metal Oxide Semiconductor =
metal-óxido-semiconductor complementario), un BBD
(Bucket Brigade Device = dispositivo de transferencia continua de
carga), un CID (Charge Injection Device = dispositivo de inyección
de carga) o un CDP (Charge Priming Device = dispositivo de cebado
por carga). Asimismo el sensor no tiene que ser un sensor en el que
los dispositivos de detección están dispuestos en una matriz sino
que puede ser un sensor en el que los dispositivos de detección
están dispuestos en una línea.
Un soporte de grabación en el que está grabado
un programa para realizar el procesamiento de imágenes de la
presente invención puede estar formado por un soporte separable en
el que el programa está grabado, que es distribuido para
proporcionar el programa a un usuario separadamente del ordenador,
como se muestra en la Figura 1, tal como el disco magnético 51
(incluyendo un disco flexible) el disco óptico 52
(CD-ROM: Compact Disk - Read Only Memory) y un DVD
(Digital Versatile Disk: disco versátil digital), el disco
magneto-óptico (incluyendo MD: Mini Disk (nombre comercial)) o la
memoria 54 de semiconductor. El soporte de grabación también puede
estar formado por la memoria ROM 22 de solo lectura o un disco duro
contenido en la unidad 28 de almacenamiento en la que el programa
es grabado, siendo tal soporte de grabación proporcionado al usuario
mientras está prealmacenado en el ordenador.
El programa para realizar el procesamiento de
imágenes puede ser suministrado al ordenador por vía de un canal de
transmisión por cable o inalámbrico.
Los pasos que forman el programa grabado en un
soporte de grabación pueden ser ejecutados cronológicamente según
los órdenes descritos en la memoria descriptiva. Sin embargo, no
tienen que ser ejecutados de una manera en serie temporal y pueden
ser ejecutados concurrente o individualmente.
Según la primera invención, puede detectarse la
relación de mezcla que indica el estado de mezcla de una pluralidad
de objetos.
Según la segunda invención, puede detectarse la
relación de mezcla que indica el estado de mezcla de una pluralidad
de objetos.
Claims (19)
1. Un aparato de procesamiento de imágenes para
realizar el procesamiento de imágenes sobre datos de imágenes de
vídeo que están formados por un número predeterminado de píxeles
obtenidos por un dispositivo de representación de imágenes que
incluyen un número predeterminado de píxeles y que tiene una función
integradora en el tiempo, y para calcular una relación de mezcla que
indica un estado de mezcla entre componentes de primer plano y de
fondo de los datos de píxeles de una pluralidad de objetos en el
mundo real, comprendiendo dicho aparato de procesamiento de
imágenes:
medios de extracción de datos de píxeles para
extraer, basados en un movimiento de un objeto en primer plano, que
sirve como un primer plano de la pluralidad de objetos, una
pluralidad de datos de píxeles mixtos que son los datos de píxeles
de un número predeterminado de cuadros consecutivos en la que la
pluralidad de cuadros son mixtos, y también para extraer, basados en
un movimiento de un objeto de fondo que sirve como un fondo de la
pluralidad de objetos, datos de píxeles de fondo que son los datos
de píxeles formados por el objeto de fondo y que corresponden a los
datos de píxeles mixtos, siendo los datos de píxeles de fondo
extraídos de un cuadro que no es uno de los cuadros consecutivos en
los que la pluralidad de objetos son mixtos;
medios generadores de expresiones relacionales
para generar expresiones relacionales para los datos de píxeles
mixtos y los datos de píxeles de fondo, correspondientes al número
predeterminado de cuadros consecutivos, basados en los datos de
píxeles mixtos extraídos y los datos de píxeles de fondo extraídos
según la fórmula:
donde
- M
- es el valor de píxel,
- \alpha
- es la relación de mezcla,
- B
- es el valor de píxel de fondo,
- f
- es la suma de los componentes de primer plano,
- F
- es el valor de píxel de primer plano, y
- v
- es el número de porciones en las que el tiempo de exposición es dividido prácticamente tomado de la magnitud de movimiento de objeto en primer plano en un cuadro de referencia en unidades de paso de píxel,
siendo las expresiones relacionales un conjunto
de ecuaciones obtenidas aplicando la fórmula a cada uno de los
píxeles de los cuadros consecutivos en los que la pluralidad de
objetos son mixtos y aplicando el método de cuadrados mínimos a
estas ecuaciones para obtener la única relación \alpha de mezcla;
y
medios de detección de relación de mezcla para
detectar la única relación de mezcla para el número predeterminado
de cuadros consecutivos, basados en las expresiones
relacionales.
2. Un aparato de procesamiento de imágenes según
la reivindicación 1, en el que dichos medios de extracción de datos
de píxeles extraen los datos de píxeles mixtos de acuerdo con la
magnitud del movimiento del objeto en primer plano en los
cuadros.
3. Un aparato de procesamiento de imágenes según
la reivindicación 1, en el que dichos medios de extracción de datos
de píxeles extraen los datos de píxeles de fondo de acuerdo con la
magnitud del movimiento del objeto de fondo en los cuadros.
4. Un aparato de procesamiento de imágenes según
la reivindicación 1, que comprende además medios de detección de
movimiento para detectar el movimiento de al menos un del objeto en
primer plano y el objeto de fondo.
5. Un aparato de procesamiento de imágenes según
la reivindicación 1, que comprende además medios de especificación
de áreas para especificar un área mixta consistente en los datos de
píxeles mixtos, un área de fondo consistente en los píxeles de fondo
y un área de primer plano consistente en los datos de píxeles de
primer plano que son los datos de píxeles correspondientes al objeto
en primer plano.
6. Un aparato de procesamiento de imágenes según
la reivindicación 1, que comprenden además medios de separación para
separar al menos el objeto en primer plano de los datos de píxeles
mixtos basados en la relación de mezcla.
7. Un aparato de procesamiento de imágenes según
la reivindicación 6, que comprende además medios ajustadores de
borrosidad por movimiento para ajustar la cantidad de borrosidad por
movimiento del objeto en primer plano separado.
8. Un aparato de procesamiento de imágenes según
la reivindicación 6, que comprende además medios sintetizadores para
combinar el objeto en primer plano separado con un objeto deseado
basados en la relación de mezcla.
9. Un aparato de procesamiento de imágenes según
una cualquiera de las reivindicaciones 1 a 8, que comprende
además:
medios de representación de imágenes para
extraer una imagen sujeto como datos de imagen que están formados
por un número predeterminado de datos de píxeles, siendo la imagen
sujeto obtenida realizando la captación de imagen mediante el
dispositivo de representación de imágenes que tiene el número
predeterminado de píxeles, teniendo cada uno la función integradora
en el tiempo.
10. Un método de procesamiento de imágenes para
realizar el procesamiento de imágenes sobre datos de imágenes de
vídeo formados por un número predeterminado de datos de píxeles
obtenidos por un dispositivo de representación de imágenes que
incluyen un número predeterminado de píxeles y que tienen una
función integradora en el tiempo, y para calcular una relación de
mezcla que indica un estado de mezcla entre componentes de primer
plano y de fondo de los datos de píxeles de una pluralidad de
objetos en el mundo real, comprendiendo dicho método de
procesamiento de imágenes:
un paso de extracción de datos de píxeles para
extraer, basado en un movimiento de un objeto en primer plano, que
sirve como un primer plano de la pluralidad de objetos, una
pluralidad de datos de píxeles mixtos que son los datos de píxeles
de un número predeterminado de cuadros consecutivos en los que la
pluralidad de objetos son mixtos, y también para extraer, basado en
un movimiento de un objeto de fondo que sirve como un fondo de la
pluralidad de objetos, datos de píxeles de fondo que son los datos
de píxeles formados por el objeto de fondo y que corresponden a los
datos de píxeles mixtos, siendo los datos de píxeles de fondo
extraídos de un cuadro que no es uno de los cuadros consecutivos en
los que la pluralidad de objetos son mixtos;
un paso generador de expresiones relacionales
para generar expresiones relacionales para los datos de píxeles
mixtos y los datos de píxeles de fondo correspondientes al número
predeterminado de cuadros consecutivos basados en los datos de
píxeles mixtos extraídos y los datos de píxeles de fondo extraídos
según la fórmula:
donde
- M
- es el valor de píxel,
- \alpha
- es la relación de mezcla,
- B
- es el valor de píxel de fondo,
- f
- es la suma de los componentes de primer plano,
- F
- es el valor de píxel de primer plano, y
- v
- es el número de porciones en las que el tiempo de exposición es dividido prácticamente, tomado de la magnitud de movimiento del objeto en primer plano en un cuadro de referencia, en unidades de paso de píxel,
siendo las expresiones relacionales un conjunto
de ecuaciones obtenidas aplicando la fórmula a cada uno de los
píxeles de los cuadros consecutivos en los que la pluralidad de
objetos son mixtos y aplicando el método de cuadrados mínimos a
estas ecuaciones para obtener la única relación \alpha de mezcla;
y
un paso de detección de relación de mezcla para
detectar una única relación de mezcla para el número predeterminado
de cuadros consecutivos basado en las expresiones relacionales.
11. Un método de procesamiento de imágenes según
la reivindicación 10, en el que, en dicho paso de extracción de
datos de píxeles, los datos de píxeles son extraídos de acuerdo con
la magnitud del movimiento del objeto en primer plano en los
cuadros.
12. Un método de procesamiento de imágenes según
la reivindicación 10, en el que, en dicho paso de extracción de
datos de píxeles, los datos de píxeles de fondo son extraídos de
acuerdo con la magnitud del movimiento del objeto de fondo en los
cuadros.
13. Un método de procesamiento de imágenes según
la reivindicación 10, comprendiendo además un paso de detección de
movimiento para detectar el movimiento de al menos uno del objeto en
primer plano y del objeto de fondo.
14. Un método de procesamiento de imágenes según
la reivindicación 10, comprendiendo además un paso de especificación
de áreas para especificar un área mixta consistente en los datos de
píxeles mixtos, un área de fondo consistente en los píxeles de fondo
y un área de primer plano consistente en los datos de píxeles de
primer plano que son los datos de píxeles correspondientes al objeto
en primer plano.
15. Un método de procesamiento de imágenes según
la reivindicación 10, comprendiendo además un paso de separación
para separar al menos el objeto en primer plano de los datos de
píxeles mixtos basado en la relación de mezcla.
16. Un método de procesamiento de imágenes según
la reivindicación 15, comprendiendo además un paso ajustador de
borrosidad por movimiento para ajustar la cantidad de borrosidad por
movimiento del objeto en primer plano separado.
17. Un método de procesamiento de imágenes según
la reivindicación 15, comprendiendo además un paso sintetizador para
combinar el objeto en primer plano separado con un objeto deseado
basado en la relación de mezcla.
18. Un soporte de grabación en el que es grabado
un programa legible por ordenador, siendo usado dicho programa para
realizar el procesamiento de imágenes según el método de una
cualquiera de las reivindicaciones 10 a 17.
19. Un programa para permitir que un ordenador
ejecute el método de una cualquiera de las reivindicaciones 10 a
17.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-41554 | 2001-02-19 | ||
| JP2001041554A JP4596203B2 (ja) | 2001-02-19 | 2001-02-19 | 画像処理装置および方法、記録媒体、並びにプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2302794T3 true ES2302794T3 (es) | 2008-08-01 |
Family
ID=18903982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES02700603T Expired - Lifetime ES2302794T3 (es) | 2001-02-19 | 2002-02-19 | Dispositivo de procesamiento de imagenes. |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US7130464B2 (es) |
| EP (1) | EP1411473B1 (es) |
| JP (1) | JP4596203B2 (es) |
| KR (1) | KR100848427B1 (es) |
| CN (1) | CN1267856C (es) |
| CA (1) | CA2406836C (es) |
| DE (1) | DE60225807T2 (es) |
| ES (1) | ES2302794T3 (es) |
| WO (1) | WO2002067200A1 (es) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19909627A1 (de) * | 1999-03-05 | 2000-09-07 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Bestimmung einer Verschiebung von Bildern einer Bildsequenz |
| JP4674408B2 (ja) * | 2001-04-10 | 2011-04-20 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| US8134613B2 (en) | 2001-04-10 | 2012-03-13 | Sony Corporation | Image processing apparatus and method, and image pickup apparatus |
| CA2419636A1 (en) * | 2001-06-15 | 2003-02-12 | Sony Corporation | Image processing apparatus and method, and image pickup apparatus |
| JP4596216B2 (ja) * | 2001-06-20 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4596221B2 (ja) * | 2001-06-26 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| DE60233569D1 (de) * | 2001-06-26 | 2009-10-15 | Sony Corp | Mputerprogramm zur bildverarbeitung, sowie bilderfassungsvorrichtung |
| JP4596222B2 (ja) * | 2001-06-26 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4596220B2 (ja) | 2001-06-26 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4596224B2 (ja) * | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4596226B2 (ja) * | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4596223B2 (ja) * | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP3702260B2 (ja) * | 2002-09-19 | 2005-10-05 | 株式会社東芝 | 目標角速度計測装置および目標角速度計測方法 |
| JP4148041B2 (ja) * | 2003-06-27 | 2008-09-10 | ソニー株式会社 | 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体 |
| KR100549880B1 (ko) | 2003-07-05 | 2006-02-06 | 엘지이노텍 주식회사 | 진동장치 구조 |
| JP2006092156A (ja) * | 2004-09-22 | 2006-04-06 | Namco Ltd | プログラム、情報記憶媒体及び画像生成装置 |
| US7305245B2 (en) | 2004-10-29 | 2007-12-04 | Skyhook Wireless, Inc. | Location-based services that choose location algorithms based on number of detected access points within range of user device |
| CN102822868B (zh) * | 2009-12-21 | 2015-02-18 | 意法爱立信(法国)有限公司 | 一种用于重新生成视频流的数字图像的背景的方法 |
| US10051206B2 (en) | 2015-09-28 | 2018-08-14 | Gopro, Inc. | Automatic composition of video with dynamic background and composite frames selected based on frame and foreground object criteria |
| JP2017103744A (ja) * | 2015-12-04 | 2017-06-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置 |
| WO2021033251A1 (ja) * | 2019-08-20 | 2021-02-25 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理方法およびプログラム |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2231752B (en) * | 1989-04-27 | 1993-08-04 | Sony Corp | Motion dependent video signal processing |
| JPH05153493A (ja) * | 1991-11-27 | 1993-06-18 | Matsushita Electric Ind Co Ltd | 映像信号合成装置 |
| GB2279531B (en) | 1993-06-24 | 1997-07-16 | Sony Uk Ltd | Motion compensated image interpolation |
| JPH07336688A (ja) * | 1994-06-06 | 1995-12-22 | Nippon Hoso Kyokai <Nhk> | アンカバー領域の検出方法 |
| KR100235344B1 (ko) * | 1994-12-29 | 1999-12-15 | 전주범 | 영역 분할 부호화 방식의 전경/배경 화상 선택 장치 |
| US5917488A (en) * | 1996-08-21 | 1999-06-29 | Apple Computer, Inc. | System and method for displaying and manipulating image data sets |
| JP3812763B2 (ja) * | 1996-12-04 | 2006-08-23 | ソニー株式会社 | キー信号生成装置及び方法 |
| JP2952226B2 (ja) * | 1997-02-14 | 1999-09-20 | 日本電信電話株式会社 | 動画像の予測符号化方法および復号方法、動画像予測符号化または復号プログラムを記録した記録媒体、および、動画像予測符号化データを記録した記録媒体 |
| US6249613B1 (en) * | 1997-03-31 | 2001-06-19 | Sharp Laboratories Of America, Inc. | Mosaic generation and sprite-based coding with automatic foreground and background separation |
| DE69811631T2 (de) | 1997-10-29 | 2003-10-30 | Koninkl Philips Electronics Nv | Bewegungsvektorschätzung und detektion von bedeckten/unbedeckten bildteilen |
| US6404901B1 (en) * | 1998-01-29 | 2002-06-11 | Canon Kabushiki Kaisha | Image information processing apparatus and its method |
| JP2000030040A (ja) * | 1998-07-14 | 2000-01-28 | Canon Inc | 画像処理装置及びコンピュータ読み取り可能な記憶媒体 |
| US6288704B1 (en) * | 1999-06-08 | 2001-09-11 | Vega, Vista, Inc. | Motion detection and tracking system to control navigation and display of object viewers |
| JP3814104B2 (ja) * | 1999-07-14 | 2006-08-23 | アルプス電気株式会社 | 車載用入力装置 |
| JP4507044B2 (ja) * | 2000-12-21 | 2010-07-21 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
| CA2647018A1 (en) | 1999-12-28 | 2001-07-05 | Sony Corporation | Signal processing device and method, and recording medium |
| JP4491965B2 (ja) | 1999-12-28 | 2010-06-30 | ソニー株式会社 | 信号処理装置および方法、並びに記録媒体 |
| JP4507045B2 (ja) * | 2000-12-21 | 2010-07-21 | ソニー株式会社 | 信号処理装置および方法、並びに記録媒体 |
| US6954544B2 (en) * | 2002-05-23 | 2005-10-11 | Xerox Corporation | Visual motion analysis method for detecting arbitrary numbers of moving objects in image sequences |
-
2001
- 2001-02-19 JP JP2001041554A patent/JP4596203B2/ja not_active Expired - Fee Related
-
2002
- 2002-02-19 DE DE60225807T patent/DE60225807T2/de not_active Expired - Lifetime
- 2002-02-19 US US10/257,897 patent/US7130464B2/en not_active Expired - Fee Related
- 2002-02-19 CN CNB028012283A patent/CN1267856C/zh not_active Expired - Fee Related
- 2002-02-19 CA CA2406836A patent/CA2406836C/en not_active Expired - Fee Related
- 2002-02-19 WO PCT/JP2002/001397 patent/WO2002067200A1/ja active IP Right Grant
- 2002-02-19 ES ES02700603T patent/ES2302794T3/es not_active Expired - Lifetime
- 2002-02-19 KR KR1020027013998A patent/KR100848427B1/ko not_active IP Right Cessation
- 2002-02-19 EP EP02700603A patent/EP1411473B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE60225807D1 (de) | 2008-05-08 |
| KR20030005288A (ko) | 2003-01-17 |
| JP2002245463A (ja) | 2002-08-30 |
| US7130464B2 (en) | 2006-10-31 |
| DE60225807T2 (de) | 2009-04-16 |
| JP4596203B2 (ja) | 2010-12-08 |
| CN1267856C (zh) | 2006-08-02 |
| CN1461456A (zh) | 2003-12-10 |
| EP1411473A4 (en) | 2006-07-12 |
| WO2002067200A1 (en) | 2002-08-29 |
| US20040028287A1 (en) | 2004-02-12 |
| EP1411473B1 (en) | 2008-03-26 |
| EP1411473A1 (en) | 2004-04-21 |
| KR100848427B1 (ko) | 2008-07-28 |
| CA2406836C (en) | 2010-05-04 |
| CA2406836A1 (en) | 2002-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2302794T3 (es) | Dispositivo de procesamiento de imagenes. | |
| KR100846261B1 (ko) | 화상 처리 장치, 화상 처리 방법, 기록 매체 및 촬상 장치 | |
| KR100918544B1 (ko) | 화상 처리 장치 및 방법, 및 촬상 장치 | |
| KR100843816B1 (ko) | 화상 처리 장치 및 방법과 촬상 장치 | |
| KR100897965B1 (ko) | 화상 처리 장치 및 방법, 및 촬상 장치 | |
| KR100859382B1 (ko) | 화상 처리 장치 및 방법, 및 촬상 장치 | |
| KR100843815B1 (ko) | 화상 처리 장치 및 방법 | |
| KR100799011B1 (ko) | 화상 처리 장치 | |
| KR20030022358A (ko) | 화상 처리 장치 | |
| JP2003006653A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| KR100835443B1 (ko) | 화상 처리 장치, 방법 및 그를 위한 기록 매체와 촬상 장치 | |
| KR100864336B1 (ko) | 화상 처리 장치 및 방법, 및 촬상 장치 | |
| EP1379080B1 (en) | Image processing apparatus and method, and image pickup apparatus | |
| KR100894923B1 (ko) | 화상 처리 장치, 방법 및 기록 매체와 촬상 장치 | |
| KR100858761B1 (ko) | 화상 처리 장치 | |
| JP4596217B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4596209B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4596218B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| KR100895744B1 (ko) | 화상 처리 장치, 방법 및 기록 매체, 및 촬상 장치 | |
| JP2004302823A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP2004302822A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム |