ES2551438T3

ES2551438T3 - Conversión de señal espacial

Info

Publication number: ES2551438T3
Application number: ES04735951.8T
Authority: ES
Inventors: Gerard De Haan
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2003-06-13
Filing date: 2004-06-03
Publication date: 2015-11-19
Anticipated expiration: 2024-06-03
Also published as: JP4734239B2; JP2006527566A; CN1806439A; KR101098300B1; CN1806439B; KR20060023150A; WO2004112393A1; EP1636987B1; PL1636987T3; EP1636987A1

Abstract

Una unidad de filtro espacial (200) para convertir una señal de entrada (U) que comprende muestras de entrada, en una señal de salida que comprende muestras de salida, comprendiendo la unidad de filtro espacial (200): - unos medios de determinación de coeficientes (106) para determinar un primer coeficiente de filtro; y - unos medios de filtrado adaptativo (104) para calcular una primera de las muestras de salida basándose en una primera de las muestras de entrada y el primer coeficiente de filtro, caracterizada por que los medios de determinación de coeficientes (106) están dispuestos para determinar el primer coeficiente de filtro basándose en una señal de entrada adicional (Y) que está correlacionada con la señal de entrada (U), en la que la primera señal de entrada representa una primera cantidad que es una cualquiera de entre una luminancia, una crominancia, un movimiento, una localización o un sonido, y la señal de entrada adicional representa una segunda cantidad, que es una cualquiera de entre una luminancia, una crominancia, un movimiento, una localización o un sonido, y que es diferente de la primera cantidad.

Description

5

15

25

35

45

55

65

E04735951

29-10-2015

DESCRIPCIÓN

Conversión de señal espacial

La invención se refiere a una unidad de filtro espacial para convertir una señal de entrada que comprende muestras de entrada, en una señal de salida que comprende muestras de salida, comprendiendo la unidad de filtro espacial:

 unos medios de determinación de coeficientes (ara determinar un primer coeficiente de filtro; y  unos medios de filtrado adaptativo para calcular una primera de las muestras de salida basándose en una

primera de las muestras de entrada y el primer coeficiente de filtro.

La invención se refiere además a un aparato de procesamiento de imágenes que comprende:

 unos medios de recepción para recibir una señal de entrada y una señal de entrada adicional; y  una unidad de filtro espacial como se ha descrito anteriormente para convertir la señal de entrada en una señal

de salida.

La invención se refiere además a un método para convertir una señal de entrada que comprende muestras de entrada, en una señal de salida que comprende muestras de salida, comprendiendo el método:

 determinar un primer coeficiente de filtro; y  calcular una primera de las muestras de salida basándose en una primera de las muestras de entrada y el primer

coeficiente de filtro.

La invención se refiere, además, a un producto de programa informático para cargarse por una disposición de ordenador, que comprende instrucciones para convertir una señal de entrada que comprende muestras de entrada, en una señal de salida que comprende muestras de salida, comprendiendo la disposición de ordenador unos medios de procesamiento y una memoria, proporcionando el producto de programa informático, después de haberse cargado, dichos medios de procesamiento con la capacidad para realizar:

 la determinación de un primer coeficiente de filtro; y  el cálculo de una primera de las muestras de salida basándose en una primera de las muestras de entrada y el

primer coeficiente de filtro.

La llegada de la HDTV enfatiza en la necesidad de técnicas de conversión ascendentes espaciales que permitan materiales de vídeo de definición convencional (SD) para verse en las pantallas de televisión (TV) de alta definición (HD). Las técnicas convencionales son métodos de interpolación lineales tal como la interpolación bi-lineal y los métodos que usan filtros de interpolación de paso bajo poli-fase. El primero no es popular en aplicaciones de televisión debido a su baja calidad, pero el último está disponible en los CI comercialmente disponibles. Con los métodos lineales, se aumenta el número de píxeles en la trama, pero no se aumenta la nitidez percibida de la imagen. En otras palabras, la capacidad de la pantalla no se explota plenamente.

Adicionalmente a las técnicas lineales convencionales, se han propuesto una serie de algoritmos no lineales para lograr esta conversión ascendente. A veces estas técnicas se conocen como una conversión ascendente espacial dependiente de borde o adaptativa de contenido, basada en contenido. Algunas de estas técnicas de conversión ascendente se han descrito en un artículo resumen "Towards an overview of spatial up-conversion techniques", por Meng Zhao et al., en las Actas de la ISCE 2002, Erfurt, Alemania, 23-26 de Septiembre de 2002. Un escalado ascendente de imágenes adaptativo de contenido, como se describe en estos documentos, ha demostrado dar una impresión de nitidez mejorada enormemente en comparación con los métodos de conversión ascendente lineales basados en el teorema de muestreo.

Un tipo de conversión ascendente basada en el contenido es una clasificación basada en la conversión ascendente. La idea principal de la conversión ascendente de vídeo basada en la clasificación es adaptar el cálculo de píxeles en la imagen HD basándose en el contenido de imagen SD. Solamente los bloques de imagen con características similares se escalarán de manera ascendente con las mismas características de los filtros espaciales, es decir, los coeficientes de filtro. Los coeficientes de filtro momentáneos, durante la interpolación, dependen del contenido local, es decir, los valores de las muestras de la señal de entrada que representa la imagen SD de entrada. En el caso de la conversión de vídeo, estas muestras podrían ser los valores de los píxeles dentro de un bloque de la imagen. El contenido local se clasifica en clases basadas en el patrón de valor del bloque. Para obtener los coeficientes de filtro, se realiza con antelación un proceso de aprendizaje. El proceso de aprendizaje emplea tanto vídeo HD como vídeo SD, que se calcula por la escala descendente del vídeo HD, como el material de adiestramiento y el uso de un algoritmo de LMS (mínimos cuadrados medios) para determinar los coeficientes de filtro óptimos. El proceso de adiestramiento es intensivo computacional debido al gran número de clases. Afortunadamente necesita realizarse una sola vez. Preferentemente, la clasificación de los bloques de píxeles se realiza usando una ADRC (codificación de intervalo dinámico adaptativo), que para 1 bit por codificación de pixel se reduce a:

5

10

15

20

25

30

35

40

45

50

55

60

E04735951

29-10-2015

imagen1

En este caso, FSD es el valor de luminancia del píxel SD y FAV es el valor promedio de luminancia de los píxeles en la abertura actual de los medios de determinación de coeficientes de filtro. QY es el resultado de codificar una ADRC. Una razón para usar una ADRC es su sencilla implementación. Usando la ecuación 1 el número de clases disminuye de 812 a 212 con una abertura que contiene 12 píxeles si hay 256 diferentes valores de luminancia posibles. La concatenación de los valores de Q de los píxeles individuales en la abertura conduce a un código de clase, que puede usarse como una entrada de una tabla de consulta a partir de la que se generan los coeficientes de filtro. Pueden considerarse otras técnicas de clasificación.

A pesar de que los métodos de conversión basados en contenido se realizan relativamente bien, todavía hay oportunidades de mejora.

Es un objeto de la invención es proporcionar una unidad de filtro espacial de la clase descrita en el párrafo inicial que tenga un mejor rendimiento.

Este objeto de la invención se logra mediante una unidad de filtro de la reivindicación 1. Por correlacionada se entiende que las señales, por ejemplo, originadas a partir de la misma fuente, se capturan de manera simultánea, se corresponden con el mismo objeto o escena, o que una de las señales se deriva a partir de la otra. Preferentemente, los medios de determinación de coeficientes están dispuestos para determinar el primer coeficiente de filtro sobre la base tanto de la muestra de entrada adicional como de la señal de entrada. Aunque la unidad de filtro espacial basada en contenido de la técnica anterior se realiza relativamente bien, la cantidad de información que puede extraerse de la señal de entrada con el fin de controlar los medios de filtrado adaptativo podría limitarse, especialmente en el caso de que el número de muestras de entrada sea relativamente bajo en comparación con el número de muestras de salida requeridas. Aplicando las muestras de entrada adicionales de una señal de entrada adicional que está correlacionada con la entrada de señal pueden determinarse mejores coeficientes de filtro.

Es ventajoso aplicar la unidad de filtro espacial de acuerdo con la invención como un filtro de interpolación. Por lo tanto, en una realización de la unidad de filtro espacial de acuerdo con la invención, los medios de filtrado adaptativo comprenden unos medios de cálculo para calcular la una primera de las muestras de salida basándose en la interpolación de la una primera de las muestras de entrada y una segunda de las muestras de entrada.

La primera señal de entrada representa una primera cantidad y la señal de entrada adicional representa una segunda cantidad, que es diferente de la primera cantidad. La primera cantidad es cualquiera de entre una luminancia, una crominancia, un movimiento, una localización una temperatura o un sonido y la segunda cantidad es una otra de la lista de variables físicas correspondientes a la luminancia, la crominancia, el movimiento, la localización, la temperatura o el sonido. Por ejemplo, para los datos de vídeo en un formato (YUV) 4:2:2 tiene sentido usar una unidad de filtro de escala ascendente horizontal de acuerdo con la invención, ya que la resolución horizontal de la luminancia es mayor que la de la crominancia. Por ejemplo, para los datos de vídeo en un formato (YUV) 4:2:0 tiene sentido usar una unidad de filtro de escala ascendente horizontal y vertical de acuerdo con la invención, ya que la resolución horizontal y vertical de la luminancia es mayor que la de la crominancia. También, para reducir las perturbaciones de codificación o de transmisión en un color, es decir, la señal de crominancia puede aplicarse a la señal de luminancia normalmente superior.

Otro ejemplo está relacionado con la imagen estéreo o las imágenes en 3D. En la imagen estéreo, por lo general se capturan dos secuencias de imágenes de la misma escena por medio de dos cámaras. Las señales correspondientes a las respectivas imágenes están correlacionadas porque representan la misma escena, aunque desde un ángulo ligeramente diferente. La señal que corresponde a los valores de luminancia de la primera secuencia de imágenes puede aplicarse para controlar la conversión de la señal que corresponde a los valores de luminancia de la segunda secuencia de imágenes.

Como alternativa, se adquiere una secuencia de imágenes visible, que representa los valores de luminancia y opcionalmente de crominancia y se adquiere una secuencia correspondiente de imágenes de profundidad, por ejemplo, por medio de infrarrojos o ultra-sonidos. Normalmente, el último tipo de imágenes que representan una información de localización de los objetos en la escena comprende menos muestras que los anteriores tipos de imágenes. Las señales que corresponden a las imágenes visibles y la señal que corresponde a la información de profundidad están mutuamente correlacionadas debido a que representan la misma escena. La señal que corresponde a los valores de luminancia puede aplicarse para controlar la conversión de la señal que corresponde a los valores de profundidad en otra señal que corresponde a los valores de profundidad con una resolución más alta.

Otro ejemplo tiene que ver con el movimiento dentro de una escena que se está filmando. Existen técnicas diversas para calcular los llamados campos de vectores de movimiento, es decir, matrices bidimensionales que comprenden los vectores de movimiento para los grupos respectivos de píxeles de una imagen de luminancia. Véase por ejemplo el artículo "True-Motion Estimation with 3-D Recursive Search Block Matching" de G. de Haan et. al., en

5

15

25

35

45

55

65

E04735951

29-10-2015

Transacciones IEEE en circuitos y sistemas de tecnología de vídeo, vol.3, nº 5, octubre de 1993, páginas 368-379. En este artículo se describe que los vectores de movimiento se estiman para bloques de 8 * 8 píxeles. Con el fin de convertir una señal de entrada que representa un campo de vector de movimiento de 8 * 8 bloques en una señal de salida que representa por ejemplo, bloques de 2 * 2 píxeles, puede aplicarse la señal que representa los valores de luminancia que se usaron para determinar el campo de vector de movimiento de 8 * 8 bloques. Téngase en cuenta que muchos objetos de la escena tienen formas que no coinciden con la estructura de bloques del campo de vector de movimiento grueso de 8 * 8 píxeles.

El movimiento se describe a menudo por medio de los vectores de movimiento. Otro enfoque de describir el movimiento se basa en una denominada señal de detección de movimiento, es decir, una indicación de señal binaria de si hay movimiento o no. También para o con estos tipos de señales puede aplicarse la unidad de filtro espacial de acuerdo con la invención.

Una realización de la unidad de filtro espacial de acuerdo con la invención, los medios de determinación de coeficientes comprenden una tabla de consulta predeterminada para traducir los datos que se derivan de la señal de entrada adicional, en el primer coeficiente de filtro, obteniéndose la tabla de consulta predeterminada por medio de un proceso de adiestramiento. La aplicación de una tabla de consulta para determinar los coeficientes de filtro se ha descrito anteriormente y se divulga, por ejemplo en la patente de Estados Unidos 6.323.905. Una técnica preferida para derivar los datos necesarios a partir de una señal, es decir, un grupo de muestras se ha descrito anteriormente y se divulga en la patente de Estados Unidos 5.444.487.

Una realización de la unidad de filtro espacial de acuerdo con la invención que comprende la tabla de consulta se caracteriza porque los medios de determinación de coeficientes están dispuestos para determinar el primer coeficiente de filtro basándose en un número de valores de luminancia que pertenecen a una señal de entrada adicional y que los medios de filtrado adaptativo están dispuestos para calcular la una primera de las muestras de salida basándose en un valor de crominancia que pertenece a la señal de entrada. Por lo tanto, la señal de crominancia se convierte usando las clases derivadas a partir de las muestras de crominancia y luminancia. Esto es ventajoso porque la conversión de crominancia puede beneficiarse de los datos más detallados de la luminancia. En consecuencia, la abertura del filtro de los medios de filtrado adaptativo y la abertura de adaptación de contenido de los medios de determinación de coeficientes difieren entre sí en el sentido de que la abertura del filtro actúa solamente sobre las muestras de crominancia, mientras que la abertura de contenido contiene los datos de tanto las señales de luminancia como de crominancia.

En otra realización de la unidad de filtro espacial de acuerdo con la invención, los medios de determinación de coeficientes están dispuestos para calcular el primer coeficiente de filtro por medio de un algoritmo de optimización. Por ejemplo, se aplica el algoritmo de optimización para evaluar una aproximación de la muestra de entrada adicional con respecto a la muestra de entrada adicional, basándose en la aproximación en otras muestras de entrada de la señal de entrada adicional en las proximidades de la muestra de entrada adicional. Preferentemente, el algoritmo de optimización es un algoritmo de mínimos cuadrados medios. Un algoritmo LMS es relativamente simple y robusto. Un enfoque de la aplicación de un algoritmo de optimización para determinar los coeficientes de filtro en el caso de una unidad de conversión ascendente, se divulga en el artículo citado "Towards an overview of spatial upconversion techniques", por Meng Zhao et al., en las Actas de la ISCE 2002, Erfurt, Alemania, 23-26 de septiembre de 2002.

Es ventajoso aplicar la unidad de filtro espacial de acuerdo con la invención como una unidad de escalado de imágenes. Por lo tanto, una realización de la unidad de filtro espacial de acuerdo con la invención es una unidad de escalado de imágenes para escalar una imagen de entrada que está representada por la señal de entrada y la señal de entrada adicional en una imagen de salida que está representada por la señal de salida.

Es ventajoso aplicar la unidad de filtro espacial de acuerdo con la invención como una unidad de reducción de ruido. Por lo tanto, una realización de la unidad de filtro espacial de acuerdo con la invención es una unidad de reducción de ruido para convertir una imagen de entrada que está representada por la señal de entrada y la señal de entrada adicional en una imagen de salida que está representada por la señal de salida.

Es un objeto adicional de la invención proporcionar un aparato de procesamiento de imágenes de la clase descrita en el principio que comprende una unidad de filtro espacial que funciona mejor.

Este objeto de la invención se logra mediante un aparato de la reivindicación 9. El aparato de procesamiento de imágenes comprende opcionalmente un dispositivo de visualización para visualizar una imagen de salida que está representada por la señal de salida. El aparato de procesamiento de imágenes puede ser por ejemplo un TV, un decodificador, un sintonizador de satélite, un reproductor de VCR (grabador de videocasetes) o un reproductor de DVD (disco versátil digital).

Es un objeto adicional de la invención proporcionar un método del tipo descrito en el párrafo inicial, que funcione mejor.

E04735951

29-10-2015

Este objeto de la invención se logra mediante un método de la reivindicación 12.

Es un objeto adicional de la invención proporcionar un producto de programa informático del tipo descrito en el párrafo inicial, que funcione mejor. 5 Este objeto de la invención se logra mediante un producto de programa informático de la reivindicación 13.

Las modificaciones de la unidad de filtro espacial y las variaciones de la misma pueden corresponderse con las modificaciones y las variaciones del aparato de procesamiento de imágenes, el método y el producto de programa informático descritos.

Estos y otros aspectos de la unidad de filtro espacial, del aparato de procesamiento de imágenes, del método y del producto de programa informático de acuerdo con la invención resultarán evidentes a partir de y se aclararán con respecto a las implementaciones y realizaciones descritas en lo sucesivo en el presente documento y con referencia

15 a los dibujos adjuntos, en los que:

La figura 1A muestra de manera esquemática una unidad de filtro espacial de acuerdo con la técnica anterior, que se aplica como una unidad de conversión ascendente de imágenes; La figura 1B muestra de manera esquemática un número de píxeles para explicar el método de conversión ascendente de acuerdo con la técnica anterior; La figura 1C muestra de manera esquemática una realización alternativa de la unidad de filtro espacial de acuerdo con la técnica anterior; La figura 1D muestra de manera esquemática una abertura usada en la interpolación basada en contenido de acuerdo con la técnica anterior;

25 La figura 2 muestra de manera esquemática una realización de la unidad de filtro espacial de acuerdo con la invención; La figura 3A muestra de manera esquemática que se aplica una primera señal de entrada para controlar la conversión ascendente de una segunda señal de entrada en una señal de salida que tiene una resolución mayor que la segunda señal de entrada; La figura 3B muestra de manera esquemática un ejemplo alternativo para ilustrar que se aplica una primera señal de entrada para controlar la conversión ascendente de una segunda señal de entrada en una señal de salida que tiene una resolución mayor que la segunda señal de entrada; La figura 4A muestra de manera esquemática una imagen de entrada SD; La figura 4B muestra de manera esquemática la imagen de entrada SD de la figura 4A en la que se añaden unos

35 píxeles con el fin de aumentar la resolución; La figura 4C muestra de manera esquemática la imagen de la figura 4B después de girarse más de 45 grados; La figura 4D muestra de manera esquemática una imagen de salida HD derivada a partir de la imagen de entrada SD de la figura 4A; y La figura 5 muestra de manera esquemática una realización del aparato de procesamiento de imágenes de acuerdo con la invención.

Los mismos números de referencia se utilizan para indicar partes similares en todas las figuras.

La figura 1A muestra de manera esquemática una unidad de filtro espacial 100 de acuerdo con la técnica anterior,

45 que se aplica como unidad de imagen de conversión ascendente. La unidad de conversión de imágenes 100 está provista de unas imágenes de definición convencional (SD) en el conector de entrada 108 y proporciona imágenes de alta definición (HD) en el conector de salida 110. La unidad de conversión de imágenes 100 comprende:

 Una unidad de adquisición de pixeles 102 que está dispuesta para adquirir un primer conjunto de valores de luminancia de los píxeles 1-4 (véase la figura 1B) en una primera zona local de una localización específica dentro de una primera de las imágenes de entrada SD que se corresponde con la localización de un píxel de salida HD y está dispuesta para adquirir un segundo conjunto de valores de luminancia de los píxeles 1-16 en una segunda zona local de la localización específica dentro de la una primera de las imágenes de entrada SD;

 Una unidad de determinación de coeficientes de filtro 106, que está dispuesta para calcular los coeficientes de

55 filtro basándose en el primer conjunto de valores de luminancia y el segundo conjunto de valores de luminancia. En otras palabras, los coeficientes de filtro se aproximan a partir de la imagen de entrada SD dentro de una ventana local, más en particular, basándose en los valores de luminancia. Esto se hace usando un método de mínimos cuadrados medios (LMS) que se explica en relación con la figura 1B.

 Una unidad de filtrado adaptativo 104 para calcular el valor de luminancia del píxel de salida HD basándose en el primer conjunto de valores de luminancia y los coeficientes de filtro como se especifica en la ecuación 2. Por lo tanto, la unidad de determinación de coeficientes de filtro 106 está dispuesta para controlar la unidad de filtrado adaptativo 104.

La unidad de filtrado adaptativo 104 usa un algoritmo de interpolación de cuarto orden tal como se especifica en la 65 ecuación 2:

E04735951

29-10-2015

imagen2

en la que FHDI (i, j) denota los valores de luminancia de los píxeles de salida HD interpolados, FSD (i, j) los valores de luminancia de los píxeles de entrada y we (i) los coeficientes de filtro.

5 La figura 1B muestra de manera esquemática un número de píxeles 1-16 de una imagen de entrada SD y un píxel HD de una imagen de salida HD, para explicar el método de conversión ascendente de acuerdo con la técnica anterior. El píxel de salida HD se interpola como un promedio ponderado de 4 valores de luminancia de los píxeles 1-4. Esto significa que el valor de luminancia del píxel de salida HD da como resultado una suma ponderada de los

10 valores de luminancia de sus 4 píxeles vecinos SD:

imagen3

en la que FSD (1) a FSD (4) son los valores de píxel de los 4 pixeles de entrada SD 1-4 y we (1) a we (4) son los

15 coeficientes de filtro a calcularse mediante el método LMS. Los autores del artículo citado "Towards an overview of spatial upconversion techniques" en el que se describe el método de la técnica anterior, hacen la suposición razonable de que la orientación del borde no cambia con la escala. La consecuencia de esta suposición es que los coeficientes de filtro óptimos son los mismos que los de interpolar, en la parrilla de resolución convencional:

20  El pixel 1 a partir del 5, 7, 11, y 4 (que significa que el pixel 1 puede derivarse de sus 4 vecinos)  El pixel 2 a partir del 6, 8, 3, y 12  El pixel 3 a partir del 9, 2, 13, y 15  El pixel 4 a partir del 1, 10, 14, y 16

25 Esto da un conjunto de 4 ecuaciones lineales a partir del cual con la optimización LSM se encuentran los 4 coeficientes de filtro óptimos para interpolar el píxel de salida HD.

Designando M como el conjunto de píxeles, en la parrilla SD, usado para calcular las 4 ponderaciones, el error cuadrático medio (MSE) sobre el conjunto M en la optimización puede escribirse como la suma de las diferencias al 30 cuadrado entre los píxeles SD originales FSD y los píxeles SD interpolados FSI:

imagen4

Que en formulación de matrices se convierte en:

imagen5

En este caso, ȳ contiene los píxeles SD en M (el pixel FSD (1,1) al FSD (1,4), el FSD (2,1) al FSD (2, 4), el FSD (3,1) al FSD (3,4), el FSD (4,1) al FSD (4,4) y C es una matriz 4XM2 cuya fila k-ésima contiene los cuatro vecinos SD 40 diagonales de los pixeles SD k-ésimos en ȳ. La suma ponderada de cada fila describe un píxel FSI, como el usado en la ecuación 4. Para encontrar el MSE mínimo, es decir, LMS, se calcula la derivación de MSE sobre w:

imagen6

Resolviendo la ecuación 8 se encuentran los coeficientes de filtro y usando la ecuación 3 pueden calcularse los 50 valores de luminancia de los píxeles de salida HD.

En este ejemplo, se usa una ventana de 4 por 4 píxeles para calcular los coeficientes de filtro. Una optimización del LMS en una ventana más grande, por ejemplo, de 8 por 8 en lugar de 4 por 4 da mejores resultados.

E04735951

29-10-2015

La figura 1C muestra de manera esquemática una realización alternativa de la unidad de conversión de imágenes 101 de acuerdo con la técnica anterior. La unidad de determinación de coeficientes de filtro 106 comprende una unidad de compresión 107 y una LUT 109 con los datos que se derivan durante el proceso de adiestramiento. Véase también la descripción en relación con la figura 1D para una explicación del proceso de adiestramiento. Un esquema 5 de compresión se basa en detectar cuáles de los píxeles en una ventana deslizante están por encima y cuáles de los píxeles en la ventana están por debajo del valor de luminancia promedio de los píxeles en la ventana. Esto da como resultado para cada posición de la ventana deslizante un patrón de ceros (los valores de píxel por debajo del valor promedio de luminancia) y para la otra (los valores de píxel por encima del valor promedio de luminancia). Este patrón se corresponde con una entrada de la LUT 109. En la salida respectiva de la LUT 109 se proporcionan los

10 coeficientes de filtro apropiados para la entrada dada. En el artículo "Towards an overview of spatial upconversion techniques", por Meng Zhao et al., en las Actas de la ISCE 2002, Erfurt, Alemania, 23-26 de septiembre de 2002, esta realización de la unidad de conversión de imágenes 101 de acuerdo con la técnica anterior se explica más adelante.

15 La figura 1D muestra de manera esquemática una abertura usada en la interpolación basada en contenido de acuerdo con la técnica anterior. Los píxeles blancos se interpolan en píxeles HD FHDI. Los píxeles negros son píxeles SD FSD, con F12 una notación abreviada para FSD (1,2), etc. El pixel HD A que se corresponde con FHDI (2 (i + 3), 2 (j

+ 3)), se interpola usando 12 píxeles SD (F00 hasta F23). Para aclarar el uso de LMS en el proceso de adiestramiento, se deja que FHD sea el valor de luminancia del pixel HD real (no el convertido ascendente) y que FHDI

20 sea el interpolado, que es la ponderación sumada de los 12 píxeles SD en la ventana de interpolación. La ecuación usada para interpolar los píxeles en la posición A es:

imagen7

25 en la que wkl son ponderaciones. El error cuadrático de una clase sobre un gran número de imágenes es:

imagen8

Supongamos que hay t muestras para una clase en el proceso de adiestramiento,

imagen9

El error de la p-enésima muestra de interpolación será:

imagen10

El error total de esta clase es:

imagen11

calculando la primera derivada de e2 a cada w produce

imagen12

45 Se sabe que el extremo se produce cuando la primera derivación es cero. Se deja:

E04735951

29-10-2015

imagen13

entonces

imagen14

10 Resolviendo la ecuación 17 para todas las clases, se obtienen los coeficientes WKL. Una vez que se conocen todos los coeficientes de filtro, la interpolación se convierte en un simple cálculo usando la ecuación 9.

La figura 2 muestra de manera esquemática una realización de la unidad de filtro espacial 200 de acuerdo con la 15 invención. Esta unidad de filtro espacial 200 comprende básicamente el mismo tipo de componentes que las unidades de conversión de imágenes 101 como se describe en relación con la figura 1C. Estos componentes son:

 Una unidad de adquisición de píxeles 102 que está dispuesta para adquirir unos valores de píxel de la imagen de entrada; 20  Una unidad de determinación de coeficientes de filtro 106 que está dispuesta para calcular los coeficientes de filtro basándose en los valores de píxel adquiridos; y  Una unidad de filtrado adaptativo 104 para calcular los valores de píxel de los píxeles de salida basándose en los valores de píxel adquiridos.

25 La unidad de filtro espacial 200 está provista de datos de vídeo en el formato (4:2:2) YUV en el conector de entrada 108 y proporciona datos de vídeo en el formato (4:4:4) YUV en el conector de salida 110.

El funcionamiento de la unidad de filtro espacial 200 de acuerdo con la invención se explicará por medio de un ejemplo. Supóngase que la unidad de adquisición de píxeles 102 tiene una abertura de 12 muestras. Eso significa

30 que las siguientes muestras se adquieren juntas: (Y1, U1, V1), (Y2), (Y3, U3, V3), (Y4), (Y5, U5, V5) e (Y6). Las 6 muestras Y se proporcionan a la primera unidad de compresión 202 que convierte las 6 muestras Y en una palabra de 6 bits, tal como se especifica en la ecuación 18:

imagen15

en la que YAV corresponde al valor de luminancia media en la abertura de coeficiente de la unidad de adquisición de pixeles 102. Las 3 muestras U se proporcionan a la segunda unidad de compresión 204 que convierte las 3 muestras U en una palabra de 3 bits, como se especifica en la ecuación 19:

imagen16

en la que UAV corresponde a un primer valor de crominancia medio en la abertura de coeficiente de la unidad de adquisición de pixeles 102. Las 3 muestras U se proporcionan a la tercera unidad de compresión 206 que convierte las 3 muestras U en una palabra de 3 bits, como se especifica en la ecuación 20:

5

10

15

20

25

30

35

40

45

50

55

60

E04735951

29-10-2015

imagen17

en la que VAV corresponde a un segundo valor de crominancia medio en la abertura de coeficiente de la unidad de adquisición de pixeles 102. Posteriormente, los valores de Q individuales de todas las muestras de los tres componentes (YUV) se concatenan para formar una única clase-índice de 12 bits.

Basándose en la palabra de 12 bits, los coeficientes de filtro se derivan a partir de la LUT 109 que comprende la información de transformación que se deriva durante un proceso de adiestramiento. En este caso, la LUT 109 proporciona triples coeficientes de filtro para el cálculo de las muestras U perdidas, por ejemplo, tres coeficientes de filtro para el cálculo de U2 basándose en U1, U3y U5, y otros tres coeficientes de filtro para el cálculo de U4 basándose en U1, U3y U5. En este caso la LUT 109 también proporcionan triples coeficientes de filtro para el cálculo de las muestras V perdidas, por ejemplo, tres coeficientes de filtro para el cálculo de V2 basándose en V1, V3y V5, y otros tres coeficientes de filtro para el cálculo de V4 basándose en V1, V3y V5. Por último, la salida comprende las siguientes muestras: (Y1, U1, V1), (Y2, U2, V2), (Y3, U3, V3), (Y4, U4, V4), (Y5, U5, V5) y (Y6, U6, V6).

La abertura propuesta del filtro depende del formato de vídeo. Para un formato (4:2:2) YUV tiene sentido usar un filtro de escala ascendente horizontal de acuerdo con la invención, ya que la resolución horizontal de la luminancia es mayor que la de la crominancia. Para los datos de vídeo en formato (4:2:0) YUV de una abertura de dos dimensiones también parece apropiado ya que la resolución de luminancia vertical es mayor que la de la crominancia.

En el ejemplo anterior, una imagen de entrada SD en el formato (4:2:2) YUV se convierte en una imagen de salida SD en el formato (4:4:4) YUV. Opcionalmente, la imagen de salida SD en el formato (4:4:4) YUV se convierte de manera ascendente posteriormente en una imagen de salida HD en el formato (4:4:4) YUV. Como alternativa, una imagen de entrada SD en el formato (4:2:2) YUV se convierte de manera ascendente directamente en una imagen de salida HD en el formato (4:4:4) YUV. En ese caso, la señal de luminancia puede usarse para controlar la conversión ascendente de la crominancia y viceversa.

La unidad de adquisición de pixeles 102, la unidad de determinación de coeficientes de filtro 106 y la unidad de filtrado adaptativo 104 pueden implementarse usando un procesador. Normalmente, estas funciones se realizan bajo el control de un producto de programa de software. Durante la ejecución, normalmente el producto de programa de software se carga en una memoria, como una RAM, y se ejecuta desde allí. El programa puede cargarse desde una memoria secundaria, como una ROM, un disco duro, o magnéticamente y/o un almacenamiento óptico, o puede cargarse a través de una red como Internet. Opcionalmente un circuito integrado de aplicación específica proporciona la funcionalidad descrita.

Anteriormente se ha mostrado que los diferentes valores de Q se calculan por separado y posteriormente se concatenan. En otras palabras, los valores de Q se calculan de manera independiente para los valores de luminancia y crominancia. Esto tiene un efecto secundario atractivo. En la patente de Estados Unidos US6019216, se ha demostrado que para la escala ascendente de luminancia, invirtiendo los datos de imagen, los coeficientes de la LUT siguen siendo los mismos. Es razonable suponer que cualquier clase binaria y su versión invertida produzcan los mismos coeficientes de interpolación. En consecuencia, dos clases complementarias pueden combinarse, lo que reduce el tamaño de la LUT con un factor de dos sin ninguna pérdida de calidad de la señal de salida. Parece razonable que esto se mantenga igualmente bien para los datos de crominancia U y V. Codificando los tres componentes (Y/U/V) de manera independiente, el número de Q para cada componente se reduce con un factor de dos, es decir se guardan 3 bits, o un factor de 8 en el espacio de dirección de la LUT.

Por lo general, el proceso de adiestramiento de conversión ascendente comprende las siguientes etapas, el muestreo por señal original y la búsqueda de coeficientes de filtro óptimos con el fin de convertir la señal de muestra descendente en una señal que coincida con la señal original. Un enfoque similar se da por el proceso de adiestramiento para, por ejemplo, la reducción de ruido: la adición de ruido a una señal original y la búsqueda de los coeficientes de filtro óptimos con el fin de convertir la señal de ruido en una señal que coincida con la señal original. Estará claro que en el proceso de adiestramiento se requieren señales que se correspondan con ambos tipos de señales de entrada que se aplican en la unidad de filtro espacial 200 de acuerdo con la invención durante la conversión de la primera señal de entrada en la señal de salida, por ejemplo, tanto los datos de luminancia como los de crominancia. Esto es diferente con unos medios de filtrado adaptativo de acuerdo con la técnica anterior como se describe en relación con las figuras 1C y 1D. En este último caso solo un tipo de señal se analiza durante el proceso de adiestramiento y la conversión de la señal.

La figura 3A muestra de manera esquemática que se aplica una primera señal de entrada 302 para controlar la conversión ascendente de una segunda señal de entrada 306 en una señal de salida 316 que tiene una resolución mayor que la segunda señal de entrada 306. Aunque ambas señales de entrada y la señal de salida son señales de dos dimensiones, a partir de la primera señal de entrada 302 solo se representa una de las dos dimensiones. Esto significa que se proporciona una representación unidimensional. La primera señal de entrada 302 comprende una

E04735951

29-10-2015

primera parte 330 con valores relativamente altos, una transición pronunciada 332 y una segunda parte 334 con valores relativamente bajos. A partir de la segunda señal de entrada 306 solo se representan 4 muestras de la 308 a la 314 que tienen los valores L1, L1, L2 y L2 respectivamente. A partir de la señal de salida 316 solo se representan 16 muestras de la 318 a la 328. Cuatro de estas 16 muestras 318-324 se han asignado al valor L1 y las otras 12 5 muestras 326-328 se han asignado al valor L2. Puede observarse claramente que las 4 muestras 318-324 que se han asignado al valor L1 corresponden a la primera parte 330 de la primera señal de entrada 302 con valores relativamente altos. Los valores de las muestras 318-328 de la señal de salida 316 se han calculado basándose en los valores 308-314 de la segunda señal de entrada 306 y bajo el control de la primera señal de entrada 302. Esto significa que los coeficientes de filtro para el cálculo de las muestras de salida 318-328 se basan en los valores de 10 las muestras de la primera señal de entrada correlacionada 302. Por ejemplo, una primera de las muestras de salida 318 de la señal de salida 316 se calcula por medio de un promedio ponderado de dos de las muestras de entrada 308, 310 de la segunda señal de entrada. En este caso, el primer factor de ponderación, es decir, el primer coeficiente de filtro, para una 308 de estas dos muestras de entrada es relativamente alto, mientras que el segundo factor de ponderación, es decir, el segundo coeficiente de filtro, por la otra 310 de estas dos muestras de entrada es

15 relativamente bajo. Como resultado, se ha asignado a la una primera de las muestras de salida 318 el valor L1 siendo el valor de una 308 de las dos muestras de entrada.

La figura 3B muestra de manera esquemática un ejemplo alternativo para ilustrar que se aplica una primera señal de entrada 304 para controlar la conversión ascendente de una segunda señal de entrada 306 en una señal de salida 20 316 que tiene una resolución mayor que la segunda señal de entrada 306. La primera señal de entrada 304 comprende una primera parte 336 con valores relativamente altos, una transición lenta 338 y una segunda parte 340 con valores relativamente bajos. A partir de la segunda señal de entrada 306 solo se representan 4 muestras de entrada 308-314 que tienen los valores L1, L1, L2 y L2 respectivamente. A partir de la señal de salida 316 solo se representan 16 muestras de salida 318-328. Cuatro de estas 16 muestras de salida 318-324 se han asignado al 25 valor L1, otras 4 muestras de salida se han asignado al valor L3, otras 4 muestras de salida se han asignado al valor L4 y otras 4 muestras de salida 326-328 se han asignado al valor L2. Puede observarse claramente que las 4 muestras de salida 318-324 que se han asignado al valor L1 corresponden a la primera parte 336 de la primera señal de entrada 304 con valores relativamente altos y que las 4 muestras de salida 326-328 que se han asignado al valor L2 corresponden a la segunda parte 340 de la primera señal de entrada 304 con valores relativamente bajos.

30 Las otras muestras de salida que se han asignado a los valores L3 o L4 corresponden a la transición 338. Los valores de las muestras de salida 318-328 de la señal de salida 316 se han calculado basándose en los valores 308314 de la segunda señal de entrada 306 y bajo el control de la primera señal de entrada 304. Esto significa que los coeficientes de filtro para el cálculo de las muestras de salida 318-328 se basan en los valores de las muestras de la primera señal de entrada correlacionada 304.

35 Para convertir una imagen de entrada SD en una imagen de salida HD se necesitan una serie de etapas de procesamiento. Por medio de las figuras 4A-4D se explican las etapas de procesamiento. La figura 4A muestra de manera esquemática una imagen de entrada SD; la figura 4D muestra de manera esquemática una imagen de salida HD derivada a partir de la imagen de entrada SD de la figura 4A y figuras 4B y 4C muestran de manera esquemática

40 los resultados intermedios.

 La figura 4A muestra de manera esquemática una imagen de entrada SD. Cada signo X se corresponde con un píxel respectivo.  La figura 4B muestra de manera esquemática la imagen de entrada SD de la figura 4A en la que se añaden 45 píxeles con el fin de aumentar la resolución. Los píxeles añadidos se indican con signos +. Estos píxeles añadidos se calculan por medio de la interpolación de los vecinos diagonales respectivos.

 La figura 4C muestra de manera esquemática la imagen de la figura 4B después de que se gire más de 45 grados. La misma unidad de conversión de imágenes 200 que se aplica para calcular la imagen que se representa en la figura 4B basándose en la figura 4A puede usarse para calcular la imagen que se muestra en la

50 figura 4D basándose en la imagen que se representa en la figura 4B. Esto significa que los nuevos valores de píxel se calculan por medio de la interpolación de los vecinos diagonales respectivos. Obsérvese que una primera parte de estos vecinos diagonales (indicados con signos X) corresponden a los valores de píxel originales de la imagen de entrada SD y que una segunda parte de estos vecinos diagonales (indicados con signos +) corresponden a valores de píxel que se han derivado a partir de los valores de píxel originales de la

55 imagen de entrada SD por medio de la interpolación.  La figura 4D muestra de manera esquemática la imagen de salida HD final. Los píxeles que se han añadido en la última etapa de conversión se indican con signos o.

La figura 5 muestra de manera esquemática una realización del aparato de procesamiento de imágenes 500 de 60 acuerdo con la invención, que comprende:

 unos medios de recepción 502 para recibir una señal que representa los datos de vídeo en el formato (4:2:2) YUV;  La unidad de filtro espacial 200 como se describe en relación con la figura 2; y

E04735951

29-10-2015

 un dispositivo de visualización 506 para visualizar los datos de vídeo en el formato (4:4:4) YUV de la unidad de filtro espacial 200. Este dispositivo de visualización 506 es opcional.

La señal puede ser una señal de emisión recibida a través de una antena o cable, pero también puede ser una señal

5 de un dispositivo de almacenamiento como un VCR (grabador de videocasetes) o un disco versátil digital (DVD). La señal se proporciona en el conector de entrada 508. El aparato de procesamiento de imágenes 500 puede ser, por ejemplo un TV. Como alternativa, el aparato de procesamiento de imágenes 500 no comprende el dispositivo de visualización opcional pero proporciona imágenes de salida a un aparato que comprende un dispositivo de visualización 506. Entonces, el aparato de procesamiento de imágenes 500 podría ser, por ejemplo, un

10 decodificador, un sintonizador de satélite, un reproductor de vídeo o un reproductor de DVD. Pero también podría ser un sistema que se aplica por un estudio de cine o una emisora.

Debería observarse que las realizaciones mencionadas anteriormente ilustran más que limitan la invención y que los expertos en la materia serán capaces de diseñar realizaciones alternativas sin alejarse del alcance de las 15 reivindicaciones adjuntas. En las reivindicaciones, cualquier signo de referencia colocado entre paréntesis no debería construirse como limitante de la reivindicación. La palabra “que comprende” no excluye la presencia de muestras o etapas no enumeradas en una reivindicación. La palabra "un" o "una" precediendo a una muestra no excluye la presencia de una pluralidad de dichas muestras. La invención puede implementarse por medio de hardware que comprende varias muestras distintas y por medio de un ordenador programado de manera adecuada.

20 En las reivindicaciones unitarias que enumeran varios medios, varios de estos medios pueden realizarse por uno y el mismo elemento de hardware.

Claims

5

15

25

35

45

55

65

REIVINDICACIONES

1.

Una unidad de filtro espacial (200) para convertir una señal de entrada (U) que comprende muestras de entrada, en una señal de salida que comprende muestras de salida, comprendiendo la unidad de filtro espacial (200):

-unos medios de determinación de coeficientes (106) para determinar un primer coeficiente de filtro; y -unos medios de filtrado adaptativo (104) para calcular una primera de las muestras de salida basándose en una primera de las muestras de entrada y el primer coeficiente de filtro, caracterizada por que los medios de determinación de coeficientes (106) están dispuestos para determinar el primer coeficiente de filtro basándose en una señal de entrada adicional (Y) que está correlacionada con la señal de entrada (U), en la que la primera señal de entrada representa una primera cantidad que es una cualquiera de entre una luminancia, una crominancia, un movimiento, una localización o un sonido, y la señal de entrada adicional representa una segunda cantidad, que es una cualquiera de entre una luminancia, una crominancia, un movimiento, una localización o un sonido, y que es diferente de la primera cantidad.
2.

Una unidad de filtro espacial (200) de acuerdo con la reivindicación 1, caracterizada por que los medios de determinación de coeficientes (106) están dispuestos para determinar el primer coeficiente de filtro basándose en la señal de entrada.
3.

Una unidad de filtro espacial (200) de acuerdo con la reivindicación 1, caracterizada por que los medios de filtrado adaptativo (104) comprenden unos medios de cálculo para calcular la una primera de las muestras de salida basándose en la interpolación de la una primera de las muestras de entrada y una segunda de las muestras de entrada.
4.

Una unidad de filtro espacial (200) de acuerdo con la reivindicación 1, caracterizada por que los medios de determinación de coeficientes (106) comprenden una tabla de consulta predeterminada para traducir los datos que se derivan a partir de la señal de entrada adicional, en el primer coeficiente de filtro, obteniéndose la tabla de consulta predeterminada por medio de un proceso de adiestramiento.
5.

Una unidad de filtro espacial (200) de acuerdo con la reivindicación 4, caracterizada por que los medios (106) de determinación de coeficientes están dispuestos para determinar el primer coeficiente de filtro basándose en un número de valores de luminancia que pertenecen a la señal de entrada adicional y que los medios de filtrado adaptativo (104) están dispuestos para calcular la una primera de las muestras de salida basándose en un valor de crominancia que pertenece a la señal de entrada.
6.

Una unidad de filtro espacial (200) de acuerdo con la reivindicación 1, caracterizada por que los medios (106) de determinación de coeficientes están dispuestos para calcular el primer coeficiente de filtro por medio de un algoritmo de optimización.
7.

Una unidad de filtro espacial (200) de acuerdo con la reivindicación 1, caracterizada por ser una unidad de escalado de imágenes para escalar una imagen de entrada que está representada por la señal de entrada y la señal de entrada adicional en una imagen de salida que está representada por la señal de salida.
8.

Una unidad de filtro espacial (200) de acuerdo con la reivindicación 1, caracterizada por ser una unidad de reducción de ruido para convertir una imagen de entrada que está representada por la señal de entrada y la señal de entrada adicional en una imagen de salida que está representada por la señal de salida.
9.

Un aparato de procesamiento de imágenes que comprende:

-unos medios de recepción para recibir una señal de entrada y una señal de entrada adicional; y -una unidad de filtro espacial (200) para convertir la señal de entrada en una señal de salida, estando la unidad de filtro espacial (200) de acuerdo con la reivindicación 1.
10.

Un aparato de procesamiento de imágenes de acuerdo con la reivindicación 9, caracterizado por comprender además un dispositivo de visualización para visualizar una imagen de salida que está representada por la señal de salida.
11.

Un aparato de procesamiento de imágenes de acuerdo con la reivindicación 10, caracterizado por que es una TV.
12.

Un método de conversión de una señal de entrada que comprende muestras de entrada, en una señal de salida que comprende muestras de salida, comprendiendo el método:

-determinar un primer coeficiente de filtro; y -calcular una primera de las muestras de salida basándose en una primera de las muestras de entrada y el primer coeficiente de filtro, caracterizado por determinar el primer coeficiente de filtro basándose en una señal de

12

entrada adicional que está correlacionada con la señal de entrada, en el que la primera señal de entrada representa una primera cantidad que es cualquiera de entre una luminancia, una crominancia, un movimiento, una localización o un sonido, y la señal de entrada adicional representa una segunda cantidad, que es una cualquiera de entre una luminancia, una crominancia, un movimiento, una localización o un sonido, y que es

5 diferente de la primera cantidad.
13. Un producto de programa informático para cargarse por una disposición de ordenador, que comprende instrucciones para convertir una señal de entrada que comprende muestras de entrada, en una señal de salida que comprende muestras de salida, comprendiendo la disposición de ordenador unos medios de procesamiento y una

10 memoria, proporcionando el producto de programa informático, después de cargarse, dichos medios de procesamiento con la capacidad para realizar:

-la determinación de un primer coeficiente de filtro; y -el cálculo de una primera de las muestras de salida basándose en una primera de las muestras de entrada y el

15 primer coeficiente de filtro, caracterizado por determinar el primer coeficiente de filtro basándose en una señal de entrada adicional que está correlacionada con la señal de entrada, en el que la primera señal de entrada representa una primera cantidad que es cualquiera de entre una luminancia, una crominancia, un movimiento, una localización o un sonido, y la señal de entrada adicional representa una segunda cantidad, que es una cualquiera de entre una luminancia, una crominancia, un movimiento, una localización o un sonido, y que es

20 diferente de la primera cantidad.

13