ES2734481T3 - Procedimiento de codificación de una imagen tras redimensionamiento por eliminación de píxeles y procedimiento de transmisión de imagen entre una entidad emisora y una entidad receptora - Google Patents

Abstract

Procedimiento de codificación de una imagen digital o de una secuencia de imágenes digitales que comporta una etapa de: a. eliminación (30) de caminos entre dos bordes opuestos de una imagen mediante un algoritmo de redimensionamiento por eliminación de píxeles para definir una imagen reducida; b. modelización (34) de los caminos eliminados para transmisión con la imagen reducida con vistas a la interpolación de una imagen extendida, caracterizado porque la etapa de modelización (34) de los caminos eliminados comporta: b1/ el reagrupamiento (35) de los caminos eliminados en haces de caminos siguiendo al menos un criterio predeterminado; b2/ la creación (36) de una descripción de los haces de caminos eliminados, el procedimiento se aplica a una secuencia de imágenes sucesivas y el algoritmo de redimensionamiento por eliminación de píxeles comporta, para la determinación de los caminos que hay que eliminar, que se tenga en cuenta un mapa de energía formado por una combinación lineal del mapa de energía de la imagen corriente con el mapa de energía de la imagen anterior con un coeficiente de ponderación aplicado al mapa de energía de la imagen anterior.

Description

DESCRIPCIÓN

Procedimiento de codificación de una imagen tras redimensionamiento por eliminación de píxeles y procedimiento de transmisión de imagen entre una entidad emisora y una entidad receptora

[0001] La presente invención se refiere a un procedimiento de codificación de una imagen digital o de una secuencia de imágenes digitales que comporta una etapa de:

a. eliminación de caminos entre dos bordes opuestos de una imagen mediante un algoritmo de redimensionamiento por eliminación de píxeles para definir una imagen reducida;

b. modelización de los caminos eliminados para transmisión con la imagen reducida con vistas a la interpolación de una imagen extendida.

[0002] Para la transmisión con una velocidad de imágenes fijas muy bajo o de una sucesión de imágenes en el caso del vídeo, se conoce la utilización, por parte de la entidad emisora, de un método de redimensionamiento de cada imagen antes de la compresión por eliminación de ciertos elementos de la imagen. En particular, los elementos eliminados denominados «seam» en inglés son caminos de puntos adyacentes que se extienden de un borde al otro de cada imagen. La imagen comprimida y transmitida es así una imagen reducida.

[0003] Por parte de la entidad receptora, se reconstituye una imagen extendida a partir de la imagen reducida descomprimida insertando caminos de puntos siguiendo un algoritmo de reconstitución de la imagen.

[0004] Esta técnica se conoce con el nombre inglés de «seam carving» o «redimensionamiento por eliminación de píxeles» en español.

[0005] Para permitir una reconstitución conveniente de la imagen extendida a partir de la imagen reducida, es necesario transmitir una descripción de los caminos eliminados. Esta descripción contiene información sobre el número, la naturaleza y la posición de los caminos eliminados. Esta descripción tiene que ser tan poco costosa en términos de ancho de banda como sea posible, pero debe ser suficiente para permitir una reconstitución de calidad de la imagen y en concreto permitir una interpretación inteligible de la imagen por parte de un ser humano sin que haya una deformación importante de los elementos de interés de la imagen.

[0006] Anh et al (Anh, N., Yang, W. and Cai, J.; «Seam carving extension: a compression perspective», in Proc. of the 17th ACM int. conf. on Multimedia, (2009)) introducen una compresión multidimensional que tiene en cuenta el contenido basado en el «seam carving».

[0007] Más precisamente, el códec propuesto codifica una imagen en un «bitstream» progresivo y que tiene en cuenta el contenido. También codifica la posición y el valor de los caminos. Supone que la resolución espacial horizontal y vertical de la imagen tiene la forma 2N píxeles. Para la posición de los caminos, codifica la coordenada absoluta x del primer píxel de la primera columna y la diferencia entre el primer píxel de la columna anterior y el primer píxel de la columna corriente. Utilizan un codificador aritmético de (2N+¹-1) símbolos.

[0008] Para los otros puntos, codifica la diferencia del píxel corriente con el píxel anterior del mismo camino con un codificador aritmético de 3 símbolos. Para el color, utiliza el mismo concepto, reemplazando la coordenada absoluta por el valor de R. G. B. Para todos esos puntos, necesita un codificador aritmético de 2⁹-1 símbolos. Esta representación permite descodificar la imagen con cualquier resolución. Para calcular el «seam carving», los autores utilizan una función de energía basada en un mapa de saliencia multiplicado por un gradiente sobre la luminancia. Para codificar la posición de los caminos, utilizan por tanto un codificador aritmético adaptativo y para codificar el valor de los caminos, hacen una cuantificación con un diccionario predefinido. Para controlar el procedimiento de reducción, definen la caja rectangular que engloba la región de interés con dimensiones w0 x h0. La región de interés se define a partir de un mapa de saliencia tal como el que se define en el artículo y detienen la reducción cuando la imagen alcanza una dimensión de (1.5*w0) x (1.5*h0) Tanaka et al (Tanaka, Y., Hasegawa, M. and Kato, S., «Image coding using concentration and dilution based on seam carving with hierarchical search», in Proc. IEEE Int. Conf. on Acoustics Speech and Signal Processing, (2010)) proponen un esquema de codificación de imagen que integra el «seam carving». Transmiten una imagen reducida por «seam carving» con información sobre la posición de los caminos. Como la información sobre los caminos es muy importante, no transmiten el valor de los caminos (la información de color) y cuantifican sus posiciones. La posición de los caminos es aproximada en forma de pilares de longitud N, para que el coste de un camino sea de (log²(3))/N bpp. Para definir la longitud de un pilar, utilizan un enfoque de arribaabajo sobre una función de energía acumulada modificada (combinación con un multiplicador de Lagrange de la «forward energy» y del coste de los caminos). El criterio de detención se basa en la energía acumulativa: si un camino tiene un coste acumulativo superior a un cierto umbral, el procedimiento de reducción de detiene

[0009] Wang et al. (Wang, T. and Urahama, K., «Cartesian resizing of image and video for data compression», TeNCON 2010 - 2010 Ie Ee Region 10 Conference, 1651 -1656 (2010)) simplifican el principio del «seam carving» autorizando únicamente la eliminación de líneas rectas (horizontales o verticales) y combinan el redimensionamiento del número de imagen con el redimensionamiento espacial. Su función de energía es el gradiente calculado únicamente en el sentido del «seam carving». Cuando los caminos están demasiado cerca unos de otros, hay distorsiones visuales. Utilizan una función de difusión para evitar que los caminos estén demasiado cerca los unos de los otros.

[0010] Tanaka 2 et al (Tanaka, Y., Hasegawa, M. and Kato, S., «Image coding using concentration and dilution based on seam carving with hierarchical search», in Proc. IEEE Int. Conf. on Acoustics Speech and Signal Processing, (2010)) mejoran Tanaka et al. para limitar la cantidad de artefactos que aparecen en la fase de interpolación basándose en la idea de que los caminos deben evitar las regiones texturizadas y las fronteras de los objetos. Si los caminos pasan por estas regiones o están demasiado cerca los unos de los otros, entonces aparecen artefactos durante la interpolación lineal. Los caminos pasarán a través de las regiones uniformes, incluso si estas son regiones importantes de la imagen.

[0011] En Tanaka 3 et al. (Tanaka, Y., Hasegawa, M. and Kato, S., «Image concentration and dilution for video coding», IIEEJ Image Electronics and Visual Computing Workshop - IEVC2010, (2010)), los autores aplican el método de Tanaka et al. para hacer la reducción de vídeo basada en un enfoque «graphcut» de Rubinstein et al. (Rubinstein, M., Shamir, A. and Avidan, S. «Improved seam carving for video retargeting», ACM Transactions on Graphics, (2008)). Eliminan el mismo camino de todas las imágenes y autorizan una conectividad de 8 con la imagen siguiente y anterior para evitar artefactos de transición entre las imágenes. Para calcular el camino de la imagen corriente, utilizan todas las imágenes del grupo de imágenes o GOP. Para hacer la evaluación, utilizan solamente un parámetro de cuantificación (QP) para todas las imágenes de dos secuencias de prueba.

[0012] Tanaka 4 et al. (Tanaka, Y., Hasegawa, M. and Kato, S.,«Seam carving with rate-dependent seam path information», in Proc. of the IEEE Int. Conf. on Acoustics Speech and Signal Processing (ICASSP), (2011)) proponen utilizar una aproximación lineal por tramos para definir el camino óptimo. La novedad es que los tramos de caminos pueden tener direcciones y longitudes diferentes. En general, en estos trabajos, eliminan pocos caminos para evitar los problemas de síntesis, pero los suficientes como para tener una ganancia de eficacia en compresión.

[0013] EP 2.219.153 describe un procedimiento de «seam carving» que comporta etapas de reagrupamiento de los caminos eliminados para la creación de imágenes de tamaño reducido. Este documento no trata sobre la reconstitución de la imagen inicial.

[0014] De manera general, el enfoque tradicional para reconstruir una imagen por «seam carving» o «redimensionamiento por eliminación de píxeles» es aplicar el mismo algoritmo que para la reducción, pero en lugar de eliminar los caminos, estos se insertan.

[0015] El principal problema es que no hay manera de garantizar que los caminos reinsertados estén en la misma posición que los caminos eliminados. Por otro lado, el coste de codificación para transmitir cada camino es verdaderamente demasiado importante en comparación con la ganancia proveniente de la reducción del tamaño de la imagen. Por eso se han realizado los trabajos descritos más arriba.

[0016] Por consiguiente, los enfoques de redimensionamiento conocidos sin degradación de las regiones de interés conducen a:

Bien un sobrecoste de codificación.

[0017] Bien la pérdida de información de posicionamiento relativo de los objetos de interés.

Bien un bajo redimensionamiento.

[0018] El objeto de la invención es proponer un método que permita la transmisión de una imagen reducida con una descripción de los caminos eliminados que sea poco costosa en ancho de banda, al tiempo que permita la reconstitución de una imagen extendida de calidad conservando en concreto las regiones de interés que permita una buena interpretación por parte de un ser humano, y que tenga en cuenta el aspecto temporal en el caso de una secuencia de imágenes. A tal efecto, la invención tiene como objeto un procedimiento de codificación del tipo mencionado, conforme a la reivindicación 1.

[0019] Según unos modos particulares de realización, el procedimiento comporta una o varias de las características siguientes:

- dicha descripción de los haces comporta, solamente para ciertas líneas seleccionadas de la imagen, una información sobre la distribución de los caminos eliminados;

- la información sobre la distribución de los caminos eliminados comporta la posición de paso de los caminos eliminados en las líneas seleccionadas;

- las líneas seleccionadas se toman al menos cada una en zonas equidistribuidas de la imagen según la dirección de los caminos eliminados;

- las líneas seleccionadas se toman al menos cada una en zonas distribuidas definidas en la imagen en función del contenido de la imagen;

- para una zona dada que comporta varias líneas sucesivas, se elige una línea seleccionada para cada haz como aquella para la cual el haz presenta la dispersión mínima;

- para una zona dada que comporta varias líneas sucesivas, se elige una misma línea seleccionada para todos los haces como aquella para la cual la suma de las dispersiones de los haces es mínima;

- para una zona dada que comporta varias líneas sucesivas, se selecciona una misma línea para todos los caminos como aquella que comporta el mayor número de caminos separados los unos de los gradualmente por una distancia inferior a un umbral predefinido;

- la creación de una descripción de los haces de caminos eliminados consiste en la definición de una las siguientes descripciones:

- la posición de todos los caminos de cada haz para cada línea seleccionada;

- la posición del primer y del último camino de cada haz para cada línea seleccionada, así como el número de caminos del haz,

- la posición media de cada haz, que corresponde a la media de las posiciones de los caminos que constituyen el haz en cada línea seleccionada, así como el número de caminos del haz, o

- la posición del primer camino de cada haz para cada línea seleccionada así como el número de caminos de cada haz para cada línea seleccionada;

- el criterio predeterminado para el reagrupamiento de los caminos eliminados en haces de caminos es la existencia de una distancia entre los caminos adyacentes de un mismo grupo inferior a un valor umbral predeterminado;

- el procedimiento se aplica a una secuencia de imágenes sucesivas y el algoritmo de redimensionamiento por eliminación de píxeles comporta, para la determinación de los caminos que hay que eliminar, que se tenga en cuenta un mapa de energía formado por una combinación lineal del mapa de energía de la imagen corriente con el mapa de energía de la imagen anterior con un coeficiente de ponderación aplicado al mapa de energía de la imagen anterior.

[0020] La invención también tiene por objeto:

un procedimiento de transmisión de imagen entre una entidad emisora y una entidad receptora, según la reivindicación 11.

[0021] La invención se comprenderá mejor con la lectura de la descripción que aparece a continuación, dada únicamente a título de ejemplo y realizada en referencia a los dibujos en los que:

- la figura 1 es una vista de conjunto del procedimiento de transmisión;

- la figura 2 es un organigrama general del algoritmo utilizado por la entidad emisora;

- la figura 3 es un organigrama detallado de una etapa de eliminación de las líneas del algoritmo ilustrado en la figura 2;

- la figura 4 es un organigrama de la modelización de las líneas eliminadas en forma de haz de caminos eliminados; - la figura 5 es un organigrama del reagrupamiento de los caminos eliminados;

- la figura 6 es un organigrama detallado de la etapa de inserción de las líneas eliminadas utilizado por la entidad receptora;

- la figura 7 es un ejemplo de imagen reducida;

- la figura 8 es el mapa de energía de la imagen reducida de la figura 7;

- la figura 9 es el mapa de energía acumulativa modificado de la imagen de la figura 8 para tener en cuenta la descripción de los haces.

[0022] En la figura 1 se ilustra un procedimiento de transmisión de imágenes, por ejemplo de imágenes de vídeo, entre una entidad emisora 10 y una entidad receptora 12.

[0023] La entidad emisora dispone de un flujo de imágenes iniciales sucesivas que forman el vídeo y procede en cada imagen inicial, en la etapa 30, a una reducción del tamaño de la imagen por eliminación de caminos que se extienden entre dos bordes opuestos de la imagen, estos bordes son verticales u horizontales. La imagen obtenida es una imagen calificada de reducida. El algoritmo utilizado, en la etapa 30, es un algoritmo de «seam carving», en inglés, o de «redimensionamiento por eliminación de píxeles» en español, del que se dará un ejemplo a continuación.

[0024] Tras esta etapa 30, la imagen reducida se comprime mediante cualquier método de compresión adaptado en la etapa 32, por ejemplo, mediante un codificador con el estándar H.264/AVC.

[0025] En la etapa 34, los caminos eliminados en la imagen durante la etapa 32 se modelizan mediante la puesta en marcha de una etapa 35 de reagrupamiento de los caminos eliminados en función de un criterio predeterminado para formar haces de caminos y por creación y codificación durante una etapa 36 de una descripción de los haces de los caminos eliminados.

[0026] La imagen reducida comprimida y la descripción de los caminos eliminados se transmiten en la etapa 37 de la entidad emisora 10 a la entidad receptora 12 en concreto siguiendo una conexión de velocidad limitada.

[0027] Tras la recepción, la entidad receptora 12 realiza la descodificación y la descompresión de la imagen reducida en la etapa 40 según el estándar H.264/AVC y la descodificación de la descripción de los haces en la etapa 42.

[0028] Por último, se forma una imagen extendida, en la etapa 44, insertando los caminos en la imagen reducida por aplicación de un algoritmo de «seam carving» respetando la descripción transmitida de los haces que impone ciertas limitaciones en los caminos insertados.

[0029] La etapa 30 de reducción del tamaño de cada imagen inicial se detalla en la figura 2.

[0030] Previamente, el vídeo se recorta en un grupo de imágenes (la imagen está compuesta por un grupo de píxeles) denominado GOP de una longitud predefinida o con una longitud definida en función del número de caminos que pueden eliminarse en cada imagen.

[0031] En la etapa 210, se efectúa una reducción por «seam carving» en la imagen, primero horizontalmente, según un algoritmo que se describirá con más detalle a partir de la figura 3. Entonces se eliminan caminos de un borde lateral al otro borde lateral de la imagen.

[0032] El resultado es una imagen reducida verticalmente y una lista de las características completas de los caminos horizontales eliminados.

[0033] A continuación, se gira la imagen 90° en la etapa 212, y se efectúa una nueva etapa 214 de reducción de la imagen por «seam carving» también horizontalmente según el algoritmo de la figura 3. Entonces se eliminan caminos verticales, desde el punto de vista de la imagen producida en la etapa 210, entre el borde superior y el borde inferior de la imagen.

[0034] El resultado es una imagen reducida horizontalmente y verticalmente y una lista de las características completas de los caminos verticales eliminados.

[0035] La imagen sufre una rotación de 90° en sentido inverso a la etapa 216 antes de ser comprimida y codificada en la etapa 32 con las otras imágenes reducidas del vídeo.

[0036] A partir de las características de los caminos horizontales y verticales eliminados, se realiza una modelización de los caminos eliminados en la etapa 218 por reagrupamiento de los caminos eliminados en haces siguiendo al menos un criterio predeterminado y por creación de una descripción de los haces. El algoritmo de modelización de la etapa 218 que corresponde a la etapa 34 de la figura 1 se describirá a partir de la figura 4.

[0037] Durante las etapas 210 y 214, los caminos se eliminan en un número tal que la imagen reducida puede recortarse en macrobloques completos de tamaño 16 x 16 para optimizar el contenido de la imagen utilizando una compresión con el estándar H264/AVC.

[0038] La figura 3 ilustra con más detalle la etapa 210 o 214 de reducción de una imagen.

[0039] La reducción de la imagen se realiza de manera iterativa, a razón de un camino en cada iteración.

[0040] En cada iteración, se elige y se elimina un camino. Se elige para preservar lo mejor posible la semántica del contenido como se describe en Avidan y Shamir (Avidan, S. and Shamir, A., «Seam Carving for Content-Aware Image Resizing», ACM Transactions Graphics, vol. 26, no.10, (2007)).

[0041] Un camino es un camino óptimo de píxeles de conectividad 8 que recorren la imagen de arriba a abajo o de izquierda a derecha. La conectividad 8 significa que siguiendo la longitud del camino, el píxel siguiente puede elegirse entre los 8 píxeles que rodean el píxel de origen. En la práctica, solo pueden elegirse tres píxeles.

[0042] Al igual que la eliminación de una línea o de una columna de la imagen, la eliminación de un camino de la imagen solo tiene un efecto local.

[0043] El coste de un camino, o la eliminación de un camino en la imagen en términos de pérdida de contenido se define mediante una función de energía y una función de energía acumulativa. El camino eliminado se elige como el que presenta el coste más bajo entre un conjunto de caminos candidatos, es decir, la menor energía acumulativa.

[0044] La mayoría de los trabajos se han orientado hacia esas dos funciones para mejorar la elección de los caminos. De este modo se preserva el contenido importante de la imagen.

[0045] Así se crean un mapa de energía y un mapa de energía acumulativa para cada imagen.

[0046] En el modo de realización preferido, el mapa de energía es una combinación de un mapa de saliencia y del gradiente utilizado para cada punto de la imagen.

[0047] En la etapa 310, el gradiente calculado sobre la luminancia se establece para cada punto de la imagen. Por ejemplo, el gradiente se calcula como se expone en Avidan y Shamir.

[0048] En la etapa 312, se calcula un mapa de saliencia. Se realiza por ejemplo según se describe en el documento Rahtu, E. and Heikkila, J.A., («Simple and efficient saliency detector for background subtraction», IEEE 12th International Conférence on Computer Vision Workshops, ICCV Workshops, 1137 -1144 (2009)).

[0049] El mapa de saliencia tiene la ventaja de ser multiescalas. No requiere aprendizaje, y se calcula en el espacio de los colores de la imagen.

[0050] En la etapa 314, se aplica una función de ponderación a cada mapa de saliencia para tener en cuenta el aspecto temporal en el caso de una secuencia de imágenes.

[0051] Esta ponderación consiste en una combinación lineal del mapa de saliencia corriente con el mapa de saliencia anterior con un coeficiente de ponderación, igual a -0,3, por ejemplo, aplicado al mapa de saliencia anterior.

[0052] Para limitar los efectos de bloques derivados del enfoque multiescalas al tiempo que se preservan las partes importantes de la imagen, cada valor del mapa de saliencia ponderado realizado en la etapa 314 se multiplica, en la etapa 316, por el valor correspondiente del mapa de gradiente realizado en la etapa 310 para formar el mapa de energía. Un tal mapa de energía que combina un mapa de saliencia y la amplitud del gradiente se describe en Anh et al.

[0053] En una variante, el mapa de energía se realiza solamente mediante el cálculo del gradiente calculado sobre el componente de luminancia, como proponen Avidan y Shamir.

[0054] En una variante, el mapa de energía solamente es un mapa de saliencia.

[0055] Según otras variantes, se utilizan otros mapas de saliencia teniendo en cuenta o no el aspecto temporal. Tales mapas se describen por ejemplo en:

Hwang, D.-S. and Chien, S.-Y., «Content-aware image resizing using perceptual seam carving with human attention model», IEEE International Conférence on Multimedia and Expo,(2008)

Chen, D.-Y. and Luo, Y.-S., «Content-Aware Video Seam Carving Based on Bag of Visual Cubes», Sixth International Conférence on Intelligent Information Hiding and Multimedia Signal Processing (IIH-MSP), (2010) Chen describe una selección de camino según 3 dimensiones, incluida la dimensión temporal.

Chiang, C.-K, Wang, S.-F, Chen, Y.-L. and Lai, S.-H,. «Fast JND-Based Video Carving With GPU Acceleration for Real-Time Video Retargeting», IEEE Transactions on Circuits and Systems for Video Technology, (2009) Achanta, R. and Susstrunk, S. «Saliency détection for content-aware image resizing», 16th IEEE International Conférence on Image Processing (ICIP), (2009)

En una variante, el mapa de energía utiliza otro criterio que permite tener en cuenta las regiones de interés.

[0056] En la etapa 318, para controlar la cantidad de caminos que pueden eliminarse, se aplica un umbral al mapa de saliencia para distinguir el fondo de los objetos importantes o las regiones de interés.

[0057] A continuación se realiza un mapa de energía acumulativa en la etapa 320 a partir de una función de energía. Estas funciones de energía acumulativas provienen de los algoritmos utilizados en la etapa 316 y se utilizan para definir el camino de energía acumulativa mínima.

[0058] El camino eliminado en cada estadio es, entre todos los caminos posibles, el que tiene la menor energía acumulativa.

[0059] En el caso del camino vertical, la primera etapa consiste en recorrer la imagen de arriba a abajo y calcular la energía acumulativa M para todas las combinaciones de caminos y para cada punto (i,j).

[0060] Ventajosamente, el mapa de energía acumulativa se realiza utilizando la «forward energy», tal como se describe en Rubinstein et al.

[0061] La ventaja de esta función es que mide la cantidad de energía insertada debida a las nuevas fronteras. Estas nuevas fronteras antes no adyacentes se vuelven adyacentes cuando se elimina un punto del camino.

[0062] En una variante, la «backward energy» propuesta por Avidan y Shamir se utiliza como energía acumulativa para encontrar el camino óptimo. El problema con este método es que no tiene en cuenta las consecuencias de la eliminación de un camino y puede crear artefactos.

[0063] De nuevo según una variante, se utiliza como energía acumulativa una función de energía absoluta como proponen Frankovich et Wong (Frankovich, M. and Wong, A. «Enhanced Seam Carving via Integration of Energy Gradient Functionals», IEEE Signal Processing Letters, (2011)). Se trata de una combinación de la forward energy y de la energía del gradiente.

[0064] En Tanaka et al., Tanaka 2 et al., Tanaka 3 et al., la energía acumulativa para determinar los caminos se modifica combinando la «forward energy» con el coste de codificación de los caminos. En la invención se utiliza ventajosamente un tal procedimiento para calcular los caminos.

[0065] Para que las dimensiones espaciales de la imagen se mantengan constantes y sean múltiplos de 16, se aplica en cada imagen el «seam carving» controlado por el mapa binario. Así se obtiene un número de caminos que puede eliminarse en cada imagen. Para preservar el contenido semánticamente importante de la imagen, el criterio de selección que se utiliza es el número más pequeño de caminos eliminables definido en la etapa anterior. Este enfoque tiene dos ventajas: La primera es que se preserva la integridad de los objetos importantes que no se han tocado. La segunda es que, como las dimensiones son fijas y múltiplos de 16, no es necesario insertar píxeles adicionales y mejora la utilización del codificador de vídeo estándar H264/AVC.

[0066] En la etapa 322 se aplica un criterio de selección del número de caminos que hay que eliminar.

[0067] En la etapa 324, se elimina el número seleccionado de caminos mediante iteraciones sucesivas para cada imagen y se memorizan los puntos de los caminos eliminados.

[0068] La descripción de los haces se realiza en la etapa 218.

[0069] Para ello, se definen los haces de caminos y entre estos haces, se buscan zonas de alta densidad de los caminos en los haces. Estas zonas se denominan zonas clave.

[0070] Así, se memorizan solamente ciertas posiciones de estos haces de caminos en la descripción de los haces para ser transmitidas, lo que permite evitar el envío de un exceso de información.

[0071] El algoritmo de reagrupamiento se ilustra en la figura 4.

[0072] El conjunto de caminos eliminados memorizados se ve como un conjunto de puntos.

[0073] En la etapa 402 se realiza una reorganización de los caminos eliminados, de forma que estos no se crucen.

[0074] A estos efectos, se considera el conjunto P constituido por todos los píxeles de los caminos eliminados, y posicionados en la imagen de origen (tamaño de origen).

[0075] A partir de P, se construye un nuevo conjunto de caminos por barrido de los píxeles de la imagen según las dos dimensiones, para obtener caminos ordenados que no se cruzan.

[0076] El pseudocódigo correspondiente es el siguiente:

Bucle en las líneas (ortogonales a los caminos): línea de índice i

Índice_camino = 0;

Bucle en las columnas (paralelas a los caminos): columna de índice j

Si el píxel pij pertenece a P pij se atribuye al camino

de índice camino Índice camino =Índice camino 1;

Fin

j=j+1; // para la siguiente columna

Fin Bucle en las columnas i = i 1; // para la próxima línea Fin Bucle en las líneas

[0077] En la etapa 404 se realiza un reagrupamiento de los caminos, con ayuda de un criterio de distancia entre dos caminos.

[0078] De manera general, los caminos adyacentes se agrupan en haces.

[0079] Para hacerlo, se aplica la siguiente regla: si la distancia del camino anterior al camino corriente umbral T_Gpe, el camino se inserta en el haz corriente. Si no, se crea un nuevo haz que tiene como primer elemento el camino corriente.

[0080] Más precisamente, y como se ilustra en la figura 5, se procede en la etapa 502 a una inicialización del número de haz, que se inicia en cero. Se considera como camino corriente el primer camino a un extremo de la imagen.

[0081] En la etapa 504, la distancia entre el camino corriente y el camino siguiente de calcula mediante cualquier distancia adaptada.

[0082] La distancia utilizada es por ejemplo una distancia de Minkowski. Se trata por ejemplo de distancias L1 o L2. La distancia L1 o distancia de Manhattan se define como la suma de los valores absolutos de las diferencias de coordenadas entre los píxeles de dos caminos para cada una de las líneas de la imagen. La distancia L2 es la distancia euclidiana, es decir, la suma de los cuadrados de las diferencias de coordenadas entre los píxeles de dos caminos para cada una de las líneas de la imagen. En una variante, la distancia que se toma es igual al máximo de los valores absolutos de las diferencias de coordenadas entre dos píxeles de una misma línea de los dos caminos sucesivos para el conjunto de las líneas.

[0083] Si en la etapa 506, la distancia es inferior a un umbral, el camino siguiente se atribuye al haz corriente en la etapa 508. Si no, se crea un nuevo haz durante la etapa 210 y el camino siguiente se atribuye al nuevo haz.

[0084] Las etapas 504 y siguientes se ponen en marcha mientras queden caminos eliminados por reagrupar, a partir de la prueba efectuada en la etapa 512, la etapa 514 consiste en sustituir el camino corriente por el camino siguiente y en considerar un nuevo camino siguiente.

[0085] En la etapa 406 se efectúa una descripción de los haces ordenados de los caminos eliminados así obtenidos, como se describe con más detalle a continuación.

[0086] Para ello, se seleccionan las líneas de la imagen y se describen los haces únicamente a partir de la descripción de las intersecciones de estas líneas seleccionadas con los haces. Estas intersecciones constituyen zonas clave formadas por grupos de píxeles que se utilizarán para la reconstitución de las líneas eliminadas en la imagen extendida.

[0087] Para la creación de esta descripción, se utilizan las siguientes notaciones.

[0088] Se recorta la imagen en zonas según la dirección de los caminos.

[0089] Se denomina N el número de línea y n el índice de una línea, n = 1,...,N

[0090] Se denomina K el número de zonas y k el índice de una zona, k=1,...,K

[0091] Se denomina P el número de haces obtenidos después de la fase de reagrupamiento en la etapa 404, y p el índice de un haz, p=1 P.

[0092] Se define la dispersión de un haz p en la línea n como la distancia entre los píxeles del primer y el último camino del haz p en la línea n, denominada Dispersión_Haz (p, n).

[0093] La zona de índice K está constituida por las líneas comprendidas entre los índices n1(k) y n2(k) con:

n 1 (k) = (k-1)*(N/K) 1

n2(k) = k*(N/K)

[0094] Según una primera variante, se selecciona una línea por zona y por haz.

[0095] Así, en cada zona se elige como línea seleccionada, la línea que minimiza la dispersión del haz. Este procedimiento se realiza con cada haz a partir del siguiente pseudocódigo:

Bucle en las zonas (índice k)

{Bucle en los haces (índice p)

{

Mín_dispersión(p) = infinito (valor suficientemente grande)

}

Se inicializa la línea seleccionada (ns) mediante la primera línea de la zona k ns (p,k) = n1(k)

Bucle en las líneas de la zona de índice k (índice n)

{

Bucle en los haces de índice p

{

si (Dispersión Haz (p, n) < Mín dispersión (p)) entonces Mín dispersión(p) = Dispersión Haz (p, n)

ns(p,k) = n

} } }

[0096] Según una segunda variante, la selección de una línea se hace por zona para todos los haces. En cada zona, se elige como línea seleccionada la línea que minimiza la suma de las dispersiones de todos los haces. Este procedimiento se realiza para el conjunto de los haces a partir del siguiente pseudocódigo:

Bucle en las zonas (índice k)

{

Mín dispersión(p) = infinito (valor suficientemente grande)

Se inicializa la línea seleccionada mediante la primera línea de la zona k ns(k) = n1 (k)

Bucle en las líneas de la zona de índice k (índice n)

{dispersión acumulada =0;

Bucle en los haces de índice p

{dispersión acumulada

= dispersión acumulada Dispersión Haz (p, n)

}

Si (dispersión acumulada <Mín dispersión)

Entonces: Míndispersión = Dimensión acumulada

ns(k) = n

}

[0097] En los dos ejemplos anteriores el reagrupamiento de los caminos se realiza previamente a la descripción de los haces. En un tal caso, el reagrupamiento de los caminos es un criterio de distancia entre los caminos, considerando toda la longitud de cada camino, y no solamente la distancia entre dos caminos tomada según las líneas seleccionadas.

[0098] Según una tercera variante, el reagrupamiento de los caminos eliminados y la selección de las líneas seleccionadas se realizan conjuntamente.

[0099] En cada zona, la línea seleccionada es la que contiene la intersección con los haces que tienen un mayor número de caminos eliminados.

[0100] En esta variante, el reagrupamiento de píxeles o de caminos por línea seleccionada se hace progresivamente estableciendo un valor de umbral de la distancia interpíxel: cualquier píxel cuya distancia con el píxel anterior sea inferior a un umbral se atribuye al grupo de píxeles anterior, en caso contrario el píxel se atribuye a un grupo nuevo.

[0101] Cada zona se barre línea a línea y la línea seleccionada se elige como la línea que tiene el grupo más amplio, es decir, la intersección más grande entre la línea y un haz que tiene el mayor número de píxeles. Esta elección traduce la idea de que los caminos deben evitar los objetos importantes de la imagen y se encuentran concentrados en zonas clave. Así se detectan las zonas clave importantes.

[0102] Este procedimiento se realiza en una zona mediante la utilización del siguiente pseudocódigo:

Se define como N(k) el número de líneas en la zona de índice k.

Bucle en las líneas de la zona de índice k (índice n)

{

Reagrupamiento de los caminos de la línea n

se obtiene G(n) el número de grupos en la línea n

y P(n,g) igual al número depíxeles en la línea n del grupo de índice g

Para cada línea, se selecciona el grupo que tiene un mayor número depíxeles.

El grupo seleccionado viene dado por gs(n) = ArgMax {P(n,g) } para g=1,.., G(n)

Se selecciona la línea en la zona k que maximiza gs(n)

Finalmente, el índice de la línea seleccionada viene dado por:

ns(k) = ArgMax { gs(n) } para n= 1,.., N(k)

}

[0103] En cada una de las variantes descritas más arriba, las zonas están compuestas por un conjunto de líneas sucesivas, y pueden distribuirse en la imagen de varias maneras. Un primer método consiste en recortar la imagen en zonas uniformemente distribuidas. Un segundo método consiste en definir las zonas como un conjunto de líneas alrededor de líneas equidistribuidas en la imagen. Por último, un tercer método consiste en recortar la imagen en zonas distribuidas teniendo en cuenta por ejemplo la naturaleza de la imagen y de su contenido. Estos métodos solo se dan a título ilustrativo.

[0104] Es posible grabar la posición de la línea seleccionada así como la posición de todos los caminos en esta línea, pero no es sensato conservar únicamente la posición del grupo de caminos porque la reinserción de los caminos que faltan podría desplazar y deformar la imagen en estas líneas seleccionadas.

[0105] En el ejemplo descrito anteriormente, el reagrupamiento de los caminos, así como la descripción de los haces, es decir, la descripción de los reagrupamientos realizada según las líneas seleccionadas, se realizan simultáneamente.

[0106] Para la descripción de los haces, se puede utilizar uno de los modos de descripción siguientes.

[0107] Así, como se ha expuesto anteriormente, es posible transmitir, para cada línea seleccionada, la posición de todos los caminos de cada haz siguiendo estas líneas seleccionadas.

[0108] En una variante, solo se transmite la posición del primer y del segundo camino de cada haz para cada línea, así como el número de caminos entre los caminos extremos.

[0109] En una variante, solo se transmite la posición media de cada haz, correspondiente a la media de las posiciones de caminos que constituyen el haz en cada línea seleccionada, así como el número de caminos del haz y eventualmente, una desviación-tipo que caracteriza los caminos del haz.

[0110] Por último, según otra variante más, solo se transmite la posición del primer camino de cada haz para cada línea seleccionada, así como el número de caminos de cada haz para cada línea seleccionada.

[0111] Después de haber identificado los grupos o haz de caminos y en concreto su posición en las líneas seleccionadas, se realiza asimismo una compresión de los grupos de caminos durante la etapa 406.

[0112] Para codificar la posición y limitar el coste de codificación, para cada imagen reducida, se codifican las cantidades siguientes:

• El número de líneas verticales y horizontales escaneadas para la síntesis

• El número de caminos horizontales y verticales eliminados

[0113] Para cada imagen del GOP y para cada dirección, se codifican las siguientes cantidades:

• El número máximo de grupos de caminos

• El número máximo de caminos en un grupo

[0114] Para cada línea vertical, se codifican las siguientes cantidades:

• La coordenada de la línea. Para la primera línea, Coordinate_Previous_Line =0, para las otras líneas Coordinate_Previous_Line es la posición de la línea anterior.

• El número de grupos en la línea.

[0115] Para cada grupo de la línea, se codifican las siguientes cantidades:

• Las coordenadas del punto más a la derecha. Para el primer punto Coordinate_Previous_Group=0 y para los otros puntos, Coordinate_Previous_Group es la coordenada del punto más a la derecha del grupo anterior.

• El número de caminos en el grupo. Para el primer punto, Nb_seams_Inserted=0 y para los otros puntos, Nb_seams_Inserted es el número de seams insertados en la línea.

[0116] Estas cantidades constituyen la descripción de los haces que se transmite además de la imagen reducida en la etapa 37.

[0117] Tras la recepción y la descompresión de la imagen reducida en la etapa 40 y descodificación de la descripción de los haces, en la etapa 42, se pone en marcha la etapa 44 de síntesis de caminos en la imagen reducida para producir la imagen extendida.

[0118] De manera general, el mapa de energía de la imagen reducida en proceso de tratamiento se modifica en función de la descripción de los haces para obligar a los caminos insertados a pasar por las zonas clave definidas en la fase anterior. Este enfoque permite evitar que los caminos pasen a través de los objetos importantes y permite a los objetos importantes recuperar su posición inicial.

[0119] Más precisamente y como se ilustra en la figura 6, tras la recepción de los datos transmitidos, la imagen reducida se descomprime para obtener una imagen descomprimida 600. Asimismo, se obtiene una descripción de los haces 601 por descompresión de los datos recibidos.

[0120] Se calcula un mapa de energía para la imagen reducida descomprimida en la etapa 602. A estos efectos, se utiliza el mismo modo de cálculo del mapa de energía que el que se utiliza para la eliminación de los caminos. En este caso, se trata de una combinación de los mapas de saliencia y del mapa de gradiente.

[0121] Se realiza una prueba en la etapa 604 para determinar si la dimensión actual de la imagen en proceso de tratamiento es inferior al tamaño de origen de la imagen. Si es así, el mapa de energía producido anteriormente se pondera para modificar el valor de energía en las líneas seleccionadas obtenidas de la descripción de los haces 601. Esta ponderación consiste en añadir un valor máximo a todos los píxeles de cada línea seleccionada salvo en el píxel de la zona clave de paso deseado para la futura línea insertada. El valor máximo añadido que se elige es superior a todos los valores de la imagen.

[0122] Esta modificación se ilustra en la figura 9 correspondiente a las imágenes de las figuras 7 y 8.

[0123] Si en la etapa 604, la dimensión de la imagen en proceso de tratamiento es superior a la dimensión de origen de la imagen, la etapa 608 se aplica directamente. Esta etapa 608 consiste en determinar el camino que hay que insertar. Este camino se determina como el camino que minimiza la energía acumulativa entre un conjunto de caminos candidatos como ya se conoce en un método de «seam carving».

[0124] En la etapa 610, se determina si se debe informar inmediatamente o no sobre los valores de los píxeles del camino insertado. En caso afirmativo, estos valores se determinan, en la etapa 612, mediante un método de propagación conocido en sí, es decir, mediante la recuperación de estos valores asociados a uno de los píxeles inmediatamente adyacentes, o mediante un método de interpolación a partir de los valores de los píxeles adyacentes.

[0125] En la etapa 614, se determina si la dimensión de la imagen en proceso de tratamiento corresponde a la dimensión objeto de la imagen. Si no es así, se determina un nuevo mapa de energía para la imagen en proceso de reconstitución en la etapa 616, mediante el mismo método de cálculo que el utilizado durante la etapa 602, y las etapas 604 y siguientes se vuelven a poner en marcha.

[0126] Si la dimensión de la imagen corresponde a la dimensión objeto, en la etapa 618 se determina si los valores de cada píxel se han atribuido a los caminos insertados en la etapa 612.

[0127] Si no es así, se pone en marcha la etapa 620 de atribución de valores a los píxeles. Esta atribución global de valores se realiza con cualquier método conocido adaptado, en concreto un método de tipo «inpainting», una síntesis de textura a partir de la recuperación de una textura extraída de la imagen, o incluso un método de interpolación.

[0128] La imagen digital reducida se descodifica así tras este algoritmo para obtener una imagen reconstituida.

Claims (11)

REIVINDICACIONES

1. Procedimiento de codificación de una imagen digital o de una secuencia de imágenes digitales que comporta una etapa de:

a. eliminación (30) de caminos entre dos bordes opuestos de una imagen mediante un algoritmo de redimensionamiento por eliminación de píxeles para definir una imagen reducida;

b. modelización (34) de los caminos eliminados para transmisión con la imagen reducida con vistas a la interpolación de una imagen extendida,

caracterizado porque

la etapa de modelización (34) de los caminos eliminados comporta:

b1/ el reagrupamiento (35) de los caminos eliminados en haces de caminos siguiendo al menos un criterio predeterminado;

b2/ la creación (36) de una descripción de los haces de caminos eliminados,

el procedimiento se aplica a una secuencia de imágenes sucesivas y el algoritmo de redimensionamiento por eliminación de píxeles comporta, para la determinación de los caminos que hay que eliminar, que se tenga en cuenta un mapa de energía formado por una combinación lineal del mapa de energía de la imagen corriente con el mapa de energía de la imagen anterior con un coeficiente de ponderación aplicado al mapa de energía de la imagen anterior.

2. Procedimiento de codificación según la reivindicación 1, caracterizado porque dicha descripción de los haces comporta, solamente para ciertas líneas seleccionadas de la imagen, una información sobre la distribución de los caminos eliminados.

3. Procedimiento de codificación según la reivindicación 2, caracterizado porque la información sobre la distribución de los caminos eliminados comporta la posición de paso de los caminos eliminados en las líneas seleccionadas.

4. Procedimiento de codificación según la reivindicación 2 o 3, caracterizado porque las líneas seleccionadas se toman al menos cada una en zonas equidistribuidas de la imagen según la dirección de los caminos eliminados.

5. Procedimiento de codificación según la reivindicación 2 o 3, caracterizado porque las líneas seleccionadas se toman al menos cada una en zonas distribuidas definidas en la imagen en función del contenido de la imagen.

6. Procedimiento de codificación según cualquiera de las reivindicaciones 2 a 5, caracterizado porque para una zona dada que comporta varias líneas sucesivas, se elige una línea seleccionada para cada haz como aquella para la cual el haz presenta la dispersión mínima.

7. Procedimiento de codificación según cualquiera de las reivindicaciones 2 a 5, caracterizado porque para una zona dada que comporta varias líneas sucesivas, se elige una misma línea seleccionada para todos los haces como aquella para la cual la suma de las dispersiones de los haces es mínima.

8. Procedimiento de codificación según cualquiera de las reivindicaciones 2 a 5, caracterizado porque, para una zona dada que comporta varias líneas sucesivas, se elige una misma línea seleccionada para todos los caminos como aquella que comporta el mayor número de caminos separados los unos de los otros gradualmente por una distancia inferior a un umbral predefinido.

9. Procedimiento de codificación según cualquiera de las reivindicaciones 2 a 8, caracterizado porque la creación (36) de una descripción de los haces de caminos eliminados consiste en la definición de una de las siguientes descripciones:

- la posición de todos los caminos de cada haz para cada línea seleccionada,

- la posición del primer y del último camino de cada haz para cada línea seleccionada, así como el número de caminos del haz,

- la posición media de cada haz, que corresponde a la media de las posiciones de los caminos que constituyen el haz en cada línea seleccionada, así como el número de caminos del haz, o

- la posición del primer camino de cada haz para cada línea seleccionada así como el número de caminos de cada haz para cada línea seleccionada.

10. Procedimiento de codificación según cualquiera de las reivindicaciones anteriores, caracterizado porque el criterio predeterminado para el reagrupamiento (35) de los caminos eliminados en haces de caminos es la existencia de una distancia entre los caminos adyacentes de un mismo grupo inferior a un valor umbral predeterminado.

11. Procedimiento de transmisión de imagen entre una entidad emisora (10) y una entidad receptora (12), caracterizado porque la entidad emisora (10) pone en marcha un procedimiento de codificación de una imagen digital inicial según cualquiera de las reivindicaciones 1 a 10;

la entidad emisora (10) transmite a la entidad receptora (12) la imagen reducida y una modelización de los caminos eliminados en forma de una descripción de haces de caminos eliminados,

la entidad receptora (12) pone en marcha un procedimiento de descodificación de la imagen reducida recibida teniendo en cuenta la modelización de los caminos eliminados en forma de una descripción en haces de caminos eliminados, en el que el procedimiento de descodificación comporta

la inserción en dicha imagen reducida de líneas entre dos bordes según un algoritmo que tiene en cuenta la descripción de los caminos eliminados en la imagen inicial, la etapa de inserción en dicha imagen reducida de líneas se realiza respetando la descripción de los haces de caminos eliminados.