ES2575869T3 - Método y aparato para sincronizar temporalmente el flujo de bits de entrada de un descodificador de vídeo con la secuencia de vídeo procesada descodificada por el descodificador de vídeo - Google Patents

Método y aparato para sincronizar temporalmente el flujo de bits de entrada de un descodificador de vídeo con la secuencia de vídeo procesada descodificada por el descodificador de vídeo Download PDF

Info

Publication number
ES2575869T3
ES2575869T3 ES15151228.2T ES15151228T ES2575869T3 ES 2575869 T3 ES2575869 T3 ES 2575869T3 ES 15151228 T ES15151228 T ES 15151228T ES 2575869 T3 ES2575869 T3 ES 2575869T3
Authority
ES
Spain
Prior art keywords
bit stream
video sequence
error
frames
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES15151228.2T
Other languages
English (en)
Inventor
Savvas Argyropoulos
Bernhard Feiten
Marie-Neige Garcia
Peter List
Alexander Raake
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Telekom AG
Original Assignee
Deutsche Telekom AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsche Telekom AG filed Critical Deutsche Telekom AG
Application granted granted Critical
Publication of ES2575869T3 publication Critical patent/ES2575869T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H04N17/045—Self-contained testing apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/06—Diagnosis, testing or measuring for television systems or their details for recorders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N2017/006—Diagnosis, testing or measuring for television systems or their details for television sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N2017/008—Diagnosis, testing or measuring for television systems or their details for television teletext

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Método para sincronizar temporalmente el flujo de bits de entrada de un descodificador de vídeo con la secuencia de vídeo procesada descodificada por el descodificador de vídeo, en donde el método comprende los pasos de: a) capturar el flujo de bits de entrada y suministrarlo a un analizador de flujo de bits; b) analizar, mediante el analizador de flujo de bits, el flujo de bits capturado, a fin de generar mapas de error I(x,y,t) y un conjunto A de píxeles que han resultado afectados por la pérdida de paquetes, en donde I(x,y,t) representa el valor del mapa de error en la posición (x,y) del fotograma t-ésimo, x >= 0, 1, ..., M, e y >= 0, 1, ..., N, donde M, N son, respectivamente, las dimensiones horizontales y verticales de cada fotograma de la secuencia de vídeo; c) almacenar, en una memoria intermedia, los mapas de error de Nrec fotogramas, generados internamente por el analizador de flujo de bits; y d) comparar los mapas de error almacenados de los Nrec fotogramas reconstruidos con el mapa de error correspondiente de la secuencia de vídeo procesada en curso, con el fin de encontrar un fotograma concordante n* de entre el conjunto de fotogramas reconstruidos de la memoria intermedia que concuerde con la imagen en curso de la secuencia de vídeo procesada.

Description

5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Metodo y aparato para sincronizar temporalmente el flujo de bits de entrada de un descodificador de v^deo con la secuencia de video procesada descodificada por el descodificador de video
Campo de la Invencion
La invencion se refiere a metodos y aparatos para sincronizar temporalmente el flujo de bits de video de entrada de un descodificador de video con la secuencia de video procesada descodificada por el descodificador de video.
Antecedentes de la Invencion
La proliferacion de aplicaciones de comunicacion por video en los ultimos anos ha hecho necesario el desarrollo de solidas medidas de calidad de video para evaluar la "calidad de la experiencia" (QoE, por sus siglas en ingles), definida como la calidad del servicio percibida por el usuario. La evaluacion de la calidad de video es un aspecto cntico del diseno, planificacion y control eficaces de los servicios por parte de los proveedores de contenidos.
En la actualidad, los modelos/sistemas hnbridos de evaluacion de la calidad de video utilizan una combinacion de informacion sobre paquetes, informacion sobre flujo de bits y la imagen reconstruida descodificada. En general, en un algoritmo hnbrido para evaluacion de la calidad de video, las caractensticas extrafdas o calculadas a partir del flujo de bits (por ejemplo, vectores de movimiento, tipos de macrobloques, coeficientes de transformacion, parametros de cuantificacion, etc.), y la informacion extrafda de cabeceras de paquete (por ejemplo, tasa de bits, perdida de paquetes, retardo, etc.) se combinan con las caractensticas extrafdas de las imagenes reconstruidas de salida, en el campo de los pfxeles. Sin embargo, si las anteriores caractensticas no corresponden temporalmente a estas ultimas debido a la perdida de alineaciones temporales, la evaluacion de la calidad no sena exacta. Por tanto, el primer paso en todos los algoritmos tnbridos de evaluacion de la calidad de video es la sincronizacion del flujo de bits de video con las imagenes reconstruidas descodificadas.
En la Figura 1 se representa un diagrama de bloques de un sistema tnbrido de evaluacion de la calidad de video. En el lado del usuario final, un dispositivo de sondeo captura el flujo de bits entrante y luego lo descompone y analiza, con el fin de extraer y calcular algunas caractensticas. Estas caractensticas constituyen entradas al modulo responsable de la sincronizacion temporal del flujo de bits de video con la secuencia de video de salida.
Por otra parte, el dispositivo descodificador, por ejemplo el receptor externo (STB, del ingles "set-top-box"), descodifica el flujo de bits recibido y genera la secuencia de video procesada (PVS, por sus siglas en ingles), que se visualiza mediante el dispositivo de salida. Tambien se envfa la PVS como entrada al modulo responsable de la sincronizacion temporal, de manera que se pueda alinear temporalmente con el flujo de bits de video.
En general, el motivo principal de desalineacion temporal entre el flujo de bits y la PVS es el retardo. Cuando se transmite el flujo de video a traves de una red "de mejor servicio posible" (en ingles, "best-effort network"), como Internet, el tiempo de llegada de cada paquete no es constante, y puede variar significativamente. La variabilidad en el tiempo de la latencia de los paquetes a traves de una red se denomina fluctuacion (en ingles, "jitter"). Para asegurar una reproduccion regular de la secuencia, sin sacudidas, la mayona de los sistemas de video emplean una memoria intermedia (en ingles, "buffer") contra la fluctuacion. El flujo de bits recibido se escribe en la memoria intermedia de entrada basandose en el tiempo de llegada de cada paquete, y los datos de imagen correspondientes a un fotograma se leen desde la misma hacia el descodificador a intervalos de tiempo predeterminados correspondientes al penodo entre fotogramas. La temporizacion de visualizacion de cada imagen viene determinada por el campo de indicacion de tiempo (en ingles, "timestamp") registrado en la cabecera del paquete. Es decir, el valor de indicacion de tiempo corresponde al penodo de tiempo de retardo que transcurre desde la deteccion del codigo de comienzo de la imagen hasta el momento de la visualizacion de la imagen.
En el sistema de descodificacion de video descrito en lo que antecede, la temporizacion de visualizacion de cada fotograma de video se determina en funcion de los datos que se incluyen en el flujo de bits de video para determinar la temporizacion de visualizacion. Puesto que el tiempo de visualizacion de un fotograma no es fijo, no siempre se puede hacer concordar exactamente la PVS con el flujo de bits original.
En la bibliograffa, el problema de la alineacion temporal entre una fuente y una secuencia de video distorsionada ya se ha estudiado con anterioridad, y se le denomina tambien "registro de video" (en ingles, "video registration"). En M. Barkowsky, R. Bitto, J. Bialkowski y A. Kaup, "Comparison of matching strategies for temporal frame registration in the perceptual evaluation of video quality", Proc. of the Second International Workshop on Video Processing and Quality Metrics for Consumer Electronics, enero de 2006, se presenta y se examina, en terminos de prestaciones y complejidad, una comparacion entre la puesta en concordancia de bloques y la correlacion de fase para el registro de video. Ademas, en Y.Y. Lee, C.S. Kim y S.U. Lee, "Video frame-matching algorithm using dynamic programming", Journal of Electronic Imaging, SPIE, 2009, se ha presentado un algoritmo de concordancia de fotogramas para gestionar eliminaciones, inserciones y alteraciones del orden de fotogramas, asf como compresion de datos, basado en la minimizacion de una funcion de coste de concordancia utilizando programacion dinamica. En J. Lu, "Fast video temporal alignment estimation" (documento US-B1-6 751 360) se ha presentado un metodo para estimacion rapida de alineacion temporal, destinado a alinear temporalmente un video distorsionado y
5
10
15
20
25
30
35
40
45
50
55
60
65
una fuente de video correspondiente, con la finalidad de medir la calidad de video. Se transforma cada secuencia de v^deo en una curva de firma, mediante el calculo de un punto de datos para cada fotograma, en forma de una correlacion cruzada entre dos fotogramas seguidos. A continuacion, se determina la desalineacion temporal del video distorsionado al hallar el valor maximo de la correlacion cruzada normalizada entre las curvas de firma de las secuencias de video examinadas. En H. Cheng, "Video registration based on local prediction errors" (documento US-B2-7 366 361) se describe otro metodo para identificar la correspondencia espacial, temporal y de histogramas entre dos secuencias de video. Se alinea la PVS con la secuencia de video de referencia mediante la generacion de una cartograffa (en ingles, "mapping") desde un conjunto seleccionado de uno o mas fotogramas originales hasta el conjunto procesado, de modo que cada cartograffa minimiza un error de prediccion local. En K. Ferguson, "Systems and methods for robust video temporal registration" (documento US-A-2008/0253689) se generan mediciones de destilacion de fotograma y subimagen a partir de las secuencias de video de referencia y de prueba. Despues se alinean linealmente las mismas utilizando el coeficiente local de correlacion cruzada de Pearson entre fotogramas. Por ultimo, en C. Souchard, "Spatial and temporal alignment of video sequences" (documento US-A-2007/0097266) se define una funcion de movimiento para describir el movimiento de un conjunto de pfxeles entre los fotogramas de las secuencias de video de prueba y de referencia, y se utiliza una transformada para alinear las dos imagenes.
Compendio de la Invencion
El objeto de la invencion es proporcionar un metodo y aparato para alinear temporalmente el flujo de bits de video de entrada de un descodificador de video, por ejemplo un receptor externo (STB), con la secuencia de video procesada (PVS) y hacer posible su sincronizacion. Este objeto se consigue con las caractensticas de las reivindicaciones.
Segun un primer aspecto, un ejemplo proporciona un metodo para sincronizar temporalmente el flujo de bits de entrada de un descodificador de video con la secuencia de video procesada descodificada por el descodificador de video, en donde el metodo comprende los pasos de:
a) capturar el flujo de bits de entrada y suministrarlo a un analizador de flujo de bits;
b) examinar y analizar, mediante el analizador de flujo de bits, el flujo de bits de entrada capturado;
c) descodificar el flujo de bits de entrada y proporcionar a partir del mismo imagenes reconstruidas Nrec,
d) almacenar las imagenes reconstruidas Nrec en una memoria intermedia; y
e) comparar una secuencia de video procesada recibida desde el lado de salida del descodificador de video con cada una de las imagenes reconstruidas almacenadas, para encontrar un fotograma concordante n* del conjunto de imagenes reconstruidas de la memoria intermedia.
El metodo puede comprender ademas el paso f) de suministrar el fotograma concordante n* y su parte correspondiente del flujo de bits a una unidad de evaluacion de la calidad de video. La unidad de evaluacion de la calidad de video puede estimar una puntuacion subjetiva de la calidad basandose en la informacion obtenida a partir del flujo de bits y la secuencia de video procesada.
El paso b) del metodo puede comprender, ademas, extraer para cada imagen, a partir del flujo de bits, los paquetes que se han perdido debido a errores de transmision y las zonas correspondientes dentro de cada fotograma que han resultado afectadas por la perdida de paquetes; asf como un mapa de propagacion de error basado en los vectores de movimiento y tipos de macrobloques, que indique cuales son los pfxeles de cada fotograma que hacen referencia a una zona erronea conforme a su prediccion y es posible, por lo tanto, que hayan resultado afectados por la perdida de paquetes.
Ademas, el paso e) puede comprender calcular una medida de distancia entre la secuencia de video procesada y la imagen reconstruida de la memoria intermedia, mediante la explotacion de la informacion extrafda del flujo de bits y de la PVS. La informacion extrafda del flujo de bits puede comprender la localizacion espacial y temporal de las degradaciones debidas a la perdida de paquetes.
Segun un segundo aspecto, la invencion proporciona un metodo para sincronizar temporalmente el flujo de bits de entrada de un descodificador de video con la secuencia de video procesada descodificada por el descodificador de video, en donde el metodo comprende los pasos de:
a) capturar el flujo de bits de entrada y suministrarlo a un analizador de flujo de bits;
b) analizar, mediante el analizador de flujo de bits, el flujo de bits capturado, a fin de generar mapas de error I(x,y,t) y un conjunto A de pfxeles que han resultado afectados por la perdida de paquetes, en donde I(x,y,t) representa el valor del mapa de error en la posicion (x,y) del fotograma t-esimo, x = 0, 1, ..., M, e y = 0, 1, ..., N, donde M, N son, respectivamente, las dimensiones horizontales y verticales de cada fotograma de la secuencia de video;
c) almacenar, en una memoria intermedia, los mapas de error de fotogramas reconstruidos Nrec, que estan siendo reconstruidos por el analizador de flujo de bits; y
d) comparar los mapas de error almacenados de los Nrec fotogramas reconstruidos, con el mapa de error correspondiente de la secuencia de video procesada en curso, para encontrar un fotograma concordante n* de entre el conjunto de fotogramas reconstruidos de la memoria intermedia que concuerde con la imagen en curso de la secuencia de video procesada.
5
10
15
20
25
30
35
40
45
50
55
60
65
El metodo puede comprender el paso e) de suministrar el fotograma concordante n* y su correspondiente parte del flujo de bits a una unidad de evaluacion de la calidad de v^deo.
Se prefiere, ademas, que entre los pasos c) y d) se lleven a cabo los siguientes pasos:
extraer los bordes de la imagen en curso de la secuencia de video procesada;
calcular el contorno de los bordes que probablemente pertenezcan a una zona afectada por la perdida de paquetes; comparar el contorno de borde de la secuencia de video procesada con el contorno de borde de los mapas de error almacenados en la memoria intermedia.
Segun un tercer aspecto, un ejemplo adicional proporciona un metodo para sincronizar temporalmente el flujo de bits de entrada encriptado de un descodificador de video con la secuencia de video procesada descodificada por el descodificador de video, en donde el metodo comprende los pasos de:
a) suministrar el flujo de bits de entrada encriptado a un modulo de analisis;
b) analizar, en el modulo de analisis, la informacion de cabecera de paquete del flujo de bits de entrada encriptado, y calcular el tamano y tipo de los fotogramas contenidos en el flujo de bits;
c) extraer, basandose en los tamanos y tipos calculados de los fotogramas, caractensticas que son representativas del contenido representado en los fotogramas de video;
d) extraer, a partir de las imagenes de la secuencia de video procesada, el tipo de contenido y las respectivas caractensticas representativas del contenido;
e) comparar las caractensticas extrafdas en el paso d) a partir de la imagen en curso de la secuencia de video procesada con las caractensticas extrafdas en el paso c) a partir de los fotogramas analizados, para encontrar un fotograma concordante n*.
Las caractensticas extrafdas en los pasos c) y d) son, preferiblemente, caractensticas variables en el tiempo, y estos pasos se pueden realizar en el campo de los pfxeles.
Segun una realizacion preferida, la caractenstica y la alineacion temporal para el fotograma concordante n* se envfan adicionalmente como entrada a un modulo de evaluacion de la calidad de video.
El paso b) puede detectar ademas fotogramas que hayan resultado afectados por la perdida de paquetes, y puede comprender ademas los pasos de:
f) examinar la imagen en curso de la secuencia de video procesada en busca de artefactos generados debido a las perdidas de paquetes; y
g) poner en concordancia la secuencia de video procesada con el fotograma correspondiente del flujo de bits, en donde, si en el paso f) se ha detectado que la imagen en curso de la secuencia de video procesada contiene artefactos que se insertaron como resultado de una perdida de paquetes, se pone en concordancia esa imagen con la parte del flujo de bits correspondiente al fotograma en el que se encontro en el paso b) que contema la perdida de paquetes.
Un aspecto adicional de un ejemplo se refiere a un aparato para alinear temporalmente el flujo de bits de entrada de un descodificador de video con la secuencia de video procesada descodificada por el descodificador de video, en donde el aparato comprende:
un analizador de flujo de bits que recibe el flujo de bits de entrada, en donde el analizador de flujo de bits esta configurado para examinar y analizar el flujo de bits de entrada, y
un modulo de sincronizacion que esta configurado para alinear el flujo de bits analizado con la secuencia de video procesada,
en donde el modulo de sincronizacion comprende:
un descodificador que recibe desde el analizador de flujo de bits el flujo de bits analizado, y esta configurado para proporcionar a partir del mismo imagenes reconstruidas Nrec,
una memoria intermedia configurada para almacenar dichas imagenes reconstruidas Nrec de dicho descodificador, de manera que la imagen de salida representada por la secuencia de video procesada puede compararse con este numero espedfico de imagenes previamente reconstruidas, y una unidad de comparacion en el campo de los pfxeles que recibe el flujo de bits analizado desde el analizador de flujo de bits, las imagenes reconstruidas desde la memoria intermedia y la secuencia de video procesada, en donde la unidad de comparacion esta configurada para
comparar la secuencia de video procesada con cada una de las imagenes reconstruidas en la memoria intermedia, y
determinar la imagen mas concordante de la memoria intermedia de video.
5
10
15
20
25
30
35
40
45
50
55
60
65
El aparato comprende preferiblemente un modulo de evaluacion de la calidad de v^deo que combina informacion del flujo de bits y la secuencia de video procesada, con el fin de evaluar la calidad de la secuencia de video. La unidad de comparacion puede estar configurada ademas para calcular una medida de distancia entre la secuencia de video procesada y la imagen reconstruida de la memoria intermedia, examinada, mediante la explotacion de informacion extrafda del flujo de bits. Ademas, la unidad de comparacion esta configurada para emitir como salida hacia el modulo de evaluacion de la calidad de video la imagen mas concordante, con el fin de estimar una puntuacion subjetiva de la calidad basada en la informacion del flujo de bits y la secuencia de video procesada.
Se prefiere, ademas, que el analizador de flujo de bits este configurado para extraer para cada imagen, a partir del flujo de bits, los paquetes que se han perdido debido a errores de transmision y las zonas correspondientes dentro de cada fotograma que se han visto afectadas por la perdida de paquetes; asf como un mapa de error basado en los vectores de movimiento y tipos de macrobloques, que indique cuales son los pfxeles de cada fotograma que hacen referencia a una zona erronea conforme a su prediccion y es posible, por lo tanto, que hayan resultado afectados por la perdida de paquetes.
Segun un aspecto adicional, la invencion proporciona un aparato para alinear temporalmente el flujo de bits de entrada de un descodificador de video con la secuencia de video procesada descodificada por el descodificador de video, en donde el aparato comprende:
un analizador de flujo de bits que recibe el flujo de bits de entrada, en donde el analizador de flujo de bits esta configurado para analizar el flujo de bits de entrada en busca de informacion de cabecera de paquetes del flujo de bits encriptado, y calcular el tamano y tipo de los fotogramas contenidos en el flujo de bits, y un modulo de sincronizacion que esta configurado para alinear el flujo de bits analizado con la secuencia de video procesada,
en donde el modulo de sincronizacion comprende:
un modulo de extraccion que recibe desde el analizador de flujo de bits el flujo de bits analizado, y esta configurado para generar mapas de error I(x,y,t) y un conjunto A de pfxeles que han resultado afectados por la perdida de paquetes, en donde I(x,y,t) representa el valor del mapa de error en la posicion (x,y) del fotograma t-esimo, x = 0, 1, ..., M, e y = 0, 1, ..., N, donde M, N son, respectivamente, las dimensiones horizontales y verticales de cada fotograma de la secuencia de video, una memoria intermedia configurada para almacenar los mapas de error de fotogramas reconstruidos Nrec, que estan siendo reconstruidos por el analizador de flujo de bits, y
un modulo de busqueda de patrones de error que recibe los mapas de error de los fotogramas reconstruidos Nrec desde la memoria intermedia, y el mapa de error correspondiente de la secuencia de video procesada, en donde el modulo de busqueda de patrones de error esta configurado para
comparar los mapas de error almacenados de los Nrec fotogramas reconstruidos, con el mapa
de error correspondiente de la secuencia de video procesada en curso, y para
determinar un fotograma concordante n* a partir del conjunto de fotogramas reconstruidos de la
memoria intermedia que concuerda con la imagen en curso de la secuencia de video
procesada.
Segun un aspecto adicional, un ejemplo proporciona un aparato para alinear temporalmente el flujo encriptado de bits de entrada de un descodificador de video con la secuencia de video procesada descodificada por el descodificador de video, en donde el aparato comprende:
un analizador de flujo de bits que recibe el flujo de bits de entrada encriptado, en donde el analizador de flujo de bits esta configurado para examinar y analizar el flujo de bits de entrada, y
un modulo de sincronizacion que esta configurado para alinear el flujo de bits analizado con la secuencia de
video procesada,
caracterizado porque
el modulo de sincronizacion comprende:
un primer modulo de extraccion que esta configurado para extraer, basandose en los tamanos y tipos calculados de los fotogramas, caractensticas que son representativas del contenido representado en los fotogramas de video,
un segundo modulo de extraccion que esta configurado para extraer el tipo de contenido y caractensticas respectivas, representativas del contenido, a partir de las imagenes de la secuencia de video procesada, y
una unidad de comparacion conectada a la primera unidad de extraccion y a la segunda unidad de extraccion, en donde la unidad de comparacion esta configurada para
comparar las caractensticas extrafdas de la imagen en curso de la secuencia de video procesada con las caractensticas extrafdas de los fotogramas analizados, y para determinar el fotograma concordante n*.
5
10
15
20
25
30
35
40
50
55
60
65
70
Volviendo al objeto de la invencion, en terminos generales se puede conseguir, mediante la provision de un dispositivo (sonda) que, segun la presente invencion, incluye un analizador de flujo de bits para examinar y descodificar el flujo de bits de entrada, un modulo de sincronizacion que es responsable de alinear temporalmente el flujo de bits con la PVS.
El dispositivo responsable de la alineacion temporal del flujo de bits de video y la PVS comprende una memoria intermedia que almacena las imagenes reconstruidas que constituyen la salida del descodificador. Esta memoria intermedia debe ser capaz de almacenar un numero espedfico de imagenes reconstruidas Nrec procedentes del dispositivo descodificador dentro de la sonda, de manera que se pueda comparar la imagen de salida con este numero espedfico de imagenes previamente reconstruidas.
El modulo responsable de la sincronizacion de la PVS y el flujo de bits de video realiza las siguientes operaciones:
a) compara la PVS con cada una de las imagenes reconstruidas de la memoria intermedia;
b) calcula una medida de distancia entre la PVS y la imagen reconstruida, examinada, de la memoria intermedia mediante la explotacion de la informacion extrafda del flujo de bits (por ejemplo, la ubicacion espacial y temporal de degradaciones debidas a la perdida de paquetes);
c) determina la imagen mas concordante de la memoria intermedia y la emite como salida al modulo de evaluacion de la calidad de video que es responsable de estimar la puntuacion subjetiva MOS basandose en informacion de la secuencia de bits y la PVS.
A continuacion, se describira con mas detalle la invencion.
En primer lugar se describira, con referencia a la Figura 2, un primer ejemplo de sincronizacion temporal entre el flujo de bits y la PVS.
La sincronizacion temporal entre el flujo de bits y la secuencia de video descodificada/procesada consta de dos pasos. Inicialmente, en el primer paso el aparato segun la invencion, es decir, un dispositivo de sondeo, captura el flujo de bits y lo alimenta al analizador de flujo de bits que, para cada imagen, extrae la siguiente informacion:
a. los paquetes que se han perdido debido a errores de transmision y las zonas correspondientes dentro de cada fotograma que han resultado afectadas por la perdida de paquetes; y
b. un mapa de propagacion de error basado en los vectores de movimiento y tipos de macrobloques, que indica cuales son los pfxeles de cada fotograma que hacen referencia (para prediccion) a una zona erronea conforme a su prediccion y es posible, por lo tanto, que hayan resultado afectados por la perdida de paquetes.
Sea A el conjunto de pfxeles que han resultado afectados por la perdida de paquetes y los pfxeles que hacen referencia a pfxeles perdidos por su prediccion. Ademas, sea I(x,y,t) el valor del mapa de error en la posicion (x,y) del fotograma t-esimo, x = 1, 2, ..., M, e y = 1, 2, .., N, donde M, N son, respectivamente, las dimensiones horizontales y verticales de cada fotograma de la secuencia de video. El valor para los pfxeles que pertenecen al conjunto A es uno, en caso contrario su valor es cero. Por tanto:
i[x, y,t)=
fl, A
|0, (x,y)e A
Eq.(l)
En otras palabras, el conjunto A contiene todos los pfxeles que no van a ser identicos entre la secuencia de video procesada y la imagen reconstruida del descodificador dentro de la sonda debido a las diferentes tecnicas de ocultacion de error. Por esta razon, todos los pfxeles que pertenecen al conjunto A se marcan como no disponibles para la alineacion temporal en el paso siguiente. En la Figura 5 se representa un ejemplo de la obtencion de los mapas de propagacion de error. La perdida de paquetes se produce en el primer fotograma (en la Figura 5, la zona oscura a la derecha de la imagen indica los macrobloques que se han deteriorado debido a la perdida de paquetes) y los pfxeles de los fotogramas siguientes que hacen referencia a la zona afectada del primer fotograma para el proceso de prediccion se calculan y se marcan como no disponibles para el proceso de sincronizacion. Esto ayudara a eliminar aquellos pfxeles que pueden ser diferentes entre las imagenes reconstruidas y la secuencia de video procesada debido a la aplicacion de diferentes tecnicas de ocultamiento de error entre el descodificador de video interno de la sonda y el descodificador del dispositivo de descodificacion, por ejemplo el STB.
Ademas, el descodificador separado dentro del dispositivo de sondeo descodifica el flujo de bits recibido, y las imagenes reconstruidas se almacenan en una memoria intermedia. El tamano de la memoria intermedia debe ser lo suficientemente grande como para tener en cuenta el retardo en que pueda incurrir el STB. Sea d (en segundos) el
5
10
15
20
25
30
35
40
45
50
55
60
65
retardo maximo esperado y sea f la tasa de fotogramas de la secuencia de video. En consecuencia, la memoria intermedia deberla ser capaz de almacenar Nrec = d • f fotogramas en total.
En el segundo paso se compara la secuencia de video procesada con cada una de las imagenes reconstruidas de la memoria intermedia. El proposito de esta comparacion es encontrar un fotograma concordante n* a partir del conjunto de imagenes reconstruidas de la memoria intermedia, basandose en la siguiente ecuacion:
M-lN-l
n Eq. (2)
” 1=0 j=0
en donde F'(x,y,t) es el valor de pixel en la posicion (x,y) del fotograma t-esimo de la imagen de video procesada en examen, y F(x,y,n) es el pixel de la misma posicion del fotograma n-esimo de la memoria intermedia de imagenes reconstruidas, n = 0, 1, ..., Nrec. Se aplica la multiplicacion de los valores de pixel de cada imagen con el mapa de la propagation de error, con el fin de excluir aquellos pixeles que han resultado afectados por la perdida de paquetes (ya sea directamente o bien debido a la propagacion de error) y asegurar que el proceso de concordancia se limita a aquellos pixeles que es probable que sean mas similares entre las dos imagenes. Hay que senalar tambien que, en lugar de la funcion especifica (que se denomina suma de diferencias absolutas, SDA) utilizada aqui para la minimization, se podria utilizar cualquier funcion similar, por ejemplo, el error cuadratico medio.
Despues de terminado el proceso de puesta en concordancia, se elimina de la memoria intermedia de las imagenes reconstruidas el fotograma concordante n* y, por ejemplo, se pueden usar ademas el fotograma puesto en concordancia, junto con su correspondiente parte del flujo de bits, como entrada para el modulo responsable de la evaluation de la calidad del video hibrido.
A continuation, se describira una segunda realization de la sincronizacion entre el flujo de bits de video y la secuencia de video descodificada.
En la segunda realizacion de la presente invention, la sincronizacion entre el flujo de bits y la secuencia de video procesada se lleva a cabo analizando el flujo de bits, extrayendo information acerca de la zona de cada fotograma que ha resultado afectada por la perdida de paquetes, y examinando despues si aparece el mismo patron de errores en la secuencia de video procesada. En la Figura 3 se representa el diagrama de bloques del procedimiento general.
En el primer paso, el analizador de flujo de bits interno del dispositivo de sondeo procesa y analiza el flujo de bits a fin de generar (para cada fotograma) el mapa del error I(.,.,.) y, de este modo, el conjunto A de pixeles que han resultado afectados por la perdida de paquetes, como se ha definido mas arriba en el contexto de la primera realizacion. Los mapas de error de Nrec fotogramas se almacenan en una memoria intermedia de modo que mas tarde se pueden poner en concordancia con los mapas de error correspondientes de la secuencia de video procesada, como se explica a continuacion.
En el paso siguiente, se estiman los macrobloques de la imagen en curso de la secuencia de video procesada que se han deteriorado debido a una perdida de paquetes y se generan el mapa de error Ipvs(...) y el conjunto Apvs, como se ha definido mas arriba en el contexto de la primera realizacion. A continuacion se estima el contorno de los pixeles del mapa de error IPVS(...). El metodo para estimar los macrobloques deteriorados de la imagen en curso y el contorno de los pixeles pertenecientes a estos macrobloques esta fuera del alcance de esta invencion, y por lo tanto se podria utilizar cualquier metodo conocido por un experto en la materia, por ejemplo el metodo propuesto en G. Valenzise et al., "Estimating channel-induced distortion in H.264/AVC video without bitstream information", QoMEX, 2010.
El borde del contorno de la secuencia de video procesada debe compararse con el borde del contorno de los mapas de error que se han almacenado previamente en la memoria intermedia. Si la concordancia de los contornos se ve limitada en la zona definida por el mapa de error que esta constituida por los pixeles que pertenecen al conjunto A, no se toman en consideration los bordes del contorno detectado de la secuencia de video procesada. Asimismo, dado que tipicamente se producen leves errores de interpretation de la zona detectada como erronea y la zona correspondiente que se detecta como erronea de la secuencia de video procesada, se incrementa en k pixeles el area de busqueda para asegurar que los bordes del contorno detectados por el descodificador no son menores que los detectados en la secuencia de video procesada. En esta realizacion, se elige que k sea igual a 5. Sin embargo, se podria elegir cualquier otro valor.
Asi se elabora el conjunto APVS de pixeles que pertenecen a la zona en donde se han detectado los bordes del contorno debido a la perdida de paquetes (incrementada como se ha senalado mas arriba), y se genera el mapa de error Ipvs. Sea Ipvs(x,y,t) el valor de mapa de error de la f-esima imagen de secuencia de video procesada en la posicion (x,y), x = 1, 2, ..., M, e y = 1, 2, ..., N, donde M, N son, respectivamente, las dimensiones horizontales y verticales de cada fotograma de la secuencia de video. Entonces:
5
15
20
30
35
40
45
50
55
60
65
70
75
imagen1
En el tercer paso, se compara el mapa de error de la imagen en curso de la secuencia de v^deo procesada con cada uno de los mapas de error (que se han generado analizando el flujo de bits en el primer paso) que se almacenan en la memoria intermedia. El proposito de esta comparacion es encontrar un fotograma concordante n*, a partir del conjunto de imagenes reconstruidas de la memoria intermedia, que concuerde con la imagen en curso de la secuencia de video procesada en base a la siguiente ecuacion:
n - argmin /(/(x, y, n)7IPVS (x,y,/))
n
Eq. (4)
donde Ipvs(x,y,t) es el valor en la posicion (x,y) del t-esimo fotograma del mapa de error de la PVS en examen e I(x,y,n) es el pixel en la misma posicion del mapa de error correspondiente al n-esimo fotograma, n = 1, 2, ..., Nrec.
Puede estar presente por ultimo, como se muestra en la Figura 3, un modulo tubrido de evaluacion de la calidad de video que combine informacion del flujo de bits y la secuencia de video procesada para evaluar la calidad de la secuencia de video.
La funcion f(.,.) es una funcion que se puede utilizar para determinar la similitud entre los dos mapas de error basandose en la concordancia de patrones de contorno. El algoritmo de concordancia de patrones basado en contorno esta fuera del alcance de la presente invencion, y se podna utilizar para este fin cualquier metodo relevante, por ejemplo el metodo de T. Adamek y N. O'Connor, "Efficient contour-based shape representation and matching", Multimedia Information Retrieval, 2003.
A continuacion, se describira la sincronizacion temporal entre el flujo de bits y la imagen descodificada de una secuencia de video encriptada segun una realizacion adicional de la invencion.
El problema de la sincronizacion de fotogramas se hace mas evidente cuando la secuencia de video esta encriptada y la unica informacion disponible para el flujo de bits se puede extraer de las cabeceras de paquete. Los parametros que se pueden extraer del flujo de bits basandose solo en la inspeccion de las cabeceras de paquete son el tamano y el tipo de cada fotograma.
Alineacion basada en concordancia basada en fotogramas
El primer ejemplo del metodo para sincronizacion entre el flujo de bits de video y la imagen descodificada de una secuencia de video encriptada aborda el caso en donde no existen perdidas de paquetes en el flujo de bits, y se muestra en la Figura 4.
En el primer paso, el flujo de bits de video se alimenta a un modulo que es responsable del analisis de la informacion de cabecera de paquete y del calculo del tamano y tipo de los fotogramas (intra, predictivos o bipredictivos). El metodo para extraer el tipo de fotogramas del video encriptado basandose en su tamano esta fuera de alcance de esta patente. Por ejemplo, se podna utilizar el metodo propuesto en la solicitud de patente europea n.° 10 17 1431.9 del presente solicitante, presentada el 30 de julio de 2010 (incorporada a la presente memoria por referencia).
En el segundo paso, la informacion sobre los tamanos y tipos de fotogramas se utiliza para extraer (por ejemplo, de manera variable en el tiempo) caractensticas que son representativas del contenido representado en los fotogramas de video. Es evidente que puesto que no esta disponible, debido a la encriptacion, la informacion de carga util, solamente se puede estimar una aproximacion de la clase de contenido. El metodo para estimar la clase de contenido basandose en tamanos de fotogramas y tipos de fotogramas esta fuera del alcance de la presente invencion. Se podna utilizar cualquier metodo disponible para este proposito, por ejemplo el de A. Clark, "Method and system for content estimation of packet video streams", documento WO 2009/012297 A1.
Analogamente, de las imagenes de la secuencia de video procesada se extraen el tipo de contenido y caractensticas respectivas (por ejemplo, variables con el tiempo) representativas del contenido. Puesto que la presente invencion se centra solo en los aspectos de sincronizacion entre el flujo de bits y la secuencia de video procesada, el metodo para la extraccion de caractensticas de la imagen (en el campo de los pfxeles) y la deteccion de tipo de contenido no esta dentro de su alcance.
En el tercer paso, las caractensticas extrafdas de la imagen en curso de la secuencia de video procesada se ponen en concordancia con las caractensticas extrafdas a partir de los fotogramas que fueron analizados por el modulo de
5
10
15
20
25
30
35
40
45
50
55
60
analisis de cabeceras de paquete. Notese que se pueden utilizar la caractenstica correspondiente y la alineacion temporal como entradas al modulo responsable de la evaluacion de la calidad de video. Tal como se muestra en la Figura 4, puede estar presente un modulo tubrido de evaluacion de la calidad de video que combine informacion procedente del flujo de bits y la secuencia de video procesada con el fin de evaluar la calidad de la secuencia de video.
Alineacion temporal basada en el desencadenamiento de evento de perdida de paquete
En este ejemplo se supone que el flujo de bits y la secuencia de video procesada estan sincronizados cuando no se producen errores (por ejemplo, debido a perdidas de paquete), basandose en el metodo descrito en la subseccion precedente, y se considera el caso en donde se requiere sincronizacion cuando se detecta una perdida de paquete.
En el primer paso, se alimenta el flujo de bits de video al modulo responsable del analisis de la informacion de cabecera de paquete, del calculo de los tipos de fotograma y de la deteccion de los fotogramas que han resultado afectados por la perdida de paquetes. Se detecta el tipo de todos los fotogramas y asf se determina si una perdida de paquetes se propaga o no, debido al proceso de prediccion, a sus fotogramas subsiguientes.
En el siguiente paso, se examina la imagen en curso de la secuencia de video procesada en busqueda de distorsiones que pudieran haber sido generadas por perdidas de paquetes. Hay que advertir que este algoritmo debe ser capaz de distinguir entre las distorsiones causadas por perdidas de paquetes y las distorsiones producidas como consecuencia de la compresion, con perdida, de la secuencia de video original. El algoritmo para la deteccion y clasificacion de las distorsiones esta fuera del alcance de la presente invencion. Por ejemplo, se podna utilizar para este proposito el metodo de G. Valenzise et al., " Estimating channel-induced distorsion in H.264/AVC video without bitstream information", QoMEX, 2010.
En el tercer paso, se realiza la puesta en concordancia de la secuencia de video procesada con el fotograma correspondiente del flujo de bits. Si se ha detectado que la imagen en curso de la secuencia de video procesada contiene distorsiones que se han originado como consecuencia de una perdida de paquetes, se pone en concordancia esa imagen con la parte del flujo de bits correspondiente al fotograma que ha resultado (en el paso inicial) contener la perdida de paquetes.
Por ultimo, se calcula la informacion de sincronizacion (es decir, el fotograma en curso de la PVS junto con su parte correspondiente del flujo de bits de video). Se puede enviar esta informacion, como entrada, al modulo responsable de la evaluacion de la calidad de video.
La tecnica anterior mencionada en la parte introductoria precedente considera que el problema de la alineacion temporal entre dos secuencias de video de debe al salto, repeticion, supresion, alteracion del orden y compresion de datos de los fotogramas que pueden producirse a causa de la transmision de la secuencia de video a traves de una red erronea o por el procesamiento de la secuencia. Por el contrario, la presente invencion solo tiene en cuenta la sincronizacion de la secuencia de video procesada con el flujo de bits en el lado del usuario final y, por lo tanto, la unica fuente de desalineacion es el retardo introducido por el dispositivo descodificador y el analizador de flujo de bits y las diferentes tecnicas de ocultamiento de error aplicadas por el descodificador (STB) y el descodificador dentro del dispositivo de sondeo.
La Figura 1 muestra un dispositivo de sondeo convencional para la alineacion temporal de la secuencia de video procesada con el flujo de bits y los datos de imagen descodificada;
la Figura 2 muestra un diagrama de bloques para la sincronizacion del flujo de bits con la imagen de salida, segun un primer ejemplo;
la Figura 3 muestra un diagrama de bloques de una segunda realizacion preferida de la presente invencion para la sincronizacion entre el flujo de bits de video y la secuencia de video procesada; la Figura 4 muestra la sincronizacion entre el flujo de bits y la imagen descodificada de una secuencia de video encriptada, segun un ejemplo adicional; y
la Figura 5 un ejemplo de mapas de propagacion de error para fotogramas subsiguientes.
Aunque se ha ilustrado y descrito con detalle la invencion en los dibujos y la descripcion precedente, dicha ilustracion y descripcion han de considerarse ilustrativas o ejemplares y no restrictivas. Se entendera que los expertos pueden realizar cambios y modificaciones dentro del alcance de las reivindicaciones que siguen.
Ademas, en las reivindicaciones la palabra "comprende" no excluye otros elementos o pasos, y el artfculo indefinido "un" o "una" no excluye una pluralidad. Una sola unidad puede cumplir las funciones de varias caractensticas mencionadas en las reivindicaciones. Los terminos "esencialmente", "alrededor de", "aproximadamente" y similares, referidos a un atributo o un valor en particular tambien definen exactamente el atributo o exactamente el valor, respectivamente. Ningun signo de referencia en las reivindicaciones debe interpretarse como limitante del alcance.

Claims (4)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    REIVINDICACIONES
    1. Metodo para sincronizar temporalmente el flujo de bits de entrada de un descodificador de v^deo con la secuencia de v^deo procesada descodificada por el descodificador de video, en donde el metodo comprende los pasos de:
    a) capturar el flujo de bits de entrada y suministrarlo a un analizador de flujo de bits;
    b) analizar, mediante el analizador de flujo de bits, el flujo de bits capturado, a fin de generar mapas de error I(x,y,t) y un conjunto A de pfxeles que han resultado afectados por la perdida de paquetes, en donde I(x,y,t) representa el valor del mapa de error en la posicion (x,y) del fotograma t-esimo, x = 0, 1, ..., M, e y = 0, 1, ..., N, donde M, N son, respectivamente, las dimensiones horizontales y verticales de cada fotograma de la secuencia de video;
    c) almacenar, en una memoria intermedia, los mapas de error de Nrec fotogramas, generados internamente por el analizador de flujo de bits; y
    d) comparar los mapas de error almacenados de los Nrec fotogramas reconstruidos con el mapa de error correspondiente de la secuencia de video procesada en curso, con el fin de encontrar un fotograma concordante n* de entre el conjunto de fotogramas reconstruidos de la memoria intermedia que concuerde con la imagen en curso de la secuencia de video procesada.
  2. 2. El metodo segun la reivindicacion 1, que comprende ademas el paso e) de suministrar el fotograma concordante n* y su correspondiente parte del flujo de bits a una unidad de evaluacion de la calidad de video.
  3. 3. El metodo segun la reivindicacion 1, en donde entre los pasos c) y d) se llevan a cabo los siguientes pasos:
    estimar los macrobloques deteriorados de la imagen en curso de la secuencia de video procesada; calcular el contorno de los pfxeles que pertenecen a una zona afectada por la perdida de paquetes; comparar el contorno de la secuencia de video procesada con el contorno de los mapas de error almacenados en la memoria intermedia.
  4. 4. Aparato para sincronizar temporalmente el flujo de bits de entrada de un descodificador de video con la secuencia de video procesada descodificada por el descodificador de video, en donde el aparato comprende:
    un analizador de flujo de bits que recibe el flujo de bits de entrada, en donde el analizador de flujo de bits esta configurado para analizar el flujo de bits de entrada en busca de informacion de cabecera de paquetes del flujo de bits encriptado, y calcular el tamano y tipo de los fotogramas contenidos en el flujo de bits, y un modulo de sincronizacion que esta configurado para sincronizar el flujo de bits analizado con la secuencia de video procesada,
    en donde el modulo de sincronizacion comprende:
    un modulo de extraccion que recibe desde el analizador de flujo de bits el flujo de bits analizado, y esta configurado para generar mapas de error I(x,y,t) y un conjunto A de pfxeles que han resultado afectados por la perdida de paquetes, en donde I(x,y,t) representa el valor del mapa de error en la posicion (x,y) del fotograma t-esimo, x = 0, 1, ..., M, e y = 0, 1, ..., N, donde M, N son, respectivamente, las dimensiones horizontales y verticales de cada fotograma de la secuencia de video, una memoria intermedia configurada para almacenar los mapas de error de Nrec fotogramas, generados internamente por el analizador de flujo de bits, y
    un modulo de busqueda de patrones de error que recibe los mapas de error de los fotogramas reconstruidos Nrec, desde la memoria intermedia, y el mapa de error correspondiente de la secuencia de video procesada, en donde el modulo de busqueda de patrones de error esta configurado para
    comparar los mapas de error almacenados de los Nrec fotogramas reconstruidos, con el mapa
    de error correspondiente de la secuencia de video procesada en curso, y para
    determinar un fotograma concordante n* a partir del conjunto de fotogramas reconstruidos de la
    memoria intermedia que concuerda con la imagen en curso de la secuencia de video
    procesada.
ES15151228.2T 2010-07-30 2010-07-30 Método y aparato para sincronizar temporalmente el flujo de bits de entrada de un descodificador de vídeo con la secuencia de vídeo procesada descodificada por el descodificador de vídeo Active ES2575869T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15151228.2A EP2866448B1 (en) 2010-07-30 2010-07-30 Method and apparatus for temporally synchronizing the input bit stream of a video decoder with the processed video sequence decoded by the video decoder
EP10171454.1A EP2413612B1 (en) 2010-07-30 2010-07-30 Methods and apparatuses for temporal synchronization between the video bit stream and the output video sequence

Publications (1)

Publication Number Publication Date
ES2575869T3 true ES2575869T3 (es) 2016-07-01

Family

ID=43064606

Family Applications (3)

Application Number Title Priority Date Filing Date
ES15151228.2T Active ES2575869T3 (es) 2010-07-30 2010-07-30 Método y aparato para sincronizar temporalmente el flujo de bits de entrada de un descodificador de vídeo con la secuencia de vídeo procesada descodificada por el descodificador de vídeo
ES10171454.1T Active ES2536202T3 (es) 2010-07-30 2010-07-30 Métodos y aparatos para la sincronización temporal entre un flujo de bits encriptado y la secuencia de vídeo procesada de un descodificador de vídeo exterior
ES15151227.4T Active ES2586946T3 (es) 2010-07-30 2010-07-30 Método y aparato para evaluar la calidad de una secuencia de vídeo mediante la sincronización temporal del flujo de bits encriptado de un codificador de vídeo con la secuencia de vídeo procesada obtenida por un descodificador de vídeo exterior

Family Applications After (2)

Application Number Title Priority Date Filing Date
ES10171454.1T Active ES2536202T3 (es) 2010-07-30 2010-07-30 Métodos y aparatos para la sincronización temporal entre un flujo de bits encriptado y la secuencia de vídeo procesada de un descodificador de vídeo exterior
ES15151227.4T Active ES2586946T3 (es) 2010-07-30 2010-07-30 Método y aparato para evaluar la calidad de una secuencia de vídeo mediante la sincronización temporal del flujo de bits encriptado de un codificador de vídeo con la secuencia de vídeo procesada obtenida por un descodificador de vídeo exterior

Country Status (10)

Country Link
US (1) US9131216B2 (es)
EP (3) EP2866447B1 (es)
JP (1) JP5955319B2 (es)
KR (3) KR101828628B1 (es)
CN (1) CN103026719B (es)
ES (3) ES2575869T3 (es)
HU (2) HUE028719T2 (es)
PL (3) PL2866448T3 (es)
PT (2) PT2866447T (es)
WO (1) WO2012013656A1 (es)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2319244A1 (en) * 2008-08-19 2011-05-11 Thomson Licensing Cabac/avc compliant watermarking of syntax elements in compressed video
US9042455B2 (en) * 2008-08-19 2015-05-26 Thomson Licensing Propagation map
WO2010021691A1 (en) * 2008-08-19 2010-02-25 Thomson Licensing Luminance evaluation
US8824727B2 (en) * 2008-08-20 2014-09-02 Thomson Licensing Selection of watermarks for the watermarking of compressed video
WO2011100048A1 (en) 2010-02-09 2011-08-18 Thomson Licensing Watermark detection using a propagation map
US9232216B2 (en) * 2010-12-10 2016-01-05 Deutsche Telekom Ag Method and apparatus for assessing the quality of a video signal during encoding and transmission of the video signal
US9203708B2 (en) * 2011-09-26 2015-12-01 Telefonaktiebolaget L M Ericsson (Publ) Estimating user-perceived quality of an encoded stream
US10015515B2 (en) * 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
WO2015088265A1 (en) * 2013-12-13 2015-06-18 Samsung Electronics Co., Ltd. Storage medium, reproducing apparatus and method for recording and playing image data
US9883197B2 (en) 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
CN103778593B (zh) * 2014-01-14 2018-01-19 南昌大学 基于图像关联分解的量子图像加密方法
US9590952B2 (en) * 2014-09-05 2017-03-07 Microsoft Technology Licensing, Llc Lossy data stream decoder
CN104378630A (zh) * 2014-12-12 2015-02-25 国家电网公司 一种会议电视音视频质量分析系统
JP2016127390A (ja) * 2014-12-26 2016-07-11 富士通株式会社 情報処理システム、情報処理システムの制御方法、管理装置の制御プログラム
TWI600319B (zh) * 2016-09-26 2017-09-21 A method for capturing video and audio simultaneously for one-to-many video streaming
CN108124183B (zh) * 2016-11-29 2020-06-19 达升企业股份有限公司 以同步获取影音以进行一对多影音串流的方法
CN110300003B (zh) * 2018-03-21 2021-01-12 华为技术有限公司 数据处理方法以及客户端
CN108880927B (zh) * 2018-04-20 2021-05-11 武汉中元华电电力设备有限公司 一种时间同步信号异常自动记录方法
CN110390645B (zh) 2018-04-23 2024-04-16 康耐视公司 用于立体瞬时图像序列的改善3d数据重构的系统和方法
WO2020055279A1 (en) * 2018-09-10 2020-03-19 Huawei Technologies Co., Ltd. Hybrid video and feature coding and decoding
CN110392253B (zh) * 2019-06-25 2021-07-16 北京奇艺世纪科技有限公司 视频的质量评估方法、装置、设备及存储介质
CN110475117B (zh) * 2019-09-26 2022-03-29 北京迈格威科技有限公司 图像压缩的方法、装置、电子设备和计算机存储介质
KR20210067699A (ko) * 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치 및 그 제어 방법
IL295561A (en) * 2020-02-27 2022-10-01 Ssimwave Inc Real-time latency measurement of video streams
EP3886441B1 (en) * 2020-03-24 2022-07-06 Axis AB Video camera and method for analyzing a video stream
CN112751983B (zh) * 2021-04-02 2021-06-18 湖北亿咖通科技有限公司 图像时间同步方法、装置、电子设备及存储介质
CN113271476B (zh) * 2021-05-12 2022-07-12 湖南泽天智航电子技术有限公司 一种提升视频数据流帧的同步方法、设备、装置及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2772537B1 (fr) * 1997-12-17 2000-02-11 Telediffusion Fse Procede de pilotage d'un equipement de metrologie en television numerique
US6246435B1 (en) * 1998-09-08 2001-06-12 Tektronix, Inc. In-service realtime picture quality analysis
JP3583658B2 (ja) * 1999-07-30 2004-11-04 Ｋｄｄｉ株式会社 圧縮伝送画像の品質評価装置およびそれに用いる送信装置および受信装置
FR2815805B1 (fr) * 2000-10-23 2005-09-02 Telediffusion De France Tdf Procede de synchronisation de signaux numeriques
US6751360B1 (en) 2000-11-14 2004-06-15 Tektronix, Inc. Fast video temporal alignment estimation
JP4081745B2 (ja) * 2002-03-07 2008-04-30 ソニー株式会社 復号装置および復号方法、学習装置および学習方法、並びにプログラムおよび記録媒体
US7366361B2 (en) 2003-03-05 2008-04-29 Sarnoff Corporation Video registration based on local prediction errors
US7912337B2 (en) 2005-11-02 2011-03-22 Apple Inc. Spatial and temporal alignment of video sequences
US7965203B2 (en) * 2006-05-09 2011-06-21 Nippon Telegraph And Telephone Corporation Video quality estimation apparatus, method, and program
CA2604053C (en) * 2006-05-09 2012-07-10 Nippon Telegraph And Telephone Corporation Video quality estimation appartus, method, and program
DE102006044929B4 (de) * 2006-09-22 2008-10-23 Opticom Dipl.-Ing. Michael Keyhl Gmbh Vorrichtung zum Bestimmen von Informationen zur zeitlichen Ausrichtung zweier Informationssignale
EP2137985A1 (en) 2007-04-16 2009-12-30 Tektronix, Inc. Systems and methods for robust video temporal registration
EP2206303B1 (en) * 2007-07-16 2013-03-06 Telchemy, Incorporated Method and system for viewer quality estimation of packet video streams
US8320747B2 (en) * 2007-08-22 2012-11-27 Nippon Telegraph And Telephone Corporation Video quality estimation apparatus, video quality estimation method, frame type determination method, and recording medium
EP2114079B2 (en) * 2008-05-02 2018-01-24 Psytechnics Ltd Method and apparatus for aligning signals
US8456531B2 (en) * 2010-01-14 2013-06-04 Cheetah Technologies, L.P. Video alignment and calibration for video quality measurement

Also Published As

Publication number Publication date
KR101960647B1 (ko) 2019-03-20
WO2012013656A1 (en) 2012-02-02
EP2413612A1 (en) 2012-02-01
PT2866447T (pt) 2016-07-13
CN103026719A (zh) 2013-04-03
CN103026719B (zh) 2015-09-02
KR20130111225A (ko) 2013-10-10
EP2866447A3 (en) 2015-05-27
ES2586946T3 (es) 2016-10-19
HUE028719T2 (en) 2016-12-28
US9131216B2 (en) 2015-09-08
EP2866447B1 (en) 2016-05-25
PL2413612T3 (pl) 2015-07-31
JP2013535908A (ja) 2013-09-12
US20130208814A1 (en) 2013-08-15
KR20170130633A (ko) 2017-11-28
JP5955319B2 (ja) 2016-07-20
HUE027625T2 (en) 2016-11-28
PT2413612E (pt) 2015-04-15
EP2866448A1 (en) 2015-04-29
EP2413612B1 (en) 2015-02-25
ES2536202T3 (es) 2015-05-21
KR20180082638A (ko) 2018-07-18
EP2866448B1 (en) 2016-03-30
KR101828628B1 (ko) 2018-03-22
EP2866447A2 (en) 2015-04-29
PL2866447T3 (pl) 2016-11-30
PL2866448T3 (pl) 2016-10-31

Similar Documents

Publication Publication Date Title
ES2575869T3 (es) Método y aparato para sincronizar temporalmente el flujo de bits de entrada de un descodificador de vídeo con la secuencia de vídeo procesada descodificada por el descodificador de vídeo
Winkler et al. The evolution of video quality measurement: From PSNR to hybrid metrics
US9232217B2 (en) Method and apparatus for objective video quality assessment based on continuous estimates of packet loss visibility
JP5670551B2 (ja) ビデオストリームの品質を評価する方法と装置
Yang et al. Content-adaptive packet-layer model for quality assessment of networked video services
ES2592811T3 (es) Método y sistema para determinar un valor de calidad de un flujo continuo de vídeo
JP2010226258A (ja) 情報取得システム、送信装置、データ捕捉装置、送信方法及びデータ捕捉方法
ES2526080T3 (es) Modelo de calidad de vídeo dependiente del contenido para servicios de transmisión de vídeo
US9077972B2 (en) Method and apparatus for assessing the quality of a video signal during encoding or compressing of the video signal
Moorthy et al. Subjective analysis of video quality on mobile devices
Feitor et al. Objective quality prediction model for lost frames in 3D video over TS
Yamada et al. Accurate video-quality estimation without video decoding
WO2010103112A1 (en) Method and apparatus for video quality measurement without reference
Zhao et al. Hybrid framework for no-reference video quality indication over LTE networks
Venkatesh Babu et al. Evaluation and monitoring of video quality for UMA enabled video streaming systems
Seeling et al. Offset distortion traces for trace-based evaluation of video quality after network transport
JP2011019127A (ja) 画質評価装置、画質評価方法及びそのプログラム
Farias Visual‐quality estimation using objective metrics
JP2014007584A (ja) 映像符号化遅延測定装置及び映像復号遅延測定装置及び方法
Ibekwe et al. The objective image quality criteria and QoE in the security technology
Seeling et al. Offset distortion traces for trace-based evaluation of video quality after network transport (extended version)
JP2011019128A (ja) 画質評価装置、画質評価方法及びそのプログラム
Yamada et al. No-reference quality estimation for video-streaming services based on error-concealment effectiveness