ES2767475A1 - Metodo y sistema para la estimacion de calidad percibida en senal audiovisual - Google Patents
Metodo y sistema para la estimacion de calidad percibida en senal audiovisual Download PDFInfo
- Publication number
- ES2767475A1 ES2767475A1 ES202030100A ES202030100A ES2767475A1 ES 2767475 A1 ES2767475 A1 ES 2767475A1 ES 202030100 A ES202030100 A ES 202030100A ES 202030100 A ES202030100 A ES 202030100A ES 2767475 A1 ES2767475 A1 ES 2767475A1
- Authority
- ES
- Spain
- Prior art keywords
- quality
- audiovisual
- signal
- characteristic parameters
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013519 translation Methods 0.000 title abstract 2
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000010801 machine learning Methods 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims abstract description 11
- 230000005236 sound signal Effects 0.000 claims abstract description 7
- 238000013442 quality metrics Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 5
- 238000013136 deep learning model Methods 0.000 claims description 4
- 238000007637 random forest analysis Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 6
- 238000001303 quality assessment method Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000009792 diffusion process Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/20—Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
- H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Environmental & Geological Engineering (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Método y sistema para la estimación de calidad percibida en señal audiovisual. La invención permite la monitorización de la calidad de los contenidos que se transportan, y además facilita información relevante que permite la optimización de los servicios audiovisuales desplegados en redes de comunicaciones. El método para la estimación de calidad percibida en señal audiovisual comprende los siguientes pasos:- capturar unos parámetros característicos del servicio de transporte de datos con independencia de la red, tanto para la señal de video como la señal de audio contenidas en la señal audiovisual; calcular un conjunto de métricas sin referencia, a partir de los parámetros característicos del servicio de transporte, que proporcionan un conjunto ordenado de parámetros con los niveles de distorsión de calidad de los contenidos audiovisuales; y, obtener un valor de calidad percibida aplicando algoritmia matemática, procesado de señal y técnicas de aprendizaje máquina sobre los parámetros característicos del servicio y el conjunto de métricas sin referencia.
Description
DESCRIPCIÓN
Sector de la técnica
La invención se encuadra en el sector de Tecnologías Audiovisuales para la estimación de la calidad percibida mediante la aplicación de un modelo objetivo de calidad subjetiva de contenidos (señales) audiovisuales en servicios de media para distintas plataformas digitales de contenidos con distribución mediante diferentes redes de comunicaciones. La invención se puede implementar como un producto software, virtualizable e instanciable en cualquier red de comunicaciones, que ofrece los resultados de la valoración de calidad final del contenido analizado, a través de una interfaz de usuario, en una escala numérica acotada.
La invención permite la monitorización de la calidad de los contenidos que se transportan, y además facilita información relevante que permite la optimización de los servicios audiovisuales desplegados en redes de comunicaciones.
Estado de la técnica
El consumo de contenidos audiovisuales a través de diferentes redes y plataformas digitales resulta en la actividad que genera mayor tráfico de datos en red y diversos modelos de negocio en los que proporcionar la mejor calidad de la experiencia (QoE, del inglés Quality of Experience) resulta clave. Los servicios multimedia en red, como los de Televisión IP (IPTV, Internet Protocol TeleVision), los contenidos asociados a redes sociales, los servicios de streaming y bajo demanda, los servicios de realidad virtual, los videojuegos, son responsables de cada vez mayor tráfico de red y con expectativas de continuar con un crecimiento exponencial.
En este contexto, la evaluación de QoE ocupa un papel clave para los servicios y aplicaciones multimedia en red. Especialmente, a través del desarrollo de métricas objetivas de QoE que se correlacionen con medidas subjetivas percibidas. Para ello, se apoyan en diferentes esquemas para tratar de modelar cómo los usuarios perciben y experimentan las pérdidas de calidad en los contenidos, como las degradaciones. Este análisis suele estar centrado en los dos elementos principales de los servicios y aplicaciones multimedia: el vídeo y el audio.
Una estimación precisa de QoE permite a los proveedores de los servicios y aplicaciones multimedia mejorar la provisión de los servicios, y optimizar su uso de la red. De hecho, la evaluación de QoE de los contenidos audiovisuales se está convirtiendo en un tema de extrema importancia.
La mayoría de los modelos existentes de QoE se basan en la evaluación de calidad (QA, del inglés Quality Assessment) de audio (AQA, Audio Quality Assessment), video (VQA, Video Quality Assessment) o de ambos, analizando los diferentes procesos que pueden producir un deterioro de la calidad de la señal como: la adquisición, el preprocesamiento, la codificación, la transmisión, la presentación y el almacenamiento. Dentro de estos se pueden distinguir los métodos subjetivos, en los que usuarios califican la calidad que perciben en los contenidos ofrecidos bajo unas condiciones y a través de unos esquemas estandarizados; y los objetivos, que aplican algoritmias matemáticas a la información que pueden extraer de los servicios y aplicaciones de media en red para aproximar la medida de la calidad percibida.
Normalmente se utilizan diferentes modelos de calidad objetiva para audio y video. Los modelos más comunes estiman el grado de calidad, o el de degradación de calidad, debido a la codificación atendiendo a parámetros como la velocidad binaria, la resolución, el número de cuadros por segundo, la tasa de muestreo, el número de canales, etc. El resultado habitual entregado por estos modelos de calidad es típicamente una lista de puntuaciones en una escala MOS (del inglés Mean Opinion Score), donde cada puntuación representa la calidad para un segmento temporal de contenidos. Algunos de estos modelos se encuentran normalizados en la recomendación de la Unión Internacional de Telecomunicaciones (UIT) P.1201. Dependiendo de la tipología de los parámetros empleados, se definen diferentes categorías para los sistemas objetivos, de menor a mayor complejidad: paramétricos, de flujo de bits e híbridos.
Los modelos objetivos se comparan con medidas subjetivas de los mismos contenidos sobre los que se aplican las medidas objetivas. Éstas se realizan siguiendo procedimientos normalizados, recogidos en normativas y recomendaciones internacionales, como UIT-R BT.500 (Methodology for the subjective assessment of the quality of televisión pictures), UIT-T P.910 (Subjective video quality assessment
methods for multimedia applications) y UIT-T P.913 (Methods for the subjective assessment of video quality, audio quality and audiovisual quality of Internet video and distribution quality television in any environment).
En cuanto a las patentes relacionadas con la calidad de la experiencia de las señales audiovisuales, cabe destacar la solicitud de patente CN108900862-A con título: “A network video stream QoE-QoS parameter mapping method based on statistics analysis”, y la solicitud de patente con número de publicación US2019124375-A1 con título: “Quality Estimation Of Adaptive Multimedia Streaming”.
Breve descripción de la invención
La invención pertenece al campo técnico del análisis de calidad de contenidos audiovisuales en servicios de media para diferentes plataformas digitales de contenidos con distribución mediante diferentes redes de comunicaciones. La invención se puede implementar como un producto software, virtualizable e instanciable en cualquier red de comunicaciones, que ofrece los resultados de la valoración de calidad del contenido analizado, a través de una interfaz de usuario, en una escala numérica acotada.
En el entorno de la presente invención, los servicios de contenidos audiovisuales pueden proceder de diferentes plataformas de distribución, difusión y/o transporte de contenidos. Además, la presente invención tiene la capacidad de trabajar con tasas binarias constantes, variables y adaptativas para todo tipo de señal audiovisual.
Otra característica distintiva de la presente invención es que tiene la capacidad de ofrecer las medidas en tiempo real, y en bloques configurables de tiempo. También, la capacidad de trabajar con cualquier tipo de señal audiovisual, independientemente de su naturaleza, procedencia y/o configuración. Además, los medios de análisis y procesado de la señal no necesitan de referencias de la señal original.
La invención se puede llevar a cabo mediante varios módulos interconectados entre sí, los cuales se describen a continuación:
) Módulo de captura: desarrollado en un lenguaje de programación de alto nivel, que incluye el desencapsulador para flujo de transporte (TS, del inglés Transport Stream) y otros contenedores audiovisuales como AVI o Matroska, streaming en cualquiera de sus modalidades (por ejemplo, UDP (User Datagram Protocol), RTP (Real Time Protocol), RTSP (Real Time Streaming Protocol), HTTP (Hypertext Transfer Protocol), unicast y multicast, streaming adaptativo basado en MPEG DASH (Dynamic Adaptive Streaming over HTTP), HLS (HTTP Live Streaming), etc.) para contenidos multiresolución; y decodificación de cualquier tipo de señal audiovisual (que haga uso, por ejemplo, de codificación MPEG-2, MPEG-4 Parte 10 (AVC ó H.264), MPEG-H Parte 2 (HEVC ó H.265), etc. para vídeo, y MP3, AC3, AC3+, AC4, etc. para audio. Permite la extracción de parámetros que caracterizan el servicio de contenidos audiovisuales, como la resolución de la señal de vídeo, el estándar de codificación para audio y vídeo (por separado) empleado, la tasa binaria empleada para vídeo y audio, el tipo de escaneo y el número de cuadros por segundo en el caso del vídeo, el número de canales de audio, la frecuencia de muestreo empleada para el audio, etc.
) Módulo de cálculo de métricas de calidad sin referencia: desarrollado en un lenguaje de programación de alto nivel para el cálculo de los niveles perceptibles de distorsiones asociadas a la degradación de la señal audiovisual debida a las etapas de adquisición, el preprocesamiento, la codificación, la transmisión, la presentación y el almacenamiento de señal, y aquellos introducidos por la red de distribución, difusión y/o transporte de contenidos audiovisuales, tales como: complejidad espacial, complejidad temporal, ausencia de señal de audio, nivel de emborronado en la señal de vídeo, inteligibilidad de la voz, nivel de presencia de bloques en la imagen, presencia de cuadros congelados, pérdida de canales de audio, presencia excesiva de cuadros negros en el vídeo, nivel de distorsión de zonas de alta frecuencia en la imagen, desajustes de ecualización en los canales de audio, existencia de niveles colorimétricos desajustados en el vídeo, etc.. Estas medidas se realizan sobre la información audiovisual obtenida, y se ofrecen como un conjunto de medidas significativas junto con sus estadísticos relevantes que se ofrecen como entrada para el siguiente módulo en forma de un vector de características. El rango de valores potenciales de las métricas es conocido, y
permite fijar umbrales para otorgar distintos tratamientos y prioridades a la hora de ser trasladados al usuario final a través de la interfaz gráfica (por ejemplo, mediante alarmas), o mediante archivos recopilatorios de información y generados por la invención, bien creados en tiempo real, bien a través de la gestión de los datos estructurados en el sistema de almacenamiento del sistema.
3) Módulo de predicción de calidad: basado en algoritmia matemática, procesado de señal y técnicas de aprendizaje máquina, que permite, sobre un modelo de programación basado en la implementación de tuberías software (pipelines), el establecimiento de las comunicaciones entre los diferentes submódulos empleados para atender a las parametrizaciones de usuario sobre el sistema. El módulo de predicción se construye en base a algoritmia matemática, procesado de señal y técnicas de aprendizaje máquina, estas últimas apoyadas en procesos de entrenamiento que emplean un conjunto amplio de contenidos audiovisuales, etiquetados, que permiten caracterizar la presencia de diferentes artefactos, y la respuesta que originan a nivel de calidad percibida o experimentada en el momento de su consumo. Los submódulos que integra el módulo de predicción de calidad son: regresores de Lasso y Ridge, regresores con máquinas de soporte (SVR), Random Forest y varios modelos de aprendizaje profundo (Deep Learning).
Las características obtenidas tanto del módulo de captura (vector con las propiedades paramétricas de la señal) como del módulo de métricas de calidad sin referencia (vector con los valores de las medidas por segmento temporal analizado y sus estadísticos de hasta segundo orden) se emplean como parámetros de entrada para el sistema de predicción de calidad, que, tras el paso por las diferentes etapas de procesado internas al módulo de predicción de calidad, terminan ofreciendo, en la capa de salida, el resultado de calidad. Las arquitecturas de predicción empleadas están orientadas a la computación eficiente para dotar al sistema de capacidad de trabajo en tiempo real, y optimizadas en términos de precisión y ausencia de errores.
Cuando la presente invención se implementa como un sistema embebido en un software compacto, instanciable como una máquina virtual o contenedor, permite la realización del cálculo de la predicción de calidad de un contenido audiovisual sin
restricciones software o hardware impuestas por el entorno de trabajo donde se despliegue. Además, el despliegue de la presente invención se puede realizar en cualquier punto de la cadena de distribución, difusión y/o transporte, extremo a extremo.
Un aspecto de la presente invención es un método para la estimación de calidad percibida en señal audiovisual. La señal audiovisual se transmite por al menos una red de comunicaciones con contenidos audiovisuales seleccionada entre red de distribución, red de difusión y red de transporte. El método comprende los siguientes pasos:
- capturar unos parámetros característicos del servicio de transporte de datos con independencia de la red, tanto para la señal de vídeo como la señal de audio contenidas en la señal audiovisual;
- calcular un conjunto de métricas sin referencia, a partir de los parámetros característicos del servicio de transporte, que proporcionan un conjunto ordenado de parámetros con los niveles de distorsión de calidad de los contenidos audiovisuales; y,
- obtener un valor de calidad percibida aplicando algoritmia matemática, procesado de señal y técnicas de aprendizaje máquina sobre los parámetros característicos del servicio y el conjunto de métricas sin referencia.
En una forma de realización del método para la estimación de calidad percibida en señal audiovisual, los parámetros característicos del servicio están seleccionados entre la resolución de la imagen, el número de canales y la frecuencia de muestreo del audio, las tasas binarias empleadas en la codificación de audio y de vídeo, y combinaciones de los anteriores.
En otra forma de realización del método para la estimación de calidad percibida en señal audiovisual, calcular un conjunto de métricas sin referencia adicionalmente comprende calcular una distribución de energía en función de la frecuencia y detectar unas estructuras tanto en la señal de audio como en la señal de video con capacidad de producir incomodidad perceptual procedentes de la codificación.
En otra forma de realización del método para la estimación de calidad percibida en señal audiovisual, la algoritmia matemática, el procesado de señal y las técnicas de
aprendizaje máquina son regresores de Lasso y Ridge, regresores con máquinas de soporte (SVR), Random Forest, y unvarios modelos de Deep Learning.
Breve descripción de las figuras
La Figura 1 representa los bloques funcionales del sistema. El dibujo está compuesto por los siguientes elementos:
1) Módulo de captura [1].
2) Módulo de cálculo de métricas de calidad sin referencia [2].
3) Módulo de predicción de calidad [3].
4) Intercambio de información entre módulos.
5) Sistema estructurado de almacenamiento de información [4].
6) Intercambio de información con el sistema estructurado de almacenamiento de información.
7) Interfaz de usuario [5].
8) Intercambio de información con la interfaz.
La Figura 2 muestra un diagrama de flujo para los tres módulos principales:
1) Módulo de captura. Responsable de la adquisición de la señal audiovisual, sus parámetros más significativos y los parámetros del servicio [1].
2) Módulo de métricas de calidad sin referencia. Proporciona medidas de calidad del contenido audiovisual capturado [2].
3) Módulo de predicción de calidad. Proporciona el resultado de calidad obtenido [3].
La Figura 3 muestra un diagrama de flujo de intercambio de datos a nivel operativo en las etapas siguientes. Los intercambios de datos se realizan a través de fichero de datos con codificación predefinida.
1) Módulo de captura [1]. Formado por dos módulos que adquirido el flujo audiovisual, separan la metadata de servicio [11] y el contenido de media [12]. A partir de ellos se extraen la información del servicio [13] y la información del contenido audiovisual [14]. La primera se destina al módulo de predicción de la calidad [3], la segunda al módulo de métricas de calidad sin referencia [2].
2) Módulo de métricas de calidad sin referencia [2]. Proporciona sus resultados al módulo de predicción de la calidad [3].
3) Módulo de predicción de la calidad [3]. El resultado de calidad se traslada mediante un fichero de datos con codificación predefinida a la interfaz gráfica de usuario [5] y al sistema de almacenamiento estructurado de información de la invención [4].
La Figura 4 muestra un diagrama de flujo de acuerdo con la presente invención a nivel de presentación resultados. Se presentan:
1) Información gráfica y textual de la fuente (contenido audiovisual) bajo análisis [51].
2) Acceso al sistema de almacenamiento estructurado del sistema [52].
3) Información gráfica de la calidad del contenido audiovisual en tiempo real procedente del módulo de predicción de la calidad [53].
4) Información gráfica del histórico de calidad del contenido audiovisual en una horquilla de tiempos [54].
5) Información gráfica y textual de los artefactos más significativos sufridos por el contenido audiovisual en el periodo de análisis categorizados como alarmas y avisos [55].
Descripción detallada de un modo de realización
Se refiere específicamente a un método basado en el análisis híbrido de propiedades paramétricas, las que se pueden extraer de la parametrización que se emplea en el flujo audiovisual, e intrínsecas de media, que incluye la captura de señal multimedia [1], la extracción de parámetros objetivos de la señal audiovisual y el cálculo de métricas objetivas [2], para proporcionar a través de algoritmia matemática (que hace uso de proceso de señal y aprendizaje máquina), con los elementos anteriormente descritos como entrada, una medida de calidad audiovisual [3] de un flujo audiovisual en red para diferentes plataformas de distribución, difusión y/o transporte de contenidos audiovisuales que pueden funcionar con sistemas de ancho de banda constante o variable y tasas binarias constantes, variables y adaptativas.
El método proporciona un valor del equivalente de calidad percibida expresado en una escala numérica acotada tras un proceso secuencial de aplicación de un modelo que
incluye tres etapas destinadas a: 1) capturar la información del flujo de audio y vídeo [1], 2) calcular un conjunto de métricas de calidad sin referencia sobre el contenido audiovisual [2], y 3) proporcionar la medida de calidad ofrecida empleando estos datos en un modelo basado en algoritmia matemática (que hace uso de proceso de señal y aprendizaje máquina) que proporciona una predicción de la calidad percibida según varios modos de funcionamiento (predefinidos a priori y caracterizados por los parámetros considerados para hacer la predicción) [3].
El flujo de datos objeto de análisis, procedente de una red de distribución, difusión y/o transporte de contenidos audiovisuales, se captura mediante un módulo que permite la recopilación de parámetros de caracterización del media [14] y de la calidad del servicio de transporte de información [13]. Los parámetros capturados son, entre otros, la resolución de la imagen, el número de cuadros por segundo, el número de canales y la frecuencia de muestreo del audio, y las tasas binarias empleadas en la codificación de audio y de vídeo. Además de los parámetros anteriores, el módulo captura la señal audiovisual para su posterior procesamiento. Este procesado se realiza en el segundo [2] y tercer módulo [3], destinados a la obtención de los parámetros de la señal audiovisual, como los niveles de luminancia de vídeo y su distribución, los valores de tinte y saturación, los valores de las frecuencias componentes y los formantes de audio, y los niveles de entropía (tanto de audio como de vídeo) y al cálculo de las métricas de calidad sin referencia [21] sobre la misma, centradas en el cálculo de la distribución de energía en función de la frecuencia y la detección de estructuras tanto en el audio como en la imagen con capacidad de producir incomodidad perceptual procedentes de la codificación. El número de parámetros considerados varía en función del modo de funcionamiento seleccionado previamente, que permite seleccionar la precisión (complejidad) de la algoritmia y, consecuentemente, la velocidad de ejecución. Dichos modos de funcionamiento permiten la operación del sistema en tiempo real independientemente de los recursos hardware y software disponibles en el entorno de despliegue del sistema. La parametrización obtenida del servicio [13], junto con los parámetros de la señal audiovisual [14] y las medidas de las métricas de calidad sin referencia [21], se inserta en un fichero de datos con codificación predefinida para su intercambio entre los módulos del sistema. Toda esta información se vuelca contra el módulo de predicción de calidad [3] que, tomando los parámetros de entrada compilados en el fichero de datos con codificación predefinida de comunicación, devuelve un valor de calidad en
una escala numérica acotada tras los cálculos realizados en el módulo de predicción, según el modo de funcionamiento seleccionado. Para ello, hace pasar los datos introducidos por un conjunto de modelos matemáticos como regresores de Lasso y Ridge, regresores con máquinas de soporte (SVR), Random Forest, y varios modelos de Deep Learning. Para cualquiera de los modos de funcionamiento, el resultado es dependiente de los parámetros obtenidos mediante algoritmia matemática, procesado de señal y técnicas de aprendizaje máquina aplicadas. El sistema devuelve un valor numérico en una escala acotada, resultante de los procesos ejecutados por los diferentes módulos de la invención. Dicho valor numérico constituye una valoración de la calidad del contenido audiovisual bajo análisis por unidad de tiempo prefijada. Adicionalmente, la invención ofrece información textual y gráfica sincronizada temporalmente con la señal audiovisual capturada, que permite la posterior generación de informes de calidad y la generación de alarmas, previamente configurables, en el sistema [55].
La invención incluye un sistema de almacenamiento estructurado, que proporciona escalabilidad, rendimiento y gran disponibilidad, para todo el conjunto de segmentos audiovisuales analizados y el volumen de datos que se obtiene a lo largo del tiempo [4] .
La invención incluye una interfaz gráfica de visualización e interacción con el usuario [5] que permite la visualización de la evolución en tiempo real de las medidas de calidad proporcionadas por el sistema [54], la visualización de la evolución temporal de las mismas en un intervalo de tiempo fijado por el usuario [53], y el acceso a un conjunto de informaciones adicionales, parametrizables por el usuario, con correspondencia temporal exacta con diversos efectos potencialmente presentes en el flujo de contenidos audiovisuales analizado.
La medida de QoE supone un reto no completamente resuelto en el entorno de la de distribución, difusión y/o transporte de contenidos audiovisuales, donde la disponibilidad de los contenidos originales (para usar como referencia) es muy escasa o nula, y la influencia de los procesados sobre los contenidos, requeridos por la necesaria adaptación a las capacidades de la red de distribución, difusión y/o transporte, muy significativa. Las valoraciones subjetivas son inviables por costosas y lentas, y los modelos objetivos actuales carecen de la flexibilidad y escalabilidad
l l
necesaria para atender las crecientes necesidades ligadas a la provisión de servicios y aplicaciones de media de cara a asegurar la mejor prestación de los mismos a los usuarios finales.
Como respuesta al reto anterior, la invención plantea un servicio software virtualizable que puede instanciarse dinámicamente en distintos puntos, extremo a extremo, de la red de distribución, difusión y/o transporte de contenidos multimedia. La invención permite proporcionar una medida de calidad, similar a la que un usuario podría proporcionar, haciendo uso exclusivamente de información de la red y del contenido en sí mismo, sin necesidad de apoyarse en versiones de ese contenido anteriores a etapas de procesado que le precedan en la cadena de distribución, difusión y/o transporte del mismo. La medida de la calidad ofrecida por el sistema, proporcionada como un valor numérico dentro de una escala acotada, procede de un algoritmo desarrollado con la ayuda de algoritmia matemática, procesado de señal y técnicas de aprendizaje máquina, y posee capacidad de auto-adaptarse mediante la información que es capaz de recopilar durante su funcionamiento, apoyándose en técnicas de aprendizaje con refuerzo.
La presente invención supera los problemas antes señalados a través de las características enumeradas en las reivindicaciones.
En particular, la invención permite, mediante un software compacto, instanciable como una máquina virtual o contenedor, la realización del cálculo de la predicción de calidad de un contenido audiovisual con distintas propiedades (resolución en el caso del vídeo, estándar de codificación tanto para audio como para vídeo, bits/muestra de audio, tasa binaria tanto de audio como de vídeo, etc.), ofrecido como un resultado numérico en una escala acotada fácilmente inteligible, a través de una interfaz visual, que puede igualmente ser almacenado y posteriormente recuperado de forma estructurada.
Comparada con otras propuestas del estado de la técnica, esta propuesta tiene: 1) capacidad de funcionar de forma virtualizada, permitiéndose su instanciación de forma dinámica en distintos puntos y con distintas duraciones temporales a través de distintas soluciones técnicas de virtualización; 2) capacidad para trabajar sobre distintos contenidos en paralelo, o sobre el mismo contenido en distintos puntos de la red de distribución, difusión y/o transporte de contenidos audiovisuales; 3) capacidad
de capturar y procesar los datos resultantes de su ejecución para la mejora de sus propios modelos de medida, aplicando técnicas de aprendizaje máquina por refuerzo; 4) capacidad de ofrecer los resultados en escalas ajustables e, incluso, definidas por el usuario, atendiendo a diferentes sensibilidades a capacidades de discriminación frente a posibles defectos presentes en el contenido; 5) capacidad de establecer distintas estructuras de almacenamiento para los datos, trabajar con ellos de forma individual y agregada, y recuperarlos según diferentes criterios fijados por el usuario.
No es objeto de la presente invención ninguna reivindicación sobre el sistema de almacenamiento estructurado de la información, ni las tecnologías de presentación y visualización de datos ligadas a la interfaz gráfica.
Aplicación industrial
Las posibilidades de aplicación son múltiples, ya que la invención ofrece numerosas ventajas. El sistema permite la evaluación de calidad de contenidos audiovisuales ofreciendo un resultado susceptible de ser usado para:
• Proporcionar un valor en una escala de calidad que permita la calificación y discriminación de servicios de contenidos audiovisuales independientemente de su naturaleza y plataforma de distribución, difusión o transporte.
• Proporcionar sugerencias visuales y confiables para los proveedores de servicios audiovisuales en red que les permitan garantizar la calidad de la experiencia de los usuarios.
• Proporcionar alarmas e indicadores ante situaciones de calidad crítica en servicios de distribución, difusión y/o transporte de contenidos audiovisuales que permitan la toma de decisiones sobre la reconfiguración de los mismos.
Todo lo anterior abre la posibilidad de uso del sistema en:
• Verificación de calidad de señales audiovisuales de contribución y distribución.
• Análisis de rendimiento de modelos de codificación y multiplexación estadística, aplicada a múltiplex terrestres o segmentos espectrales satelitales.
• Análisis de calidad de servicios y programas de media en red y verificación de cumplimiento de las políticas de calidad de los proveedores de servicios audiovisuales.
• Determinación del impacto de las configuraciones técnicas y de servicio sobre la calidad audiovisual percibida.
• Cuantificación del impacto sobre los contenidos audiovisuales de distintas plataformas de distribución, difusión y/o transporte para proveedores y agregadores de contenidos.
De modo general, la invención permite la realización de cualquier aplicación de monitorización y análisis de calidad de contenidos audiovisuales y servicios de contenidos audiovisuales.
Claims (9)
1. Método para la estimación de calidad percibida en señal audiovisual, la cual se transmite por al menos una red de comunicaciones con contenidos audiovisuales seleccionada entre red de distribución, red de difusión y red de transporte; el método comprende los siguientes pasos:
- capturar unos parámetros característicos del servicio de transporte de datos con independencia de la red, tanto para la señal de vídeo como la señal de audio contenidas en la señal audiovisual (1);
- calcular un conjunto de métricas sin referencia, a partir de los parámetros característicos del servicio de transporte, que proporcionan un conjunto ordenado de parámetros con los niveles de distorsión de calidad de los contenidos audiovisuales (2); y,
- obtener un valor de calidad percibida aplicando algoritmia matemática, procesado de señal y técnicas de aprendizaje máquina sobre los parámetros característicos del servicio y el conjunto de métricas sin referencia (3).
2. Método para la estimación de calidad percibida en señal audiovisual, según la reivindicación 1, caracterizado porque los parámetros característicos del servicio (13) están seleccionados entre la resolución de la imagen, el número de canales y la frecuencia de muestreo del audio, las tasas binarias empleadas en la codificación de audio y de vídeo, y combinaciones de los anteriores.
3. Método para la estimación de calidad percibida en señal audiovisual, según la reivindicación 1, caracterizado porque calcular un conjunto de métricas sin referencia (21) adicionalmente comprende calcular una distribución de energía en función de la frecuencia y detectar unas estructuras tanto en la señal de audio como en la señal de video con capacidad de producir incomodidad perceptual procedentes de la codificación.
4. Método para la estimación de calidad percibida en señal audiovisual, según la reivindicación 1, caracterizado porque la algoritmia matemática, el procesado de señal y las técnicas de aprendizaje máquina son regresores de Lasso y Ridge, regresores con máquinas de soporte "SVR”, Random Forest, y unos modelos de Deep Learning (3).
5. Sistema para la estimación de calidad percibida en señal audiovisual, la cual se transmite por al menos una red de comunicaciones con contenidos audiovisuales seleccionada entre red de distribución, red de difusión y red de transporte; estando el sistema desplegado en una máquina virtual, dicho sistema está caracterizado porque comprende:
• un módulo de captura configurado para capturar unos parámetros característicos del servicio de transporte de datos con independencia de la red, tanto para la señal de vídeo como la señal de audio contenidas en la señal audiovisual (1);
• un módulo de cálculo de métricas de calidad sin referencia configurado para, a partir de los parámetros característicos del servicio de transporte, proporcionar un conjunto ordenado de parámetros con los niveles de distorsión de calidad de los contenidos audiovisuales (2); y,
• un módulo de predicción de calidad configurado para obtener un valor de calidad percibida aplicando algoritmia matemática, procesado de señal y técnicas de aprendizaje máquina sobre los parámetros característicos del servicio y el conjunto de métricas sin referencia (3).
6. - Método para la estimación de calidad percibida en señal audiovisual implementado por ordenador que comprende las etapas:
- capturar unos parámetros característicos del servicio de transporte de datos con independencia de la red, tanto para la señal de vídeo como la señal de audio contenidas en la señal audiovisual (1);
- calcular un conjunto de métricas sin referencia, a partir de los parámetros característicos del servicio de transporte, que proporcionan un conjunto ordenado de parámetros con los niveles de distorsión de calidad de los contenidos audiovisuales (2); y,
- obtener un valor de calidad percibida aplicando algoritmia matemática, procesado de señal y técnicas de aprendizaje máquina sobre los parámetros característicos del servicio y el conjunto de métricas sin referencia (3).
7.- Método para la estimación de calidad percibida en señal audiovisual implementado por ordenador, según la reivindicación 6, que adicionalmente comprende cualquiera de las etapas definidas en las reivindicaciones 2 a 4.
8. Programa de ordenador que comprende instrucciones que, al ejecutar el programa en un ordenador, hacen que el ordenador lleve a cabo las etapas del método de cualquiera de las reivindicaciones 1 a 4.
9. Medio legible por ordenador que comprende instrucciones que, al ejecutarse en un ordenador, hacen que el ordenador lleve a cabo las etapas del método de cualquiera de las reivindicaciones 1 a 4.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES202030100A ES2767475A1 (es) | 2020-02-07 | 2020-02-07 | Metodo y sistema para la estimacion de calidad percibida en senal audiovisual |
| PCT/ES2020/070809 WO2021156525A1 (es) | 2020-02-07 | 2020-12-21 | Método y sistema para la estimación de calidad percibida en señal audiovisual |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES202030100A ES2767475A1 (es) | 2020-02-07 | 2020-02-07 | Metodo y sistema para la estimacion de calidad percibida en senal audiovisual |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2767475A1 true ES2767475A1 (es) | 2020-06-17 |
Family
ID=71080015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES202030100A Pending ES2767475A1 (es) | 2020-02-07 | 2020-02-07 | Metodo y sistema para la estimacion de calidad percibida en senal audiovisual |
Country Status (2)
| Country | Link |
|---|---|
| ES (1) | ES2767475A1 (es) |
| WO (1) | WO2021156525A1 (es) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2968713A1 (es) * | 2023-12-04 | 2024-05-13 | Univ Madrid Politecnica | Sistema y metodo para la estimacion de calidad percibida y su impacto en el consumidor de contenidos audiovisuales multimedia |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014209493A1 (en) * | 2013-06-28 | 2014-12-31 | Wi-Lan Labs, Inc. | State management for video streaming quality of experience degradation control and recovery using a video quality metric |
| US20150304737A1 (en) * | 2014-04-17 | 2015-10-22 | Samsung Electronics Co. Ltd. | QoE PROVISIONING METHOD AND APPARATUS FOR MOBILE VIDEO APPLICATION |
| WO2017152274A1 (en) * | 2016-03-06 | 2017-09-14 | Zhou Wang | Method and system for automatic user quality-of-experience measurement of streaming video |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2808829A1 (en) * | 2013-05-28 | 2014-12-03 | Vrije Universiteit Brussel | Method and apparatus for predicting the perceptual quality of a signal |
| US10708636B2 (en) | 2016-06-29 | 2020-07-07 | Telefonaktiebolaget Lm Ericsson (Publ) | Quality estimation of adaptive multimedia streaming |
| CN108900862A (zh) | 2018-02-14 | 2018-11-27 | 南京邮电大学 | 基于统计分析的网络视频流QoE-QoS参数映射方法 |
-
2020
- 2020-02-07 ES ES202030100A patent/ES2767475A1/es active Pending
- 2020-12-21 WO PCT/ES2020/070809 patent/WO2021156525A1/es active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014209493A1 (en) * | 2013-06-28 | 2014-12-31 | Wi-Lan Labs, Inc. | State management for video streaming quality of experience degradation control and recovery using a video quality metric |
| US20150304737A1 (en) * | 2014-04-17 | 2015-10-22 | Samsung Electronics Co. Ltd. | QoE PROVISIONING METHOD AND APPARATUS FOR MOBILE VIDEO APPLICATION |
| WO2017152274A1 (en) * | 2016-03-06 | 2017-09-14 | Zhou Wang | Method and system for automatic user quality-of-experience measurement of streaming video |
Non-Patent Citations (3)
| Title |
|---|
| LÓPEZ J.P., JIMÉNEZ D., MARTÍN D., MENÉNDEZ J.M. Prediction and Modeling for No-Reference Video Quality Assessment based on Machine Learning. 2018 14th International Conference on Signal-Image Technology & Internet-Based Systems (SITIS), 2018, (DOI: DOI 10.1109/SITIS.2018.00019) Todo el documento * |
| LOPEZ, J.P., JIMENEZ, D., RODRIGO, J.A., ET AL. Virtualized Module for Distributed Quality Assessment Applied to Video Streaming in 5G Networks Environments. Easy Chair, 29/06/2018, [en línea][recuperado el 08/06/2020]. Recuperado de Internet (URL:https://easychair.org/publications/preprint/lqcn), (DOI: https://doi.org/10.29007/pntm) Todo el documento * |
| MOHAMMED A. AABED, GUKYEONG KWON, GHASSAN ALREGIB. POWER OF TEMPOSPATIALLY UNIFIED SPECTRAL DENSITY FOR PERCEPTUAL VIDEO QUALITY ASSESSMENT. Proceedings of the IEEE International Conference on Multimedia and Expo (ICME) 2017, 10/07/2017, [en línea][recuperado el 09/06/2020]. Recuperado de Internet (URL:https://ieeexplore.ieee.org/abstract/document/8019333), 1945-788X, Todo el documento * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2968713A1 (es) * | 2023-12-04 | 2024-05-13 | Univ Madrid Politecnica | Sistema y metodo para la estimacion de calidad percibida y su impacto en el consumidor de contenidos audiovisuales multimedia |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021156525A1 (es) | 2021-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nightingale et al. | 5G-QoE: QoE modelling for ultra-HD video streaming in 5G networks | |
| ES2653462T3 (es) | Concepto para la determinación de la calidad de un flujo de datos multimedia con una tasa de calidad a bits variable | |
| US8531531B2 (en) | Audio-visual quality estimation | |
| KR100922898B1 (ko) | ＩＰ 미디어의 ＱｏＥ 보장형 영상품질 측정장치 및측정방법 | |
| JP5302342B2 (ja) | ビデオ符号ストリームの品質を評価する方法、装置およびシステム | |
| Leszczuk et al. | Recent developments in visual quality monitoring by key performance indicators | |
| US8027264B2 (en) | Method and apparatus for measuring subjective assessment of digital video impairment | |
| US20070280129A1 (en) | System and method for calculating packet loss metric for no-reference video quality assessment | |
| Joskowicz et al. | Towards a general parametric model for perceptual video quality estimation | |
| US9077972B2 (en) | Method and apparatus for assessing the quality of a video signal during encoding or compressing of the video signal | |
| JP5513532B2 (ja) | 符号化ビット・ストリームの処理方法及び装置 | |
| WO2017084256A1 (zh) | 一种视频质量评价方法及装置 | |
| Nasrabadi et al. | Investigating the PSNR calculation methods for video sequences with source and channel distortions | |
| WO2021156525A1 (es) | Método y sistema para la estimación de calidad percibida en señal audiovisual | |
| Barkowsky et al. | Hybrid video quality prediction: reviewing video quality measurement for widening application scope | |
| Suárez et al. | Assessing the qoe in video services over lossy networks | |
| Wang et al. | No-reference hybrid video quality assessment based on partial least squares regression | |
| Atzori et al. | Quality perception when streaming video on tablet devices | |
| Anegekuh et al. | Encoding and video content based HEVC video quality prediction | |
| Kim et al. | Subjective and objective quality assessment of videos in error-prone network environments | |
| Reiter et al. | Comparing apples and oranges: assessment of the relative video quality in the presence of different types of distortions | |
| Babić et al. | Real-time audio and video artifacts detection tool | |
| Mu et al. | Discrete quality assessment in IPTV content distribution networks | |
| Martínez-Rach et al. | On the performance of video quality assessment metrics under different compression and packet loss scenarios | |
| Shi et al. | A user-perceived video quality assessment metric using inter-frame redundancy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| BA2A | Patent application published |
Ref document number: 2767475 Country of ref document: ES Kind code of ref document: A1 Effective date: 20200617 |
|
| FC2A | Grant refused |
Effective date: 20211110 |