WO2011141586A1

WO2011141586A1 - Método para calcular la percepción de experiencia de usuario de la calidad de los servicios monitorizados integrados en operadores de telecomunicaciones

Info

Publication number: WO2011141586A1
Application number: PCT/ES2010/070324
Authority: WO
Inventors: Antonio CUADRA SÁNCHEZ; María del Mar CUTANDA RODRÍGUEZ; Antonio Liotta; Vlado Menkovski
Original assignee: Telefonica, S.A.
Priority date: 2010-05-14
Filing date: 2010-05-14
Publication date: 2011-11-17
Also published as: BR112012029162A2; EP2571195A4; US20130148525A1; AR081041A1; EP2571195A1

Abstract

La presente invención se refiere a un método para calcular la percepción de experiencia de usuario de la calidad de los servicios monitorizados integrados en operadores de telecomunicaciones. Para ello, emplea datos provenientes de la monitorización de los servicios empleados por los usuarios junto con cuestionarios rellenados previamente por una muestra representativa de usuarios para su posterior mezclado mediante algoritmos de correlación y tras ser pasados por algoritmos de aprendizaje automáticos, obtener de ellos un valor de la calidad de la experiencia que suponga una estimación de la calidad del servicio percibida por el usuario que hace uso de dicho servicio. Finalmente se identifican automáticamente los parámetros de red que más afectan a la QoE en función de su relevancia sobre la predicción de la calidad con el fin de proponer los valores necesarios para alcanzar una calidad de experiencia definida por el usuario.

Description

METODO PARA CALCULAR LA PERCEPCION DE EXPERIENCIA DE

USUARIO DE LA CALIDAD DE LOS SERVICIOS MONITORIZAPOS INTEGRADOS EN OPERADORES DE TELECOMUNICACIONES OBJETO DE LA INVENCIÓN

La presente invención, tal y como se expresa en el enunciado de esta memoria descriptiva se refiere a un método para calcular la percepción de experiencia de usuario de la calidad de los servicios monitorizados integrados en operadores de telecomunicaciones. El principal campo de aplicación es la innovación en servicios de monitorización en operadores de telecomunicaciones. Para ello, la presente invención comprende un método que propone emplear datos provenientes de la monitorización de los servicios empleados por los usuarios junto con cuestionarios rellenados previamente por una muestra representativa de usuarios para su posterior mezclado mediante algoritmos de correlación y tras ser pasados por algoritmos de aprendizaje automáticos obtener de ellos un valor de la calidad de la experiencia que suponga una estimación de la calidad del servicio percibida por el usuario que hace uso de dicho servicio.

ANTECEDENTES DE LA INVENCIÓN

Las primeras actividades en Servicio telefónico ordinario antiguo (POTS, Plain Oíd Telephone Service) , se llevaron a cabo durante la segunda mitad del siglo XX, los cuales se basaban principalmente en la estimación de un indicador de calidad al cliente llamado Puntuación de opinión media (MOS, Mean Opinión Score) .

La puntuación de opinión media (MOS) es una cifra numérica que estima la calidad percibida de un servicio de conversación, expresada dentro de un rango entero de 1 a 5, donde 1 es la menor calidad percibida, y 5 es la mayor calidad percibida. En particular, las pruebas de MOS para voz están especificadas en la Recomendación UIT- T P.800 "Métodos para la determinación subjetiva de la calidad de transmisión".

En 2007 la Recomendación UIT-T P.805 "Evaluación subjetiva de la calidad de la conversación" fue propuesta incluyendo una serie de mecanismos de evaluación de la calidad aplicados a los servicios de conversación. Estos mecanismos de evaluaciones sugieren cómo medir la calidad percibida de un servicio de conversación empleando usuarios reales.

Además, en la actualidad se han establecido algunos algoritmos para medir el MOS, tales como Evaluación de la percepción de la calidad de voz (PESQ) o Medida de la percepción de la calidad de voz (PSQM) . Estos procedimientos consisten en efectuar una serie de pruebas dentro de un contexto especifico (por ejemplo, las llamadas de voz) en términos de envió de un estimulo (conversación) y su comparación con la señal recibida en el extremo opuesto. Algunos de estos algoritmos pueden ser incluso independientes del estimulo, pero de igual modo analizan el flujo de voz. En cualquier caso, estos procedimientos se basan en hacer pruebas artificiales en la que no se trata con usuarios reales, porque la función se lleva a cabo dentro de una máquina mediante sondas activas .

La Recomendación P.862 "Evaluación de la percepción de la calidad de voz (PESQ) : Un método objetivo para la evaluación de la calidad de la conversación extremo a extremo de redes telefónicas de banda estrecha y codees de voz", describe un método objetivo para la predicción de la calidad subjetiva de telefonía móvil a 3,1 kHz (banda estrecha) y de codees de banda estrecha. PESQ puede considerarse un conjunto de normas que comprenden una metodología de ensayo para la evaluación automatizada de la calidad de voz percibida por un usuario de un sistema de telefonía. La Recomendación UIT- T P.862.3 "Guía para la medición objetiva de la calidad basada en las recomendaciones PESQ" incluye un ejemplo de escenario de trabajo de PESQ.

De esta manera, la señal original (de referencia) se compara con la señal recibida (degradada) y se calcula una puntuación PESQ como una predicción de la calidad subjetiva de cada impulso de prueba, que se realiza mediante sondas activas.

En cuanto a los servicios de vídeo, Servicom ha especificado un procedimiento para medir la percepción de la calidad del vídeo, que se llama Evaluación avanzada de la percepción de la calidad de vídeo (PEVQ) que se basa en los principios fundacionales de PESQ.

Por otra parte, otros procedimientos existentes no comparan la señal original con la señal de salida, por lo que se denominan "no intrusivos": la medición se lleva a cabo de la parte del oyente exclusivamente. No se introduce una señal de referencia en la red. En particular la Recomendación de la UIT-T P.563 define un "Método único de evaluación objetiva de voz de alta calidad en aplicaciones de banda estrecha de telefonía". Sin embargo, el método se basa en el conocimiento sobre el lenguaje humano, por lo que no se hace necesario emplear usuarios reales como entrada. Los resultados no son muy precisos por que deben ser usados junto con PESQ.

En resumen, el estado de la técnica actual dentro de las mediciones Calidad de la experiencia de usuario (QoE) incluye principalmente el cálculo del MOS a partir de modelos intrusivos (PESQ para VoIP, PEVQ para vídeo) que tienen en cuenta las opiniones de los usuarios sólo cuando viene definido por el modelo y es el único involucrado. Esto puede ser válido para servicios estables como VoIP en PESQ, pero no lo es para servicios de contenido fuertemente dependiente como IPTV o MobileTV.

Las encuestas de opinión no son parte de los modelos actuales, por lo que no hay un cotejo temporal con indicadores de red o de negocios.

Los modelos que calculan el MOS con la percepción del usuario se basan en pruebas intrusivas, mediante la correspondiente plataforma de medida QoE basada en sondas activas. Algunas alternativas pueden utilizar de forma no intrusiva fuentes de datos, pero no pueden considerarse como plataformas de medición QoE sino plataformas de medición de la calidad del servicio (QoS) .

Aparte de los modelos de medida QoE, el estado de la técnica dentro del análisis de encuestas de opinión está comenzando a considerar algoritmos (estadísticos, de inteligencia artificial, etc) para extrapolar las respuestas de los usuarios a fin de obtener la misma exactitud con menos cantidad de pruebas. En particular, los documentos de "Aprendizaje en línea optimizado para la predicción QoE" y "Predicción de la calidad de la experiencia en Streaming Multimedia" demuestran que utilizar algoritmos de aprendizaje automáticos en las encuestas de opinión de servicios multimedia permiten emplear menos encuestas de usuario para alcanzar la misma precisión que si se usaran una mayor cantidad de datos. Estos resultados podrían aplicarse a los modelos de medición de QoE que toman en cuenta los comentarios de los usuarios dentro de su modelo. Los sistemas tradicionales de monitorización de la calidad reconstruyen los servicios de usuario con el fin de tener una visión general de cada servicio utilizado por cualquier usuario. Las características de cada sesión se recogen en un registro específico detallado (XDR o IPDR para redes IP) , que contiene los datos esenciales para los propósitos de calidad. Las fuentes de datos de estos procedimientos son las unidades de datos de protocolos, por lo general obtenidas de las sondas pasivas instaladas en la red de monitorización. De este modo, de los protocolos intercambiados dentro de la red de monitorización para una sesión específica se reconstruye un servicio de usuario (XDR, Registro detallado de genéricos) conteniendo datos de red, de servicio y de usuario, en términos de la calidad de la experiencia .

Por último, trabajos anteriores sobre los modelos de predicción, como "Aprendizaje en línea optimizado para la predicción QoE" y "Predicción de la calidad de la experiencia en streaming multimedia" proponen un nuevo enfoque para la construcción precisa y adaptable de modelos de predicción QoE utilizando algoritmos de clasificación de aprendizaje automáticos, basados en datos de pruebas subjetivas. Modelos de predicción como los aquí descritos serán empleados en la presente invención. Estos modelos pueden ser utilizados para la predicción en tiempo real de la QoE. Proporcionando una gran exactitud, de más del 90%, los algoritmos de clasificación se han convertido en un componente indispensable en el mundo multimedia móvil QoE. Este enfoque minimiza la necesidad de datos subjetivos, manteniendo la alta la exactitud de los clasificadores online . Los problemas que presenta el actual estado de la técnica son variados. Las soluciones habituales de monitorización de la QoE se basan en la realización de pruebas intrusivas, por lo que no se tiene en cuenta el tráfico de usuario "real" sino únicamente los test de ordenador (PESQ, PEVQ) .

Algunos modelos como P.563 calculan las cifras de calidad de una manera pasiva sólo para servicios de conversación, sin tener en cuenta la validación de los usuarios en el modelo, asi que no pueden ser considerados como soluciones de monitorización real de la QoE. Esto significa que los procedimientos no pueden utilizarse para manejar una gran cantidad de datos si se utiliza con el tráfico de los usuarios reales.

Además, los modelos actuales no incluyen las encuestas de opinión, por lo que las variaciones en las características de los servicios monitori zados no pueden ser tenidas en cuenta. Estas soluciones no enlazan los datos de tráfico de los usuarios reales con las encuestas de los usuarios reales. Estas dos fuentes de información son las que contribuyen principalmente a la monitorización de la percepción del cliente, y es esencial contar con un procedimiento que córrele ambas fuentes de información.

Por otra parte, los procedimientos estandarizados no consideran la manera de extrapolar los resultados a fin de tener una perspectiva global de la percepción de la experiencia del cliente para un servicio. Además, XDRs incluyen la información de cualquier usuario al utilizar cualquier servicio, pero sólo desde la perspectiva de red y servicio ya que las fuentes de datos sólo son los sistemas de telecomunicaciones, y no involucra de ningún modo al usuario. DESCRIPCIÓN DE LA INVENCIÓN

La presente invención describe un método para el cálculo de la percepción del cliente de la experiencia de usuario dentro de un operador de telecomunicaciones, tales como voz, video, datos multimedia, etcétera, que se basa en diferentes perfiles de datos (monitori zación pasiva de datos de usuarios reales y encuestas para optimizar la precisión) y que incluye la correlación de ambos perfiles de datos para dar una única perspectiva final de la percepción de los clientes. Este método se apoya en un sistema de monitorización de la red.

Los cuestionarios de los niveles de calidad percibida por el cliente serán usados para ajusfar la QoE, mediante el establecimiento de una serie de limites y umbrales que se aplican en los indicadores de monitorización a fin de establecer algunos puntos de referencia en términos de percepción.

Los datos de entrada de la red de entrada constan de un conjunto de indicadores de cada servicio utilizado, se recogen mediante las sondas pasivas desplegadas en toda la red de monitorización (por ejemplo, XDR) . Estos datos proporcionan una visión real del servicio de cualquier usuario, ya que todos ellos son permanentemente monitorizados . Estos indicadores incluyen una gran variedad de parámetros del dominio de codificación multimedia, de transporte, asi como el terminal en que los medios de comunicación se presentan y, finalmente, el tipo de contenido que el usuario está experimentando.

Este enfoque QoE analiza la correlación de todos estos parámetros para maximizar la experiencia de los usuarios y reducir al mínimo los recursos del proveedor. El procedimiento genera un valor QoE que puede ser nombrado como una puntuación estimada de experiencia, para cualquier usuario cuando hace uso de un servicio, lo que muestra la satisfacción percibida al usar el servicio por el usuario final. Este valor QoE también se incluirá en la XDR, a fin de formar parte de la información de monitorización . Por último, a fin de obtener una mayor precisión se propone construir modelos de predicción utilizando algoritmos de aprendizaje automáticos tradicionales, técnicas basadas en datos de pruebas subj etivas .

Asi pues, a la vista de los problemas que presenta el estado de la técnica actual, la presente invención presenta las siguientes ventajas sobre las soluciones conocidas :

^■ Esta invención puede predecir cómo cada cliente recibe los servicios que utiliza, sin preguntar sobre su experiencia. La información de entrada se extrae exclusivamente de los sistemas de redes monitorizados ya desplegados.

^■ La metodología objeto de la invención permite una predicción precisa de los valores del MOS QoE partiendo de pequeños estudios iniciales subjetivos en entornos en tiempo real. Esto se realiza a través de un enfoque innovador de la utilización de algoritmos de aprendizaje automáticos para la construcción de modelos de predicción en los datos a partir de estudios subjetivos.

^■ Debido a la flexibilidad del método, sólo es necesario involucrar a un conjunto muy limitado de usuarios para ajusfar el modelo, que se basa en técnicas de aprendizaje automático. La capacidad de operación en tiempo real de este método, permite visualizar el servicio cuando el cliente lo utiliza. Además cuantificar la exactitud de la predicción de la calidad percibida por los clientes para cada servicio y qué parámetros del servicio afectan más a la experiencia de usuario.

" De este modo la solución puede proporcionar una visión realista de un servicio utilizado por cualquier usuario en función de un indicador único (MOS) , su precisión y los atributos de la calidad de servicio que han contribuido a la percepción que los clientes tienen de dicho servicio.

^■ El uso de este método puede ser aplicado a un operador de red o proveedor de servicios para tener una herramienta confiable para saber cuál es la opinión de los clientes de cualquier servicio. Por lo tanto, este método permite hacer un planteamiento realista de la monitorización QoE, que puede ser usado para diferentes propósitos, tales como la planificación de servicios, campañas de marketing y una gestión más precisa de las relaciones de las empresas con los clientes.

Asi pues, la presente invención consta por un lado de un método para calcular la percepción de experiencia de usuario de la calidad de los servicios monitorizados integrados en operadores de telecomunicaciones, pudiendo monitori zarse cualquier tipo de servicio. Este procedimiento comprende al menos como datos de entrada, unos datos de red obtenidos mediante unas plataformas de monitorización previamente desplegadas en unos operadores de red de los servicios empleados por unos usuarios y unos cuestionarios de experiencia relativos a un servicio empleado que han sido rellenados previamente por un conjunto de usuarios, caracterizado porque comprende las siguientes fases: i) mezclar, para cada cuestión del cuestionario de experiencia, los datos de red junto con las respuestas a dicha cuestión mediante algoritmos de correlación convencionales;

ii) generar un conjunto de datos de entrenamiento para cada cuestión del cuestionario donde se almacena el resultado de la mezcla de la fase i) ;

iii) introducir los conjuntos de datos de entrenamiento en algoritmos de aprendizaje automático generándose un modelo de predicción para cada conjunto de datos de entrenamiento;

iv) combinar los modelos de predicción generados en la fase anterior mediante un sistema de voto ponderado generando un único modelo de predicción final; y, v) generar un valor de calidad de experiencia MOS para cada dato de red mediante una plataforma de predicción de la calidad de experiencia en la que se integra el modelo de predicción generado en la fase iv) .

Adicionalmente los algoritmos de correlación de la fase de mezclar los datos de red, fase i) , identifican los datos de red y los datos de los cuestionarios que son mezclados mediante una clave de identificación única de los campos de identificador de usuario que comprende un número de teléfono del usuario que ha rellenado el cuestionario y una dirección IP asignada a dicho usuario de identificador del contenido servido donde se especifica el tipo de contenido y de marca de tiempo del servicio, que comprende el instante en el que se ha utilizado el servicio.

Los datos de entrenamiento que se almacenan en la fase ii) contienen los parámetros más significativos que contribuyen a la calidad de experiencia estando dichos parámetros seleccionados, cuando se trata de servicios ofrecidos sobre redes IP, entre, tipo de contenido, resultado del servicio, agente de usuario, pérdidas de secuencia, pérdidas de asentimiento, tasa de paquetes perdidos, porcentaje de pérdida de paquetes, ráfaga de pérdida de paquetes, valores máximos, mínimos y medios del rendimiento, retardo y varianza del retardo y una combinación de los mismos.

Los mencionados datos de red que se monitorizan para ser empleados como entrada de la invención comprenden información de unos servicios sobre redes IP ofrecidos por operadores de telecomunicaciones seleccionados entre Televisión sobre IP (IPTV, TVoDSL, HDTVoIP, IPTV basada en IMS, TV sobre FTTH, TV sobre GPON, TV sobre WiMax, TV móvil, TV 3G, TV 4G, videostreaming, TV Internet, IPTV- DTH) y sus subservicios (video bajo demanda, pago por visión, TV multidifusión, TV de difusión general, multidifusión de banda ancha híbrida (HbbTV) , P2PTV) , Telefonía sobre IP (VozIP, VoIP, telefónica sobre Internet, voz sobre banda ancha (VoBB) , VoIP basada en IMS, ToIP, videotelefonía sobre IP, multiconferencia sobre IP) y sus subservicios (voz, datos, mensajería instantánea, presencia, registro) , servicios de Internet (navegación web, correo electrónico, hospedaje de archivos, videostreaming, transacciones XML) y servicios particulares de los operadores de telecomunicaciones (Mensajería, MMS, SMS, señalización, SS7, itinerancia (roaming) , contabilidad, facturación y autentificación) . El registro de entrenamiento generado en la fase iii) comprende los parámetros más significativos para contribuir al cálculo de la experiencia de usuario estando dichos parámetros seleccionados, cuando se trata de servicios ofrecidos sobre redes IP, entre, tipo de contenido, resultado del servicio, agente de usuario, pérdidas de secuencia, pérdidas de asentimiento, tasa de paquetes perdidos, porcentaje de pérdida de paquetes, ráfaga de pérdida de paquetes, valores máximos, mínimos y medios del rendimiento, retardo y varianza del retardo y una combinación de los mismos. El algoritmo de aprendizaje automático de esta fase selecciona automáticamente los parámetros en función de su relevancia sobre la predicción de la calidad. Los parámetros más significativos pueden ser cualquiera de los disponibles por el sistema de monitorización de red, aunque los más habituales son el rendimiento, la tasa de paquetes perdidos y el retardo.

Los votos de las ponderaciones de la fase v) están modelados mediante modelos de regresión de aprendizaje automáticos y la plataforma de predicción de la calidad de experiencia comprende parámetros seleccionados entre:

• predicción de confianza;

· parámetros de red que contribuyen al cálculo de la experiencia de usuario seleccionados entre tipo de contenido, resultado del servicio, agente de usuario, pérdidas de secuencia, pérdidas de asentimiento, tasa de paquetes perdidos, porcentaje de pérdida de paquetes, ráfaga de pérdida de paquetes, valores máximos, mínimos y medios del rendimiento, retardo y varianza del retardo y una combinación de los mismos; y,

• una combinación de los mismos.

El algoritmo de aprendizaje automático de la fase iii) del método identifica automáticamente los parámetros de red que más afectan a la QoE en función de su relevancia sobre la predicción de la calidad. Esto se lleva a cabo con objeto de proponer los valores necesarios para alcanzar una calidad de experiencia definida por el usuario. Este procedimiento comprende las siguientes etapas :

-Identificar los parámetros de red que más han contribuido a la calidad de experiencia representando el modelo de predicción de la QoE mediante un árbol de decisión en el espacio geométrico de los parámetros de red que contribuyen a la calidad de la experiencia;

-Introducir en el algoritmo de aprendizaje automático de la fase iii) iterativamente diferentes valores de los parámetros de red hasta conseguir la calidad de experiencia, valor QoE MOS, deseada; y, -Devolver al usuario los valores de los parámetros de red que dan como resultado el valor QoE MOS requerido por el usuario para que dicho usuario modifique dichos parámetros.

A su vez una vez se ha representado el modelo de predicción de la QoE mediante un árbol de decisión en el espacio geométrico de los parámetros de red que contribuyen a la calidad de la experiencia, se dan las siguientes etapas:

marcar las regiones objetivo sobre las que calcular la QoE, estando definidas dichas regiones objetivo por el conjunto de las hojas del modelo de predicción del árbol de decisión;

probar cada rama en el camino desde el nodo raiz del árbol la hoja para definir los limites de la región objetivo;

- representar los valores de la sesión como un punto en el espacio definido en la etapa anterior; calcular la modificación necesario como la distancia geométrica a la región objetivo lo que implica desplazar el punto en el espacio definido anteriormente .

De esta forma el algoritmo de QoE señala un número determinado de parámetros y los valores que debería tomar (incrementar o decrementar) para mejorar la experiencia de usuario. Este procedimiento automático dependerá del modelo de entrenamiento, de los valores que tomen los parámetros particulares para cada sesión, y de la calidad de la experiencia esperada. De hecho el algoritmo es capaz de identificar los parámetros que más sensiblemente han contribuido a la percepción proponiendo un umbral para cada sesión a partir del cual la calidad de la experiencia sería deseable.

En la presente invención, en una primera fase de modelado, se establece el modelo de predicción QoE que se aplicará a la plataforma de predicción. Una vez que el modelo se ha establecido, la segunda fase (estacionaria) hace uso de ella de una manera estacionaria, tomando como entrada los datos de la red, y generando un valor MOS para cada red de datos.

Los datos de red se obtienen de la red de monitorización, siendo tales como PSTN, PLMN, ATM, Frame Relay, SDH, PDH, TDM, SS7, GSM, GPRS, UMTS, HSDPA, HSUPA, LTE, SAE, WiMAX, Wi-Fi, IP, MPLS , NGN, IMS, IPTV, MobileTV, etc.

En una primera etapa los datos de monitorización se fusionan con los cuestionarios correspondientes para crear un conjunto de entrenamiento que sirva de entrada a los modelos de predicción QoE.

Una vez que los datos se combinan dentro de la subetapa de correlación, se crea un nuevo registro para cada dato subjetivo y cada dato de red conteniendo dicho registro los parámetros más significativos que pueden contribuir a la QoE . Para cada parámetro de los datos subjetivos (es decir, para cada pregunta del cuestionario) el método crea un conjunto de entrenamiento mediante donde se almacena el resultado de la mezcla de los datos de red con los cuestionarios. Cada uno de los conjuntos de entrenamiento se emplea como entrada para los algoritmos de aprendizaje automático para obtener los modelos de predicción. Estos modelos de predicción predicen los valores de la respuesta subjetiva de los cuestionarios en función de los datos de entrada.

Se pueden aplicar diferentes tipos de modelos de predicción dependiendo del escenario, tales como árboles de decisión, máquinas de soporte vectorial, redes Bayesianas, redes neuronales artificiales, etc.

Una vez que un modelo de predicción se ha establecido para cada pregunta del cuestionario, se define un modelo de predicción final, que combina todas las predicciones en un único valor QoE MOS . Dichas predicciones se combinan usando un esquema de voto ponderado, donde los votos para los pesos están modelados de acuerdo a modelos de regresión de aprendizaje automático. Se pueden construir diferentes modelos de regresión para el modelo de predicción final basándose en los datos del conjunto de entrenamiento déla ultima de las preguntas de los cuestionarios como regresión lineal, regresión SMO, etc.

Ya establecido el modelo final de predicción QoE, se implementa en la plataforma de predicción QoE, que también puede formar parte de cualquier sistema de monitorización existente. De esta manera, se calcula en tiempo real un valor de MOS para cada nuevo dato de la red de datos. En esta fase estacionaria no es necesaria emplear datos de entrada procedentes de los usuarios.

Además del valor MOS, la plataforma de predicción puede incluir otros parámetros como la predicción de confianza o los parámetros de red que pueden contribuir en mayor medida a la obtención de la QoE .

BREVE DESCRIPCIÓN DE LAS FIGURAS

Figura 1.- Muestra un diagrama de flujo del método para calcular la percepción de experiencia de usuario de la calidad de los servicios monitorizados integrados en operadores de telecomunicaciones, en un caso particular.

DESCRIPCIÓN DE UN EJEMPLO DE REALIZACIÓN DE LA INVENCIÓN

Seguidamente se realizan, con carácter ilustrativo y no limitativo, una descripción de un ejemplo de realización de la invención, haciendo referencia a la numeración adoptada en la figura.

Se trata del método de cálculo de la percepción de la experiencia de usuario en servicios de videostreaming en plataformas de televisión móvil, que puede extrapolarse a otros servicios multimedia tales como VoIP, IPTV, etc.

Los datos de entrada de la red son los registros de detalle IP (IPDR, IP detailed record) (1) adquiridas de la red mediante sondas pasivas, generándose un registro IPDR' a la salida para cada usuario cuando hace uso de un servicio desde los protocolos de videostraming que intervienen, como RTP, RTSP, RTCP...

Los parámetros más importantes que afectan a la experiencia de los clientes son: contenido, identificador de usuario, identificador de servidor, pérdida de paquetes, retraso, jitter, rendimiento, tiempo de iniciación y error. Las especificaciones detalladas y campos concretos de estos IPDRs (1) se pueden encontrar en la recomendación "Calidad del servicio de monitorización extremo a extremo en las plataformas convergentes de IPTV".

Con el fin de obtener la información más precisa de los clientes se crea un cuestionario especifico para este método (2) . Las preguntas y las posibles respuestas se describen a continuación:

1. ¿Cuál fue el tipo de contenido que has visto? Noticias, videos, entretenimiento, documental, película o serie de TV, dibujo animado y deportes.

2. ¿Cuál fue la cantidad de retraso que experimentaba el video antes de empezar?

Ninguno, poco, medio y alto.

3. ¿Experimentó imágenes congeladas o interrupciones en el video?

Ninguno, poco, medio y alto.

4. ¿Ha sufrido interrupciones en el audio?

Ninguno, poco, medio y alto.

5. ¿Cuánta pixelación (grandes bloques de color) experimentó?

Ninguno, poco, medio y alto.

6. ¿Se escucharon ruidos o distorsiones en el audio? Ninguno, poco, medio y alto.

7. ¿Tuvo problemas con la sincronización del audio y del vídeo?

Ninguno, poco, medio y alto.

8. ¿Cómo encontró la calidad de los colores? Excelente, aceptable, pobre e inaceptable.

9. ¿Cómo encontró la definición (nitidez) del video? Excelente, aceptable, pobre e inaceptable. 10. ¿Cuál fue su percepción global de la calidad? Excelente, muy buena, buena, no muy buena y muy mala.

En la fase de modelado (8), el componente clave en los algoritmos de correlación (4) es la definición de unos atributos únicos en ambos conjuntos de datos (datos de red y datos de los cuestionarios) que permita su adecuada correlación. El algoritmo de correlación (4) se basa en los valores siguientes:

El modelo de predicción (5) utilizado en este ejemplo de realización se construye a partir del algoritmo C4.5 de aprendizaje automático junto con AdaBoost (amplificador adaptativo) , algoritmo que crea un conjunto de clasificadores. AdaBoost es un meta-algoritmo y puede ser utilizado en combinación con muchos otros algoritmos de aprendizaje automáticos para mejorar su rendimiento. AdaBoost crea clasificadores posteriores, haciendo hincapié en datos que hayan podido ser previamente clasificados erróneamente.

Por último, en la fase estacionaria (9) el modelo combina todos los clasificadores juntos en un único conjunto con voto ponderado. Además, utilizando técnicas de agregación basados en la proximidad de dos valores de respuesta cercanos (por ejemplo, "excelente" y "muy bueno", son dos de las posibles respuestas con valores subjetivos muy similares), se obtiene una mayor exactitud del modelo. En el modelo de predicción final los pesos del modelo son adquiridos mediante el algoritmo de regresión de máquinas de soporte vectorial (SVM) . De esta manera todas las respuestas se combinan con un modelo de regresión para dar un único valor MOS QoE (7) .

En resumen, los modelos preconfigurados para cada cuestión acerca de la calidad percibida son: · Cada modelo se basa en los datos de los cuestionarios subjetivos utilizando la plataforma Weka 3,7 ML .

• Los modelos se construyen utilizando AdaBoost con algoritmos J48 (C4.5).

• El último modelo es construido con el algoritmo de regresión SMO.

El modelo de predicción se incrusta en la plataforma de predicción QoE, la cual está conectada al sistema de monitorización.

La salida de la plataforma de predicción QoE es un conjunto ampliado de la IPDRs de entrada, llamadas como IPDR', que agrega los siguientes atributos para cada IPDR' :

• QoE MOS.

• Predicción de confianza.

· Parámetros de calidad del servicio que más afectan a QoE MOS.

La aplicación está prevista para ser altamente configurable y adaptable a diferentes configuraciones funcionales :

· Sistema de portabilidad

• Tipo de datos de entrada y salida variable.

• Modelos de predicción de número y tipo configurable.

• Modelos de predicción de carga dinámica.

Claims

RE ..VINDICACIONES

1.- Método para calcular la percepción de experiencia de usuario de la calidad de los servicios monitorizados integrados en operadores de telecomunicaciones, donde dicho procedimiento comprende al menos como datos de entrada, unos datos de red obtenidos mediante unas plataformas de monitorización previamente desplegadas en unos operadores de red de los servicios empleados por unos usuarios y unos cuestionarios de experiencia relativos a un servicio empleado que han sido rellenados previamente por un conjunto de usuarios, caracterizado porque comprende las siguientes fases:

i) mezclar, para cada cuestión del cuestionario de experiencia, los datos de red junto con las respuestas a dicha cuestión mediante algoritmos de correlación convencionales;

2. - Método para calcular la percepción de experiencia de usuario de la calidad de los servicios monitorizados integrados en operadores de telecomunicaciones, según la reivindicación 1, caracterizado porque los algoritmos de correlación de la fase de mezclar los datos de red identifican los datos de red y los datos de los cuestionarios que son mezclados mediante una clave de identificación única de los siguientes campos:

· identificador de usuario que comprende un número de teléfono del usuario que ha rellenado el cuestionario y una dirección IP asignada a dicho usuario ;

• identificador del contenido servido donde se especifica el tipo de contenido; y,

• marca de tiempo del servicio, que comprende el instante en el que se ha utilizado el servicio.

3. - Método para calcular la percepción de experiencia de usuario de la calidad de los servicios monitorizados integrados en operadores de telecomunicaciones, según la reivindicación 1, caracterizado porque los datos de entrenamiento que se almacenan en la fase ii) contienen los parámetros más significativos que contribuyen a la calidad de experiencia estando dichos parámetros seleccionados, cuando se trata de servicios ofrecidos sobre redes IP, entre, tipo de contenido, resultado del servicio, agente de usuario, pérdidas de secuencia, pérdidas de asentimiento, tasa de paquetes perdidos, porcentaje de pérdida de paquetes, ráfaga de pérdida de paquetes, valores máximos, mínimos y medios del rendimiento, retardo y varianza del retardo y una combinación de los mismos .

4. - Método para calcular la percepción de experiencia de usuario de la calidad de los servicios monitorizados integrados en operadores de telecomunicaciones, según la reivindicación 1, donde los votos de las ponderaciones de la fase v) están modelados mediante modelos de regresión de aprendizaje automáticos.

5. - Método para calcular la percepción de experiencia de usuario de la calidad de los servicios monitorizados integrados en operadores de telecomunicaciones, según la reivindicación 1, donde los datos de red comprenden información de unos servicios sobre redes IP ofrecidos por operadores de telecomunicaciones seleccionados entre televisión sobre IP y sus subservicios , telefonía sobre IP y sus subservicios, servicios de Internet y servicios particulares de los operadores de telecomunicaciones.

6. - Método para calcular la percepción de experiencia de usuario de la calidad de los servicios monitorizados integrados en operadores de telecomunicaciones, según la reivindicación 1, caracterizado porque el registro de entrenamiento generado en la fase iii) comprende los parámetros más significativos para contribuir al cálculo de la experiencia de usuario estando dichos parámetros seleccionados, cuando se trata de servicios ofrecidos sobre redes IP, entre, tipo de contenido, resultado del servicio, agente de usuario, pérdidas de secuencia, pérdidas de asentimiento, tasa de paquetes perdidos, porcentaje de pérdida de paquetes, ráfaga de pérdida de paquetes, valores máximos, mínimos y medios del rendimiento, retardo y varianza del retardo y una combinación de los mismos.

7. - Método para calcular la percepción de experiencia de usuario de la calidad de los servicios monitorizados integrados en operadores de telecomunicaciones, según la reivindicación 1, caracterizado porque en la fase v) la plataforma de predicción de la calidad de experiencia comprende parámetros seleccionados entre:

• predicción de confianza;

• parámetros de red que contribuyen al cálculo de la experiencia de usuario seleccionados entre tipo de contenido, resultado del servicio, agente de usuario, pérdidas de secuencia, pérdidas de asentimiento, tasa de paquetes perdidos, porcentaje de pérdida de paquetes, ráfaga de pérdida de paquetes, valores máximos, mínimos y medios del rendimiento, retardo y varianza del retardo y una combinación de los mismos; y,

• una combinación de los mismos.

8. - Método para calcular la percepción de experiencia de usuario de la calidad de los servicios monitorizados integrados en operadores de telecomunicaciones, según la reivindicación 6, caracterizado porque el algoritmo de aprendizaje automático de la fase iii) identifica automáticamente los parámetros de red que más afectan a la QoE en función de su relevancia sobre la predicción de la calidad con objeto de proponer los valores necesarios para alcanzar una calidad de experiencia definida por el usuario, comprende las siguientes etapas:

-Identificar los parámetros de red que más han contribuido a la calidad de experiencia representando el modelo de predicción de la QoE mediante un árbol de decisión en el espacio geométrico de los parámetros de red que contribuyen a la calidad de la experiencia; -Introducir en el algoritmo de aprendizaje automático de la fase iii) iterativamente diferentes valores de los parámetros de red hasta conseguir la calidad de experiencia, valor QoE MOS, deseada; y,

-Devolver al usuario los valores de los parámetros de red que dan como resultado el valor QoE MOS requerido por el usuario para que dicho usuario modifique dichos parámetros .