ES2773044T3 - Procedimiento de supervisión del rendimiento de una aplicación de software - Google Patents

Procedimiento de supervisión del rendimiento de una aplicación de software Download PDF

Info

Publication number
ES2773044T3
ES2773044T3 ES10735274T ES10735274T ES2773044T3 ES 2773044 T3 ES2773044 T3 ES 2773044T3 ES 10735274 T ES10735274 T ES 10735274T ES 10735274 T ES10735274 T ES 10735274T ES 2773044 T3 ES2773044 T3 ES 2773044T3
Authority
ES
Spain
Prior art keywords
indicator
network
user
performance
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES10735274T
Other languages
English (en)
Inventor
David John Page
Rupert Lawrence Grantham Ogilvie
Jonathan Michael Pitts
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Actual Experience PLC
Original Assignee
Actual Experience PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Actual Experience PLC filed Critical Actual Experience PLC
Application granted granted Critical
Publication of ES2773044T3 publication Critical patent/ES2773044T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3457—Performance evaluation by simulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865—Monitoring of software

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)

Abstract

Procedimiento de supervisión del nivel de rendimiento de una aplicación de software que se ejecuta en un dispositivo informático conectado a una red de ordenadores y que se comunica con uno o más dispositivos conectados en red, comprendiendo dicho procedimiento: supervisar el intercambio de información en por lo menos una estación de la red; medir por lo menos dos métricas de indicador de rendimiento asociadas con el intercambio de información; caracterizado por que el procedimiento comprende, además: deducir un parámetro indicador a partir de una combinación aditiva no lineal de las métricas de indicadores, en el que la combinación aditiva no lineal de las métricas de indicadores se obtiene aplicando una transformación no lineal a cada métrica de indicador mencionada con el fin de obtener un valor deducido correspondiente, y por lo menos dos de los valores deducidos se combinan entonces de forma aditiva para obtener dicho parámetro indicador; y activar un rastreo de diagnóstico en la red, para estimular una respuesta de la red o de la infraestructura informática, en dependencia del valor de dicho parámetro indicador.

Description

DESCRIPCIÓN
Procedimiento de supervisión del rendimiento de una aplicación de software
La presente invención se refiere a la supervisión de aplicaciones de software informático y, en particular, a la medición, gestión y optimización de la percepción del rendimiento de aplicaciones de software en red.
Las empresas dependen cada vez más de aplicaciones de software para competir y cumplir los objetivos económicos. Los procesos empresariales se pueden clasificar en aquellos que implican la implicación directa de seres humanos, por ejemplo, aplicaciones web, de voz y de vídeo, y procesos que no implican a seres humanos, tales como entornos de fábricas donde solo hay máquinas.
La dependencia de las empresas de aplicaciones de software significa que el impacto del bajo rendimiento de una aplicación puede ser significativo, en particular cuando los usuarios son conscientes de dicho bajo rendimiento y llegan a frustrarse o enfadarse con la aplicación, debido a que dificulta su capacidad para realizar las tareas de manera eficiente. Esto puede tener graves consecuencias económicas negativas, reduciendo la eficiencia de los procesos empresariales y la moral de los empleados de una empresa, así como reduciendo la fidelidad de los clientes y el valor de la marca para los externos a la empresa. Por lo tanto, las empresas deben intentar garantizar que las aplicaciones individuales presenten un buen rendimiento de manera consistente y a un nivel que satisfaga las necesidades del proceso empresarial interno o externo al que dan soporte, es decir, garantizando que los usuarios no lleguen a frustrarse con las aplicaciones que usan.
Sin embargo, esto no es sencillo, porque el rendimiento de una aplicación, experimentado por usuarios o máquinas, depende de una infraestructura de TI subyacente que cada vez es más compleja. Por ejemplo, no es inusual que la infraestructura de TI implique múltiples tecnologías, tales como redes de radio fijas y móviles, redes de área local (LAN), redes de área amplia (WAN) públicas y privadas (internet e intranet), centros de datos, servidores, cachés, máquinas virtuales, protocolos de comunicación privados y abiertos. A menudo, las tecnologías se proporcionan como servicios a las empresas mediante terceros, tales como Proveedores de Servicios (Service Providers, SP), lo que puede aumentar la complejidad administrativa de la infraestructura de TI. A menudo, cada tecnología requerirá el despliegue de decenas, centenas o miles de sistemas individuales. En operación, el comportamiento de cada sistema y tecnología es no solo diferente, sino también dinámico, dependiendo de la carga de ese sistema en cada momento. En última instancia, la experiencia de una aplicación, percibida por los usuarios, es el resultado de los comportamientos de muchos sistemas individuales en interacción. Para complicar más las cosas, las diferentes aplicaciones se ven afectadas de forma diferente y, por tanto, se perciben de forma diferente, por el comportamiento combinado de los sistemas de la infraestructura de TI.
Por lo tanto, la implementación de la gestión del rendimiento de las aplicaciones (Application Performance Management, APM) en representación de una empresa requiere de las habilidades de expertos, así como de herramientas de APM avanzadas. En la actualidad, se dispone de una gama de herramientas y técnicas de APM. Algunas herramientas de APM se enfocan en la gestión del rendimiento de un subconjunto de tecnologías de la infraestructura de TI. Aunque es útil para la gestión de estas tecnologías a nivel de sistema, una desventaja de estas herramientas es que, a menudo, no gestionan todas las tecnologías que dan soporte a una aplicación y, por lo tanto, no pueden gestionar el rendimiento de la aplicación percibido por el usuario. Por lo tanto, algunas herramientas de APM se enfocan en el rendimiento global, de extremo a extremo, de una aplicación. Estas herramientas pueden ser activas o pasivas en su procedimiento.
Las herramientas activas son capaces de simular la experiencia de usuario de la aplicación, por ejemplo, ejecutando secuencias de comandos que imitan cómo usan los usuarios una aplicación. Típicamente, las secuencias de comandos se ejecutan en estaciones de trabajo conectadas a la infraestructura de TI de una empresa. Durante las simulaciones se realizan mediciones que proporcionan datos a los expertos en APM que les ayudarán a comprender el rendimiento de la aplicación. Por ejemplo, se puede medir el tiempo de respuesta de una aplicación.
Por el contrario, las herramientas pasivas usan instrumentación hardware y software para medir el uso real que hacen los usuarios de las aplicaciones. Los puntos de instrumentación se pueden situar en diversas ubicaciones en la infraestructura de TI, por ejemplo, dentro de centros de datos u otras ubicaciones empresariales importantes. Se realizan mediciones del tráfico real de los usuarios, y se proporcionan datos a los expertos en APM que les ayudarán a comprender el rendimiento de la aplicación. Una vez más, las mediciones típicamente describirán el tiempo de respuesta de una aplicación.
Una ventaja de la medición del tiempo de respuesta es que el tiempo de respuesta es un concepto fácil de entender para los ingenieros. Sin embargo, una desventaja significativa de la medición del tiempo de respuesta es que no es un indicador fiable del rendimiento percibido por los usuarios, y no indica si un usuario está frustrado o de otra manera por una aplicación. Esta diferencia en la percepción surge a partir del hecho de que usuarios individuales usan la misma aplicación de formas diferentes, o tienen diferentes expectativas del rendimiento de la misma aplicación. Por tanto, los usuarios tendrán una percepción individual única del rendimiento. De igual modo, debido a que los usuarios usan diferentes aplicaciones para llevar a cabo diferentes tareas, un usuario puede no frustrarse debido a un tiempo de respuesta lento de una aplicación, pero puede frustrarse debido a una respuesta igualmente lenta de otra, en particular, si las tareas difieren en urgencia o importancia.
Otra desventaja de la simple medición del tiempo de respuesta es que no proporciona ninguna explicación de qué comportamiento o combinación de comportamientos de sistemas de la infraestructura de TI causó el empeoramiento del rendimiento, o qué comportamiento o combinación de comportamientos causarán un empeoramiento del rendimiento en el futuro. Esto dificulta mucho a los expertos en ApM diagnosticar y corregir el comportamiento de la infraestructura de TI que está teniendo un impacto económico negativo, por ejemplo, debido a la frustración de los usuarios.
Otra desventaja de la medición del tiempo de respuesta es que no indica el momento en el que un comportamiento o combinación de comportamientos de sistemas de la infraestructura de TI causó un empeoramiento del rendimiento percibido por los usuarios.
Otra desventaja de las herramientas de APM pasivas es que requieren una comprensión detallada de los protocolos y codificaciones que usan las aplicaciones individuales. A menudo, esto puede significar que las herramientas de APM pasivas no soportan todas las aplicaciones o tipos de aplicaciones, debido a los recursos finitos de los proveedores de APM.
Las herramientas de APM activas, en general, deben aprender secuencias de comandos o tener secuencias de comandos creadas manualmente antes de comenzar su operación. A menudo, esto puede significar que las herramientas de APM activas no soportan todas las aplicaciones o tipos de aplicaciones, debido a los recursos finitos de los expertos de TI.
Otra desventaja de muchas herramientas de APM pasivas es que requieren la instalación y soporte de dispositivos físicos de instrumentación de medición. A menudo, su compra, instalación y operación son costosos, lo que limita cuán ampliamente se pueden desplegar. Las herramientas de APM pasivas también pueden almacenar datos personales de los usuarios, lo que, a menudo, puede crear problemas de seguridad o privacidad adicionales, lo que da lugar a mayores gastos administrativos para una empresa.
La Patente US7,369,967 da a conocer un procedimiento para modelar el rendimiento de un sistema que comprende software informático que opera en hardware informático. El rendimiento del sistema se modela adaptando curvas no lineales a puntos de datos para parámetros de rendimiento del sistema, tales como el tiempo de respuesta y el caudal, como una función de la carga. Los puntos de datos se pueden medir en pruebas a través de la supervisión de un sistema que opera en un entorno de producción. Aunque se pueden usar diversas curvas no lineales, se puede usar una curva logarítmica para modelar el caudal del sistema y se puede usar una curva exponencial para modelar el tiempo de respuesta del sistema. Definiendo una relación entre el caudal y el tiempo de respuesta, se puede calcular una distancia entre las curvas, y esta distancia se puede usar para determinar una carga óptima. Adicionalmente, un gráfico que muestre tanto el caudal como el tiempo de respuesta en función de la carga se puede mostrar a un operador del sistema en una interfaz gráfica de usuario para facilitar la evaluación del rendimiento del sistema.
Según la invención, como se expone en la reivindicación independiente 1 adjunta, se da a conocer un procedimiento de supervisión del nivel de rendimiento de una aplicación de software que se ejecuta en un dispositivo informático conectado a una red de ordenadores y que se comunica con uno o varios dispositivos conectados en red, comprendiendo dicho procedimiento:
supervisar el intercambio de información en por lo menos una estación de la red;
medir por lo menos dos métricas de indicadores de rendimiento asociadas con el intercambio de información; caracterizado por que el procedimiento comprende, además:
deducir un parámetro indicador a partir de una combinación aditiva no lineal de las métricas de indicadores, en el que la combinación aditiva no lineal de las métricas de indicadores se obtiene aplicando una transformación no lineal a cada dicha métrica de indicador con el fin de obtener un valor deducido correspondiente, y por lo menos dos de los valores deducidos se combinan entonces de forma aditiva para obtener dicho parámetro indicador; y
activar un rastreo de diagnóstico en la red, para estimular una respuesta de la red o de la infraestructura informática, dependiente del valor de dicho parámetro indicador.
En otro aspecto de la invención, se da a conocer un procedimiento de diagnóstico y/o predicción de problemas en un sistema informático que incluye una red de ordenadores, que comprende recoger en una base de datos un parámetro indicador deducido según un procedimiento de supervisión como el descrito anteriormente, de cada uno de una pluralidad de dispositivos informáticos conectados a una red de ordenadores, y comparar los datos de dichos parámetros recogidos con el fin de diagnosticar y/o predecir problemas en dicho sistema informático.
Un sistema de este tipo puede incluir medios para activar un rastreo de diagnóstico en la red, para estimular una respuesta de la red o de la infraestructura informática, en dependencia del valor de dicho parámetro indicador, y la etapa de recoger en una base de datos puede incluir la etapa de recoger los datos resultantes de dichos rastreos de diagnóstico activados en dependencia del valor de dicho parámetro indicador.
Las métricas preferentes son una o varias de retardo, fluctuación, pérdidas, tiempo de respuesta, caudal, caudal útil y tamaño de objeto.
El término "aplicación de software", como se usa en la presente memoria, incluye también aplicaciones entre pares y entre máquinas que se comunican entre dispositivos conectados en red.
La invención se basa en la comprensión de que la percepción de un usuario del rendimiento de una aplicación de red no se relaciona de manera lineal con métricas de indicador de rendimiento que se puedan medir fácilmente. En cambio, refleja una dependencia compleja de esas métricas, que es no lineal en su forma, y que, en general, muestra por lo menos una primera zona, en la que la percepción de usuario se ve relativamente inafectada por cambios en la métrica, y una segunda zona, en la que la percepción de usuario se ve fuertemente afectada por cambios en la métrica. En consecuencia, en una realización preferente de esta invención, se aplica una transformación no lineal a cada dicha métrica de indicador, con el fin de obtener un valor deducido correspondiente, y por lo menos dos de los valores deducidos se combinan, a continuación, de forma aditiva, para obtener dicho parámetro indicador. Las transformaciones no lineales son adecuadas para generar una primera zona dentro de la cual el valor deducido correspondiente depende de forma relativamente débil de la métrica correspondiente, y una segunda zona, dentro de la cual el valor deducido correspondiente depende de forma relativamente fuerte de la métrica correspondiente. La transformación se puede llevar a cabo de varias formas, por ejemplo, por medio de una función matemática definida por tramos, que tenga partes componentes lineales o no lineales, o mediante una función racional multivariante, que pueda aproximar los valores de una función matemática definida por tramos correspondiente. Alternativamente, se puede utilizar una sencilla tabla de búsqueda bidimensional.
El principio general para cada valor deducido no lineal es que hay un intervalo de valores de la métrica para el cual solo tiene un impacto marginal sobre el valor deducido no lineal (y, por tanto, sobre la percepción de usuario), y otro intervalo de valores para el cual la calidad percibida por el usuario se degrada apreciablemente a medida que la métrica cambia. También puede haber otro intervalo de valores para el cual la degradación en la calidad perceptual ya es apreciable y continúa degradándose, pero no con un gradiente tan agudo. También puede haber partes de dichos intervalos en las que el valor deducido correspondiente va en contra de la dependencia débil o fuerte de la métrica correspondiente sobre un subconjunto del intervalo de valores de la métrica. Esto puede producirse si dicha aplicación de software adapta su operación en respuesta a deficiencias detectadas, por ejemplo, habilitando un mecanismo de corrección de errores sin canal de retorno para protegerse frente a la pérdida de información si dicha pérdida supera un umbral. Dicha adaptación puede proporcionar una mejora de la percepción de usuario, pero solo sobre un intervalo limitado de valores de la métrica, fuera del cual prevalece la dependencia débil o fuerte del valor deducido de la métrica correspondiente.
El parámetro indicador (o la calificación de la percepción de usuario calculada) es indicativo de la percepción de usuario del rendimiento de dicha aplicación de software, y proporciona un indicador significativamente más fiable de la experiencia de usuario que la medición de una única métrica. Los procedimientos existentes típicamente solo miden un único parámetro (normalmente el tiempo de respuesta o el caudal) y el significado de las mediciones realizadas para esta única métrica (en términos de percepción de usuario) normalmente no está cuantificado. La calificación de la percepción de usuario es un representante de un grupo de usuarios que votan sobre su percepción del rendimiento de dicha aplicación de software. En su forma genérica, el representante es para un grupo inespecífico de votantes. Para aplicaciones entre máquinas, la calificación representa la percepción de un usuario representante que trabaja con el dispositivo.
Los valores deducidos no lineales, que forman los componentes aditivos del indicador, pueden tener un significado perceptual distinto, por ejemplo, relacionado con la interactividad de dicha aplicación de software, y pueden corresponder a un componente de comunicación distinto que forma parte de dicha aplicación de software, por ejemplo, contenido web estático y dinámico que se entrega desde cachés o servidores web en red independientes.
El parámetro indicador calculado se puede visualizar gráficamente, de forma cualitativa o cuantitativa. Típicamente, el indicador gráfico se simplifica para mostrar, o para resumir, en varios niveles de percepción de usuario (por ejemplo, "mala", "deficiente", "correcta", "buena" y "excelente"). Los valores de los parámetros del proceso usado para calcular la calificación de la percepción de usuario se pueden ajustar con el fin de cambiar la especificidad de la calificación como un representante para un grupo de votantes. La especificidad puede variar desde una parametrización genérica, inespecífica, pasando por una específica de grupo, hasta una específica de usuario, en función de quién ajuste los parámetros y de cómo se ajusten. Por ejemplo, la estación de trabajo puede recibir información del usuario que indica si la experiencia personal del usuario se corresponde con el indicador gráfico mostrado, y los cálculos que se usan para calcular los componentes de indicador y el parámetro indicador global (denominados la configuración de la percepción de usuario) se cambian automáticamente, en respuesta a dicha entrada de usuario. Alternativamente, el equipo de TI corporativo de una organización puede hacerse responsable de ajustar la configuración de la percepción de usuario para sintonizarla con las necesidades de grupos de usuarios particulares y sus requisitos de percepción para aplicaciones de software concretas. Para aplicaciones entre máquinas, la parametrización se ajusta para representar el impacto sobre los procesos de máquina que requieren comunicación con otras máquinas.
El parámetro indicador se puede usar para activar (ya sea directamente o de forma probabilística) rastreos de diagnóstico en la red y en las infraestructuras informáticas. Esto permite comprobar el comportamiento de estas infraestructuras en el momento en que se degrada la percepción de usuario (o en proporción a la probabilidad de que se degrade la percepción de usuario). Los procedimientos existentes típicamente tienen un retardo temporal significativo entre la degradación de la percepción del usuario que se está comunicando y la realización de las investigaciones de diagnóstico. Además, las mediciones de una única métrica no se pueden usar como activadores fiables para los rastreos de diagnóstico, porque el significado de las mediciones no está cuantificado en términos de percepción de usuario.
En consecuencia, en un aspecto preferente de la invención, el procedimiento incluye la etapa de activar un rastreo de diagnóstico en la red, para estimular una respuesta de la red o de la infraestructura informática, dependiente del valor de dicho parámetro indicador.
En una realización, la supervisión del intercambio de información se puede llevar a cabo en dicho dispositivo informático. Alternativamente (o adicionalmente), dicha supervisión del intercambio de información se puede llevar a cabo en un dispositivo conectado en red distinto de dicho dispositivo informático.
El intercambio de información asociado con varias aplicaciones de software se puede supervisar en el dispositivo y se pueden proporcionar visualizaciones gráficas independientes y se pueden activar rastreos de diagnóstico independientes para cada aplicación (por ejemplo, cada sitio web).
La supervisión de la información puede ser pasiva (por ejemplo, midiendo el tiempo de ida y vuelta de los paquetes generados por la aplicación) o activa (por ejemplo, disparando peticiones personalizadas a la red y a la infraestructura informática, para comprobar la respuesta a un estímulo concreto).
Los datos sobre la experiencia de percepción de usuario de muchos usuarios en la red pueden recogerse en una base de datos, compararse en el tiempo y en el espacio (por ejemplo, ubicación), y usarse para resumir, diagnosticar y predecir problemas de percepción causados por la red y la infraestructura informática.
Los datos resultantes de la información de usuario pueden recogerse en una base de datos y compararse para proporcionar configuraciones de cálculo de la calificación de la percepción de usuario ajustadas para diferentes tipos de aplicaciones y categorías de usuario, variando desde la genérica hasta la específica.
A continuación, se describirán en detalle varias realizaciones preferentes de la invención, junto con los dibujos adjuntos, en los que:
La figura 1 es un diagrama esquemático del procedimiento de operación según la invención.
Las figuras 2 a 6 ilustran las formas de transformaciones, apropiadas para usarse para transformar varias métricas de indicador en un valor deducido correspondiente, para producir un indicador de rendimiento.
La figura 1 ilustra esquemáticamente un procedimiento preferente, según la invención, en el que la primera etapa es la recogida de dos o más métricas de indicadores (1). A continuación, las métricas de indicadores recogidas se combinan matemáticamente en un dispositivo de procesamiento de señales 2, de forma no lineal, lo que se describirá con más detalle más adelante, para producir un valor deducido o "componente de indicador" (3) correspondiente. Varios de dichos valores deducidos (3) se combinan entonces de forma aditiva en un elemento de cálculo adicional (4), para producir un parámetro indicador (5) que indica una calificación de la percepción de usuario calculada. Los parámetros indicadores (5) pueden procesarse mediante un elemento de cálculo 6, y visualizarse gráficamente en elementos de visualización 7.
La información (8) puede provenir del usuario o de un equipo de TI corporativo, y usarse para transformar el cálculo del parámetro indicador mediante el mecanismo de control (9), con los parámetros de entrada (10). Los datos pueden recogerse en una recopilación de base de datos (11), y procesarse para producir una salida (12) que resuma, diagnostique y prediga problemas de percepción causados por la red y la infraestructura informática.
Las figuras 2 a 6 ilustran gráficamente las formas de transformaciones que se pueden usar para transformar las métricas de indicadores caudal útil (en bits/s), pérdidas (expresada como tasa de pérdidas), retardo (de ida y vuelta) (segundos), tiempo de respuesta (segundos) y tamaño de objeto (bits) en los valores deducidos correspondientes, para producir un indicador de rendimiento. Por conveniencia, y con el fin de proporcionar un contexto significativo, los valores deducidos no lineales correspondientes se designan como celeridad, contigüidad, reciprocidad, receptividad y granularidad, respectivamente. Conceptualmente, estos valores deducidos están relacionados con los siguientes conceptos relativos al rendimiento
Celeridad: la percepción de la velocidad con la que se entrega y presenta la información al usuario;
Contigüidad: la percepción de interrupción (o falta de la misma) en el flujo de información, por ejemplo, causada por la pérdida o la entrega tardía de información;
Reciprocidad: la percepción de interactividad conversacional que se puede sostener mediante el intercambio mutuo de información;
Receptividad: la percepción de los plazos con los que una aplicación de software entrega un objeto (o grupo de objetos) de información perceptualmente significativo(s);
Granularidad: la percepción del nivel de detalle en los objetos de la aplicación, medida, por ejemplo, mediante la velocidad del códec o el tamaño del contenido.
Estos valores deducidos tienen significado de extremo a extremo, desde una perspectiva centrada en el usuario y, por tanto, normalmente se deducirían a partir de métricas de indicadores de rendimiento medidas en el dispositivo informático del usuario. Sin embargo, los valores deducidos también pueden producirse a partir de métricas de indicadores de rendimiento medidas que tengan significado local (y, por tanto, consigan un significado de extremo a extremo al concatenarse) o pueden muestrearse en la ruta del (de los) flujo(s) de información.
Las aplicaciones pueden comprender múltiples componentes del flujo de información entre dos o más dispositivos conectados en red (por ejemplo, máquinas, estaciones de trabajo, servidores), y cada componente del flujo de información puede tener sus propias métricas de indicadores de rendimiento medidas y componentes de indicador de percepción.
En las figuras 2 a 6 se puede ver que cada valor deducido se obtiene por medio de una transformación no lineal de la métrica correspondiente. En cada caso, la forma del gráfico muestra una primera zona dentro de la cual el valor deducido correspondiente depende de forma relativamente débil de la métrica correspondiente, y una segunda zona, dentro de la cual el valor deducido correspondiente depende de forma relativamente fuerte de la métrica correspondiente. Por tanto, como se muestra en la figura 2, el valor de "celeridad" obtenido depende de forma relativamente débil del valor de caudal útil medido, para valores de caudal útil entre 1.000.000 y 2.000.000 bps, pero de forma relativamente fuerte del valor de caudal útil para valores de caudal útil entre 500.000 y 1.000.000 bps. Del mismo modo, como se muestra en la figura 3, el valor de "contigüidad" depende de forma relativamente débil de la tasa de pérdidas medida, para valores de la tasa de pérdidas entre 0,25 y 0,5, pero de forma relativamente fuerte de la tasa de pérdidas para valores entre 0,05 y 0,15. Los otros tres parámetros deducidos muestran una dependencia no lineal similar de la métrica subyacente correspondiente.
La naturaleza de la dependencia se puede determinar de forma empírica, mediante experimentación, para cada métrica y valor deducido correspondiente. La transformación se puede aproximar entonces por medio de una función matemática definida por tramos, que tenga tramos componentes lineales o no lineales, o mediante una función racional multivariante. Alternativamente, se puede utilizar una sencilla tabla de búsqueda bidimensional.
El parámetro indicador deducido puede ser una combinación aditiva de dos o más de los componentes del valor deducido no lineales (3). Los parámetros (10) que se pueden modificar mediante la información de usuario se pueden usar para cambiar la forma en la que se calcula el parámetro indicador deducido, con el fin de hacer que el representante se adapte a, y prediga, la calificación de la percepción de usuario con mayor especificidad, por ejemplo, para usuarios o grupos individuales, y para aplicaciones o tipos de aplicaciones individuales. El usuario, o un representante del usuario, tal como el equipo de TI corporativo, puede iniciar directamente la adaptación.
La calificación de la percepción de usuario se puede utilizar de varias formas, para visualización, comunicación y diagnóstico (12). A continuación, se explicarán con más detalle dos ejemplos concretos, basados en aplicaciones de software en red desarrolladas sobre comunicaciones basadas en TCP y UDP, respectivamente.
El primer ejemplo es de un sitio web que aloja una serie de tipos de contenido y tamaños de objeto, y se comunica mediante TCP con un navegador web de usuario. La percepción de usuario del sitio web es una combinación deducida a partir de la estructura y el tamaño del contenido, la capacidad del servidor web de suministrar el contenido, la capacidad de la infraestructura de red de entregar el contenido al navegador web de usuario, y la capacidad del dispositivo o estación de trabajo de usuario de presentar el contenido al usuario.
Están presentes los cinco tipos de contribución perceptual (3), y hacen uso de las siguientes métricas de indicador de rendimiento medidas: caudal útil (x;), pérdidas efectivas (x2), retardo de ida y vuelta (x3), tiempo de respuesta (x4) y tamaño de objeto (X5).
Las combinaciones matemáticas para este ejemplo se pueden representar como sigue:
C elerid a
Figure imgf000007_0001
donde
a = (04,44410-5 -3,44410-5 -10-5)
b = (010000010000002000000)
c = (-50000)
$(■) es la función escalonada de Heaviside
Contigüidad(x2) ^ [ a r ( x 2)¡]
i=o
donde
a = (0,4 -95 -437046806 -229983668999 12501671592700 -1405434860190 -35851497096 -154081087)
Reciprocidad (x3) = ^ [ a ¡ • (x3) ’]
i=0
donde
a = (-01 14,2 -1825,632304 -2640561159245 -30657005137225 -55081203667760 -1382893225760)
Receptividad
Figure imgf000007_0002
donde
a = (-2,8 -11 13,8)
b = (01,58,45)
c = (000)
Granularidad(x5 ) ^ [ [ ai • (xS — bi) ci] • $ ( xs — M
i=0
donde
a := (-4-10-43,98-10-42-10-6)
b := (0100001000000)
c := (000)
El parámetro indicador, la calificación de la percepción de usuario (User Perception Score, UPS) (5), viene dado por:
UPS = 100 Celeridad(x4) Contigüidad(x2) Reciprocidad (x3) Receptividad(x4) Granularidad(xs) y está estrictamente limitado al intervalo de 0 a 100 (es decir, si la suma es inferior a 0, se ajusta a 0, y si es superior a 100, se ajusta a 100).
El segundo ejemplo es de una aplicación interactiva entre pares (en este ejemplo particular, una aplicación de voz, aunque puede aplicarse el mismo procedimiento a otras aplicaciones interactivas entre pares). Ésta codifica flujos de mensajes o señales de mensajes (que pueden ser continuos o intermitentes), por ejemplo, flujos de mensajes de voz, usando un códec, y coloca el flujo de bits resultante en uno o varios flujos de paquetes basados en UDP (por lo menos uno para cada dirección entre las partes y la aplicación interactiva). La percepción de usuario de la aplicación interactiva es una combinación deducida a partir de la velocidad binaria (o velocidad de paquetes) conseguida entre los pares y la capacidad de la infraestructura de red de entregar un flujo de paquetes a dicha velocidad con pérdidas y fluctuación mínimas, y con un retardo de ida y vuelta lo suficientemente bajo como para soportar una interacción conversacional.
Están presentes cuatro de cinco tipos de contribuciones perceptuales (es decir, con coeficientes del numerador no despreciables), y hacen uso de las siguientes métricas de indicadores de rendimiento medidas: caudal (x(), pérdidas efectivas (x2), retardo de ida y vuelta (x3) y tamaño de objeto (x5, el número de bits producidos por segundo por la aplicación para cada flujo de mensajes o señal de mensajes, es decir, la velocidad binaria).
Las combinaciones matemáticas para este ejemplo se pueden representar como sigue:
n
Celeridad(x¡) = ^ [ [ a ¡ • (xi_ — b¡) c¡] • ^ ( x ! — b¡)]
i=0
donde
a = (01,25-10-3 -0,75-10-3 -0,5-10-3)
b = (0200004000070000)
c = (-40000)
Contigüidad(x2) ^ [ a r ( x 2)¡]
i=o
donde
a = (0,4 -200 -19370 436740 -4517742 27542621 -108844504 291930000 -542327435 698798345 -613155445 3496000093 -116794010 17350734) donde las pérdidas efectivas, x2, son la relación entre paquetes perdidos o tardíos y los paquetes totales enviados.
Reciprocidad (x3) = ^ [ a r ( x 3) ¡]
i=o
donde
a = (-0,2920,56 -766,756855,59 -29341,3368709,83 -97409,6387653,78 -50493,4718068,78 -3661,87321,4)
Granularidad(xs ) = ^ [ [ a ¡ • (xs — b¡) q] • $ ( x s — b¡)]
donde
a = (02,245-10-4 -1,308-10-4 -9,37510-5)
b = (01500064000128000)
c = (-17000)
El parámetro indicador, la calificación de la percepción de usuario, viene dado por:
UPS = 100 Celeridad(x1) Contigüidad(x2) Reciprocidad(x3) Granularidad(xs)
y está estrictamente limitado al intervalo de 0 a 100.
Por medio de una ilustración concreta, usando las curvas de ejemplo de las figuras 2 a 6, se puede determinar un parámetro indicador, según la invención, como sigue:
El caudal útil (medido) es 750.000 bps, por tanto, la celeridad es -21.
La tasa de pérdidas experimentada es del 2 %, por tanto, la contigüidad es -3.
El retardo de ida y vuelta experimentado es de 110 ms, por tanto, la reciprocidad es -1,5.
El tiempo de respuesta es de 0,67 s, por tanto, la receptividad es -2.
Se descargan objetos de 500.000 bits, por tanto, la granularidad es -5.
Por lo tanto, el valor calculado para el parámetro indicador es:
100 — 21 — 3 — 1,5 — 2 — 5 = 67,5
A continuación, se supone que el retardo y las pérdidas aumentan (por ejemplo, como consecuencia de congestión en la red), entonces esto tiene un impacto en el caudal útil que se puede conseguir (que se reduce) y, por tanto, el tiempo de respuesta para descargar objetos aumenta.
Los nuevos valores son:
El caudal útil se reduce a 325.000 bps, por tanto, la celeridad es -40.
La tasa de pérdidas experimentada es del 3 %, por tanto, la contigüidad es -5.
El retardo de ida y vuelta experimentado es de 220 ms, por tanto, la reciprocidad es -2.
El tiempo de respuesta es de 1,5 s, por tanto, la receptividad es -4.
Se descargan objetos de 500.000 bits, por tanto, la granularidad es -5.
La calidad perceptual global es:
100 - 40 - 5 - 2 - 4 - 5 = 44
Se debe observar que se puede expresar una formulación genérica para incluir ejemplos basados tanto en TCP como en UDP. La contigüidad se expresa como una función tanto de las pérdidas como de las llegadas tardías (es decir, tardías como consecuencia de la fluctuación) pero, en el caso de TCP, la contribución de la fluctuación es despreciable; la receptividad se incluye en la formulación basada en UDP, pero su coeficiente aditivo es despreciable.
Las calificaciones de la percepción de usuario calculadas se pueden representar frente al tiempo, y acumularse sobre plazos apropiados en categorías de histograma en las que los tamaños de las categorías se corresponden con niveles de percepción de usuario cualitativamente distintos (por ejemplo, "mala", "deficiente", "correcta", "buena" y "excelente).
En plazos cortos (del orden de minutos), las visualizaciones permiten a los usuarios proporcionar información sobre la correspondencia de la calificación de la percepción de usuario con la experiencia real de usuario (o de su representante) de la aplicación de software. Esta información se puede emplear para ajustar los coeficientes de las combinaciones matemáticas usadas para producir los componentes de indicador y, por tanto, la calificación. Se pueden proporcionar a los usuarios diferentes niveles de detalle para esta información, en función de su nivel de comprensión técnica. Una opción es proporcionar controles de escalado independientes para cada uno de los cinco tipos de componentes de indicador. En su forma más sencilla, esto se consigue escalando los ejes de la métrica. Por ejemplo, si s, es el parámetro de escalado para la métrica x, entonces la calificación de la percepción de usuario para la aplicación web viene dada por:
UPS = 100 Celeridad(s1 • x1) Contigüidad(s2 • x2) Reciproddad(s3 • x3) Receptividad(s4 • x4) Granularidad (ss • xs )
De otra forma, cada componente indicador, yi, que es una función, fi(), de una métrica de indicador, xi, es decir, y¡ = fi(x¡)
se puede transformar ajustando los parámetros de información, ai y si, según lo indicado por:
y = aifi(s¡xi)
donde ai es el coeficiente aditivo para el componente de indicador, yi, y si es el parámetro de escalado para la métrica xi.
Una alternativa es generar estos controles de parámetro de escalado o de información de una forma coordinada a partir de un único control de 'interactividad'. Esta última solución permite clasificar las aplicaciones de software en un espectro que varía desde altamente activas (por ejemplo, conversacionales, tal como en aplicaciones de voz o de juegos), pasando por transaccionales (por ejemplo, aplicaciones de datos interactivas que deben ser lo suficientemente receptivas), hasta pasivas (por ejemplo, transmisión continua, o transferencia de archivos, en las que el énfasis está en velocidades de descarga lo suficientemente altas).
Por ejemplo, si ai y si son los parámetros de información para el componente de indicador, yi, y la métrica de indicador, xi, e I es el control de interactividad, que varía desde activo (I > 1) hasta pasivo (0 < I < 1), entonces los parámetros de información se pueden expresar como una función del control de interactividad de la siguiente manera. Para la contigüidad, la reciprocidad y la receptividad (es decir, i = 2, 3, 4, respectivamente), pueden representarse como sigue:
a¡ = 1 0,4log(I)
Sj = 0,9I
Para la celeridad y la granularidad (es decir, i = 1,5, respectivamente), los controles de información a¡ y s¡ se pueden representar como sigue:
a¡ = 1 0,5log(I)
Sj = 0,2I
La información se puede obtener de los usuarios en campo o en un entorno de laboratorio. En campo, las deficiencias se observan y se experimentan cuando se producen. En el laboratorio, las deficiencias se introducen en el sistema de manera controlada para degradar la aplicación de software. El conjunto de usuarios indica sus calificaciones individuales como votos para indicar su percepción del rendimiento de la aplicación de software bajo las condiciones de degradación experimentadas. Las calificaciones introducidas por los usuarios se comparan con las calificaciones del indicador deducidas, por ejemplo, ajustando el control de interactividad en un análisis de regresión unidimensional, o ajustando dos o más controles del parámetro de información en un análisis de regresión multidimensional.
Además, en plazos cortos el valor actual de la calificación (o una medición estadística de la calificación) se puede usar para activar rastreos de diagnóstico en la red y en la infraestructura informática. Una forma de implementar esto es tener un valor umbral para la calificación, por debajo del cual se activa el rastreo de diagnóstico y por encima del cual se desactiva. Un procedimiento alternativo, que refleja el parámetro indicador como un representante de la calificación media de una población de usuarios, es activar el rastreo de diagnóstico de manera probabilística. Por ejemplo, la calificación se usa como el parámetro de una distribución, y se puede calcular la probabilidad de que esté por debajo de un valor umbral. Esta probabilidad aumenta a medida que disminuye el valor de la calificación y, por tanto, activa el rastreo de diagnóstico con más frecuencia.
En plazos más largos (del orden de horas o días), las calificaciones de la percepción de usuario, sus componentes perceptuales, las métricas del indicador de rendimiento subyacentes y los resultados de los rastreos de diagnóstico se pueden acumular, comparar y correlacionar. Tienen muchos usos posibles como información para el proceso de planificación. Por ejemplo, es posible acumular resúmenes de histogramas sobre los elementos de la red y de la infraestructura informática (identificados por los resultados del rastreo de diagnóstico), y usar técnicas de tendencias para predecir qué elementos de la infraestructura tienen mayor probabilidad de causar problemas de percepción y, por tanto, deban actualizar su capacidad.
Son posibles muchas variaciones, así como las específicamente descritas anteriormente, dentro del alcance de las reivindicaciones adjuntas.

Claims (13)

REIVINDICACIONES
1. Procedimiento de supervisión del nivel de rendimiento de una aplicación de software que se ejecuta en un dispositivo informático conectado a una red de ordenadores y que se comunica con uno o más dispositivos conectados en red, comprendiendo dicho procedimiento:
supervisar el intercambio de información en por lo menos una estación de la red;
medir por lo menos dos métricas de indicador de rendimiento asociadas con el intercambio de información; caracterizado por que el procedimiento comprende, además:
deducir un parámetro indicador a partir de una combinación aditiva no lineal de las métricas de indicadores, en el que la combinación aditiva no lineal de las métricas de indicadores se obtiene aplicando una transformación no lineal a cada métrica de indicador mencionada con el fin de obtener un valor deducido correspondiente, y por lo menos dos de los valores deducidos se combinan entonces de forma aditiva para obtener dicho parámetro indicador; y activar un rastreo de diagnóstico en la red, para estimular una respuesta de la red o de la infraestructura informática, en dependencia del valor de dicho parámetro indicador.
2. Procedimiento, según la reivindicación 1, en el que por lo menos dos métricas de indicadores de rendimiento incluyen por lo menos dos de retardo, fluctuación, pérdidas, tiempo de respuesta, caudal, caudal útil y tamaño de objeto.
3. Procedimiento, según la reivindicación 1, en el que el intercambio de información es un intercambio de paquetes de información.
4. Procedimiento, según cualquiera de las reivindicaciones anteriores, en el que la aplicación de software es una aplicación web, una aplicación de colaboración, una aplicación de juegos, una aplicación de voz, una aplicación de vídeo o una aplicación entre máquinas.
5. Procedimiento, según cualquiera de las reivindicaciones anteriores, en el que dicha primera métrica se refiere al intercambio de información entre dicho dispositivo informático y un dispositivo conectado en red, y dicha segunda métrica se refiere al intercambio de información entre dicho dispositivo informático y un segundo dispositivo conectado en red, en el que ambas dichas métricas se refieren a la misma aplicación de software.
6. Procedimiento, según cualquiera de las reivindicaciones anteriores, en el que dicho dispositivo informático incluye medios para facilitar la entrada por un usuario de un valor de calificación introducido por el usuario, en el que el valor de calificación introducido por el usuario es indicativo del rendimiento de dicha aplicación de software percibido por el usuario, y en el que el sistema incluye medios para comparar dicha calificación introducida por el usuario con dicho parámetro indicador deducido.
7. Procedimiento, según la reivindicación 6, que comprende, además, modificar el cálculo usado para deducir dicho parámetro indicador deducido dependiendo de dicha calificación introducida por el usuario.
8. Procedimiento, según cualquiera de las reivindicaciones anteriores, que incluye la etapa de generar una visualización gráfica del parámetro indicador calculado.
9. Procedimiento, según cualquiera de las reivindicaciones anteriores, en el que dicha respuesta de la red o de la infraestructura informática estimulada por el rastreo de diagnóstico son datos de encaminamiento, datos de rendimiento del encaminamiento, datos de rendimiento del sistema, datos de la CPU u otros datos de gestión o datos de rendimiento relacionados con los nodos de la red de ordenadores o los dispositivos conectados en red.
10. Procedimiento, según cualquiera de las reivindicaciones anteriores, en el que dicho parámetro indicador independiente se deduce para cada una de una pluralidad de aplicaciones de software que se ejecutan en el dispositivo informático.
11. Procedimiento, según cualquiera de las reivindicaciones anteriores, en el que dicha supervisión se lleva a cabo de forma pasiva, obteniendo métricas de intercambios de información generados por la aplicación, o en el que dicha supervisión se lleva a cabo de forma activa, creando un intercambio de información adaptado específicamente para comprobar la respuesta de la infraestructura informática o la infraestructura de red a un estímulo concreto.
12. Procedimiento implementado en un ordenador de diagnóstico y/o predicción de problemas en un sistema informático que incluye una red de ordenadores, comprendiendo el procedimiento recoger en una base de datos un parámetro indicador deducido según un procedimiento, según cualquiera de las reivindicaciones anteriores, de cada uno de una pluralidad de dispositivos informáticos conectados a la red de ordenadores, y comparar los datos de dichos parámetros recogidos con el fin de diagnosticar y/o predecir problemas en dicho sistema informático.
13. Procedimiento, según la reivindicación 12, en el que la etapa de recoger en una base de datos incluye la etapa de recoger datos resultantes de dichos rastreos de diagnóstico activados dependiendo del valor de dicho parámetro indicador.
ES10735274T 2009-07-24 2010-07-21 Procedimiento de supervisión del rendimiento de una aplicación de software Active ES2773044T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GBGB0912931.3A GB0912931D0 (en) 2009-07-24 2009-07-24 Method of monitoring the performance of a software application
PCT/EP2010/060575 WO2011009892A1 (en) 2009-07-24 2010-07-21 Method of monitoring the performance of a software application

Publications (1)

Publication Number Publication Date
ES2773044T3 true ES2773044T3 (es) 2020-07-09

Family

ID=41066797

Family Applications (1)

Application Number Title Priority Date Filing Date
ES10735274T Active ES2773044T3 (es) 2009-07-24 2010-07-21 Procedimiento de supervisión del rendimiento de una aplicación de software

Country Status (6)

Country Link
US (1) US9477573B2 (es)
EP (1) EP2457164B1 (es)
CN (1) CN102473132B (es)
ES (1) ES2773044T3 (es)
GB (1) GB0912931D0 (es)
WO (1) WO2011009892A1 (es)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130307847A1 (en) * 2010-12-06 2013-11-21 The Regents Of The University Of California Rendering and encoding adaptation to address computation and network
US8984122B2 (en) * 2011-08-05 2015-03-17 Bank Of America Monitoring tool auditing module and method of operation
US8990183B2 (en) * 2012-06-06 2015-03-24 Microsoft Technology Licensing, Llc Deep application crawling
CN103812720B (zh) 2012-11-15 2015-04-01 腾讯科技（深圳）有限公司 一种网络加速管理方法及装置
WO2014165631A1 (en) * 2013-04-04 2014-10-09 Pulse.io, Inc. Mobile application performance prediction
US10409353B2 (en) * 2013-04-17 2019-09-10 Qualcomm Incorporated Dynamic clock voltage scaling (DCVS) based on application performance in a system-on-a-chip (SOC), and related methods and processor-based systems
US9639412B1 (en) * 2014-03-11 2017-05-02 Apteligent, Inc. Application performance management tools with a service monitor for collecting network breadcrumb data
WO2015167470A1 (en) * 2014-04-29 2015-11-05 Hewlett-Packard Development Company, Lp Measuring user action performance by classifying user actions
US10102101B1 (en) * 2014-05-28 2018-10-16 VCE IP Holding Company LLC Methods, systems, and computer readable mediums for determining a system performance indicator that represents the overall operation of a network system
WO2015183322A1 (en) * 2014-05-30 2015-12-03 Hewlett-Packard Development Company, L.P. Evaluating user experience
US20170039200A1 (en) * 2014-06-04 2017-02-09 Hewlett Packard Enterprise Development Lp Evaluating user experience
CN104021078B (zh) * 2014-06-13 2016-07-06 中国民航信息网络股份有限公司 软件监控装置及方法
EP3286890A1 (en) * 2015-04-20 2018-02-28 Entit Software LLC Security indicator scores
US11106337B2 (en) * 2016-03-11 2021-08-31 Sap Se Adaptation of user interfaces based on a frustration index
US10475090B2 (en) 2016-07-11 2019-11-12 Micro Focus Llc Calculating user experience scores
CN106528390A (zh) * 2016-11-04 2017-03-22 智者四海（北京）技术有限公司 一种应用监控方法及装置
US10680908B2 (en) 2017-05-23 2020-06-09 International Business Machines Corporation User interface with expected response times of commands
US10838413B2 (en) * 2017-10-02 2020-11-17 Fisher-Rosemount Systems, Inc. Systems and methods for multi-site performance monitoring of process control systems
US10671507B2 (en) 2018-10-25 2020-06-02 Capital One Services, Llc Application performance analytics platform
KR20200112494A (ko) 2019-03-22 2020-10-05 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11431591B2 (en) * 2019-05-01 2022-08-30 Citrix Systems, Inc. Systems and methods for presenting workspace experience indicator on user interface
US10938699B1 (en) * 2019-10-01 2021-03-02 Cisco Technology, Inc. Systems and methods for monitoring and addressing network performance issues
CN114691258A (zh) * 2020-12-29 2022-07-01 深圳Tcl新技术有限公司 系统性能的显示方法、系统、智能设备及存储介质
CN113094082B (zh) * 2021-04-07 2024-02-13 北京字跳网络技术有限公司 微服务依赖关系确定方法、装置及存储介质
CN112988542B (zh) * 2021-04-08 2021-11-30 马上消费金融股份有限公司 一种应用评分方法、装置、设备和可读存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9087319B2 (en) * 2002-03-11 2015-07-21 Oracle America, Inc. System and method for designing, developing and implementing internet service provider architectures
US6856943B2 (en) * 2002-03-26 2005-02-15 Sun Microsystems, Inc. User perception tool
US7480912B2 (en) * 2003-05-29 2009-01-20 International Business Machines Corporation Method for policy-based, autonomically allocated storage
US7197428B1 (en) * 2003-11-12 2007-03-27 Sprint Communications Company L.P. Method for performance monitoring and modeling
US7284153B2 (en) * 2003-11-17 2007-10-16 International Business Machines Corporation Apparatus, method, and system for logging diagnostic information
US7412503B2 (en) * 2003-11-21 2008-08-12 International Business Machines Corporation Method and apparatus for the dynamic introduction of new attributes into policies
US20050149809A1 (en) * 2003-12-10 2005-07-07 International Business Machines Corporation Real time determination of application problems, using a lightweight diagnostic tracer
US7369967B1 (en) * 2004-12-27 2008-05-06 Sprint Communications Company L.P. System and method for monitoring and modeling system performance
US7171337B2 (en) * 2005-06-21 2007-01-30 Microsoft Corpoartion Event-based automated diagnosis of known problems
CN101021810A (zh) * 2007-03-08 2007-08-22 山东浪潮齐鲁软件产业股份有限公司 软件系统性能评估方法
US7596583B2 (en) 2007-03-29 2009-09-29 International Business Machines Corporation Dynamic learning in redesigning a composition of web services
US8595369B2 (en) * 2007-11-13 2013-11-26 Vmware, Inc. Method and system for correlating front-end and back-end transactions in a data center
US8359581B2 (en) * 2008-12-10 2013-01-22 International Business Machines Corporation Automatic collection of diagnostic traces in an automation framework
GB2467769B (en) * 2009-02-13 2011-04-13 Amdocs Software Systems Ltd Method and system for specifying planned changes to a communications network
US8751284B2 (en) * 2009-04-30 2014-06-10 United Parcel Service Of America, Inc. Systems and methods for a real-time workflow platform using Petri net model mappings
US8332811B2 (en) * 2009-04-30 2012-12-11 United Parcel Service Of America, Inc. Systems and methods for generating source code for workflow platform

Also Published As

Publication number Publication date
CN102473132B (zh) 2014-12-31
EP2457164A1 (en) 2012-05-30
CN102473132A (zh) 2012-05-23
WO2011009892A1 (en) 2011-01-27
GB0912931D0 (en) 2009-09-02
US9477573B2 (en) 2016-10-25
EP2457164B1 (en) 2019-11-13
US20120166636A1 (en) 2012-06-28

Similar Documents

Publication Publication Date Title
ES2773044T3 (es) Procedimiento de supervisión del rendimiento de una aplicación de software
Aleta et al. Modelling the impact of testing, contact tracing and household quarantine on second waves of COVID-19
US10360126B2 (en) Response-time baselining and performance testing capability within a software product
Campbell et al. Complex social contagion makes networks more vulnerable to disease outbreaks
US20180349797A1 (en) Data driven methods and systems for what if analysis
JP6526907B2 (ja) 分散型記憶システムの性能監視
Ferguson et al. Planning for smallpox outbreaks
US10114915B2 (en) Consumer performance index scoring for websites and web-based applications
US20150222504A1 (en) System and method for monitoring and reporting data in api processing systems
US20180136994A1 (en) Fast Automated Detection of Seasonal Patterns in Time Series Data Without Prior Knowledge of Seasonal Periodicity
Zhang et al. Data perturbation with state-dependent noise for participatory sensing
CN107770171A (zh) 服务器反爬虫的验证方法及系统
US20180007578A1 (en) Machine-to-Machine Anomaly Detection
WO2016044359A1 (en) Lateral movement detection
CN109768899A (zh) 网站可用性监测方法、装置、设备及介质
US20120036550A1 (en) System and Method to Measure and Track Trust
WO2019006967A1 (zh) 用部分同态加密方案构建的空间众包任务分配系统及方法
US11777921B2 (en) Systems and methods for controlling personal information on online services
US20200106671A1 (en) Non-invasive diagnosis of configuration errors in distributed system
US20120072544A1 (en) Estimating application performance in a networked environment
Ross et al. Household visitation during the COVID-19 pandemic
US10810332B2 (en) Method, apparatus, and computer program product for simulating client and application interface integration
Hernández-Orallo et al. A methodology for evaluating digital contact tracing apps based on the COVID-19 experience
Ibrahim et al. PRESENCE: toward a novel approach for performance evaluation of mobile cloud SaaS web services
Simonite A sobering message about the future at AI’s biggest party