ES2718128T3

ES2718128T3 - Prueba coordinada

Info

Publication number: ES2718128T3
Application number: ES13175537T
Authority: ES
Inventors: Stephen Corbesero
Original assignee: Synchronoss Technologies Inc
Current assignee: Synchronoss Technologies Inc
Priority date: 2012-07-13
Filing date: 2013-07-08
Publication date: 2019-06-27
Anticipated expiration: 2033-07-08
Also published as: EP2685381A3; EP2685381B1; US9239775B1; EP2685381A2

Description

DESCRIPCIÓN

Prueba coordinada

Campo de la invención

La presente invención se refiere al campo de pruebas de productos. Más específicamente, la presente invención se refiere a pruebas de rendimiento y capacidad.

Antecedentes de la invención

Las pruebas de rendimiento son, en general, pruebas realizadas para determinar cómo funciona un sistema en términos de capacidad de respuesta y estabilidad bajo una carga de trabajo particular. Las pruebas de rendimiento se pueden utilizar para investigar, medir, validar o verificar otros atributos de calidad de un sistema, tal como la escalabilidad, la fiabilidad y el uso de recursos. Las pruebas de rendimiento incluyen varios tipos, como pruebas de carga, pruebas de tensión, pruebas de resistencia, pruebas de picos, pruebas de configuración y pruebas de aislamiento.

El documento US 6023773 divulga un arnés de prueba de múltiples clientes para probar el primer y el segundo sistema informático ejecutando un primer caso de prueba en el primer y segundo sistemas informáticos. El documento 2012/066357 divulga un sistema de prueba que proporciona pruebas automatizadas de una o más infraestructuras de red.

Sumario de la invención

La invención proporciona un método y un aparato como se definen en las reivindicaciones adjuntas.

Un único archivo se utiliza para coordinar múltiples procesos de prueba. El único archivo se usa para iniciar una prueba, para otros aspectos de la prueba, incluyendo, pero no limitado a, la verificación de los requisitos previos de la prueba antes de la ejecución, la recopilación de registros de controladores de carga, el análisis de los datos de prueba recopilados y la generación de una base de datos y otros informes para la ejecución de la prueba.

El archivo se genera como una secuencia de comandos (por ejemplo, una secuencia de comandos de carcasa) para establecer las variables (por ejemplo, variables de carcasa) y a continuación, iniciar una o más instancias del controlador de carga en servidores locales y/o de red conectados. El archivo es usado por otros programas y secuencias de comandos como un archivo de datos de "descripción de ejecución" para verificar o controlar la viabilidad de la prueba antes del lanzamiento, el estado de la prueba si la prueba está actualmente en curso, recopilar los resultados de la prueba después de terminar, y para comenzar el análisis y la generación de informes de los resultados de la prueba recopilados.

Al usar un archivo de descripción de ejecución única en las múltiples fases de la ejecución de la prueba, la posibilidad de errores se reduce considerablemente. Por ejemplo, al utilizar la descripción de ejecución antes de las pruebas, es muy probable que la prueba se inicie con éxito porque el entorno del controlador de carga tiene las propiedades necesarias, incluyendo datos de prueba precargados y la configuración específica del flujo de prueba.

Breve descripción de los dibujos

La figura 1 ilustra un diagrama de flujo de un método de prueba coordinado de acuerdo con algunas realizaciones.

La figura 2 ilustra un diagrama de bloques de un dispositivo informático de ejemplo configurado para implementar el método de prueba coordinado de acuerdo con algunas realizaciones.

La figura 3 ilustra un diagrama de una configuración de prueba de rendimiento de ejemplo para implementar las pruebas coordinadas de acuerdo con algunas realizaciones.

Descripción detallada

Para mejorar la calidad de las pruebas de rendimiento y de capacidad, un solo archivo se utiliza para coordinar múltiples procesos de prueba. El archivo único se utiliza para iniciar una prueba, durante la prueba y luego durante el análisis de la prueba. Por ejemplo, el archivo único se puede usar en muchas partes de la prueba, incluyendo, pero no limitado a, la verificación de los requisitos previos de la prueba antes de la ejecución, la recopilación de registros del controlador de carga, el análisis de los datos de prueba recopilados y la generación de la base de datos y otros informes para la ejecución de la prueba. En algunas realizaciones, el archivo se genera como una secuencia de comandos de carcasa para establecer las variables de carcasa y, a continuación, iniciar una o más instancias del controlador de carga en los servidores locales y/o de red conectados. El archivo es usado por otros programas y secuencias de comandos como un archivo de datos de "descripción de ejecución" (por ejemplo, un archivo que puede leer para proporcionar una descripción de las operaciones en tiempo de ejecución) para verificar o controlar la viabilidad de la prueba antes del lanzamiento, el estado de la prueba si la prueba está actualmente en curso, recopilar los resultados de la prueba después de finalizar, y comenzar el análisis y la generación de informes de los resultados de la prueba recopilados.

Como se describió anteriormente, el archivo único se utiliza para coordinar los diferentes aspectos del proceso de la prueba, incluyendo, pero no limitado a, garantizar que los conductores de carga correctos se preparan y se cargan con los datos de prueba apropiados antes de que se realice una prueba. Una vez que se completa una prueba, el archivo único se utiliza para recuperar datos de los controladores de carga utilizados. Además, el único archivo que se utilizó para ejecutar la prueba también puede informar a las otras herramientas de prueba qué datos recopilar y dónde almacenar los datos recopilados.

En algunas realizaciones, las secuencias de comandos, tales como secuencias de comandos de carcasa se utilizan para implementar la prueba coordinada. En algunas realizaciones, las secuencias de comandos están contenidas en un solo archivo, y en algunas realizaciones, las secuencias de comandos están contenidas en múltiples archivos. La secuencia de comandos principal se conoce como "secuencia de comandos de ejecución", que se utiliza para especificar el flujo de prueba, lo que sucede en cada uno de los controladores de carga y el bloque de datos que utiliza cada controlador de carga, así como información adicional.

Para iniciar una prueba, un usuario ejecuta la secuencia de comandos de ejecución. Otras secuencias de comandos leen la secuencia de comandos de ejecución; las secuencias de comandos leen la secuencia de comandos de ejecución como si fueran datos para poder determinar qué controladores de carga se utilizan en la prueba (por ejemplo, ver ciertos controladores de carga durante la prueba) y obtener datos de esos controladores de carga. Antes de la prueba, la secuencia de comandos de ejecución se puede usar para verificar que se están utilizando los archivos de configuración correctos, los datos corregidos están montados y otros parámetros de prueba previa. Una configuración de secuencia de comandos de prueba coordinada a modo de ejemplo incluye una primera secuencia de comandos de carcasa que inicia una prueba y una segundo secuencia de comandos de carcasa observa la prueba mientras se ejecuta y usa la primera secuencia de comandos para averiguar qué flujos monitorizar.

Al utilizar un solo archivo, el usuario puede verificar y validar los datos para la prueba, iniciar la prueba, verificar la prueba y ver la prueba, todo desde un solo punto, de modo que no haya una duplicación de la información de configuración.

Además, para validar varias características diferentes, el método de ensayo coordinado es capaz de probar simultáneamente las características, en lugar de probar las características por separado, como se realizó anteriormente.

En algunas realizaciones, una secuencia de comandos (por ejemplo, la secuencia de comandos de ejecución) es capaz de controlar la prueba mientras se ejecuta la prueba. Por ejemplo, la secuencia de comandos puede controlar diferentes aspectos de la prueba para iniciar, pausar, detener o modificar la prueba de cualquier manera. Para supervisar la prueba, la secuencia de comandos se configura de una manera que permite que la secuencia de comandos interactúe con la prueba. Por ejemplo, la secuencia de comandos está configurada para enviar los datos apropiados a las direcciones apropiadas de diferentes dispositivos.

La prueba coordinada es capaz de controlar muchos aspectos de una prueba, incluyendo, pero no limitado a, durante cuánto tiempo se ejecuta una prueba y si la prueba tiene suficientes bloques de datos para ejecutarse. La prueba coordinada también puede preparar un bloque de datos para la prueba, por ejemplo, en la secuencia de comandos de ejecución, las etapas de preparación se describen para un flujo dado, de modo que la secuencia de comandos realiza el trabajo de preparación automáticamente.

En algunas realizaciones, la prueba coordinada está integrada con el proceso de diseño del desarrollo de programación. Por ejemplo, los casos de uso se integran con un esquema de prueba, de modo que se coordinan varias etapas de prueba.

La figura 1 ilustra un diagrama de flujo de un método de prueba coordinado de acuerdo con algunas realizaciones. En la etapa 100, una secuencia de comandos realiza tareas preparatorias para una prueba (por ejemplo, determina si es necesario cargar nuevos bloques de datos y, de ser así, cargar los bloques de datos, incluyendo la generación de nuevos archivos de configuración). En la etapa 102, una secuencia de comandos de verificación realiza una comprobación preparatoria. Por ejemplo, la secuencia de comandos de verificación analiza una secuencia de comandos de ejecución para informar a un usuario de lo que sucederá en la prueba y verifica que los datos correctos y los archivos de configuración estén en los controladores de carga, lo que se realiza basándose en cada controlador de carga. La secuencia de comandos de verificación también realiza verificaciones de nivel más alto (por ejemplo, asegurándose de que todos los controladores de carga se estén ejecutando durante la misma cantidad de tiempo, asegurándose de que los bloques no sean más cortos de lo necesario y otras comprobaciones). Cuando la secuencia de comandos determina que la preparación se ha completado y la prueba está lista para ejecutarse, la prueba se inicia, en la etapa 104. En algunas realizaciones, la secuencia de comandos inicia la prueba y, en algunas realizaciones, la prueba se inicia independientemente de la secuencia de comandos. En algunas realizaciones, se realizan etapas adicionales entre la etapa de verificación y la etapa de lanzamiento. En la etapa 106, la secuencia de comandos de ejecución analiza la prueba. Por ejemplo, la secuencia de comandos de ejecución indica las etapas de la prueba a medida que se inician. La secuencia de comandos de ejecución también permite el análisis de características específicas. En la etapa 108, la secuencia de comandos de ejecución o una secuencia de comandos de monitorización separada monitoriza la prueba. Por ejemplo, la secuencia de comandos de monitorización monitoriza los controladores de carga e indica qué están haciendo los controladores de carga (por ejemplo, las tareas enviadas, los errores encontrados y más) para permitir que un usuario determine si algo va mal. En algunas realizaciones, una herramienta de monitorización adicional se usa al mismo tiempo con la secuencia de comandos de monitorización. En la etapa 110, finaliza la prueba. En la etapa 112, se realiza un análisis posterior a la prueba. Por ejemplo, la secuencia de comandos de ejecución o una o más secuencias de comandos adicionales se ejecutan para recopilar datos e integrarlos con uno o más informes. En algunas realizaciones, se implementan más o menos etapas. Por ejemplo, el software a probar se instala antes de ejecutar la secuencia de comandos. En otro ejemplo, la secuencia de comandos de ejecución u otras secuencias de comandos se modifican específicamente para la prueba. En otro ejemplo más, si una prueba falla, el análisis posterior a la prueba no se realiza. Además, la sincronización de las etapas puede ser tal que las etapas se produzcan en segundos (o menos), minutos, horas o días entre sí. En algunas realizaciones, se modifica el orden de las etapas. Cualquiera de las etapas descritas en este documento se puede realizar de forma automática o manual.

La figura 2 ilustra un diagrama de bloques de un dispositivo informático de ejemplo configurado para implementar el método de prueba coordinado de acuerdo con algunas realizaciones. El dispositivo informático 200 se puede utilizar para adquirir, almacenar, calcular, procesar, comunicar y/o mostrar información. Por ejemplo, un dispositivo informático 200 se puede utilizar para pruebas de carga. En general, una estructura de hardware adecuada para implementar el dispositivo informático 200 incluye una interfaz de red 202, una memoria 204, un procesador 206, dispositivo(s) de E/S 208, un bus 210 y un dispositivo de almacenamiento 212. La elección del procesador no es crítica siempre que se elija un procesador adecuado con suficiente velocidad. La memoria 204 puede ser cualquier memoria de ordenador convencional conocida en la técnica. El dispositivo de almacenamiento 212 puede incluir un disco duro, CDROM, CDRW, DVD, DVDRW, Blu-Ray®, tarjeta de memoria flash o cualquier otro dispositivo de almacenamiento. El dispositivo informático 200 puede incluir una o más interfaces de red 202. Un ejemplo de una interfaz de red incluye una tarjeta de red conectada a un Ethernet u otro tipo de LAN. Los dispositivos de E/S 208 pueden incluir uno o más de los siguientes: teclado, ratón, monitor, pantalla, impresora, módem, pantalla táctil, interfaz de botones y otros dispositivos. En algunas realizaciones, la estructura del hardware incluye múltiples procesadores y otro hardware para realizar el procesamiento paralelo. Las aplicaciones de prueba coordinada 230 utilizadas para realizar el método de prueba coordinada probablemente se almacenarán en el dispositivo de almacenamiento 212 y en la memoria 204 y se procesarán normalmente a medida que se procesan las aplicaciones. Se pueden incluir más o menos componentes que se muestran en la figura 2 en el dispositivo informático 200. En algunas realizaciones, se incluye hardware de prueba coordinada 220. Aunque el dispositivo informático 200 en la figura 2 incluye aplicaciones 230 y hardware 220 para implementar el método de prueba coordinado, el método de prueba coordinada puede implementarse en un dispositivo informático en hardware, firmware, software o cualquier combinación de los mismos. Por ejemplo, en algunas realizaciones, las aplicaciones de prueba coordinada 230 se programan en una memoria y se ejecutan usando un procesador. En otro ejemplo, en algunas realizaciones, el hardware de prueba coordinado 220 es una lógica de hardware programada que incluye puertas específicamente diseñadas para implementar el método.

En algunas realizaciones, la(s) aplicación(es) de prueba coordinada 230 incluye(n) varias aplicaciones y/o módulos. En algunas realizaciones, los módulos incluyen uno o más submódulos también.

Ejemplos de dispositivos informáticos adecuados incluyen un ordenador personal, un ordenador portátil, una estación de trabajo informática, un servidor, un ordenador central, un ordenador de mano, un asistente digital personal, un teléfono celular/móvil (por ejemplo, un iPhone®), un dispositivo inteligente, una tableta (por ejemplo, un iPad®) o cualquier otro dispositivo informático adecuado.

La figura 3 ilustra un diagrama de una configuración de prueba de rendimiento de ejemplo para implementar las pruebas coordinadas de acuerdo con algunas realizaciones. El ejemplo de configuración de prueba 300 incluye un controlador 302, generadores de carga 304, un equilibrador de carga 306, servidores web 308, servidores de aplicaciones 310 y servidores de bases de datos 312. El controlador 302 inicia la prueba de carga. El controlador 302 también ejecuta la secuencia de comandos de ejecución como se describe en este documento, por ejemplo, la secuencia de comandos de ejecución analiza y monitoriza los controladores de carga. Las secuencias de comandos adicionales se ejecutan en el controlador 302 u otros dispositivos dependiendo de la implementación de la secuencia de comandos. Los generadores de carga 304 simulan cargas, tal como usuarios que acceden a un sitio web. El equilibrador de carga 306 distribuye la carga a los servidores web 308. Los servidores web 308 realizan tareas de servicio web, lo que implica el acceso a datos desde los servidores de aplicaciones 310. Los servidores de aplicaciones 310 sirven a las aplicaciones que acceden a datos desde el servidor de bases de datos 312. Otros procesos y tareas son realizados por los dispositivos respectivos según se desee o se necesite. En algunas realizaciones, se utilizan menos o dispositivos adicionales.

Para utilizar el método de prueba coordinada, un usuario ejecuta una única secuencia de comandos o varias secuencias de comandos que son capaces de analizar las condiciones de prueba, incluyendo s condiciones previas a la prueba, de la prueba y después de la prueba. Al utilizar el método de prueba coordinado, el usuario puede preparar un procedimiento de prueba y detectar errores de manera más efectiva.

En operación, la prueba coordinada ayuda a prevenir un mal funcionamiento a mediados de la prueba debido a una inadecuada configuración de prueba u otros errores. Al usar un archivo de descripción de ejecución única en las múltiples fases de la ejecución de la prueba, la posibilidad de errores se reduce considerablemente.

La presente invención ha sido descrita en términos de realizaciones específicas que incorporan detalles para facilitar la comprensión de los principios de construcción y operación de la invención. Dicha referencia en el presente documento a realizaciones específicas y detalles de las mismas no pretende limitar el alcance de las reivindicaciones adjuntas. Será fácilmente evidente para un experto en la materia que pueden realizarse otras modificaciones diversas en la realización elegida para ilustración sin apartarse del alcance de la invención como se define en las reivindicaciones.

Claims

REIVINDICACIONES

1. Un método de implementación de pruebas coordinadas programadas en una memoria de un dispositivo, que comprende:

en un controlador (302):

a. realizar un análisis de prueba previa (102) utilizando una secuencia de comandos de verificación;

b. iniciar una prueba utilizando una secuencia de comandos de ejecución (104);

c. monitorizar la prueba utilizando una secuencia de comandos de monitorización (108); y

d. realizar análisis posterior al procesamiento (112) utilizando una secuencia de comandos de análisis, en donde la secuencia de comandos de verificación, la secuencia de comandos de monitorización y la secuencia de comandos de análisis utilizan el secuencia de comandos de ejecución como un archivo de datos de descripción de ejecución para especificar un flujo de prueba, cargar información de la función del controlador y desde el cual de una pluralidad de controladores de carga se recuperan datos; lanzar instancias de controlador de carga en una pluralidad de generadores de carga (304), simulando cargas;

en un equilibrador de carga (306), distribuir las cargas simuladas a servidores web (308)

en donde la secuencia de comandos de monitorización monitoriza los controladores de carga, e indica qué están haciendo los controladores de carga durante la prueba, monitoriza una duración de ejecución de la prueba y analiza las características específicas que se están probando.

2. El método de la reivindicación 1, en el que la secuencia de comandos de ejecución realiza tareas preparatorias para la prueba.

3. El método de la reivindicación 1 o de la reivindicación 2, en el que la secuencia de comandos de verificación utiliza la secuencia de comandos de ejecución para informar a un usuario de un proceso de prueba y verifica que se proporcionen datos correctos y archivos de configuración en los controladores de carga.

4. El método de cualquiera de las reivindicaciones anteriores, en el que la secuencia de comandos de ejecución indica además etapas de una prueba a medida que se inicia cada etapa.

5. El método de cualquiera de las reivindicaciones anteriores, en el que la secuencia de comandos de análisis analiza los resultados de las pruebas, recopila datos que incluyen registros de controladores de carga, analiza los registros e integra los datos en un informe.

6. El método de una cualquiera de las reivindicaciones anteriores, en el que la secuencia de comandos de ejecución realiza tareas de monitorización que incluyen aspectos de control de la prueba.

7. El método de una cualquiera de las reivindicaciones anteriores, en el que la prueba está integrada con un proceso de diseño de desarrollo de programas.

8. El método de cualquiera de las reivindicaciones anteriores, en el que realizar un análisis de prueba previa utilizando la secuencia de comandos de verificación comprende verificar los datos de prueba precargados y las configuraciones específicas de flujo de prueba y verificar que son correctos los archivos de configuración y los datos montados.

9. El método de cualquiera de las reivindicaciones anteriores, en el que la secuencia de comandos de verificación, la secuencia de comandos de ejecución, la secuencia de comandos de monitorización y la secuencia de comandos de análisis están contenidos en un solo archivo.

10. Una configuración de prueba, que comprende:

a. una memoria no transitoria en un controlador (302) para almacenar una aplicación, estando la aplicación organizada para automáticamente:

i. realizar un análisis de prueba previa (102) utilizando una secuencia de comandos de verificación;

ii. ejecutar la prueba (104) utilizando la secuencia de comandos de ejecución;

iii. analizar la prueba (106) utilizando la secuencia de comandos de ejecución que incluye indicar las etapas de la prueba a medida que comienzan las etapas;

iv. monitorizar la prueba (108) utilizando una secuencia de comandos de monitorización; y

v. realizar análisis de procesamiento posterior (112) utilizando una secuencia de comandos de análisis; en donde la secuencia de comandos de verificación, la secuencia de comandos de monitorización y la secuencia de comandos de análisis utilizan la secuencia de comandos de ejecución como un archivo de datos de descripción de ejecución para especificar un flujo de prueba, cargar información de la función del controlador y desde cuál de una pluralidad de controladores de carga se recuperan datos; y

b. un componente de procesamiento acoplado a la memoria, estando el componente de procesamiento configurado para procesar la aplicación;

estando la pluralidad de controladores de carga dispuestos para ser lanzados en una pluralidad de generadores de carga (304) para simular cargas;

un equilibrador de carga (306) dispuesto para distribuir las cargas simuladas a los servidores web en donde la secuencia de comandos de monitorización monitoriza los controladores de carga e indica qué están haciendo los controladores de carga durante la prueba, monitoriza la longitud de la ejecución de la prueba y analiza las características específicas que se están probando.

11. La configuración de prueba de la reivindicación 10, en la que la secuencia de comandos de verificación utiliza la secuencia de comandos de ejecución para informar a un usuario de un proceso de prueba.

12. La configuración de prueba de una cualquiera de las reivindicaciones 10 a 11, en la que la secuencia de comandos de ejecución realiza tareas de supervisión que incluyen aspectos de control de la prueba.

13. La configuración de prueba de una cualquiera de las reivindicaciones 10 a 12, en la que la prueba está integrada con un proceso de diseño de desarrollo de programa.