ES2922650T3 - Sistema y procedimiento para evaluar el rendimiento de dispositivos inalámbricos y redes inalámbricas - Google Patents

Sistema y procedimiento para evaluar el rendimiento de dispositivos inalámbricos y redes inalámbricas Download PDF

Info

Publication number
ES2922650T3
ES2922650T3 ES18741154T ES18741154T ES2922650T3 ES 2922650 T3 ES2922650 T3 ES 2922650T3 ES 18741154 T ES18741154 T ES 18741154T ES 18741154 T ES18741154 T ES 18741154T ES 2922650 T3 ES2922650 T3 ES 2922650T3
Authority
ES
Spain
Prior art keywords
network
data
wireless device
wireless
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18741154T
Other languages
English (en)
Inventor
Brennen Stephen Chow
Hunter Banford Bulmer Macdonald
David Daniel Yarish
Anthony Sean Kroeker
Stephen William Neville
Thomas E Darcie
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tutela Tech Ltd
Original Assignee
Tutela Tech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tutela Tech Ltd filed Critical Tutela Tech Ltd
Application granted granted Critical
Publication of ES2922650T3 publication Critical patent/ES2922650T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/20—Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters

Abstract

Se proporciona un método para evaluar el rendimiento del dispositivo inalámbrico y/o la red inalámbrica y/o las tendencias de uso de la red inalámbrica. El método comprende proporcionar software de dispositivo inalámbrico a cada uno de una pluralidad de dispositivos electrónicos inalámbricos conectados a una o más de una pluralidad de redes al tener el software de dispositivo inalámbrico integrado en el dispositivo electrónico correspondiente, donde el software de dispositivo inalámbrico está integrado u operable con una pluralidad de tipos de aplicaciones y realiza al menos una prueba asociada con las características y/o la ubicación del dispositivo, y/o el rendimiento del dispositivo y/o la red, y/o el uso del dispositivo por parte de un usuario; recibir a través de uno o más servidores de recopilación, datos de prueba obtenidos por el software del dispositivo inalámbrico de cada uno de la pluralidad de dispositivos electrónicos inalámbricos; agregando los datos recibidos; y almacenar y enviar los datos agregados. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Sistema y procedimiento para evaluar el rendimiento de dispositivos inalámbricos y redes inalámbricas CAMPO TÉCNICO
Lo siguiente se refiere a un procedimiento y un medio legible por ordenador para evaluar el rendimiento del dispositivos inalámbricos y redes inalámbricas, y las tendencias de uso de redes inalámbricas.
DESCRIPCIÓN DE LA TÉCNICA RELACIONADA
El número de dispositivos inalámbricos que acceden a las redes de comunicación inalámbrica crece continuamente. Estos dispositivos pueden acceder a las diversas redes a través de celulares, WiFi y otros puntos de acceso. A medida que crece la cantidad de dispositivos, crece la tensión en estas redes, lo que afecta el rendimiento tanto de las redes como de los dispositivos.
Para abordar el rendimiento de los dispositivos inalámbricos y de las redes inalámbricas, los proveedores de servicios de red, los fabricantes de dispositivos, los desarrolladores de aplicaciones y otras entidades que tienen interés en afectar dicho rendimiento requieren datos de rendimiento y uso. Existen varias técnicas para recopilar y evaluar datos de rendimiento y uso, por ejemplo, aplicaciones independientes en el dispositivo o módulos que realizan pruebas periódicas. Los operadores inalámbricos también pueden tener aplicaciones nativas que tienen acceso a ciertos datos de rendimiento que se pueden evaluar. Sin embargo, estas técnicas pueden ser intrusivas para los dispositivos y para los usuarios de esos dispositivos, o estar limitadas al tipo de red y/o tipo de dispositivo y/o tipo de usuario sobre el que se despliegan las aplicaciones o módulos.
En el documento EP 2378712 A1 se describe un dispositivo móvil de comunicación inalámbrica para usar con una red inalámbrica y un procedimiento y un sistema para usar con una red inalámbrica. El dispositivo de comunicaciones inalámbricas móviles puede comprender, por ejemplo, un procesador y una memoria acoplados al procesador y un módulo de datos de aplicación conectado comunicativamente al procesador para recopilar información relacionada con una aplicación en respuesta a un evento de gestión de aplicaciones invocado en el dispositivo de comunicaciones inalámbricas móviles.
RESUMEN
La invención establece un procedimiento para evaluar dispositivos inalámbricos y/o el rendimiento de una red inalámbrica y/o tendencias de uso de redes inalámbricas según la reivindicación 1. La invención también establece un medio legible por ordenador que comprende instrucciones ejecutables por ordenador para realizar el procedimiento según cualquiera de las reivindicaciones 1 a 14.
Lo siguiente proporciona un sistema y un procedimiento que permite evaluar el rendimiento de dispositivos inalámbricos y redes inalámbricas mediante la incorporación de software de dispositivos inalámbricos en una pluralidad de aplicaciones (o sistemas operativos) implementadas y que se ejecutan en una pluralidad de tipos de dispositivos electrónicos inalámbricos y en una pluralidad de tipos de red, para permitir la agregación de una colección de datos más completa. Esto permite crear un conjunto de datos más grande y significativo para análisis e informes posteriores. Los conjuntos de datos agregados se pueden usar para proporcionar datos sin procesar, informes e interfaces tipo panel a terceros, y/o preparar y enviar datos de retroalimentación al software del dispositivo inalámbrico para controlar el comportamiento de prueba y, si se desea, controlar la cantidad y el tipo de datos que se recopilan.
Los datos de retroalimentación se pueden usar para muchas operaciones diferentes, incluso para adaptar y mejorar el rendimiento de la aplicación y/o dispositivo, que tiene en cuenta los datos adquiridos y agregados de una multitud de aplicaciones, dispositivos y redes. Los datos sin procesar, los informes y las interfaces del panel se pueden usar para proporcionarlos a operadores de red o proveedores de servicios, fabricantes de dispositivos, desarrolladores de juegos y/o aplicaciones y otras partes interesadas para realizar acciones basadas en un conjunto de datos más completo, por ejemplo, para evaluación comparativa de dispositivos y redes, publicidad móvil, tracción y popularidad de aplicaciones, toma de decisiones de inversión, calidad de experiencia (QoS - Quality of Experience), planificación de redes, etc.
En un aspecto, se proporciona un procedimiento para evaluar dispositivos inalámbricos y/o el rendimiento de la red inalámbrica y/o tendencias de uso de redes inalámbricas. El procedimiento comprende proporcionar software de dispositivo inalámbrico a cada uno de una pluralidad de dispositivos electrónicos inalámbricos conectados a una o más de una pluralidad de redes al tener el software de dispositivo inalámbrico integrado en el dispositivo electrónico correspondiente, donde el software de dispositivo inalámbrico está integrado o es operable con una pluralidad de tipos de aplicaciones y realiza al menos una prueba asociada con características y/o ubicación del dispositivo, y/o rendimiento del dispositivo y/o la red, y/o uso del dispositivo por parte de un usuario; recibiendo, a través de uno o más servidores de recopilación, datos de prueba obtenidos por el software del dispositivo inalámbrico de cada uno de la pluralidad de dispositivos electrónicos inalámbricos; agregando los datos recibidos; y almacenando y enviando los datos agregados.
En otros aspectos, existen sistemas y medios legibles por ordenador configurados u operables para realizar el procedimiento.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
Las realizaciones se describirán ahora a modo de ejemplo solo con referencia a los dibujos adjuntos donde:
La FIG. 1 es un diagrama de bloques esquemático de un entorno de comunicación inalámbrica que incluye varios tipos de redes y dispositivos;
La FIG. 2A es un diagrama de bloques de una configuración para un dispositivo inalámbrico;
La FIG. 2B es un diagrama de bloques de otra configuración para un dispositivo inalámbrico;
La FIG. 3 es un diagrama de bloques de una configuración para recopilar datos de dispositivos móviles usando software de dispositivo inalámbrico (WDS - Wireless Device Software);
La FIG. 4 es un diagrama de bloques de una configuración para recopilar datos de dispositivos móviles usando WDS con procesamiento de datos, distribución de datos y soporte de software de dispositivo; La FIG. 5 es un diagrama de bloques que ilustra la configuración mostrada en la FIG. 4 para una pluralidad de dispositivos y una pluralidad de sistemas de terceros;
La FIG. 6 es un diagrama esquemático que ilustra una configuración para un módulo de procesamiento de datos para realizar la agregación de datos desde una pluralidad de dispositivos;
La FIG. 7 es un diagrama esquemático que ilustra una configuración para un módulo de distribución de datos para realizar análisis de retroalimentación para distribución a dispositivos;
La FIG. 8 es un diagrama de bloques que ilustra detalles adicionales de la configuración mostrada en la FIG. 4;
La FIG. 9 es un diagrama de bloques que ilustra una configuración en la que se usa un servidor de retroalimentación para comunicar datos de retroalimentación a dispositivos móviles;
La FIG. 10 es un diagrama de flujo que ilustra instrucciones ejecutables por ordenador realizadas al agregar datos de una pluralidad de dispositivos;
La FIG. 11 es un diagrama de flujo que ilustra instrucciones ejecutables por ordenador realizadas al analizar y distribuir datos de retroalimentación;
La FIG. 12 es una captura de pantalla de una interfaz de usuario de ejemplo para mostrar la disponibilidad de cobertura de red para una región;
La FIG. 13 es una captura de pantalla de una interfaz de usuario de ejemplo para mostrar un mapa del mejor proveedor;
La FIG. 14 es una captura de pantalla de una interfaz de usuario de ejemplo para mostrar el rendimiento de descarga y el cambio de rendimiento para una región;
La FIG. 15 es una captura de pantalla de una interfaz de usuario de ejemplo para mostrar la calidad de servicio (QoS - Quality of Service) de la red para autopistas en una región;
La FIG. 16 es una captura de pantalla de una interfaz de usuario de ejemplo para mostrar estadísticas de red para todos los operadores en una geografía seleccionada;
La FIG. 17 es una captura de pantalla de una interfaz de usuario de ejemplo para realizar análisis de red basados en la red;
La FIG. 18 es una captura de pantalla de una interfaz de usuario de ejemplo para mostrar tendencias a nivel macro; y
La FIG. 19 es una captura de pantalla de una interfaz de usuario de ejemplo para mostrar detalles de rendimiento de la red a nivel micro.
DESCRIPCIÓN DETALLADA
Lo siguiente proporciona un sistema y un procedimiento que permite evaluar el rendimiento de la red inalámbrica y el dispositivo inalámbrico y las tendencias de uso de la red inalámbrica mediante la incorporación de software de dispositivo inalámbrico en el segundo plano de una pluralidad de aplicaciones (o sistemas operativos) implementadas y que se ejecutan en una pluralidad de tipos de dispositivos y a través de una pluralidad de tipos de red; para permitir una agregación de tipos de datos para el análisis y la elaboración de informes de un conjunto de datos más significativo.
Se ha descubierto que mediante el crowdsourcing de datos de una pluralidad de aplicaciones en una pluralidad de tipos de dispositivos en una pluralidad de tipos de redes, se obtiene un conjunto de datos más grande y más significativo no solo para realizar análisis en dispositivos, aplicaciones y redes, sino también para proporcionar retroalimentación a tales aplicaciones, dispositivos y redes para modificar y/o mejorar el comportamiento de prueba. Además, los conjuntos de datos agregados se pueden usar para proporcionar datos sin procesar, informes e interfaces tipo panel a terceros. De esta manera, los datos como la calidad de servicio (QoS) de la red, los datos de aplicaciones y dispositivos que se obtienen de dispositivos móviles se pueden usar para: determinar e ilustrar la perspectiva del cliente de una red, mostrar datos de uso de dispositivos y aplicaciones, brindar informaciones que son procesables de inmediato y prueban varias partes del dispositivo y el rendimiento de la red que son útiles en varias aplicaciones en curso.
Volviendo ahora a las figuras, la FIG. 1 ilustra un ejemplo de un entorno inalámbrico 10 que incluye varias redes inalámbricas 14 que pueden ser de diferentes tipos, por ejemplo, diferentes tipos de redes de celulares (2G, 3G, 4G, etc.). Los diferentes tipos de red también pueden incluir otros tipos de redes inalámbricas, como redes WiFi accesibles a través de puntos de acceso WiFi disponibles. Dentro del entorno de red inalámbrica 10, varios dispositivos de comunicación electrónica 12 que tienen capacidades inalámbricas funcionan conectándose a uno o más de las diferentes redes/ tipos de redes 14 y/o directamente entre sí a través de redes entre pares o de tipo malla 14. Como se ilustra en la FIG. 1, varios tipos de dispositivos electrónicos 12 están configurados para conectarse y usar uno o más tipos de redes inalámbricas 14, proporcionando así un entorno de red heterogéneo 10 para el cual se puede monitorear, medir, analizar, proporcionar retroalimentación y ajustar la operabilidad como se describe en esta invención.
Con el fin de obtener un conjunto de datos más significativo y proporcionar análisis de datos en un entorno 10 más representativo, cada uno de los dispositivos 12 incluye una funcionalidad de software (descrita a continuación) que es capaz de realizar pruebas, monitorear las operaciones y el uso del dispositivo existente, y recopilar datos en o relacionados con una o más aplicaciones en ese dispositivo 12. Al asociarse con editores de diversas aplicaciones móviles (p. ej., juegos), la funcionalidad del software se puede distribuir a millones de dispositivos móviles 12 para recopilar de forma anónima datos de QoS, datos de uso de dispositivos y aplicaciones, entre otras cosas. Se pueden implementar varios acuerdos de asociación, como 1) compartición de ingresos en datos sin procesar, y/o informar sobre las ventas, por ejemplo, proporcionar información a través del análisis o una presentación adecuada de la información para análisis posteriores; 2) pago de honorarios por adelantado a desarrolladores de aplicaciones/juegos, 3) proporcionar a desarrolladores de aplicaciones/juegos informes útiles para estimular la adopción de la funcionalidad del software, etc. Se puede apreciar que las asociaciones no serían necesariamente necesarias para implementar la funcionalidad del software en los dispositivos mediante la distribución a través de los canales, aplicaciones, sistemas operativos existentes, etc.
Se puede apreciar que dicha funcionalidad de software también se puede integrar con aplicaciones de operadores u otras aplicaciones diseñadas específicamente para usarse en varios dispositivos móviles 12. La funcionalidad del software se puede integrar en aplicaciones y juegos que se ejecutan en varias plataformas móviles/ SO como Android, iOS, Windows, etc.; así como otras plataformas móviles como las usadas para dispositivos “vestibles” (wearables), juegos, sistemas de vehículos, sensores inalámbricos, etc. Es decir, cualquier otro dispositivo/plataforma con capacidades de seguimiento de ubicación (p. ej., GPS, ubicación basada en red, etc.) y conectividad de red (p. ej., Internet) con la capacidad de ejecutar la funcionalidad de software descrita en esta invención son aplicables a la recopilación, el análisis y mecanismos de retroalimentación/ información descritos en esta invención. En algunas implementaciones, también se pueden incorporar al sistema dispositivos con solo conectividad de red y sin capacidades basadas en la ubicación.
Los datos 16 que se recopilan están preferiblemente vinculados a una ubicación o se consideran "basados en la ubicación", de modo que los datos 16 o la información derivada de los datos 16 se pueden colocar en un mapa. Los datos 16 también se recopilan preferiblemente de manera anónima, de modo que no se recopila y/o almacena información de identificación personal por el sistema 18. Por ejemplo, el sistema 18 debe configurarse para no recopilar la identificación del anunciante de un dispositivo, la identificación del dispositivo u otra información que podría usarse junto con otro conjunto de datos para identificar al usuario del dispositivo 12. En una implementación, la funcionalidad de software descrita en esta invención puede configurarse para generar y agregar un número aleatorio único que es específico de la instalación en particular y que se restablece (por ejemplo, se regenera) periódicamente (por ejemplo, cada día). Esto se puede hacer para garantizar que un adversario no pueda observar los datos informados desde un dispositivo en el transcurso de varios días para determinar a quién puede pertenecer ese dispositivo.
Los datos 16 pueden incluir, entre otros: ubicación del dispositivo, nombre del fabricante del dispositivo, modelo del dispositivo, nombre y versión del sistema operativo, ID del operador de red, % de memoria libre, uso de la CPU, tasa de agotamiento de la batería, uso del almacenamiento (es decir, métricas del dispositivo), nombre de la aplicación, bytes de descarga, bytes de carga, hora de la primera instalación, hora de la última actualización (es decir, métricas de aplicaciones móviles), rendimiento de carga, rendimiento de descarga, latencia, velocidad del enlace, intensidad de la señal, jitter, tasa de descarte de paquetes, pérdida de paquetes, # de conflictos de frecuencia de radio (es decir, métricas de QoS de red), BSSID, SSID, intensidad de la señal (es decir, métricas de escaneo de Wi-Fi), tiempos de inicio/fin de conexión, tipo de conexión, tecnología, proveedor de servicios, identificación de celda, LAC, MCC, MNC, tiempo de respuesta de DHCP (es decir, métricas de conexión), etc.
Los datos recopilados 16 se alimentan a un sistema central 18 que incluye módulos y procedimientos para recopilar los datos 16, procesar y analizar los datos 16, generar retroalimentación para los dispositivos 12 y preparar interfaces de usuario y, por lo tanto, informes. Se puede apreciar que se pueden usar múltiples sistemas "centrales" 18, por ejemplo, para cumplir con las leyes de manejo que requieren que los datos de una jurisdicción en particular se almacenen en esa jurisdicción, etc. Los datos se pueden almacenar de forma segura en bases de datos basadas en la nube y transmitidos a través de conexiones seguras (por ejemplo, HTTPS). Las bases de datos se pueden dispersar globalmente y se pueden configurar para brindar acceso directo a los clientes del sistema 18.
Los informes y las interfaces de usuario se generan y se ponen a disposición de uno o más terceros 22. En la FIG. 1 se proporcionan varios ejemplos de tipos de terceros, incluidos, entre otros, operadores de red (múltiples diferentes), desarrolladores de juegos y/o aplicaciones (app) y otros sistemas de 3r°s, como empresas de análisis de datos, entidades de publicidad móvil, entidades financieras y de inversión, etc. Los informes y las interfaces de usuario se pueden proporcionar usando herramientas de visualización de datos como informes gráficos, paneles interactivos, herramientas de red, etc. Los informes se pueden entregar de forma periódica o en tiempo real con paneles disponibles cuando se necesitan en línea en cualquier momento.
Los datos y/o informes sin procesar, paneles y otras interfaces de usuario se pueden usar para innumerables aplicaciones y casos de uso. Por ejemplo, los datos 16 que se recopilan pueden usarse para la planificación de redes, donde dado que el sistema 18 observa potencialmente todas las redes 14, los proveedores de servicios inalámbricos pueden interactuar con el sistema 18 para ver cómo se desempeñan en relación con la competencia en áreas específicas. Esto puede indicar, por ejemplo, cuáles son las áreas de mayor valor para mejorar una red, ya que los mejores sitios nuevos para mejorar la red suelen ser áreas donde hay mucho tráfico de red y en las que la competencia está superando a un proveedor de red. Los datos también pueden ser útiles para los clientes de proveedores de servicios inalámbricos que deseen ver cómo se está desempeñando su proveedor de servicios en relación con las alternativas.
Otro caso de uso es para el monitoreo de roaming, ya que los operadores de red generalmente carecen de conocimiento sobre la calidad de la experiencia que obtienen sus usuarios cuando se desplazan a otras redes. El sistema 18 configurado como se describe en esta invención puede determinar, para los dispositivos 12 que tienen la funcionalidad de software que obtiene los datos 16 de colaboración colectiva, si los datos 16 se recopilan o no desde un dispositivo itinerante 12, y si el dispositivo 12 está itinerante, el sistema 18 puede ser configurado para determinar quién es el proveedor de servicios domésticos, a partir de los datos 16 que se recopilan. Esto le dice al operador si sus aliados de roaming están funcionando lo suficientemente bien y a quién deberían elegir para ser su aliado de roaming en el futuro.
Las redes autoorganizadas (SON - Self-Organizing Networks) también pueden beneficiarse de los datos 16 que el sistema obtiene mediante colaboración colectiva 18. Las SON ajustan dinámicamente la red, las antenas o las características de formación de ondas en respuesta a la calidad de la red. La idea es que la red se autorrepare, de modo que si hay un problema, la red se ajustará para eliminar el problema por sí sola. Las SON generalmente requieren acceso a grandes cantidades de datos de campo para operar, lo que puede satisfacerse con los grandes conjuntos de datos que se pueden obtener usando el sistema 18.
Otros casos de uso incluyen, entre otros: evaluación comparativa de dispositivos y redes en la que el sistema informa sobre qué redes, dispositivos, torres celulares, equipos de red, sistemas operativos, etc. funcionan mejor para los consumidores; y aplicaciones de inversión. Con respecto a la información de inversiones, se puede apreciar que el sistema 18 puede determinar qué diversas aplicaciones móviles existen y se están usando en los dispositivos móviles 12, y ser capaz de determinar día a día cuánto se usan esas aplicaciones móviles. Esto permite establecer correlaciones entre la actividad del usuario (p. ej., compras móviles, navegación, etc.) y el rendimiento de una empresa y, por lo tanto, el valor compartido. Otro caso de uso más puede incluir informes sobre tendencias de uso de aplicaciones móviles y qué aplicaciones están ganando o perdiendo popularidad entre los clientes. Un proveedor de servicios inalámbricos podría usar esta información para predecir el impacto en la red de las tendencias de las aplicaciones de los consumidores. Una institución financiera podría usar esta información para hacer predicciones relacionadas con el mercado de valores.
Volviendo ahora a la FIG. 2A, se muestra un ejemplo de una configuración para un dispositivo electrónico 12. El dispositivo 12 incluye un procesador 30, una memoria 32 y un sistema operativo 42. El dispositivo 12 también se puede operar en este ejemplo para proporcionar interfaces gráficas de usuario a un usuario a través de una pantalla 34. Por ejemplo, se puede proporcionar un componente visual directamente en el dispositivo 12 para mostrar una parte de la información recopilada al usuario, si el usuario lo desea. El dispositivo 12 también incluye una o más interfaces de comunicación 36 que se pueden operar para conectar el dispositivo 12 a una o más redes 14. Como también se muestra en la FIG. 2A, el dispositivo 12 puede incluir múltiples aplicaciones 38, de diferentes tipos, como se explicó anteriormente. Para recopilar y enviar datos 16 relevantes a través de múltiples aplicaciones 38 y tipos de aplicaciones, en esta configuración de ejemplo, cada aplicación 38 incorpora la funcionalidad de software antes mencionada, representada como software de dispositivo inalámbrico (WDS) 40, que está integrado y se ejecuta en el segundo plano de la aplicación 38 para recopilar datos particulares, realizar pruebas, etc. El WDS 40 es capaz no solo de acceder a componentes en el dispositivo 12 como el procesador 30, la batería (no se muestra) y el sistema operativo 42, el WDS 40 se puede configurar ya sea directamente, o a través de la aplicación 38 en la que reside, comunicarse en una o más redes 14 interactuando con una o más interfaces de comunicación 36.
Se puede apreciar que mientras que en la FIG. 2A cada aplicación 38 incluye una instancia integrada del WDS 40 para monitorear y probar la aplicación 38 y/o dispositivo 12, el WDS 40 se puede implementar en varias otras configuraciones. Por ejemplo, la FIG. 2B ilustra que el WDS 40 puede, en lugar de (o además de), residir en el SO 42 e interactuar centralmente con varias aplicaciones 38, el WDS 40 también puede residir como una aplicación independiente o en otra ubicación o componente del dispositivo 12 como se muestra en líneas discontinuas con funcionalidad para interactuar con varias (o todas) las aplicaciones 38. De manera similar, una o más de las aplicaciones 38 también pueden tener el WDS 40 residiendo allí (también se muestra en líneas discontinuas), por ejemplo, aplicaciones 38 que necesitan tener tales operaciones controladas internamente en lugar de abrirse a un programa, módulo o rutina externos. Por lo tanto, el WDS 40 se puede instalar en varias aplicaciones diferentes (es decir, en una aplicación meteorológica y a continuación en un juego totalmente diferente) y estas diferentes aplicaciones podrían instalarse potencialmente en el mismo teléfono o en una multitud de teléfonos diferentes. Esto permite el escenario en el que el WDS 40 se instala varias veces en el mismo teléfono (por ejemplo, como se ilustra), en cuyo caso el WDS 40 debe identificar que está obteniendo datos del mismo dispositivo 12. Se puede apreciar que el WDS 40 puede tener un límite codificado de varias pruebas que se pueden realizar durante un período de tiempo, cuyos límites son inalterables por el servidor de configuración. El WDS 40 también puede funcionar para identificar si su propio código está ejecutándose en una aplicación diferente en un mismo dispositivo electrónico, y responder a la identificación de si su propio código está ejecutándose en la aplicación diferente al tener solo una instancia del software del dispositivo inalámbrico operando al mismo tiempo.
Una configuración de recopilación de datos se muestra en un nivel alto en la FIG. 3. Cada dispositivo móvil 12 que está configurado para operar el WDS 40 (usando una o más aplicaciones 38) proporciona datos a un servidor de recopilación 50 que se implementa como parte del sistema 18. Los datos recopilados 16 se procesan como se describe en esta invención, junto con los datos 16 obtenidos de otros dispositivos 12, para generar información y datos para sistemas de terceros 22. La FIG. 4 proporciona más detalles de la configuración mostrada en la FIG. 3, en la que el servidor de recopilación 50 recopila los datos 16 y hace que los datos recopilados sean procesados por una etapa de procesamiento de datos 52. Los datos así procesados se proporcionan a continuación a una etapa de distribución de datos 54 para su distribución a los sistemas de terceros 22. La FIG. 4 también ilustra que la etapa de distribución de datos 54 también puede permitir que el sistema 18 proporcione retroalimentación al dispositivo móvil 12 al comunicarse con una funcionalidad de soporte de software del dispositivo 56 que se puede conectar al WDS 40 para completar el bucle de retroalimentación. Al tener el WDS 40 implementado en múltiples tipos de aplicaciones diferentes en múltiples tipos de dispositivos diferentes que operan con múltiples tipos de redes diferentes, no solo se pueden recopilar datos de una gama más amplia de fuentes para proporcionar un conjunto de datos más significativo y completo; se puede establecer una red de retroalimentación más completa, lo que brinda la capacidad de llegar a una gama más amplia de dispositivos 12. Dicha red de retroalimentación se puede usar para varios propósitos, incluso para modificar el comportamiento del WDS 40.
La FIG. 5 ilustra una configuración similar a la mostrada en la FIG. 4, pero que ilustra la recopilación de datos 16 de múltiples dispositivos 12 a través de múltiples WDS 40. Como se muestra en la FIG. 5, la pluralidad de dispositivos móviles 12 que se muestra puede ser atendida por una entidad de soporte de software de dispositivo común 56 y puede proporcionar datos 16 a un servidor de recopilación común 50. El sistema 18 puede emplear múltiples servidores de recopilación regionales 50 y entidades de soporte de software de dispositivo 56 según sea necesario y, por lo tanto, el ejemplo que se muestra en la FIG. 5 es solo ilustrativo.
En el lado de la recopilación de datos, la FIG. 6 ilustra operaciones que se pueden realizar en la etapa de procesamiento de datos 52 para recopilar y agregar los datos 16 que se reciben potencialmente de una multitud de diferentes tipos de fuentes. Como se ilustra en la FIG. 6 dado que los datos 16 se originan en diferentes aplicaciones 38 en diferentes tipos de dispositivos que operan en diferentes tipos de redes, aunque los datos pueden ser relevantes colectivamente, no son necesariamente homogéneos. Por lo tanto, los datos recopilados se agregan, en este ejemplo usando un módulo de agregación de datos 60 que puede usar conjuntos de reglas 62 o plantillas u otras estructuras de datos que definen cómo agregar significativamente los datos para el análisis posterior generando uno o más conjuntos de datos agregados 66 que pueden almacenarse dentro de la etapa de procesamiento de datos 52 o en otro lugar dentro de o accesible para el sistema 18. El módulo de agregación de datos 60 también puede usar cualesquiera otros metadatos de 3r°s 64 de fuentes de datos de terceros que sean útiles para agregar y analizar los datos 16.
La FIG. 7 ilustra en un alto nivel el uso de los conjuntos de datos agregados 66 para realizar análisis posteriores usando un módulo de análisis de retroalimentación 70. Esto permite que el análisis se realice en datos que se han agregado o "unido" a través de los tipos de datos, tipos de aplicaciones y tipos de redes para proporcionar retroalimentación más significativa 72 que se pueden adaptar de acuerdo con diferentes dispositivos 12, diferentes aplicaciones 38, uso en diferentes regiones, en diferentes redes o tipos de redes, etc.
Mayor detalle sobre los bloques funcionales mostrados en las FIG. 4 y 5 se proporciona en la FIG. 8. Comenzando con el dispositivo móvil 12, el WDS 40 en este ejemplo está integrado en una aplicación móvil 38 e incluye una interfaz de software 84 para interactuar entre la aplicación 38 y un controlador de software 86 para controlar las pruebas y otras operaciones del WDS 40 . El WDS 40 también incluye un almacenamiento de datos de prueba 88 para almacenar datos adquiridos durante las pruebas, un SDK de prueba 90 para realizar una o más pruebas particulares que implican el funcionamiento de la aplicación 38 y/o el propio dispositivo a través del SO del dispositivo 42. El WDS 40 también incluye un SDK de utilidades 92 que incluye procedimientos, funciones y API que se pueden usar para extraer datos e información del SO del dispositivo 42. Dichos procedimientos se pueden usar para exportar datos al servidor de recopilación 50.
El SDK 92 también funciona para comunicarse con el servidor de recopilación 50. El servidor de recopilación 50 incluye un servidor de informes 96 para recibir pruebas y cualquier otro dato informado por el WDS 40, y una base de datos de informes 98 para almacenar los datos de prueba para uso del módulo de procesamiento de datos 52.
El módulo de procesamiento de datos 52 incluye un servidor de servicios de datos centrales (CDS) 100 que proporciona API de fuentes de datos para diferentes metadatos y fuentes de datos de terceros. El servidor CDS 100 también puede proporcionar almacenamiento local para respuestas rápidas a las operaciones de agregación de datos. El servidor CDS 100 también interactúa externamente con una o más fuentes de datos de terceros 64 e internamente con el módulo de agregación de datos 60 discutido anteriormente. El módulo de agregación de datos 60 obtiene (es decir, extrae, solicita o recibe de otro modo) los datos recopilados por el servidor de recopilación 50. El módulo de agregación de datos 60 también realiza la agregación de los diversos datos y tipos de datos y almacena los datos agregados en una base de datos de informes 104 a la que puede acceder un módulo de generación de informes 106 para generar varios tipos de informes, paneles, etc. Se puede apreciar que los datos también se pueden extraer de fuentes de datos de terceros y no solo del servidor de recopilación. Por ejemplo, se pueden extraer bases de datos externas que ayudan a traducir la latitud y la longitud en nombres de ciudades donde se recopilaron los datos.
El módulo de generación de informes 106 puede generar varios tipos de datos para su distribución a terceros 22 como se muestra en la FIG. 8. Por ejemplo, el módulo de generación de informes 106 puede generar informes 110 y/o paneles 112, y puede preparar datos sin procesar 114 para ser analizados en otro lugar. El módulo de generación de informes 106 también puede preparar datos de retroalimentación 116 para enviarlos al software de soporte del dispositivo 56, en esta configuración de ejemplo, a un servidor de retroalimentación 126 que es parte de dicho software de soporte del dispositivo 56.
El software de soporte del dispositivo 56 puede incluir varios servidores que pueden comunicarse y controlar, monitorear, actualizar, reparar, eliminar o interactuar de otro modo con el w Ds 40 en los diversos dispositivos 12. En este ejemplo, el software de soporte del dispositivo 56 incluye el servidor de retroalimentación 126 mencionado anteriormente, así como un servidor de configuración 124 para administrar las configuraciones para el WDS 40 y un servidor de autenticación 122 para autenticar el WDS 40 para garantizar que sea de una aplicación y desarrollador de aplicaciones adecuados. El software de soporte del dispositivo 56 también incluye un servidor de prueba 120 para interactuar con el SDK de prueba 90 para proporcionar y actualizar/configurar pruebas y conjuntos de pruebas que debe realizar el WDS 40.
El WDS 40 se puede configurar como una biblioteca de software que está integrada en las aplicaciones del dispositivo móvil 38 para generar informes e integrarse con el servidor de recopilación 50 y el módulo de procesamiento de datos 52. Las bibliotecas del WDS 40 se pueden agregar a una aplicación existente para recopilar dispositivos, conexión, QoS de red, Wi-Fi e indicadores clave de rendimiento (KPI - Key Performance Indicators) de la aplicación. Se puede apreciar que usar esta estrategia fuera de lo común solo requiere que el WDS 40 tenga la capacidad de comunicarse con el sistema 18 a través de una conexión de red, por ejemplo, ya sea en Wi-Fi o móvil. Esto permite la flexibilidad de implementar a través de una infraestructura en la nube en cualquier parte del mundo. Como se muestra en la FIG. 8, el WDS 40 interactúa con la entidad de soporte de software del dispositivo 56, que puede incluir diferentes servidores con los que el WDS 40 puede comunicarse durante su funcionamiento. La configuración de ejemplo que se muestra en la FIG. 8 incluye servidores responsables de la autenticación e iniciación (servidor de autenticación 122), configuración (servidor de configuración 124), prueba (servidor de prueba 120) e informes (servidor de informes 96) que se comunican con el WDS 40. El servidor de autenticación 122 se puede usar para dictar qué claves de interfaz de programación de aplicaciones (API) y aplicaciones 38 pueden operar y recopilar datos a través del WDS 40. El servidor de configuración 124 se puede usar para establecer reglas y parámetros específicos para el funcionamiento del WDS 40. El WDS 40 también puede usar servidores de prueba 120 para realizar pruebas activas en la red conectada 14. Los servidores de informes 96 se usan para cargar las cargas útiles de datos desde el WDS 40 al sistema 18.
Como se indicó anteriormente, el servidor de autenticación 122 se puede usar para verificar que las aplicaciones 38 estén usando la clave de API correcta para cada desarrollador y para proporcionar a cada aplicación una clave de implementación única. A cada desarrollador de aplicaciones se le puede asignar una clave API, que se usa para generar una clave de implementación única para cada aplicación 38. Esta clave de implementación se usa para controlar la configuración del WDS 40, así como para rastrear los datos recopilados por cada aplicación 38.
El servidor de autenticación 122 también puede verificar que la aplicación 38 no haya sido registrada con el sistema 18 previamente. Esto asegura que los datos recopilados a través del WDS 40 se vuelvan a asociar con la aplicación 38 y el desarrollador correctos, por ejemplo, para contabilizar la repartición de ingresos. El servidor de autenticación 122 también permite el control de cerrar aplicaciones específicas o desarrolladores para que no recopilen datos en cualquier momento, por ejemplo, para implementar un "conmutador de interrupción (kill switch)".
El WDS 40 puede configurarse para verificarse con el servidor de autenticación 122 en la primera inicialización del WDS 40, y periódicamente (por ejemplo, cada pocos días) después de la inicialización. Esto permite que el servidor de autenticación 122 apague cualquier aplicación 38 para que no recopile datos 16. Toda la comunicación y los datos transferidos entre el WDS 40 y el servidor de autenticación 122 están preferiblemente protegidos y encriptados. Por ejemplo, al WDS 40 se le puede dar un caché local de tres días en el dispositivo 12 para evitar que el WDS 40 se registre con el servidor de autenticación 122 en cada inicialización para evitar tráfico adicional o conversaciones en la red 14, y para actuar como un caché local en el dispositivo 12.
Los servidores de prueba 120 se usan para realizar pruebas activas en una red 14 a través de la interacción con el WDS 40. Los servidores de prueba 120 pueden albergar varios archivos de diferentes tamaños para realizar pruebas de rendimiento de descarga. Para las pruebas de rendimiento de carga, los servidores de prueba 120 pueden proporcionar un balde (bucket) no regulado para cargar archivos de cualquier tamaño. Además, los servidores de prueba 120 también pueden devolver paquetes para el protocolo de comunicación correspondiente (por ejemplo, paquetes UDP) enviados desde el WDS 40 para pruebas de respuesta del servidor. Se pueden configurar múltiples servidores de prueba 120 según sea necesario en todo el mundo. Los servidores de prueba 120 se pueden implementar en una nube o en un entorno de alojamiento local. El WDS 40 determina qué servidor 120 usar para realizar pruebas activas eligiendo el servidor 120 más apropiado en función de la ubicación geográfica del dispositivo. Por ejemplo, la ruta más cercana puede requerir el uso de cable submarino, mientras que un servidor un poco más alejado puede usar un cable terrestre más rápido (es decir, para tener en cuenta algo más que la proximidad geográfica). Los servidores de prueba 120 usados por el WDS 40 se pueden configurar a través del servidor de configuración 124. Toda la comunicación y los datos transferidos entre el WDS 40 y los servidores de prueba 120 están preferiblemente protegidos y encriptados.
El servidor de configuración 124 está diseñado para permitir un control total sobre el WDS 40. El servidor de configuración 124 permite que el sistema 18 ajuste las frecuencias de recopilación de datos, las frecuencias de notificación de datos y los tipos de datos que se recopilan para los dispositivos 12 en el campo. A cada implementación del w Ds se le puede asignar una clave de implementación única, usada por el WDS 40 para verificar periódicamente a qué comportamientos de recogida/información de datos debe adherirse el WDS 40. Esto permite el ajuste dinámico del rendimiento del WDS 40 para afinar el consumo de batería, la conversación en la red y otros parámetros.
Un perfil de configuración mantenido por el servidor de configuración 124 se descarga al WDS 40 tras la inicialización del WDS 40. Por ejemplo, el servidor de configuración 124 puede tener una nueva política que diga "No recopilar datos en el país X". Esa nueva política, o ese nuevo perfil para la recopilación de datos, serían descargados y ejecutados por el WDS 40. Se extrae un nuevo perfil de configuración al WDS 40 en una frecuencia específica. El WDS 40 también puede tener una memoria caché local en el dispositivo 12 (por ejemplo, tres días), del servidor de configuración 124, para evitar que el WDS 40 extraiga configuraciones del servidor de configuración 124 con demasiada frecuencia. Toda la comunicación y los datos transferidos entre el WDS 40 y el servidor de configuración 124 están preferiblemente protegidos y encriptados.
El archivo/datos de configuración puede ser firmado por el servicio con un certificado de seguridad conocido y de confianza. La firma se transmite con la configuración del servidor de configuración donde se verifica en el WDS 40 en el dispositivo 12. El WDS 40 puede a continuación intentar hacer coincidir la firma en la configuración del servidor con una generada localmente en el dispositivo 12 usando el mismo certificado que el lado del servidor. Si la firma generada en el WDS 40 no coincide con la proporcionada por el servidor de configuración 124, el WDS 40 puede configurarse para rechazar la configuración y continuar usando la configuración anterior, o una predeterminada. Esta verificación de firma conjunta entre el servidor 124 y el WDS 40 asegura que la configuración no se vea comprometida. Comprometer la configuración suministrada al WDS 40 puede tener diversos grados de impacto en el dispositivo del usuario, la cantidad de datos usados, el impacto de la batería, etc.
Con la configuración mostrada en la FIG. 8, se puede implementar el siguiente flujo de procedimiento. El WDS 40 puede inicializarse comprobando con el servidor de autenticación 122 si se ejecuta o no. A continuación, el WDS 40 extrae un archivo de configuración del servidor de configuración 124 para dirigir la operación del WDS 40. A continuación, el WDS 40 recopila los datos al interactuar con el sistema operativo del dispositivo para capturar varios KPI sobre el dispositivo, la conexión de red, la QoS de la red, la información de escaneo WiFi y el uso de datos de la aplicación, etc., como se describe en esta invención. El WDS 40 también puede realizar pruebas de rendimiento de la red contra los servidores de prueba 120.
Los datos son recopilados por el WDS 40 y almacenados en una base de datos (por ejemplo, SQLite) durante un período de tiempo particular, por ejemplo, un período de 24 horas. A continuación, la base de datos se exporta a los servidores de informes 96. Los servidores de informes 96 pueden analizar la base de datos para dividir los datos en diferentes tablas, por ejemplo, dentro de BigQuery. En este ejemplo, los datos se almacenan en varias tablas de informes de BigQuery según el tipo de datos. De forma periódica, por ejemplo, cada hora, se pueden ejecutar trabajos de flujo de datos para agregar metadatos adicionales a los datos sin procesar cargados desde el WDS 40. Estos metadatos incluyen el etiquetado de los datos sin procesar con metadatos de país, región y ciudad, etc. Una vez que los trabajos de flujo de datos procesan los datos, los datos están disponibles en varias tablas y vistas. Estas tablas y vistas permiten la exportación de datos sin procesar o la creación de visualizaciones e informes estándar con otras herramientas, como se describe en esta invención. Se puede apreciar que los informes estándar, los informes personalizados, los paneles de clientes y los datos sin procesar pueden estar disponibles a través de una combinación de informes y paneles personalizados o a través de diferentes vistas y exportaciones desde las tablas (por ejemplo, desde BigQuery).
Como se ilustra en la FIG. 9, el servidor de recopilación 50 está configurado para recopilar datos de múltiples dispositivos móviles 12 al tener el servidor de informes 96 interconectado o comunicable de otro modo con el WDS 40 en cada uno de los múltiples dispositivos 12. Se puede apreciar que mientras el servidor de recopilación 50 puede comunicarse con múltiples dispositivos 12, el sistema más amplio puede incluir múltiples servidores de recopilación 50, por ejemplo, ubicados regionalmente, cada servidor de recopilación 50 puede comunicarse con el módulo de procesamiento de datos 52. La FIG. 9 también ilustra que los datos de retroalimentación 116 generados por el módulo de generación de informes 106 se pueden proporcionar a múltiples terceros 22 diferentes además del servidor de retroalimentación 126. El servidor de retroalimentación 126 se puede configurar para comunicarse con múltiples dispositivos móviles 12 a través de los respectivos WDS 40.
La FIG. 10 ilustra el flujo de datos en la recopilación, agregación y análisis de datos de dispositivos móviles 12 para preparar y proporcionar informes y/o datos sin procesar. En la etapa 200, la aplicación móvil (o sistema operativo, etc.) que contiene el WDS 40 inicia el WDS 40 para comenzar a recopilar datos de prueba en el dispositivo móvil 12 en la etapa 206. Se puede apreciar que como se muestra en la FIG. 2, el SO 42 u otros componentes del dispositivo 12 pueden usarse para iniciar el w Ds 40 para comenzar la recopilación de datos. La recopilación de datos en la etapa 206 se realiza en base a pruebas de red realizadas en conexión con el software de soporte del dispositivo 56 en la etapa 202 y comunicándose con el dispositivo SO 42 en la etapa 204. Los datos recopilados se almacenan en la etapa 208 y se cargan en el sistema 18 en la etapa 210. Los datos cargados se recopilan y agregan en la etapa 212 y se almacenan en la etapa 214 en el almacenamiento de datos de informes como se indicó anteriormente. Los datos agregados se pueden correlacionar de varias maneras en la etapa 216 haciendo referencia a fuentes de datos de terceros 82 para generar y almacenar datos de informes en 220. Esto permite que se proporcionen los diversos informes de datos en la etapa 222.
Los datos pueden agregarse en la etapa 212 agregando los datos cargados a un gran conjunto de tablas, por ejemplo, divididos por día. El gran conjunto de tablas se puede consultar de acuerdo con ciertas variables. En una configuración, los datos de todas las aplicaciones 38, los dispositivos 12 y las redes 14 se pueden colocar en el mismo almacenamiento de datos y se pueden agrupar de varias formas según lo que se quiera mostrar en los informes, paneles, etc.
Los datos se analizan de varias maneras. Por ejemplo, los datos se pueden desglosar por país, región, ciudad, etc.; así como por períodos de tiempo (por ejemplo, mes). Las agrupaciones personalizadas también se pueden realizar por tipo de red (2G vs 3G vs 4G) y las estadísticas determinadas y mostradas para esas agrupaciones. También se pueden realizar agrupaciones personalizadas para determinar nombres de paquetes de aplicaciones, nombres de aplicaciones. Se puede apreciar que determinar los nombres de los paquetes de aplicaciones no es trivial ya que una sola aplicación puede tener múltiples paquetes como parte de su instalación, y también diferentes nombres en diferentes idiomas. El sistema 18 está configurado para fusionar los paquetes para obtener una lista de nombres de aplicaciones en un solo idioma y sus nombres de paquetes asociados (ya que los nombres de los paquetes son globalmente únicos). También se pueden preparar agrupaciones personalizadas para proveedores de servicios basadas en códigos de países para móviles (MCC - Mobile Country Codes) y códigos de red móvil (MNC - Mobile Network Codes). Esto permite que las marcas coincidan con los operadores para una red 14 dada, en lugar de confiar únicamente en la red 14 informada por el dispositivo 12 (por ejemplo, dado que puede existir una situación de roaming u otro escenario en el que el proveedor enumerado por los dispositivos 12 puede ser inconsistente). Por lo tanto, el sistema 18 puede combinar los datos cargados desde una multitud de diferentes aplicaciones móviles 38 e implementaciones desde una multitud de dispositivos en varias redes, regiones, etc. El sistema 18 también puede extraer metadatos adicionales 64 de varios otros terceros y fuentes de datos abiertas 82. El sistema 18 puede generar archivos de datos sin procesar, así como hacer que los datos estén disponibles para visualizaciones a través de interfaces de usuario (por ejemplo, paneles).
Por ejemplo, se puede usar un conjunto de trabajos de flujo de datos para agregar metadatos adicionales 64 a los datos sin procesar que se cargan desde el WDS 40. Estos trabajos de flujo de datos se pueden realizar periódicamente, por ejemplo, cada hora en la última hora de carga de datos desde el WDS 40. A continuación, los resultados se pueden agrupar en tablas diarias en un momento determinado, por ejemplo, medianoche GMT, para realizar consultas.
El siguiente es un resumen de los procedimientos que pueden tener lugar a lo largo de los trabajos de flujo de datos:
1. Para muchos campos, se pueden usar enumeradores en el WDS 40 por simplicidad y para reducir la cantidad de datos cargados. Los trabajos de flujo de datos se pueden usar para cambiar las enumeraciones por cadenas legibles por seres humanos.
2. Las etiquetas de país, región y ciudad se pueden agregar a los datos en función de la latitud y la longitud informadas.
3. El geohash se puede calcular para la latitud y longitud informadas.
4. Se puede calcular el almacenamiento restante del dispositivo y la memoria restante del dispositivo.
5. Se puede agregar el mapeo de MCC y MNC a la marca de un proveedor de servicios.
6. También se puede agregar el mapeo de un nombre de paquete de aplicación a un nombre de aplicación. Se puede apreciar que se pueden usar varias fuentes de terceros abiertas y pagas para complementar los datos sin procesar recopilados por el WDS 40.
Por lo tanto, los informes de datos generados en la etapa 222 se pueden construir de varias maneras y, si se desea, se pueden incorporar fuentes de datos adicionales de terceros 82. Dado que los datos se recopilan de una multitud de WDS 40 implementados dentro de varios tipos de aplicaciones que se ejecutan en varios tipos de SO 42 y tipos de dispositivos; todo dentro, cruzando entre y/o interactuando con varios tipos de red 14 y regiones; una visión más completa de cómo se puede evaluar una red, un dispositivo, una aplicación, un sistema operativo o un entorno electrónico en general. Los datos que se recopilan y almacenan se pueden consultar de muchas maneras y con muchos propósitos para satisfacer las necesidades de diferentes terceros 22 que desean acceder a un conjunto de datos más amplio y completo. Dado que el WDS 40 se puede implementar dentro de varios tipos de aplicaciones 38, como juegos que disfrutan de una circulación sustancial y alcanzan múltiples plataformas, regiones, se implementa una herramienta discreta y se puede aprovechar para recopilar los datos deseados de forma periódica y continua sin efectos adversos afectando el rendimiento de los dispositivos 12 o aplicaciones 38.
La FIG. 11 ilustra un flujo de procedimiento similar al de la FIG. 10, donde los datos almacenados en la etapa 220 se pueden usar adicionalmente para realizar análisis de retroalimentación en la etapa 250 (por ejemplo, como se muestra ilustrativamente en la FIG. 7). Mientras que los informes brindan retroalimentación en forma de datos sin procesar, datos analizados, interfaces gráficas de usuario, paneles, etc., los datos que se recopilan también se pueden usar para distribuir comentarios y afectar el funcionamiento de los WDS 40 y los propios dispositivos móviles 12. Como se muestra en la FIG. 11, el análisis de retroalimentación en 250 puede ser seguido por una etapa de distribución de retroalimentación en la etapa 252 para completar un "bucle de retroalimentación" con las operaciones de recolección de datos realizadas en la etapa 206. La retroalimentación se puede usar de varias maneras. Por ejemplo, podría: 1) afectar el WDS 40 para cambiar cómo/cuándo se recopilan datos; 2) afectar la propia aplicación móvil; y 3) afectar el dispositivo. Para 2), se puede considerar un caso en el que se identifica que todas las redes en una ciudad en particular son particularmente lentas. Un juego en esa ciudad puede optar por descargar imágenes de menor resolución o evitar funciones de juego que requieran interacción con muchos otros jugadores o evitar pedirle al usuario que compre algo ya que el pago con tarjeta de crédito puede fallar. Para 3), el dispositivo móvil 12 podría decidir usar un tipo diferente de red en función de la información que se encuentra en el paquete de retroalimentación, o en un caso de uso de tipo de SON, la retroalimentación podría indicar al dispositivo 12 que se conecte a una torre celular específica. En el caso de 2) y 3), las acciones tomadas afectarán en última instancia el tipo y la cantidad de datos recopilados por el WDS 40.
Las FIG. 12 a 19 ilustran capturas de pantalla de interfaces de usuario de ejemplo que se pueden generar usando los datos recopilados de los dispositivos 12 como se describe en esta invención. La FIG. 12 ilustra un ejemplo de un mapa hexadecimal que muestra la disponibilidad de cobertura para redes 2G/3G/4G para una región geográfica particular. El rendimiento se muestra en hexágonos de colores de tamaño uniforme, y el radio se redimensiona dinámicamente para diferentes aplicaciones. La FIG. 13 ilustra otro mapa hexadecimal con clasificaciones de proveedores de red. Puede apreciarse que para ambas FIG. 12 y 13, se pueden mostrar indicadores clave de rendimiento (KPI) específicos, así como cobertura de tecnología de radio, comparaciones de operadores y otros tipos de datos. Los mapas hexadecimales mostrados en las FIG. 12 y 13 pueden ser útiles para ver bolsas de tipo de cobertura y calidad en ciertas áreas, ver la experiencia de la competencia y de los aliados de roaming, e identificar áreas de mala experiencia (p. ej., alta pérdida de paquetes, etc.), entre otras.
La FIG. 14 ilustra dos ejemplos de mapas de región, uno que muestra el rendimiento de descarga y el otro que muestra el cambio de rendimiento durante períodos de tiempo específicos. Los mapas de regiones se pueden usar para mostrar regiones de interés y se pueden configurar para un país, una región o una región o código postal en particular, etc. La codificación por colores también se puede usar para permitir comparaciones entre regiones. Dichos mapas de regiones pueden ser útiles para identificar la calidad del rendimiento o la falta de la misma en las regiones de interés, así como la capacidad de ver el rendimiento del área con fines de soporte al cliente y marketing. Por ejemplo, al tener datos de múltiples tipos de red 14, los operadores pueden determinar métricas como "el mejor proveedor en su área postal", etc.
La FIG. 15 ilustra un mapa regional con autopistas y otros puntos de interés (PDI). Esto permite que la QoS de la red se muestre en relación con las autopistas y otros puntos de interés como aeropuertos, estaciones de tren, líneas de tren/tránsito, estadios deportivos y otros lugares donde los usuarios pueden reunirse y esperar o desear una buena cobertura de red. La captura de pantalla que se muestra en la FIG. 15 también se puede incorporar a una interfaz de usuario o panel que le permite a un usuario profundizar en lugares específicos, cruces y aislar en función de intervalos de fechas. Además, los datos recopilados por el sistema 18 también se pueden usar para permitir a los usuarios profundizar en varios KPI, como la velocidad de descarga, la latencia, la pérdida de paquetes, etc., lo que permite a los proveedores de servicios, operadores de lugares y otras partes interesadas determinar la QoS de la red para las métricas en las que están interesados.
La FIG. 16 ilustra una captura de pantalla de una interfaz de usuario para mostrar estadísticas generales para una región particular. En este ejemplo, las estadísticas de red se muestran para todos los operadores en una geografía seleccionada y los datos se pueden mostrar para intervalos de fechas específicos. Dado que los datos son recopilados por el sistema 18 a través de una multitud de dispositivos 12 en una multitud de redes y tipos de redes 14, la descripción general proporcionada en la FIG. 16 se pueden obtener y actualizar periódicamente con el tiempo. La información proporcionada puede ser útil para la evaluación comparativa de la competencia, ya que los datos sobre otras redes están disponibles, en lugar de tener solo datos para una red en particular. Los datos mostrados en la FIG. 16 también puede ser útiles para hacer selecciones de aliados de roaming, ya que una red puede obtener datos para todos los operadores en una región en particular y puede evaluar la calidad del servicio que se puede esperar si eligen ese aliado de roaming.
Además de las estadísticas generales, se pueden proporcionar otras vistas, como tendencias de QoS para mostrar tendencias para ciertos KPI, con intervalos geográficos y de fechas seleccionables. Las tendencias de QoS se pueden usar para resolver problemas y supervisar el rendimiento. Se pueden proporcionar tablas de rendimiento regionales para mostrar el rendimiento de QoS de la red desglosado por región (p. ej., ciudad) y por operador en países seleccionados. Las tablas se pueden codificar por colores para resaltar las mejorías o la degradación. Estas tablas pueden ser útiles para la evaluación comparativa de la competencia, la selección de aliados de roaming y para identificar requisitos de inversiones/ mejorías por áreas. También se pueden proporcionar estadísticas de rendimiento de dispositivos para mostrar el rendimiento por dispositivo y cómo estos dispositivos se comparan cuando se usan en redes domésticas y de la competencia. Las estadísticas de rendimiento de dispositivos pueden ser útiles para las consideraciones del fabricante del dispositivo y la resolución de problemas, retiradas del mercado (recalls), problemas de garantía, etc. De manera similar, las estadísticas de uso de la aplicación se pueden proporcionar para mostrar, por ejemplo, el total de usuarios activos, el uso total de datos, etc. Las estadísticas de la aplicación se pueden filtrar por geografía, operador, tipo de dispositivo, tecnología de radio, etc. Las estadísticas de la aplicación pueden considerarse útiles para determinar las tendencias en el comportamiento de los usuarios (por ejemplo, crecimiento en los tipos de aplicaciones) y para optimizar las redes para aplicaciones populares. Los datos recopilados y analizados por el sistema 18 también se pueden usar para herramientas de planificación de infraestructura en las que las ubicaciones o infraestructuras de bajo rendimiento se pueden mostrar en un mapa. Estos mapas se pueden hacer interactivos, de modo que al hacer clic en una ubicación se muestra una vista de la calle para buscar posibles ubicaciones de infraestructura, etc. Los mapas también pueden mostrar una lista de empresas locales para una posible asociación (por ejemplo, para puntos de acceso a WiFi o a celdas pequeñas) .
La FIG. 17 ilustra un ejemplo de una plataforma basada en red que se puede proporcionar para realizar análisis de red. El panel de análisis de red de la FIG. 17 puede usar varios paneles o porciones con opciones para profundizar en el nivel de la calle y el análisis del rendimiento de la torre celular, seleccionar diferentes tablas estadísticas o mapeos para mostrar, etc. El panel que se muestra en la FIG. 17 se puede usar para la planificación y validación de infraestructuras. Por ejemplo, el panel se puede usar para mostrar estadísticas del dispositivo para comprender las tendencias a nivel macro, como se muestra en la FIG. 18, o para mostrar mapas de cobertura de red detalladas de áreas y lugares como se muestra en la FIG. 19
Además de proporcionar un sistema y procedimiento que permita evaluar el rendimiento de dispositivos inalámbricos y redes inalámbricas y las tendencias de uso de redes inalámbricas mediante la incorporación de software de dispositivos inalámbricos en el segundo plano de una pluralidad de aplicaciones (o sistemas operativos) implementadas y ejecutándose en una pluralidad de dispositivos tipos y a través de una pluralidad de tipos de red, para permitir una agregación de tipos de datos para el análisis y reporte de un conjunto de datos más significativo como se describió anteriormente; a continuación se describirán varias otras aplicaciones, configuraciones y casos de uso que usan o configuran el sistema subyacente 18.
Pruebas informadas por el usuario
El sistema 18 descrito anteriormente contempla probar las redes 14 y generar datos de prueba de diferentes maneras, a saber:
a) Solicitar información al SO del dispositivo móvil 42 (es decir, llamadas a API del dispositivo).
b) Crear tráfico de red y ejecutar "pruebas activas". Por ejemplo, determinar el rendimiento de una red mediante la descarga de un archivo desde un servidor de prueba controlado 120 y a continuación observar el rendimiento de esa descarga propia y controlada. En este caso, el tráfico de red que se está analizando se creó con el propósito expreso de realizar una prueba.
c) Observar el tráfico de red iniciado por el usuario o algún otro servicio del dispositivo móvil que no haya sido generado con el propósito específico de realizar una prueba, es decir, una "prueba pasiva". Por ejemplo, un servicio de prueba de red puede examinar cuán rápido un usuario puede cargar una foto en Facebook o descargar un video de YouTube y a continuación determinar el rendimiento observando pasivamente el desempeño de esas operaciones no controladas.
Se reconoce que el acceso a más información de los usuarios permite potenciar estos tres tipos de pruebas. Por ejemplo, las acciones, comportamientos o ubicaciones de los usuarios (o servicios móviles) podrían dictar cuál de los tres tipos de pruebas realizar. Estas mismas acciones, comportamientos o ubicaciones también podrían proporcionar información adicional que puede informar la estrategia de las pruebas o cómo se deben interpretar los resultados para generar conocimientos más valiosos y precisos.
Tradicionalmente, se ha encontrado que las pruebas pasivas son menos precisas que las pruebas activas. Esto se debe a que se sabe menos sobre el tráfico que se analiza, es decir, las pruebas pasivas son menos controladas. El sistema 18 descrito en esta invención puede configurarse para realizar pruebas de red que son iniciadas por acciones del usuario o informadas por acciones del usuario. Esto se puede hacer recibiendo, o teniendo acceso a, información adicional del usuario o del servicio móvil, lo que puede mejorar en gran medida las pruebas pasivas (y las pruebas en general). Esto se debe a que las aplicaciones móviles 38 pueden rastrear las acciones del usuario, como cuando el usuario hace clic en un botón para cargar una foto. Cuando la aplicación móvil 38 ve que un usuario ha hecho clic en el botón "cargar foto", puede ejecutar una prueba de red pasiva en esa carga de datos sabiendo que: 1) era una foto; 2) el tamaño de la foto que se carga; y 3) la dirección del servidor de destino. En otras palabras, la aplicación móvil 38 y el WDS 40 están en condiciones de aprovechar una mayor comprensión de la naturaleza de la transferencia de archivos para realizar una prueba de rendimiento pasivo más efectiva y precisa. Esto se puede hacer, por ejemplo, haciendo que el WDS 40 use una API para ingerir información de la aplicación móvil 38. De esta forma, la aplicación móvil 38 pasa información al WDS 40, como "el usuario acaba de hacer clic en un botón para cargar una foto de tamaño x". Acceder a esta información proporciona un contexto que puede no haber estado disponible previamente para pruebas pasivas, por ejemplo, cuando se cargó un archivo, sin saber que era una foto, la resolución o el tamaño de la foto, o el servidor de destino y los detalles de enrutamiento.
Por lo tanto, el sistema 18 puede adaptarse de modo que la interacción del usuario con un servicio móvil dicte qué tipo de prueba de red pasiva realizar y cómo interpretar los resultados. Por ejemplo, si el usuario carga una foto en un servicio móvil particular como Instagram, el sistema 18 puede usar esa información adicional para realizar una prueba de red pasiva que está diseñada para monitorear la capacidad de la red para manejar cargas de fotos. Esta información adicional puede ser proporcionada por una aplicación móvil 38 y normalmente la proporciona la aplicación móvil 38 que contiene el código de prueba de red; sin embargo, son posibles otras fuentes para esa información adicional. En este caso, la prueba pasiva del sistema tendría acceso a información adicional como: 1) que el usuario está intentando subir una foto; 2) el tamaño de esa foto; y 3) el servidor de destino, etc.
Se puede apreciar que las pruebas informadas por el usuario no necesitan limitarse a pruebas de red pasivas. El comportamiento, las características, la ubicación, etc. del usuario móvil podrían dictar pruebas activas específicas que deberían ejecutarse en función de los tipos de pruebas deseadas por el controlador del sistema. Las pruebas informadas por el usuario también permiten que el sistema considere cuándo sería más apropiado realizar una prueba activa o una prueba pasiva. Por ejemplo, puede ser mejor ejecutar solo pruebas pasivas, que no crean más tráfico de red nuevo, cuando el usuario está viendo un video o haciendo algo con su dispositivo 12 que es sensible al rendimiento de la red. En otras palabras, esta "información adicional" y las pruebas informadas por el usuario pueden ayudar a determinar cuándo y dónde se deben realizar las pruebas para: 1) no interferir con la experiencia del usuario, o 2) proporcionar la información que más necesita el sistema.
Además, a medida que las redes inalámbricas avanzan cada vez más hacia la virtualización o la definición de software, los resultados de las pruebas informados por el usuario se pueden usar para modificar o dictar el hardware, el software o la implementación de la propia red 14 al informar los requisitos de la red en función de los servicios y aplicaciones 38 que usan los usuarios y las acciones que realizan.
Por lo tanto, el sistema 18 descrito en esta invención se puede usar para realizar pruebas informadas/ dictadas, es decir, cuando el usuario no elige específicamente ejecutar una prueba de red. En este caso, las pruebas de red se seleccionan e inician en base a las acciones realizadas por un usuario de un dispositivo móvil 12 que contiene el software de prueba de red (por ejemplo, descargar una foto). Los detalles de esas acciones realizadas por el usuario se pueden usar como entrada en el análisis de los resultados (por ejemplo, la capacidad de una red para mostrar una foto). La acción realizada por el usuario es algo que no es el usuario que elige ejecutar una prueba de red. Se puede apreciar que si bien los ejemplos anteriores están en el contexto de saber más sobre un usuario y los botones de la aplicación que ese usuario seleccionaría, podría ser igualmente un servicio no humano el que proporciona la información adicional.
Seguimiento & Publicidad de Rotación de Dispositivos
Los sistemas y procedimientos descritos anteriormente contemplan el seguimiento de los dispositivos móviles 12 a medida que acceden a y hacen uso de las redes inalámbricas 14. Estos dispositivos móviles 12 y sus usuarios pueden identificarse y rastrearse día a día de varias maneras, que incluyen:
a) La identificación del dispositivo móvil: por ejemplo, la dirección MAC, IMEI o IMSI del dispositivo móvil. b) La identificación de publicidad del dispositivo: la identificación del anunciante o IDFA son identificaciones no persistentes del dispositivo móvil 12 que se usan para servir anuncios móviles dirigidos.
c) Cookies: Identificadores que se instalan en los dispositivos cuando acceden a y usan redes y servicios de red.
d) La ID del software móvil (o ID de WDS): una ID única generada por el software del dispositivo móvil para identificar una instalación específica del software.
e) Una identificación usada para iniciar sesión en el software móvil: por ejemplo, una identificación de Facebook, una identificación de Netflix o una identificación de Gmail que usa un usuario para iniciar sesión en una aplicación móvil 38.
f) Un conjunto de características de comportamiento: por ejemplo, un conjunto de características, que pueden definirse en función de una serie de factores que pueden incluir ubicaciones del dispositivo, direcciones IP usadas por el dispositivo o puntos de acceso a WiFi/Celular generalmente usados por el usuario.
Cada estrategia de seguimiento de dispositivos tiene sus propias implicaciones de privacidad que, por lo general, deben tenerse en cuenta y gestionarse. Es decir, una estrategia de seguimiento seleccionada normalmente debería ser aceptable tanto para el usuario del dispositivo móvil como para ciertos requisitos legales.
Al rastrear cómo fluyen estos ID a través de las redes 14, el sistema 18 puede usarse para informar a los proveedores de servicios inalámbricos sobre la rotación de usuarios. Por ejemplo, si se usa una ID de aplicación para iniciar sesión en un teléfono en una primera red 14a un día y a continuación se usa la misma ID de aplicación para iniciar sesión en un teléfono en una segunda red 14b, a continuación puede ser informado que este usuario probablemente rotó. Es decir, en este caso se puede esperar que este usuario dejó la primera red 14a y se convirtió en cliente de la segunda red 14b. Dicho informe de rotación por sí solo proporciona un servicio valioso para los proveedores inalámbricos. Sin embargo, este informe se vuelve aún más poderoso cuando se combina con otros conjuntos de datos para habilitar capacidades predictivas que crean la posibilidad de que la publicidad influya en la rotación.
Por ejemplo, esta información histórica de rotación de red cuando se combina con otros conjuntos de información, como la cobertura de la red inalámbrica, el rendimiento de la red inalámbrica, las cookies del sitio web, las búsquedas recientes, el hardware/software del dispositivo móvil, los planes de suscripción a la red del usuario, lo que la gente dice sobre el operador de la red inalámbrica en las redes sociales y otros conjuntos de información se pueden usar para realizar predicciones de rotación en usuarios individuales o en grandes porciones agregadas de la población.
Esto permite publicidad dirigida mejorada por operadores inalámbricos a usuarios que son: 1) candidatos con alta probabilidad de abandonar su red 14; o 2) candidatos con alta probabilidad de abandonar las redes de su competidor 14. Las mismas identificaciones móviles se pueden usar para dirigirse a usuarios específicos o identificaciones con anuncios apropiados.
Como ejemplo, las pruebas de rendimiento de la red inalámbrica del sistema se pueden usar para comparar redes e informar campañas publicitarias dirigidas. Si el segundo proveedor de red descubre que es la mejor red inalámbrica en una ciudad específica, podría ajustar su publicidad a los dispositivos de esa ciudad para promocionar su red como la de mayor rendimiento. A continuación es posible que las aplicaciones y servicios móviles 38 sugieran operadores inalámbricos a sus usuarios. Los usuarios pueden optar por permitir que un servicio inalámbrico, como Facebook, rastree el rendimiento de la red, sus patrones de uso y ubicación y a continuación sugerirles la mejor red inalámbrica 14 para sus requisitos.
Como una estrategia alternativa para rastrear la rotación de usuarios, el sistema 18 puede rastrear qué grupos de dispositivos móviles 12 tienden a aparecer en redes específicas 14. Por ejemplo, si los mismos cuatro dispositivos móviles acceden constantemente al mismo punto de acceso WiFi, o acceden a redes a través de la misma dirección IP, es razonable suponer que se trata de una unidad familiar o grupo asociado. Si de repente uno de esos dispositivos 12 abandona ese grupo y aparece un nuevo dispositivo 12 que está autenticado con una red inalámbrica celular diferente 14, se puede suponer razonablemente que ha habido un evento de abandono de la red por parte del usuario de ese nuevo dispositivo que aparece.
Como tal, rastrear una o más identificaciones asociadas con un usuario o dispositivo 12, y obtener acceso o rastrear eventos relacionados con el usuario, como publicaciones en redes sociales, puede mejorar la identificación de rotación y el informe de rotación y/o publicidad dirigida. El sistema 18 se puede adaptar para dicha predicción de rotación rastreando a un usuario a medida que se mueve a través de las redes 14 y a través de los dispositivos móviles 12 usando sus ID de inicio de sesión de redes sociales, de modo que se puede realizar un análisis de rotación de red/dispositivo.
Seguimiento de Acuerdos de Nivel de Servicio y Neutralidad de Red
El seguimiento del rendimiento de la red inalámbrica por parte del sistema 18, que se puede realizar mediante crowdsourcing desde puntos finales móviles como se describió anteriormente, también se puede usar para determinar qué áreas, usuarios o servicios se están estrangulando; así como qué áreas, usuarios o servicios se están brindando con niveles mejorados de servicio.
La identificación y comparación de casos de bajo y alto rendimiento se puede usar de varias maneras, por ejemplo:
a) Informar a las ciudades y gobiernos sobre qué áreas están siendo debidamente atendidas por los proveedores de servicios inalámbricos. Los reguladores de servicios inalámbricos a menudo requieren que los operadores brinden ciertos niveles de servicio a las áreas rurales y/o vecindarios menos privilegiados, y los infractores pueden ser identificados y sancionados usando los datos de pruebas.
b) Informar a los Operadores de Red Virtual Móvil (MVNO - Mobile Virtual Network Operators) si una red doméstica está brindando niveles de servicio adecuados o si el operador de la red doméstica está brindando un servicio inferior a los suscriptores del MVNO en comparación con el suyo propio. Esto permite que el MVNO determine si su operador local está violando las reglas del acuerdo de nivel de servicio (SLA - Service Level Agreement).
c) Informar a las redes inalámbricas 14 en qué red 14 deben hacer que sus suscriptores se desplacen y si esas redes de roaming 14 se adhieren a o violan los SLA y cómo la experiencia de calidad de roaming de sus suscriptores itinerantes se compara con la calidad que reciben esos suscriptores domésticos de la red.
d) Si se cumplen o se violan las leyes de neutralidad de la red. Por ejemplo, se puede ver si un operador de red está acelerando un servicio de transmisión de terceros y promocionando su propio servicio de transmisión, y en qué medida.
Por lo tanto, el sistema 18 puede adaptarse de modo que los resultados de la prueba de red o la calidad del servicio se comparen con un umbral de calidad dictado por un regulador de servicios inalámbricos o proveedor de red doméstica para ver si se cumplen los requisitos.
Pruebas Basadas en Eventos - Vehículos Autónomos / Ciber-Físicos
La calidad y la cobertura de la red a menudo se consideran críticas para ciertos dominios ciber-físicos emergentes, como los vehículos autónomos (self-driving) y la salud electrónica (ehealth). En estos casos, el dispositivo móvil final 12 tiene un propósito central, que es sensible a la red. Es importante que estos dispositivos 12 mantengan el acceso a una calidad de la red que sea lo suficientemente buena para cumplir con los requisitos de su propósito principal.
Por ejemplo, un dispositivo de salud electrónico diseñado para informar a los hospitales sobre ataques cardíacos debería poder enviar un mensaje a los hospitales o a los despachadores de emergencia cuando se detecta un ataque cardíaco.
Las capacidades de prueba de red para estos dispositivos 12 pueden a continuación considerarse críticas para su rendimiento, y la prueba se desencadena por eventos que son inherentes al propósito principal del dispositivo. En un ejemplo, un vehículo autónomo o una red de vehículos autónomos puede optar por realizar pruebas siempre que los vehículos necesiten realizar maniobras de emergencia (p. ej., evitar un animal u otra obstrucción en la autopista) para realizar un seguimiento del desempeño de estas maniobras. Alternativamente, la agrupación de vehículos puede realizar pruebas solo en los casos en que se sabe que hay partes de la autopista o ruta donde falta información sobre el rendimiento de la red. En estos casos, un sistema de prueba de red puede tener sus pruebas desencadenadas por eventos externos. El conjunto de datos de red resultante puede combinarse con información sobre el funcionamiento y los requisitos del dispositivo ciber-físico para determinar si la red 14 es adecuada para los requisitos de ese dispositivo ciber-físico.
En otro ejemplo, un dispositivo de salud electrónico 12 puede realizar pruebas impulsadas por eventos en la red 14 para asegurarse de que la red 14 funciona lo suficientemente bien como para manejar los requisitos de la red en una situación de emergencia (y que los dispositivos están conectados al servidor adecuado). Los eventos de ejemplo en este caso pueden ser: 1) El usuario está durmiendo o el usuario no está en peligro inmediato para la salud; 2) Las lecturas de salud del usuario están alcanzando niveles peligrosos que podrían empeorar; 3) El usuario está en peligro.
Se puede apreciar que en aplicaciones tales como vehículos autónomos, los dispositivos 12 están en una excelente posición para mapear la calidad de la red en áreas enormes y, por lo tanto, se puede confiar en ellos o jugar un papel más importante en futuras pruebas de red. También se puede apreciar que los vehículos no se limitan solo a automóviles y pueden incluir drones u otros dispositivos autónomos.
Privacidad en Pruebas de Dispositivos Móviles
Los dispositivos móviles 12 usados para realizar pruebas de red normalmente deben tener la capacidad de preservar la privacidad del usuario en grados informados por el propio usuario. Por ejemplo, si un usuario ingresa que acepta o cancela el servicio, o partes del servicio, el sistema general debe responder a esa entrada y ajustar lo que se recopila en consecuencia. El análisis y manejo de esos datos también debe ser informado por esas mismas entradas de usuario.
El sistema 18 también se puede adaptar para garantizar que sea capaz de consumir información sobre la diferencia geográfica y jurisdiccional en las reglas de privacidad y responder a esas reglas. Por ejemplo, un sistema de prueba global puede funcionar de manera diferente en Rusia que en la Unión Europea dependiendo de la legislación de privacidad vigente en ambas áreas.
También puede ser importante que el sistema 18 organice las pruebas realizadas entre la red completa de puntos finales de prueba para preservar la privacidad de los usuarios. Por ejemplo, el sistema 18 puede optar por distribuir las pruebas entre los dispositivos móviles 12 de tal manera que sea aún más difícil rastrear el movimiento o las características de un dispositivo específico 12. O, por ejemplo, si se sabe que un área específica es propiedad privada y tiene una densidad de población muy baja, el sistema 18 puede configurarse para poder manejar esos datos de manera diferente, o no recopilar datos de esa área, ya que sería más fácil de lo normal asociar las pruebas realizadas en esa zona de baja población con la persona o personas que se sabe que viven o acceden a esa zona. También puede haber áreas geográficas específicas en las que sea ilegal realizar pruebas o medir la ubicación, y es posible que el sistema 18 deba adaptarse en consecuencia.
MIMO/ SON - Supresión de Interferencias y Formación de Haces
Los sistemas de múltiples entradas, múltiples salidas (MIMO) y SON 22b pueden tener una multiplicidad de canales disponibles, cada uno de los cuales se evalúa. Además, los sistemas MIMO y SON 22b pueden usar formación de haces para transmitir canales específicos y recursos de red a dispositivos móviles específicos 12, concretamente en función de sus requisitos únicos. Como resultado, cada usuario en la red 14 puede estar experimentando algo completamente diferente, de modo que aumenta la importancia de la calidad de la red de crowdsourcing.
La información obtenida de los propios dispositivos móviles 12 se puede usar en última instancia para informar a la red 14 sobre las características de la red que se deben transmitir a cada dispositivo móvil 12 y cómo debe llevarse a cabo esta formación de haces (generalmente en función de la aplicación que se use o nivel de suscripción del usuario). A medida que tiene lugar la formación de ondas y la formación de haces, la aplicación del dispositivo móvil y la información de la experiencia de la red (obtenida a través del sistema 18) se pueden usar en un bucle de retroalimentación para informar los procedimientos de formación de ondas y formación de haces.
En otras palabras, la formación de haces permite que cada usuario tenga acceso a diferentes características de la red. Sin embargo, para comprender si esto está funcionando bien, es necesario que haya un bucle de retroalimentación informado por el crowdsourcing de la red como se describe en esta invención.
Seguridad
Comportamiento anormal del dispositivo móvil: el agente de prueba/monitoreo de la red (por ejemplo, el WDS 40) se puede usar para detectar/identificar dispositivos móviles comprometidos 12. Por ejemplo, si el WDS 40 normalmente ve que un dispositivo móvil 12, o un dispositivo IoT 12, normalmente solo usa 2MB/día de datos, y a continuación salta repentinamente a 100 MB, el sistema 18 puede usarse para identificar este comportamiento anormal de la red y marcar el dispositivo 12 como posibilidad de estar comprometido.
Comportamiento anormal del punto de acceso: se reconoce que los adversarios están comenzando a usar puntos de acceso no autorizados y torres de telefonía falsas para atraer a los dispositivos móviles 12 para que se conecten. A continuación pueden monitorear el tráfico a través de la red 14 o usar estas conexiones maliciosas para instalar malware. El sistema 18 también se puede usar para identificar comportamientos anormales del punto de acceso. Por ejemplo, si los usuarios acceden al mismo punto de acceso desde varias ubicaciones, a continuación ese punto de acceso puede ser un punto de acceso no autorizado que está siendo manipulado para atraer conexiones. Alternativamente, si la ID de la torre celular, o algún otro identificador de una torre celular, o las características de una torre celular cambian repentinamente, se puede marcar como posiblemente una torre falsa que parece similar al punto de acceso no malicioso.
Por lo tanto, el sistema 18 se puede adaptar de manera que el rendimiento y los detalles de los dispositivos móviles 12 y los puntos de acceso a la red se comparen con los detalles/desempeño esperados para buscar problemas de red y sistemas comprometidos.
Fuga de red privada - Ciertas redes no están destinadas a verse fuera de áreas geográficas específicas y ciertas instalaciones. El sistema 18 puede informar si se ven ciertas redes 14 donde no deberían verse.
Las características adicionales que pueden hacer que el sistema 18 sea más seguro incluyen:
a) La red de dispositivos móviles 12 puede ser controlada por varios controladores de red en lugar de uno solo (es decir, fragmentación del sistema). Por ejemplo, los dispositivos móviles 12 pueden usar un servidor de configuración diferente 124. Puede apreciarse que también puede haber beneficios en la fragmentación, que requeriría poblaciones de subconjuntos de dispositivos 12 para usar todos los servidores diferentes (es decir, diferentes servidores de prueba 120, diferentes servidores de autenticación 122 y diferentes servidores de configuración 124). De esta forma, si uno de los controladores se ve comprometido, todo el sistema 18 no se ve comprometido a la vez. En el ámbito de los principios anteriores, los controladores de red se usan generalmente para controlar qué dispositivos 12 ejecutan qué pruebas y bajo qué condiciones. Los controladores de red también se usan para controlar qué servidores se usan para esas pruebas. Si esos servidores están comprometidos, todo el sistema podría usarse para ejecutar un ataque DDOS.
b) Los agentes de dispositivos móviles (p. ej., WDS 40) que realizan las pruebas se pueden configurar para que se vuelvan a autenticar cada cierto tiempo o, de lo contrario, quedarán inactivos. Esta característica se puede codificar en el WDS 40 de modo que si el WDS 40 se ve comprometido (por ejemplo, para ejecutar un ataque DDOS), luego de un cierto período de tiempo, el WDS 40 se apaga porque deja de poder volver a autenticarse. Ejemplos de Casos de Uso
Monitoreo de aplicaciones: las pruebas de red descritas anteriormente se pueden usar para informar el rendimiento o el rendimiento probable de las aplicaciones de red 38 como Skype, YouTube, Netflix, etc. sin interactuar directamente con los servidores exclusivos usados por esas aplicaciones. En su lugar, los requisitos de red de esas aplicaciones 38 se entienden y comparan con las características de red que observa y recopila el agente de prueba de red (por ejemplo, WDS 40) para informar sobre el rendimiento de la aplicación. Por lo tanto, el sistema 18 puede configurarse de modo que los resultados se utilicen para informar sobre el rendimiento o el rendimiento probable de las aplicaciones de red 38.
Operaciones de red: el crowdsourcing descrito anteriormente puede proporcionar alarmas a los operadores de red que indican áreas específicas o puntos de acceso a la red que brindan un rendimiento inferior al óptimo. Estas alarmas y esta información pueden usarse para informar el mantenimiento de la red o indicar qué áreas de una red 14 requieren pruebas adicionales por otros procedimientos. Por lo tanto, el sistema 18 puede configurarse de modo que el rendimiento y los detalles de los dispositivos móviles 12 y los puntos de acceso a la red se comparen con los detalles/ rendimiento esperados para buscar problemas de red y sistemas comprometidos.
Planificación de red: el sistema 18 puede identificar áreas con gran tráfico peatonal o densidades de población que también están desatendidas por los proveedores de servicios inalámbricos. Estas son las áreas donde se espera que las mejoras en la red brinden las mayores ganancias a la base general de suscriptores. Al comparar este rendimiento con el de los competidores, el sistema 18 puede sugerir áreas en las que el operador de la red debería centrarse para ser más competitivo y realizar una mejor adquisición de clientes. Por lo tanto, el sistema 18 puede configurarse de modo que los resultados se utilicen junto con la información de densidad de usuarios recopilada del sistema 18 o fuentes externas para informar a un operador de red sobre la ubicación más beneficiosa para el mantenimiento, expansión y actualización de la red.
Seguimiento de la competencia: el sistema 18 se puede usar para informar a un operador de red sobre: 1) qué nuevas torres o tecnologías están implementando los competidores; 2) qué operadores de red están ganando más suscriptores y dónde; 3) qué tipos de aplicaciones/servicios de la red competitiva están funcionando y cómo están cambiando con el tiempo; y 4) el desempeño de las redes competitivas y cómo evolucionan con el tiempo. Por lo tanto, el sistema 18 puede configurarse de manera que los resultados se utilicen para informar a un operador inalámbrico sobre el rendimiento que sus competidores ofrecen a los suscriptores de su competidor y en el que la implementación/alternación de la nueva red de competidores son registradas, pronosticadas y reportadas.
Interacción de la Plataforma de Gestión de Conexiones
Además, el sistema 18 también se puede configurar para interactuar con una plataforma de gestión de conexiones de dispositivos (no se muestra), como puede ser proporcionado por un sistema operativo de teléfono móvil, o como puede ser controlado por el operador de red, para ayudar a un dispositivo móvil 12 a seleccionar una red adecuada 14 o una conexión de punto de acceso. En este caso, los datos recopilados por el WDS 40 se transmiten, ya sea en su forma sin procesar o después de un análisis de los datos, a la plataforma de gestión de conexiones a través de una API para su uso en el procedimiento de selección de red o punto de acceso.
Inteligencia Artificial y Aprendizaje por Máquina
Además, el sistema también puede beneficiarse del uso de Inteligencia Artificial (AI - Artificial Intelligence) y Aprendizaje por Máquinas (ML - Machine Learning) además del análisis de datos. Los datos informados por el WDS 40 se pueden ingresar a las plataformas AI y ML (no se muestran) para procesarlos en información mejorada para ser usada por los operadores de redes para fines tales como planificación de redes, mantenimiento de redes, atención al cliente, publicidad de clientes y operadores. Además, esta información mejorada se puede ingresar a SON, red definida por software (SDN - Software Defined Network), virtualización de funciones de red (NFV -Network Function Virtualization) o sistemas MIMO de modo que la red 14 pueda responder a esta información mejorada producida por procedimientos de AI y ML que se ejecutan en los datos suministrados por el WDS 40. Los grupos que no sean operadores de red pueden beneficiarse de manera similar de la información mejorada producida por AI y ML aplicada a los datos de prueba de WDS.
Por simplicidad y claridad de la ilustración, cuando se considere apropiado, los números de referencia pueden repetirse entre las figuras para indicar elementos correspondientes o análogos. Además, se exponen numerosos detalles específicos con el fin de proporcionar una comprensión completa de los ejemplos descritos en esta invención. Sin embargo, los expertos en la técnica entenderán que los ejemplos descritos en esta invención se pueden poner en práctica sin estos detalles específicos. En otros aspectos, no se han descrito en detalle procedimientos, operaciones y componentes bien conocidos para no oscurecer los ejemplos descritos en esta invención. Además, no debe considerarse que la descripción limite el alcance de los ejemplos descritos en esta invención.
Se apreciará que los ejemplos y los diagramas correspondientes usados en esta invención son solo para fines ilustrativos. Se pueden usar diferentes configuraciones y terminología sin apartarse de los principios expresados en esta invención. Por ejemplo, los componentes y módulos se pueden agregar, eliminar, modificar u organizar con diferentes conexiones sin apartarse de estos principios.
También se apreciará que cualquier módulo o componente ejemplificado en esta invención que ejecute instrucciones puede incluir o tener acceso a medios legibles por ordenador, como medios de almacenamiento, medios de almacenamiento por ordenador o dispositivos de almacenamiento de datos (extraíbles y/o no extraíbles) como, por ejemplo, discos magnéticos, discos ópticos o cinta. Los medios de almacenamiento por ordenador pueden incluir medios volátiles y no volátiles, extraíbles y no extraíbles implementados en cualquier procedimiento o tecnología para el almacenamiento de información, como instrucciones legibles por ordenador, estructuras de datos, módulos de programas u otros datos. Ejemplos de medios de almacenamiento por ordenador incluyen RAM, ROM, EEPROM, memoria flash u otras tecnologías de memoria, CD-ROM, discos versátiles digitales (DVD) u otro almacenamiento óptico, casetes magnéticos, cinta magnética, almacenamiento en disco magnético u otros dispositivos de almacenamiento magnético, o cualquier otro medio que se pueda usar para almacenar la información deseada y a la que se pueda acceder mediante una aplicación, módulo o ambos. Cualquiera de dichos medios de almacenamiento por ordenador puede ser parte de los componentes en el área de detección 18, cualquier componente de o relacionado con el área de detección 18, etc., o accesible o conectable a la misma. Cualquier aplicación o módulo en esta invención descrito puede implementarse usando instrucciones legibles/ejecutables por ordenador que pueden ser almacenadas o retenidas de otra manera por dichos medios legibles por ordenador.
Las etapas u operaciones en los diagramas de flujo y diagramas descritos en esta invención son solo a modo de ejemplo. Puede haber muchas variaciones en estas etapas u operaciones sin apartarse de los principios discutidos anteriormente. Por ejemplo, las etapas se pueden realizar en un orden diferente, o se pueden agregar, eliminar o modificar etapas.
Aunque los principios anteriores se han descrito con referencia a ciertos ejemplos específicos, las diversas modificaciones de los mismos resultarán evidentes para los expertos en la técnica, como se describe en las reivindicaciones adjuntas.

Claims (15)

REIVINDICACIONES
1. Un procedimiento para evaluar dispositivos inalámbricos y/o rendimiento de la red inalámbrica y/o tendencias de uso de la red inalámbrica, comprendiendo el procedimiento:
implementar software de dispositivo inalámbrico (40) en cada uno de una pluralidad de dispositivos inalámbricos (12) conectados a una o más de una pluralidad de redes (14) teniendo el software de dispositivo inalámbrico (40) integrado en una aplicación o componente de software (38) ejecutándose en el dispositivo inalámbrico correspondiente (12), donde el software del dispositivo inalámbrico (40) está integrado o es operable con una pluralidad de tipos de aplicaciones (38) y realiza al menos una prueba asociada con características y/o ubicación del dispositivo inalámbrico (12), y/o rendimiento del dispositivo inalámbrico (12) y/o la red (14), y/o uso del dispositivo inalámbrico (12) por un usuario;
proporcionar un servidor de prueba externo (120), donde el software del dispositivo inalámbrico (40) se comunica con el servidor de prueba externo (120) para probar la calidad de una red inalámbrica (14) y producir datos de prueba;
recibir a través de uno o más servidores de recopilación (50), datos de prueba pertenecientes a la al menos una prueba, obtenidos por el software del dispositivo inalámbrico (40) de cada uno de la pluralidad de dispositivos inalámbricos (12);
agregar los datos de prueba recibidos;
almacenar, analizar y generar los datos agregados; y
enviar configuraciones basadas en los datos de prueba agregados, a la pluralidad de dispositivos inalámbricos (12), para modificar el funcionamiento del software del dispositivo inalámbrico para recopilar un tipo de datos de prueba basados en los datos de prueba agregados.
2. El procedimiento de la reivindicación 1, donde el software del dispositivo inalámbrico (40) está integrado en al menos una aplicación (38) para al menos uno de los dispositivos inalámbricos correspondientes (12), y/o donde el software del dispositivo inalámbrico (40) está integrado en un sistema operativo de al menos un dispositivo inalámbrico correspondiente (12) y, opcionalmente, donde al menos una aplicación (38) que incorpora el software del dispositivo inalámbrico (40) se puede descargar desde una tienda de aplicaciones.
3. El procedimiento de la reivindicación 1, donde el software del dispositivo inalámbrico (40) se proporciona a al menos algunos de los dispositivos inalámbricos (12) incorporando el software del dispositivo inalámbrico (40) en una aplicación de terceros (38) o juego que es descargado por los dispositivos inalámbricos (12) independientemente de un sistema de informes y análisis que comprende el servidor de recopilación (50) y, opcionalmente, que comprende además el seguimiento de una proporción de datos adquiridos por aplicaciones de terceros particulares (38) o juegos para determinar la repartición de ingresos.
4. El procedimiento de la reivindicación 1, que además comprende:
proporcionar una pluralidad de servidores de prueba (120) para permitir que el software del dispositivo inalámbrico (40) se comunique con uno particular de los servidores de prueba (120); y, opcionalmente proporcionar un servidor de autenticación (122) para registrar el software del dispositivo inalámbrico (40) y aprobar el uso del software del dispositivo inalámbrico (40) dentro del dispositivo inalámbrico (12).
5. El procedimiento de la reivindicación 1, que comprende además comunicarse con un servidor de configuración (124) para especificar comportamientos de prueba para el software del dispositivo inalámbrico (40), donde el software del dispositivo inalámbrico (40) o el servidor de prueba (120) se comunica con el servidor de configuración (124) para obtener datos de configuración para realizar al menos una prueba y, opcionalmente, que comprende además usar el servidor de configuración (124) para controlar una frecuencia de prueba y/o cuándo y dónde se realizan las pruebas, incluida la capacidad de detener más pruebas por una aplicación particular (38) o dispositivo inalámbrico (12) y, opcionalmente, donde el servidor de configuración (124) está configurado para permitir que se envíe un mensaje de eliminación después del cual el software del dispositivo inalámbrico (40) deja de realizar pruebas y ya no responde a nuevos comandos para cambiar el comportamiento de las pruebas y, opcionalmente, donde el software del dispositivo inalámbrico (40) tiene un límite codificado de varias pruebas que se pueden realizar en un período de tiempo, cuyos límites son inalterables por el servidor de configuración (124).
6. El procedimiento de la reivindicación 1, que comprende además proporcionar datos de prueba a una o más entidades o sistemas externos y, opcionalmente, comprende además procesar los datos de prueba para generar una interfaz de usuario para una o más entidades o sistemas externos y, opcionalmente, donde la una o más entidades o sistemas externos se registran en un portal en línea para obtener los datos de prueba procesados.
7. El procedimiento de la reivindicación 6, donde:
la una o más entidades o sistemas externos comprenden uno o más fabricantes de equipos, desarrolladores de aplicaciones y operadores de redes inalámbricas para analizar y modificar sistemas y prácticas de acuerdo con los datos contenidos en los datos de prueba y, opcionalmente, que comprende además permitir que los resultados de pruebas futuras sean monitoreados contra resultados de pruebas anteriores para permitir que las modificaciones a los sistemas y prácticas sean rastreadas por una o más entidades o sistemas externos a lo largo del tiempo; y, opcionalmente
que comprende además analizar los datos de prueba en nombre de un tercero en particular usando un motor de análisis y, opcionalmente, que comprende además que el software del dispositivo inalámbrico (40) module el comportamiento de prueba de acuerdo con una solicitud de un tercero en particular.
8. El procedimiento de la reivindicación 1, donde los datos de prueba recopilados se basan en la ubicación y son almacenados por el servidor de recopilación (50) en función de su ubicación y, opcionalmente, donde los datos basados en la ubicación se recopilan de forma anónima usando una ID aleatoria regenerada periódicamente o se anonimiza después de la recopilación.
9. El procedimiento de la reivindicación 1, que además comprende:
esperar, mediante el software del dispositivo inalámbrico (40), a que el dispositivo inalámbrico (12) se conecte a una red WiFi (14) antes de enviar los datos de prueba; y, opcionalmente
obtener metadatos de al menos una fuente de datos de terceros e incorporar los metadatos en los datos almacenados.
10. El procedimiento de la reivindicación 1, Z que comprende además:
J identificar, mediante el software del dispositivo inalámbrico (40), su propio código que se ejecuta en una aplicación diferente (38) en un mismo dispositivo inalámbrico (12) y, opcionalmente,
respondiendo, por parte del software del dispositivo inalámbrico (40), a la identificación de su propio código que se ejecuta en la aplicación diferente (38), al tener solo una instancia del software del dispositivo inalámbrico (40) operando al mismo tiempo.
11. El procedimiento de la reivindicación 1, que además comprende:
usar los datos de prueba recibidos para rastrear a un usuario, ya sea que el usuario esté identificado personalmente o no, a medida que el usuario se mueve a través de las redes (14) y/o dispositivos inalámbricos (12) al identificar el uso de un identificador de inicio de sesión (ID) de redes sociales asociado; y determinar un análisis de rotación de red o dispositivo basado en dicho seguimiento; y,
opcionalmente, usar los datos de prueba recibidos para rastrear a un usuario o grupo de usuarios, ya sea que el usuario o
grupo de usuarios estén identificados personalmente o no, mediante el uso de identificadores de publicidad móvil asociados; y
usar dichos datos directa o indirectamente para dirigirse a ese usuario o grupo de usuarios con anuncios móviles de operadores de redes inalámbricas; y, opcionalmente
usar los datos recibidos para comparar los resultados de las pruebas de red o la calidad del servicio con un umbral de calidad dictado por un regulador de servicios inalámbricos o un acuerdo de nivel de servicio para determinar si se han cumplido uno o más requisitos.
12. El procedimiento de la reivindicación 11, que comprende además:
donde los datos de prueba se transmiten a una red autoorganizada, red definida por software, virtualización de funciones de red o sistema de múltiples entradas y múltiples salidas, para permitir que la red responda a los datos de prueba recibidos; y, opcionalmente
donde los datos de prueba se transmiten a un sistema de gestión de conexiones de manera que los dispositivos móviles (12) puedan responder a los datos al seleccionar sus conexiones de red; y, opcionalmente
que comprende además aplicar inteligencia artificial o aprendizaje por máquina a los datos de prueba para producir información mejorada.
13. El procedimiento de la reivindicación 1, que además comprende:
usar los datos recibidos para comparar el rendimiento y/o detalles de dispositivos inalámbricos (12) y puntos de acceso a la red frente al rendimiento esperado y/o detalles para identificar problemas de red, sistemas comprometidos o amenazas de ciberseguridad; y, opcionalmente
usar los datos recibidos para determinar las características de la red e informar sobre una experiencia probable proporcionada a los usuarios desde aplicaciones que proporcionan datos o información a su dispositivo inalámbrico (12); y, opcionalmente
usar los datos recibidos junto con la información de densidad de usuarios recopilada de los servidores de recopilación (50) o fuentes externas para informar a un operador de red sobre una ubicación recomendada para el mantenimiento de la red y/o expansión de la red y/o actualizaciones de red; y, opcionalmente
usar los datos recibidos para informar a un primer operador inalámbrico sobre el rendimiento entregado por un segundo operador de red competidora a los abonados del segundo operador de red; y registrar, predecir o informar nuevas implementaciones de red o alternancias aplicadas por el segundo operador de red.
14. El procedimiento de la reivindicación 1, que además comprende:
realizar análisis de datos y operaciones de aprendizaje por máquina de los datos recibidos para procesarlos en información mejorada para ser usada por los operadores de red; y, opcionalmente
donde el software del dispositivo inalámbrico (40) está configurado para ejecutar pruebas de red contra una pluralidad de diferentes servidores de prueba (120); y, opcionalmente
donde el software del dispositivo inalámbrico (40) está configurado para ejecutar pruebas de red usando una pluralidad de protocolos.
15. Un medio legible por ordenador que comprende instrucciones ejecutables por ordenador para realizar el procedimiento según cualquiera de las reivindicaciones 1 a 14.
ES18741154T 2017-01-17 2018-01-16 Sistema y procedimiento para evaluar el rendimiento de dispositivos inalámbricos y redes inalámbricas Active ES2922650T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762447239P 2017-01-17 2017-01-17
PCT/CA2018/050042 WO2018132901A1 (en) 2017-01-17 2018-01-16 System and method for evaluating wireless device and wireless network performance

Publications (1)

Publication Number Publication Date
ES2922650T3 true ES2922650T3 (es) 2022-09-19

Family

ID=62841240

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18741154T Active ES2922650T3 (es) 2017-01-17 2018-01-16 Sistema y procedimiento para evaluar el rendimiento de dispositivos inalámbricos y redes inalámbricas

Country Status (5)

Country Link
US (1) US10667154B2 (es)
EP (1) EP3571859B1 (es)
CA (1) CA3050164C (es)
ES (1) ES2922650T3 (es)
WO (1) WO2018132901A1 (es)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10142165B2 (en) * 2017-04-24 2018-11-27 Hall Labs Llc Adaptive communication channel redundancy in a hub-based intermediate-range system
US10838950B2 (en) * 2017-04-29 2020-11-17 Cisco Technology, Inc. Dynamic review cadence for intellectual capital
US20200007410A1 (en) * 2018-06-27 2020-01-02 Viasat, Inc. Vehicle communication service performance monitoring
CN109347950B (zh) * 2018-10-17 2021-04-06 南京邮电大学 一种基于Kaa Project的物联网智慧服务系统
US10785123B2 (en) * 2018-11-19 2020-09-22 Facebook, Inc. Communication network optimization
US11212186B2 (en) * 2019-03-13 2021-12-28 Facebook, Inc. Measuring the impact of network deployments
US10601640B1 (en) * 2019-05-23 2020-03-24 Accenture Global Solutions Limited Enriched self-healing for cloud platforms
US11089485B2 (en) * 2019-08-02 2021-08-10 Verizon Patent And Licensing Inc. Systems and methods for network coverage optimization and planning
US11349880B2 (en) * 2019-09-05 2022-05-31 Zscaler, Inc. Cloud application design for efficient troubleshooting
CN113098708B (zh) * 2021-03-23 2022-07-05 北京首都在线科技股份有限公司 一种公网质量评估方法、装置、电子设备及存储介质
CN113301531A (zh) * 2021-05-25 2021-08-24 上海商汤临港智能科技有限公司 用于车辆自动驾驶测试的网络接入系统、方法和装置
CN115515173A (zh) * 2021-06-04 2022-12-23 中兴通讯股份有限公司 基站性能的分析方法、系统、电子设备和存储介质
US11864104B2 (en) 2021-09-08 2024-01-02 Cisco Technology, Inc. Dynamic frequency coordination in shared wireless communication environments
US11523289B1 (en) * 2021-09-22 2022-12-06 T-Mobile Innovations Llc Method and system for enhancing cellular network coverage

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6745011B1 (en) 2000-09-01 2004-06-01 Telephia, Inc. System and method for measuring wireless device and network usage and performance metrics
US7302420B2 (en) * 2003-08-14 2007-11-27 International Business Machines Corporation Methods and apparatus for privacy preserving data mining using statistical condensing approach
US20050125408A1 (en) * 2003-11-20 2005-06-09 Beena Somaroo Listing service tracking system and method for tracking a user's interaction with a listing service
JP2008537859A (ja) 2005-03-15 2008-09-25 エムフォーメイション テクノロジーズ インコーポレイテッド 無線デバイスを使用する端末間動作のモニタリング及び測定システム及び方法
US7873321B2 (en) 2005-03-29 2011-01-18 Qualcomm Incorporated Apparatus and methods for determining network access performance of a wireless device
US8954045B2 (en) * 2006-09-29 2015-02-10 Qualcomm Incorporated Method and apparatus for managing resources at a wireless device
US8483068B2 (en) 2007-03-30 2013-07-09 Verizon Patent And Licensing Inc. System and method of performance monitoring of multicast services with mobility support
US9137664B2 (en) * 2007-05-01 2015-09-15 Qualcomm Incorporated Application logging interface for a mobile device
WO2009086489A1 (en) * 2007-12-27 2009-07-09 Wms Gaming, Inc. Group games and rewards in wagering systems
US20100041391A1 (en) 2008-08-12 2010-02-18 Anthony Wayne Spivey Embedded mobile analytics in a mobile device
JP5337879B2 (ja) * 2008-09-29 2013-11-06 株式会社東芝 複数のネットワークアクセスポイントの事前評価
US8355945B1 (en) 2009-05-11 2013-01-15 Sprint Communications Company L.P. Identifying and ranking high-impact churn sectors
US8811977B2 (en) * 2010-05-06 2014-08-19 At&T Mobility Ii Llc Device-driven intelligence and feedback for performance optimization and planning of a service network
EP3110072B1 (en) 2010-05-25 2017-08-30 Headwater Research LLC Device- assisted services for protecting network capacity
CN101902688A (zh) * 2010-07-09 2010-12-01 中兴通讯股份有限公司 导航信息的统计获取系统及方法
US8676196B2 (en) * 2010-11-30 2014-03-18 Ta-gang Chiou Apparatus and method for competitor network monitoring
US9444692B2 (en) 2011-04-26 2016-09-13 Openet Telecom Ltd. Systems, devices and methods of crowd-sourcing across multiple domains
US8572290B1 (en) * 2011-05-02 2013-10-29 Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College System and architecture for robust management of resources in a wide-area network
US20130159081A1 (en) * 2011-07-08 2013-06-20 Vishwanath Shastry Bidirectional bandwidth reducing notifications and targeted incentive platform apparatuses, methods and systems
US10217117B2 (en) * 2011-09-15 2019-02-26 Stephan HEATH System and method for social networking interactions using online consumer browsing behavior, buying patterns, advertisements and affiliate advertising, for promotions, online coupons, mobile services, products, goods and services, entertainment and auctions, with geospatial mapping technology
US8862950B1 (en) * 2011-09-22 2014-10-14 Amazon Technologies, Inc. Testing the operation of an application programming interface
US9451451B2 (en) 2011-09-30 2016-09-20 Tutela Technologies Ltd. System for regulating wireless device operations in wireless networks
WO2013078541A1 (en) * 2011-11-29 2013-06-06 Energy Aware Technology Inc. Method and system for forecasting power requirements using granular metrics
US9465668B1 (en) * 2012-04-30 2016-10-11 Google Inc. Adaptive ownership and cloud-based configuration and control of network devices
US8976695B2 (en) * 2012-08-23 2015-03-10 Harris Corporation Wireless communications system having selective wireless communications network and related methods
US9178807B1 (en) * 2012-09-20 2015-11-03 Wiretap Ventures, LLC Controller for software defined networks
GB2507994A (en) * 2012-11-16 2014-05-21 Vodafone Ip Licensing Ltd Mobile Device Application Analysis
US9189378B1 (en) 2012-11-30 2015-11-17 Mobile Labs, LLC Systems, methods, and apparatuses for testing mobile device applications
US9274935B1 (en) * 2013-01-15 2016-03-01 Google Inc. Application testing system with application programming interface
US20150371163A1 (en) 2013-02-14 2015-12-24 Adaptive Spectrum And Signal Alignment, Inc. Churn prediction in a broadband network
US9530168B2 (en) 2013-03-28 2016-12-27 Linkedin Corporation Reducing churn rate for a social network service
US9635570B2 (en) 2013-04-04 2017-04-25 Google Inc. Mobile application performance prediction
US20150186952A1 (en) 2014-01-01 2015-07-02 SlamAd.com, Inc. Apparatus and method to facilitate downloading mobile software applications into a portable electronic device, which software applications include advertisements that are embedded within the software application and are re-transmitted to others through use of the portable electronic device
US20160100325A1 (en) 2014-01-27 2016-04-07 Google Inc. Wireless network monitoring device
US20160134508A1 (en) * 2014-11-12 2016-05-12 International Business Machines Corporation Non-disruptive integrated network infrastructure testing
DE102015121484A1 (de) 2015-12-10 2017-06-14 P3 Insight GmbH Verfahren zum Bestimmen einer Datenübertragungsgeschwindigkeit eines Telekommunikationsnetzes
US10756988B2 (en) * 2016-01-22 2020-08-25 Chapter Communication Operating Llc. System and method of isolating QoS fault
US10949771B2 (en) 2016-01-28 2021-03-16 Facebook, Inc. Systems and methods for churn prediction
US20180070866A1 (en) * 2016-09-13 2018-03-15 Kaamran Raahemifar Non-invasive nanosensor system to determine analyte concentration in blood and/or bodily fluids.

Also Published As

Publication number Publication date
CA3050164C (en) 2021-08-24
EP3571859B1 (en) 2022-03-16
CA3050164A1 (en) 2018-07-26
EP3571859A4 (en) 2020-11-04
US10667154B2 (en) 2020-05-26
WO2018132901A1 (en) 2018-07-26
EP3571859A1 (en) 2019-11-27
US20180206135A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
ES2922650T3 (es) Sistema y procedimiento para evaluar el rendimiento de dispositivos inalámbricos y redes inalámbricas
US11671856B2 (en) System and method for evaluating wireless device and/or wireless network performance
US11785466B2 (en) Method and system for IoT code and configuration using smart contracts
Sharma et al. Security, privacy and trust for smart mobile-Internet of Things (M-IoT): A survey
Suomalainen et al. Machine learning threatens 5G security
JP2023522199A (ja) モバイル管理システム
US10819613B2 (en) System and method for interacting with and controlling testing of wireless device and/or wireless network performance on wireless electronic devices
Pal et al. IoT technical challenges and solutions
Kholidy et al. An Experimental 5G Testbed for Secure Network Slicing Evaluation
De Keersmaeker et al. A survey of public IoT datasets for network security research
Le-Dang et al. Internet of Things (IoT) infrastructures for smart cities
Anand et al. Integration of IoT with Cloud Computing for Smart Applications
Maddar et al. Effective Centralized Trust Management Model for Internet of Things
Al-Turjman Smart-Spaces in IoT
Berto ASSURANCE-AWARE 5G EDGE-CLOUD ARCHITECTURES FOR INTENSIVE DATA ANALYTICS
Haroon Building affordable intrusion detection system for internet of things
Mwinuka User-side wi-fi hotspot spoofing detection on android-based devices
Kirongo A vulnerability model for wireless local area networks in an insecure wardriving setting
KAUR FEASIBILITY OF MOBILE AD HOC NETWORKS FOR M-GOVERNANCE IN INDIA
Salvador et al. Management model for wireless broadband networks
Frazão et al. Intelligent Distributed Systems for Rural Areas