BR102014026672A2 - método e aparato para validação das funcionalidades de qos em sistemas lte - Google Patents

Abstract

resumo método e aparato para validação das funcionalidades de qos em sistemas lte provê um método estruturado para validar as funcionalidades de qos cobrindo suas principais características junto à características adicionais tais como capacidade de banda, protocolos e funcionalidades. permite utilizar referências teóricas para avaliação dos resultados, em conformidade com as especificações descritas nos padrões 3gpp para o sistema lte, obtidas através de modelos de simulação. o aparato da invenção utiliza simulador ns-3 para a obtenção dos modelos de simulação e inclui adicionalmente o módulo voip para simulação do comportamento de qos com relação ao serviço voip. inclui o aparato compreendendo ferramenta de teste automatizada o qual interage com o gabarito de configuração que contém os parâmetros de configuração de qos do sistema e da ferramenta de teste e recebe os resultados dos testes para a análise e validação desses resultados. a ferramenta de teste automatizada interage ainda com a giga de teste com a geração de scripts de testes e leitura de logs e dos resultados dos testes. ?? ?? ?? ?? 1/1

Description

MÉTODO E APARATO PARA VALIDAÇÃO DAS FUNCIONALIDADES DE QoS EM

SISTEMAS LTE

Campo de Aplicação [001] A invenção aplica-se a uma ferramenta de automatização e uso de modelos de simulação, incluindo ainda um método estruturado, para validar as funcionalidades de QoS em sistemas LTE cobrindo as principais caracteristicas relativas ao QoS, junto à capacidade de banda, permitindo utilizar referências teóricas para os resultados e obter uma análise comparativa entre diferentes fornecedores de produtos LTE. Pode-se ainda, encontrar possíveis pontos de não conformidade com o esperado teoricamente, ou seja, com as especificações descritas nos padrões 3GPP para o LTE.

[002] Para um melhor entendimento do relatório descritivo, apresentam-se a seguir alguns termos, expressões e siglas utilizadas no mesmo.

[003] 3GPP (3rd Generation Partnership Project) - Organização que atua na padronização e evolução da tecnologia de comunicação móvel celular.

[004] All IP Conceito pelo qual os serviços de voz e de dados caminham sobre um mesmo protocolo IP.

[005] AM (Acknowledge Mode) - Modo de comunicação com confirmação de entrega que é utilizado na subcamada RLC da pilha LTE .

[006] APN (Access Point Name) - Define a rede de interconexão IP que fica fora dos dominios da rede do sistema LTE.

[007] APN-AMBR (APN-Aggregate Maximum Bit Rate) - Define a taxa máxima total para um APN especifico.

[008] Bearer - Define uma comunicação lógica temporária para um ou mais fluxos de serviços IP a serem transmitidos no sistema LTE .

[009] Camada MAC (Media Access Control) - corresponde a uma parte da camada de enlace (camada 2) segundo o modelo OSI.

[010] CODEC (COder-DECoder) - Realiza a codificação e decodificação da mensagem usualmente de voz ou de video para que a mensagem seja transmitida comprimida e assim atingir taxas de comunicação altas.

[ 011]DL (Downlink)- No sistema celular é o sentido dos fluxos de serviços da rede de núcleo para o terminal.

[012] EMS (El ement Management System)- Aplicação no elemento de rede e/ou no núcleo da rede para o controle e gerenciamento deste elemento de rede.

[013] eNB (eNodeB) - Elemento fixo na rede LTE onde os terminais se conectam para a obtenção dos serviços de rede.

[014] Enforcement - Procedimento de execução ou aplicação do que foi configurado nos parâmetros de taxa máxima no sistema EPS, sendo que este (o enforcement) é realizado em pontos distribuídos no sistema EPS.

[015] EFC (Evolved Packet Core) - Elemento da arquitetura da rede de núcleo para onde convergem os serviços disponibilizados para o sistema LTE, além de realizar o controle e administração destes serviços.

[016] EPS (Evolved Packet System) - Sistema composto pela EPC, eNB e terminal.

[017] ERB (Estação Rádio Base) - Equipamentos que disponibilizam uma célula de cobertura do serviço de comunicação móvel, colocados de forma fixa. Os terminais se conectam a uma ERB para a obtenção dos serviços.

[018] Escalonamento - Refere-se ao processo de seleção da próxima mensagem a ser transmitido. Sendo realizado pelo algoritmo de escalonamento.

[019] Gargalo - Condição em que os recursos disponíveis para a transmissão da mensagem não são disponibilizados; em teoria de filas, indica que a fila das mensagens na chegada é maior que a fila de atendimento na saída.

[020] GBR (Guaranteed Bit Rate) - Define a taxa garantida para um bearer para um fluxo de serviço IP.

[021] GTP (GPRS Tunneling Protocol) - Protocolo de encaminhamento das mensagens IP no plano de usuário ou no plano de controle nas interfaces da rede LTE.

[022] Log - Refere-se à informação que é coletada através da captura das mensagens de controle entre a eNodeB e a EPC.

[023] LTE (Long Term Evolution) - Padrão desenvolvido pelo 3GPP na versão 8.

[024] MBR (Maximum Bit Rate) - Define a taxa máxima garantida para um bearer para um fluxo de serviço IP.

[025] MOS (MeanOpinion Score) - Medida de qualidade subjetiva da voz dentro de uma escala definida.

[026] Non-GBR (non-Guaranteed Bit Rate) - Define a comunicação sem garantida de entrega para um bearer para um fluxo de serviço IP.

[027] NS-3 - Simulador de rede LTE compreendendo os elementos UE, eNodeB e EPC. É uma versão livre disponibilizada para fins educacionais, pesquisa e desenvolvimento.

[028] OSI (Open Systems Interconnection) - modelo de referência da ISO para protocolos de comunicação entre os mais diversos sistemas, garantindo a comunicação fim-a-fim. Compreende 7 camadas, a saber: camada física, enlace de dados, camada de rede, camada de transporte, camada de sessão, camada de apresentação e camada de aplicação.

[029] PDB (Packet Delay Budget) - limite máximo de latência na transmissão dentro do sistema LTE.

[030] PELR (Packet Error Loss Ratio) - limite máximo de erro na transmissão dentro do sistema LTE.

[031] QCI (QoS Class of Identifier) - Define as características de fornecimento do serviço de comunicação IP no sistema LTE dentro de uma das classes padronizadas pelo 3GPP.

[032] QoS (Quality of Service)- A capacidade ou a tecnologia utilizada na rede para prover a taxa desejada para um ou mais fluxos de serviços IP com o controle de características de performance tais como latência, taxa de erro de rede e jitter.

[033] RLC (Radio Link Control) - Uma das subcamadas da pilha LTE interna da eNB e do UE que realiza o controle de erro e retransmissão além de outras funções.

[034] RTP (Real Time Protocol) - Protocolo de encaminhamento em UDP das mensagens de VoIP nas interfaces da rede IP.

[035] Script - Conjunto de instruções em texto na forma de códigos que são lidas por um programa específico que interpreta estes códigos e executa alguma tarefa.

[036] Setup - termo referente à inicialização do sistema LTE onde se tem envolvido os parâmetros de configuração deste sistema. [037JSHR (Signal -to-Noise Ratio) - Conceito de telecomunicações relativo às medidas de um sinal em meio ruidoso, definido como a razão da potência de um sinal e a potência do ruido sobreposto ao sinal.

[038]Túnel, parâmetros de - Parâmetros de identificação do túnel; no caso do LTE são dados pela informação de GTP-TEID.

[039JTCB (Transmission Control Protocol) - É um protocolo de nivel da camada de transporte (camada 4) do Modelo OSI.

[040] TEID (Tunnel End point ID) - é a identificação do bearer no plano de usuário criado de forma temporária através do túnel GTP .

[041] TFT (Traffic Flow Template) - Define as regras para o fluxo de mensagens IP a serem encaminhadas para um determinado bearer.

[042] UE-AMBR (UE Aggregate Maximum Bit Rate) - Define a taxa máxima para um UE especifico.

[043] UDP (User Datagram Protocol - É um protocolo de nível da camada de transporte (camada 4) do Modelo OSI.

[044] UE (User Equipment) - Terminal LTE conforme com os padrões 3GPP.

[045] UL (Upl ink) - No sistema celular é o sentido dos fluxos de serviços do terminal para a rede de núcleo.

[046] UM (Unacknowledged Mode) - Modo de comunicação sem confirmação de entrega que é utilizado na subcamada RLC da pilha LTE .

[047] VoIP (Voice over Internet Protocol) - telefonia em banda larga ou voz sobre banda larga. É o roteamento de conversação humana usando a Internet ou qualquer outra rede de computadores baseada no Protocolo de Internet, tornando a transmissão de voz mais um dos serviços suportados pela rede de dados.

Estado da Técnica [048] Como evolução das redes móveis de acesso, a tecnologia LTE introduziu o conceito "all IP" onde os serviços de voz e dados caminham sobre um mesmo protocolo IP, sendo que antes estes percorriam caminhos distintos. Para que tal evolução ocorresse, mudanças importantes foram introduzidas para acomodar estes dois serviços sobre um mesmo protocolo IP.

[049] As principais mudanças são a introdução das funcionalidades de Qualidade de Serviço (QoS) e do algoritmo de escalonamento em tempo-frequência nas estações rádio base (ERB) e conjuntamente, o aumento de capacidade de banda disponível. Para que haja a interoperabilidade com respeito ao QoS entre diferentes fornecedores de produtos LTE, o padrão 3GPP descreve em capítulos específicos (TS 23.401; 3GPP TS 32.426; TS 36.321; TS 24.008; TS 23.203) os requisitos de sinalização e mensagens relativos à configuração dos parâmetros de QoS.

[050] Contudo, o padrão 3GPP não possui um capitulo especifico relativo a procedimentos de validação das implementações de QoS para um equipamento terminal (UE na tecnologia LTE) , eNodeB ou EPC. Outro ponto, além da questão da interoperabilidade, é que o mecanismo de escalonamento dentro da camada MAC não é detalhado nos documentos dos padrões 3GPP. Desta forma, fica a cargo dos fornecedores desses produtos a sua implementação de forma proprietária.

[051] Os documentos de patente relacionados a seguir ilustram o estado da técnica referentes a QoS em sistemas LTE.

[052] As publicações US2014133410, CN103179618, CN103167562, W02013127 6 65, US2012195196, US2012014281, ÜS2010118892, CN101982991, US2007291685 propõem melhorias com relação ao QoS em sistemas LTE ou propõem novos métodos ou algoritmos de escalonamento, não especificando, todavia, como validar ou testar as soluções propostas.

[053] As publicações US2014080506, US2014066084, PT2340678, CN103354641, MX2013001214 , US2011159893 descrevem o desenvolvimento de serviços em redes LTE com base em funcionalidades de QoS, também sem especificar como validar ou testar as soluções propostas.

[054] Já as publicações US2013326061 e US2010118892 descrevem o controle do QoS em sistemas LTEs. Como nos documentos de patente citados anteriormente, também não tratam da validação ou da realização de testes nas soluções propostas.

[055] Os documentos anteriormente citados apresentam diversos exemplos de métodos e algoritmos de escalonamento para o tratamento de QoS em sistemas LTE, bem como em outros sistemas. Contudo, abordam o QoS somente no referente amétodos e algoritmos de escalonamento e de controle do QoS, nos serviços em redes LTE,não cobrindo tópicos de QoS relacionados a testes em sistemas LTE, nem métodos sistematizados ou estruturados, ou métodos que utilizem modelos de simulação, nem métodos que utilizem ferramentas de automatização dos testes.

Objetivos da Invenção [056] Tendo em vista o exposto acima, constitui um primeiro objetivo da invenção é prover um método que possibilite validar as funcionalidades de QoS em sistemas LTE.

[057] Outro objetivo da invenção é prover uma ferramenta de teste automatizado para realizar a simulação do tráfego de carga do sistema LTE, incluindo a etapa de coleta e análise dos resultados.

[058] É ainda outro objetivo da invenção prover um método que efetue a análise comparativa com os resultados da simulação, possibilitando a validação das funcionalidades de QoS LTE no sistema composto por terminal ÜE, eNodeB e EPC.

Descrição Resumida da Invenção [059] As contribuições principais da invenção proposta são o uso de um método estruturado em etapas para validação das funcionalidades práticas de QoS em sistemas LTE, o uso de uma ferramenta de automatização, e o uso de um método de análise comparativa baseado em modelos de simulação.

[060] De acordo com um primeiro aspecto da invenção, é provido um método de teste de QoS que abrange: Desenvolvimento de uma ferramenta de automatização;

Realização de procedimentos de testes e análise e verificação do comportamento com relação ao QoS de forma estruturada;

Ditos testes compreendem uma primeira etapa de testes de protocolo, uma segunda etapa de testes funcionais e uma terceira etapa de testes de desempenho;

Utilização de gabaritos para as configurações dos parâmetros de QoS e anotação dos resultados;

Comparação dos resultados dos testes executados com os resultados de simulação; - Análise dos resultados de forma estruturada.

[061] Outro aspecto da invenção é a aplicação de modelos de simulação para a execução dos testes com obtenção de resultados teóricos em conformidade com padrão 3GPP. Estes resultados são comparados com os resultados dos testes com elementos reais como forma de validar o comportamento destes últimos.

[062] O método é aplicável em diferentes situações, a saber: - Testes com um ou múltiplas UEs;

Testes com um ou múltiplos APNs;

Testes com um ou múltiplos bearers;

Testes de taxa com fluxos TCP, UDP e RTP;

Testes de condição de célula (SNR ou atenuação);

Testes nos modos de transmissão RLC UM e AM.

[063] Cada uma das etapas possui um modelo de gabarito para a configuração dos parâmetros e levantamento dos resultados. Com isto, é possível a elaboração posterior dos gráficos para análise visual comparativa entre os resultados dos testes simulados e práticos.

Descrição das Figuras [064] As demais vantagens e características da invenção tornar-se-ão mais evidentes a partir da descrição de concretizações ou aplicações práticas preferidas, dadas a título de exemplo e não de limitação, e das figuras que a elas se referem, nas quais: [065] A Figura la é um diagrama do método compreendendo uma Etapa I de Testes de protocolo (TP) para validação das mensagens, uma Etapa II de Testes funcionais de QoS (TF) , e uma Etapa III de Testes de desempenho de QoS (TD).

[066] A Figura lb mostra o aparato utilizado numa concretização preferida da invenção.

[067] A Figura 2 mostra um quadro com configurações de QCI conforme o padrão 3GPP (características de fornecimento do serviço de comunicação IP no sistema LTE).

[068] A Figura 3 ilustra os filtros TFT nos sentidos dos fluxos de tráfego DL e UL entre o terminal UE, eNodeB e EPC.

[069] A Figura 4 exemplifica o gabarito para a configuração dos parâmetros de QoS na EPC na Etapa I, que compreende a validação nas mensagens.

[070] A Figura 5 ilustra a sequência de operações na ferramenta de Test Automation para a validação das mensagens na Etapa I de Testes de Protocolo (TP).

[071] A Figura 6 ilustra a sequência de operações na ferramenta de Test Automation para a validação do GTP-TEID e filtros TFT na Etapa I.

[072] A Figura 7 exemplifica o gabarito utilizado na Etapa II, para a configuração dos parâmetros de QoS na EPC e a validação destas com a verificação do enforcement dos parâmetros APN-AMBR, UE-AMBR e MB.

[073] A Figura 8 mostra a sequência de operações na ferramenta de Test Automation para a Etapa II.

[074] A Figura 9 ilustra o fluxo do procedimento para o teste de taxa máxima TCP e UDP para melhor modulação, numa realização exemplificativa da invenção.

[075] A Figura 10 exemplifica o gabarito para o teste de taxa máxima TCP e UDP para melhor modulação, numa realização exemplificativa da invenção.

[076] A Figura 11 é um gráfico com os valores dos parâmetros configurados de taxas injetadas nos diferentes bearers para a simulação e para os testes de taxa máxima TCP e UDP para melhor modulação, numa realização exemplificativa da invenção.

[077] A Figura 12 é um gráfico do resultado da simulação, que possibilita a comparação com o resultado obtido nos testes com equipamentos LTE para os testes de taxa máxima TCP e UDP para melhor modulação, numa realização exemplificativa da invenção.

[078] A Figura 13 mostra o fluxo do procedimento para o teste VoIP com obtenção do MOS para diferentes condições de tráfego concorrente e para melhor modulação, numa realização exemplificativa da invenção.

[079] A Figura 14 apresenta o gabarito para o teste VoIP com obtenção do MOS para diferentes condições de tráfego concorrente e para melhor modulação, numa realização exemplificativa da invenção.

[080] A Figura 15 apresenta o gráfico com os valores dos parâmetros configurados de taxas injetadas nos diferentes bearers para a simulação e para o teste VoIP com obtenção do MOS para diferentes condições de tráfego concorrente e para melhor modulação, numa realização exemplificativa da invenção.

[081] A Figura 16 apresenta o gráfico do resultado de MOS da simulação e do teste real, para os testes de taxa máxima TCP e UDP para melhor modulação, numa realização exemplificativa da invenção.

[082] A Figura 17 mostra o fluxo do procedimento para o teste de taxa máxima TCP e UDP para modulação adaptativa.

[083] A Figura 18 apresenta o exemplo de gabarito para o teste de taxa máxima TCP e UDP para modulação adaptativa.

[084] A Figura 19 apresenta o gráfico com os valores dos parâmetros configurados de taxas injetadas nos diferentes bearers para a simulação e para os testes de taxa máxima TCP e UDP para modulação adaptativa.

[085] A Figura 20 apresenta o gráfico do resultado da simulação para os testes de taxa máxima TCP e UDP para modulação adaptativa.

[086] A Figura 21 mostra o fluxo do procedimento para o teste VoIP com obtenção do MOS para diferentes condições de tráfego concorrente para modulação adaptativa.

[087] A Figura 22 apresenta o exemplo de gabarito para o teste VoIP com obtenção do MOS para diferentes condições de tráfego concorrente para modulação adaptativa.

[088] A Figura 23 mostra o gráfico com os valores dos parâmetros configurados de taxas injetadas nos diferentes bearers para a simulação e para os testes de VoIP com obtenção do MOS para diferentes condições de tráfego concorrente para modulação adaptativa.

[089] A Figura 24 mostra o gráfico com os resultados da simulação para os testes VoIP com obtenção do MOS para diferentes condições de tráfego concorrente para modulação adaptativa.

[090] A Figura 25 apresenta a ferramenta de Test Automation para a etapa III.

Descrição Detalhada do Método da Invenção [091] Os aspectos principais da invenção são o provimento de uma ferramenta de automatização bem como o uso de modelos de simulação para utilização dos resultados em análise comparativa.

Ferramenta de Automatização(Test Automation): [092] De acordo com um dos aspectos da invenção, é provida uma Ferramenta de Automatização para a realização dos testes no sistema LTE de forma a reduzir o tempo, tanto do processo de configuração dos testes, como da execução dos testes e, finalmente, da consolidação e análise dos resultados dos testes de QoS.

[093] Segundo exemplificado na Fig. 1-b, a ferramenta de Test Automation (1) faz interface com o gabarito de configuração (3), com o módulo de exportação de logs (7), e com o Test Console (4) . A função do Test Console é controlar a geração do tráfego de teste no sistema LTE, bem como a obtenção e coleta dos resultados deste teste. Este resultado é posteriormente exportado para a ferramenta Test Automation (1) . Este último (Test Console), bem como os test endpoints (descritos mais adiante), fazem parte da giga de teste, contudo não fazem parte do aparato da invenção.

[094] As funções principais da ferramenta de Test Automation são a geração dos Scripts de testes e a geração dos resultados consolidados dos testes para as etapas II e III. A geração dos Scripts de testes é feita com a entrada de duas informações: da leitura dos parâmetros de configuração inseridos no gabarito de configuração (3); e do log coletado na giga de teste na etapa I. O script é carregado no Test Console (dentro da giga de teste) para a execução dos testes posteriores das etapas II e III.

[095] 0 cenário de testes compreende o aparato com seguintes elementos apresentados na Figura lb, necessários para a execução dos testes, a saber: [096] Ferramenta Test Automation (1), que extrai do gabarito de configuração (3) as informações dos parâmetros de configuração dos componentes, o qual contém as configurações da EPC, eNB e do Test Console;

[097] Realiza a leitura do log com informações resultantes da execução do teste na giga de teste, o que é feito na etapa I, a partir das informações das mensagens Sl-AP e Sl-U, como mostrado nas figura 5 e 6, respectivamente;

[098] Realiza a geração dos Scripts de testes (após a extração das informações dos parâmetros e leitura do log, executados como descrito anteriormente) para a leitura pelo Test Console, contendo as configurações para que este (Test Console) execute os testes das etapas II e III;

[099] Realiza ainda a leitura dos resultados das etapas II e III, compreendendo a leitura dos resultados exportados pelo Test Console para a geração dos resultados consolidados a serem inseridos no gabarito.

[ 0100]Giga de teste (2) , contém os componentes que executam os testes do sistema LTE, contendo os elementos LTE (ÜE, eNB, EPC) e mais as ferramentas de testes compreendendo: dois Test Endpoints (5 e 6) e o Test Console (4) . Neste último é realizada a troca de informações através de arquivos de Scripts e logs com a ferramenta de Test Automation.

[0101] Gabarito de configuração e análise dos resultados(3), Gabarito contendo a configuração dos componentes bem como os resultados dos testes. A ferramenta de Test Automation realiza a leitura e escrita neste gabarito.

[0102] A ferramenta de geração de tráfego na giga de teste que compreende o Test Console (4) e dois Test Endpoints (5 e 6) . Estes são parte da ferramenta comercial (não são parte do aparato da invenção). Estes permitem a geração de diferentes tipos de tráfego entre os dois Test Endpoints (TCP, UDP, RTP com configuração de portas origem e destino), comandados e configurados pelo Test Console. Equipamentos comercialmente disponíveis tais como utilizados na giga de teste, permitem executar o script contendo a configuração dos parâmetros para a execução do teste. O Test Console realiza a leitura deste script e o operador executa o teste conforme esse scrípt. Ademais, esta ferramenta permite a exportação dos resultados em diferentes formatos tais como TXT, CSV ou HTML, permitindo o tratamento e consolidação das informações pela ferramenta de Test Automation.

[0103] Módulo de exportação dos logs (7) , o qual através de logs gerados nos testes da etapa I, realiza a exportação deste log em formato texto para que a ferramenta de Test Automation possa realizar a leitura deste log. Este módulo é composto de ferramenta comercial ou mesmo de solução aberta.

[0104] A ferramenta proposta de Test Automation realiza a geração do script para o Test Console e geração dos resultados consolidados para o gabarito.

[0105] Dito script contém: Parâmetros de configuração da EPC, eNB e do Teste Console; Informações de taxas de transmissão;

Protocolo e portas (extraido das informações do filtro TFT); Informações de endereços IP;

Parâmetros de teste a serem inseridos: tempo de execução, número de execuções, sentido do tráfego UL e/ou DL.

[0106] O resultado consolidado contém informações de: - Parâmetros contidos de configuração de QoS nas mensagens Sl-AP e Sl-U (túnel GTP-TEID e tipo de tráfego/porta);

Informações resultantes do teste executado pelo Test Console (vazão máxima, latência, MOS, jitter).

[0107] O método inclui os gabaritos para cada uma das etapas contendo: Configurações dos parâmetros de QoS no sistema LTE Configurações dos parâmetros de configuração do Test Console Resultados dos testes de validação das mensagens, testes funcionais e testes de desempenho.

[0108] Com as informações de configuração e os resultados dos testes, é possível realizar a análise e/ou comparação entre os valores configurados e os valores resultantes, e apresenta-los em forma de gráficos ou tabelas.

Simulador utilizado: [0109] Outro aspecto da invenção é o simulador do sistema LTE que se baseia no NS-3, o qual está disponível de forma pública.

Possui software suficiente para criação de modelo de simulação dentro de um ambiente de rede completo de sistema LTE (UE; eNodeB; e EPC). Permite simular uma rede real com comunicação em protocolo IP, possuindo algoritmos de escalonamento e podendo desta forma realizar a simulação com variação dos parâmetros de QoS dentro de um sistema de rede LTE.

[0110] Com relação à possibilidade de simulação VoIP com a análise de QoS, o NS-3 não possui componentes para isto, assim a contribuição do método de teste de QoS é a inclusão de um módulo VoIP no simulador LTE NS-3 para LTE onde se tem: Modelo de mensagem RTP com diferentes configurações de codecs; - Transmissor/receptor RTP;

Utilização do modelo E-Model ITU-T G.107 de avaliação de estimativa de qualidade da transmissão de mensagens RTP; Medidas de latência e jitter;

Analisador dos resultados e geração de relatório de resultados.

[0111] Além do módulo VoIP, outro módulo importante é o relativo ao teste simulando diferentes condições de interface aérea, ou seja, o teste Over the Air (OTA) dentro de cenário com uso de Link Adaptation ou com configuração fixa utilizando um esquema de modulação, estes realizados com diferentes condições de SNR ou atenuação.

Mensagens de sinalização de QoS na interface SI: [0112] Mensagem de sinalização do LTE referentes ao call setup e call control para o terminal UE são importantes para a monitoração e verificação dos parâmetros de configuração de QoS. Estas (mensagens de sinalização) podem ser coletadas nas mensagens RRC na interface Uu e nas mensagens Sl-AP na interface Sl-MME entre a eNodeB e a EPC. Mensagens RRC são possíveis de capturar com ferramentas comerciais pagas, não havendo disponibilidade de solução aberta para esta captura. Mensagens de sinalização na interface Sl-MME são possíveis de capturar com ferramentas abertas, sendo que nesta (interface) as informações de configuração de QoS são carregadas em mensagens com protocolo Si-AP, assim sendo, esta mensagem é importante para captura e coleta das informações de parâmetros de configuração do QoS.

[0113] A mensagem (Sl-AP) durante o call setup ou attach do terminal UE, envia os parâmetros de configuração de QoS definidos previamente dentro do EMS da EPC para a eNodeB, e este último configura internamente estes parâmetros para este UE, bem como, envia outros parâmetros de configuração derivados de QoS para o UE através de mensagem RRC (estes após passar pela etapa de call admlssíon control).

[0114] O algoritmo de escalonamento, com os parâmetros de configuração de QoS recebidos da EPC realiza o gerenciamento e controle do QoS em tempo real para cada um dos UEs de acordo com as configurações de QCI (uso de um dentre os disponíveis, de 1 a 9 conforme figura 2) . Este controle também é realizado por bearers e de acordo com as condições de disponibilidade de recursos na interface aérea. Cada QCI define um conjunto de configurações especificas de QoS.

Gabaritos e geração dos gráficos: [0115] O gabarito de configuração, além da informação de QCI contém outros parâmetros de QoS, incluindo APN-AMBR, UE-AMBR, MBR, ARP, precedence, configuração de TFT, MOS, latência, e j1tter.

[0116] Como exemplificado nas figuras 4 e 6, os conteúdos dos gabaritos compreendem os seguintes: - APN-AMBR: define a taxa máxima aplicável para o tráfego agregado por APN de todos os terminais UEs conectados nesta APN; UE-AMBR: define a taxa máxima aplicável para o tráfego agregado do terminal UE para todos os seus bearers configurados (GBR e non-GBR); MBR: taxa máxima garantida para o bearer configurado como GBR; ARP: prioridade para a admissão do UE (etapa de call admission control); precedence: prioridade para a admissão do fluxo de mensagens IP para o bearer especifico pelo filtro TFT.

[0117] Um fluxo de dados IP de usuário no sistema LTE deve transitar em bearer (EPS bearer) e, todo o tráfego mapeado em um bearer especifico recebe o mesmo tratamento de QoS. Os bearers são basicamente identificados como bearer GBR, non-GBR, default e dedicated bearer.

[0118] O filtro TFT define o a seleção do fluxo de mensagens IP a ser admitido para trafegar no bearer especifico, contendo parâmetros IP tais como: protocol; ToS; porta; e endereço IP. A aplicação do filtro ocorre no terminal UE e na EPC, o filtro ainda é definido separadamente para os sentidos UL e DL. Isto é mostrado na Fig. 3.

[0119] O gabarito ainda inclui configurações e resultados de condições de célula (SNR ou atenuação) com uso de Link Adaptation ou modulação fixa.

[0120] A medida para estimar a qualidade das chamadas VoIP é baseado no E-Model, definido pela norma ITU-T G.107 (ITU-T. G.107. 2013) utilizando resultados de MOS gerados pela fluxo RTP entre os Test end points (pontos de origem e terminação das chamadas.) Realização Preferencial Exemplificativa [0121] Apresenta-se a seguir a aplicação da invenção dentro de um ciclo de testes práticos compreendendo as 3 etapas, incluindo o método, os gabaritos, a utilização de modelos de simulação e a ferramenta de Test Automation. As 3 etapas são descritas a seguir.

[0122] Etapa I: Testes de protocolo: validação das mensagens (control plane) Configurações dos parâmetros de QoS no sistema e análise das mensagens de sinalização; - Inclui parâmetros: QCI; precedence; ARP; UE-AMBR; APN-AMBR; MBR; filtro TFT; múltiplos APNs.

[0123] Procedimentos: Definição dos parâmetros de configuração e preenchimento do gabarito;

Execução do teste na giga de teste e exportação do log do resultado do teste para a ferramenta de Test Automation (1); - Validação das mensagens de configuração de QoS dentro das mensagens Initial Context Setup Request Sl-AP e mensagem Activate dedicated EPS Bearer Context Request; criação de default bearer; dedicated bearer; parâmetros de túnel GTP-U (GTP-TEID);

Validação do GTP-TEID e filtros TFT para os fluxos de data plane com a injeção de fluxo de tráfego em default e dedicated bearer;

Criação de 1 APN e 8 bearers simultâneos. Utilização de QCI= 1 a 8 para cada um dos bearers e com configuração filtros TFT distintos. Injeção de tráfego correspondente a cada um dos bearers (match com filtro TFT) e análise da informação do tunel GTP-U (GTP-TEID);

Criação de 2 APNs e 8 bearers simultâneos.

[0124] Gabarito: A Fig. 4 apresenta o gabarito para a configuração dos parâmetros de QoS na EPC e para a validação nas mensagens.

[0125] Test Automation - Validação das mensagens: O procedimento apresentado na Fig. 5 compreende a configuração dos parâmetros de QoS na EPC, extração dos resultados do log Sl-AP e uso da ferramenta de Test Automation para a geração dos resultados consolidados.

[0126] Test Automation - Validação do GTP-TEID e filtros TFT: O procedimento apresentado na Fig. 6 compreende a configuração dos parâmetros de QoS na EPC e a ferramenta de Test Automation realiza a geração do script de teste baseada nas informações de parâmetros de configuração do Test Console (taxas, protocolos, portas). Da giga de teste coleta-se o log Sl-U e a ferramenta de Test Automation gera as informações consolidadas de GTP-TEID, número do protocolo, e porta do protocolo (TCP, UDP, ICMP).

[0127] Etapa II: TF - Testes funcionais de QoS (data plane) - Configuração e análise funcional de QoS;

Teste de comportamento (enforcement) incluindo os parâmetros: QCI; precedence; UE-AMBR; APN-AMBR; MBR; e filtro TFT;

[0128] Procedimentos: - Definição dos parâmetros de configuração e preenchimento do gabarito; - Execução do teste na giga de teste utilizando a ferramenta de Test Automation; - Validação dos parâmetros: QCI; precedence; ARP; UE-AMBR; APN-AMBR; MBR; e filtro TFT dentro da etapa I; - Teste de comportamento {enforcement) dos parâmetros APN-AMBR x UE-AMBR com injeção de tráfego; - Teste de comportamento (enforcement) dos parâmetros QCI GBR x non-GBR com tráfego concorrente para o default e dedicated bearer.

[0129] Gabarito: - O gabarito para a configuração dos parâmetros de QoS na EPC e para validação é apresentado na Fig. 7.

[0130] Test Automation: - O fluxograma da Fig. 8 esquematiza o procedimento de configuração dos parâmetros de QoS na EPC, compreendendo a geração, pela ferramenta de Test Automation, do script de teste baseado nas informações de parâmetros de configuração do Test Console (taxas, protocolos, portas) contidas no gabarito da. Da giga de teste coleta-se o log Sl-U com os resultados dos testes e a ferramenta de Test Automation gera as informações consolidadas de GTP-TEID, protocolo, porta, e vazão máxima (vide Fig. 8).

[0131] Etapa III: TD - Testes de desempenho de QoS Determinação de taxa máxima;

Determinação de taxa x cobertura;

Determinação de desempenho VoIP; - Análise com valores teóricos e de simulação;

Determinação de taxa máxima nos modos de transmissão RLC UM e AM e protocolos UDP e TCP;

Testes com múltiplos UEs.

[0132] Procedimentos: Definição dos parâmetros de configuração e preenchimento do gabarito;

Execução do teste no simulador e coleta do resultado no gabarito;

Execução do teste na giga de teste utilizando a ferramenta de Test Automation e coleta do resultado no gabarito; - Teste de taxa máxima TCP e UDP para melhor modulação para default bearer e dedicated bearer;

Teste VoIP com obtenção do MOS para diferentes condições de tráfego concorrente para melhor modulação; - Teste de taxa máxima TCP e UDP para modulação adaptativa e diferentes condições de célula para default bearer e dedicated bearer;

Teste VoIP com obtenção do MOS para diferentes condições de tráfego concorrente para modulação adaptativa e diferentes condições de célula;

Testes anteriores nos modos de transmissão RLC UM e AM;

Testes anteriores com múltiplas UEs.

[Tl] - Teste de taxa máxima TCP e UDP para melhor modulação: [0133] A Fig. 9 apresenta o fluxo do procedimento de testes, onde a configuração dos parâmetros de QoS é definida tanto para a simulação como para a configuração dos testes nos equipamentos reais LTE. Os resultados da simulação e dos testes são passados para o gabarito e posteriormente são gerados os gráficos comparativos. O resultado da simulação indica a validação ou não do teste prático, podendo neste último indicar possíveis problemas com o resultado obtido no teste. O teste no sistema LTE é realizado utilizando a ferramenta de Test Automation.

Gabarito para a configuração e análise dos resultados: [0134] O formato do gabarito com exemplo de valores para os parâmetros de configuração é apresentado na Fig. 10, relativos aos parâmetros taxa e tempo de resposta.

[0135] Neste caso específico dos valores do gabarito o objetivo do teste é validar a priorização de bearer GBR comparado ao bearer non-GBR com tráfego TCP, assim, para os diferentes testes sequenciais foi-se aumentado a taxa injetada no dedicated bearer GBR até se ter a condição de gargalo, quando se tem taxa total acima do Tx max {este indica a taxa ou vazão máxima obtida para a configuração utilizada para o sistema LTE) e onde pode se verificar a atuação do escalonamento na priorízação.

Análise gráfica: [0136] A Fig. 11 mostra o gráfico com os valores dos parâmetros configurados de taxas injetadas nos diferentes bearers (default e dedicated) tanto para a simulação como para os testes.

[0137] A Fig. 12 mostra o gráfico do resultado da simulação para os bearers default e dedicated, permitindo a comparação com o resultado obtido nos testes com equipamentos LTE para os mesmos bearers.

[0138] Neste resultado dado como exemplo, observa-se que conforme caminha para a condição de gargalo, onde a taxa total (Tx) para os bearers fica acima da vazão máxima (Tx max), o dedicated bearer GBR (QCI 3) é priorizado, até o limite do valor de MBR, com relação aos bearers default (QCI 9) e dedicated (QCI 5), ambos non-GBR.

[0139] No caso de desvios no resultado do teste obtido, estes indicam possíveis problemas na implementação do QoS no sistema LTE .

[T2] Teste VoIP com obtenção do MOS para diferentes condições de tráfego concorrente e para melhor modulação: [0140] A Fig. 13 apresenta o fluxo do procedimento, onde a configuração é definida tanto para a simulação como para o teste. Os resultados da simulação e dos testes são passados para o gabarito e disto são gerados os gráficos comparativos. Assim o resultado da simulação indica a validação ou não do teste prático, podendo neste último indicar possíveis problemas com o resultado obtido no teste. O teste no sistema LTE é realizado utilizando a ferramenta de Test Automation.

[0141] O simulador permite reproduzir de forma computacional a giga de teste da presente invenção. O simulador permite que diferentes tipos de geradores de tráfego sejam associados aos elementos do sistema. O gerador de tráfego RTF é um dos protocolos utilizados para a avaliação do desempenho de chamadas VoIP. A utilização desse protocolo nos testes permite a análise da latência, jitter e perda de pacotes. A coleta dessas métricas permite estimar o MOS de uma chamada de voz.

Gabarito para a configuração e análise dos resultados: [0142] O formato do gabarito com exemplo de valores para os parâmetros de configuração é apresentado na Fig. 14. Inclui os parâmetros: taxa; MOS; jitter; e tempo de resposta.

[0143] Neste caso específico o objetivo do teste é validar a priorização do bearer GBR com QCI= 1 (com tráfego RTF) comparado ao default bearer non-GBR. Assim, para os diferentes testes sequenciais foi-se aumentado a taxa injetada no default bearer non-GBR até se ter a condição de gargalo quando se tem taxa total acima do Tx max, podendo-se observar o comportamento do parâmetro MOS nestas condições de gargalo.

[0144] Análise gráfica: [0145] A Fig. 15 mostra o gráfico com os valores dos parâmetros configurados de taxas injetadas nos bearers (default e dedicated) tanto para a simulação como para os testes.

[0146] A Fig. 16 mostra o gráfico com os resultados comparativos entre a simulação e o teste prático.

[T3] Teste de taxa máxima TCP e UDP para modulação adaptativa: [0147] A Fig. 17 apresenta o fluxo do procedimento, onde a configuração é definida tanto para a simulação como para o teste. Os resultados da simulação e dos testes são passados para o gabarito e deste são gerados os gráficos comparativos. Assim o resultado da simulação indica a validação ou não, podendo neste último indicar possíveis problemas com o resultado obtido no teste. O teste no sistema LTE é realizado utilizando a ferramenta de Test Automation.

[0148] O simulador permite definir cenários com mobilidade, múltiplas células, diferentes tipos de canais entre outras configurações. Nesses cenários, os terminais e a eNodeB estão sujeitas a diferentes condições de RF e interferências. Assim como nos sistemas reais, o escalonador da eNodeB possui um algoritmo de escalonamento que realiza a modulação adaptativa para cada terminal. Assim, o sistema LTE simulado para QoS possui as principais funcionalidades do sistema LTE real.

Gabarito para a configuração e análise dos resultados: [0149] O formato do gabarito com exemplo de valores para os parâmetros de configuração é apresentado na Fig. 18. Refere-se aos parâmetros taxa e tempo de resposta.

[0150] Neste caso especifico o objetivo do teste é validar a priorização de bearer GBR com QCI = 3 (com tráfego TCP) comparado ao default bearer non-GBR para diferentes condições de célula. Assim, para os diferentes testes sequenciais utiliza-se a mesmas taxas no default e dedicated bearer.

Análise gráfica: [0151] A Fig. 19 mostra o gráfico com os valores dos parâmetros configurados de taxas injetadas nos bearers (default e dedicated) tanto para a simulação como para os testes.

[0152] A Fig. 20 mostra o gráfico do resultado da simulação, que possibilita a comparação com o resultado ser obtido nos testes práticos com o sistema LTE. Neste resultado, dado como exemplo, observa-se que conforme ocorre a condição de gargalo, onde a taxa total (Tx) para os bearers está acima da vazão máxima (Tx max) , o dedicated bearer GBR (QCI 3) é priorizado (sem alteração de sua taxa), com relação ao bearer default (QCI 9) non-GBR, conforme menores valores de SNR. Isto significa a diminuição dos recursos na interface aérea.

[T4] Teste VoIP com obtenção do MOS para diferentes condições de tráfego concorrente para modulação adaptativa: [0153] A Fig. 21 apresenta o fluxo do procedimento, onde a configuração é definida tanto para a simulação como para o teste. Os resultados da simulação e dos testes são passados para o gabarito e disto são gerados os gráficos comparativos. Assim o resultado da simulação indica a validação ou não, podendo neste último indicar possíveis problemas com o resultado obtido no teste. O teste no sistema LTE é realizado utilizando a ferramenta de Test Automation.

[0154] Assim como nos cenários anteriores, o simulador permite a utilização de geradores de tráfego RTP, coleta de métricas como jitter, perda de pacote e atraso, utilização de diferentes tipos de canais, modulação adaptativa no escalonador da eNodeB, interferência entre-células e entre terminais, mobilidade com diferentes direção e velocidade entre outros.

Gabarito para a configuração e análise dos resultados: [0155] O formato do gabarito com exemplo de valores para os parâmetros de configuração é apresentado na Fig. 22. Inclui os parâmetros: taxa; MOS; jitter; e tempo de resposta.

[0156] Neste caso especifico o objetivo do teste é validar a priorização de bearer GBR com QCI= 1 (com tráfego RTP) comparado ao default bearer non-GBR para diferentes condições de célula. Assim, para os diferentes testes sequenciais utiliza-se a mesmas taxas no default e dedicated bearer.

Análise gráfica: [0157] A Fig. 23 mostra o gráfico com os valores dos parâmetros configurados de taxas injetadas nos bearers (default e dedicated) tanto para a simulação como para os testes.

[0158] A Fig. 24 mostra o gráfico com os resultados comparativos entre a simulação e o teste prático.

Test Automation: [0159] O procedimento ilustrado na Fig. 25 exemplifica a sequência utilizada nos testes de desempenho de QoS, compreendendo a configuração dos parâmetros de QoS na EPC e de modulação na eNB. A ferramenta de Test Automation gera o script de teste baseado nas informações de parâmetros de configuração do Test Console (taxas, protocolos, portas) contidas no gabarito. Da giga de teste coleta-se o log Sl-Ü e a ferramenta de Test Automation gera as informações consolidadas de GTP-TEID, protocolo, porta, e vazão máxima, MOS, latência e jitter.

[0160] Embora a presente invenção tenha sido descrita em conexão com uma modalidade preferencial de realização, deve ser entendido que não se pretende limitar a invenção a tal modalidade particular. Ao contrário, pretende-se cobrir todas as alternativas, modificações e equivalentes possíveis, dentro do espirito e do escopo da invenção.

Claims (8)

1 . MÉTODO PARA VALIDAÇÃO DAS FUNCIONALIDADES de QoS EM SISTEMAS LTE caracterizado por compreender uma etapa de testes de protocolo, seguida de uma etapa testes funcionais e por uma etapa de testes de desempenho.

2. MÉTODO de acordo com a reivindicação 1, caracterizado por uma etapa de testes de protocolo compreender os passos de: -validação das mensagens; - configuração dos parâmetros de QoS no sistema; e -análise das mensagens de sinalização.

3. MÉTODO de acordo com a reivindicação 1, caracterizado por etapa de testes funcionais e compreender os passos de: - configuração e análise funcional de QoS; e - teste de comportamento, incluindo os parâmetros QCI, precedence, UE-AMBR, APN-AMBR, MBR e filtro TFT.

4. MÉTODO de acordo com a reivindicação 1, caracterizado por etapa de testes de desempenho e compreender os passos de: -determinação da taxa máxima; - determinação de taxa x cobertura; - determinação de desempenho VoIP; - análise comparativa com valores teóricos e de simulação; - determinação da taxa máxima nos modos de transmissão RLC, UM, AM e protocolos UDP e TCP; - teste com múltiplos UEs.

5. MÉTODO de acordo com a reivindicação 1, caracterizado por compreender os passos de: - utilização de uma ferramenta de automatização na realização dos testes; - realização de procedimentos de testes, análise e verificação do comportamento com relação ao QoS de forma estruturada; - utilização de gabaritos para as configurações dos parâmetros de QoS e registro dos resultados; - comparação dos resultados dos testes executados com os resultados de simulação; -análise dos resultados de forma estruturada.

6. MÉTODO de acordo com as reivindicações 1 a 5, caracterizado por compreender o uso de simulador NS-3 do sistema LTE na aplicação de modelos de simulação para a execução de testes para obtenção de resultados teóricos em conformidade com o padrão 3GPP, e validação de testes com elementos reais mediante comparação destes com ditos resultados teóricos.

7 . APARATO PARA VALIDAÇÃO DAS FUNCIONALIDADES DE QoS EM SISTEMA LTE mediante a execução do método definido nas reivindicações 1 a 6, caracterizado por utilizar simulador VoIP com NS-3 do sistema LTE compreender os seguintes elementos: - ferramenta de teste automatizada; -gabarito de configuração e análise dos resultados; - módulo de exportação de logs; - giga de teste.

8. APARATO, de acordo com a reivindicação 7, caracterizado por uma ferramenta de teste automatizada para executar as seguintes operações: - extrair as informações dos parâmetros de configuração dos componentes do gabarito de configuração, o qual contém as configurações da EPC, eNB e do Test Console; - realizar a leitura do log com informações resultantes da execução do teste na giga de teste, o que é feito na etapa de testes de protocolo, a partir das informações das mensagens Sl-AP e Sl-U; - gerar o script para a leitura pelo Test Console contendo as configurações para que dito Test Console execute os testes das etapas de testes funcionais e de testes de desempenho, a partir de informações anteriores, dos parâmetros de configuração e logs; - realizar a leitura dos resultados das etapas de testes funcionais e de testes de desempenho, compreendendo a leitura dos resultados exportados pelo Test Console para a geração dos resultados consolidados a serem inseridos no gabarito.