BRPI0511882B1

BRPI0511882B1 - download de dados concomitante otimizado dentro de um ambiente computacional de grade

Info

Publication number: BRPI0511882B1
Application number: BRPI0511882A
Authority: BR
Inventors: Martin David; Meliksetian Dikran; Boutboul Irwin; Zhou Nianjun
Original assignee: Ibm
Priority date: 2004-06-08
Filing date: 2005-06-07
Publication date: 2018-12-18
Also published as: EP1766936A1; CA2569925C; US20060031537A1; KR20070029727A; EP1766936B1; DE602005003948D1; BRPI0511882A; JP4886690B2; CN1939036B; KR101019982B1; JP2008502061A; DE602005003948T2; WO2005122532A1; US7631098B2; CA2569925A1; CN1939036A; ATE381844T1

Abstract

download de dados concomitante otimizado dentro de um ambiente computacional de grade. em um sistema computadorizado de grade que tem uma pluralidade de servidores de download em uma comunicação da rede com os computadores do cliente e em um sistema de gerenciamento de download, um cliente solicita um plano de download do sistema de gerenciamento de download para baixar dados em paralelo a partir da pluralidade de servidores de download para um cliente. o cliente solicita partes dos dados dos servidores de download identificados pelo plano de download. o cliente monitora o desempenho dos servidores de download que baixa as partes e atribui novamente as parcelas das partes entre os servidores de download a fim de melhorar o desempenho de completar o download das partes. uma parte dos dados de download é uma pluralidade de arquivos, um arquivo ou uma parcela do arquivo de dados.

Description

Relatório Descritivo da Patente de Invenção para: DOWNLOAD DE DADOS CONCOMITANTE OTIMIZADO DENTRO DE UM AMBIENTE COMPUTACIONAL DE GRADE.

Campo Técnico

A presente invenção está relacionada à manipulação de dados computacionais. É mais especificamente relacionada ao download de dados em um ambiente computacional de grade. Técnica Anterior

Computação de grade é a virtualização de recursos computacionais distribuídos, tal como potência de processamento, banda larga de redes e capacidade de armazenamento para criar uma única imagem de sistema, concessão a usuários e aplicações sem costura de acesso às vastas capacidades de IT. Uma fonte para obter mais informações sobre computação de grade é encontrada em The Physiology of the Grid - an Open Grade Services Architecture for Distributed Systems Integration, de Foster, Kesselman, Nick e Tuecke, publicado na Internet em: www. globus . oxg/^esearch/papers/ogsa . pdf , que está incorporado neste documento por referência.

___ Um— -documento - Grade— -eoiiipuring~ 'Distributíon using network processors, de Llevist e Bengsson, Chalmers University of Technology discute computação de grade. O documento foca uma proposta de um novo modelo de computação

que distribui tanto o código quanto os dados para os nós da rede (grade) , os roteadores da rede determinarão quais nós devem ser selecionados para executar o código baseado no conhecimento coletado pelos roteadores.

Em um documento de patente Multi-Server File

Download'¹ - US 6,339,785 B1 (Feigenbaum) , quando a velocidade de download de um servidor cai abaixo da taxa pré-definida esperada, Feigenbaum remove o servidor. Quando um servidor concluí sua porção de bloco de dados, Feigenbaum não a usa mais caso não seja necessário (se todos os outros servidores estão acima de uma taxa esperada pré-definida) . Significativamente na patente de Feigenbaum, existem situações em que dois servidores são classificados lOk / s. Então, o download começa com dois blocos idênticos. O primeiro servidor faz 10 k / s, de forma que ele cumpre com a velocidade esperada. O segundo servidor faz 1000 k / s (porque a rede é dinâmica) e termina o seu bloco imediatamente. Feigenbaum manterá o primeiro bloco a lOk / s até terminar ... (SE O DESEMPENHO DO SERVIDOR CAI ABAIXO DE UM NÍVEL PRÉ-DEFINIDO, O LINK IS _ DESCONTINUDADOf )^_ Não existe jum_método para reatribuir o bloco de 10 k / s ao servidor de lOOOk /se seguimos com esse processo.

•ha

Existe a necessidade de download inteligente de dados de servidores em uma rede de grade.

Divulgação de Invenção

A presente invenção fornece um método como definido nas reivindicações 1 e 14 e os correspondentes programas de computador e sistemas.

Computação de grade é a virtualização de recursos computacionais distribuídos, tal como potência de processamento, banda larga de redes e capacidade de armazenamento para criar uma única imagem de sistema, concessão a usuários e aplicações sem costura de acesso às vastas capacidades de IT. Nesta descrição, descrevemos um serviço de download dentro de um ambiente computacional de grade.

Ao invés de usar modelos tradicionais / cliente servidor ou ponto a ponto, esta invenção utiliza o modelo de provedores de serviços, os consumidores e os corretores. O corretor tem a responsabilidade de fornecer o roteiro do serviço, assegurando as aplicações e registros de manutenção. O consumidor pode entrar em contato com os provedores de serviços e receber serviços deles apenas após a obtenção das autorizações e credenciais necessárias do corretor. Além disso, o corretor pode direcionar o consumidor a receber serviços de múltiplos provedores de

serviços concomitantemente. No contexto da grade de download, o corretor é implementado como um serviço de gerenciamento, os. produtores- de - serviço ^_são“ implementados como servidores de download e os consumidores são implementados como agentes clientes.

Os agentes iniciam e processam os downloads de arquivo em nome de usuários finais. Este modelo pode uma variedade de aplicações de grade.

A invenção fornece um alto serviço de download de saída enquanto gerencia, de de recursos e controla o acesso aos bens distribuídos.

Preferencialmente, a invenção fornece várias seqüências de dados concorrentes para suportar a transferência dos dados paralelos (download) a partir de vários servidores com base em um plano otimizado. A otimização é preferencialmente baseada em: 1) ponto de acesso à rede do nó que solicita o serviço (ou cliente); 2) a topologia dos servidores; 3) o tráfego da rede no momento da solicitação do serviço; e 4) o contrato de nível de serviço para um cliente.

Preferencialmente, a invenção usa um proxy X.509 para encapsulamento tanto da credencial quanto do plano otimizado.

De preferência, sabendo o limite máximo permitido de largura de banda para o cliente, calcular o número inicial de servidores que servem o cliente. O número de servidores é ajustável para alcançar o máximo de desempenho do processo de replicação.

De preferência, onde conhecimento prévio da banda máxima permitida para o cliente não estiver disponível, o número inicial de servidores terá início a partir de um e o sistema ajustará para encontrar o número de servidores para atingir a velocidade máxima de replicação.

Preferencialmente, a invenção fornece feedback do processo de replicação para permitir uma melhor qualidade do plano de otimização.

Preferencialmente, a invenção usa o sistema de feedback e a infra-estrutura de computação de grade, para desativar serviços da rede e reativar sob demanda.

Preferencialmente, a invenção, para uma determinada porção de dados (ou arquivo) , com base na distribuição de pontos de acesso do serviço solicitado, otimiza a distribuição dos servidores ao longo da topologia da rede para reduzir o . trafego de área amplã de tráfego ou otimizar outros critérios.

Breve Descrição dos Desenhos

O assunto que é considerado como a invenção é particularmente salientado e distintamente reivindicado nas reivindicações com a conclusão do relatório descritivo. Os precedentes e outros objetos, recursos e vantagens da invenção são visíveis a partir da seguinte descrição detalhada tomadas em conjunto com os desenhos anexos em que:

A figura 1 é uma imagem de componentes de um sistema de computador.

A figura 2 é uma	imagem de uma rede cliente /	Servidor
da técnica anterior.
A figura 3 é uma imagem	de	uma	rede	de	grade	da
técnica anterior.
A figura 4 é um	diagrama	de	arquitetura	de	grade	de

download de nível elevado exemplificativo.

A figura 5 é um fluxograma exemplificativo de um processo que controla o número de sessões de download concorrentes.

A figura 6A a é um fluxograma exemplificativo de um processo de reajustes de download.

A figura 6B é uma imagem gráfica exemplificativa de um processo de reatribuição de blocos.

A figura 7 é um fluxograma para fornecer conteúdo de um sistema de download de grade, de acordo com a invenção.

A figura 8 é um fluxograma de download de conteúdo de um sistema de download de grade, de acordo com a invenção.

A figura 9 é um fluxograma para iniciar um download de grade, de acordo com a invenção.

A descrição detalhada explica as concretizações preferidas da invenção, juntamente com vantagens e recursos, a título de exemplo, com referência aos desenhos. Melhor Modo para a Realização da Invenção

Preferencialmente, a presente invenção fornece um serviço de download dentro de um ambiente computacional de grade. Ao invés de usar modelos tradicionais / cliente servidor ou ponto a ponto. A concretização preferida utiliza o modelo de provedores de serviços, consumidores e corretores. O corretor tem a responsabilidade de prover o roteiro do serviço, assegurando as aplicações e registros de manutenção. O consumidor pode entrar em contato com os provedores de serviços e receber serviços dos mesmos apenas após a obtenção da autorização e credenciais necessárias do corretor. Além disso, o corretor pode direcionar o consumidor a receber serviços de múltiplos provedores de serviços concomitantemente. No contexto de grade de download, o corretor é implementado como um serviço de gerenciamento, os produtores de serviço são implementados como servidores de download e os consumidores são

implementados como agentes clientes. Os agentes iniciam e processam os downloads de arquivo em nome dos usuários finais. Este modelo pode ser aplicado a uma variedade de aplicações de grade.

A grade de download deve ser escalonável, confiável, segura, flexível e eficiente:

Escalabilidade: A presente invenção deve utilizar qualquer conjunto de recursos que pertence a uma rede, A grade de download usa um conjunto de servidores de download dinâmico. Portanto, a presente invenção é escalonável.

Confiabilidade: Ao invés de confiar em um único servidor, a grade de download tem muitos servidores. Uma falha de um servidor individual não desativará o serviço de download. Portanto, a presente invenção é confiável.

Segurança: A presente invenção usa uma infra-estrutura de chave privada (PKI) e certificados X.509 como a infraestrutura de segurança. Por isso, é segura.

Adaptabilidade: A grade de download pode dinamicamente alocar porções de um arquivo para ser descarregado a partir de vários servidores simultaneamente. A presente invenção é adaptável na medida _ em _ que _a _ atribuição.- baseia-se no desempenho percebido de cada servidor particular.

Eficiência: O serviço de gerenciamento que controla subconjunto dos recursos pode ser utilizado para um

determinado download. Este realiza esta seleção, com o objetivo de minimizar o uso da rede global de recursos (uso da largura de banda) . Portanto, a presente invenção é eficiente.

Preferencialmente, a invenção fornece um alto serviço de download de saída de programa, enquanto gerencia, de

modo eficiente, os	recursos de	rede e controla o acesso aos
bens distribuídos.
A figura 1	ilustra	uma estação de	trabalho
10 representante ou	sistema de	hardware servidor	em que a

presente invenção pode ser praticada. O sistema 100 da figura 1 inclui um sistema de computador representativo 101, tal como um computador pessoal, uma estação de trabalho ou um servidor, incluindo dispositivos periféricos 15 opcionais. A estação de trabalho 101 inclui um ou mais processadores 106 e um barramento empregado para se conectar e permitir a comunicação entre o processador (s) 106 e os outros componentes do sistema 101, de acordo com as técnicas conhecidas. O barramento liga o processador 106 20 à memória 105 e ao armazenamento de longo prazo 107, que pode incluir um disco rígido, um disquete ou fita de gravação, por exemplo. O sistema 101 pode também incluir um adaptador de interface de usuário, que conecta o microprocessador 106 através do barramento a um ou mais

dispositivos de interface, tais como um teclado 104, mouse 103, uma impressora / scanner 110 e / ou outros dispositivos de interface, que podem ser quaisquer dispositivos de interface de usuário., tal como uma tela sensível ao toque, almofada de entrada digitalizada etc. O barramento também conecta um dispositivo de vídeo 102, por exemplo, uma tela de LCD ou monitor, ao microprocessador 106 através de um adaptador de exibição.

O sistema 101 pode se comunicar com outros computadores ou redes de computadores através de um adaptador de rede capaz de se comunicar com uma rede 109. Adaptadores de rede exemplif i cativos são canais de

comunicação, token	ring,	Ethernet	ou	modems.
Alternativamente, a	estação	de trabalho	101	pode se
comunicar usando uma	interface	sem fio, tal	como	uma placa

de CDPD (dados de pacotes digitais celulares). A estação de trabalho 101 pode ser associada a tais outros computadores em uma rede de área local (LAN) ou uma rede de área ampla (WAN) , ou a estação de trabalho 101 pode ser um cliente em um arranjo cliente / servidor com outro computador, etc Todas estas configurações, bem como o software e hardware de comunicação adequada são conhecidos na técnica.

A figura 2 ilustra a rede de processamento de dados 200 na qual a presente invenção pode ser praticada. A rede de processamento de dados 200 poderá incluir uma pluralidade de redes individuais, tal como uma rede sem fio e uma rede cabeada, cada uma dos quais poderá incluir uma pluralidade de estações de trabalho individuais 101. Além disso, como aqueles versados na técnica apreciarão, uma ou mais LANs podem ser incluídas, onde uma LAN podem incluir uma pluralidade de estações de trabalho inteligentes acopladas a um processador hospedeiro.

Ainda referindo-se à figura 2, as redes podem incluir igualmente computadores mainframe ou servidores, tal como um computador gateway (servidor cliente 206) ou servidor de aplicativos (servidor remoto 208 que pode acessar um repositório de dados). Um computador gateway 206 serve como um ponto de entrada em cada rede 207. Um gateway é necessário quando da conexão de um protocolo de rede para outro. O gateway 206 pode ser preferencialmente acoplado a uma outra rede (a Internet 207, por exemplo) , através de um link comunicações. O gateway 206 podem também ser diretamente acoplado a uma ou mais estações de trabalho 101 usando um link de comunicações. 0 computador gateway pode ser implementado utilizando um servidor IBM eServer zServer 900 disponível da IBM.

O código de programação do software, que concretiza a presente invenção geralmente é acessado pelo processador

106 do sistema 101 a partir da mídia de armazenamento de longo prazo 107, tal como uma unidade de CD-ROM ou disco rígido. O código de programação do software pode ser incorporado em qualquer um de uma variedade de meios conhecidos para uso com um sistema de processamento de dados, como um disquete, disco rígido ou CD-ROM. O código pode ser distribuído em tais meios, ou pode ser distribuído aos usuários da memória ou armazenamento de um sistema de computador através de uma rede para outros sistemas de 10 computador para uso pelos usuários de outros sistemas.

Alternativamente, o código de programação 111 pode ser incorporado na memória 105, e acessado pelo processador 106 usando o barramento do processador. Tal código de programação inclui um sistema operacional que controla a 15 função e interação dos diferentes componentes dos computadores e um ou mais programas aplicativos. O código do programa é normalmente paginado da mídia de armazenamento denso 107 para a memória de alta velocidade 105, onde está disponível para o processamento pelo 20 processador 106. As técnicas e métodos para incorporação do código de programação do _ software na memória^ _na_ mídia física, e/ou código de software de distribuição via redes são bem conhecidos e não serão mais discutidos aqui.

Na concretização preferida, a presente invenção é implementada como um ou mais programas de computador 111. A implementação do software da presente invenção pode operar em uma estação de trabalho do usuário, como um ou mais módulos ou aplicativos 111 (também referenciados como subrotinas de código, ou objetos” na programação orientada a objeto), que são invocadas mediante solicitação. Alternativamente, o software pode operar em um servidor em uma rede, ou em qualquer dispositivo capaz de executar o código de programa em implementação na presente invenção. A lógica de aplicação desta invenção pode ser integrada dentro do código de um programa aplicativo, ou pode ser implementada como um ou mais módulos utilitários separados, que são invocados por esse aplicativo, sem desviar dos conceitos inventivos divulgados aqui. O aplicativo 111 pode estar executando em um ambiente web, onde um servidor da Web fornece serviços em resposta a solicitações de um cliente conectado através da Internet. Em outra concretização, o pedido pode ser executando em uma intranet corporativa ou extranet, ou em qualquer outro ambiente de rede_. As configurações para o ambiente incluem uma rede cliente / servidor, redes ponto a ponto (onde clientes interagem diretamente realizando simultaneamente função de cliente e servidor) , bem como um ambiente de múltiplas

camadas. Estes ambientes e configurações são bem conhecidos na técnica.

A figura 3 mostra uma representação de uma_ estrutura de grade da técnica anterior de servidores 301-312 se comunicando através de uma estrutura de rede 313. O servidor 309 está conectado com os servidores 310 e 311 por uma rede local. O servidor 308 prevê serviços de corretagem de grade. O corretor de grade é discutido em Grid Service Broker A Grid Scheduler for a computational and data grids” , em www. gradebus. org/broker e em A Grid Services for scheduling Distributed Data-oriented appellations on local grids”, em www.gradebus.org/Papers/g.PDF.

A figura 4 mostra a arquitetura de alto nível do sistema de grade de download. O serviço de gerenciamento 402, de preferência, contém quatro módulos e uma base de dados de repositório 406. Há um número de servidores representados por 408 e 409 no sistema de grade, que são registrados no centro de serviço de gerenciamento 402. Além disso, todos os arquivos permitidos para serem baixados são registrados no centro de gerenciamento. As funções dos quatro módulos são:

Optimizador 405 - determina o plano de download otimizado (que inclui uma lista de servidores otimizados) , e fornece este ao cliente;

Sistema de Registro 407 - fornece um registro de servidores e arquivos;

Sistema de retorno 403 - recolhe retornos dos clientes 401 sobre o estado dos servidores e desempenho; e

Sistema de estatísticas 404 - analisa a informação de uso do aplicativo a partir do sistema de retorno e fornece relatórios.

A figura 5 mostra um processo preferido que o cliente utiliza para determinar o número de sessões que usará para fazer download de um bloco em paralelo a partir de uma pluralidade de servidores de download. O primeiro cliente inicia uma sessão 501 com um dos servidores na lista otimizada. Ele irá monitorar continuamente a taxa de download para cada porção do bloco a partir do respectivo servidor. Ele irá analisar a taxa controlada a cada LOOP_TIMOUT segundos. No final do primeiro período LOOP_TEMEOUT 5 02, iniciará uma segunda sessão 5 03 com um dos servidores não utilizados na lista, quando o requisito de QoS (Qualidade de serviço) não for cumprido.

Em subseqüentes iterações, procederá da seguinte forma^-:

Se (N = 2 505 ou N = 3 506) , tentará iniciar uma sessão (N + 1) com um outro servidor se a taxa de download máxima (max_download_rate) alcançada com o número atual de sessões é superior a um limite pré-definido (THRESHOLD_{N}).

Caso contrário, se N> 3, verificará os ganhos relativo e absoluto obtido desde a última adição e ato em conformidade. Se ¢5-0.7)..: MAX_RATE (N servidores) - MAX_RATE (NI servidores) > THRESHOLDJNC

Ou (MAX_RATE (N servidores) - MAX_RATE (N1 servidores) ) / MAX_RATE (NI servidores) > INC__FACTOR

Onde MAX_RATE (N servidores) é a taxa de download máxima alcançada com N sessões, MAX_RATE (N-l servidores), a taxa máxima alcançada com N1 servidores; THRESHOLD_INC e INC_FACTOR são limites absolutos e relativos pré-definidos, respectivamente.

Vai iniciar uma sessão (N + 1) com um outro servidor 509.

O limite inicial THRESHOLD_N é uma adaptação para evitar demasiadas sessões com baixas taxas de download. Na implementação exemplificativa, os valores dos diferentes parâmetros são os seguintes:

THRESHOLD_2 = 40 k bytes / s

THRESHOLD_3 = 75 k bytes / s

1NC_FACTOR = 20%

THRESHOLDJNC 30 k bytes / S

LOOP_TIMEOUT = 0,150 segundo

Uma série de variações deste regime são possíveis. Por exemplo, um pacote composto por dois arquivos deve ser descarregado a partir dos servidores para um cliente, cada servidor tendo ambos os arquivos. O download de porções de um arquivo são iniciadas a partir de um primeiro grupo de servidores e porções de um segundo arquivo são iniciadas a partir de um segundo grupo. Quando um servidor do primeiro grupo concluiu a transferência de sua porção, o cliente pode optar por iniciar um download de uma porção de um arquivo ou o segundo arquivo no servidor.

Por outro exemplo, em vez de aleatoriamente selecionar os servidores a cada etapa, eles podem ser selecionados em uma ordem definida pelo serviço de gerenciamento. Do mesmo modo, em vez de começar com um único servidor, é possível iniciar vários servidores. Do mesmo modo, em vez de tratar os casos deN = 2eN = 3 diferentemente, é possível tratar mais ou menos N's diferentemente. Ainda outra variação seria fazer ENC_FACTOR dependente do próprio N. Estes são apenas exemplos, -de-possíveis ' variações desses esquemas, e não representam uma lista exaustiva. Outras variações conhecidas na técnica poderíam ser utilizadas no escopo desta invenção.

A figura 6A detalha os ajustes que ocorrem durante o download. Blocos são atribuídos a diferentes servidores quando um novo download é iniciadõ.’ Uttrdjiuco—é-^uma-parte-ouuma totalidade de um arquivo atribuído para ser descarregado a partir de um determinado servidor. No caso, a solicitação de download é para um grupo de vários arquivos, um bloco poderia corresponder um arquivo completo no grupo. Cada tamanho de bloco depende da velocidade do servidor atribuído listado no plano otimizado. Uma vez que a rede é dinâmica, alguns blocos são concluídos mais cedo do que o esperado. A figura 6A retrata o algoritmo de reatribuição de bloco.

Quando o servidor X completa seu bloco 601, o cliente irá verificar cada download ativo, e irá calcular o tempo restante esperado para cada um baseado no tamanho remanescente do bloco e a taxa de download atual. Ele irá, em seguida, selecionar o bloco que tem potencialmente o maior tempo para ser concluído, a partir de servidor Y (602) . O bloco selecionado é representado como 653 na figura 6B. Se o tamanho do bloco selecionado 653 é menor do que um limite pré-especificado (603), nenhuma outra ação será tomada. De outra forma (604), serão determinadas as taxas de download alcançadas dos servidores X e do servidor Y. Ele dividirá (etapa 605) o tamanho restante do bloco por um fator de ajuste que leva em conta a velocidade real do servidor X e do servidor Y e outros parâmetros, de modo a que ambos os downloads dos servidores X e Y serão feitos ao mesmo tempo.

X terminará o novo bloco 655 (begin_x ao mesmo tempo em que o servidor Y finaliza o bloco 654

Ele irá, do servidor X, enquanto o completa o download do bloco até 657.

Os parâmetros, com exceção da taxa, são também considerados para determinar o tamanho relativo dos blocos.

Estes parâmetros podem incluir fatores como tempo de estabelecimento de sessão os tamanhos de blocos restantes.

algoritmo de geração de blocos evitará a reatribuição de blocos muito pequenos quando ela não faz sentido.

Existem muitas variações sobre este algoritmo.

Esta é apenas uma implementação exemplificativa para ensinar a invenção.

- Em- uma eenc re t i z aç ao -7/_r um prov.edor_____ de arquivo contacta um serviço com credenciais próprias 7 01, de gerenciamento adequado o provedor de arquivo caracteriza 702 um bloco de download de dados com determinados atributos 704, o provedor de arquivo envia 703 os certos atributos 704 ao sistema de gerenciamento e carrega 705 o bloco para um único servidor sobre a grade de download. Os atributos 704 incluem qualquer um de uma 5 prioridade, uma proximidade geográfica desejada para o arquivo ou uma restrição nos clientes para a concessão de permissão para fazer o download do arquivo. O provedor de arquivos gera uma chave de descriptografação, criptografa o arquivo e envia, de maneira segura, a chave de criptografia 10 para o serviço de gerenciamento.

O serviço de gerenciamento aceita download de dados do provedor de conteúdo (figura 9) 901, distribui 7 06 os dados de download em uma infra-estrutura, a infra-estrutura composta por uma pluralidade de servidores de download.

Quando o serviço de gerenciamento 902 recebe uma solicitação de um cliente para um plano de download para baixar os dados de download para o cliente (a solicitação especificando os requisitos de QoS, os requisitos de QoS incluem a especificação da taxa de download ou o tempo 20 desejado de conclusão do download) , este cria um plano de download 903, o plano de download incluindo uma lista de dois ou mais servidores de download tendo os dados de download e ainda incluindo informação de desempenho 905 de dois ou mais servidores de download e, em seguida, envia

904 o plano de download para o cliente. (O plano de download inclui uma lista otimizada de uma pluralidade de ^rvidores’^_dê“'dõwnTõacT empregados “em “uma’ inf rã-êstrü tura de grade.

O cliente recebe (figura 8) 801 de uma solicitação de download de dados de um programa aplicativo. Ela então solicita 802 um plano de download do serviço de gerenciamento e, em seguida, contata os servidores de download especificados no plano de download e, em seguida, começa 803um download de um bloco de download de dados de download de cada um dos dois ou mais servidores de download contatados. O cliente monitora 805 806 desempenho de download dos servidores de download e ajusta 804 o número de blocos de download sendo baixados com base no desempenho do download de dois ou mais servidores de download. Em seguida, este reporta para o serviço de gerenciamento, o desempenho do download de dois ou mais servidores de download.

Quando o cliente termina o download 808, o serviço de gerenciamento recebe novas informações de desempenho de download 907 dos servidores a partir do cliente. Este atualiza 906 a informação de desempenho dos servidores de download baseados na nova informação de desempenho de download.

O serviço de gerenc iamento realiza dinamicamente atividades uploãd do como escolher o único servidor para receber o arquivo, ativar um servidor de dois ou mais servidores de download, desativar um servidor de dois ou mais servidores de download ou atualizar um servidor de dois ou mais servidores de download.

O serviço de gerenciamento cria o plano de download baseado em localização do cliente, informações de status e de uso dos servidores de download, requisitos de QoS, proximidade da rede dos servidores de download selecionados para o cliente, a proximidade geográfica dos servidores de download selecionados para o cliente, a largura banda adicional da rede de um servidor, o número atual de blocos de downloads suportados pelo servidor ou os downloads de blocos concomitantes máximos permitidos (onde a localização do agente cliente é determinada automaticamente, com base em qualquer um do endereço de rede do agente cliente ou através de informações fornecidas pelo agente cliente).

De preferência, o início de um download compreende as seguintes etapas:

A. Iniciar um download de uma primeira porção do bloco de download dos dados de download a partir de um primeiro servidor de dois ou mais servidores de download contatados;

Β. Salvar uma indicação de desempenho de download das porções de bloco de download;

C. Iniciar um download de uma nova porção de dados de download de um novo servidor de dois ou mais servidores de download contatados;

D. Monitorar o desempenho de download das porções de bloco de download.

E. Se o desempenho de download monitorado é maior do que a indicação de desempenho de download salva e o download do desempenho é menor do que um desempenho máximo pré-determinado e todos os dois ou mais servidores de download conectados não foram iniciados, repita as etapas b até a.

O cliente monitora o desempenho de download das porções de bloco de download dos dados de download de cada um dos servidores de download inicializados e reatribui uma sub-porção de uma porção de bloco de um primeiro servidor para um segundo servidor onde o tamanho da sub-porção reatribuído é qualquer um de proporcional ao desempenho de download alcançado dos dois ou mais servidores de download inrcia 1 ίzados·, proporCiohãl a “põrçãõ 'cTe ' bToco” que permanece sendo baixada pelo primeiro servidor ou sensivelmente metade da porção de bloco que continua a ser baixada pelo primeiro servidor. O cliente verifica a integridade do

arquivo no final do download e envia uma indicação da verificação de integridade para o serviço de gerenciamento.

O cliente registra informações do tamanho dos blocos baixados de cada servidor, o desempenho de download de cada servidor ou a identidade dos servidores que não responderam às solicitações, e envia as informações gravadas para o serviço de gerenciamento. Preferencialmente, um bloco tem uma lista de controle de acesso associada, e só os usuários finais especificados na lista de controle de acesso podem 10 fazer o download do arquivo. O bloco é armazenado e distribuído de forma criptografada. A descriptografação final do arquivo é realizada pelo agente cliente usando a chave que ela obtém de forma segura a partir do serviço de gerenciamento.

De preferência, o sistema de grade de download atual é implementado usando Serviços da web. A operação de download é executada com um protocolo proprietário entre o cliente e o servidor. O serviço de gerenciamento é executado usando JAVA da SUN MICROSYSTEMS. 0 repositório é uma base de dados relacionai.

Preferencialmente, o servidor de grade _ de download servidor é implementada em Java. O servidor usa o protocolo TCP / IP padrão e tem um algoritmo para aj ustar dinamicamente a taxa de transferência de arquivo.

De preferência, o cliente é implementado tanto como uma aplicação Java autônoma, bem como um applet Java baseado em navegador da Web.

Os mecanismos de segurança preferencialmente utiliza a implementação de infra-estrutura de segurança de grade Globus 2,2 (GSI) para controlar o acesso. GSI é descrito em Grid Security infrastructure em wwwunix.globusorg/security e na Overview of the Grid Security infrastructure em wwwunix.globusorg/security/overviewhtml. O serviço de gerenciamento tem um certificado emitido pelo centro de Autoridade de certificado (CA) da grade existente como discutido em GSI Key Concepts em: www-unix.globus.org/toolkit/docs / 3.2/gsi/key/index. html.

Cada servidor de download e cliente confia neste certificado. Os proxies X509 são usados para delegar a autoridade de serviço de gerenciamento para permitir e autenticação de clientes e download diretamente dos servidores de download. X.509 é descrito em ITU-T Recommendation X.509 version 3 (1997). Information Technology - Open Systems Interconnection - The directory Authentication Framework ISO / CEE 9594-8:1997.

Em uma implementação preferida de determinação do plano otimizado é calculado com base na distância / ' geográfica entre o cliente e os servidores de download candidatos. O endereço de IP do cliente e o endereço de IP dos servidores é utilizado como base para esta determinação, j untamente com uma tabela de mapeamento de endereços de IP para localizações geográficas. O plano otimizado é encapsulado dentro de um certificado de proxy X.509 no formato XML.

As capacidades da presente invenção podem ser implementada em software, firmware, hardware ou alguma combinação destes.

Como um exemplo, um ou vários aspectos da presente invenção podem ser incluído num artigo de fabricação (por exemplo, um ou mais produtos de programa de computador) , tendo, por exemplo, mídia utilizável por computador. A mídia tem embarcado na mesma, por exemplo, meio de código de programa legível por computador para proporcionar e facilitar as capacidades da presente invenção. O artigo de fabricação pode ser incluído como parte de um sistema de computador ou vendido separadamente.

Além disso, pelo menos um dispositivo de armazenamento de programa legível por uma máquina, concretizando, de forma tangível, pelo menos um programa de instruções executáveis pela máquina para realizar as capacidades da presente invenção pode ser provido.

Os diagramas de fluxo representados aqui são apenas alguns exemplos. Podem existir muitas variações para estes esquemas ou etapas (ou operações) neles descritas sem se afastar do escopo da invenção. Por exemplo, as etapas podem ser executadas em uma ordem diferente, ou etapas podem ser adicionadas, apagadas ou modificadas. Todas essas variações i

I

I são consideradas como uma parte da invenção reivindicada. |

Claims

REIVINDICAÇÕES

1. Método em uma infraestrutura computacional em grade para o download otimizado de dados, o método caracterizado pelo fato de que compreende as etapas de:

(a) obter um plano de download a partir de um serviço de gerenciamento, o plano de download compreendendo uma lista otimizada de uma pluralidade de servidores de download, que têm um dado de download desejado, a pluralidade de servidores de download dispostos em uma infraestrutura em grade;

(b) contatar dois ou mais dos servidores de download especificados no plano de download;

(c) atribuir partes dos dados de download aos respectivos servidores de download de dois ou mais servidores de download especificados no plano de download para baixar concomitantemente as respectivas partes de dados de download;

(d) começar um download paralelo das partes de dados de download a partir dos servidores de download de dois ou mais servidores de download contatados, em que as partes são baixadas simultaneamente dos servidores de download;

(e) monitorar o desempenho do download de dois ou mais servidores de download que estão baixando as partes;

(f) durante o download paralelo das partes, ajustar o número de partes que estão sendo baixadas por um servidor de download com base no desempenho monitorado do download de dois ou mais servidores de download; e (g) relatar, ao serviço de gerenciamento, o desempenho monitorado do download de dois ou mais servidores de download.

Petição 870180138937, de 08/10/2018, pág. 9/15
2/7

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que as etapas (a) até (g) são executadas por qualquer um de agente cliente, agente de serviço de gerenciamento ou agente servidor.
3. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que ainda compreende a etapa de enviar um pedido de plano de download para o serviço de gerenciamento, o pedido especificando os requisitos de QoS.
4. Método, de acordo com a reivindicação 3, caracterizado pelo fato de que os requisitos de QoS incluem a especificação de qualquer da taxa de download ou tempo de conclusão do download desejado.
5. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o inicio de uma etapa de download compreende ainda as etapas: (a) começar um download de uma primeira parte dos dados de download de um primeiro servidor de dois ou mais servidores de download contatados; (b) salvar uma indicação de desempenho do download das partes do download que estão sendo baixadas atualmente; (c) então, começar um download de uma nova parte dos dados de download a partir de um novo servidor de dois ou mais servidores de download contatados; (d) então, monitorar o desempenho do download das partes do download que estão sendo baixadas atualmente; (e) então, se o desempenho monitorado do download for maior do que a indicação salva do desempenho do download e o desempenho do download monitorado é menor do que um desempenho máximo predeterminado e todos os dois ou mais servidores de download contatados não foram iniciados, repetir as etapas (b) a (e).

Petição 870180138937, de 08/10/2018, pág. 10/15

3/7
6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda as etapas de: determinar uma a ser a primeira parcela baixada de uma primeira parte atualmente sendo baixada, a primeira parte sendo baixada a partir de um primeiro servidor de dois ou mais servidores de download inicializados; e iniciar um download paralelo da primeira parcela a ser baixada de uma primeira parte atualmente sendo baixada de um segundo servidor de dois ou mais servidores de download, enquanto partes são baixadas simultaneamente dos servidores de download.
7. Método, de acordo com a reivindicação 6, caracterizado pelo fato de que o tamanho da primeira parcela a ser baixada de uma primeira parte que está sendo baixada atualmente é qualquer um dos seguintes:

proporcional ao desempenho do download alcançado de os dois ou mais servidores de download inicializados, proporcional à primeira parcela ou substancialmente a metade da primeira parcela.
8. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda as etapas de: verificar a integridade dos dados de download no final do download; e enviar uma indicação da verificação de integridade para o serviço de gerenciamento.
9. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda as etapas de: gravar a informação de qualquer um dos seguintes: tamanho das partes baixadas de cada servidor, o desempenho do download de cada servidor ou a identidade dos servidores que

Petição 870180138937, de 08/10/2018, pág. 11/15

4/7 não responderam aos pedidos; e enviar a informação gravada para o serviço de gerenciamento.
10. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os dados de download têm uma lista de controle de acesso e somente os usuários finais especificados na lista de controle de acesso podem baixar os dados de download.
11. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os dados de download são armazenados e distribuídos em forma criptografada de modo que a decriptação final do arquivo é executada pelo agente cliente que usa uma chave obtida seguramente a partir do serviço de gerenciamento.
12. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que uma parte é qualquer um de uma pluralidade de arquivos, um arquivo ou uma porção de um arquivo.
13. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que ainda compreende as etapas de: aceitar os dados de download de um provedor de conteúdo; distribuir os dados de download em uma infraestrutura, a infraestrutura compreendendo a pluralidade de servidores de download; receber um pedido de um cliente para o plano de download para baixar os dados de download para o cliente; criar um plano de download, o plano de download compreendendo a lista de dois ou mais servidores de download que têm os dados de download e ainda compreende a informação de desempenho de dois ou mais servidores de download; enviar o plano de download criado para o cliente; a seguir, receber

Petição 870180138937, de 08/10/2018, pág. 12/15 a nova informação de desempenho do download de dois ou o mais usuários do download; e atualizar a informação de desempenho de dois ou mais servidores de download com base na nova informação de desempenho do download.
14. Método para enviar arquivos para um servidor, distribuir e controlar dados de download em uma infraestrutura em grade de download, o método caracterizado pelo fato de que compreende as etapas de: aceitar os dados de download de um provedor de conteúdo; distribuir os dados de download em uma infraestrutura, a infraestrutura compreendendo uma pluralidade de servidores de download; receber um pedido de um cliente para um plano de download para baixar os dados de download para o cliente; criar um plano de download, o plano de download compreendendo uma lista de dois ou mais servidores de download que têm os dados de download e ainda compreendendo a informação de desempenho de dois ou mais servidores de download; enviar o plano de download para o cliente; a seguir, receber a nova informação de desempenho do download de dois ou mais servidores de download a partir do cliente, a nova informação de desempenho do download indicando o desempenho do servidor de download de dois ou mais servidores de download alcançados pelo cliente ao executar um download de acordo com o plano de download; e a seguir, atualizar a informação de desempenho de dois ou mais servidores de download com base na nova informação de desempenho do download.
15. Método, de acordo com a reivindicação 14, caracterizado pelo fato de que a etapa de aceitar dados de download de um provedor de conteúdo compreende ainda as

Petição 870180138937, de 08/10/2018, pág. 13/15

6/7 etapas de: um provedor de conteúdo contatar um serviço de gerenciamento com credenciais apropriadas; o provedor de conteúdo que caracteriza os dados de download com determinados atributos; o provedor de conteúdo que emite os determinados atributos para o sistema de gerenciamento; e o provedor de conteúdo que envia arquivos para o servidor dos

dados de download para um único servidor na grade de download. 16. Método, de acordo com a reivindicação 15, caracterizado pelo fato de que os determinados atributos

incluem qualquer um de uma prioridade, uma proximidade geográfica desejada para os dados de download ou uma restrição em clientes para conceder permissão para download dos dados de download.
17. Método, de acordo com a reivindicação 15, caracterizado pelo fato de que o serviço de gerenciamento executa dinamicamente qualquer um dentre: escolher o único servidor para receber os dados de envio de arquivos para servidor do download, ativar um servidor de dois ou mais servidores de download, desativar um servidor de dois ou mais servidores de download ou atualizar um servidor de dois ou mais servidores de download.
18. Método, de acordo com a reivindicação 15, caracterizado pelo fato de que compreende ainda as etapas de: o provedor de conteúdo que gera uma chave de decriptação para os dados de download; o provedor de conteúdo que criptografa os dados de download; o provedor de conteúdo envia, de forma segura, a chave de decriptação para o serviço de gerenciamento.

Petição 870180138937, de 08/10/2018, pág. 14/15

7/7
19. Método, de acordo com a reivindicação 14, caracterizado pelo fato de que a etapa de criar o plano de download é baseada em qualquer um de posição do cliente, informação de status e uso de dois ou o mais servidores de download, requisitos de QoS, proximidade da rede de dois ou mais servidores de download com o cliente, a proximidade geográfica dos dois ou mais servidores de download com o cliente, a largura de banda fora de limite da rede de um servidor de dois ou mais servidores de download, os números atuais de downloads em partes suportados pelo servidor de dois ou mais servidores de download ou o máximo de downloads em parte simultâneos permitidos.
20. Método, de acordo com a reivindicação 19, caracterizado pelo fato de que a posição do cliente é determinada automaticamente com base em qualquer de um endereço de rede do cliente ou por meio da informação fornecida pelo cliente.
21. Aparelho caracterizado pelo fato de que compreende meio adaptado para realizar todas as etapas do método como definido em qualquer uma das reivindicações precedentes de método.