ES2425447B1 - Método y sistema de procesamiento en flujo continuo en una plataforma de cálculo distribuida de mapeo y reducción - Google Patents

Método y sistema de procesamiento en flujo continuo en una plataforma de cálculo distribuida de mapeo y reducción Download PDF

Info

Publication number
ES2425447B1
ES2425447B1 ES201230550A ES201230550A ES2425447B1 ES 2425447 B1 ES2425447 B1 ES 2425447B1 ES 201230550 A ES201230550 A ES 201230550A ES 201230550 A ES201230550 A ES 201230550A ES 2425447 B1 ES2425447 B1 ES 2425447B1
Authority
ES
Spain
Prior art keywords
continuous flow
processing system
calculation platform
reduction
distributed mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn - After Issue
Application number
ES201230550A
Other languages
English (en)
Other versions
ES2425447A2 (es
ES2425447R1 (es
Inventor
Andreu URRUELA PLANAS
Ken GUNNAR ZANGELIN
José Gregorio Escalada Sardina
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonica SA
Original Assignee
Telefonica SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonica SA filed Critical Telefonica SA
Priority to ES201230550A priority Critical patent/ES2425447B1/es
Priority to PCT/EP2013/057300 priority patent/WO2013153027A1/en
Publication of ES2425447A2 publication Critical patent/ES2425447A2/es
Publication of ES2425447R1 publication Critical patent/ES2425447R1/es
Application granted granted Critical
Publication of ES2425447B1 publication Critical patent/ES2425447B1/es
Withdrawn - After Issue legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24532—Query optimisation of parallel queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)

Abstract

Un método y un sistema de procesamiento en flujo continuo en una plataforma de cálculo distribuida de mapeo y reducción.#El método comprende dicha plataforma de cálculo distribuida que comprende al menos un agrupamiento con una pluralidad de nodos con capacidad de cálculo, usando el método información relativa a un estado asociado a al menos operaciones de reducción, el método comprende generar dicho estado como resultado de una operación de reducción realizada por un nodo, en forma de una cola de salida, y usar dicho estado como cola de entrada de una operación de reducción posterior realizada por dicho nodo, formando dicha coa de salida y dicha cola de entrada una única cola que se actualiza tras el procesamiento de operación de reducción.#El sistema está dispuesto para implementar el método de la presente invención.

Description

imagen1
imagen2
imagen3
imagen4
imagen5
imagen6
imagen7
imagen8
imagen9
imagen10
imagen11
imagen12
imagen13
imagen14
imagen15
imagen16
imagen17

Claims (1)

  1. imagen1
    imagen2
ES201230550A 2012-04-12 2012-04-12 Método y sistema de procesamiento en flujo continuo en una plataforma de cálculo distribuida de mapeo y reducción Withdrawn - After Issue ES2425447B1 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
ES201230550A ES2425447B1 (es) 2012-04-12 2012-04-12 Método y sistema de procesamiento en flujo continuo en una plataforma de cálculo distribuida de mapeo y reducción
PCT/EP2013/057300 WO2013153027A1 (en) 2012-04-12 2013-04-08 Method and system for streaming processing in a map and reduce distributed computing platform

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES201230550A ES2425447B1 (es) 2012-04-12 2012-04-12 Método y sistema de procesamiento en flujo continuo en una plataforma de cálculo distribuida de mapeo y reducción

Publications (3)

Publication Number Publication Date
ES2425447A2 ES2425447A2 (es) 2013-10-15
ES2425447R1 ES2425447R1 (es) 2014-04-23
ES2425447B1 true ES2425447B1 (es) 2015-02-13

Family

ID=48139915

Family Applications (1)

Application Number Title Priority Date Filing Date
ES201230550A Withdrawn - After Issue ES2425447B1 (es) 2012-04-12 2012-04-12 Método y sistema de procesamiento en flujo continuo en una plataforma de cálculo distribuida de mapeo y reducción

Country Status (2)

Country Link
ES (1) ES2425447B1 (es)
WO (1) WO2013153027A1 (es)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2523761A (en) 2014-03-04 2015-09-09 Ibm Generation of analysis reports using trusted and public distributed file systems
US9614740B2 (en) 2014-05-13 2017-04-04 International Business Machines Corporation Multifusion of a stream operator in a streaming application
US9300712B2 (en) 2014-08-01 2016-03-29 Pivotal Software, Inc. Stream processing with context data affinity
US9075670B1 (en) 2014-08-01 2015-07-07 Pivotal Software, Inc. Stream processing with context data affinity
US10102029B2 (en) 2015-06-30 2018-10-16 International Business Machines Corporation Extending a map-reduce framework to improve efficiency of multi-cycle map-reduce jobs
US10083221B2 (en) 2016-03-15 2018-09-25 International Business Machines Corporation Providing global metadata in a cluster computing environment
CN109815064B (zh) * 2019-01-04 2023-10-27 平安科技（深圳）有限公司 节点隔离方法、装置、节点设备及计算机可读存储介质
CN110378550A (zh) * 2019-06-03 2019-10-25 东南大学 基于分布式架构的多源大规模食品数据的处理方法
CN112948432B (zh) * 2019-12-11 2023-10-13 天翼云科技有限公司 数据处理方法和数据处理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7650331B1 (en) 2004-06-18 2010-01-19 Google Inc. System and method for efficient large-scale data processing

Also Published As

Publication number Publication date
ES2425447A2 (es) 2013-10-15
WO2013153027A1 (en) 2013-10-17
ES2425447R1 (es) 2014-04-23

Similar Documents

Publication Publication Date Title
ES2425447B1 (es) Método y sistema de procesamiento en flujo continuo en una plataforma de cálculo distribuida de mapeo y reducción
CL2016000138A1 (es) Sistema, dispositivo inteligente y método de repartición de las operaciones y de los costes de un dispositivo inteligente.
CL2017003263A1 (es) Arquitectura basada en bloques con ejecución paralela de bloques sucesivos.
CL2017002095A1 (es) Edición y manipulación de trazo de tinta.
BR112016015854A2 (pt) meio legível por computador, dispositivo de computação e método para seleção da precisão de vetor de movimento
BR112014028642A2 (pt) método para agrupamento de rede social , sistema e meio de armazenamento legível por computador.
JP2016535926A5 (es)
ES2641862T3 (es) Proceso para la elaboración de inhibidores de CCR3
ES2402977R1 (es) Metodo y sistema para generar y gestionar aplicaciones nativas
AR095134A1 (es) Dispositivo informático, sistema y método relacionado con gráficos y tarjetas de actividad
JP2016530609A5 (es)
ES2600077T3 (es) Artículo que comprende ácido poliláctico espumado y proceso para fabricarlo
JP2013055271A5 (ja) 半導体レーザの劣化兆候検出装置及び劣化兆候検出方法
ES2616301T3 (es) Composición que comprende isotiocianato de alilo que tiene una actividad que impide la germinación
BR112015002566A2 (pt) sistema de tomografia por emissão de pósitrons (pet), método de tomografia por emissão depósitrons (pet), e meio de armazenamento não transitório legível por computador.
ES2527351B1 (es) Disposición publicitaria anamórfica para campos deportivos
AR092938A1 (es) Metodo y sistema de transferencia de conocimiento entre usuarios de una aplicacion de software
ES1146183U9 (es) Señal posterior para cargas sobresalientes en vehiculos
ES2398995B2 (es) Método y sistema para identificar elementos que pertenecen a una región conexa.
TH153240S (th) ของขบเคี้ยวสำหรับสัตว์
TH166322A (th) วิธีการผลิตไอโซบูทิลีน วิธีการผลิตเมตะคริลิกแอซิด และวิธีการผลิตเมทิลเมตะคริเลต
CO6761324A2 (es) Composición para el cuidado oral
Bures et al. 1st International Workshop on Software Engineering for Smart Cyber-Physical Systems
TH1601003574A (th) ลิปิดซึ่งประกอบรวมด้วยกรดไขมันไม่อิ่มตัวหลายตำแหน่งชนิดสายยาว
TH170750A (th) วิธีการต่อเนื่องสำหรับผลิตพอลิเอสเทอร์จากไซคลิค เอสเทอร์ มอนอเมอร์

Legal Events

Date Code Title Description
FG2A Definitive protection

Ref document number: 2425447

Country of ref document: ES

Kind code of ref document: B1

Effective date: 20150213

FA2A Application withdrawn

Effective date: 20150617