CL2020003100A1 - Sistemas y métodos para la optimización de grafo de flujo de datos. - Google Patents

Sistemas y métodos para la optimización de grafo de flujo de datos.

Info

Publication number
CL2020003100A1
CL2020003100A1 CL2020003100A CL2020003100A CL2020003100A1 CL 2020003100 A1 CL2020003100 A1 CL 2020003100A1 CL 2020003100 A CL2020003100 A CL 2020003100A CL 2020003100 A CL2020003100 A CL 2020003100A CL 2020003100 A1 CL2020003100 A1 CL 2020003100A1
Authority
CL
Chile
Prior art keywords
flow graph
nodes
data flow
representing
data
Prior art date
Application number
CL2020003100A
Other languages
English (en)
Inventor
Garth Allen Dickie
Original Assignee
Ab Initio Technology Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ab Initio Technology Llc filed Critical Ab Initio Technology Llc
Publication of CL2020003100A1 publication Critical patent/CL2020003100A1/es

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9024Graphs; Linked lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/40Transformation of program code
    • G06F8/41Compilation
    • G06F8/43Checking; Contextual analysis
    • G06F8/433Dependency analysis; Data or control flow analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/40Transformation of program code
    • G06F8/41Compilation
    • G06F8/44Encoding
    • G06F8/443Optimisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Complex Calculations (AREA)
  • Multi Processors (AREA)
  • Stored Programmes (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Al menos un medio de almacenamiento legible por computadora no transitorio que almacena instrucciones ejecutables por procesador que, cuando son ejecutadas por al menos un procesador de hardware de computadora, hacen que el al menos un procesador de hardware de computadora realice: obtener un grafo de flujo de datos inicial generado automáticamente, el grafo de flujo de datos inicial que comprende una primera pluralidad de nodos que representan una primera pluralidad de operaciones de procesamiento de datos y una primera pluralidad de enlaces que representan flujos de datos entre nodos en la primera pluralidad de nodos; y generar un grafo de flujo de datos actualizado aplicando iterativamente reglas de optimización de grafo de flujo de datos para actualizar el grafo de flujo de datos inicial, el grafo de flujo de datos actualizado que comprende una segunda pluralidad de nodos que representan una segunda pluralidad de operaciones de procesamiento de datos y una segunda pluralidad de enlaces que representan flujos de datos entre nodos de la segunda pluralidad de nodos.
CL2020003100A 2018-05-30 2020-11-27 Sistemas y métodos para la optimización de grafo de flujo de datos. CL2020003100A1 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US15/993,284 US20190370407A1 (en) 2018-05-30 2018-05-30 Systems and methods for dataflow graph optimization

Publications (1)

Publication Number Publication Date
CL2020003100A1 true CL2020003100A1 (es) 2021-05-14

Family

ID=66858007

Family Applications (1)

Application Number Title Priority Date Filing Date
CL2020003100A CL2020003100A1 (es) 2018-05-30 2020-11-27 Sistemas y métodos para la optimización de grafo de flujo de datos.

Country Status (11)

Country Link
US (1) US20190370407A1 (es)
EP (3) EP4250136A3 (es)
JP (1) JP7487115B2 (es)
KR (1) KR20210025024A (es)
CN (1) CN112534401A (es)
AU (3) AU2019276969B2 (es)
CA (1) CA3102118A1 (es)
CL (1) CL2020003100A1 (es)
MX (1) MX2020012906A (es)
SG (1) SG11202011682SA (es)
WO (1) WO2019231793A1 (es)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10673716B1 (en) * 2017-10-31 2020-06-02 Amazon Technologies, Inc. Graph-based generation of dependency-adherent execution plans for data center migrations
US11188434B2 (en) 2017-12-08 2021-11-30 Ab Initio Technology Llc Systems and methods for monitoring execution of structured query language (SQL) queries
EP3827336A1 (en) * 2018-08-09 2021-06-02 INESC TEC - Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciência Method and apparatus for optimizing code for field programmable gate arrays
US11061596B2 (en) 2019-11-04 2021-07-13 Google Llc Multi-pass distributed data shuffle
US11281721B2 (en) * 2019-11-22 2022-03-22 International Business Machines Corporation Augmenting relational database engines with graph query capability
US10949178B1 (en) * 2019-12-13 2021-03-16 Intuit Inc. Method and system for decomposing a global application programming interface (API) graph into an application-specific API subgraph
AU2020425749A1 (en) 2020-01-28 2022-08-18 Ab Initio Technology Llc Editor for generating computational graphs
US11210285B2 (en) * 2020-03-06 2021-12-28 Ab Initio Technology Llc Generation of optimized logic from a schema
DE112022000886T5 (de) 2021-01-31 2023-12-21 Ab Initio Technology Llc Datenverarbeitungssystem mit manipulation logischer datensatzgruppen
US11567998B2 (en) * 2021-03-25 2023-01-31 Databricks, Inc. Dataflow graph processing
CN113852571B (zh) * 2021-08-20 2023-11-28 阿里巴巴(中国)有限公司 分配流量的方法以及装置
WO2023056003A1 (en) * 2021-09-30 2023-04-06 Ab Initio Technology Llc Systems and methods for performing data processing operations using variable level parallelism
CN115098093B (zh) * 2022-08-24 2022-12-02 湖南云畅网络科技有限公司 一种数据流程表达式处理方法及系统
CN115964372B (zh) * 2023-01-03 2023-11-21 中国科学院空间应用工程与技术中心 一种空间站有效载荷分布式事件提取方法和系统
CN116107154B (zh) * 2023-04-13 2023-09-05 长鑫存储技术有限公司 掩膜版数据生成方法、装置、设备及介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06161773A (ja) * 1992-11-20 1994-06-10 Sanyo Electric Co Ltd 並列処理プログラムの作成装置
US5966072A (en) 1996-07-02 1999-10-12 Ab Initio Software Corporation Executing computations expressed as graphs
US5918255A (en) * 1997-08-01 1999-06-29 Ut Automotive Dearborn, Inc. Method for testing motor armature shafts
JP2001222452A (ja) 2000-02-10 2001-08-17 Ricoh Co Ltd リレーショナルデータベースシステムにおける問い合わせ処理最適化装置
US7089172B2 (en) * 2001-12-28 2006-08-08 Testout Corporation System and method for simulating a computer environment and evaluating a user's performance within a simulation
US7146352B2 (en) 2003-06-23 2006-12-05 Microsoft Corporation Query optimizer system and method
JP4331045B2 (ja) 2004-04-20 2009-09-16 株式会社エヌ・ティ・ティ・データ データベースシステム、および、プログラム
US7716630B2 (en) 2005-06-27 2010-05-11 Ab Initio Technology Llc Managing parameters for graph-based computations
JP5902185B2 (ja) * 2010-10-25 2016-04-13 アビニシオ テクノロジー エルエルシー コンピュータプログラムを表すデータフローグラフ内のデータセットオブジェクトの管理
US9116955B2 (en) * 2011-05-02 2015-08-25 Ab Initio Technology Llc Managing data queries
US8838579B2 (en) * 2012-04-26 2014-09-16 Sap Ag Data flow graph optimization using adaptive rule chaining
US8793243B2 (en) * 2012-04-26 2014-07-29 Sap Ag Rule-based extendable query optimizer
US10515118B2 (en) * 2013-06-24 2019-12-24 Micro Focus Llc Processing a data flow graph of a hybrid flow
US9990398B2 (en) * 2013-09-20 2018-06-05 Oracle International Corporation Inferring dimensional metadata from content of a query
CN106063217B (zh) * 2014-11-21 2019-10-15 华为技术有限公司 一种实现业务优化的方法及系统
WO2017019879A1 (en) * 2015-07-29 2017-02-02 Algebraix Data Corp. Multi-query optimization
US10133778B2 (en) * 2015-11-20 2018-11-20 Sap Se Query optimization using join cardinality
US10528599B1 (en) * 2016-12-16 2020-01-07 Amazon Technologies, Inc. Tiered data processing for distributed data
US9798527B1 (en) * 2017-01-06 2017-10-24 Google Inc. Loop and library fusion

Also Published As

Publication number Publication date
EP4250135A3 (en) 2023-12-27
EP3803570B1 (en) 2023-08-30
AU2019276969A1 (en) 2020-12-17
US20190370407A1 (en) 2019-12-05
CN112534401A (zh) 2021-03-19
AU2023270295A1 (en) 2023-12-14
SG11202011682SA (en) 2020-12-30
EP4250136A3 (en) 2023-12-20
KR20210025024A (ko) 2021-03-08
MX2020012906A (es) 2021-05-27
JP2021525925A (ja) 2021-09-27
CA3102118A1 (en) 2019-12-05
EP4250135A2 (en) 2023-09-27
AU2019276969B2 (en) 2023-08-24
EP4250136A2 (en) 2023-09-27
EP4250135A8 (en) 2023-12-13
AU2023270294A1 (en) 2023-12-14
JP7487115B2 (ja) 2024-05-20
EP3803570A1 (en) 2021-04-14
WO2019231793A1 (en) 2019-12-05
EP4250136A8 (en) 2023-12-13

Similar Documents

Publication Publication Date Title
CL2020003100A1 (es) Sistemas y métodos para la optimización de grafo de flujo de datos.
CL2017001872A1 (es) Actualización de modelos de clasificador de entendimiento de lenguaje para un asistente digital personal basándose en externalización masiva
CO2019009852A2 (es) Ofuscación del contenido de usuario en archivos de datos estructurados de usuario
MX2020003790A (es) Sistema y metodo para proporcionar una interfaz para un servicio de cadena de bloques en la nube.
BR112019004798A8 (pt) Método implantado por computador e mídia de armazenamento
CL2017002005A1 (es) Aparato y método para control de navegación
CO2020005810A2 (es) Acceso aleatorio con conmutación de parte de ancho de banda
WO2018125337A3 (en) Automated generation of workflows
CO2017011525A2 (es) Manejo de compromisos y solicitudes extraidas de comunicaciones y contenido
BR112017026670A2 (pt) sistema e método para fornecer informações contextuais para uma localização
CL2017002383A1 (es) Derivación de vector de movimiento en codificación de video
BR112019000541A2 (pt) métodos de superpixel para redes neurais convolucionais
BR112018000241A2 (pt) modelo de recursos de rede para suportar gerenciamento de ciclo de vida de virtualização de função de rede
AR102652A1 (es) Transmisión y detección de canal de realimentación en sistemas de comunicaciones inalámbricas de múltiples antenas
MY179952A (en) Graph generating device, graph generating method and graph generating program
CL2019002521A1 (es) Método para producir anticuerpos multiespecíficos.
CL2017002095A1 (es) Edición y manipulación de trazo de tinta.
CL2018001103A1 (es) Formatos de pucch de segmento único.
BR112017025681A2 (pt) sistema e método para um servidor do sistema de criação de website
JP2016535926A5 (es)
JP2016530609A5 (es)
AU2015364405A8 (en) Methods for simultaneous source separation
AR101678A1 (es) Dispositivo de procesamiento de información, método de procesamiento de información y medio de almacenamiento legible por computadora no transitorio de almacenamiento de programa
SG11201909119YA (en) Search method and apparatus and non-temporary computer-readable storage medium
GT201600202A (es) Métodos y aparato para la coordinación de la selección del sistema entre un conjunto de nodos