CN110297799A - 数据管理系统及方法 - Google Patents

数据管理系统及方法 Download PDF

Info

Publication number
CN110297799A
CN110297799A CN201910595838.2A CN201910595838A CN110297799A CN 110297799 A CN110297799 A CN 110297799A CN 201910595838 A CN201910595838 A CN 201910595838A CN 110297799 A CN110297799 A CN 110297799A
Authority
CN
China
Prior art keywords
file
node
rank
ownership
execution node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910595838.2A
Other languages
English (en)
Inventor
本诺特·戴奇维勒
蒂埃里·克吕安斯
马尔辛·祖科夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snoffleck Corp
Original Assignee
Snoffleck Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snoffleck Corp filed Critical Snoffleck Corp
Publication of CN110297799A publication Critical patent/CN110297799A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F5/00—Orthopaedic methods or devices for non-surgical treatment of bones or joints; Nursing devices; Anti-rape devices
    • A61F5/56—Devices for preventing snoring
    • A61F5/566—Intra-oral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/128—Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/1827—Management specifically adapted to NAS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/221—Column-oriented storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24532—Query optimisation of parallel queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24542—Plan optimisation
    • G06F16/24545—Selectivity estimation or determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24558—Binary matching operations
    • G06F16/2456—Join operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Abstract

描述了示例数据管理系统和方法。在一个实现中，方法基于所接收的查询识别用于处理的多个文件，并且识别可用于处理多个文件的多个执行节点。方法最初创建多个扫描集，每个扫描集包括所述多个文件的一部分，并且基于文件分配模型将每个扫描集分配给执行节点中的一个。多个扫描集由多个执行节点处理。如果所述方法确定特定的执行节点已完成处理在其分配的扫描集中的所有的文件，将未处理文件从另一个执行节点重新分配到特定的执行节点。

Description

数据管理系统及方法
本申请是申请日为2015年2月18日，申请号为201580020409.2，发明名称为“数据管理系统及方法”的申请的分案申请。
相关申请的交叉引用
本申请要求于2014年2月19日提交的标题为“Apparatus and method forenterprise data warehouse data processing on cloud infrastructure”的美国临时申请序列第61/941,986号的权益，该申请的公开内容通过引用以其整体并入本文。
技术领域
本公开涉及管理数据的处理和其它任务的资源管理系统及方法。
背景
目前，许多现有的数据存储和检索系统是可用的。例如，在共享磁盘系统中，所有数据被存储在共享的存储设备上，其从数据集群中的所有处理节点是可访问的。在这种类型的系统中，所有的数据变化被写入到共享的存储设备，以确保数据集群中的所有的处理节点访问一致版本的数据。由于在共享磁盘系统中处理节点的数目增加，因此共享的存储设备(以及处理节点和共享的存储设备之间的通信链路)变成了减缓数据读取和数据写入操作的瓶颈。随着更多的处理节点的添加，进一步地加剧这种瓶颈。因此，由于该瓶颈问题，现有的共享磁盘系统具有有限的可扩展性。
另一个现有的数据存储和检索系统被称为“无共享架构”。在此架构中，数据被分布在多个处理节点上，使得每个节点在整个数据库中存储数据的子集。当新的处理节点被添加或移除时，无共享架构必须重新排列在多个处理节点上的数据。这种数据的重新排列可以是费时的并且对在数据重新排列期间执行的数据读取和写入操作具有破坏性。并且，数据对特定节点的亲和度可以在对于流行数据的数据集群上创建“热点”。此外，由于每个处理节点也执行存储功能，因此该架构需要至少一个处理节点来存储数据。因此，如果所有的处理节点都被移除，则无共享架构无法存储数据。另外，由于在许多不同的处理节点上的数据的分布，无共享架构中的数据的管理是复杂的。
本文所描述的系统及方法提供了对数据存储和数据检索的改进的方法，其缓解了上面确定的现有系统的局限性。
发明内容
本申请还包括以下内容：
1)一种方法，包括：
基于接收的查询识别多个文件以进行处理；
识别可用于处理所述多个文件的多个执行节点；
最初创建多个扫描集并且基于文件分配模型将所述扫描集的每一个分配给所述多个执行节点中的一个，其中每个扫描集包括所述多个文件的一部分；
通过所述多个执行节点处理所述多个扫描集；
确定特定的执行节点是否已经完成处理在其分配的扫描集中的所有的文件；以及
响应于确定特定的执行节点已经完成处理在其分配的扫描集中的所有的文件：
重新分配来自第二执行节点的未处理文件；以及
将所述未处理文件分配给所述特定的执行节点用于处理。
2)根据1)所述的方法，还包括基于每个文件的大小布置每个扫描集中的文件。
3)根据1)所述的方法，还包括布置每个扫描集中的文件以优先化由所分配的执行节点缓存的文件。
4)根据1)所述的方法，其中，所述文件分配模型使用一致性哈希模型。
5)根据1)所述的方法，还包括在重新分配期间将所述未处理文件从原始分配的执行节点的所述扫描集中移除。
6)根据1)所述的方法，其中，重新分配来自另一个执行节点的未处理文件包括：识别已经由完成处理在其分配的扫描集中的所有的文件的执行节点缓存的文件以重新分配。
7)根据1)所述的方法，其中，重新分配来自另一个执行节点的未处理文件包括基于文件窃取模型选择所述未处理文件以进行重新分配。
8)根据7)所述的方法，其中，所述文件窃取模型使用在不同所有权级别处的一致性哈希算法。
9)根据8)所述的方法，其中，所述不同所有权级别确定其中文件由所述多个执行节点中的每一个处理的顺序。
10)根据1)所述的方法，其中，所述特定的执行节点从远程存储设备中检索所述未处理文件。
11)根据10)所述的方法，还包括：
确定所述第二执行节点是否变得可用于处理所述未处理文件；
确定所述第二执行节点是否已缓存所述未处理文件；
确定所述特定的执行节点是否已完成从所述远程存储设备中检索所述未处理文件；以及
响应于确定所述第二执行节点变得可用、所述第二执行节点已缓存所述未处理文件且所述特定的执行节点没有完成从所述远程存储设备中检索所述未处理文件，指示所述特定的执行节点停止处理所述未处理文件。
12)根据11)所述的方法，还包括响应于确定所述第二执行节点变得可用、所述第二执行节点已缓存所述未处理文件且所述特定的执行节点没有完成从所述远程存储设备中检索所述未处理文件，指示所述第二执行节点处理所述未处理文件。
13)一种装置，包括：
请求处理模块，其被配置为识别与接收的查询相关联的多个文件；
虚拟仓库管理器，其被配置为识别可用于处理所述多个文件的多个执行节点；以及
事务管理模块，其被配置为创建多个扫描集并且基于文件分配模型将所述扫描集中的每一个分配给所述多个执行节点中的一个，所述事务管理模块还被配置为确定特定的执行节点是否已完成处理在其分配的扫描集中所有的文件，以及响应于确定特定的执行节点已完成处理在其分配的扫描集中所有的文件，重新分配来自第二节点的未处理文件并且将所述未处理文件分配给所述特定的执行节点用于处理。
14)根据13)所述的装置，其中，每个扫描集包括所述多个文件的一部分。
15)根据13)所述的装置，其中，所述事务管理模块还被配置为基于每个文件的大小对每个扫描集中的文件进行布置。
16)根据13)所述的装置，其中，所述文件分配模型使用一致性哈希模型。
17)根据13)所述的装置，其中，所述事务管理模块还被配置为基于文件窃取模型选择所述未处理文件。
18)根据17)所述的装置，其中，所述文件窃取模型使用一致性哈希模型。
19)一种装置，包括：
用于处理请求以识别与接收的查询相关联的多个文件的工具；
用于管理虚拟仓库以识别可用于处理所述多个文件的多个执行节点的工具；以及
管理工具，其用于创建多个扫描集并且基于文件分配模型将所述扫描集中的每一个分配给所述多个执行节点中的一个，所述管理工具还用于确定特定的执行节点是否已完成处理其分配的扫描集中所有的文件，以及响应于确定特定的执行节点已完成处理其分配的扫描集中所有的文件，重新分配来自第二节点的未处理文件并且将所述未处理文件分配给所述特定的执行节点用于处理。
20)根据19)所述的装置，其中，所述文件分配模型使用一致性哈希模型。
附图说明
参考以下附图描述了本公开的非限制性且非穷举性的实施例，其中除非另有说明，贯穿各个附图的相似的参考数字指代相似的部件。
图1是描绘本文所描述的系统和方法的示例实施例的方框图。
图2是描绘资源管理器的实施例的方框图。
图3是描绘执行平台的实施例的方框图。
图4是描绘示例操作环境的方框图，其中多个用户通过多个虚拟仓库访问多个数据库。
图5是描绘另一个示例操作环境的方框图，其中多个用户通过负载平衡器和在虚拟仓库组中包含的多个虚拟仓库访问多个数据库。
图6是描绘另一个示例操作环境的方框图，其具有多个分布式虚拟仓库和虚拟仓库组。
图7是描绘用于管理数据存储和检索操作的方法的实施例的流程图。
图8是描绘用于管理通过多个执行节点的多个文件的处理的方法的实施例的流程图。
图9是描绘用于管理从执行节点窃取文件的方法的实施例的流程图。
图10A-10D描绘使用一致性哈希来将文件分配给执行节点的示例实施例。
图11是描绘示例计算设备的方框图。
详细描述
本文所描述的系统和方法提供用于存储和检索数据的新的平台而不存在现有系统所面临的问题。例如，这种新的平台支持新的节点的添加而无需按照无共享架构所要求重新排列数据文件。另外，节点可以被添加到平台而不会产生在共享磁盘系统中常见的瓶颈。这种新的平台始终可用于数据读取和数据写入操作，即使节点中的一些离线维护或发生故障。所描述的平台将数据存储资源与计算资源分开，使得数据可以被存储而无需要求专用计算资源的使用。这相对于无共享架构是一个改进，如果所有的处理节点被移除则该无共享架构无法存储数据。因此，新的平台继续存储数据，即使计算资源不再可用或者正在执行其它任务。
在以下的描述中，参照形成其的一部分的附图，并且在附图中通过实例说明示出了本公开可以在其中被实践的具体示例性实施例。足够详细地对这些实施例进行描述以使本领域的技术人员能够实践本文所公开的概念，并且应该理解的是，在不脱离本公开的范围的情况下可以对各种公开的实施例做出修改，并且可以利用其它实施例。因此，以下详细的描述不应以限制意义被采用。
贯穿本说明书，对“一个实施例”、“实施例”、“一个示例”或“示例”的引用意味着结合实施例或示例描述的特定特征、结构或特性被包括在本公开的至少一个实施例中。因此，贯穿本说明书，在各个位置中的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”的出现并不一定都指的是相同的实施例或示例。另外，应该认识到，这里提供的附图对本领域的技术人员是出于解释目的，并且附图并不一定按比例绘制。
根据本公开的实施例可以被体现为装置、方法或计算机程序产品。因此，本公开可采用完全硬件组成的实施例、完全软件组成的实施例(包括固件、常驻软件、微代码等等)或结合软件和硬件方面的实施例的形式，其可在本文中通常全部被称为“电路”、“模块”或“系统”。此外，本公开的实施例可采用计算机程序产品的形式，该计算机程序产品被体现在具有在介质中体现的计算机可用程序代码的任何有形介质表示中。
一个或多个计算机可用或计算机可读介质的任何组合可被使用。例如，计算机可读介质的可包括便携式计算机磁盘、硬盘、随机存取存储器(RAM)设备、只读存储器(ROM)设备、可擦除可编程只读存储器(EPROM或闪存)设备、便携式光盘只读存储器(CDROM)、光学存储设备以及磁存储设备中的一个或多个。用于执行本公开的操作的计算机程序代码可以以一个或多个编程语言的任何组合来编写。这样的代码可以从计算机可读汇编语言的源代码或者适合于在其上将执行该代码的设备或计算机的机器代码编译。
实施例还可在云计算环境中实施。在本说明书和以下权利要求中，“云计算”可以被定义为模型，用于实现对可配置计算资源(例如，网络、服务器、存储器、应用和服务)的共享池的普遍存在的、方便的、按需的网络访问，该可配置计算资源可经由虚拟化被迅速地供应并以最小管理努力或服务提供商交互而被释放，并然后被相应地扩展。云模型可由各种特征(例如，按需自助、宽带网络访问、资源池、快速弹性以及可计量的服务)、服务模型(例如，软件即服务(“SaaS”)、平台即服务(“PaaS”)和基础设施即服务(“IaaS”))，以及部署模型(例如，私有云、社区云、公共云以及混合云)组成。
所附附图中的流程图和框图根据本公开的各种实施例图示了系统、方法和计算机程序产品的可能的实施方式的架构、功能性和操作。在这点上，流程图或框图中的每个块可以代表代码的模块、片段或部分，其包括一个或多个用于实施指定的逻辑功能的可执行指令。还将指出的是，在框图和/或流程图中的每个块以及框图和/或流程图中块的组合可以由执行指定功能或行为的专用的基于硬件的系统或专用硬件和计算机指令的组合来实现。这些计算机程序指令还可存储在计算机可读介质中，其可指导计算机或其他可编程数据处理装置以特定方式起作用，使得存储在计算机可读介质中的指令产生制造品，其包括实施流程图和/或方框图的一个或多个方框中所指定的功能/行为的指令装置。
本文所描述的系统和方法提供使用新的数据处理平台的灵活且可扩展的数据仓库。在一些实施例中，所描述的系统和方法利用云基础设施，该云基础设施支持基于云的存储资源、计算资源等。示例性的基于云的存储资源以低成本提供按需可用的大量存储容量。此外，这些基于云的存储资源可以是容错且高度可扩展的，其在私人数据存储系统中实现可以是成本高昂的。示例性的基于云的计算资源是按需可用的并且可基于资源的实际使用水平来定价。通常，云基础设施以快速的方式被动态地部署、重配置以及退役。
在所描述的系统和方法中，数据存储系统利用基于SQL(结构化查询语言)的关系数据库。然而，这些系统和方法可适用于任意类型的数据库，以及任意类型的数据存储和检索平台，其使用任意数据存储架构并且使用任意语言来存储和检索数据存储和检索平台内的数据。本文所描述的系统和方法还提供多租户系统，其支持不同的客户/客户端之间以及在相同的客户/客户端内的不同用户之间的计算资源与数据的隔离。
图1是描绘新的数据处理平台100的示例实施例的方框图。如图1所示，资源管理器102被耦合到多个用户104、106和108。在特定的实现中，资源管理器102可以支持希望访问数据处理平台100的任意数目的用户。用户104-108可包括例如，提供数据存储和检索请求的终端用户、管理本文描述的系统和方法的系统管理员以及与资源管理器102进行交互的其它组件/设备。资源管理器102提供各种服务和功能，其支持数据处理平台100内的所有的系统和组件的操作。如本文使用的，资源管理器102还可以被称为“全球服务系统”，其执行如本文讨论的各种功能。
资源管理器102还耦合到元数据110，其与存储在整个数据处理平台100上的数据的整体性相关联。在一些实施例中，元数据110包括存储在远程数据存储系统中的数据的汇总以及从本地缓存可用的数据。另外，元数据110可包括关于如何在远程数据存储系统和本地缓存中组织数据的信息。元数据110允许系统和服务确定一段数据是否需要在没有加载或访问来自存储设备的实际数据的情况下被访问。
资源管理器102还耦合到执行平台112，如以下更详细地讨论的，该执行平台112提供执行各种数据存储和数据检索任务的多个计算资源。执行平台112耦合到多个数据存储设备116、118和120，其是存储平台114的一部分。虽然在图1中示出了三个数据存储设备116、118和120，但是执行平台112能够与任意数量的数据存储设备进行通信。在一些实施例中，数据存储设备116、118和120是定位在一个或多个地理位置中的基于云的存储设备。例如，数据存储设备116、118和120可以是公共云基础设施或私有云基础设施的一部分。数据存储设备116、118和120可以是硬盘驱动器(HDD)、固态硬盘(SSD)、存储集群、Amazon S3TM存储系统或任何其它数据存储技术。另外，存储平台114可包括分布式文件系统(诸如，Hadoop分布式文件系统(HDFS)、对象存储系统等等)。
在特定的实施例中，在资源管理器102和用户104-108、元数据110以及执行平台112之间的通信链路经由一个或多个数据通信网络实现。同样地，在执行平台112和存储平台114中的数据存储设备116-120之间的通信链路经由一个或多个数据通信网络实现。这些数据通信网络可以利用任何通信协议以及任何类型的通信介质。在一些实施例中，数据通信网络是两个或更多个相互耦合的数据通信网络(或子网络)的组合。在可选实施例中，这些通信链路使用任何类型的通信介质和任何通信协议来实现。
如图1所示，数据存储设备116、118和120从与执行平台112相关联的计算资源解耦。这个架构基于变化的数据存储/检索需要以及访问数据处理平台100的用户和系统的变化的需要支持对数据处理平台100的动态变化。动态变化的支持允许数据处理平台100响应于对数据处理平台100内的系统和组件的变化需求快速地扩展。计算资源与数据存储设备的解耦支持对大量的数据的存储而不要求对应的大量的计算资源。同样地，资源的这种解耦支持在特定时间处利用的计算资源中的显著增加，而不要求在可用的数据存储资源中的相应的增加。
资源管理器102、元数据110、执行平台112以及存储平台114在图1中被示出为单独的组件。然而，资源管理器102、元数据110、执行平台112以及存储平台114中的每一个可以被实现为分布式系统(例如，分布在多个地理位置处的多个系统/平台上)。另外，资源管理器102、元数据110、执行平台112以及存储平台114中的每一个可以根据对从用户104-108接收的请求的变化及数据处理平台100的变化的需要按比例增加或减少(相互独立地)。因此，在所描述的实施例中，数据处理平台100是动态的并且支持规律性变化以满足当前数据处理需要。
在典型的操作期间，数据处理平台100对从用户104-108中任一个所接收的多个查询(或请求)进行处理。这些查询由资源管理器102管理以确定何时以及如何执行该查询。例如，资源管理器102可以确定需要什么数据来处理查询并且进一步地确定在执行平台112内的哪些节点是最适合于处理该查询。一些节点可以已经缓存处理查询所需的数据并且因此是用于处理查询的良好候选者。元数据110协助资源管理器102确定执行平台112中的哪些节点已经缓存处理查询所需的数据的至少一部分。执行平台112中的一个或多个节点使用由节点缓存的数据以及必要时使用从存储平台114检索的数据来处理查询。希望的是从执行平台112内的缓存中检索尽可能多的数据，这是因为该检索速度通常比从存储平台114中检索数据快得多。
如图1所示，数据处理平台100将执行平台112与存储平台114分开。在这种布置中，执行平台112中的处理资源和缓存资源独立于存储平台114中的数据存储资源116-120而操作。因此，计算资源和缓存资源不限于特定的数据存储资源116-120。相反地，所有的计算资源和所有的缓存资源可以从存储平台114中的任意的数据存储资源中检索数据，以及将数据存储到存储平台114中的任意的数据存储资源。另外，数据处理平台100支持新的计算资源和缓存资源到执行平台112的添加，而不要求对存储平台114的任何变化。同样地，数据处理平台100支持数据存储资源到存储平台114的添加，而不要求执行平台112中的节点的变化。
图2是描绘资源管理器102的实施例的方框图。如图2所示，资源管理器102包括访问管理器202和耦合到数据存储设备206的密钥管理器204。访问管理器202处理用于本文所描述的系统的认证和授权任务。密钥管理器204管理在认证和授权任务期间使用的密钥的存储和认证。例如，访问管理器202和密钥管理器204管理用于访问存储在远程存储设备(例如，存储平台114中的数据存储设备)中的数据的密钥。如本文使用的，远程存储设备还可以被称为“持久性存储设备”。请求处理服务208管理所接收的数据存储请求和数据检索请求(例如，数据库查询)。例如，请求处理服务208可以确定处理所接收的数据存储请求或数据检索请求所必需的数据。必需的数据可以存储在执行平台112内的缓存中(如以下更详细地讨论的)，或者存储在存储平台114中的数据存储设备中。请求处理服务208可以使用“请求处理模块”来实现。管理控制台服务210支持由管理员和其他系统管理者对各种系统和过程的访问。另外，管理控制台服务210可以从用户104-108接收请求以发出查询并监控系统上的工作负载。管理控制台服务210可以使用“管理控制台模块”来实现。在一些实施例中，特定的用户可以发出请求以监控系统上它们的特定查询放置的工作负载。
资源管理器102还包括SQL编译器212、SQL优化器214以及SQL执行器210。SQL编译器212解析SQL查询并且生成用于该查询的执行代码。SQL优化器214基于需要进行处理的数据确定执行查询的最佳方法。SQL优化器214还处理各种数据修剪操作和其它数据优化技术以提高执行SQL查询的速度和效率。SQL执行器216执行用于由资源管理器102接收的查询的查询代码。
查询调度器和协调器218将所接收的查询发送到合适的服务或系统，以用于对执行平台112的编译、优化和调度。例如，查询可以被优先化并且以该优先化次序进行处理。在一些实施例中，查询调度器和协调器218识别或分配执行平台112中的特定节点以处理特定查询。虚拟仓库管理器220管理在执行平台112中执行的多个虚拟仓库的操作。如下讨论的，每个虚拟仓库包括多个执行节点，其每一个包括缓存和处理器。
另外，资源管理器102包括配置和元数据管理器222，其管理与在远程数据存储设备中和本地缓存(即，执行平台112中的缓存)中存储的数据有关的信息。如以下更详细地讨论的，配置和元数据管理器222使用元数据来确定哪个数据文件需要被访问以检索用于处理特定查询的数据。监控器和工作负载分析器224监督由资源管理器102执行的进程，并且管理在虚拟仓库和执行平台112中的执行节点上的任务(例如，工作负载)的分布。基于整个数据处理平台100的变化的工作负载，监控器和工作负载分析器224还根据需要重新分配任务。配置和元数据管理器222以及监控器和工作负载分析器224被耦合到数据存储设备226。图2中的数据存储设备206和226代表数据处理平台100内的任何数据存储设备。例如，数据存储设备206和226可以代表执行平台112中的缓存、存储平台114中的存储设备或任何其它存储设备。
资源管理器102还包括事务管理和访问控制模块228，其管理各种任务及与数据存储请求和数据访问请求的处理相关联的其它活动。例如，事务管理和访问控制模块228提供由多个用户或系统对数据的一致且同步的访问。由于多个用户/系统可以同时访问相同的数据，因此对数据的更改必须被同步以确保每个用户/系统正在使用当前版本的数据进行工作。事务管理和访问控制模块228提供对资源管理器102中的单一集中的位置处的各种数据处理活动的控制。在一些实施例中，事务管理和访问控制模块228与SQL执行器216进行交互，以支持由SQL执行器216正在执行的各种任务的管理。
图3是描绘执行平台112的实施例的方框图。如图3所示，执行平台112包括多个虚拟仓库302、304和306。每个虚拟仓库包括多个执行节点，每个执行节点包括数据缓存和处理器。虚拟仓库302、304和306能够通过使用多个执行节点并行地执行多个查询(以及其它任务)。如本文讨论的，执行平台112可以基于系统和用户的当前处理需要实时地添加新的虚拟仓库以及终止现有的虚拟仓库。这种灵活性允许执行平台112在需要时快速地部署大量的计算资源，而不会在这些计算资源不再被需要时被迫继续支付这些计算资源。所有的虚拟仓库可以访问来自任何数据存储设备(例如，存储平台114中的任何存储设备)的数据。
尽管图3中示出的每个虚拟仓库302-306包括三个执行节点，但是特定的虚拟仓库可包括任何数目的执行节点。进一步地，虚拟仓库中的执行节点的数目是动态的，使得在出现附加的需求时创建新的执行节点，以及在节点不再必要时删除现有的执行节点。
每个虚拟仓库302-306能够访问图1中示出的数据存储设备116-120中的任一个。因此，虚拟仓库302-306不必被分配给特定的数据存储设备116-120，并且相反地，可以访问来自数据存储设备116-120中的任一个的数据。同样地，图3中示出的执行节点中的每一个可以访问来自数据存储设备116-120中的任一个的数据。在一些实施例中，特定的虚拟仓库或特定的执行节点可以暂时被分配给特定的数据存储设备，但是虚拟仓库或执行节点可以随后访问来自任何其它的数据存储设备的数据。
在图3的示例中，虚拟仓库302包括三个执行节点308、310和312。执行节点308包括缓存314和处理器316。执行节点310包括缓存318和处理器320。执行节点312包括缓存322和处理器324。每个执行节点308-312与处理一个或多个数据存储和/或数据检索任务相关联。例如，特定的虚拟仓库可以处理与特定的用户或客户相关联的数据存储和数据检索任务。在其他实现中，特定的虚拟仓库可以处理与特定的数据存储系统或数据的特定类别相关联的数据存储和数据检索任务。
与以上讨论的虚拟仓库302相似，虚拟仓库304包括三个执行节点326、328和330。执行节点326包括缓存332和处理器334。执行节点328包括缓存336和处理器338。执行节点330包括缓存340和处理器342。另外，虚拟仓库306包括三个执行节点344、346和348。执行节点344包括缓存350和处理器352。执行节点346包括缓存354和处理器356。执行节点348包括缓存358和处理器360。
在一些实施例中，图3中示出的执行节点相对于执行节点正在缓存的数据是无状态的。例如，这些执行节点不存储或以其它方式保持关于执行节点或由特定的执行节点正在缓存的数据的状态信息。因此，在执行节点故障的情况下，故障的节点可以被另一个节点透明地替换。由于没有与故障的执行节点相关联的状态信息，因此新的(替换)执行节点可以容易地替换故障的节点而无需考虑重新创建特定的状态。
虽然图3中示出的执行节点的每个都包括一个数据缓存和一个处理器，但是可选实施例可包括含有任意数目的处理器及任意数目的缓存的执行节点。另外，在不同的执行节点中缓存的大小可以变化。图3中示出的缓存在本地执行节点中存储从存储平台114(图1)中的一个或多个数据存储设备中检索的数据。因此，缓存减少或消除发生在持续地从远程存储系统中检索数据的平台中的瓶颈问题。代替重复地访问来自远程存储设备的数据，本文所描述的系统和方法在执行节点中访问来自缓存的数据，其明显地更快并且避免以上所讨论的瓶颈问题。在一些实施例中，缓存使用提供对缓存的数据的快速访问的高速存储设备来实现。每个缓存可以存储来自存储平台114中的存储设备中的任一个的数据。
此外，缓存资源和计算资源可以在不同的执行节点之间变化。例如，一个执行节点可以含有大量的计算资源和最少的缓存资源，使得执行节点对于要求大量的计算资源的任务是有用的。另一个执行节点可以含有大量的缓存资源和最少的计算资源，使得该执行节点对于要求缓存大量的数据的任务是有用的。又一个执行节点可以含有提供更快的输入-输出操作的缓存资源，对于要求对大量的数据的快速扫描的任务是有用的。在一些实施例中，基于执行节点将要执行的预期任务，在创建执行节点时，确定与特定的执行节点相关联的缓存资源和计算资源。
另外，基于由执行节点执行的变化的任务，与特定的执行节点相关联的缓存资源和计算资源可以随着时间变化。例如，如果由执行节点执行的任务变得更处理器密集，则特定的执行节点可以被分配更多的处理资源。同样地，如果由执行节点执行的任务要求更大的缓存容量，则执行节点可以被分配更多的缓存资源。
虽然虚拟仓库302-306与相同的执行平台112相关联，但是虚拟仓库可以在多个地理位置处使用多个计算系统来实现。例如，虚拟仓库302可以在第一地理位置处由计算系统实现，而虚拟仓库304和306在第二地理位置处由另一个计算系统实现。在一些实施例中，这些不同的计算系统是由一个或多个不同的实体维护的基于云的计算系统。
另外，每个虚拟仓库在图3中被示出为具有多个执行节点。与每个虚拟仓库相关联的多个执行节点可以在多个地理位置处使用多个计算系统来实现。例如，虚拟仓库302的特定实例在特定的地理位置处的一个计算平台上实现执行节点308和310，并且在另一个地理位置处的不同的计算平台处实现执行节点312。选择特定的计算系统来实现执行节点可以取决于各种因素，诸如，对于特定的执行节点所需的资源级别(例如，处理资源要求和缓存要求)、在特定的计算系统处可用的资源、在地理位置内或地理位置之间的网络的通信能力以及哪些计算系统已实现虚拟仓库中的其它执行节点。
执行平台112也是容错的。例如，如果一个虚拟仓库故障，则该虚拟仓库快速地用不同的地理位置处的不同的虚拟仓库来替换。
特定的执行平台112可包括任意数量的虚拟仓库302-306。另外，特定执行平台中的虚拟仓库的数量是动态的，使得在需要附加的处理资源和/或缓存资源时创建新的虚拟仓库。同样地，可以在与虚拟仓库相关联的资源不再需要时删除现有的虚拟仓库。
在一些实施例中，虚拟仓库302、304和306可以对存储平台114中的相同的数据进行操作，但是每个虚拟仓库具有其本身的执行节点与独立的处理和缓存资源。这种配置允许不同的虚拟仓库上的请求独立地并且请求之间没有干扰地进行处理。结合动态地添加和移除虚拟仓库的能力，这种独立的处理支持关于新的用户的新的处理能力的添加，而没有影响由现有的用户所观察的性能。
图4是描绘示例操作环境400的方框图，其中多个用户通过多个虚拟仓库访问多个数据库。在环境400中，多个用户402、404和406通过多个虚拟仓库408、410和412访问多个数据库414、416、418、420、422和424。虽然未在图4中示出，但是用户402、404和406可以通过资源管理器102(图1)访问虚拟仓库408、410和412。在特定的实施例中，数据库414-424被包含在存储平台114(图1)中，并且可通过执行平台112中实现的任何虚拟仓库来访问。在一些实施例中，用户402-406使用数据通信网络(诸如，互联网)来访问虚拟仓库408-412中的一个。在一些实现中，每个用户402-406在特定的时间处指定特定的虚拟仓库408-412一起工作。在图4的示例中，用户402与虚拟仓库408进行交互，用户404与虚拟仓库410进行交互，以及用户406与虚拟仓库412进行交互。因此，用户402通过虚拟仓库408提交数据检索和数据存储请求。同样地，用户404和406分别通过虚拟仓库410和412提交数据检索和数据存储请求。
每个虚拟仓库408-412被配置为与所有的数据库414-424的子集进行通信。例如，在环境400中，虚拟仓库408被配置为与数据库414、416和422进行通信。同样地，虚拟仓库410被配置为与数据库416、418、420和424进行通信。并且，虚拟仓库412被配置为与数据库416、422和424进行通信。在可选实施例中，虚拟仓库408-412中的一个或多个与所有的数据库414-424进行通信。图4中示出的布置允许单独的用户通过单个虚拟仓库发送所有的数据检索和数据存储请求。该虚拟仓库使用虚拟仓库中的执行节点中的一个内的缓存的数据来处理数据检索和数据存储任务，或者从合适的数据库中检索(以及缓存)必要的数据。虚拟仓库之间的映射是逻辑映射而不是硬件映射。这种逻辑映射基于与安全和资源访问管理设置有关的访问控制参数。逻辑映射容易被改变而无需虚拟仓库或存储资源的重新配置。
虽然环境400示出了被配置为与数据库414-424的特定的子集进行通信的虚拟仓库408-412，但是该配置是动态的。例如，基于将由虚拟仓库408执行的变化任务，虚拟仓库408可以被重新配置为与数据库414-424的不同子集进行通信。例如，如果虚拟仓库408接收到访问来自数据库418的数据的请求，则虚拟仓库408可以被重新配置为还与数据库418进行通信。在稍后的时间，如果虚拟仓库408不再需要访问来自数据库418的数据，则虚拟仓库408可以被重新配置为删除与数据库418的通信。
图5是描绘另一个示例操作环境500的方框图，其中多个用户通过负载平衡器和虚拟仓库组中包含的多个虚拟仓库访问多个数据库。环境500与环境400(图4)相似，但另外包括虚拟仓库资源管理器508和被布置在虚拟仓库组516中的多个虚拟仓库510、512和514。虚拟仓库资源管理器508可以被包含在资源管理器102中。特别地，多个用户502、504和506通过虚拟仓库资源管理器508和虚拟仓库组516访问多个数据库518、520、522、524、526和528。在一些实施例中，用户502-506使用数据通信网络(诸如，互联网)来访问虚拟仓库资源管理器508。虽然未在图5中示出，但是用户502、504和506可以通过资源管理器102(图1)访问虚拟仓库资源管理器508。在一些实施例中，虚拟仓库资源管理器508在资源管理器102内被实现。
用户502-506可以将数据检索和数据存储请求提交到虚拟仓库资源管理器508，其将数据检索和数据存储请求路由到虚拟仓库组516中的合适的虚拟仓库510-514。在一些实现中，虚拟仓库资源管理器508向虚拟仓库510-514提供用户502-506的动态分配。当提交数据检索或数据存储请求时，用户502-506可以指定虚拟仓库组516以处理请求，而没有指定将处理请求的特定的虚拟仓库510-514。这种布置允许虚拟仓库资源管理器508基于效率、可用资源以及虚拟仓库510-514内的缓存的数据的可用性在虚拟仓库510-514上分布多个请求。在确定如何对数据处理请求进行路由时，虚拟仓库资源管理器508考虑可用的资源、当前的资源负载、当前用户的数量等。
在一些实施例中，响应于虚拟仓库的故障，容错系统创建新的虚拟仓库。新的虚拟仓库可以在相同的虚拟仓库组中或者可以在不同的地理位置处的不同的虚拟仓库组中被创建。
每个虚拟仓库510-514被配置为与所有的数据库518-528的子集进行通信。例如，在环境500中，虚拟仓库510被配置为与数据库518、520和526进行通信。同样地，虚拟仓库512被配置为与数据库520、522、524和528进行通信。并且，虚拟仓库514被配置为与数据库520、526和528进行通信。在可选实施例中，虚拟仓库510-514可以与任何(或所有)的数据库518-528进行通信。
虽然环境500示出一个虚拟仓库组516，但是可选实施例可包括任意数量的虚拟仓库组，每个虚拟仓库组与任意数量的虚拟仓库相关联。在特定环境中的虚拟仓库组的数量是动态的，并且可以基于环境中用户和其它系统的变化的需要而改变。
图6是描绘另一个示例操作环境600的方框图，该操作环境600具有多个分布式虚拟仓库和虚拟仓库组。环境600包括资源管理器102，其通过数据通信网络602与虚拟仓库组604和606进行通信。仓库组604包括两个虚拟仓库608和610，以及仓库组606包括另两个虚拟仓库614和616。资源管理器102还通过数据通信网络602与虚拟仓库612(其不是虚拟仓库组的一部分)进行通信。
虚拟仓库组604和606以及虚拟仓库612通过数据通信网络618与数据库620、622和624进行通信。在一些实施例中，数据通信网络602和618是相同的网络。环境600允许资源管理器102协调在多个虚拟仓库608-616上的用户数据存储和检索请求，以存储和检索数据库620-624中的数据。虚拟仓库组604和606可以被定位在相同的地理区域中，或者可以在地理上被分开。另外，虚拟仓库组604和606可以由相同的实体或者通过不同的实体来实现。
本文所描述的系统和方法允许数据作为与计算(或处理)资源分开的服务被存储和访问。即使没有已经从执行平台分配计算资源，数据也可用于虚拟仓库而无需从远程数据源重新加载数据。因此，数据是独立于与数据相关联的计算资源的分配可用的。所描述的系统和方法对任何类型的数据是有用的。在特定的实施例中，数据以结构化、优化的格式存储。数据存储/访问服务与计算服务的解耦也简化了在不同的用户和组之间的数据的共享。如本文讨论的，每个虚拟仓库可以访问它对其具有访问权限的任何数据，甚至在其它虚拟仓库正在访问相同的数据的同时。这种架构在没有任何实际的数据存储在本地缓存中的情况下支持运行查询。本文所描述的系统和方法能够进行透明动态的数据运动，其根据需要以对系统的用户是透明的方式将数据从远程存储设备移动到本地缓存。进一步地，由于数据存储服务与计算服务的解耦，任何虚拟仓库可以访问任何数据，因此这种架构支持数据共享而无需之前的数据移动。
图7是描绘用于管理数据存储和检索操作的方法700的实施例的流程图。最初，方法700在702处接收来自用户的语句、请求或查询。语句是用于执行数据相关的操作的任何请求或命令。示例语句包括数据检索请求、数据存储请求、数据传递请求、数据查询等等。在一些实施例中，语句被实现为SQL语句。资源管理器在704处创建查询协调器以管理所接收的语句。例如，查询协调器管理对于处理所接收的语句必需的各种任务，包括与执行平台和一个或多个数据存储设备进行交互。在一些实施例中，查询协调器是专门创建的临时例程以管理所接收的语句。
方法700在706处继续，资源管理器确定对于处理所接收的语句所需的多个任务。多个任务可包括例如访问来自执行节点中的缓存的数据，从远程存储设备中检索数据，更新缓存中的数据，将数据存储在远程存储设备中等等。资源管理器在708处还将多个任务分布给执行平台中的执行节点。如本文讨论的，执行平台中的执行节点在虚拟仓库内被实现。每个执行节点在710处执行分配的任务并且将任务结果返回到资源管理器。在一些实施例中，执行节点将任务结果返回到查询协调器。资源管理器在712处接收多个任务结果并且创建语句结果，以及在714处将语句结果传递给用户。在一些实施例中，在语句结果被传递给用户之后，删除查询协调器。
图8是描绘用于管理通过多个执行节点的多个文件的处理的方法800的实施例的流程图。在特定的实施例中，方法800由资源管理器102执行。最初，方法800在802处接收(或识别)来自用户的查询，并且在804处识别对处理所接收的查询必需的多个文件。处理特定的查询需要的文件将随查询的变化而不同。查询参数和查询指令指示数据将被处理，并且相应地指示访问该数据所必要的文件。例如，如果查询与在特定日期范围内的特定公司的财务记录相关联，则必要的文件包括含有关于该特定公司并且在该特定日期范围内的数据的所有文件。为了在基本上相同的时间处处理多个文件，多个文件被分发给多个执行节点。为了实现这个，方法800在806处识别当前可用于处理多个文件的多个执行节点。
方法800在808处通过创建多个扫描集继续，其中每个扫描集包括多个文件的一部分。扫描集是一个或多个文件的任何集合。所有的扫描集的并集包括处理所接收的查询所需的所有文件。不同的扫描集可以含有不同数目的文件。基于一致性文件分配模型，每个扫描集最初被分配给特定的执行节点。如以下讨论的，因为某些文件随后可以被重新分配给不同的执行节点，所以这是扫描集文件的最初分配。一致性文件分配模型定义用于将文件分配给执行节点的方法，并且每次与查询相关的文件被分配给用于处理的执行节点时使用该一致文件分配模型。通过重复地使用相同的文件分配模型，大多数文件被分配给相同的执行节点用于处理，从而增加分配的文件已在执行节点的缓存中的可能性，其保持高缓存命中率。基于一致性文件分配模型，每个扫描集中的文件被布置(或排序)。在一些实施例中，每个扫描集中的文件基于其大小被布置，使得如果该布置被多次重复(例如，用于访问相似的文件的多个查询)，则布置是相同的。例如，扫描集中的文件可以从最大至最小或者从最小或最大而进行布置。如下面讨论的，扫描集到执行节点的分配可以使用例如一致性哈希方法。
在一些实施例中，任何算法可以用于将扫描集分配给执行节点。算法的目的是以将执行节点将在其缓存中找到该文件的概率最大化的方式分配扫描集。这可以通过使用相同的算法或方法来将扫描集分配给执行节点而完成。通过以相同的方式一致地分配扫描集，执行节点更有可能在其缓存中具有必要的文件。另外，对被分配给每个执行节点的文件进行一致性排序(即，其中执行节点处理文件的顺序)将提高首先处理的文件是在缓存中的可能性。在一些实施例中，以最不可能在缓存中的文件被最后处理的方式对文件进行排序，其提高了它们将被另一个执行节点窃取的可能性，如本文所讨论的。
多个执行节点在810处并行地开始处理在它们相关联的扫描集中的文件。在特定的扫描集中的文件通过在之前使用一致性文件分配模型确定的布置(或顺序)中的执行节点进行处理。在812处，当特定的执行节点完成处理在其分配的扫描集中的所有文件时，该执行节点基于文件窃取模型从另一个执行节点中窃取未处理的文件。如本文使用的，“窃取”文件指的是将文件从第一执行节点重新分配给第二执行节点。术语“窃取”和“重新分配”在本文中可互换地使用。文件窃取模型定义用于在执行节点之间窃取文件的方法。当窃取特定的执行节点的文件时，如果其它的执行节点(即，具有未处理的文件的执行节点)在创建扫描集时是不可用的，则那个执行节点被分配它本来将会接收到的文件。在一些实施例中，所窃取的文件在扫描集内以相反的顺序进行选择(例如，从扫描集中的文件的有序列表的底部选择所窃取的文件)。
基于文件窃取模型，特定未处理的文件被选择用于通过可用的执行节点处理。在814处，这种未处理的文件从原来的执行节点的扫描集中移除并且由可用的执行节点处理。方法800通过识别其它已完成处理所有的文件执行节点而继续，并且指示执行节点窃取未处理的文件。这一直持续到所有的扫描集中的所有的文件已经被处理。在一些实施例中，如本文讨论的，文件窃取模型使用一致性哈希算法。在其他实施例中，文件窃取模型可以使用任何算法或过程，其提供将从一个执行节点被窃取到另一个执行节点的文件的一致性选择。这种文件的一致性选择通常增加缓存命中率。
窃取过程通过完全利用所有的执行节点资源而提高整体系统性能。代替允许一个执行节点保持空闲而其他执行节点具有等待被处理的文件，空闲的执行节点可以与其他执行节点处理并行处理等待的文件。关于窃取(或重新分配)未处理的文件的附加细节以下进行讨论。
在一些实施例中，文件窃取过程还使用一致性哈希模型。在这些实施例中，每个执行节点具有所有文件的所有权但以不同的级别。例如，最高级别的所有权(级别0)指示文件最初被分配给那个执行节点。在特定的执行节点已处理其所有的最初分配的文件(级别0文件)之后，执行节点然后继续处理级别1文件，然后级别2文件，以此类推。级别1文件指示如果紧邻的执行节点没有出现，该文件将已经最初被分配给执行节点。在一些实施例中，当一个执行节点从另一个执行节点窃取文件时，“窃取”执行节点是唯一的一个可以窃取文件，这是因为它是唯一相邻的执行节点(即，相邻于从其窃取文件的其他执行节点)。这防止试图窃取相同文件的多个执行节点之间的任何竞争。
在特定的实现中，查询调度器和协调器218(图2)负责管理这些类型的文件活动。在一些实施例中，查询调度器和协调器218包括文件管理器，其管理各种虚拟仓库和虚拟仓库内的执行节点中的文件的分布。该文件管理器还管理不同的执行节点之间的文件的窃取(或重新分配)。
本文讨论的一致性哈希算法的使用允许对等操作，从而消除了对于管理单独的执行节点的每一个的集中式逻辑的需要。相反地，每个执行节点知道环中的所有其他执行节点。当窃取文件时，“窃取”执行节点查问相邻的执行节点是否其具有可被窃取的任何文件。如果在相邻的执行节点中没有级别1文件要被窃取，则窃取执行节点将移动到环中的下一个执行节点。如果没有级别1文件保留在任何的执行节点中，则窃取执行节点将移动到级别2文件，以此类推。
图9是描绘用于管理从执行节点窃取文件的方法900的实施例的流程图。在特定的实施例中，方法900由资源管理器102执行。最初，在902处，第一执行节点被指示从第二执行节点中窃取文件。如以上参考图8讨论的，这种文件窃取例如在特定的执行节点已处理完其分配的扫描集中所有的文件但另外的文件(在其他节点的扫描集中)仍然未处理时可以发生。
在904处，第一执行节点开始从远程存储设备检索文件。方法900在906处确定通过第一执行节点的文件检索(从远程存储设备)是否完成。如果文件检索完成，则在908处第二执行节点被指示不对文件进行处理。在一些实施例中，除了指示第二执行节点不对文件进行处理外，第二执行节点被指示从其扫描集中移除该文件。
如果在906处第一执行节点没有完成从远程存储设备检索文件，则方法900在910处确定第二执行节点是否变成可用于处理文件。如果第二执行节点不可用于处理文件，则方法900返回906处检查通过第一执行节点的文件检索的完成。
如果在910处第二执行节点可用于处理文件，则方法900在912处确定文件是否在第二执行节点的缓存中可用。如果文件不在第二执行节点的缓存中，方法900分支到918，其中第一执行节点继续检索和处理文件，同时第二执行节点被指示不对文件进行处理。在这种情况下，由于第二执行节点没有缓存文件，因此第一执行节点被允许继续从远程存储设备中检索文件，这是由于这将有可能比由第二执行节点开始新的文件检索过程更快。
如果在912处文件在第二节点的缓存中可用，在914处第一执行节点被指示不对文件进行处理。另外，在916处第二执行节点被指示对缓存的文件进行处理。在这种情况下，由于第二执行节点可用于处理文件，并且该文件已在第二执行节点的缓存中，因此第二执行节点可以比仍然从远程存储设备检索文件的第一执行节点更快地处理文件，
在一些实施例中，一个执行节点可以通过直接从其它执行节点的缓存中复制文件来从另一个执行节点窃取文件。因此，从其它执行节点的缓存中检索文件可能更快，而不是使执行节点从远程存储系统中检索窃取的文件。
在一些实施例中，一致性哈希被使用作为基础模型以最初将文件分配给用于处理的执行节点，以及用于在执行节点已处理完其所有最初分配的文件时重新分配(窃取)文件。在一个实施例中，一致性哈希执行关于集群中每个服务器的哈希(例如，使用物理服务器标识符)到大的哈希空间，诸如64位哈希空间。为了最初将文件分配给执行节点，文件以与使用文件的唯一标识符相同的方式进行哈希运算。与该文件相关联的执行节点是在执行文件哈希之后出现在哈希空间中的第一执行节点。这种方法在达到最大的哈希值时“绕回”到零。
使用这种一致性哈希方法支持服务器(以及执行节点)的添加或移除，而不会造成文件的明显不同的初始分配。例如，在具有10个服务器的系统中，一个服务器的添加将造成大约10％的文件的重新分配。因此，大约90％的文件没有被重新分配。为了最小化歪斜的风险(一些执行节点比其他执行节点执行更多的文件处理工作)，尤其在执行节点的数目少时，一些实施例在哈希空间中使用多个哈希函数创建每个执行节点的多个副本。在特定的实现中，系统对于每个执行节点可以创建128个副本并且对于哈希空间使用64位哈希值。
图10A-10D描绘使用一致性哈希算法来将文件分配给执行节点的示例实施例。在特定的实施例中，这种文件到执行节点的分配由资源管理器102执行。图10A图示10个文件到三个执行节点的分配。在图10A中的圆的顶部处开始并且按顺时针方向移动，文件6和文件3被分配给下一个执行节点(执行节点3)，然后文件1、8、4和5被分配给下一个执行节点(执行节点2)，以及最后文件7、10、9和2被分配给下一个执行节点(执行节点1)。
图10B示出在添加另一个执行节点(执行节点4)之后产生的文件分配。在此示例中，与执行节点2和执行节点3相关联的文件与图10A相比没有变化。在图10A中与执行节点1相关联的文件在图10B中的执行节点1和执行节点4之间共享。因此，由于添加执行节点4只有一些文件被重新分配。
图10A和图10B中示出的示例由于只有三个执行节点是可用的而可能具有歪斜问题(其中一些执行节点比其他执行节点执行更多的文件处理工作的情况)。为了减少歪斜的可能性，在哈希空间中提供每个执行节点的多个副本。
图10C示出与图10A相似的示例，但对于三个执行节点中的每一个使用八个副本。这种方法提供执行节点之间更均匀的文件分配。
图10D示出在添加另一个执行节点(执行节点4)之后产生的文件分配。在此示例中，执行节点4的八个副本被添加到哈希空间。如图10D所示，文件1从执行节点3被移动到执行节点4，以及文件5从执行节点2被移动到执行节点4。因此，文件从两个不同的节点移动，而不是如图10A和图10B所示的两者均从相同的节点移动。
图10A-10B示出的一致性哈希示例在扫描集(或单独的文件)到执行节点的初始分配以及将文件从一个执行节点重新分配(例如，窃取)到另一个执行节点中是有用的。在两个实例中，一致性哈希方法增加了关于由执行节点处理的文件的缓存命中的可能性。
在一些实施例中，当可用的执行节点准备窃取文件时，一致性哈希方法用于识别未处理的文件，如果其他的执行节点(最初被分配文件的执行节点)在执行初始文件分配时是不可用的，该未处理的文件就将会分配给可用的执行节点。这种方法增加了可用的执行节点将窃取已在可用的执行节点上缓存的文件的可能性。
在一些实现中，相同的文件同时由多个执行节点缓存。这种文件的多个缓存有助于在多个执行节点上的负载平衡(例如，平衡数据处理任务)。另外，在多个执行节点中缓存文件有助于避免在大量的数据试图通过相同的通信链路时的潜在的瓶颈。这种实现也支持由不同的执行节点对相同数据的并行处理。
本文所描述的系统和方法利用共享磁盘系统和无共享架构两者的益处。一旦数据在本地被缓存，所描述的用于存储和检索数据的平台类似于无共享架构是可扩展的。它还具有共享磁盘架构的所有的益处，其中处理节点可以被添加和被移除而没有任何的约束(例如，对于0到N)并且无需任何明确的数据重组。
图11是描绘示例计算设备1100的方框图。在一些实施例中，计算设备1100用来实现本文讨论的系统和组件中的一个或多个。例如，计算设备1100可以允许用户或管理员访问资源管理器102。此外，计算设备1100可以与本文所描述的系统和组件中的任一个进行交互。因此，计算设备1100可以用于执行各种程序和任务(诸如，本文讨论的那些程序和任务)。计算设备1100可以作为服务器、客户端或任何其它计算实体作用。计算设备1100可以是许多种的计算设备中的任一个，诸如台式计算机、笔记本式计算机、服务器计算机、手持式计算机、平板等。
计算设备1100包括一个或多个处理器1102、一个或多个存储设备1104、一个或多个接口1106、一个或多个大容量存储设备1108以及一个或多个输入/输出(I/O)设备1110，所有这些都耦合到总线1112。处理器1102包括一个或多个处理器或控制器，其执行存储在存储设备1104和/或大容量存储设备1108中的指令。处理器1102还可以包括各种类型的计算机可读介质，诸如缓存存储器。
存储设备1104包括各种计算机可读介质，诸如易失性存储器(例如，随机存取存储器(RAM))和/或非易失性存储器(例如，只读存储器(ROM))。存储设备1104还可以包括可重写ROM，诸如闪存。
大容量存储设备1108包括各种计算机可读介质，诸如磁带、磁盘、光盘、固态存储器(例如，闪存)等等。各种驱动器还可以被包括在大容量存储设备1108中，以能够从各种计算机可读介质读取和/或写入到各种计算机可读介质。大容量存储设备1108包括可移动介质和/或不可移动介质。
I/O设备1110包括各种设备，其允许数据和/或其它信息被输入到计算设备1100或者从计算设备1100中检索。示例I/O设备1110包括光标控制设备、键盘、小键盘、麦克风、监控器或其他显示设备、扬声器、打印机、网络接口卡、调制解调器、镜头、CCD或其他图像捕获设备等。
接口1106包括各种接口，其允许计算设备1100与其他系统、设备或计算环境进行交互。示例接口1106包括任意数目的不同网络接口，诸如局域网(LAN)、广域网(WAN)、无线网络以及互联网的接口。
总线1112允许处理器1102、存储设备1104、接口1106、大容量存储设备1108以及I/O设备1110相互进行通信，以及与耦合到总线1112的其他设备或组件进行通信。总线1112代表几种类型的总线结构中的一种或多种，诸如系统总线、PCI总线、IEEE 1394总线、USB总线等等。
出于说明的目的，程序和其他可执行程序组件在本文中被示出为离散的块，但是应理解，这样的程序和组件可以在不同的时间驻留在计算设备1100的不同的存储组件中并且由处理器1102执行。可选地，本文所描述的系统和程序可以在硬件或硬件、软件和/或固件的组合中实现。例如，一个或多个专用集成电路(ASIC)可被编程以执行本文所描述的系统和程序中的一个或多个。
虽然本公开以某些优选的实施例进行描述，但是考虑到本公开的益处，其他实施例对于本领域的技术人员将是明显的，包括未提供本文阐述的所有的益处和特征的实施例，其也在本公开的范围内。将理解，其他的实施例可以在不偏离本公开的范围的情况下被使用。

Claims (27)

1.一种管理系统，包括：
用于识别待处理的多个文件以响应查询的工具；
用于生成一个或更多个扫描集的工具，每个扫描集包括所述多个文件中的一个或更多个文件；
用于基于一致性哈希算法将所述一个或更多个扫描集中的每个扫描集分配给执行节点的工具；以及
用于响应于确定可用的执行节点已经完成处理了在给其分配的扫描集中的所有文件而给所述可用的执行节点重新分配未处理文件的工具。
2.根据权利要求1所述的管理系统，其中，用于给所述可用的执行节点重新分配所述未处理文件的所述工具包括用于基于一致性哈希算法进行重新分配的工具。
3.根据权利要求1所述的管理系统，其中，用于基于一致性哈希算法将所述一个或更多个扫描集中的每个扫描集分配给执行节点的所述工具还包括：
用于引用一致性哈希算法以识别哪个执行节点具有对于第一扫描集中的文件的最高所有权级别的工具；以及
用于将所述第一扫描集分配给所识别的具有对于所述第一扫描集中的文件的最高所有权级别的执行节点的工具。
4.根据权利要求1所述的管理系统，其中，用于响应于确定所述可用的执行节点已经完成处理了在给其分配的扫描集中的所有文件而给所述可用的执行节点重新分配所述未处理文件的所述工具还包括：
用于引用一致性哈希算法以识别所述可用的执行节点是否具有所述未处理文件的第二级所有权的工具；以及
用于仅响应于确定所述可用的执行节点具有所述未处理文件的第二级所有权而给所述可用的执行节点重新分配所述未处理文件的工具。
5.根据权利要求1所述的管理系统，还包括用于定义一致性哈希算法的工具，定义一致性哈希算法的所述工具包括：
用于给每个执行节点分配对于所述多个文件中的文件的集合的最高所有权级别的工具，使得具有对于特定的文件集合的最高所有权级别的执行节点将接收用于处理所述特定的文件集合的最初分配；以及
用于给每个执行节点分配对于第二级文件集合的第二级所有权级别的工具，使得具有对于特定的第二级文件集合的第二级所有权级别的执行节点将仅在所述特定的第二级文件集合依然未被相邻的执行节点处理时才接收用于处理所述特定的第二级文件集合的分配。
6.根据权利要求1所述的管理系统，还包括用于定义一致性哈希算法的工具，定义一致性哈希算法的所述工具包括：
用于为所述多个文件到多个执行节点的分配定义多个可能的所有权级别的工具；以及
用于定义文件分配模型使得每个执行节点具有所述多个文件中的每个文件的在所述多个可能的所有权级别中的一个级别的所有权的工具。
7.根据权利要求6所述的管理系统，其中，用于为所述多个文件到所述多个执行节点的分配定义所述多个可能的所有权级别的所述工具还包括：
用于定义最高所有权级别的工具，所述最高所有权级别表明执行节点将最初接收用于处理在其最高所有权级别的文件的分配；
用于定义第二级所有权级别的工具，所述第二级所有权级别表明执行节点将仅在其第二级所有权级别的文件依然未被处理时才接收用于处理那些文件的分配；以及
用于定义第三级所有权级别的工具，所述第三级所有权级别表明执行节点将仅在其第三级所有权级别的文件依然未被对于那些文件在最高所有权级别的执行节点和在第二级所有权级别的执行节点处理时才接收用于处理那些文件的分配。
8.根据权利要求1所述的管理系统，其中，用于生成所述一个或更多个扫描集的所述工具包括用于基于所述多个文件中的每个文件的大小来生成的工具。
9.根据权利要求1所述的管理系统，其中，用于生成所述一个或更多个扫描集的所述工具还包括用于优先化由执行节点缓存的文件的工具。
10.根据权利要求1所述的管理系统，还包括用于响应于重新分配所述未处理文件而将所述未处理文件从其分配到的扫描集移除的工具。
11.一种管理方法，包括：
识别待处理的多个文件以响应查询；
生成一个或更多个扫描集，每个扫描集包括所述多个文件中的一个或更多个文件；
基于一致性哈希算法将所述一个或更多个扫描集中的每个扫描集分配给执行节点；以及
响应于确定可用的执行节点已经完成处理了在给其分配的扫描集中的所有文件而给所述可用的执行节点重新分配未处理文件。
12.根据权利要求11所述的管理方法，其中，给所述可用的执行节点重新分配所述未处理文件包括基于一致性哈希算法进行重新分配。
13.根据权利要求11所述的管理方法，其中，基于一致性哈希算法将所述一个或更多个扫描集中的每个扫描集分配给执行节点包括：
引用一致性哈希算法以识别哪个执行节点具有对于第一扫描集中的文件的最高所有权级别；以及
将所述第一扫描集分配给所识别的具有对于所述第一扫描集中的文件的最高所有权级别的执行节点。
14.根据权利要求11所述的管理方法，其中，响应于确定所述可用的执行节点已经完成处理了在给其分配的扫描集中的所有文件而给所述可用的执行节点重新分配所述未处理文件还包括：
引用一致性哈希算法以识别所述可用的执行节点是否具有所述未处理文件的第二级所有权；以及
仅响应于确定所述可用的执行节点具有所述未处理文件的第二级所有权而给所述可用的执行节点重新分配所述未处理文件。
15.根据权利要求11所述的管理方法，还包括通过以下操作来定义一致性哈希算法：
为所述多个文件到多个执行节点的分配定义多个可能的所有权级别；以及
定义文件分配模型使得每个执行节点具有所述多个文件中的每个文件的在所述多个可能的所有权级别中的一个级别的所有权。
16.一个或更多个处理器，所述一个或更多个处理器能够配置为执行存储在非暂时性计算机可读存储介质中的指令以用于进行以下操作：
识别待处理的多个文件以响应查询；
生成一个或更多个扫描集，每个扫描集包括所述多个文件中的一个或更多个文件；
基于一致性哈希算法将所述一个或更多个扫描集中的每个扫描集分配给执行节点；以及
响应于确定可用的执行节点已经完成处理了在给其分配的扫描集中的所有文件而给所述可用的执行节点重新分配未处理文件。
17.根据权利要求16所述的一个或更多个处理器，其中，所述指令还用于通过以下操作来定义一致性哈希算法：
为所述多个文件到多个执行节点的分配定义多个可能的所有权级别；以及
定义文件分配模型使得每个执行节点具有所述多个文件中的每个文件的在所述多个可能的所有权级别中的一个级别的所有权。
18.根据权利要求17所述的一个或更多个处理器，其中，为所述多个文件到所述多个执行节点的分配定义所述多个可能的所有权级别还包括：
定义最高所有权级别，所述最高所有权级别表明执行节点将最初接收用于处理在其最高所有权级别的文件的分配；
定义第二级所有权级别，所述第二级所有权级别表明执行节点将仅在其第二级所有权级别的文件依然未被处理时才接收用于处理那些文件的分配；以及
定义第三级所有权级别，所述第三级所有权级别表明执行节点将仅在其第三级所有权级别的文件依然未被对于那些文件在最高所有权级别的执行节点和在第二级所有权级别的执行节点处理时才接收用于处理那些文件的分配。
19.根据权利要求16所述的一个或更多个处理器，其中，生成所述一个或更多个扫描集包括基于所述多个文件中的每个文件的大小来生成。
20.根据权利要求16所述的一个或更多个处理器，其中，生成所述一个或更多个扫描集包括优先化由执行节点缓存的文件。
21.一种用于存储指令的计算机可读介质，所述指令当被一个或更多个处理器执行时，使得所述一个或更多个处理器实现根据权利要求11-14中任一项所述的方法。
22.根据权利要求21所述的计算机可读介质，其中，所述指令当被所述一个或更多个处理器执行时，还使得所述一个或更多个处理器进行以下操作：
给每个执行节点分配对于所述多个文件中的文件的集合的最高所有权级别，使得具有对于特定的文件集合的最高所有权级别的执行节点将接收用于处理所述特定的文件集合的最初分配；以及
给每个执行节点分配对于第二级文件集合的第二级所有权级别，使得具有对于特定的第二级文件集合的第二级所有权级别的执行节点将仅在所述特定的第二级文件集合依然未被相邻的执行节点处理时才接收用于处理所述特定的第二级文件集合的分配。
23.根据权利要求21所述的计算机可读介质，其中，所述指令当被所述一个或更多个处理器执行时，还使得所述一个或更多个处理器通过以下操作来定义一致性哈希算法：
为所述多个文件到多个执行节点的分配定义多个可能的所有权级别；以及
定义文件分配模型使得每个执行节点具有所述多个文件中的每个文件的在所述多个可能的所有权级别中的一个级别的所有权。
24.根据权利要求23所述的计算机可读介质，其中，为所述多个文件到所述多个执行节点的分配定义所述多个可能的所有权级别还包括：
定义最高所有权级别，所述最高所有权级别表明执行节点将最初接收用于处理在其最高所有权级别的文件的分配；
定义第二级所有权级别，所述第二级所有权级别表明执行节点将仅在其第二级所有权级别的文件依然未被处理时才接收用于处理那些文件的分配；以及
定义第三级所有权级别，所述第三级所有权级别表明执行节点将仅在其第三级所有权级别的文件依然未被对于那些文件在最高所有权级别的执行节点和在第二级所有权级别的执行节点处理时才接收用于处理那些文件的分配。
25.根据权利要求21所述的计算机可读介质，其中，生成所述一个或更多个扫描集还包括基于所述多个文件中的每个文件的大小来生成。
26.根据权利要求21所述的计算机可读介质，其中，生成所述一个或更多个扫描集还包括优先化由执行节点缓存的文件。
27.根据权利要求21所述的计算机可读介质，其中，所述指令当被所述一个或更多个处理器执行时，还使得所述一个或更多个处理器：响应于重新分配所述未处理文件而将所述未处理文件从其分配到的扫描集移除。
CN201910595838.2A 2014-02-19 2015-02-18 数据管理系统及方法 Pending CN110297799A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461941986P 2014-02-19 2014-02-19
US61/941,986 2014-02-19
US14/518,873 2014-10-20
US14/518,873 US9665633B2 (en) 2014-02-19 2014-10-20 Data management systems and methods
CN201580020409.2A CN106233275B (zh) 2014-02-19 2015-02-18 数据管理系统及方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580020409.2A Division CN106233275B (zh) 2014-02-19 2015-02-18 数据管理系统及方法

Publications (1)

Publication Number Publication Date
CN110297799A true CN110297799A (zh) 2019-10-01

Family

ID=53798208

Family Applications (10)

Application Number Title Priority Date Filing Date
CN201580020412.4A Active CN106233277B (zh) 2014-02-19 2015-02-18 资源管理系统及方法
CN201580009233.0A Active CN106030573B (zh) 2014-02-19 2015-02-18 半结构化数据作为第一等级数据库元素的实现
CN201910595708.9A Pending CN110308994A (zh) 2014-02-19 2015-02-18 资源管理系统及方法
CN201580020409.2A Active CN106233275B (zh) 2014-02-19 2015-02-18 数据管理系统及方法
CN201580009234.5A Active CN106104526B (zh) 2014-02-19 2015-02-18 半结构化数据模式的透明发现
CN201580020410.5A Active CN106233255B (zh) 2014-02-19 2015-02-18 资源供应系统及方法
CN201910595838.2A Pending CN110297799A (zh) 2014-02-19 2015-02-18 数据管理系统及方法
CN201580020415.8A Active CN106233263B (zh) 2014-02-19 2015-02-18 缓存系统及方法
CN201580020416.2A Active CN106233253B (zh) 2014-02-19 2015-02-19 资源供应系统及方法
CN201780034461.2A Active CN109564564B (zh) 2014-02-19 2017-06-01 克隆目录对象

Family Applications Before (6)

Application Number Title Priority Date Filing Date
CN201580020412.4A Active CN106233277B (zh) 2014-02-19 2015-02-18 资源管理系统及方法
CN201580009233.0A Active CN106030573B (zh) 2014-02-19 2015-02-18 半结构化数据作为第一等级数据库元素的实现
CN201910595708.9A Pending CN110308994A (zh) 2014-02-19 2015-02-18 资源管理系统及方法
CN201580020409.2A Active CN106233275B (zh) 2014-02-19 2015-02-18 数据管理系统及方法
CN201580009234.5A Active CN106104526B (zh) 2014-02-19 2015-02-18 半结构化数据模式的透明发现
CN201580020410.5A Active CN106233255B (zh) 2014-02-19 2015-02-18 资源供应系统及方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201580020415.8A Active CN106233263B (zh) 2014-02-19 2015-02-18 缓存系统及方法
CN201580020416.2A Active CN106233253B (zh) 2014-02-19 2015-02-19 资源供应系统及方法
CN201780034461.2A Active CN109564564B (zh) 2014-02-19 2017-06-01 克隆目录对象

Country Status (8)

Country Link
US (102) US9665633B2 (zh)
EP (14) EP3828723B1 (zh)
JP (12) JP6697392B2 (zh)
CN (10) CN106233277B (zh)
AU (8) AU2015219103B2 (zh)
CA (8) CA2939905C (zh)
DE (14) DE202015009777U1 (zh)
WO (8) WO2015126968A2 (zh)

Families Citing this family (161)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015112614A1 (en) 2014-01-21 2015-07-30 Oracle International Corporation System and method for supporting multi-tenancy in an application server, cloud, or other environment
US9665633B2 (en) 2014-02-19 2017-05-30 Snowflake Computing, Inc. Data management systems and methods
US9607073B2 (en) 2014-04-17 2017-03-28 Ab Initio Technology Llc Processing data from multiple sources
US9524186B2 (en) * 2014-04-28 2016-12-20 Oracle International Corporation System and method for supporting common transaction identifier (XID) optimization based on resource manager (RM) instance awareness in a transactional environment
US11474874B2 (en) 2014-08-14 2022-10-18 Qubole, Inc. Systems and methods for auto-scaling a big data system
EP3198426B1 (en) * 2014-09-26 2023-08-30 Oracle International Corporation System and method for transaction recovery in a multitenant application server environment
US9672122B1 (en) 2014-09-29 2017-06-06 Amazon Technologies, Inc. Fault tolerant distributed tasks using distributed file systems
US10587465B1 (en) 2015-02-19 2020-03-10 VCE IP Holding Company LLC Methods, systems, and computer readable mediums for selecting and configuring a computing system to support a replicated application
US11436667B2 (en) 2015-06-08 2022-09-06 Qubole, Inc. Pure-spot and dynamically rebalanced auto-scaling clusters
US10210220B2 (en) * 2015-09-16 2019-02-19 DataStax System and method for fault tolerant queries
CN106548262B (zh) 2015-09-21 2020-11-06 阿里巴巴集团控股有限公司 用于处理任务的资源的调度方法、装置和系统
US10091295B1 (en) * 2015-09-23 2018-10-02 EMC IP Holding Company LLC Converged infrastructure implemented with distributed compute elements
CN106790324B (zh) * 2015-11-20 2020-06-16 华为技术有限公司 内容分发方法、虚拟服务器管理方法、云平台和系统
CN107193813B (zh) * 2016-03-14 2021-05-14 阿里巴巴集团控股有限公司 数据表连接方式处理方法及装置
US10289347B2 (en) 2016-04-26 2019-05-14 Servicenow, Inc. Detection and remediation of memory leaks
KR101866487B1 (ko) * 2016-04-27 2018-06-12 주식회사 와이즈넛 복수의 이기종 사물인터넷디바이스의 반정형 데이터를 그룹핑하여 실시간으로 분석하는 데이터처리장치
JP7271059B2 (ja) 2016-04-28 2023-05-11 スノーフレーク インク． マルチクラスタウェアハウス
US11080207B2 (en) * 2016-06-07 2021-08-03 Qubole, Inc. Caching framework for big-data engines in the cloud
US11169982B2 (en) 2016-06-30 2021-11-09 Microsoft Technology Licensing, Llc Dynamic deactivation of cold database in database service
US11240305B2 (en) 2016-07-28 2022-02-01 At&T Intellectual Property I, L.P. Task allocation among devices in a distributed data storage system
CN106250566A (zh) * 2016-08-31 2016-12-21 天津南大通用数据技术股份有限公司 一种分布式数据库及其数据运算的管理方法
US20180060133A1 (en) 2016-09-01 2018-03-01 Amazon Technologies, Inc. Event-driven resource pool management
US10817540B2 (en) 2016-09-02 2020-10-27 Snowflake Inc. Incremental clustering maintenance of a table
US10606664B2 (en) 2016-09-07 2020-03-31 Qubole Inc. Heterogeneous auto-scaling big-data clusters in the cloud
US10795884B2 (en) 2016-09-26 2020-10-06 Splunk Inc. Dynamic resource allocation for common storage query
US11586627B2 (en) 2016-09-26 2023-02-21 Splunk Inc. Partitioning and reducing records at ingest of a worker node
US11550847B1 (en) 2016-09-26 2023-01-10 Splunk Inc. Hashing bucket identifiers to identify search nodes for efficient query execution
US11250056B1 (en) 2016-09-26 2022-02-15 Splunk Inc. Updating a location marker of an ingestion buffer based on storing buckets in a shared storage system
US11163758B2 (en) 2016-09-26 2021-11-02 Splunk Inc. External dataset capability compensation
US10984044B1 (en) 2016-09-26 2021-04-20 Splunk Inc. Identifying buckets for query execution using a catalog of buckets stored in a remote shared storage system
US11416528B2 (en) 2016-09-26 2022-08-16 Splunk Inc. Query acceleration data store
US11222066B1 (en) 2016-09-26 2022-01-11 Splunk Inc. Processing data using containerized state-free indexing nodes in a containerized scalable environment
US10977260B2 (en) 2016-09-26 2021-04-13 Splunk Inc. Task distribution in an execution node of a distributed execution environment
US11314753B2 (en) 2016-09-26 2022-04-26 Splunk Inc. Execution of a query received from a data intake and query system
US11023463B2 (en) 2016-09-26 2021-06-01 Splunk Inc. Converting and modifying a subquery for an external data system
US11562023B1 (en) 2016-09-26 2023-01-24 Splunk Inc. Merging buckets in a data intake and query system
US10353965B2 (en) 2016-09-26 2019-07-16 Splunk Inc. Data fabric service system architecture
US10956415B2 (en) 2016-09-26 2021-03-23 Splunk Inc. Generating a subquery for an external data system using a configuration file
US11615104B2 (en) 2016-09-26 2023-03-28 Splunk Inc. Subquery generation based on a data ingest estimate of an external data system
US11003714B1 (en) 2016-09-26 2021-05-11 Splunk Inc. Search node and bucket identification using a search node catalog and a data store catalog
US11599541B2 (en) 2016-09-26 2023-03-07 Splunk Inc. Determining records generated by a processing task of a query
US11294941B1 (en) 2016-09-26 2022-04-05 Splunk Inc. Message-based data ingestion to a data intake and query system
US10776355B1 (en) 2016-09-26 2020-09-15 Splunk Inc. Managing, storing, and caching query results and partial query results for combination with additional query results
US11580107B2 (en) 2016-09-26 2023-02-14 Splunk Inc. Bucket data distribution for exporting data to worker nodes
US11126632B2 (en) 2016-09-26 2021-09-21 Splunk Inc. Subquery generation based on search configuration data from an external data system
US20180089324A1 (en) 2016-09-26 2018-03-29 Splunk Inc. Dynamic resource allocation for real-time search
US11232100B2 (en) 2016-09-26 2022-01-25 Splunk Inc. Resource allocation for multiple datasets
US11593377B2 (en) 2016-09-26 2023-02-28 Splunk Inc. Assigning processing tasks in a data intake and query system
US11243963B2 (en) 2016-09-26 2022-02-08 Splunk Inc. Distributing partial results to worker nodes from an external data system
US11321321B2 (en) 2016-09-26 2022-05-03 Splunk Inc. Record expansion and reduction based on a processing task in a data intake and query system
US11461334B2 (en) 2016-09-26 2022-10-04 Splunk Inc. Data conditioning for dataset destination
US11620336B1 (en) 2016-09-26 2023-04-04 Splunk Inc. Managing and storing buckets to a remote shared storage system based on a collective bucket size
US11106734B1 (en) 2016-09-26 2021-08-31 Splunk Inc. Query execution using containerized state-free search nodes in a containerized scalable environment
US11663227B2 (en) 2016-09-26 2023-05-30 Splunk Inc. Generating a subquery for a distinct data intake and query system
US10726009B2 (en) * 2016-09-26 2020-07-28 Splunk Inc. Query processing using query-resource usage and node utilization data
US11281706B2 (en) 2016-09-26 2022-03-22 Splunk Inc. Multi-layer partition allocation for query execution
US11442935B2 (en) 2016-09-26 2022-09-13 Splunk Inc. Determining a record generation estimate of a processing task
US11567993B1 (en) 2016-09-26 2023-01-31 Splunk Inc. Copying buckets from a remote shared storage system to memory associated with a search node for query execution
US11874691B1 (en) 2016-09-26 2024-01-16 Splunk Inc. Managing efficient query execution including mapping of buckets to search nodes
US11269939B1 (en) 2016-09-26 2022-03-08 Splunk Inc. Iterative message-based data processing including streaming analytics
US11604795B2 (en) 2016-09-26 2023-03-14 Splunk Inc. Distributing partial results from an external data system between worker nodes
US11860940B1 (en) 2016-09-26 2024-01-02 Splunk Inc. Identifying buckets for query execution using a catalog of buckets
US10482098B2 (en) 2016-11-14 2019-11-19 Microsoft Technology Licensing, Llc Consuming streamed data records
US11003658B2 (en) * 2016-11-21 2021-05-11 International Business Machines Corporation Selectively retrieving data from remote share nothing computer clusters
US11106639B1 (en) 2016-12-05 2021-08-31 EMC IP Holding Company LLC Methods, systems, and computer readable mediums for performing metadata-driven data collection
US10592681B2 (en) 2017-01-10 2020-03-17 Snowflake Inc. Data sharing in a multi-tenant database system
EP3355225B1 (en) * 2017-01-31 2022-07-27 Sony Group Corporation Apparatus and method for providing a ethereum virtual device
CN108399102A (zh) * 2017-02-08 2018-08-14 阿里巴巴集团控股有限公司 一种资源分配方法和装置
US10725799B2 (en) * 2017-02-22 2020-07-28 Microsoft Technology Licensing, Llc Big data pipeline management within spreadsheet applications
US11157690B2 (en) 2017-02-22 2021-10-26 Microsoft Technology Licensing, Llc Techniques for asynchronous execution of computationally expensive local spreadsheet tasks
US10979328B2 (en) * 2017-03-31 2021-04-13 Intel Corporation Resource monitoring
US10733024B2 (en) 2017-05-24 2020-08-04 Qubole Inc. Task packing scheduling process for long running applications
US20180357328A1 (en) * 2017-06-09 2018-12-13 Linkedin Corporation Functional equivalence of tuples and edges in graph databases
US10671671B2 (en) 2017-06-09 2020-06-02 Microsoft Technology Licensing, Llc Supporting tuples in log-based representations of graph databases
US10445370B2 (en) 2017-06-09 2019-10-15 Microsoft Technology Licensing, Llc Compound indexes for graph databases
US11921672B2 (en) 2017-07-31 2024-03-05 Splunk Inc. Query execution at a remote heterogeneous data store of a data fabric service
US11113090B1 (en) 2017-08-09 2021-09-07 United Services Automobile Association (Usaa) Systems and methods for container management
US11249808B2 (en) * 2017-08-22 2022-02-15 Intel Corporation Connecting accelerator resources using a switch
CN107481006B (zh) * 2017-08-24 2020-06-26 维沃移动通信有限公司 一种资源转移方法、服务器及终端
CN107679096B (zh) * 2017-09-08 2020-06-05 北京京东尚科信息技术有限公司 数据集市间指标共享的方法和装置
US10896182B2 (en) 2017-09-25 2021-01-19 Splunk Inc. Multi-partitioning determination for combination operations
US11151137B2 (en) 2017-09-25 2021-10-19 Splunk Inc. Multi-partition operation in combination operations
CN109814861A (zh) * 2017-11-21 2019-05-28 海云数据 为终端用户提供能力的开放平台
US11228489B2 (en) 2018-01-23 2022-01-18 Qubole, Inc. System and methods for auto-tuning big data workloads on cloud platforms
EP3714367A4 (en) 2018-03-22 2021-01-20 Snowflake Inc. INCREMENTAL DEVELOPMENT OF FUNCTION AND CAPTURE OF WORKLOAD IN DATABASE SYSTEMS
TWI666901B (zh) * 2018-03-27 2019-07-21 緯穎科技服務股份有限公司 資料傳輸方法與使用此方法的主機系統
US11157497B1 (en) * 2018-04-30 2021-10-26 Splunk Inc. Dynamically assigning a search head and search nodes for a query
US11327992B1 (en) 2018-04-30 2022-05-10 Splunk Inc. Authenticating a user to access a data intake and query system
US11275733B1 (en) 2018-04-30 2022-03-15 Splunk Inc. Mapping search nodes to a search head using a tenant identifier
US11334543B1 (en) 2018-04-30 2022-05-17 Splunk Inc. Scalable bucket merging for a data intake and query system
US11892996B1 (en) 2019-07-16 2024-02-06 Splunk Inc. Identifying an indexing node to process data using a resource catalog
US11030204B2 (en) * 2018-05-23 2021-06-08 Microsoft Technology Licensing, Llc Scale out data storage and query filtering using data pools
US20190364109A1 (en) * 2018-05-23 2019-11-28 Microsoft Technology Licensing, Llc Scale out data storage and query filtering using storage pools
US20190362004A1 (en) * 2018-05-23 2019-11-28 Microsoft Technology Licensing, Llc Data platform fabric
US10949254B2 (en) * 2018-09-28 2021-03-16 Atlassian Pty Ltd. Systems and methods for scheduling tasks
US10339150B1 (en) 2018-10-04 2019-07-02 Capital One Services, Llc Scalable dynamic acronym decoder
CN109582858A (zh) * 2018-10-17 2019-04-05 北京邮电大学 一种可信的知识生态系统
KR102047233B1 (ko) * 2018-10-22 2019-11-21 강릉원주대학교산학협력단 이중 부하 분산을 이용한 메타데이터 검색 시스템 및 이중 부하 분산을 통한 데이터베이스 관리 방법
CN113228000A (zh) 2018-10-26 2021-08-06 斯诺弗雷克公司 物化视图的增量刷新
US11521089B2 (en) * 2018-11-29 2022-12-06 Sap Se In-database predictive pipeline incremental engine
CN109685375B (zh) * 2018-12-26 2020-10-30 重庆誉存大数据科技有限公司 一种基于半结构化文本数据的企业风险规则引擎运算方法
KR20200083048A (ko) * 2018-12-31 2020-07-08 삼성전자주식회사 폴링 시간을 예측하는 뉴럴 네트워크 시스템 및 이를 이용한 뉴럴 네트워크 모델 처리 방법
US11128701B1 (en) * 2019-03-28 2021-09-21 Amazon Technologies, Inc. Cooperative preemption in a distributed multi-tenant resource pool
US11194795B2 (en) * 2019-04-16 2021-12-07 Snowflake Inc. Automated maintenance of external tables in database systems
US11222022B2 (en) * 2019-04-17 2022-01-11 Verizon Patent And Licensing Inc. Method and system for searching a key-value storage
US11048423B2 (en) 2019-04-17 2021-06-29 Verizon Media Inc. Method and system for synchronizing requests related to key-value storage having different portions
WO2020220216A1 (en) 2019-04-29 2020-11-05 Splunk Inc. Search time estimate in data intake and query system
US11715051B1 (en) 2019-04-30 2023-08-01 Splunk Inc. Service provider instance recommendations using machine-learned classifications and reconciliation
US11144360B2 (en) 2019-05-31 2021-10-12 Qubole, Inc. System and method for scheduling and running interactive database queries with service level agreements in a multi-tenant processing system
US11704316B2 (en) 2019-05-31 2023-07-18 Qubole, Inc. Systems and methods for determining peak memory requirements in SQL processing engines with concurrent subtasks
US11556640B1 (en) * 2019-06-27 2023-01-17 Mandiant, Inc. Systems and methods for automated cybersecurity analysis of extracted binary string sets
US11270531B2 (en) * 2019-06-28 2022-03-08 GM Cruise Holdings, LLC Autonomous vehicle data management platform
US11416465B1 (en) 2019-07-16 2022-08-16 Splunk Inc. Processing data associated with different tenant identifiers
US11429604B2 (en) * 2019-09-10 2022-08-30 Oracle International Corporation Techniques of heterogeneous hardware execution for SQL analytic queries for high volume data processing
US10798100B1 (en) 2019-09-12 2020-10-06 Snowflake Inc. Managing membership in a private data exchange
US11334604B2 (en) 2019-09-12 2022-05-17 Snowflake Inc. Private data exchange
US11494380B2 (en) 2019-10-18 2022-11-08 Splunk Inc. Management of distributed computing framework components in a data fabric service system
US20210182070A1 (en) * 2019-12-11 2021-06-17 International Business Machines Corporation Explicit resource file to assign exact resources to job ranks
US11308090B2 (en) 2019-12-26 2022-04-19 Snowflake Inc. Pruning index to support semi-structured data types
US11567939B2 (en) 2019-12-26 2023-01-31 Snowflake Inc. Lazy reassembling of semi-structured data
US11275725B2 (en) * 2020-01-29 2022-03-15 Salesforce.Com, Inc. Transporting a database structure from a first version to a second version
US11922222B1 (en) 2020-01-30 2024-03-05 Splunk Inc. Generating a modified component for a data intake and query system using an isolated execution environment image
US11048716B1 (en) * 2020-01-31 2021-06-29 Snowflake Inc. Managed virtual warehouses for tasks
US11829415B1 (en) 2020-01-31 2023-11-28 Splunk Inc. Mapping buckets and search peers to a bucket map identifier for searching
CN111291231B (zh) * 2020-02-14 2023-09-15 支付宝(杭州)信息技术有限公司 数据处理结果的存储方法及其系统
US11580102B2 (en) * 2020-04-02 2023-02-14 Ocient Holdings LLC Implementing linear algebra functions via decentralized execution of query operator flows
US10860381B1 (en) 2020-05-14 2020-12-08 Snowflake Inc. Flexible computing
US11163768B1 (en) 2020-06-01 2021-11-02 Snowflake Inc. Checkpoints in batch file processing
US11347735B2 (en) * 2020-06-01 2022-05-31 Snowflake Inc. Scalable query processing
US10997286B1 (en) * 2020-06-02 2021-05-04 Snowflake Inc. Secure code execution in a database system
US11556636B2 (en) * 2020-06-30 2023-01-17 Microsoft Technology Licensing, Llc Malicious enterprise behavior detection tool
US11687497B2 (en) * 2020-07-21 2023-06-27 Akamai Technologies Inc. Learning-based storage reduction in an overlay network
CN111881123B (zh) * 2020-07-22 2022-04-22 北京浪潮数据技术有限公司 分布式系统之间的数据同步方法及系统
US11615082B1 (en) 2020-07-31 2023-03-28 Splunk Inc. Using a data store and message queue to ingest data for a data intake and query system
US11449371B1 (en) 2020-07-31 2022-09-20 Splunk Inc. Indexing data at a data intake and query system based on a node capacity threshold
CN112035516B (zh) * 2020-09-30 2023-08-18 北京百度网讯科技有限公司 用于算子服务的处理方法、装置、智能工作站和电子设备
US11609913B1 (en) 2020-10-16 2023-03-21 Splunk Inc. Reassigning data groups from backup to searching for a processing node
US11704313B1 (en) 2020-10-19 2023-07-18 Splunk Inc. Parallel branch operation using intermediary nodes
KR102360061B1 (ko) * 2020-11-17 2022-02-09 쿠팡 주식회사 데이터베이스 쿼리 효율 향상을 위한 시스템 및 방법.
CN112348444A (zh) * 2020-11-18 2021-02-09 关酢壬 一种基于互联网的物料仓库远程监控管理系统
CN113762865A (zh) * 2021-01-06 2021-12-07 北京京东乾石科技有限公司 一种库存信息处理方法和装置
CN112631527A (zh) * 2021-01-07 2021-04-09 上海明略人工智能(集团)有限公司 基于k8s多租户的Juypter Notebook代码远端存储方法及装置
US11138038B1 (en) * 2021-01-29 2021-10-05 Snowflake Inc. Adaptive freepool size prediction
US20220284056A1 (en) * 2021-03-05 2022-09-08 Oracle International Corporation Fast and memory efficient in-memory columnar graph updates while preserving analytical performance
US11354362B1 (en) 2021-05-06 2022-06-07 Workiva Inc. System and method for copying linked documents
CN113176878B (zh) * 2021-06-30 2021-10-08 深圳市维度数据科技股份有限公司 自动查询方法、装置和设备
CN113507464B (zh) * 2021-07-06 2023-10-13 深圳市吉芯微半导体有限公司 基于虚拟设备的数据访问方法、装置、设备及存储介质
US11914595B2 (en) 2021-07-13 2024-02-27 Capital One Services, Llc Virtual warehouse query monitoring and reporting
US11494413B1 (en) 2021-07-13 2022-11-08 Capital One Services, Llc Query alerts generation for virtual warehouse
US11669529B2 (en) * 2021-07-13 2023-06-06 Capital One Services, Llc Dynamic query allocation to virtual warehouses
US11809395B1 (en) 2021-07-15 2023-11-07 Splunk Inc. Load balancing, failover, and reliable delivery of data in a data intake and query system
CN113488180B (zh) * 2021-07-28 2023-07-18 中国医学科学院医学信息研究所 一种临床指南知识建模方法及系统
WO2023137444A2 (en) * 2022-01-14 2023-07-20 Sentinel Labs Israel Ltd. Systems and methods for data management and query optimization
US11621882B1 (en) * 2022-01-28 2023-04-04 United Services Automobile Association (Usaa) Automated remedial actions for service level objective thresholds
CN114511149B (zh) * 2022-02-16 2022-12-02 长沙祥云瑞风信息技术有限公司 一种分层分布式气象预测平台、方法、介质及设备
TWI820684B (zh) * 2022-04-21 2023-11-01 騰升科技股份有限公司 開放式倉儲生產系統及方法
CN114945026A (zh) * 2022-04-24 2022-08-26 网易（杭州）网络有限公司 数据处理方法、装置和系统
US11914637B2 (en) * 2022-07-25 2024-02-27 Sap Se Image scaling cloud database
US11947559B1 (en) 2022-10-10 2024-04-02 Bank Of America Corporation Dynamic schema identification to process incoming data feeds in a database system
CN116150093B (zh) * 2023-03-04 2023-11-03 北京大道云行科技有限公司 一种对象存储列举对象的实现方法及电子设备
CN116226095A (zh) * 2023-05-08 2023-06-06 中用科技有限公司 一种无共享架构数据库的存算分离系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090132541A1 (en) * 2007-11-19 2009-05-21 Eric Lawrence Barsness Managing database resources used for optimizing query execution on a parallel computer system
US20090182836A1 (en) * 2008-01-16 2009-07-16 Aviles Joaquin J System and method for populating a cache using behavioral adaptive policies
US20100031267A1 (en) * 2008-08-04 2010-02-04 Jan-Willem Maessen Distribution Data Structures for Locality-Guided Work Stealing
US20120005307A1 (en) * 2010-06-30 2012-01-05 Abhik Das Storage virtualization
US20120130949A1 (en) * 2010-11-22 2012-05-24 Bluearc Uk Limited File Cloning and De-Cloning in a Data Storage System
US20130205028A1 (en) * 2012-02-07 2013-08-08 Rackspace Us, Inc. Elastic, Massively Parallel Processing Data Warehouse

Family Cites Families (494)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3074210A (en) 1959-07-28 1963-01-22 Yates American Machine Co Combination sander
US4967341A (en) * 1986-02-14 1990-10-30 Hitachi, Ltd. Method and apparatus for processing data base
US5325509A (en) 1991-03-05 1994-06-28 Zitel Corporation Method of operating a cache memory including determining desirability of cache ahead or cache behind based on a number of available I/O operations
US5634125A (en) * 1993-09-02 1997-05-27 International Business Machines Corporation Selecting buckets for redistributing data between nodes in a parallel database in the quiescent mode
US5584024A (en) * 1994-03-24 1996-12-10 Software Ag Interactive database query system and method for prohibiting the selection of semantically incorrect query parameters
US5694593A (en) * 1994-10-05 1997-12-02 Northeastern University Distributed computer database system and method
JPH08339323A (ja) * 1995-06-12 1996-12-24 Mitsubishi Electric Corp データベース管理システムにおける分散データ管理方式
US5864842A (en) * 1995-10-23 1999-01-26 Ncr Corporation Optimization of SQL queries using hash star join operations
US5892945A (en) 1996-03-21 1999-04-06 Oracle Corporation Method and apparatus for distributing work granules among processes based on the location of data accessed in the work granules
US5787466A (en) 1996-05-01 1998-07-28 Sun Microsystems, Inc. Multi-tier cache and method for implementing such a system
DE19758466B4 (de) 1997-03-11 2007-10-04 Betriebsforschungsinstitut VDEh - Institut für angewandte Forschung GmbH Planheits-Regelungssystem für Metallband
FR2762110A1 (fr) * 1997-04-14 1998-10-16 Renishaw Plc Systeme formant capteur programmable
US5873074A (en) * 1997-04-18 1999-02-16 Informix Software, Inc. Applying distinct hash-join distributions of operators to both even and uneven database records
US6453334B1 (en) * 1997-06-16 2002-09-17 Streamtheory, Inc. Method and apparatus to allow remotely located computer programs and/or data to be accessed on a local computer in a secure, time-limited manner, with persistent caching
US6112198A (en) * 1997-06-30 2000-08-29 International Business Machines Corporation Optimization of data repartitioning during parallel query optimization
US6363411B1 (en) * 1998-08-05 2002-03-26 Mci Worldcom, Inc. Intelligent network
US7047300B1 (en) * 1998-02-10 2006-05-16 Sprint Communications Company L.P. Survivable and scalable data system and method for computer networks
US6209128B1 (en) * 1998-06-05 2001-03-27 International Business Machines Corporation Apparatus and method for providing access to multiple object versions
US6185557B1 (en) * 1998-07-31 2001-02-06 Unisys Corporation Merge join process
US6226639B1 (en) * 1998-09-22 2001-05-01 International Business Machines Corporation System and method for hybrid hash join using over-partitioning to respond to database query
JP4406944B2 (ja) * 1998-11-11 2010-02-03 株式会社日立製作所 計算機システム及び問合せに対する処理分散システム
US6338056B1 (en) * 1998-12-14 2002-01-08 International Business Machines Corporation Relational database extender that supports user-defined index types and user-defined search
US20020038308A1 (en) * 1999-05-27 2002-03-28 Michael Cappi System and method for creating a virtual data warehouse
JP2000348038A (ja) 1999-06-02 2000-12-15 Fujitsu Ltd 半構造データベースのためのデータ格納装置および方法
US6374235B1 (en) * 1999-06-25 2002-04-16 International Business Machines Corporation Method, system, and program for a join operation on a multi-column table and satellite tables including duplicate values
CA2279359C (en) * 1999-07-30 2012-10-23 Basantkumar John Oommen A method of generating attribute cardinality maps
US6597956B1 (en) * 1999-08-23 2003-07-22 Terraspring, Inc. Method and apparatus for controlling an extensible computing system
JP3463803B2 (ja) * 1999-11-09 2003-11-05 松下電器産業株式会社 クラスタサーバ装置
US6938256B2 (en) * 2000-01-18 2005-08-30 Galactic Computing Corporation System for balance distribution of requests across multiple servers using dynamic metrics
US6604100B1 (en) * 2000-02-09 2003-08-05 At&T Corp. Method for converting relational data into a structured document
US6490590B1 (en) 2000-02-14 2002-12-03 Ncr Corporation Method of generating a logical data model, physical data model, extraction routines and load routines
US6484186B1 (en) * 2000-02-15 2002-11-19 Novell, Inc. Method for backing up consistent versions of open files
US7124144B2 (en) 2000-03-02 2006-10-17 Actuate Corporation Method and apparatus for storing semi-structured data in a structured manner
US6618720B1 (en) * 2000-06-15 2003-09-09 Ncr Corporation Common spool files for maintaining join indexes
US6826564B2 (en) * 2000-07-10 2004-11-30 Fastforward Networks Scalable and programmable query distribution and collection in a network of queryable devices
JP2002132455A (ja) 2000-10-25 2002-05-10 Hitachi Ltd キャッシュマネジャー及びこれを含むコンピュータシステム
US6757689B2 (en) 2001-02-02 2004-06-29 Hewlett-Packard Development Company, L.P. Enabling a zero latency enterprise
US7418620B1 (en) 2001-02-16 2008-08-26 Swsoft Holdings, Ltd. Fault tolerant distributed storage method and controller using (N,K) algorithms
US6804677B2 (en) * 2001-02-26 2004-10-12 Ori Software Development Ltd. Encoding semi-structured data for efficient search and browsing
AU2002247257A1 (en) * 2001-03-02 2002-09-19 Kasenna, Inc. Metadata enabled push-pull model for efficient low-latency video-content distribution over a network
JP4129353B2 (ja) 2001-03-29 2008-08-06 株式会社東芝 分散データ管理システム、分散データ管理方法及び分散データ管理プログラム
US7085891B2 (en) * 2001-04-04 2006-08-01 International Business Machines Corporation Method for managing a cache memory using a predictive modeling engine to select a caching algorithm
US7085769B1 (en) * 2001-04-26 2006-08-01 Ncr Corporation Method and apparatus for performing hash join
US7797375B2 (en) * 2001-05-07 2010-09-14 International Business Machines Corporat System and method for responding to resource requests in distributed computer networks
US7092951B1 (en) * 2001-07-06 2006-08-15 Ncr Corporation Auxiliary relation for materialized view
US7363353B2 (en) * 2001-07-06 2008-04-22 Juniper Networks, Inc. Content service aggregation device for a data center
WO2003017136A1 (en) * 2001-08-16 2003-02-27 Etagon Israel Ltd. Using associative memory to perform database operations
US7499960B2 (en) * 2001-10-01 2009-03-03 Oracle International Corporation Adaptive memory allocation
US6954456B2 (en) * 2001-12-14 2005-10-11 At & T Corp. Method for content-aware redirection and content renaming
US7257597B1 (en) 2001-12-18 2007-08-14 Siebel Systems, Inc. Table substitution
US7188364B2 (en) 2001-12-20 2007-03-06 Cranite Systems, Inc. Personal virtual bridged local area networks
US7092954B1 (en) * 2001-12-31 2006-08-15 Ncr Corporation Optimizing an equi-join operation using a bitmap index structure
US7369984B2 (en) * 2002-02-01 2008-05-06 John Fairweather Platform-independent real-time interface translation by token mapping without modification of application code
US7266823B2 (en) 2002-02-21 2007-09-04 International Business Machines Corporation Apparatus and method of dynamically repartitioning a computer system in response to partition workloads
JP2003271429A (ja) 2002-03-15 2003-09-26 Hitachi Ltd 記憶装置資源管理方法、記憶資源管理プログラム、該プログラムを記録した記録媒体、及び記憶資源管理装置
US7149737B1 (en) * 2002-04-04 2006-12-12 Ncr Corp. Locking mechanism using a predefined lock for materialized views in a database system
US7617179B2 (en) * 2002-06-29 2009-11-10 Ianywhere Solutions, Inc. System and methodology for cost-based subquery optimization using a left-deep tree join enumeration algorithm
US7379990B2 (en) 2002-08-12 2008-05-27 Tsao Sheng Ted Tai Distributed virtual SAN
US6996556B2 (en) 2002-08-20 2006-02-07 International Business Machines Corporation Metadata manager for database query optimizer
WO2004027649A1 (en) * 2002-09-18 2004-04-01 Netezza Corporation Asymmetric streaming record data processor method and apparatus
JP2004126804A (ja) * 2002-09-30 2004-04-22 Just Syst Corp 文書管理方法および装置
DE20217309U1 (de) 2002-11-09 2003-01-30 Eichenauer Heizelemente Gmbh Heizkörper für gasförmige Medien
US6968335B2 (en) * 2002-11-14 2005-11-22 Sesint, Inc. Method and system for parallel processing of database queries
US7395536B2 (en) * 2002-11-14 2008-07-01 Sun Microsystems, Inc. System and method for submitting and performing computational tasks in a distributed heterogeneous networked environment
US7562090B2 (en) * 2002-12-19 2009-07-14 International Business Machines Corporation System and method for automating data partitioning in a parallel database
US8468227B2 (en) * 2002-12-31 2013-06-18 Motorola Solutions, Inc. System and method for rendering content on multiple devices
US20040181524A1 (en) * 2003-01-16 2004-09-16 Jardin Cary A. System and method for distributed processing in a node environment
US20040181522A1 (en) * 2003-01-16 2004-09-16 Jardin Cary A. Shared memory router system and method for node communication in a distributed system
US7490097B2 (en) 2003-02-20 2009-02-10 Microsoft Corporation Semi-structured data storage schema selection
JP2004252789A (ja) 2003-02-21 2004-09-09 Nippon Telegr & Teleph Corp <Ntt> 情報検索装置、情報検索方法、情報検索プログラム及びそのプログラムを記録した記録媒体
US7254636B1 (en) * 2003-03-14 2007-08-07 Cisco Technology, Inc. Method and apparatus for transparent distributed network-attached storage with web cache communication protocol/anycast and file handle redundancy
JP4313068B2 (ja) * 2003-03-28 2009-08-12 株式会社日立製作所 記憶装置のキャッシュ管理方法
US7111025B2 (en) * 2003-04-30 2006-09-19 International Business Machines Corporation Information retrieval system and method using index ANDing for improving performance
US7603464B2 (en) 2003-06-04 2009-10-13 Sony Computer Entertainment Inc. Method and system for identifying available resources in a peer-to-peer network
EP1634052A4 (en) 2003-06-06 2008-04-30 Univ Illinois DETECTION CHIP AND APPARATUS FOR TOUCH DETECTION AND / OR FLOW
US7280998B1 (en) 2003-07-28 2007-10-09 At&T Corp. Virtual data warehousing
JP2005056077A (ja) 2003-08-01 2005-03-03 Hitachi Ltd データベース制御方法
JP2005056085A (ja) * 2003-08-01 2005-03-03 Fujitsu Ltd データ構造変換プログラム
US7401104B2 (en) * 2003-08-21 2008-07-15 Microsoft Corporation Systems and methods for synchronizing computer systems through an intermediary file system share or device
US7349913B2 (en) * 2003-08-21 2008-03-25 Microsoft Corporation Storage platform for organizing, searching, and sharing data
WO2005029280A2 (en) * 2003-09-19 2005-03-31 Netezza Corporation Performing sequence analysis as a multipart plan storing intermediate results as a relation
US7555504B2 (en) * 2003-09-23 2009-06-30 Emc Corporation Maintenance of a file version set including read-only and read-write snapshot copies of a production file
US20050081210A1 (en) * 2003-09-25 2005-04-14 International Business Machines Corporation Dynamic adjustment of system resource allocation during query execution in a database management system
CN1898240B (zh) 2003-10-15 2011-08-03 Osi制药公司 咪唑并吡嗪类酪氨酸激酶抑制剂
US20050091231A1 (en) * 2003-10-24 2005-04-28 Shankar Pal System and method for storing and retrieving XML data encapsulated as an object in a database store
CN1543138B (zh) * 2003-11-04 2010-09-08 浙江大学 宽带adsl业务自动处理系统
US7380039B2 (en) * 2003-12-30 2008-05-27 3Tera, Inc. Apparatus, method and system for aggregrating computing resources
US20050198303A1 (en) * 2004-01-02 2005-09-08 Robert Knauerhase Dynamic virtual machine service provider allocation
US7562143B2 (en) * 2004-01-13 2009-07-14 International Business Machines Corporation Managing escalating resource needs within a grid environment
US7136973B2 (en) 2004-02-04 2006-11-14 Sandisk Corporation Dual media storage device
JP4247135B2 (ja) * 2004-02-10 2009-04-02 株式会社東芝 構造化文書記憶方法、構造化文書記憶装置、構造化文書検索方法
US7843906B1 (en) * 2004-02-13 2010-11-30 Habanero Holdings, Inc. Storage gateway initiator for fabric-backplane enterprise servers
US7818349B2 (en) * 2004-02-21 2010-10-19 Datallegro, Inc. Ultra-shared-nothing parallel database
US20050192937A1 (en) * 2004-02-26 2005-09-01 International Business Machines Corporation Dynamic query optimization
WO2005092032A2 (en) 2004-03-22 2005-10-06 Sliccware Corporation Secure virtual data warehousing system and method
JP4631301B2 (ja) * 2004-03-31 2011-02-16 株式会社日立製作所 記憶装置のキャッシュ管理方法
US20110145489A1 (en) * 2004-04-05 2011-06-16 Super Talent Electronics, Inc. Hybrid storage device
US8255388B1 (en) * 2004-04-30 2012-08-28 Teradata Us, Inc. Providing a progress indicator in a database system
US7644050B2 (en) * 2004-12-02 2010-01-05 International Business Machines Corporation Method and apparatus for annotation-based behavior extensions
US7395258B2 (en) * 2004-07-30 2008-07-01 International Business Machines Corporation System and method for adaptive database caching
WO2006026659A2 (en) 2004-08-31 2006-03-09 Ascential Software Corporation Services oriented architecture for data integration services
US7523098B2 (en) 2004-09-15 2009-04-21 International Business Machines Corporation Systems and methods for efficient data searching, storage and reduction
US20060074872A1 (en) 2004-09-30 2006-04-06 International Business Machines Corporation Adaptive database buffer memory management using dynamic SQL statement cache statistics
US7644083B1 (en) * 2004-09-30 2010-01-05 Teradata Us, Inc. Efficiently performing inequality joins
US7478080B2 (en) * 2004-09-30 2009-01-13 International Business Machines Corporation Canonical abstraction for outerjoin optimization
US20060090164A1 (en) * 2004-10-05 2006-04-27 Microsoft Corporation Object cloning for demand events
US7620953B1 (en) 2004-10-05 2009-11-17 Azul Systems, Inc. System and method for allocating resources of a core space among a plurality of core virtual machines
US7574424B2 (en) * 2004-10-13 2009-08-11 Sybase, Inc. Database system with methodology for parallel schedule generation in a query optimizer
US20060085451A1 (en) * 2004-10-15 2006-04-20 Microsoft Corporation Mapping of schema data into data structures
JP2006119745A (ja) * 2004-10-19 2006-05-11 Hitachi Ltd コンピュータシステム及びコンピュータシステムの制御方法
US8145642B2 (en) * 2004-11-30 2012-03-27 Oracle International Corporation Method and apparatus to support bitmap filtering in a parallel system
US7721292B2 (en) * 2004-12-16 2010-05-18 International Business Machines Corporation System for adjusting resource allocation to a logical partition based on rate of page swaps and utilization by changing a boot configuration file
US7415487B2 (en) * 2004-12-17 2008-08-19 Amazon Technologies, Inc. Apparatus and method for data warehousing
CN1622095A (zh) * 2004-12-27 2005-06-01 中国科学院软件研究所 可扩展标记语言文件存储及插入关系数据库表的方法
US7882100B2 (en) * 2005-01-24 2011-02-01 Sybase, Inc. Database system with methodology for generating bushy nested loop join trees
US8126870B2 (en) * 2005-03-28 2012-02-28 Sybase, Inc. System and methodology for parallel query optimization using semantic-based partitioning
US7512625B2 (en) * 2005-04-01 2009-03-31 International Business Machines Corporation Method, system and program for joining source table rows with target table rows
US7640230B2 (en) * 2005-04-05 2009-12-29 Microsoft Corporation Query plan selection control using run-time association mechanism
JP4839706B2 (ja) * 2005-07-12 2011-12-21 株式会社日立製作所 データベース管理システムのインデックス運用方法
US20070033247A1 (en) * 2005-08-02 2007-02-08 The Mathworks, Inc. Methods and system for distributing data to technical computing workers
US7475056B2 (en) * 2005-08-11 2009-01-06 Oracle International Corporation Query processing in a parallel single cursor model on multi-instance configurations, using hints
US20090234711A1 (en) * 2005-09-14 2009-09-17 Jorey Ramer Aggregation of behavioral profile data using a monetization platform
US20070067274A1 (en) * 2005-09-16 2007-03-22 International Business Machines Corporation Hybrid push-down/pull-up of unions with expensive operations in a federated query processor
US7814091B2 (en) * 2005-09-27 2010-10-12 Oracle International Corporation Multi-tiered query processing techniques for minus and intersect operators
US7870288B2 (en) * 2005-10-28 2011-01-11 Yahoo! Inc. Sharing data in scalable software blade architecture
JP4795778B2 (ja) 2005-11-07 2011-10-19 株式会社東芝 データ管理装置、データ管理方法およびプログラム
US20070124274A1 (en) * 2005-11-30 2007-05-31 International Business Machines Corporation Apparatus and method for autonomic adjustment of resources in a logical partition to improve partitioned query performance
US7921132B2 (en) 2005-12-19 2011-04-05 Yahoo! Inc. System for query processing of column chunks in a distributed column chunk data store
US8073929B2 (en) * 2005-12-29 2011-12-06 Panasonic Electric Works Co., Ltd. Systems and methods for managing a provider's online status in a distributed network
US20070174290A1 (en) * 2006-01-19 2007-07-26 International Business Machines Corporation System and architecture for enterprise-scale, parallel data mining
US20070174429A1 (en) 2006-01-24 2007-07-26 Citrix Systems, Inc. Methods and servers for establishing a connection between a client system and a virtual machine hosting a requested computing environment
US7716238B2 (en) 2006-02-15 2010-05-11 Sony Computer Entertainment America Inc. Systems and methods for server management
US9229967B2 (en) * 2006-02-22 2016-01-05 Oracle International Corporation Efficient processing of path related operations on data organized hierarchically in an RDBMS
WO2007099273A1 (en) 2006-03-03 2007-09-07 Arm Limited Monitoring values of signals within an integrated circuit
US20070294692A1 (en) * 2006-06-16 2007-12-20 Microsoft Corporation Task Assignment Among Multiple Devices
US20080005486A1 (en) * 2006-06-29 2008-01-03 Mannava Phanindra K Coordination of snoop responses in a multi-processor system
US8359297B2 (en) 2006-06-29 2013-01-22 International Business Machines Corporation Multiple source data management using a conflict rule
US8074210B1 (en) * 2006-06-29 2011-12-06 Xilinx, Inc. Method and apparatus for producing optimized matrix triangulation routines
US7730119B2 (en) * 2006-07-21 2010-06-01 Sony Computer Entertainment Inc. Sub-task processor distribution scheduling
US7624118B2 (en) * 2006-07-26 2009-11-24 Microsoft Corporation Data processing over very large databases
US7991800B2 (en) 2006-07-28 2011-08-02 Aprimo Incorporated Object oriented system and method for optimizing the execution of marketing segmentations
US20080082644A1 (en) * 2006-09-29 2008-04-03 Microsoft Corporation Distributed parallel computing
US20080091806A1 (en) * 2006-10-11 2008-04-17 Jinmei Shen Dynamic On-Demand Clustering
US8589550B1 (en) * 2006-10-23 2013-11-19 Emc Corporation Asymmetric data storage system for high performance and grid computing
US8185893B2 (en) * 2006-10-27 2012-05-22 Hewlett-Packard Development Company, L.P. Starting up at least one virtual machine in a physical machine by a load balancer
JP4571609B2 (ja) * 2006-11-08 2010-10-27 株式会社日立製作所 リソース割当方法、リソース割当プログラム、および、管理コンピュータ
EP2092419B1 (en) * 2006-11-13 2020-01-01 IP Reservoir, LLC Method and system for high performance data metatagging and data indexing using coprocessors
US7844608B2 (en) * 2006-12-15 2010-11-30 Yahoo! Inc. Clustered query support for a database query engine
EP2114615A1 (de) 2007-02-06 2009-11-11 Siemens Aktiengesellschaft Lotzusammensetzung und hartlötverfahren für superlegierungen
US7657572B2 (en) 2007-03-06 2010-02-02 Microsoft Corporation Selectively utilizing a plurality of disparate solid state storage locations
US20080242315A1 (en) * 2007-03-27 2008-10-02 Gm Global Technology Operations, Inc. Traffic data collection utilizing a cellular communication network and probe units
US20080256549A1 (en) * 2007-04-10 2008-10-16 International Business Machines Corporation System and Method of Planning for Cooperative Information Processing
US8892624B2 (en) * 2007-04-10 2014-11-18 International Business Machines Corporation Method for the interoperation of virtual organizations
US7716183B2 (en) * 2007-04-11 2010-05-11 Dot Hill Systems Corporation Snapshot preserved data cloning
US8706914B2 (en) 2007-04-23 2014-04-22 David D. Duchesneau Computing infrastructure
US8015180B2 (en) * 2007-05-18 2011-09-06 Oracle International Corp. Queries with hard time constraints
CN101093559B (zh) * 2007-06-12 2010-06-23 北京科技大学 一种基于知识发现的专家系统构造方法
US8819080B2 (en) * 2007-06-13 2014-08-26 The Boeing Company System and method for collection, retrieval, and distribution of data
JP5011006B2 (ja) 2007-07-03 2012-08-29 株式会社日立製作所 リソース割当方法、リソース割当プログラム、および、リソース割当装置
US7788233B1 (en) * 2007-07-05 2010-08-31 Amazon Technologies, Inc. Data store replication for entity based partition
US20090010326A1 (en) * 2007-07-05 2009-01-08 Andreas Rossholm Method and apparatus for parallel video decoding
US20090019103A1 (en) * 2007-07-11 2009-01-15 James Joseph Tommaney Method and system for processing a database query
US7984043B1 (en) * 2007-07-24 2011-07-19 Amazon Technologies, Inc. System and method for distributed query processing using configuration-independent query plans
US7966343B2 (en) 2008-04-07 2011-06-21 Teradata Us, Inc. Accessing data in a column store database based on hardware compatible data structures
US8862625B2 (en) 2008-04-07 2014-10-14 Teradata Us, Inc. Accessing data in a column store database based on hardware compatible indexing and replicated reordered columns
US9424315B2 (en) * 2007-08-27 2016-08-23 Teradata Us, Inc. Methods and systems for run-time scheduling database operations that are executed in hardware
JP5196924B2 (ja) * 2007-09-11 2013-05-15 株式会社東芝 データベース処理装置、方法及びプログラム
US8041773B2 (en) * 2007-09-24 2011-10-18 The Research Foundation Of State University Of New York Automatic clustering for self-organizing grids
EP2056562B1 (en) * 2007-11-02 2016-09-07 Alcatel Lucent Resilient service quality in a managed multimedia delivery network
US20090150511A1 (en) * 2007-11-08 2009-06-11 Rna Networks, Inc. Network with distributed shared memory
US8392404B2 (en) * 2007-11-19 2013-03-05 Teradata Us, Inc. Dynamic query and step routing between systems tuned for different objectives
CN101453398A (zh) * 2007-12-06 2009-06-10 怀特威盛软件公司 一种新型分布式网格超级计算系统及方法
US8150850B2 (en) * 2008-01-07 2012-04-03 Akiban Technologies, Inc. Multiple dimensioned database architecture
US7925656B2 (en) * 2008-03-07 2011-04-12 International Business Machines Corporation Node level hash join for evaluating a query
US8386540B1 (en) * 2008-03-31 2013-02-26 Amazon Technologies, Inc. Scalable relational database service
EP2112799A1 (en) * 2008-04-25 2009-10-28 Koninklijke KPN N.V. Service integrity handling in an IMS-based system
US7930322B2 (en) 2008-05-27 2011-04-19 Microsoft Corporation Text based schema discovery and information extraction
US8073840B2 (en) * 2008-06-17 2011-12-06 Attivio, Inc. Querying joined data within a search engine index
US20100011368A1 (en) * 2008-07-09 2010-01-14 Hiroshi Arakawa Methods, systems and programs for partitioned storage resources and services in dynamically reorganized storage platforms
US8214329B2 (en) 2008-08-26 2012-07-03 Zeewise, Inc. Remote data collection systems and methods
US8032707B2 (en) 2008-09-15 2011-10-04 Microsoft Corporation Managing cache data and metadata
US8145806B2 (en) * 2008-09-19 2012-03-27 Oracle International Corporation Storage-side storage request management
CN101685449B (zh) * 2008-09-26 2012-07-11 国际商业机器公司 一种用于连接多个异构分布式数据库中的表的方法和系统
US7738454B1 (en) 2008-09-30 2010-06-15 Juniper Networks, Inc. Methods and apparatus related to packet classification based on range values
US9069613B2 (en) * 2008-09-30 2015-06-30 Hewlett-Packard Development Company, L.P. Processing batch database workload while avoiding overload
US20100082599A1 (en) * 2008-09-30 2010-04-01 Goetz Graefe Characterizing Queries To Predict Execution In A Database
US8505015B2 (en) 2008-10-29 2013-08-06 Teradata Us, Inc. Placing a group work item into every prioritized work queue of multiple parallel processing units based on preferred placement of the work queues
US8566821B2 (en) * 2008-11-11 2013-10-22 Netapp Inc. Cloning virtual machines
US8214352B2 (en) * 2008-11-26 2012-07-03 Hewlett-Packard Development Company Modular query optimizer
JP4688111B2 (ja) * 2008-11-28 2011-05-25 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報処理装置、データベース・システム、情報処理方法、およびプログラム
US8762367B2 (en) 2008-12-08 2014-06-24 Teradata Us, Inc. Accurate and timely enforcement of system resource allocation rules
JP5257843B2 (ja) 2008-12-12 2013-08-07 日本電気株式会社 分散キャッシュシステム、方法、プログラム、及び計算ノード
US8099411B2 (en) * 2008-12-15 2012-01-17 Teradata Us, Inc. System, method, and computer-readable medium for applying conditional resource throttles to facilitate workload management in a database system
US8301650B1 (en) 2008-12-19 2012-10-30 Google, Inc. Bloom filter compaction
JP5273718B2 (ja) 2008-12-22 2013-08-28 花王株式会社 電子写真用トナーの製造方法
US8762642B2 (en) 2009-01-30 2014-06-24 Twinstrata Inc System and method for secure and reliable multi-cloud data replication
US8666966B2 (en) * 2009-01-30 2014-03-04 Hewlett-Packard Development Company, L.P. Providing parallel result streams for database queries
US8055651B2 (en) * 2009-02-10 2011-11-08 International Business Machines Corporation Distribution of join operations on a multi-node computer system
US20100220622A1 (en) * 2009-02-27 2010-09-02 Yottaa Inc Adaptive network with automatic scaling
WO2010102084A2 (en) * 2009-03-05 2010-09-10 Coach Wei System and method for performance acceleration, data protection, disaster recovery and on-demand scaling of computer applications
JP5262864B2 (ja) * 2009-03-10 2013-08-14 富士通株式会社 記憶媒体、検索方法および検索装置
US9207984B2 (en) * 2009-03-31 2015-12-08 Amazon Technologies, Inc. Monitoring and automatic scaling of data volumes
US10163140B2 (en) 2009-04-10 2018-12-25 Shipwire, Inc. Online merchants to third party warehouse providers broker and order fulfillment system
US20100274750A1 (en) 2009-04-22 2010-10-28 Microsoft Corporation Data Classification Pipeline Including Automatic Classification Rules
US8290972B1 (en) 2009-04-29 2012-10-16 Netapp, Inc. System and method for storing and accessing data using a plurality of probabilistic data structures
WO2010127365A1 (en) * 2009-05-01 2010-11-04 Citrix Systems, Inc. Systems and methods for establishing a cloud bridge between virtual storage resources
US8161244B2 (en) * 2009-05-13 2012-04-17 Microsoft Corporation Multiple cache directories
US8577892B2 (en) * 2009-06-05 2013-11-05 Microsoft Corporation Utilizing affinity groups to allocate data items and computing resources
US9852011B1 (en) * 2009-06-26 2017-12-26 Turbonomic, Inc. Managing resources in virtualization systems
US8458799B2 (en) * 2009-06-30 2013-06-04 Nokia Corporation Method and apparatus for providing a scalable service platform using a network cache
US9836504B2 (en) * 2009-06-30 2017-12-05 Hewlett Packard Enterprise Development Lp Query progress estimation based on processed value packets
US20100332401A1 (en) * 2009-06-30 2010-12-30 Anand Prahlad Performing data storage operations with a cloud storage environment, including automatically selecting among multiple cloud storage sites
US8352945B2 (en) * 2009-08-11 2013-01-08 International Business Machines Corporation System, method, and apparatus for scan-sharing for business intelligence queries in an in-memory database
JP5440067B2 (ja) * 2009-09-18 2014-03-12 富士通株式会社 キャッシュメモリ制御装置およびキャッシュメモリ制御方法
US8706715B2 (en) 2009-10-05 2014-04-22 Salesforce.Com, Inc. Methods and systems for joining indexes for query optimization in a multi-tenant database
US8620903B2 (en) * 2009-11-04 2013-12-31 Nec Laboratories America, Inc. Database distribution system and methods for scale-out applications
KR101876470B1 (ko) 2009-11-06 2018-07-10 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치
US8688683B2 (en) * 2009-11-30 2014-04-01 Business Objects Software Ltd. Query plan reformulation
US8495250B2 (en) 2009-12-16 2013-07-23 International Business Machines Corporation Asynchronous file operations in a scalable multi-node file system cache for a remote cluster file system
US8458239B2 (en) 2009-12-16 2013-06-04 International Business Machines Corporation Directory traversal in a scalable multi-node file system cache for a remote cluster file system
US8200812B2 (en) 2009-12-31 2012-06-12 International Business Machines Corporation Reducing workload on a backend system using client side request throttling
US8631403B2 (en) * 2010-01-04 2014-01-14 Vmware, Inc. Method and system for managing tasks by dynamically scaling centralized virtual center in virtual infrastructure
US20110167033A1 (en) * 2010-01-05 2011-07-07 Strelitz David Allocating resources in a data warehouse
US8260768B2 (en) * 2010-01-29 2012-09-04 Hewlett-Packard Development Company, L.P. Transformation of directed acyclic graph query plans to linear query plans
US8621145B1 (en) 2010-01-29 2013-12-31 Netapp, Inc. Concurrent content management and wear optimization for a non-volatile solid-state cache
US9058334B2 (en) * 2010-02-11 2015-06-16 Emc Corporation Parallel file system processing
US8464255B2 (en) * 2010-03-12 2013-06-11 Microsoft Corporation Managing performance interference effects on cloud computing servers
US8458191B2 (en) 2010-03-15 2013-06-04 International Business Machines Corporation Method and system to store RDF data in a relational store
US8996563B2 (en) 2010-04-06 2015-03-31 Tokutek, Inc. High-performance streaming dictionary
US8949834B2 (en) * 2010-04-07 2015-02-03 Yahoo! Inc. Modeling and scheduling asynchronous incremental workflows
US8572612B2 (en) * 2010-04-14 2013-10-29 International Business Machines Corporation Autonomic scaling of virtual machines in a cloud computing environment
US8341363B2 (en) 2010-05-03 2012-12-25 Panzura, Inc. Efficient cloud network attached storage
US8799413B2 (en) 2010-05-03 2014-08-05 Panzura, Inc. Distributing data for a distributed filesystem across multiple cloud storage systems
US9852150B2 (en) * 2010-05-03 2017-12-26 Panzura, Inc. Avoiding client timeouts in a distributed filesystem
US8630165B2 (en) * 2010-05-10 2014-01-14 Robert Robinson Scalable reliable failover in a network
CN102243629B (zh) * 2010-05-12 2013-02-27 北京安华金和科技有限公司 一种基于多级视图和触发器的数据库透明加解密方法
US8732473B2 (en) * 2010-06-01 2014-05-20 Microsoft Corporation Claim based content reputation service
US8874853B2 (en) * 2010-06-04 2014-10-28 International Business Machines Corporation Local and global memory request predictor
US8935232B2 (en) * 2010-06-04 2015-01-13 Yale University Query execution systems and methods
JP5332065B2 (ja) 2010-06-11 2013-11-06 株式会社日立製作所 クラスタ構成管理方法、管理装置及びプログラム
US20110314001A1 (en) * 2010-06-18 2011-12-22 Microsoft Corporation Performing query expansion based upon statistical analysis of structured data
US8898324B2 (en) * 2010-06-24 2014-11-25 International Business Machines Corporation Data access management in a hybrid memory server
US9075665B2 (en) * 2010-06-29 2015-07-07 International Business Machines Corporation Smoothing peak system load via behavior prediction in collaborative systems with temporal data access patterns
US8381015B2 (en) 2010-06-30 2013-02-19 International Business Machines Corporation Fault tolerance for map/reduce computing
TWI480738B (zh) 2010-07-01 2015-04-11 Neodana Inc 藉由最佳化叢集特定組態之使用的處理種類來分割叢集間之處理
US9298768B2 (en) * 2010-07-21 2016-03-29 Sqream Technologies Ltd System and method for the parallel execution of database queries over CPUs and multi core processors
CN101916261B (zh) 2010-07-28 2013-07-17 北京播思软件技术有限公司 一种分布式并行数据库系统的数据分区方法
JP5556498B2 (ja) 2010-08-17 2014-07-23 富士通株式会社 管理装置，ファイルサーバシステム，処理方法及び管理プログラム
US8290936B2 (en) * 2010-08-17 2012-10-16 International Business Machines Corporation Executing a query plan with display of intermediate results
US8832130B2 (en) * 2010-08-19 2014-09-09 Infosys Limited System and method for implementing on demand cloud database
US8775425B2 (en) * 2010-08-24 2014-07-08 International Business Machines Corporation Systems and methods for massive structured data management over cloud aware distributed file system
US8640137B1 (en) 2010-08-30 2014-01-28 Adobe Systems Incorporated Methods and apparatus for resource management in cluster computing
US20120059817A1 (en) * 2010-09-07 2012-03-08 Teradata Us, Inc. Method for increasing the efficiency of synchronized scans through intelligent query dispatching
US8428087B1 (en) 2010-09-17 2013-04-23 Amazon Technologies, Inc. Framework for stateless packet tunneling
US8661120B2 (en) * 2010-09-21 2014-02-25 Amazon Technologies, Inc. Methods and systems for dynamically managing requests for computing capacity
US9705730B1 (en) * 2013-05-07 2017-07-11 Axcient, Inc. Cloud storage using Merkle trees
EP2442228A1 (en) * 2010-10-13 2012-04-18 Thomas Lippert A computer cluster arrangement for processing a computaton task and method for operation thereof
US9483313B2 (en) * 2010-10-19 2016-11-01 Microsoft Technology Licensing, Llc Availability management for reference data services
US20120101860A1 (en) 2010-10-25 2012-04-26 Ezzat Ahmed K Providing business intelligence
US20120036146A1 (en) * 2010-10-26 2012-02-09 ParElastic Corporation Apparatus for elastic database processing with heterogeneous data
US9645839B2 (en) 2010-10-27 2017-05-09 Microsoft Technology Licensing, Llc Stateful applications operating in a stateless cloud computing environment
US20120109868A1 (en) * 2010-11-01 2012-05-03 Microsoft Corporation Real-Time Adaptive Output
US9253016B2 (en) * 2010-11-02 2016-02-02 International Business Machines Corporation Management of a data network of a computing environment
US20140332328A1 (en) 2010-11-05 2014-11-13 Brian F. Albert Railroad car hand brake release system
US20130232133A1 (en) * 2010-12-03 2013-09-05 Awny K. Al-omari Systems and methods for performing a nested join operation
US9058211B2 (en) * 2010-12-09 2015-06-16 Verizon Patent And Licensing Inc. Pre-validation in a computing on demand system
JP5659757B2 (ja) * 2010-12-09 2015-01-28 日本電気株式会社 分散データベース管理システム、分散データベース管理方法
US8560887B2 (en) 2010-12-09 2013-10-15 International Business Machines Corporation Adding scalability and fault tolerance to generic finite state machine frameworks for use in automated incident management of cloud computing infrastructures
US20120151479A1 (en) 2010-12-10 2012-06-14 Salesforce.Com, Inc. Horizontal splitting of tasks within a homogenous pool of virtual machines
US20120158650A1 (en) * 2010-12-16 2012-06-21 Sybase, Inc. Distributed data cache database architecture
US9395957B2 (en) 2010-12-22 2016-07-19 Microsoft Technology Licensing, Llc Agile communication operator
US8478743B2 (en) * 2010-12-23 2013-07-02 Microsoft Corporation Asynchronous transfer of state information between continuous query plans
KR101473317B1 (ko) * 2010-12-23 2014-12-17 주식회사 케이티 클라우드 컴퓨팅 시스템 및 클라우드 컴퓨팅 시스템에서의 트래픽 분산 방법 및 제어 방법
CN102567378A (zh) * 2010-12-28 2012-07-11 上海杉达学院 基于异构数据的信息检索系统
US8527497B2 (en) 2010-12-30 2013-09-03 Facebook, Inc. Composite term index for graph data
CN103827723B (zh) * 2011-01-10 2016-03-02 斯托尔万有限公司 大规模存储系统
US8768878B2 (en) * 2011-01-21 2014-07-01 International Business Machines Corporation Characterizing business intelligence workloads
US8538954B2 (en) * 2011-01-25 2013-09-17 Hewlett-Packard Development Company, L.P. Aggregate function partitions for distributed processing
US8886742B2 (en) * 2011-01-28 2014-11-11 Level 3 Communications, Llc Content delivery network with deep caching infrastructure
US20120204187A1 (en) 2011-02-08 2012-08-09 International Business Machines Corporation Hybrid Cloud Workload Management
US8516355B2 (en) 2011-02-16 2013-08-20 Invensys Systems, Inc. System and method for fault tolerant computing using generic hardware
US20120233315A1 (en) 2011-03-11 2012-09-13 Hoffman Jason A Systems and methods for sizing resources in a cloud-based environment
US20130311454A1 (en) * 2011-03-17 2013-11-21 Ahmed K. Ezzat Data source analytics
CN102693168B (zh) 2011-03-22 2014-12-31 中兴通讯股份有限公司 一种数据备份恢复的方法、系统和服务节点
JP2012198843A (ja) 2011-03-23 2012-10-18 Fuji Xerox Co Ltd 仮想サーバ調整システム、仮想サーバ制御装置及びプログラム
US9292523B1 (en) * 2011-03-23 2016-03-22 Emc Corporation Managing data storage
US8983960B1 (en) * 2011-03-28 2015-03-17 Google Inc. Opportunistic job processing
JP5843459B2 (ja) * 2011-03-30 2016-01-13 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 情報処理システム、情報処理装置、スケーリング方法、プログラムおよび記録媒体
US8789062B2 (en) * 2011-04-05 2014-07-22 Teradata Us, Inc. Workload management of a concurrently accessed database server
US8806159B2 (en) 2011-04-08 2014-08-12 Symantec Corporation Data storage resource management systems and methods
JP5939740B2 (ja) 2011-04-11 2016-06-22 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 動的にリソースを割り当てる方法、システム及びプログラム
US20120265881A1 (en) * 2011-04-14 2012-10-18 Yuan Chen Provisioning data center resources
US20120284307A1 (en) 2011-05-06 2012-11-08 Gopogo, Llc String Searching Systems and Methods Thereof
CN102779114B (zh) * 2011-05-12 2018-06-29 商业对象软件有限公司 利用自动规则生成的非结构化数据支持
EP2710510A4 (en) 2011-05-14 2015-05-06 Bitcasa Inc CLOUD FILE SYSTEM WITH SERVER DEPLOYMENT OF USER UNKNOWN ENCRYPTED FILES
JP5610227B2 (ja) 2011-05-18 2014-10-22 株式会社日立製作所 計算機及び識別子管理方法
EP2710497B1 (en) 2011-05-19 2019-01-23 Oracle International Corporation Techniques for automatic data placement with compression and columnar storage
US20120303633A1 (en) * 2011-05-26 2012-11-29 International Business Machines Corporation Systems and methods for querying column oriented databases
US10380269B2 (en) * 2011-06-07 2019-08-13 Entit Software Llc Sideways information passing
JP5508346B2 (ja) * 2011-06-13 2014-05-28 日本電信電話株式会社 分散データ管理システム、分散データ管理方法及び分散データ管理プログラム
US20120323971A1 (en) 2011-06-14 2012-12-20 Sybase, Inc. Optimizing data storage and access of an in-memory database
US20120324456A1 (en) * 2011-06-16 2012-12-20 Microsoft Corporation Managing nodes in a high-performance computing system using a node registrar
US9027022B2 (en) * 2011-06-16 2015-05-05 Argyle Data, Inc. Software virtual machine for acceleration of transactional data processing
US8725875B2 (en) 2011-06-21 2014-05-13 Intel Corporation Native cloud computing via network segmentation
US9450838B2 (en) * 2011-06-27 2016-09-20 Microsoft Technology Licensing, Llc Resource management for cloud computing platforms
US8997107B2 (en) 2011-06-28 2015-03-31 Microsoft Technology Licensing, Llc Elastic scaling for cloud-hosted batch applications
WO2013006157A1 (en) 2011-07-01 2013-01-10 Hewlett-Packard Development Company, L.P. Method of and system for managing computing resources
CN102868542B (zh) * 2011-07-04 2018-02-16 中兴通讯股份有限公司 一种服务分发网络中服务质量的控制方法及系统
WO2013009503A2 (en) * 2011-07-08 2013-01-17 Yale University Query execution systems and methods
US20130013585A1 (en) * 2011-07-08 2013-01-10 Goetz Graefe Hash join and hash aggregation integration system
US10291721B2 (en) * 2011-07-15 2019-05-14 Vmware, Inc. Remote document signing
US8635411B2 (en) * 2011-07-18 2014-01-21 Arm Limited Data processing apparatus and method for managing coherency of cached data
US8676951B2 (en) 2011-07-27 2014-03-18 Hitachi, Ltd. Traffic reduction method for distributed key-value store
EP2740041B1 (en) 2011-08-02 2019-10-23 Jadhav, Ajay Cloud-based distributed persistence and cache data model
CN102742251A (zh) * 2011-08-11 2012-10-17 华为技术有限公司 一种实现对称多处理系统的节点聚合系统
US8682860B2 (en) * 2011-08-12 2014-03-25 Splunk Inc. Data volume management
JP5342615B2 (ja) 2011-08-15 2013-11-13 株式会社日立システムズ 仮想サーバ制御システム及びプログラム
US8631131B2 (en) * 2011-09-07 2014-01-14 Red Hat Israel, Ltd. Virtual machine pool cache
US9298773B2 (en) * 2011-09-12 2016-03-29 Hewlett Packard Enterprise Development Lp Nested complex sequence pattern queries over event streams
US9043310B2 (en) * 2011-11-08 2015-05-26 International Business Machines Corporation Accessing a dimensional data model when processing a query
ES2427645B1 (es) 2011-11-15 2014-09-02 Telefónica, S.A. Método para gestionar el rendimiento en aplicaciones de múltiples capas implantadas en una infraestructura de tecnología de información
US20130124545A1 (en) 2011-11-15 2013-05-16 Business Objects Software Limited System and method implementing a text analysis repository
WO2013072959A1 (en) * 2011-11-15 2013-05-23 Hitachi, Ltd. Computer system and data migration method
US8812895B2 (en) * 2011-11-21 2014-08-19 Verizon Patent And Licensing Inc. System redundancy and site recovery
US9122535B2 (en) 2011-11-22 2015-09-01 Netapp, Inc. Optimizing distributed data analytics for shared storage
US9483491B2 (en) 2011-11-29 2016-11-01 Egnyte, Inc. Flexible permission management framework for cloud attached file systems
CN102496060A (zh) 2011-12-07 2012-06-13 高汉中 基于神经网络的云端智能机系统
US8824787B2 (en) 2011-12-07 2014-09-02 Dunlop Sports Co., Ltd. Silhouette correction method and system and silhouette extraction method and system
TWI461929B (zh) 2011-12-09 2014-11-21 Promise Tecnnology Inc 雲端數據儲存系統
KR101563277B1 (ko) 2011-12-09 2015-10-26 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 게임 컨텐트 데이터의 예측적 캐싱
WO2013096887A1 (en) 2011-12-23 2013-06-27 Amiato, Inc. Scalable analysis platform for semi-structured data
US8938475B2 (en) * 2011-12-27 2015-01-20 Sap Se Managing business objects data sources
US9110947B1 (en) * 2011-12-30 2015-08-18 Teradata Us, Inc. Column-oriented task execution in a row-partitioned database system
US8756609B2 (en) 2011-12-30 2014-06-17 International Business Machines Corporation Dynamically scaling multi-tier applications vertically and horizontally in a cloud environment
US8904008B2 (en) 2012-01-09 2014-12-02 Microsoft Corporation Assignment of resources in virtual machine pools
US20130185729A1 (en) 2012-01-13 2013-07-18 Rutgers, The State University Of New Jersey Accelerating resource allocation in virtualized environments using workload classes and/or workload signatures
US8732118B1 (en) * 2012-01-13 2014-05-20 Amazon Technologies, Inc. Distributed performance of data aggregation operations
US9009319B2 (en) * 2012-01-18 2015-04-14 Rackspace Us, Inc. Optimizing allocation of on-demand resources using performance
US9239851B1 (en) * 2012-07-12 2016-01-19 Cross Commerce Media, Inc. Advanced database systems and methods
US9116812B2 (en) * 2012-01-27 2015-08-25 Intelligent Intellectual Property Holdings 2 Llc Systems and methods for a de-duplication cache
JP5817558B2 (ja) 2012-01-27 2015-11-18 富士通株式会社 情報処理装置、分散処理システム、キャッシュ管理プログラムおよび分散処理方法
KR101629879B1 (ko) 2012-02-06 2016-06-13 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 캐시 사용 기반 어댑티브 스케줄링을 가지는 멀티코어 컴퓨터 시스템
US8553552B2 (en) * 2012-02-08 2013-10-08 Radisys Corporation Stateless load balancer in a multi-node system for transparent processing with packet preservation
US20130218837A1 (en) 2012-02-16 2013-08-22 Verizon Patent And Licensing Inc. Cloud data synchronization with local data
US9946563B2 (en) * 2012-02-21 2018-04-17 Disney Enterprises, Inc. Batch scheduler management of virtual machines
US9268590B2 (en) 2012-02-29 2016-02-23 Vmware, Inc. Provisioning a cluster of distributed computing platform based on placement strategy
US10031783B2 (en) * 2012-03-02 2018-07-24 Vmware, Inc. Execution of a distributed deployment plan for a multi-tier application in a cloud infrastructure
JP5957965B2 (ja) * 2012-03-02 2016-07-27 日本電気株式会社 仮想化システム、負荷分散装置、負荷分散方法、及び負荷分散プログラム
JP2013196421A (ja) 2012-03-21 2013-09-30 Nec Corp 仮想化システム、仮想サーバ、メモリ管理方法及びメモリ管理プログラム
US9379994B2 (en) * 2012-03-22 2016-06-28 Tier 3, Inc. Flexible storage provisioning
US20130263117A1 (en) * 2012-03-28 2013-10-03 International Business Machines Corporation Allocating resources to virtual machines via a weighted cost ratio
US8595262B1 (en) * 2012-03-29 2013-11-26 Amazon Technologies, Inc. Resource resolution in computing environments using directed graphs
US9020890B2 (en) * 2012-03-30 2015-04-28 Commvault Systems, Inc. Smart archiving and data previewing for mobile devices
US9639575B2 (en) * 2012-03-30 2017-05-02 Khalifa University Of Science, Technology And Research Method and system for processing data queries
US20130262433A1 (en) * 2012-04-02 2013-10-03 James Qiu Filtering a Distributed Join
US9501550B2 (en) * 2012-04-18 2016-11-22 Renmin University Of China OLAP query processing method oriented to database and HADOOP hybrid platform
US9465829B2 (en) 2012-04-30 2016-10-11 Sap Se Partial merge
US9124612B2 (en) * 2012-05-15 2015-09-01 Splunk Inc. Multi-site clustering
US8954419B2 (en) * 2012-05-22 2015-02-10 Oracle International Corporation Method for serial and condition-based execution of operators by parallel processes
US8904402B2 (en) * 2012-05-30 2014-12-02 Red Hat, Inc. Controlling capacity in a multi-tenant platform-as-a-service environment in a cloud computing system
US8965921B2 (en) * 2012-06-06 2015-02-24 Rackspace Us, Inc. Data management and indexing across a distributed database
WO2013188382A2 (en) 2012-06-12 2013-12-19 Centurylink Intellectual Property Llc High performance cloud storage
US9355146B2 (en) * 2012-06-29 2016-05-31 International Business Machines Corporation Efficient partitioned joins in a database with column-major layout
US10339056B2 (en) * 2012-07-03 2019-07-02 Sandisk Technologies Llc Systems, methods and apparatus for cache transfers
EP2682878A1 (en) * 2012-07-04 2014-01-08 Software AG Method of processing relational queries in a database system and corresponding database system
US9396008B2 (en) * 2012-07-13 2016-07-19 Ca, Inc. System and method for continuous optimization of computing systems with automated assignment of virtual machines and physical machines to hosts
US9710475B1 (en) * 2012-07-16 2017-07-18 Tintri Inc. Synchronization of data
US10528262B1 (en) * 2012-07-26 2020-01-07 EMC IP Holding Company LLC Replication-based federation of scalable data across multiple sites
JP6218833B2 (ja) * 2012-08-20 2017-10-25 キャメロン，ドナルド，ケヴィン 処理リソース割り当て
US9563480B2 (en) 2012-08-21 2017-02-07 Rackspace Us, Inc. Multi-level cloud computing system
US9594823B2 (en) * 2012-08-22 2017-03-14 Bitvore Corp. Data relationships storage platform
US9396231B2 (en) * 2012-09-04 2016-07-19 Salesforce.Com, Inc. Facilitating dynamically controlled fetching of data at client computing devices in an on-demand services environment
US20140067852A1 (en) * 2012-09-06 2014-03-06 salesforce.com,inc. Mechanism for facilitating scaling and efficient management of database systems and resources in an on-demand services environment
US9164702B1 (en) * 2012-09-07 2015-10-20 Google Inc. Single-sided distributed cache system
US10169446B1 (en) 2012-09-10 2019-01-01 Amazon Technologies, Inc. Relational modeler and renderer for non-relational data
US9268605B2 (en) * 2012-09-12 2016-02-23 Salesforce.Com, Inc. Mechanism for facilitating sliding window resource tracking in message queues for fair management of resources for application servers in an on-demand services environment
US9106721B2 (en) 2012-10-02 2015-08-11 Nextbit Systems Application state synchronization across multiple devices
US9292568B2 (en) * 2012-10-10 2016-03-22 Dell Products L.P. Method and system for dynamically optimizing client queries to read-mostly servers
US9405579B2 (en) 2012-10-11 2016-08-02 International Business Machines Corporation Seamless extension of local computing power
TW201416873A (zh) 2012-10-19 2014-05-01 Apacer Technology Inc 網路儲存系統的檔案分享方法
US9514208B2 (en) * 2012-10-30 2016-12-06 Vekatachary Srinivasan Method and system of stateless data replication in a distributed database system
US9847907B2 (en) * 2012-11-26 2017-12-19 Amazon Technologies, Inc. Distributed caching cluster management
US9449039B2 (en) * 2012-11-26 2016-09-20 Amazon Technologies, Inc. Automatic repair of corrupted blocks in a database
WO2014087518A1 (ja) 2012-12-06 2014-06-12 株式会社 日立製作所 ネットワークシステム及びその運用方法
US9660874B2 (en) * 2012-12-13 2017-05-23 Level 3 Communications, Llc Devices and methods supporting content delivery with delivery services having dynamically configurable log information
US9268834B2 (en) * 2012-12-13 2016-02-23 Microsoft Technology Licensing, Llc Distributed SQL query processing using key-value storage system
US9189285B2 (en) * 2012-12-14 2015-11-17 Microsoft Technology Licensing, Llc Scalable services deployment
US9152642B2 (en) * 2012-12-21 2015-10-06 Zetta, Inc. Systems and methods for on-demand data storage
US9021452B2 (en) * 2012-12-27 2015-04-28 Commvault Systems, Inc. Automatic identification of storage requirements, such as for use in selling data storage management solutions
US10346259B2 (en) * 2012-12-28 2019-07-09 Commvault Systems, Inc. Data recovery using a cloud-based remote data recovery center
US9081826B2 (en) * 2013-01-07 2015-07-14 Facebook, Inc. System and method for distributed database query engines
US20140196039A1 (en) * 2013-01-08 2014-07-10 Commvault Systems, Inc. Virtual machine categorization system and method
US9158812B2 (en) * 2013-01-30 2015-10-13 Oracle International Corporation Enhancing parallelism in evaluation ranking/cumulative window functions
US9665477B2 (en) * 2013-02-01 2017-05-30 International Business Machines Corporation Allocating additional requested storage space for a data set in a first managed space in a second managed space
US9553773B2 (en) 2013-02-05 2017-01-24 Cisco Technology, Inc. Learning machine based computation of network join times
US9336272B1 (en) * 2013-02-13 2016-05-10 Amazon Technologies, Inc. Global query hint specification
US10339157B2 (en) * 2013-02-13 2019-07-02 Facebook, Inc. Hive table links
US9928287B2 (en) * 2013-02-24 2018-03-27 Technion Research & Development Foundation Limited Processing query to graph database
US9753980B1 (en) 2013-02-25 2017-09-05 EMC IP Holding Company LLC M X N dispatching in large scale distributed system
US9275110B2 (en) * 2013-03-01 2016-03-01 Paraccel Llc Disk-based hash join process
US9049193B2 (en) * 2013-03-05 2015-06-02 Vmware, Inc. Method and system for distributing resource-availability information within a distrubited computer system
US9773041B2 (en) * 2013-03-06 2017-09-26 Oracle International Corporation Methods and apparatus of shared expression evaluation across RDBMS and storage layer
US10248670B1 (en) * 2013-03-14 2019-04-02 Open Text Corporation Method and system for migrating content between enterprise content management systems
US10296462B2 (en) 2013-03-15 2019-05-21 Oracle International Corporation Method to accelerate queries using dynamically generated alternate data formats in flash cache
US10019481B2 (en) * 2013-03-15 2018-07-10 Oracle International Corporation Adaptive selection of a distribution method during execution of parallel join operations
US9639562B2 (en) * 2013-03-15 2017-05-02 Oracle International Corporation Automatically determining an optimal database subsection
US9454294B2 (en) * 2013-03-15 2016-09-27 International Business Machines Corporation Creating, provisioning and managing virtual data centers
US9118538B1 (en) * 2013-03-15 2015-08-25 Emc Corporation Method and system for configuring resources to enable resource monitoring
US9176895B2 (en) * 2013-03-16 2015-11-03 Intel Corporation Increased error correction for cache memories through adaptive replacement policies
US10613914B2 (en) * 2013-04-01 2020-04-07 Oracle International Corporation Orchestration service for a distributed computing system
US9172621B1 (en) * 2013-04-01 2015-10-27 Amazon Technologies, Inc. Unified account metadata management
US9495395B2 (en) * 2013-04-11 2016-11-15 Oracle International Corporation Predictive diagnosis of SLA violations in cloud services by seasonal trending and forecasting with thread intensity analytics
US9304663B1 (en) * 2013-04-12 2016-04-05 Groupon, Inc. Centralized, scalable, resource monitoring system
US9690829B2 (en) 2013-04-15 2017-06-27 Vmware, Inc. Dynamic load balancing during distributed query processing using query operator motion
US9213726B2 (en) * 2013-04-15 2015-12-15 Amazon Technologies, Inc. Database cost tracing and analysis
US9448966B2 (en) * 2013-04-26 2016-09-20 Futurewei Technologies, Inc. System and method for creating highly scalable high availability cluster in a massively parallel processing cluster of machines in a network
US9208032B1 (en) * 2013-05-15 2015-12-08 Amazon Technologies, Inc. Managing contingency capacity of pooled resources in multiple availability zones
US9582297B2 (en) * 2013-05-16 2017-02-28 Vmware, Inc. Policy-based data placement in a virtualized computing environment
CN203261358U (zh) 2013-05-28 2013-10-30 马传志 一种基于遗传算法的云计算服务器群
CN103279351B (zh) * 2013-05-31 2016-06-29 北京高森明晨信息科技有限公司 一种任务调度的方法及装置
US9280551B2 (en) * 2013-06-03 2016-03-08 International Business Machines Corporation De-duplication deployment planning
US9213706B2 (en) * 2013-06-13 2015-12-15 DataGravity, Inc. Live restore for a data intelligent storage system
US8849764B1 (en) * 2013-06-13 2014-09-30 DataGravity, Inc. System and method of data intelligent storage
US9146979B2 (en) * 2013-06-13 2015-09-29 Sap Se Optimization of business warehouse queries by calculation engines
US20140379725A1 (en) * 2013-06-19 2014-12-25 Microsoft Corporation On demand parallelism for columnstore index build
CN105531675B (zh) * 2013-06-19 2019-04-12 株式会社日立制作所 计算机存储介质、分布式系统及其控制方法、以及节点
US20140379691A1 (en) * 2013-06-21 2014-12-25 Microsoft Corporation Database query processing with reduce function configuration
US10282350B1 (en) * 2013-06-21 2019-05-07 Amazon Technologies, Inc. Data store optimizer
US9600500B1 (en) * 2013-06-21 2017-03-21 Amazon Technologies, Inc. Single phase transaction commits for distributed database transactions
GB2515501A (en) * 2013-06-25 2014-12-31 Ibm Replication for on-line hot-standby database
US20150006254A1 (en) * 2013-06-26 2015-01-01 Landvoice Data, LLC Systems apparatus and methods for real estate sales lead generation
US9602423B2 (en) * 2013-06-28 2017-03-21 Pepperdata, Inc. Systems, methods, and devices for dynamic resource monitoring and allocation in a cluster system
JP6291573B2 (ja) * 2013-07-02 2018-03-14 コンヴィーダ ワイヤレス， エルエルシー セマンティクス公表および発見のための機構
US9659046B2 (en) * 2013-07-31 2017-05-23 Oracle Inernational Corporation Probing a hash table using vectorized instructions
US9256631B2 (en) * 2013-07-31 2016-02-09 Oracle International Corporation Building a hash table using vectorized instructions
US9338226B2 (en) * 2013-08-12 2016-05-10 Fred Korangy Actor system and method for analytics and processing of big data
US10133797B1 (en) * 2013-08-16 2018-11-20 Amazon Technologies, Inc. Distributed heterogeneous system for data warehouse management
US10089142B2 (en) * 2013-08-21 2018-10-02 Hasso-Plattner-Institut Fur Softwaresystemtechnik Gmbh Dynamic task prioritization for in-memory databases
US9489423B1 (en) * 2013-08-22 2016-11-08 Amazon Technologies, Inc. Query data acquisition and analysis
US11423377B1 (en) * 2013-08-26 2022-08-23 Amazon Technologies, Inc. Lendable computing resources
US9870269B1 (en) * 2013-09-05 2018-01-16 Amazon Technologies, Inc. Job allocation in a clustered environment
US9471711B2 (en) * 2013-09-23 2016-10-18 Teradata Us, Inc. Schema-less access to stored data
US9424300B2 (en) * 2013-09-25 2016-08-23 International Business Machines Corporation Data allocation containers in a partitioned table of a computer database system for holding data based on usage
US9379982B1 (en) * 2013-09-30 2016-06-28 Juniper Networks, Inc. Adaptive stateless load balancing
US10031761B2 (en) * 2013-10-11 2018-07-24 International Business Machines Corporation Pluggable cloud enablement boot device and method
WO2015056818A1 (en) 2013-10-14 2015-04-23 Inha-Industry Partnership Institute Counting bloom filter
US10552745B2 (en) * 2013-10-18 2020-02-04 Netflix, Inc. Predictive auto scaling engine
US10642800B2 (en) 2013-10-25 2020-05-05 Vmware, Inc. Multi-tenant distributed computing and database
US20150120555A1 (en) * 2013-10-29 2015-04-30 Elwha Llc Exchange authorization analysis infused with network-acquired data stream information
US20150120224A1 (en) * 2013-10-29 2015-04-30 C3 Energy, Inc. Systems and methods for processing data relating to energy usage
US9880933B1 (en) * 2013-11-20 2018-01-30 Amazon Technologies, Inc. Distributed in-memory buffer cache system using buffer cache nodes
US10776325B2 (en) * 2013-11-26 2020-09-15 Ab Initio Technology Llc Parallel access to data in a distributed file system
US10198292B2 (en) * 2013-11-27 2019-02-05 Actian Sub Iii, Inc. Scheduling database queries based on elapsed time of queries
US20150163721A1 (en) * 2013-12-11 2015-06-11 Jdsu Uk Limited Method and apparatus for processing data
US20150172204A1 (en) * 2013-12-13 2015-06-18 International Business Machines Corporation Dynamically Change Cloud Environment Configurations Based on Moving Workloads
US9471510B2 (en) * 2013-12-20 2016-10-18 Netapp, Inc. System and method for cache monitoring in storage systems
US9569493B2 (en) * 2013-12-31 2017-02-14 International Business Machines Corporatin Avoidance of intermediate data skew in a massive parallel processing environment
US9256534B2 (en) * 2014-01-06 2016-02-09 International Business Machines Corporation Data shuffling in a non-uniform memory access device
US9514184B2 (en) * 2014-01-14 2016-12-06 Dropbox, Inc. Systems and methods for a high speed query infrastructure
US9535956B2 (en) * 2014-01-31 2017-01-03 Oracle International Corporation Efficient set operation execution using a single group-by operation
US9870390B2 (en) * 2014-02-18 2018-01-16 Oracle International Corporation Selecting from OR-expansion states of a query
US9665633B2 (en) 2014-02-19 2017-05-30 Snowflake Computing, Inc. Data management systems and methods
US10120902B2 (en) * 2014-02-20 2018-11-06 Citus Data Bilgi Islemleri Ticaret A.S. Apparatus and method for processing distributed relational algebra operators in a distributed database
US9792328B2 (en) * 2014-03-13 2017-10-17 Sybase, Inc. Splitting of a join operation to allow parallelization
US9836505B2 (en) * 2014-03-13 2017-12-05 Sybase, Inc. Star and snowflake join query performance
US9454574B2 (en) * 2014-03-28 2016-09-27 Sybase, Inc. Bloom filter costing estimation
EP3149606B1 (en) * 2014-05-30 2019-05-08 Hitachi Vantara Corporation Metadata favored replication in active topologies
US9996597B2 (en) * 2014-06-06 2018-06-12 The Mathworks, Inc. Unified mapreduce framework for large-scale data processing
CN106537345B (zh) * 2014-06-13 2020-10-13 皮沃塔尔软件公司 在多进程计算环境中精确跟踪内存使用
US10860237B2 (en) * 2014-06-24 2020-12-08 Oracle International Corporation Storage integrated snapshot cloning for database
US9705815B2 (en) * 2014-06-27 2017-07-11 Juniper Networks, Inc. Graph database for services planning and configuration in network services domain
US9335989B2 (en) * 2014-07-13 2016-05-10 International Business Machines Corporation Building a pattern to define a topology and application environment using software components and software updates/fixes from external repositories from multiple vendors
US9621354B2 (en) * 2014-07-17 2017-04-11 Cisco Systems, Inc. Reconstructable content objects
US9747331B2 (en) * 2014-10-06 2017-08-29 International Business Machines Corporation Limiting scans of loosely ordered and/or grouped relations in a database
US9922103B2 (en) * 2014-10-21 2018-03-20 Bank Of America Corporation Copying datasets between data integration systems
US9628350B2 (en) * 2014-11-05 2017-04-18 Amazon Technologies, Inc. Dynamic scaling of storage volumes for storage client file systems
US9256467B1 (en) * 2014-11-11 2016-02-09 Amazon Technologies, Inc. System for managing and scheduling containers
US9417897B1 (en) * 2014-12-05 2016-08-16 Amazon Technologies, Inc. Approaches for managing virtual instance data
US9984081B2 (en) * 2015-01-30 2018-05-29 Oracle International Corporation Workload aware data placement for join-based query processing in a cluster
US10574745B2 (en) * 2015-03-31 2020-02-25 Western Digital Technologies, Inc. Syncing with a local paired device to obtain data from a remote server using point-to-point communication
US9632846B2 (en) 2015-04-02 2017-04-25 Microsoft Technology Licensing, Llc Complex event processor for historic/live/replayed data
US9990392B2 (en) * 2015-04-07 2018-06-05 Sap Se Distributed transaction processing in MPP databases
US9848041B2 (en) * 2015-05-01 2017-12-19 Amazon Technologies, Inc. Automatic scaling of resource instance groups within compute clusters
US20160373405A1 (en) * 2015-06-16 2016-12-22 Amazon Technologies, Inc. Managing dynamic ip address assignments
US9798526B2 (en) * 2015-12-22 2017-10-24 Sap Se Software development using multi-domain decision management
US10585889B2 (en) * 2015-12-23 2020-03-10 Intel Corporation Optimizing skewed joins in big data
US20170270154A1 (en) * 2016-03-18 2017-09-21 At&T Intellectual Property I, L.P. Methods and apparatus to manage database metadata
US10055305B2 (en) * 2016-04-28 2018-08-21 Netapp, Inc. Techniques to perform system management processing for database systems
US10735394B2 (en) * 2016-08-05 2020-08-04 Oracle International Corporation Caching framework for a multi-tenant identity and data security management cloud service
US10325021B2 (en) 2017-06-19 2019-06-18 GM Global Technology Operations LLC Phrase extraction text analysis method and system
US10380112B2 (en) * 2017-07-31 2019-08-13 International Business Machines Corporation Joining two data tables on a join attribute
US10379942B2 (en) * 2017-09-27 2019-08-13 International Business Machines Corporation Efficient transfer of objects between containers on the same vault
US10397317B2 (en) * 2017-09-29 2019-08-27 Oracle International Corporation Boomerang join: a network efficient, late-materialized, distributed join technique
US20220335005A1 (en) * 2021-04-20 2022-10-20 Pure Storage, Inc. Storage-deferred copying between different file systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090132541A1 (en) * 2007-11-19 2009-05-21 Eric Lawrence Barsness Managing database resources used for optimizing query execution on a parallel computer system
US20090182836A1 (en) * 2008-01-16 2009-07-16 Aviles Joaquin J System and method for populating a cache using behavioral adaptive policies
US20100031267A1 (en) * 2008-08-04 2010-02-04 Jan-Willem Maessen Distribution Data Structures for Locality-Guided Work Stealing
US20120005307A1 (en) * 2010-06-30 2012-01-05 Abhik Das Storage virtualization
US20120130949A1 (en) * 2010-11-22 2012-05-24 Bluearc Uk Limited File Cloning and De-Cloning in a Data Storage System
US20130205028A1 (en) * 2012-02-07 2013-08-08 Rackspace Us, Inc. Elastic, Massively Parallel Processing Data Warehouse

Also Published As

Publication number Publication date
US20200201881A1 (en) 2020-06-25
US11269921B2 (en) 2022-03-08
US20200201880A1 (en) 2020-06-25
US20210034640A1 (en) 2021-02-04
US11755617B2 (en) 2023-09-12
US20150234688A1 (en) 2015-08-20
CN106233277A (zh) 2016-12-14
US20210157820A1 (en) 2021-05-27
US11615114B2 (en) 2023-03-28
AU2015219105A1 (en) 2016-09-01
CA2939906C (en) 2022-10-25
JP7163268B2 (ja) 2022-10-31
US20210191954A1 (en) 2021-06-24
US10866966B2 (en) 2020-12-15
EP3108363A1 (en) 2016-12-28
US20220358139A1 (en) 2022-11-10
EP3916562A1 (en) 2021-12-01
US20220156283A1 (en) 2022-05-19
CA3025939C (en) 2023-08-01
US10325032B2 (en) 2019-06-18
US11620308B2 (en) 2023-04-04
CN106104526A (zh) 2016-11-09
JP2017512338A (ja) 2017-05-18
EP3722958A1 (en) 2020-10-14
AU2015219117B2 (en) 2020-07-09
US11093524B2 (en) 2021-08-17
CN106233263B (zh) 2019-12-24
JP6542785B2 (ja) 2019-07-10
US20220067068A1 (en) 2022-03-03
US20220129478A1 (en) 2022-04-28
US11645305B2 (en) 2023-05-09
US11294933B2 (en) 2022-04-05
US20220156282A1 (en) 2022-05-19
WO2017210477A1 (en) 2017-12-07
DE202015009779U1 (de) 2020-02-06
US10055472B2 (en) 2018-08-21
US11507598B2 (en) 2022-11-22
JP2017507424A (ja) 2017-03-16
CN106233275B (zh) 2019-07-12
US10534792B2 (en) 2020-01-14
US10846304B2 (en) 2020-11-24
US11238061B2 (en) 2022-02-01
JP6882893B2 (ja) 2021-06-02
US11263234B2 (en) 2022-03-01
US20200327144A1 (en) 2020-10-15
EP3108369A4 (en) 2017-08-09
JP6697392B2 (ja) 2020-05-20
DE202015009777U1 (de) 2020-02-05
EP3108364A4 (en) 2017-11-22
CN106233277B (zh) 2019-07-12
US20210103602A1 (en) 2021-04-08
JP6643242B2 (ja) 2020-02-12
US20210124761A1 (en) 2021-04-29
AU2015219112A1 (en) 2016-09-01
US11042567B1 (en) 2021-06-22
US20220292109A1 (en) 2022-09-15
EP3465485A4 (en) 2019-12-25
EP3108369B1 (en) 2021-05-12
US11397747B2 (en) 2022-07-26
AU2015219105B2 (en) 2020-03-19
US20200364236A1 (en) 2020-11-19
US11853323B2 (en) 2023-12-26
US10776389B2 (en) 2020-09-15
US20210390115A1 (en) 2021-12-16
JP2019522844A (ja) 2019-08-15
WO2015126962A1 (en) 2015-08-27
US20190303389A1 (en) 2019-10-03
DE202015009783U1 (de) 2020-02-12
US20220114194A1 (en) 2022-04-14
US11734303B2 (en) 2023-08-22
EP3809270A1 (en) 2021-04-21
EP3465485A1 (en) 2019-04-10
US20220156281A1 (en) 2022-05-19
JP2017509066A (ja) 2017-03-30
US20230205783A1 (en) 2023-06-29
CN109564564B (zh) 2024-04-05
CN106104526B (zh) 2020-02-04
US11163794B2 (en) 2021-11-02
CA3025939A1 (en) 2017-12-07
EP3108374A2 (en) 2016-12-28
US20220277021A1 (en) 2022-09-01
EP3108369A1 (en) 2016-12-28
US20150234894A1 (en) 2015-08-20
EP3828723A1 (en) 2021-06-02
US11151160B2 (en) 2021-10-19
US20220207054A1 (en) 2022-06-30
US11599556B2 (en) 2023-03-07
US11429638B2 (en) 2022-08-30
US20220019599A1 (en) 2022-01-20
EP3108385B1 (en) 2021-06-30
AU2015219112B2 (en) 2019-11-21
US11347770B2 (en) 2022-05-31
EP3108385A1 (en) 2016-12-28
AU2015219103A1 (en) 2016-09-01
US10762106B2 (en) 2020-09-01
JP2017507426A (ja) 2017-03-16
DE202015009874U1 (de) 2020-12-21
US11409768B2 (en) 2022-08-09
CA2939908A1 (en) 2015-08-27
DE202015009873U1 (de) 2020-12-11
US20230376504A1 (en) 2023-11-23
US11573978B2 (en) 2023-02-07
US20150234914A1 (en) 2015-08-20
US20200226147A1 (en) 2020-07-16
US11204943B2 (en) 2021-12-21
US11334597B2 (en) 2022-05-17
US11928129B1 (en) 2024-03-12
JP6901504B2 (ja) 2021-07-14
JP2017512339A (ja) 2017-05-18
US20210248160A1 (en) 2021-08-12
CN106233275A (zh) 2016-12-14
US20160275160A1 (en) 2016-09-22
EP3828723B1 (en) 2023-10-25
US20150234902A1 (en) 2015-08-20
US11269919B2 (en) 2022-03-08
US20230046201A1 (en) 2023-02-16
US20200278983A1 (en) 2020-09-03
US20200257701A1 (en) 2020-08-13
AU2017274448B2 (en) 2020-02-20
US20220284037A1 (en) 2022-09-08
US20210326354A1 (en) 2021-10-21
CN106233253B (zh) 2019-12-24
US20200151192A1 (en) 2020-05-14
US20230289367A1 (en) 2023-09-14
CN106030573B (zh) 2019-12-24
AU2015218936A1 (en) 2016-09-01
WO2015126961A1 (en) 2015-08-27
US20150234922A1 (en) 2015-08-20
US20200210448A1 (en) 2020-07-02
US11809451B2 (en) 2023-11-07
US20230185824A1 (en) 2023-06-15
US20150234682A1 (en) 2015-08-20
US20200257702A1 (en) 2020-08-13
EP3108385A4 (en) 2017-10-04
EP3910480B1 (en) 2024-04-03
JP6730189B2 (ja) 2020-07-29
US11748375B2 (en) 2023-09-05
US20200201883A1 (en) 2020-06-25
JP2017506396A (ja) 2017-03-02
US20200226148A1 (en) 2020-07-16
US20230244693A1 (en) 2023-08-03
US10534793B2 (en) 2020-01-14
EP3910480A1 (en) 2021-11-17
US20200218733A1 (en) 2020-07-09
AU2015219117A1 (en) 2016-09-01
US20200257703A1 (en) 2020-08-13
US20210049189A1 (en) 2021-02-18
CN106233253A (zh) 2016-12-14
US20150234896A1 (en) 2015-08-20
US20220374451A1 (en) 2022-11-24
US20220129479A1 (en) 2022-04-28
US20200380014A1 (en) 2020-12-03
US11238060B2 (en) 2022-02-01
US20200151194A1 (en) 2020-05-14
JP2021077406A (ja) 2021-05-20
US11269920B2 (en) 2022-03-08
EP3722958B1 (en) 2023-04-05
US11544287B2 (en) 2023-01-03
US11734304B2 (en) 2023-08-22
US11687563B2 (en) 2023-06-27
WO2015126959A1 (en) 2015-08-27
DE202015009859U1 (de) 2020-10-20
US20150237137A1 (en) 2015-08-20
EP3108375A4 (en) 2017-12-06
EP3108375A1 (en) 2016-12-28
DE202015009784U1 (de) 2020-02-12
US20210089554A1 (en) 2021-03-25
DE202017007211U1 (de) 2020-02-04
CA2939908C (en) 2023-08-29
US20170235750A1 (en) 2017-08-17
US20210205120A1 (en) 2021-07-08
DE202015009875U1 (de) 2020-12-23
US20210279252A1 (en) 2021-09-09
US10108686B2 (en) 2018-10-23
DE202015009778U1 (de) 2020-02-06
EP3108374B1 (en) 2020-12-16
US20220129480A1 (en) 2022-04-28
CA2939904A1 (en) 2015-08-27
CN106233255B (zh) 2019-12-20
US20210342365A1 (en) 2021-11-04
US20200364237A1 (en) 2020-11-19
US20210286825A1 (en) 2021-09-16
US20200320096A1 (en) 2020-10-08
US11734307B2 (en) 2023-08-22
US20200210449A1 (en) 2020-07-02
US20220035834A1 (en) 2022-02-03
US20220035835A1 (en) 2022-02-03
WO2015126973A2 (en) 2015-08-27
US20220138224A1 (en) 2022-05-05
EP3108386A4 (en) 2017-08-02
JP7163430B2 (ja) 2022-10-31
AU2015218936B2 (en) 2020-05-21
US11238062B2 (en) 2022-02-01
US10776388B2 (en) 2020-09-15
US11042566B2 (en) 2021-06-22
US11341162B2 (en) 2022-05-24
EP3926474A1 (en) 2021-12-22
US11188562B2 (en) 2021-11-30
US20200210450A1 (en) 2020-07-02
US20210103600A1 (en) 2021-04-08
CN106233263A (zh) 2016-12-14
JP2020053071A (ja) 2020-04-02
WO2015126973A3 (en) 2015-11-12
US10891306B2 (en) 2021-01-12
CA2939905C (en) 2023-09-12
US10776390B2 (en) 2020-09-15
US10795914B2 (en) 2020-10-06
CN110308994A (zh) 2019-10-08
US11216485B2 (en) 2022-01-04
US11966417B2 (en) 2024-04-23
CA2939905A1 (en) 2015-08-27
WO2015127076A1 (en) 2015-08-27
US11010407B2 (en) 2021-05-18
US11354334B2 (en) 2022-06-07
CN109564564A (zh) 2019-04-02
US11216484B2 (en) 2022-01-04
US10366102B2 (en) 2019-07-30
AU2015219106A1 (en) 2016-09-01
US20220027385A1 (en) 2022-01-27
US20190236080A1 (en) 2019-08-01
US11372888B2 (en) 2022-06-28
US11487786B2 (en) 2022-11-01
US20240111787A1 (en) 2024-04-04
US20200151193A1 (en) 2020-05-14
US10831781B2 (en) 2020-11-10
US20170123854A1 (en) 2017-05-04
US20240020315A1 (en) 2024-01-18
US10776391B1 (en) 2020-09-15
US11176168B2 (en) 2021-11-16
US20200327143A1 (en) 2020-10-15
EP3108386B1 (en) 2021-06-23
CA2939919C (en) 2024-01-30
WO2015126968A3 (en) 2015-10-15
EP3108363A4 (en) 2017-12-13
US11500900B2 (en) 2022-11-15
US9842152B2 (en) 2017-12-12
US11868369B2 (en) 2024-01-09
US20200265066A1 (en) 2020-08-20
US10838979B2 (en) 2020-11-17
JP7130600B2 (ja) 2022-09-05
US11126640B2 (en) 2021-09-21
AU2015219101B2 (en) 2020-07-09
US20210326356A1 (en) 2021-10-21
US10733208B1 (en) 2020-08-04
US20220067067A1 (en) 2022-03-03
DE202015009860U1 (de) 2020-10-22
US11232130B2 (en) 2022-01-25
CA2939906A1 (en) 2015-08-27
US20210049188A1 (en) 2021-02-18
US11977560B2 (en) 2024-05-07
US9576039B2 (en) 2017-02-21
US10997201B2 (en) 2021-05-04
US11782950B2 (en) 2023-10-10
US20210232598A1 (en) 2021-07-29
US11250023B2 (en) 2022-02-15
JP2022166198A (ja) 2022-11-01
CA2939919A1 (en) 2015-08-27
AU2015219106B2 (en) 2020-03-26
US10956445B1 (en) 2021-03-23
US9665633B2 (en) 2017-05-30
US10838978B2 (en) 2020-11-17
US20230297589A1 (en) 2023-09-21
US11157515B2 (en) 2021-10-26
US20150234931A1 (en) 2015-08-20
US20210103601A1 (en) 2021-04-08
US11106696B2 (en) 2021-08-31
US10534794B2 (en) 2020-01-14
US20220292111A1 (en) 2022-09-15
CA2939903A1 (en) 2015-08-27
WO2015126968A2 (en) 2015-08-27
US10019454B2 (en) 2018-07-10
US11036758B2 (en) 2021-06-15
CA2939903C (en) 2022-08-30
CN106233255A (zh) 2016-12-14
US11321352B2 (en) 2022-05-03
US20220050857A1 (en) 2022-02-17
EP3108386A1 (en) 2016-12-28
US11048721B2 (en) 2021-06-29
US10949446B2 (en) 2021-03-16
US11475044B2 (en) 2022-10-18
EP3108374A4 (en) 2017-12-13
JP2019194882A (ja) 2019-11-07
WO2015126957A1 (en) 2015-08-27
US20200364238A1 (en) 2020-11-19
US20210357425A1 (en) 2021-11-18
US11429639B2 (en) 2022-08-30
JP7431902B2 (ja) 2024-02-15
US20240012836A1 (en) 2024-01-11
US11494407B2 (en) 2022-11-08
CA2939904C (en) 2022-08-30
CA2939947A1 (en) 2015-08-27
US20230042949A1 (en) 2023-02-09
US20180349457A1 (en) 2018-12-06
CN106030573A (zh) 2016-10-12
AU2015219101A1 (en) 2016-09-01
AU2015219103B2 (en) 2020-04-02
US11086900B2 (en) 2021-08-10
CA2939947C (en) 2022-07-12
US20210042326A1 (en) 2021-02-11
US11132380B2 (en) 2021-09-28
EP3108364A2 (en) 2016-12-28
US20210073245A1 (en) 2021-03-11
US20210049187A1 (en) 2021-02-18
US20220121681A1 (en) 2022-04-21
DE202015009861U1 (de) 2020-10-23
US11397748B2 (en) 2022-07-26
US20210271690A1 (en) 2021-09-02
US20210390117A1 (en) 2021-12-16
DE202015009772U1 (de) 2020-02-06
US20200201882A1 (en) 2020-06-25
US11157516B2 (en) 2021-10-26
JP2017506394A (ja) 2017-03-02
DE202015009785U1 (de) 2020-02-12
AU2017274448A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
CN106233275B (zh) 数据管理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Montana

Applicant after: SNOWFLAKE COMPUTING Inc.

Address before: California, USA

Applicant before: SNOWFLAKE COMPUTING Inc.

CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: U.S.A.

Address after: Montana

Applicant after: Snowflake Co.

Address before: Montana

Applicant before: SNOWFLAKE COMPUTING Inc.

Country or region before: U.S.A.