CN106104414A - 存储公用网络 - Google Patents

存储公用网络 Download PDF

Info

Publication number
CN106104414A
CN106104414A CN201480064163.4A CN201480064163A CN106104414A CN 106104414 A CN106104414 A CN 106104414A CN 201480064163 A CN201480064163 A CN 201480064163A CN 106104414 A CN106104414 A CN 106104414A
Authority
CN
China
Prior art keywords
data
processed
api
type
processing engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480064163.4A
Other languages
English (en)
Other versions
CN106104414B (zh
Inventor
S·嘉迪帕提
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Twc Patent Trust
Original Assignee
Twc Patent Trust
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Twc Patent Trust filed Critical Twc Patent Trust
Publication of CN106104414A publication Critical patent/CN106104414A/zh
Application granted granted Critical
Publication of CN106104414B publication Critical patent/CN106104414B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Multi Processors (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提供了一种存储公用网络，其包括：获取式应用程序编程接口(API)机构，其从数据源接收存储数据的请求，所述请求每个均包含对待存储的数据类型的指示；至少一个数据处理引擎，其被配置来处理所述类型的数据，由所述至少一个数据处理引擎进行的所述处理将所述数据变换成具有适合于使用者使用的格式的经处理的数据；多个数据库，其存储所述经处理的数据并向使用者提供所述经处理的数据；以及提取式API机构，其由所述使用者调用来检索所述经处理的数据。

Description

存储公用网络
相关申请的交叉引用
本申请要求于2013年11月13日提交的标题为“STORAGE UTILITY NETWORK”的61/903,650号美国临时专利申请的优先权，其全部内容以引用的方式并入本文中。
背景技术
获取及存储大量数据是非常低效的。例如，为了提供对大量数据的访问，经常使用多个数据中心。然而，这导致高运行成本并且缺乏集中式可扩展架构。此外，经常存在跨多个数据中心的数据的重复和不一致。这类数据中心经常无法提供数据访问的可见性，使得客户端难以检索数据，这导致多个数据中心中的每一个如孤岛般运行，而没有全面了解其它数据中心。再进一步地，当常规数据中心处理大量数据时，引入了可能对数据可用性造成不利影响的延迟，使得在一些情况下，其可能不再相关。
发明内容
本文中公开了用于提供可扩展存储网络的系统和方法。根据一些方面，提供了一种存储公用网络，其包括：获取式应用程序编程接口(API)机构，其从数据源接收存储数据的请求，所述请求每个均包含对待存储的数据类型的指示；至少一个数据处理引擎，其被配置来处理所述类型的数据，由至少一个数据处理引擎进行的处理将数据变换成具有适合于使用者使用的格式的经处理的数据；多个数据库，其存储经处理的数据并向使用者提供经处理的数据；以及提取式API机构，其被所述使用者调用来检索经处理的数据。
根据其它方面，提供了一种存储和提供数据的方法。所述方法包括：在获取式应用程序编程接口(API)机构处从数据源接收存储数据的请求，所述请求每个均包含对待存储的数据类型的指示；在数据处理引擎处处理数据，所述数据处理引擎被配置来处理所述类型的数据以将数据变换成具有适合于使用者使用的格式的经处理的数据；将经处理的数据存储在还向使用者提供经处理的数据的多个数据库中的一个处；并且在提取式API机构处从使用者接收调用来检索经处理的数据
在审查以下附图和详细说明后，其它系统、方法、特征和/或优点对于本领域的技术人员而言将是显而易见的或可以变得显而易见。所有这类附加系统、方法、特征和/或优点旨在包括在本说明内并且受到所附权利要求的保护。
附图说明
在附图中的组件不一定相对于彼此成比例。相同的参考数字贯穿几个视图指示相应部分。
图1图示了根据本公开的示例存储公用网络(SUN)；
图2图示了示例数据获取架构；
图3图示了示例数据处理引擎(DPE)；
图4图示了被执行用于获取图1的SUN接收到的输入数据的流程的示例操作流程；
图5图示了使用基于地理定位的API对存储公用网络的示例客户端访问；并且
图6图示了示例性计算装置。
具体实施方式
除非另外限定，否则本文中使用的所有技术和科学术语具有如本领域普通技术人员通常理解的相同含义。与本文中描述的那些方法和材料类似或等效的方法和材料可以用于本公开的实践或测试。
本公开涉及一种服务于集中式数据获取、存储和分布源的存储公用网络(SUN)。SUN提供无阻塞数据获取、提取式和推送式数据服务、跨数据中心的负载平衡数据处理、跨数据中心的数据复制、实时数据系统的基于存储器的数据存储(高速缓存)的使用、低延迟、容易的扩展性、高可用性、和容易的大数据集维护。SUN可从地理上分布，使得每个位置存储地理相关数据以加速处理。每天SUN可扩展至对数据的数以亿计的请求同时以低延迟(例如，10毫秒至100毫秒)服务于数据。如将描述的，SUN 100能够以低延迟计量和认证API调用、每天处理多个太字节(TB)的数据、存储拍字节的数据、并让灵活数据获取平台管理来自外部方的上百次数据馈送。
结合作为引言的上文概述，现在参照图1，其图示了本公开的存储公用网络(SUN)100的示例实施方式。SUN 100包括：获取式API机构102，其从各种源接收输入数据101、API管理组件104；高速缓存层106；数据存储元件108a-108d；虚拟机110；进程、框架和组织层112；以及向各种数据使用者116提供输出数据的提取式API机构114。数据使用者116可以是广播台、电缆系统、基于网页的信息供应商(例如，新闻和气象站)、和信息或数据的其它传播者。
获取式API 102由SUN 100公开以在(例如)公布的统一资源标识符(URI)处接收将特定类型的数据存储在SUN 100内的请求。参照图2描述获取式API 102的附加细节。提供API管理组件104来认证、计量和限制对存储在SUN 100中或从其检索的数据的应用程序编程接口(API)请求。API管理组件104的非限制性实例是Mashery和Layer 7。API管理组件104还提供用于使用者受理、访问策略增强并用于实现服务。通过对数据和服务应用安全和使用策略，API管理组件104使不同级别的终端用户可访问API。API管理组件104还可提供分析以确定服务的用途来支持经营或技术目标。2014年3月18日提交的标题为“LOW LATENCY，HIGH PAYLOAD,HIGH VOLUME API GATEWAY”的61/954,688号美国专利申请中公开了API管理组件104的细节，其全部内容以引用的方式并入本文中。
高速缓存层106是保持SUN 100接收到的数据和待发送至SUN 100的数据使用者116(即，客户端)的服务器数据的存储器内位置。数据存储元件108可包括(但不限于)关系数据库管理系统(RDBMS)108a、大数据文件系统108b(例如，Hadoop分布式文件系统(HDFS)或类似)、以及NoSQL数据库(例如，NoSQL文件存储数据库108c、或NoSQL关键值数据库108d)。如下文将描述的，获取式API 102接收到的数据被处理并且根据(例如)请求中向获取式API 102指示的数据类型以无阻塞的方式存储到数据存储元件108中的一个中。
根据本公开，SUN 100内的元件被托管在虚拟机110上。例如，可以通过开始和停止虚拟机来创建和破坏数据处理引擎210(图2)来从高速缓存层106检索入站数据、检查数据并处理数据用于存储。如本领域内普通技术人员理解的，虚拟机110是像物理计算装置一样运行操作系统和应用程序的软件计算机。每个虚拟机由主机计算装置的物理资源支持并且具有与物理硬件相同的功能，但却有可携带性、可管理性和安全性的益处。例如，可以创建和破坏虚拟机以满足SUN 100的资源需求，而无需要求添加物理硬件来满足这种需求。参照图6描述主机计算装置的实例
进程、框架和组织层112提供用于数据质量、数据治理、使用者受理和与其它系统的接口。数据服务治理包括用于推荐何种数据产品和服务应构建在SUN 100上、应在何时并以何种顺序构建数据产品和服务、和这类产品和服务的分销渠道的经营决策。数据质量确保SUN 100处理的数据是有效的并且自始至终是一致的。
使用者使用提取式API机构114从SUN 100取出数据。与获取式API 102类似，提取式API机构114由SUN 100公开以在(例如)公布的统一资源标识符(URI)处接收检索数据的请求，所述数据存储在SUN 100内与特定产品或类型相关联。
可在公共云基础结构中实施SUN 100，如亚马逊网页服务、微软Azure、谷歌云平台、或其它，以便向SUN 100的用户提供高可用性服务。
参照图2至图4，现在将更详细地描述SUN 100的操作。具体地，图2图示了SUN 100内的示例数据获取架构200。图3图示了示例数据处理引擎(DPE)210a-210n。图4图示了被执行用于获取SUN 100接收到的输入数据的流程的示例操作流程。
如前所述，数据获取架构200的特征在于用于处理SUN 100接收的数据的无阻塞架构。数据获取架构200包括在架构200内跨计算资源分布工作负载的负载平衡器202a-202n。例如，当输入数据源调用SUN 100接收到的获取式API 102(在402处)时，负载平衡器202a-202n确定与所调用的API相关联的哪些资源将被利用以便最小化与数据获取架构200中的组件相关联的响应时间。关于数据类型的信息包括在对获取式API 102的调用中，该数据将从输入数据源传递至数据获取架构200。负载平衡器202a-202n可使用此信息来确定表述性状态转移(REST)API 204a-204n中的哪一个将会提供编程访问来将输入数据写入数据获取架构200(在404处)。
REST API 204a-204n提供至相关联的直接交换206a-206n的接口以将数据传递至适当的消息队列208a-208c(在406处)中以供数据处理引擎(DPE)场210处理(在408处)。根据本公开的方面，每个DPE 210a-201n可被配置来处理特定类型的输入数据。例如，输入数据可以是REST API 204a或204b接收到的观测数据。利用该信息，观测数据可放置在负责处理观测数据的DPE 210a的队列208a中。这样，SUN 100以每个DPE始终处理同一类型数据的方式来尝试路由数据。然而，根据本公开的一些方面，如果DPE 201a-210n接收未知类型的数据，则DPE 201a-210n将传递数据至可以处理所述数据的另一个DPE 201a-210n的队列中。
图3图示了示例数据处理引擎(DPE)210a-210n。DPE是接收输入数据101并将其写入到适当的数据存储元件108的通用计算资源。可在(例如)JAVA中实施并在虚拟机110中的一个上运行DPE。在实例化时，DPE通知其相关联的消息队列(例如，DPE 210a的消息队列208a)其是活跃的。
DPE内的数据泵302从队列读取消息并将消息递交给处理程序304。如所示的，处理程序304可以是多线程的并且包括多个处理程序304a-304n。处理程序304将数据发送至数据盒带306用于处理。数据盒带306根据配置文件308对DPE的功能进行“编程”。例如，对于SUN 100所接收的每种数据类型，可存在单独的数据盒带306。数据盒带306将消息格式化成(例如)JavaScript对象符号(JSON)文档，确定每个消息的密钥和值，执行数据预处理，基于经营逻辑变换数据，并提供用于数据质量。数据的变换将其置于某一状态下，使得其准备被数据使用者116中的一个或多个使用。
参照图2和图3，在处理消息之后，数据盒带306将经处理的消息递交回处理程序304，其随后将经处理的消息发送(在410处)至DB接口310和/或消息队列交换(例如，212b)。例如，DB接口310可从处理程序304a接收消息并根据消息中限定的关键值(或其它信息)将其写入数据库(即，数据存储元件108中的一个)。此外或可替代地，可基于待存储在其中的数据类型来进行数据库类型的选择。尽管没有在图3中示出，但DB接口310专用于特定类型的数据库(例如，Redis)，因此可存在多个DB接口310。因此，从存储和检索角度，DB接口310确保数据以最佳方式写入数据库(例如，Redis)。
在另一个实例中，处理程序304a可将数据传递至消息队列交换212a/212b，其随后将数据排成适当的输出队列2141-214n/216a-216n用于数据使用者116使用。因此，数据获取架构200可使数据使用者116以极低延迟获得输入数据101，因为数据可由DPE场210获取、处理并且在基本上实时的基础上输出。
作为可由sun 100执行的数据处理的实例，输入数据101可以是栅格数据，如观测数据。这类数据常用于天气预报以创建提供给数据使用者116的地理专用天气预报。这类数据量大且是时间敏感的，尤其是当存在多变的天气条件时。SUN 100提供一种平台，通过其此数据可被数据获取架构200以迅速的方式处理，使得提供给数据使用者116的输出数据是及时的。
图5图示了使用基于地理定位的API对存储公用网络的示例客户端访问。根据本公开，客户端应用程序500可通过与获取式API 102相关联的公布的统一资源标识符(URI)通过传递预先达成的地点参数502来访问SUN 100。地理定位服务504可以作为geohashing算法来提供。Geohashing算法利用短URL来唯一地识别地球上的位置以便使对这类地点的引用更方便。为了获得geohash，用户在单个输入框(接受经纬度对最常用的格式)中提供有待地理编码的地址、或经纬度坐标，并且执行请求。
图6示出了可在其中实施示例实施方案和方面的示例性计算环境。计算系统环境只是合适的计算环境的一个实例，而并不旨在对使用范围或功能提出任何限制。
可使用许多其它通用或专用计算系统环境或配置。可能适用的公知计算系统、环境、和/或配置的实例包括(但不限于)个人计算机、服务器、手持式或膝上型装置、多处理器系统、基于微处理器的系统、网络个人计算机(PC)、迷你计算机、大型计算机、嵌入式系统、包括上述系统或装置中的任何一个的分布式计算环境等等。
可使用由计算机执行的计算机可执行指令(如程序模块)。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。在由通过通信网络或其它数据传输介质链接的远程处理装置执行任务的情况中，可使用分布式计算环境。在分布式计算环境中，程序模块和其它数据可位于包括存储器存储装置的本地和远程计算机存储介质中。
参照图6，用于实施本文中所描述的方面的示例性系统包括计算装置，如计算装置600。在其最基本的配置中，计算装置600通常包括至少一个处理单元602和存储器604。取决于计算装置的准确配置和类型，存储器604可以是易失性的(如随机存取存储器(RAM))、非易失性的(如只读存储器(ROM)、闪存等)、或二者的一些组合。图6中以虚线606图示了这个最基本的配置。
计算装置600可具有附加特征/功能。例如，计算装置600可包括附加存储器(可移除和/或不可移除)，包括但不限于磁盘或光盘或磁带。图6中通过可移除存储器608和不可移除存储器610图示了这种附加存储器。
计算装置600通常包括多种有形计算机可读介质。计算机可读介质可以是能够被计算机600访问的任何有形介质，并且同时包括易失性和非易失性介质、可移除和不可移除介质。
有形计算机存储介质包括以任何方法或技术实施的用于存储信息(如计算机可读指令、数据结构、程序模块或其它数据)的易失性和非易失性介质、以及可移除和不可移除介质。存储器604、可移除存储器608、和不可移除存储器610都是计算机存储介质的实例。有形计算机存储介质包括(但不限于)RAM、ROM、电可擦除程序只读存储器(EEPROM)、闪存或其它存储器技术、CD-ROM、数字通用光盘(DVD)或其它光存储器、磁带盒、磁带、磁盘存储器或其它磁存储装置、或可以用于存储所需信息并且可以由计算装置600访问的任何其它介质。任何这种计算机存储介质可以是计算装置600的部分。
计算装置600可包含允许装置与其它装置通信的通信连接612。计算装置600还可具有输入装置614，如键盘、鼠标、笔、语音输入装置、触摸输入装置等。还可包括输出装置616，如显示器、扬声器、打印机等。全部这些装置在本领域中是公知的并且无需在此详细论述。
应理解，本文中所描述的各种技术可结合硬件或软件或(适当的情况下)结合两者的组合来实施。因此，本公开主题的方法和设备、或其某些方面或部分可采用在有形介质(如软盘、CD-ROM、硬盘驱动器、或任何其它机器可读存储介质)中实施的程序代码(即，指令)的形式，其中，当加载程序代码到机器(如计算机)中并由机器执行时，机器成为用于实践本公开主题的设备。在程序代码在可编程计算机上执行的情况下，计算装置一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)、至少一个输入装置、和至少一个输出装置。一个或多个程序可实施或利用结合本公开主题描述的流程，例如，通过使用应用程序编程接口(API)、可重复使用的控件等等。这种程序可用高级流程或面向对象的编程语言来实施以与计算机系统通信。然而，程序可视需要用汇编语言或机器语言来实施。在任何情况下，语言均可以是编译语言或解译语言并且其可与硬件实施方式组合。
尽管以结构特征和/或方法动作专用的语言描述了主题，但应理解所附权利要求中限定的主题不一定局限于上述具体特征或动作。相反地，将上述具体特征和动作公开作为实施权利要求的示例形式。

Claims (20)

1.一种存储设备，其包括：
获取式应用程序编程接口(API)机构，其从数据源接收存储数据的请求，所述请求每个均包含对待存储的数据类型的指示；
至少一个数据处理引擎，其被配置来处理所述类型的数据，由所述至少一个数据处理引擎进行的所述处理将所述数据变换成具有适合于使用者使用的格式的经处理的数据；
多个数据库，其存储所述经处理的数据并向使用者提供所述经处理的数据；以及
提取式API机构，其由所述使用者调用来检索所述经处理的数据。
2.如权利要求1所述的设备，其还包括API管理组件，其认证、计量并限制所述请求和对所述获取式API机构和所述提取式API机构的调用。
3.如权利要求2所述的设备，其中所述获取式API机构和所述提取式API机构由所述存储设备公开以在各个统一资源标识符(URI)处接收请求。
4.如权利要求1所述的设备，其中由所述获取式API接收到的数据被处理并且根据所述请求中向所述获取式API机构指示的所述数据类型以无阻塞的方式存储到所述数据库中的一个中。
5.如权利要求1所述的设备，其中所述获取式API机构还包括负载平衡器，其确定所述存储设备内待利用的资源以便最小化将所述经处理的数据存储在所述数据库中的响应时间。
6.如权利要求1所述的设备，其中所述获取式API机构根据所述请求中指示的所述数据类型来将所述数据放到预定消息队列中，用于由与所述数据类型相关联的各个数据处理引擎进行处理。
7.如权利要求1所述的设备，其中所述至少一个数据处理引擎还包括：
数据泵，其从队列读取消息；
处理程序，其从所述队列接收消息；
数据盒带，其配置所述数据处理引擎来处理来自所述处理程序的数据以将所述数据变换成所述经处理的数据；
数据库接口，其将所述经处理的数据写入所述多个数据库之间的预定数据库；以及
交换机构，其直接向所述使用者提供经处理的数据，
其中，所述预定数据库是基于待存储在其中的所述数据类型选择的。
8.如权利要求7所述的设备，其中如果所述各个数据处理引擎接收未知类型的数据，则所述各个数据处理引擎将所述数据放到可以处理所述数据的所述至少一个数据处理引擎中的另一个的队列中。
9.如权利要求1所述的设备，其中所述数据是由所述数据源提供的栅格数据
10.如权利要求9所述的设备，其中所述数据类型是孢粉数据、卫星数据、预报模型、风力数据、闪电数据、空气质量数据、用户数据、温度数据或气象站数据中的一个。
11.一种存储和提供数据的方法，其包括：
在获取式应用程序编程接口(API)机构处从数据源接收存储数据的请求，所述请求每个均包含对待存储的数据类型的指示；
在数据处理引擎处处理所述数据，所述数据处理引擎被配置来处理所述类型的数据以将所述数据变换成具有适合于使用者使用的格式的经处理的数据；
将所述经处理的数据存储在还向使用者提供所述经处理的数据的多个数据库中的一个处；并且
在提取式API机构处从使用者接收调用来检索所述经处理的数据。
12.如权利要求11所述的方法，其还包括使用API管理组件认证、计量并限制所述请求和对所述获取式API机构和所述提取式API机构的调用。
13.如权利要求12所述的方法，其还包括在各个统一资源标识符(URI)处公开所述获取式API机构和所述提取式API机构。
14.如权利要求11所述的方法，其还包括根据所述请求中向所述获取式API机构指示的所述数据类型以无阻塞的方式将数据存储到所述多个数据库中的所述一个中。
15.如权利要求11所述的方法，其还包括提供负载平衡器，其确定所述存储设备内待利用的资源以便最小化将所述经处理的数据存储在所述多个数据库中的所述一个中的响应时间。
16.如权利要求11所述的方法，其还包括根据所述请求中指示的所述数据类型来将所述数据放到预定的消息队列中，用于由与所述数据类型相关联的各个数据处理引擎进行处理。
17.如权利要求11所述的方法，其还包括为所述数据处理引擎进一步提供：数据泵，其从队列读取消息；处理程序，其从所述队列接收消息；数据盒带，其配置所述数据处理引擎来处理来自所述处理程序的数据以将所述数据变换成所述经处理的数据；数据库接口，其将所述经处理的数据写入所述多个数据库之间的预定数据库；以及交换机构，其直接向所述使用者提供经处理的数据，
18.如权利要求17所述的方法，其还包括：
确定所述各个数据处理引擎是否接收未知类型的数据；并且
将所述数据放到可以处理所述数据的所述至少一个数据处理引擎中的另一个的队列中。
19.如权利要求11所述的方法，其中所述数据是由所述数据源提供的栅格数据
20.如权利要求19所述的方法，其中所述数据类型是孢粉数据、卫星数据、预报模型、风力数据、闪电数据、空气质量数据、用户数据、温度数据或气象站数据中的一个。
CN201480064163.4A 2013-11-13 2014-11-12 存储设备以及存储和提供数据的方法 Expired - Fee Related CN106104414B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361903650P 2013-11-13 2013-11-13
US61/903,650 2013-11-13
PCT/US2014/065176 WO2015073512A2 (en) 2013-11-13 2014-11-12 Storage utility network

Publications (2)

Publication Number Publication Date
CN106104414A true CN106104414A (zh) 2016-11-09
CN106104414B CN106104414B (zh) 2019-05-21

Family

ID=53058246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480064163.4A Expired - Fee Related CN106104414B (zh) 2013-11-13 2014-11-12 存储设备以及存储和提供数据的方法

Country Status (8)

Country Link
US (2) US20150142861A1 (zh)
EP (1) EP3069214A4 (zh)
CN (1) CN106104414B (zh)
CA (1) CA2930542C (zh)
DE (1) DE112014005183T5 (zh)
GB (1) GB2535398B (zh)
HK (1) HK1223437A1 (zh)
WO (1) WO2015073512A2 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298734B2 (en) * 2014-06-06 2016-03-29 Hitachi, Ltd. Storage system, computer system and data migration method
FR3031205B1 (fr) * 2014-12-31 2017-01-27 Bull Sas Systeme de gestion de donnees d'equipements utilsateurs
US10650014B2 (en) * 2015-04-09 2020-05-12 International Business Machines Corporation Data ingestion process
CN108984580B (zh) * 2018-05-04 2019-10-01 四川省气象探测数据中心 一种气象站网信息动态管理系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050071848A1 (en) * 2003-09-29 2005-03-31 Ellen Kempin Automatic registration and deregistration of message queues
CN1610905A (zh) * 2001-12-28 2005-04-27 汤姆森许可贸易公司 针对数据类型依赖处理、自动检测数据类型的方法和装置
CN101536021A (zh) * 2006-11-01 2009-09-16 微软公司 健康集成平台api
US20090307393A1 (en) * 2008-06-06 2009-12-10 International Business Machines Corporation Inbound message rate limit based on maximum queue times
US20110161321A1 (en) * 2009-12-28 2011-06-30 Oracle International Corporation Extensibility platform using data cartridges
CN102439913A (zh) * 2009-02-27 2012-05-02 雅塔公司 网络业务管理和负载平衡的系统和方法
CN102567333A (zh) * 2010-12-15 2012-07-11 上海杉达学院 分布式异构数据整合系统
CN103283186A (zh) * 2010-12-30 2013-09-04 华为技术有限公司 用于在多平台环境中管理、存储共享数字内容并向用户关系限定的群组中的用户提供共享数字内容的系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6425017B1 (en) * 1998-08-17 2002-07-23 Microsoft Corporation Queued method invocations on distributed component applications
US7325042B1 (en) * 2002-06-24 2008-01-29 Microsoft Corporation Systems and methods to manage information pulls
US6865452B2 (en) * 2002-08-30 2005-03-08 Honeywell International Inc. Quiet mode operation for cockpit weather displays
US7546297B2 (en) * 2005-03-14 2009-06-09 Microsoft Corporation Storage application programming interface
US8533746B2 (en) * 2006-11-01 2013-09-10 Microsoft Corporation Health integration platform API
US20150348083A1 (en) * 2009-01-21 2015-12-03 Truaxis, Inc. System, methods and processes to identify cross-border transactions and reward relevant cardholders with offers
WO2010117623A2 (en) * 2009-03-31 2010-10-14 Coach Wei System and method for access management and security protection for network accessible computer services
US20130218955A1 (en) * 2010-11-08 2013-08-22 Massachusetts lnstitute of Technology System and method for providing a virtual collaborative environment
JP5712825B2 (ja) * 2011-07-07 2015-05-07 富士通株式会社 座標コード化装置、座標コード化方法、距離算出装置、距離算出方法、プログラム
DE202012102955U1 (de) * 2011-08-10 2013-01-28 Playtech Software Ltd. Widget Verwalter
US9395920B2 (en) * 2011-11-17 2016-07-19 Mirosoft Technology Licensing, LLC Throttle disk I/O using disk drive simulation model
JP2013178748A (ja) * 2012-02-01 2013-09-09 Ricoh Co Ltd 情報処理装置、プログラム、情報処理システム及びデータ変換処理方法
US9495468B2 (en) * 2013-03-12 2016-11-15 Vulcan Technologies, Llc Methods and systems for aggregating and presenting large data sets
US9858322B2 (en) * 2013-11-11 2018-01-02 Amazon Technologies, Inc. Data stream ingestion and persistence techniques
US20160088083A1 (en) * 2014-09-21 2016-03-24 Cisco Technology, Inc. Performance monitoring and troubleshooting in a storage area network environment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1610905A (zh) * 2001-12-28 2005-04-27 汤姆森许可贸易公司 针对数据类型依赖处理、自动检测数据类型的方法和装置
US20050071848A1 (en) * 2003-09-29 2005-03-31 Ellen Kempin Automatic registration and deregistration of message queues
CN101536021A (zh) * 2006-11-01 2009-09-16 微软公司 健康集成平台api
US20090307393A1 (en) * 2008-06-06 2009-12-10 International Business Machines Corporation Inbound message rate limit based on maximum queue times
CN102439913A (zh) * 2009-02-27 2012-05-02 雅塔公司 网络业务管理和负载平衡的系统和方法
US20110161321A1 (en) * 2009-12-28 2011-06-30 Oracle International Corporation Extensibility platform using data cartridges
CN102567333A (zh) * 2010-12-15 2012-07-11 上海杉达学院 分布式异构数据整合系统
CN103283186A (zh) * 2010-12-30 2013-09-04 华为技术有限公司 用于在多平台环境中管理、存储共享数字内容并向用户关系限定的群组中的用户提供共享数字内容的系统

Also Published As

Publication number Publication date
CN106104414B (zh) 2019-05-21
EP3069214A2 (en) 2016-09-21
WO2015073512A2 (en) 2015-05-21
US20240104053A1 (en) 2024-03-28
HK1223437A1 (zh) 2017-07-28
GB201609714D0 (en) 2016-07-20
US20150142861A1 (en) 2015-05-21
CA2930542A1 (en) 2015-05-21
CA2930542C (en) 2023-09-05
WO2015073512A3 (en) 2015-11-19
EP3069214A4 (en) 2017-07-05
GB2535398B (en) 2020-11-25
DE112014005183T5 (de) 2016-07-28
GB2535398A (en) 2016-08-17

Similar Documents

Publication Publication Date Title
CN106445652B (zh) 用于智能云计划和停用的方法和系统
US10671368B2 (en) Automatic creation of delivery pipelines
US20170206500A1 (en) Real-time determination of delivery/shipping using multi-shipment rate cards
US20190278938A1 (en) Data processing in a hybrid cluster environment
US20210042628A1 (en) Building a federated learning framework
US11215840B2 (en) Testing a biological sample based on sample spectrography and machine learning techniques
CN103870591B (zh) 用于针对空间数据进行并行空间分析服务的方法及系统
US9454732B1 (en) Adaptive machine learning platform
US11757977B2 (en) Rule-based action triggering in a provider network
US20180292221A1 (en) Deep learning allergen mapping
US20240104053A1 (en) Storage utility network
US20180218095A1 (en) Suggesting Sensor Placements for Improving Emission Inventory
CN110490450A (zh) 基于混合云的生物信息管理系统
US20220050728A1 (en) Dynamic data driven orchestration of workloads
Fé et al. Performance-cost trade-off in auto-scaling mechanisms for cloud computing
US20130066828A1 (en) Scale-out system to acquire event data
US20230222004A1 (en) Data locality for big data on kubernetes
Hu et al. CyberGIS‐BioScope: a cyberinfrastructure‐based spatial decision‐making environment for biomass‐to‐biofuel supply chain optimization
CN104754040B (zh) 用于端到端云服务虚拟化的系统
US20140214583A1 (en) Data distribution system, method and program product
US20160253764A1 (en) Flexible targeting
US11159953B2 (en) Systems and methods for qualifying a network service for each unit of a multi-unit building
CN105989022B (zh) 数据排重方法及系统
US10939248B1 (en) Anti-poaching device
US20160127253A1 (en) Routing handler for rule-based action triggering

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1227132

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190521

Termination date: 20211112

CF01 Termination of patent right due to non-payment of annual fee