CN103294525A - 利用用户自定义函数进行数据库查询的方法和系统 - Google Patents
利用用户自定义函数进行数据库查询的方法和系统 Download PDFInfo
- Publication number
- CN103294525A CN103294525A CN2012100464986A CN201210046498A CN103294525A CN 103294525 A CN103294525 A CN 103294525A CN 2012100464986 A CN2012100464986 A CN 2012100464986A CN 201210046498 A CN201210046498 A CN 201210046498A CN 103294525 A CN103294525 A CN 103294525A
- Authority
- CN
- China
- Prior art keywords
- udf
- data
- receive
- data source
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据库，其中公开了一种利用用户自定义函数(UDF)进行数据库查询的方法和系统。方法包括检测是否接收到调用UDF传输参数值的命令；如果是，启动UDF的第一接口；通过第一接口接收参数值；将接收的参数值传送到外部数据源；返回检测是否接收到调用UDF以传输参数值的命令。利用本公开的上述方法，能够有效提高RDBMS和NoSQL数据源之间的数据交互性能。
Description
技术领域
本发明的实施方式一般涉及数据库，更具体地，涉及一种利用用户自定义函数(UDF)进行数据库查询的方法和系统。
背景技术
随着数据量的增大和用户需求的不断变化，不同于传统的关系数据库管理系统(RDBMS)的各种NoSQL系统不断涌现。与传统的关系数据库提供SQL结构化查询以及ACID(原子性、一致性、隔离性、持久性)的保证不同，NoSQL系统不使用SQL作为查询语言，其共有的特征是非关系数据存储、简单的API、最终一致性保证以及良好的水平扩展性，这使得NoSQL系统成为云计算平台中解决大数据存储和大数据查询分析的理想平台。
现有的NoSQL系统可以很好的支持针对大规模数据表的简单查询，例如基于主键的查询。但是，对于含有一个或多个大规模数据表的关联查询，NoSQL系统不能有效的提供支持，通常应用程序需要通过大量针对性开发才能实现基于NoSQL的复杂关联支持，这种方法使用不灵活，开发代价高，而且性能不易保证。基于RDBMS和NoSQL各自的优势，可以将两者结合。将关联查询所需关键数据存储在关系数据库，大规模完整数据存储在NoSQL系统中，从而利用混搭的方式提高大规模数据表的关联查询性能。
发明内容
然后，目前存在的可能混搭方式中RDBMS和NoSQL数据源之间的数据交互性能存在性能瓶颈，因此需要能够有效提高RDBMS和NoSQL数据源之间的数据交互性能的方案。
本发明说明性实施例中认识到现有技术中存在的上述缺点。为此，本公开提供了克服现有技术中一个或多个上述缺点的技术方案。
根据本发明的一个实施例，提供了一种用于利用用户自定义函数UDF进行数据库查询的方法，包括：检测是否接收到调用UDF传输参数值的命令；如果是，启动UDF的第一接口；通过第一接口接收参数值；将接收的参数值传送到外部数据源；返回检测是否接收到调用UDF以传输参数值的命令。
根据本发明的另一实施例，用于利用用户自定义函数UDF进行数据库查询的方法进一步包括：检测是否能够接收数据；如果是，启动UDF的第二接口；通过第二接口从外部数据源接收数据；其中，接收的数据是利用参数值获取的。
根据本发明的一个实施例，提供了一种用于利用用户自定义函数UDF进行数据库查询的系统，包括：检测单元，配置为检测是否接收到调用UDF传输参数值的命令；传送单元，配置为响应于检测单元检测接收到调用UDF传输参数值的命令：启动UDF的第一接口；通过第一接口接收参数值；将接收的参数值传送到外部数据源；返回单元，配置为返回检测是否接收到调用UDF以传输参数值的命令。
根据本发明的另一实施例，其中检测单元进一步配置为检测是否能够接收数据；用于利用用户自定义函数UDF进行数据库查询的系统进一步包括：获取单元，配置为响应于检测单元检测到能够接收数据：启动UDF的第二接口；通过第二接口从外部数据源接收数据；其中，接收的数据是利用参数值获取的。
此外，本发明的实施例还提供了与上述方法对应的计算机程序产品。
利用本发明实施例提供的上述一个或多个实施例，能够有效提高RDBMS和NoSQL数据源之间的数据交互性能。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
图1显示了适于用来实现本发明实施方式的示例性计算系统100的框图；
图2显示了根据本发明一个实施例用于利用用户自定义函数UDF进行数据库查询的方法200的流程图；
图3显示了根据本发明一个实施例用于利用用户自定义函数UDF进行数据库查询的系统300的框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1显示了适于用来实现本发明实施方式的示例性计算系统100的框图。如图1所示，计算机系统100可以包括：CPU(中央处理单元)101、RAM(随机存取存储器)102、ROM(只读存储器)103、系统总线104、硬盘控制器105、键盘控制器106、串行接口控制器107、并行接口控制器108、显示控制器109、硬盘110、键盘111、串行外部设备112、并行外部设备113和显示器114。在这些设备中，与系统总线104耦合的有CPU 101、RAM 102、ROM 103、硬盘控制器105、键盘控制器106、串行控制器107、并行控制器108和显示控制器109。硬盘110与硬盘控制器105耦合，键盘111与键盘控制器106耦合，串行外部设备112与串行接口控制器107耦合，并行外部设备113与并行接口控制器108耦合，以及显示器114与显示控制器109耦合。应当理解，图1所述的结构框图仅仅是为了示例的目的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。
所属技术领域的技术人员知道，本公开可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本公开还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
下面将参照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品(manufacture)。
也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
根据本公开的构思，利用用户自定义函数(UDF)实现混搭方式中RDBMS和NoSQL之间的数据交互，其中为UDF定义第一接口，用于响应于接收到调用UDF传输参数值的命令传输参数值；以及为UDF定义第二接口，用于响应于能够接收数据从外部数据源接收数据。在运行时环境，RDBMS为UDF创建UDF空间，包括初始化UDF、创建缓冲区以存储从外部数据源接收的数据、创建必须的工作线程或进程。假设该UDF的基本类为AUDF，例如可以通过以下方式定义：
其中，方法send(<argument list>)对应于UDF的第一接口，即用于响应于接收到调用UDF传输参数值的命令传输参数值。方法recv()对应于UDF的第二接口，即用于响应于能够接收数据从外部数据源接收数据。
可以例如通过调用以下CREATE FUNCTION声明来注册该UDF：
CREATE FUNCTION sampleAsyncUDF(out varchar(100))RETURNSTABLE(key varchar(20)，val VARCHAR(120))EXTERNAL NAME‘<methodspecification>’EXTERNAL ACTION
其中，<method specification>指定前面描述的UDF的第一接口和第二接口，类似于“jarfile.AsyncUDF！send！recv”。这样，第一接口对应于AsyncUDF::send()，第二接口对应于AsyncUDF::recv()。应该理解，上面给出的例子仅是出于说明的目的，可以用其他任意可能的方式定义用于自定义函数。上面的例子不能作为对本公开的限制。
现在参看图2，其中显示了根据本公开一个实施例用于利用用户自定义函数UDF进行数据库查询的方法200的流程图。方法200从步骤202开始。
接下来，方法200进入步骤204，其中检测是否接收到调用UDF传输参数值的命令。如果否，方法200返回检测是否接收到调用UDF传输参数值的命令的步骤204。如果是，方法200进入步骤206，其中启动UDF的第一接口。
接下来，方法200进入步骤208，其中通过第一接口接收参数值。
接下来，方法200进入步骤210，其中将参数值传送到外部数据源。
接下来，方法200进入步骤212，其中返回检测是否接收到调用UDF以传输参数值的命令。
结合上面给出的例子，在运行时环境，当需要通过UDF传输参数值时，RDBMS会调用UDF。相应的，UDF会检测是否接收到调用UDF传输参数值的命令。如果没有，返回检测是否接收到调用UDF传输参数值的命令。如果接收到调用UDF传输参数值的命令，UDF将启动第一接口，即上面给出的例子中的AsyncUDF::send()，接收RDBMS传送的参数值。然后，将参数值传送到外部数据源，这里，外部数据源通常是NoSQL数据源。根据UDF的定义，在完成了接收参数值并将参数值传送到外部数据源之后，返回检测是否接收到调用UDF以传输参数值的命令。传统的，UDF接收参数值并将参数值传送到外部数据源之后要等待接收从外部数据源获取的数据，只有在接收到从外部数据源获取的数据之后才能返回检测是否接收到调用UDF以传输参数值的命令。而根据本公开，无需等待接收从外部数据源获取的数据便直接返回检测是否接收到调用UDF以传输参数值的命令。由于无需等待接收从外部数据源获取的数据，使得RDBMS和NoSQL数据源之间的交互性能得以提高。应该理解，上面给出的例子仅是出于说明的目的，不能作为对本公开的限制。
继续参看图2，根据本公开另一个实施例，用于利用用户自定义函数UDF进行数据库查询的方法200进一步包括：
步骤214，其中检测是否能够接收数据；如果否，方法200返回检测是否能够接收数据。如果是，方法200进入步骤216，其中启动UDF的第二接口；
接下来，方法200进入步骤218，其中通过第二接口从外部数据源接收数据；其中，接收的数据是利用参数值获取的。
继续结合上面给出的例子，在运行时环境，定期检测是否能够接收数据。如果能够接收数据，UDF将启动第二接口，即上面给出的例子中的AsyncUDF::recv()，从外部数据源接收数据。这里，外部数据源通常是NoSQL数据源。从外部数据源接收的数据是利用前述利用第一接口传输的参数值获取的。根据本公开，UDF接收从外部数据源获取的数据与其将参数值传送到外部数据源之间是割裂的、异步的，因此可以有效地消除传统方式中存在的性能瓶颈，使得RDBMS和NoSQL数据源之间的交互性能得以提高。应该理解，上面给出的例子仅是出于说明的目的，不能作为对本公开的限制。
根据本公开的一个实施例，用于利用用户自定义函数UDF进行数据库查询的方法200进一步包括：存储从外部数据源接收的数据。例如可以利用UDF空间中的缓冲区存储从外部数据源接收的数据。
根据本公开的一个实施例，用于利用用户自定义函数UDF进行数据库查询的方法200进一步包括：检测是否存储有从外部数据源接收的数据；如果是，提供从外部数据源接收的数据。例如可以通过检测UDF空间中的缓冲区是否为空来检测是否存储有从外部数据源接收的数据。可以通过复制UDF空间中的缓冲区内容的方式提供这些从外部数据源接收的数据。
根据本公开的一个实施例，用于利用用户自定义函数UDF进行数据库查询的方法200进一步包括：移除已经提供过的从外部数据源接收的数据。
上面结合本公开的多个实施例对用于利用用户自定义函数UDF进行数据库查询的方法进行了描述，下面结合图3对用于利用用户自定义函数UDF进行数据库查询的系统进行说明。
现在参看图3，其中显示了根据本公开一个实施例用于利用用户自定义函数UDF进行数据库查询的系统300的框图。系统300包括：检测单元302，配置为检测是否接收到调用UDF传输参数值的命令；传送单元304，配置为响应于检测单元检测接收到调用UDF传输参数值的命令：启动UDF的第一接口；通过第一接口接收参数值；将接收的参数值传送到外部数据源；返回单元306，配置为返回检测是否接收到调用UDF以传输参数值的命令。
根据本公开的一个实施例，检测单元302进一步配置为检测是否能够接收数据，用于利用用户自定义函数UDF进行数据库查询的系统300进一步包括：获取单元308，配置为响应于检测单元检测到能够接收数据：启动UDF的第二接口；通过第二接口从外部数据源接收数据；其中，接收的数据是利用参数值获取的。
根据本公开的一个实施例，用于利用用户自定义函数UDF进行数据库查询的系统300进一步包括：存储单元310，配置为存储从外部数据源接收的数据。
根据本公开的一个实施例，其中检测单元进一步配置为检测是否存储有从外部数据源接收的数据，用于利用用户自定义函数UDF进行数据库查询的系统300进一步包括：提供单元(未显示)，配置为响应于检测单元检测到存储有从外部数据源接收的数据：提供从外部数据源接收的数据。
根据本公开的一个实施例，用于利用用户自定义函数UDF进行数据库查询的系统300进一步包括：移除单元(未显示)，配置为移除已经提供过的从外部数据源接收的数据。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种利用用户自定义函数UDF进行数据库查询的方法，包括：
检测是否接收到调用UDF传输参数值的命令；
如果是，
启动UDF的第一接口；
通过第一接口接收参数值；
将接收的参数值传送到外部数据源；
返回检测是否接收到调用UDF以传输参数值的命令。
2.根据权利要求1的方法，进一步包括：
检测是否能够接收数据；
如果是，
启动UDF的第二接口；
通过第二接口从外部数据源接收数据；
其中，接收的数据是利用参数值获取的。
3.根据权利要求2的方法，进一步包括：
存储从外部数据源接收的数据。
4.根据权利要求3的方法，进一步包括：
检测是否存储有从外部数据源接收的数据；
如果是，
提供从外部数据源接收的数据。
5.根据权利要求4的方法，进一步包括：
移除已经提供过的从外部数据源接收的数据。
6.一种利用用户自定义函数UDF进行数据库查询的系统，包括：
检测单元，配置为检测是否接收到调用UDF传输参数值的命令；
传送单元，配置为响应于检测单元检测接收到调用UDF传输参数值的命令：
启动UDF的第一接口；
通过第一接口接收参数值；
将接收的参数值传送到外部数据源；
返回单元，配置为返回检测是否接收到调用UDF以传输参数值的命令。
7.根据权利要求6的系统，其中检测单元进一步配置为检测是否能够接收数据；系统进一步包括：
获取单元，配置为响应于检测单元检测到能够接收数据：
启动UDF的第二接口；
通过第二接口从外部数据源接收数据；
其中，接收的数据是利用参数值获取的。
8.根据权利要求7的系统，进一步包括：
存储单元，配置为存储从外部数据源接收的数据。
9.根据权利要求8的系统，其中检测单元进一步配置为检测是否存储有从外部数据源接收的数据；系统进一步包括：
提供单元，配置为响应于检测单元检测到存储有从外部数据源接收的数据：
提供从外部数据源接收的数据。
10.根据权利要求9的系统，进一步包括：
移除单元，配置为移除已经提供过的从外部数据源接收的数据。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012100464986A CN103294525A (zh) | 2012-02-27 | 2012-02-27 | 利用用户自定义函数进行数据库查询的方法和系统 |
| US13/744,676 US9244999B2 (en) | 2012-02-27 | 2013-01-18 | Database query using a user-defined function |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012100464986A CN103294525A (zh) | 2012-02-27 | 2012-02-27 | 利用用户自定义函数进行数据库查询的方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103294525A true CN103294525A (zh) | 2013-09-11 |
Family
ID=49004404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012100464986A Pending CN103294525A (zh) | 2012-02-27 | 2012-02-27 | 利用用户自定义函数进行数据库查询的方法和系统 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9244999B2 (zh) |
| CN (1) | CN103294525A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104462351A (zh) * | 2014-12-05 | 2015-03-25 | 河海大学 | 一种面向MapReduce范型的数据查询模型与方法 |
| CN106547883A (zh) * | 2016-11-03 | 2017-03-29 | 北京集奥聚合科技有限公司 | 一种用户定义函数udf运行情况的处理方法及系统 |
| CN111506601A (zh) * | 2020-03-31 | 2020-08-07 | 新华三大数据技术有限公司 | 一种数据处理方法及装置 |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11461334B2 (en) | 2016-09-26 | 2022-10-04 | Splunk Inc. | Data conditioning for dataset destination |
| US11550847B1 (en) | 2016-09-26 | 2023-01-10 | Splunk Inc. | Hashing bucket identifiers to identify search nodes for efficient query execution |
| US11620336B1 (en) | 2016-09-26 | 2023-04-04 | Splunk Inc. | Managing and storing buckets to a remote shared storage system based on a collective bucket size |
| US11222066B1 (en) | 2016-09-26 | 2022-01-11 | Splunk Inc. | Processing data using containerized state-free indexing nodes in a containerized scalable environment |
| US10984044B1 (en) | 2016-09-26 | 2021-04-20 | Splunk Inc. | Identifying buckets for query execution using a catalog of buckets stored in a remote shared storage system |
| US11860940B1 (en) | 2016-09-26 | 2024-01-02 | Splunk Inc. | Identifying buckets for query execution using a catalog of buckets |
| US11003714B1 (en) | 2016-09-26 | 2021-05-11 | Splunk Inc. | Search node and bucket identification using a search node catalog and a data store catalog |
| US12013895B2 (en) | 2016-09-26 | 2024-06-18 | Splunk Inc. | Processing data using containerized nodes in a containerized scalable environment |
| US10977260B2 (en) | 2016-09-26 | 2021-04-13 | Splunk Inc. | Task distribution in an execution node of a distributed execution environment |
| US11281706B2 (en) | 2016-09-26 | 2022-03-22 | Splunk Inc. | Multi-layer partition allocation for query execution |
| US11243963B2 (en) | 2016-09-26 | 2022-02-08 | Splunk Inc. | Distributing partial results to worker nodes from an external data system |
| US11023463B2 (en) | 2016-09-26 | 2021-06-01 | Splunk Inc. | Converting and modifying a subquery for an external data system |
| US11562023B1 (en) | 2016-09-26 | 2023-01-24 | Splunk Inc. | Merging buckets in a data intake and query system |
| US11126632B2 (en) | 2016-09-26 | 2021-09-21 | Splunk Inc. | Subquery generation based on search configuration data from an external data system |
| US20180089324A1 (en) | 2016-09-26 | 2018-03-29 | Splunk Inc. | Dynamic resource allocation for real-time search |
| US11250056B1 (en) | 2016-09-26 | 2022-02-15 | Splunk Inc. | Updating a location marker of an ingestion buffer based on storing buckets in a shared storage system |
| US11593377B2 (en) | 2016-09-26 | 2023-02-28 | Splunk Inc. | Assigning processing tasks in a data intake and query system |
| US10956415B2 (en) | 2016-09-26 | 2021-03-23 | Splunk Inc. | Generating a subquery for an external data system using a configuration file |
| US11314753B2 (en) | 2016-09-26 | 2022-04-26 | Splunk Inc. | Execution of a query received from a data intake and query system |
| US11294941B1 (en) | 2016-09-26 | 2022-04-05 | Splunk Inc. | Message-based data ingestion to a data intake and query system |
| US11442935B2 (en) | 2016-09-26 | 2022-09-13 | Splunk Inc. | Determining a record generation estimate of a processing task |
| US11232100B2 (en) * | 2016-09-26 | 2022-01-25 | Splunk Inc. | Resource allocation for multiple datasets |
| US11163758B2 (en) | 2016-09-26 | 2021-11-02 | Splunk Inc. | External dataset capability compensation |
| US11269939B1 (en) | 2016-09-26 | 2022-03-08 | Splunk Inc. | Iterative message-based data processing including streaming analytics |
| US11615104B2 (en) | 2016-09-26 | 2023-03-28 | Splunk Inc. | Subquery generation based on a data ingest estimate of an external data system |
| US11586627B2 (en) | 2016-09-26 | 2023-02-21 | Splunk Inc. | Partitioning and reducing records at ingest of a worker node |
| US11874691B1 (en) | 2016-09-26 | 2024-01-16 | Splunk Inc. | Managing efficient query execution including mapping of buckets to search nodes |
| US11416528B2 (en) * | 2016-09-26 | 2022-08-16 | Splunk Inc. | Query acceleration data store |
| US11321321B2 (en) | 2016-09-26 | 2022-05-03 | Splunk Inc. | Record expansion and reduction based on a processing task in a data intake and query system |
| US11663227B2 (en) | 2016-09-26 | 2023-05-30 | Splunk Inc. | Generating a subquery for a distinct data intake and query system |
| US11599541B2 (en) | 2016-09-26 | 2023-03-07 | Splunk Inc. | Determining records generated by a processing task of a query |
| US11567993B1 (en) | 2016-09-26 | 2023-01-31 | Splunk Inc. | Copying buckets from a remote shared storage system to memory associated with a search node for query execution |
| US10726009B2 (en) | 2016-09-26 | 2020-07-28 | Splunk Inc. | Query processing using query-resource usage and node utilization data |
| US11604795B2 (en) | 2016-09-26 | 2023-03-14 | Splunk Inc. | Distributing partial results from an external data system between worker nodes |
| US10795884B2 (en) | 2016-09-26 | 2020-10-06 | Splunk Inc. | Dynamic resource allocation for common storage query |
| US11580107B2 (en) | 2016-09-26 | 2023-02-14 | Splunk Inc. | Bucket data distribution for exporting data to worker nodes |
| US10353965B2 (en) | 2016-09-26 | 2019-07-16 | Splunk Inc. | Data fabric service system architecture |
| US11106734B1 (en) | 2016-09-26 | 2021-08-31 | Splunk Inc. | Query execution using containerized state-free search nodes in a containerized scalable environment |
| US10776355B1 (en) | 2016-09-26 | 2020-09-15 | Splunk Inc. | Managing, storing, and caching query results and partial query results for combination with additional query results |
| US11921672B2 (en) | 2017-07-31 | 2024-03-05 | Splunk Inc. | Query execution at a remote heterogeneous data store of a data fabric service |
| US11989194B2 (en) | 2017-07-31 | 2024-05-21 | Splunk Inc. | Addressing memory limits for partition tracking among worker nodes |
| US10896182B2 (en) | 2017-09-25 | 2021-01-19 | Splunk Inc. | Multi-partitioning determination for combination operations |
| US11151137B2 (en) | 2017-09-25 | 2021-10-19 | Splunk Inc. | Multi-partition operation in combination operations |
| US11334543B1 (en) | 2018-04-30 | 2022-05-17 | Splunk Inc. | Scalable bucket merging for a data intake and query system |
| WO2020220216A1 (en) | 2019-04-29 | 2020-11-05 | Splunk Inc. | Search time estimate in data intake and query system |
| US11715051B1 (en) | 2019-04-30 | 2023-08-01 | Splunk Inc. | Service provider instance recommendations using machine-learned classifications and reconciliation |
| US11494380B2 (en) | 2019-10-18 | 2022-11-08 | Splunk Inc. | Management of distributed computing framework components in a data fabric service system |
| US11922222B1 (en) | 2020-01-30 | 2024-03-05 | Splunk Inc. | Generating a modified component for a data intake and query system using an isolated execution environment image |
| US11704313B1 (en) | 2020-10-19 | 2023-07-18 | Splunk Inc. | Parallel branch operation using intermediary nodes |
| CN115185999A (zh) * | 2022-09-13 | 2022-10-14 | 北京达佳互联信息技术有限公司 | 数据处理方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040199636A1 (en) * | 2001-09-28 | 2004-10-07 | International Business Machines Corporation | Automatic generation of database invocation mechanism for external web services |
| US20040255006A1 (en) * | 2003-04-29 | 2004-12-16 | International Business Machines Corporation | System and method of handling a web service call |
| CN1694064A (zh) * | 2004-05-05 | 2005-11-09 | 惠普开发有限公司 | 组件化嵌入式系统信息检索系统和方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5379419A (en) | 1990-12-07 | 1995-01-03 | Digital Equipment Corporation | Methods and apparatus for accesssing non-relational data files using relational queries |
| US5819251A (en) | 1996-02-06 | 1998-10-06 | Oracle Corporation | System and apparatus for storage retrieval and analysis of relational and non-relational data |
| US5987453A (en) | 1997-04-07 | 1999-11-16 | Informix Software, Inc. | Method and apparatus for performing a join query in a database system |
| US5963933A (en) | 1997-06-25 | 1999-10-05 | International Business Machines Corporation | Efficient implementation of full outer join and anti-join |
| US6167399A (en) | 1998-05-05 | 2000-12-26 | Ncr Corporation | Join index for relational databases |
| US6385604B1 (en) | 1999-08-04 | 2002-05-07 | Hyperroll, Israel Limited | Relational database management system having integrated non-relational multi-dimensional data store of aggregated data elements |
| US6581060B1 (en) | 2000-06-21 | 2003-06-17 | International Business Machines Corporation | System and method for RDBMS to protect records in accordance with non-RDBMS access control rules |
| US8635682B2 (en) * | 2010-11-24 | 2014-01-21 | Oracle International Corporation | Propagating security identity information to components of a composite application |
-
2012
- 2012-02-27 CN CN2012100464986A patent/CN103294525A/zh active Pending
-
2013
- 2013-01-18 US US13/744,676 patent/US9244999B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040199636A1 (en) * | 2001-09-28 | 2004-10-07 | International Business Machines Corporation | Automatic generation of database invocation mechanism for external web services |
| US20040255006A1 (en) * | 2003-04-29 | 2004-12-16 | International Business Machines Corporation | System and method of handling a web service call |
| CN1694064A (zh) * | 2004-05-05 | 2005-11-09 | 惠普开发有限公司 | 组件化嵌入式系统信息检索系统和方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104462351A (zh) * | 2014-12-05 | 2015-03-25 | 河海大学 | 一种面向MapReduce范型的数据查询模型与方法 |
| CN104462351B (zh) * | 2014-12-05 | 2018-07-24 | 河海大学 | 一种面向MapReduce范型的数据查询模型与方法 |
| CN106547883A (zh) * | 2016-11-03 | 2017-03-29 | 北京集奥聚合科技有限公司 | 一种用户定义函数udf运行情况的处理方法及系统 |
| CN106547883B (zh) * | 2016-11-03 | 2021-02-19 | 北京集奥聚合科技有限公司 | 一种用户定义函数udf运行情况的处理方法及系统 |
| CN111506601A (zh) * | 2020-03-31 | 2020-08-07 | 新华三大数据技术有限公司 | 一种数据处理方法及装置 |
| CN111506601B (zh) * | 2020-03-31 | 2022-08-30 | 新华三大数据技术有限公司 | 一种数据处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130226889A1 (en) | 2013-08-29 |
| US9244999B2 (en) | 2016-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103294525A (zh) | 利用用户自定义函数进行数据库查询的方法和系统 | |
| WO2018192487A1 (zh) | 一种控制智能设备联动的方法及装置 | |
| JP7065082B2 (ja) | 分散されたセマンティック記述子に対するセマンティッククエリ | |
| US7979136B2 (en) | Method and system for multi-device communication | |
| US9760583B2 (en) | Method for native program to inherit same transaction context when invoked by primary program running in separate environment | |
| US20050138047A1 (en) | Techniques for managing XML data associated with multiple execution units | |
| JP4972082B2 (ja) | 開発者がシステム上の周知のロケーションを容易に発見し、または拡張するための能力 | |
| WO2018040722A1 (zh) | 表数据查询方法及装置 | |
| US10635671B2 (en) | Sort-merge band join optimization | |
| US9111081B2 (en) | Remote direct memory access authentication of a device | |
| US20160014545A1 (en) | Automatic connection of bluetooth human interface devices | |
| JP2019537100A (ja) | サービス層のためのアクセス制御ポリシーの同期 | |
| US20160034582A1 (en) | Computing device and method for executing database operation command | |
| US20070027862A1 (en) | Anonymous types for statically typed queries | |
| US20170019459A1 (en) | File transmission method, file transmission apparatus, and file transmission system | |
| CN106649488A (zh) | 多数据源交互接口的调用方法及装置 | |
| CN107102995B (zh) | 一种sql执行计划的确定方法及装置 | |
| KR101366993B1 (ko) | 원격 디바이스 드라이버 제공 시스템 및 원격 디바이스 드라이버 제공 방법 | |
| CN103678396A (zh) | 一种基于数据模型的数据备份方法和装置 | |
| WO2015051742A1 (zh) | 一种设备之间自动实现无线连接的方法及设备 | |
| US20130067058A1 (en) | Providing external access to service versions via a bundle framework | |
| WO2015101254A1 (zh) | 一种信息交互的方法、装置及系统 | |
| CN110874365B (zh) | 一种信息查询方法及其相关设备 | |
| JP2024012459A (ja) | ハッシュチェインを使用してスカラーデジタル資産を表すための方法及びシステム | |
| WO2023231615A1 (zh) | 一种基于数据湖的物化列创建方法以及数据查询方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130911 |