CN106687955B - 简化将数据从数据源转移到数据目标的导入过程的调用 - Google Patents

简化将数据从数据源转移到数据目标的导入过程的调用 Download PDF

Info

Publication number
CN106687955B
CN106687955B CN201580051003.0A CN201580051003A CN106687955B CN 106687955 B CN106687955 B CN 106687955B CN 201580051003 A CN201580051003 A CN 201580051003A CN 106687955 B CN106687955 B CN 106687955B
Authority
CN
China
Prior art keywords
import
data
use case
rows
connector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580051003.0A
Other languages
English (en)
Other versions
CN106687955A (zh
Inventor
S·萨卡尔
A·加德吉尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oracle Financial Services Software Ltd
Original Assignee
Oracle Financial Services Software Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oracle Financial Services Software Ltd filed Critical Oracle Financial Services Software Ltd
Publication of CN106687955A publication Critical patent/CN106687955A/zh
Application granted granted Critical
Publication of CN106687955B publication Critical patent/CN106687955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/119—Details of migration of file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开的一个方面有助于将数据从多个数据源转移到期望的数据目标。在一个实施例中，维护指定多个用例的元数据，其中每个用例指示导入过程和要由一组导入参数满足的对应的条件，使得在满足对应的条件时导入过程被执行以导入数据。响应于接收到请求将数据从数据源转移到数据目标的导入连接器，选择具有由在导入连接器中接收到的对应的导入参数的相应值满足的条件的用例。然后启动由所选择的用例指示的导入过程的执行，以将数据从数据源导入到数据目标。

Description

简化将数据从数据源转移到数据目标的导入过程的调用
优先权要求
本专利申请涉及以下共同未决申请并且要求其优先权，这些申请被整体地结合于此：
A.2014年9月22日提交的、序列号为4619/CHE/2014、具名的申请人与本专利申请相同、标题为“Coding Technique Using A Decision Tree In Data Importing”的印度专利申请；以及
B.2015年2月27日提交的、序列号为14633158、具名的申请人与本专利申请相同、标题为“Simplifying Invocation Of Import Procedures To Transfer Data From DataSources To Data Targets”的美国非临时专利申请。
技术领域
本公开涉及数据存储和管理，并且更具体地涉及简化将数据从数据源转移到数据目标的导入过程(import procedure)的调用。
背景技术
经常存在将数据从数据源转移到数据目标的需求。转移经常需要处理数据以将其转换为适当的格式，并然后将数据存储在对应的数据目标中。这种处理通常被称为ETL(提取、变换和加载)。
导入过程经常被实现用于提供作为必要转移的一部分的特定处理功能。例如，可以为数据源和数据目标的特定组合设计导入过程。通常，需要调用对应的导入过程以实现期望的转移，其中调用潜在地需要额外的支持动作(诸如设置导入过程的某些配置选项)。
本公开的各方面简化了用于转移数据的这种导入过程的调用，尤其在复杂环境中。
附图说明
本公开的示例实施例参考下面简要描述的附图进行描述。
图1是示出了可以实现本公开的若干方面的示例环境(计算系统)的框图。
图2是示出根据本公开的一个方面的其中导入过程(用于将数据从数据源转移到数据目标)的调用被简化的方式的流程图。
图3是示出在一个实施例中导入过程的调用被简化的方式的框图。
图4A和4B一起绘出了在一个实施例中指定用例(控制储存库360)的元数据被维护的方式。
图5A示出了在一个实施例中管理者指定数据源和数据目标作为导入连接器的一部分的方式。
图5B示出了在一个实施例中管理者指定用作数据源的文本文件的格式的方式。
图5C示出了在一个实施例中管理者指定用于过滤要从数据源导入的记录的表达式的方式。
图5D示出了在一个实施例中管理者指定导入参数的值作为导入连接器的一部分的方式。
图5E示出了在一个实施例中管理者指定数据源中的字段与数据目标中的属性之间的映射的方式。
图5F示出了在一个实施例中接收导入连接器的方式。
图6是示出本公开的若干方面可通过执行适当的软件指令进行操作的数字处理系统的细节的框图。
在附图中，相同的附图标记通常指示相同的、功能上相似的和/或结构上相似的要素。要素第一次出现的附图由对应附图标记中最左边的数字指示。
具体实施方式
1.概述
本公开的一个方面有助于将数据从多个数据源转移到期望的数据目标。在一个实施例中，维护指定多个用例的元数据，其中每个用例指示导入过程、和一组导入参数要满足的对应的条件，使得在满足对应的条件时导入过程被执行以导入数据。
响应于接收到请求将数据从数据源转移到数据目标的导入连接器，选择具有在导入连接器中接收到的对应的导入参数的相应值所满足的条件的用例。由所选择的用例指示的导入过程的执行然后被启动，以将数据从数据源导入到数据目标。
下面参考示例描述本公开的若干方面以便说明。但是，相关领域的技术人员将认识到，本公开可以在没有一个或多个具体细节的情况下或者利用其它方法、组件、材料等来实践。在其它情况下中，众所周知的结构、材料或操作未详细示出，以避免模糊本公开的特征。此外，所描述的特征/方面可以以各种组合来实践，但是为了简洁起见，本文只描述了其中的一些组合。
2.示例环境
图1是示出其中可以实现本公开的若干方面的示例环境(计算系统)的框图。框图被示为包含终端用户系统110A-110Z、互联网120、内联网130、服务器系统140A-140C、管理者系统150和数据存储库180A-180B。
仅仅为了例示，在图中仅示出了代表性数量/类型的系统。取决于环境被设计的目的，许多环境经常包含数量和类型更多的系统。下面更详细地描述图1的每个系统/设备。
内联网130表示在全都设于企业(用点线边界示出)内的服务器系统140A-140C、管理者系统150和数据存储器180A-180B之间提供连接的网络。互联网120扩展这些系统(以及企业的其它系统)与外部系统(诸如终端用户系统110A-110Z)的连接。内联网130和互联网120均可以使用相关领域中众所周知的协议(诸如传输控制协议(TCP)和/或互联网协议(IP))来实现。一般来说，在TCP/IP环境中，IP数据包用作基本传输单元，源地址被设置为向该数据包发源的源系统分配的IP地址，目的地地址被设置为该数据包最终被递送到的目的地系统的IP地址。
当数据包的目的地IP地址被设置为目的地系统的IP地址时，IP数据包被说成是指向(directed to)目的地系统，使得数据包通过互联网120和内联网130最终被递送到目的地系统。当数据包包含指定目的地应用的内容(诸如端口号)时，数据包也可以被说成是指向此类应用。目的地系统可以被要求使对应端口号保持可用/开放，并且通过对应的目的地端口对数据包进行处理。互联网120和内联网130均可以使用有线介质或无线介质的任何组合来实现。
数据存储库180A-180B均表示便于由在企业的其它系统(诸如服务器系统140A-140C和管理者系统150)中执行的企业应用(诸如金融应用、分析框架等)存储和检索数据集合的非易失性(持久性)存储器。数据存储库180A-180B中的一些均可以被实现为使用关系数据库技术的数据库服务器，并因此通过使用诸如结构化查询语言(SQL)之类的结构化查询提供对数据的存储和检索。如相关领域中众所周知的，其它数据存储器可以被实现为文件服务器，该文件服务器提供对被组织为一个或多个目录的文件的形式的数据的存储和检索。
终端用户系统110A-110Z均表示被用户用来产生并发送指向企业的特定系统的用户请求的系统，诸如个人计算机、工作站、移动站、移动电话、计算平板等。用户请求可以使用适当的用户界面(例如，由在企业中执行的应用提供的网页)来产生。例如，用户可以将用于执行各种任务的用户请求发送给在服务器系统140A-140C中执行的企业应用，并且接收包含所请求的任务的执行结果的响应。
服务器系统140A-140C均表示执行能够执行用户使用终端用户系统110A-110Z请求的任务的企业应用的服务器，诸如web/应用服务器。响应于从终端用户系统接收到请求，每个服务器系统执行请求中指定的任务，并且将任务的执行结果发送到发起请求的终端用户系统。每个服务器系统可以使用内部存储(例如，存储在服务器内的非易失性存储器/硬盘中)的数据、外部数据(例如，数据存储库180A-180B中维护的数据)和/或在执行此类任务时从外部源(例如，从用户)接收的数据。
因此，由企业应用使用的数据可以被维护在企业内的诸如服务器系统140A-140C和数据存储库180A-180B之类的不同系统中。数据可以以不同的格式进行维护/存储，例如，作为文件、数据库(在数据存储库180A-180B中)、传统系统、分布式数据等。相应地，可能存在将数据从存储数据的一个系统(“数据源”)转移到另一个系统(“数据目标”)的需求。应当注意，这种转移可能涉及一个或多个中间/附加步骤，诸如改变数据的格式、过滤源数据、对源数据执行计算以生成目标数据、在成功转移(通常称为移动数据)之后从数据源删除被转移的数据等。
如背景技术部分所述，数据的转移典型地通过使用一个或多个导入过程来实现。在具有不同数量的数据源和数据目标的复杂环境中，导入过程的数量可能较大(在100+的范围内)，其中每个导入过程需要在调用期间设置对应的配置选项。相应地，对于每次转移，需要管理者识别合适的导入过程、确定用于所识别的导入过程的配置选项的适当值、并且此后利用所确定的值调用所识别的导入过程。这样的任务对于管理者来说可能是费时费力的，尤其是在要执行大量的转移时。
如下面利用示例描述的，根据本公开的若干方面提供的管理者系统150简化了将数据从数据源转移到数据目标的导入过程的调用。
3.简化导入过程的调用
图2是示出根据本公开的一个方面的导入过程(用于将数据从数据源转移到数据目标)的调用被简化的方式的流程图。仅仅是为了例示，该流程图针对图1(特别是管理者系统150)进行描述。但是，如相关领域的技术人员通过阅读在此提供的公开内容而明白的，在不脱离本公开的若干方面的范围和精神的情况下，许多特征也可以在其它环境中(并且潜在地使用其它类型的系统/服务器)实现。
此外，如相关领域的技术人员明白的，一些步骤可以以与下面描述的顺序不同的顺序执行，以适配特定环境。许多这样的实现打算由本公开的若干方面覆盖。该流程图在步骤201中开始，其中控制立即转到步骤210。
在步骤210中，管理者系统150维护指定用例的元数据，每个用例指示导入过程和要由导入参数满足的条件的组合。如可以容易地理解的，元数据是指在软件/程序指令外部维护并且在执行期间作为指令的输入提供的数据。所述条件典型地是基于导入参数构建的逻辑表达式的形式。
在步骤230中，管理者系统150接收表示将数据从数据源转移到数据目标的请求的导入连接器。导入连接器还指定导入参数的值。
在步骤260中，管理者系统150选择其条件被在导入连接器中接收到的导入参数的值满足的用例。如果导入参数的值在对条件应用时将对应的逻辑表达式评估为预先指定的逻辑值(例如，真)，则认为条件被满足。
在步骤280中，管理者系统150调用(即，发起执行)由所选择的用例指示的导入过程，以根据导入连接器将数据从数据源导入到数据目标。用例还可以指定在调用之前或之后要执行的任何(支持)操作，并且相应地除了调用之外，这样的操作也可以被执行。该流程图在步骤299中结束。
因此，通过使得用户/管理者能够(在步骤210中)指定捕获不同转移场景的用例，简化了用于(在步骤230-280中)执行(大量)转移的导入过程的选择和调用。上述特征可以在各种实施例中实现。关于在对应的环境中转移数据的示例实现继续进行描述。
4.示例实现
图3是示出在一个实施例中导入过程的调用被简化的方式的框图。框图被示为包含数据源310A-310C、分析应用数据(AAD)320、数据集成器330、知识模块340(在数据集成器330中执行)、用例识别器350、控制储存库360、用户界面提供者370和导入管理器380(其中方框350、360、370和380被示为在管理者系统150中执行)。下面详细描述每个方框。
数据源310A-310C均表示企业内存储/具有寻求转移的数据的对应系统(诸如服务器系统140A-140C或数据存储库180A-180B)。如上所述，每个数据源可以是一个或多个文本文件、一个或多个可扩展标记语言(XML)文件、数据库中的表、(诸如由可从Apache公司获得的Hadoop[TM]维护的)一个或多个分布式数据节点等中的一项。
分析应用数据(AAD)320表示数据存储库180B(假定被实现为关系数据库服务器)中的数据库中的一个或多个表，并且被分析应用(未示出)用来处理用户请求。在一个实施例中，AAD 320被建模为对象(并且相应地由分析应用访问)。例如，一个或多个表中的数据可以被建模为对象，这种表的各列被建模为对象的对应的属性。表中的每一行然后被建模为对象的实例(“对象实例”)，各属性具有存储在行中的对应的值。
分析应用是在服务器系统140A-140C之一中执行的商业情报应用，通常使金融企业能够测量和满足经风险调整后的表现目标，以培养风险管理文化、降低合规和监管的成本、以及提高客户洞察力。可从Oracle公司获得的Oracle金融服务分析应用(OFSAA)是这种分析应用的示例。
可以理解，对于分析应用的操作，可以要求来自各种数据源(诸如310A-310C)的数据被导入到AAD 320中(其中AAD或AAD中的一些表是数据目标)。这种导入可能需要将数据从数据源中的格式转换为可以在AAD 320中作为数据目标的一部分存储的一个或多个对象实例。
数据集成器330表示有助于将数据从不同的数据源(诸如310A-310C)导入到AAD320中的系统/应用(在服务器系统140A-140C之一中执行)。数据集成器330涵盖各种数据集成需求，诸如执行高容量、高性能的批加载到事件驱动的、滴流馈送(trickle-feed)的集成过程、到允许面向服务的体系架构(SOA)的数据服务。在一个实施例中，数据集成器用于将数据导入/加载到数据存储库180B内的分段表(未示出)中，其随后被并入到AAD 320中。可从Oracle公司获得的Oracle数据集成器(ODI)是这种数据集成器应用的示例。
在一个实施例中，数据集成器330提供用于执行从不同数据源导入数据的各种知识模块340。基于数据源技术(文件vs表vs分布式数据)、要导入的记录/对象的数量、要执行的特定数据结合、数据源上是否使用了过滤器(以过滤所导入的数据)、数据源的数量、数据目标的数量(AAD 320中的表)中的至少一些但不限于此，提供了不同的知识模块。每个知识模块包含导入过程，导入过程当被执行时执行数据从期望的数据源到AAD 320中的导入。为了方便起见，在本文的公开中，假定每个知识模块对应于单个导入过程，其中一些知识模块340被设计为基于一个或多个配置选项的值来操作。
如上所述，本公开的若干方面基于由管理者系统150维护的元数据来简化导入过程(知识模块340)的调用。下面利用示例描述这种元数据可以被维护的方式。
5.维护元数据
控制储存库360表示指示由管理者系统150维护的各种用例的元数据。如相关领域的技术人员通过阅读本文的公开内容而明白的，虽然控制储存库360被示为在管理者系统150内，但是在替代实施例中，可以在诸如数据存储库180A-180B之类的外部系统中提供。下面利用示例描述可以维护的样本控制储存库/元数据。
图4A和4B一起绘出了在一个实施例中维护指定用例(控制储存库360)的元数据的方式。为了方便起见，元数据被示为以表格的形式维护，但是如相关领域的技术人员通过阅读本文的公开内容而明白的，在替代实施例中，元数据可以使用其它数据结构(诸如数组、树等)和/或以其它格式(诸如可扩展标记语言(XML))进行维护。
表400绘出了控制储存库360的一部分。列411(“USE_CASE_ID”)指示用例的标识符。多个行可以具有相同的标识符，以指示该用例被定义在表400中的对应的行中。通常，与用例相关联的每一行指定用例的对应的参数(导入/输入参数或输出参数)的详细信息。
列412(“PARAM_CODE”)指示作为用例的一部分被指定的参数的代码。每个代码都是字母数字值，其可以是Key参数(意味着对应的操作)或Non-Key参数(意味着它是导入参数)。Non-Key参数代码的示例是用于检查源是否是文件的ISFILE(在行441中)和用于检查源是否使用记录类型列的ISRECTYPE(在行442中)，而Key参数代码的示例是用于指示为导入过程设置输出选项的SETOPT。
列413(“PARAM_TYPE”)指定对应参数的类型，其中该列中的值“I”指示该行指定输入参数，并且该列中的值“O”指示该行指定输出参数。列414(“PARAM_DESC”)指定对应参数的描述。列415(“PARAM_VALUE”)指示对应参数的值。在参数是逻辑选择(诸如ISFILE等)的情况下，该值可以是“Y”(指示“是”)和“N”(指示“否”)中的一个。当该参数用于设置输出选项(SETOPT)时，该值可以指示要设置的选项的特定名称(诸如SRC_FILTER、FILES_NAME等)。列416(“PARAM_STYPE”)指示对应参数的子类型，特别地，当参数代码为SETOPT时，指示参数值的类型。
列417(“PARAM_TEXT”)指定要执行用于检索参数的实际值的程序逻辑/可执行脚本。例如，当参数是ISFILE时，可以执行可执行脚本以确定数据源是否是文件类型。在这里示出的一个实施例中，程序逻辑是以根据结构化查询语言(SQL)的SELECT查询的形式。列418(“技术”)指定当执行列416中指定的可执行脚本时要使用的技术。该列中的值“ORADB”指示SQL查询将在外部数据库上执行，而值“ODI”指示SQL查询将在由数据集成器330维护的数据库上执行。
行441-474均指定对应参数的详细信息。可以观察到，行441-458中的参数对应于第一用例(具有标识符1，如在列411中所指示的)，而行459-474中的参数对应于第二用例(具有标识符2，如在列411中所指示的)。为了说明起见，下面详细描述对应于第一用例(用于处理来自ASCII(美国信息交换标准代码)编码文件的数据的转移)的行。
可以理解，列413中的值(I/输入或O/输出)可以用于将行/参数分组为输入行441-447和输出行448-458。输入行441-447均指定Non-Key/导入参数的代码和要匹配的对应值。特别地，行441-447分别检查正被导入的数据是否是文件(ISFILE)、是否包含记录类型(ISRECTYPE)、是否具有被映射为未过滤的所有列(COLNOTFILT)、是否是选择的特定加载方法(LOADMTHD)、是否具有表达式(HASEXPR)、是否具有多个一个的数据源(MRTHAN1SDI)、以及是否具有多于一个的目标(ISMULTARG)。由于所有输入行都需要进行匹配，因此如由行441-447指定的用于第一用例的条件是基于输入/导入参数形成的逻辑表达式((ISFILE＝“Y”)AND(ISRECTYPE＝“N”)AND(COLNOTFILT＝“N”)AND(LOADMTHD＝“1”)AND(HASEXPR＝“N”)AND(MRTHAN1SDI＝“N”)AND(ISMULTARG＝“N”))
输出行448-458指定要为第一用例生成的输出的详细信息。特别地，行455(IKM)指定要用于转移数据的集成知识模块的标识符(14)。行452-454和456还指定可以用于转移的其它类型的加载知识模块，但是在这个用例中，这些行的列415中的空白值指示该特定转移场景不需要这些模块。行458(CKM)指定要用于转移数据的检查知识模块的标识符(1)。
输出行448-451指定Key输出参数SETOPT，其指示输出行指定在知识模块的调用期间要设置的配置选项。配置选项的标识符(诸如RECORD_DELIM_EXIST、SRC_FILTER)在列415中指定，而要对其设置这些选项的特定知识模块在列416中指示(此处，值“IKM”指示所有选项都是用于行455中指定的IKM)。应当注意，配置选项的值在外部/内部数据库中可用(如由列418所指示的)，并且相应地用于检索值的相应程序逻辑/SQL查询在列417中指定。输出行457指定要对导入过程设置的选项的详细信息。在这种情况下，它指示目标是否将要用作分段区域。
因此，行441-458通过指定用例的输入和输出参数来一起提供第一用例的详细信息。类似地，行459-474提供第二用例的详细信息，特别地，用于处理来自扩展二进制编码十进制交换代码(EBCDIC)文件的数据的转移。特定于其它转移场景的其它用例可以类似地被指定。应当注意，为了例示，在表400中仅示出了输入/输出参数和用例的样本列表，并且在实际实施例中，参数和用例的数量/类型可以较大(100+)，以便适于其中寻求实现本公开的特征的环境。
再次参考图3，控制储存库360维护表400中所示的元数据以便处理转移请求。元数据可以被安置作为管理者系统150的设置的一部分，管理者以后基于期望处理的转移请求来添加/修改(使用适当的用户界面，未示出)用例。
在一个实施例中，以指定转移的数据源、数据目标和其它详细信息的导入连接器的形式接收转移请求。下面利用示例描述导入连接器/转移请求可被接收的方式。
6.接收导入连接器
用户界面(UI)提供者(方框)370通过提供适当的用户界面来促进用户生成导入连接器并将其发送/提交到管理者系统150。在下面的描述中，假定用户界面在管理者系统150上提供，但是如相关领域的技术人员通过阅读本文的公开内容所明白的，在替代实施例中，用户界面可以在终端用户系统110A-110Z或服务器系统140A-140C中的一个上提供。下面详细描述可以由UI提供者370提供的一些样本用户界面。
图5A-5E绘出了在一个实施例中可以被提供用于促进导入连接器的指定和提交的样本用户界面。每个图的显示区域500绘出了在与管理者系统150相关联的显示单元(图1中未示出)上提供的用户界面的一部分。在一个实施例中，每个显示区域对应于显示由管理者系统150(特别地，UI提供者370)提供的相应网页的浏览器。响应于企业的管理者使用管理者系统150中的浏览器发送适当的请求(例如，通过指定URL)而提供网页。
图5A示出了在一个实施例中管理者指定数据源和数据目标作为导入连接器的一部分的方式。显示区域510使得管理者能够选择用于数据导入的数据目标，特别地，AAD 320的特定数据接口(如显示区域515中所指示的客户账户)。显示区域520使得管理者能够指定导入连接器的一般详细信息，诸如名称(“连接器1”)、描述以及连接器所属的产品类别(“定期存款、CASA”)。
显示区域530使得管理者能够添加要用于导入/转移的数据源(对应于310A-310C)。显示区域530指示管理者已选择两个文本文件(“TD_CASA_FILE_1”和“TD_CASA_FILE_2”)作为数据源。如下面详细描述的，管理者还可以指定文本文件的格式(以促进数据的导入)。
图5B示出了在一个实施例中管理者指定用作数据源的文本文件的格式的方式。显示区域540指示文本文件“TD_CASA_FILE_1”的格式正在被指定。显示区域545指示存储数据的实际文件的名称(“Comb_tdcasaPsplitl.csv”)、要用于确定每条记录的定界符(文本“Unix”指示在Unix系统中定界符是行结束符)、以及要用于确定字段/列的定界符(逗号)。显示区域545还指定(在“源数据元素”下方)存在于文本文件中的字段/列的详细信息(诸如数据类型、长度、格式等)。
因此，有助于管理者指定用作转移的数据源的文本文件的格式。应当理解，类似于图5B的界面可以用于指定诸如可扩展标记语言(XML)文件之类的其它基于文本的数据源的格式，如相关领域的技术人员通过阅读本文的公开内容所明白的。如下面详细描述的，管理者还可以指定用于过滤要导入的记录的各种表达式。
图5C示出了在一个实施例中管理者指定用于过滤要从数据源导入的记录的表达式的方式。显示区域550是响应于用户/管理者在图5A的显示区域530中选择表达式图标535而显示的弹出窗口。显示区域550提供了实体(包括由管理者在显示区域545中定义的字段)的列表、可用数据库函数的列表和操作符的列表。管理者可以相应地选取/选择实体、函数和操作符的组合以创建期望的表达式，例如，显示区域555中所示的表达式。
响应于管理者选择“好”按钮，所指定的表达式(诸如显示区域555中所示的“TD_CASA_FILE_1.FIC_MIS_DATE＝#IUT-1.MISDATE”)被用作过滤导入的记录的基础。特别地，只有与特定表达式匹配的记录被从特定数据源(“TD_CASA_FILE_1”)导入到数据目标(AAD320中的客户账户)中。
图5D示出了在一个实施例中管理者指定导入参数的值作为导入连接器的一部分的方式。响应于用户/管理者在显示区域525中选择“连接器属性”选项页，显示区域560被显示。显示区域560有助于管理者选择加载机制(这里指示为SQL加载器)、数据的加载/导入是直接对数据目标进行(如由选择的值“真”指示)还是通过分段表(staging table)进行(值“假”)、加载是并行地进行(如由选择的值“真”指示)还是顺序地进行、以及其它导入参数的值。虽然未示出，但是也可以提供其它导入参数，而管理者然后指定所提供的导入参数的期望值作为导入连接器的一部分。
图5E示出了在一个实施例中管理者指定数据源中的字段与数据目标中的属性之间的映射的方式。显示区域550是响应于用户/管理者选择/点击图5D的显示区域580而显示的弹出窗口。可替代地，显示区域570可以响应于用户/管理者选择按钮(未示出)和/或在键盘上按下预定义的一组键而显示。
显示区域570提供由管理者选择的数据源/实体中的字段(这里，如由管理者在图5B的显示区域545中指定的“TD_CASA_FILE_1”中的字段)的列表以及为AAD 320中的数据目标对象“客户账户”定义的属性的列表。管理者可以在“字段”列表中选择期望的字段、在“属性”列表中选择期望的属性、并且然后点击/选择“[＝]”图标以形成所选择的字段和属性之间的映射。由管理者指定的这种映射的列表显示在显示区域575中。
图5F示出了在一个实施例中导入连接器被接收的方式。显示区域580指示由管理者使用显示区域570的弹出窗口指定的映射。可以理解，图5A-5E的用户界面可以由管理者用来指定导入连接器的各种详细信息。在指定期望的详细信息之后，管理者可以选择“提交”按钮590以指示导入连接器将被提交用于处理。
再次参考图3，响应于用户对按钮590的选择，UI提供者370使用在图5A-5F的用户界面中指定/接收到的信息来创建新的导入连接器。新的导入连接器指定数据源(“TD_CASA_FILE_1”和“TD_CASA_FILE_2”)、数据目标(客户账户)、要用于过滤从数据源导入的记录的任何表达式(诸如“TD_CASA_FILE_1.FIC_MIS_DATE＝#IUT-1.MISDATE”)、各种导入参数的值(如显示区域560所示)、以及数据源中的字段和数据目标中的属性之间的物理映射(诸如在显示区域575/580中示出的映射)的详细信息。在导入连接器中指定的一些值可以存储在内部/外部数据库的预定义位置(列/表)中，使得之后程序逻辑/SQL查询的执行导致这些值被返回给导入参数。
UI提供者370然后将导入连接器转发到用例识别器(方框)350用于处理。下面利用示例描述处理导入连接器以及调用导入过程以实行将数据从数据源导入数据目标的方式。
7.调用导入过程
用例识别器350从UI提供者370接收导入连接器(诸如使用图5A-5F的界面定义的连接器)的详细信息，并且然后识别具有由在导入连接器中接收到的对应导入参数的相应值满足的条件的用例(存储在控制储存库360中)。如上所述，在用例中指定的条件是基于导入参数构建的对应逻辑表达式的形式。
这样，用例识别器350从控制储存库360检索每个用例的详细信息，并且然后针对在每个用例中指定的条件应用导入参数的值。如果对应的逻辑表达式(当被应用于与在导入连接器中接收到的导入参数的值时)评估为预先指定的逻辑值(例如，真)，则认为条件被满足。其条件被满足的用例由用例识别器350识别/选择。
在控制储存库360以(图4A/4B的)表400的形式维护用例的实施例中，用例识别器350首先检索对应于每个用例的行/参数(诸如对应于第一用例的行441-458和对应于第二用例的行459-474)。当为用例指定的所有输入参数的值与在导入连接器中接收到的对应值匹配时，将认为该用例与导入连接器(转移场景)匹配。换句话说，只有当导入参数的值在被应用于由用例中的输入参数指定的逻辑表达式(诸如用于第一用例的((ISFILE＝“Y”)AND(ISRECTYPE＝“N”)AND(COLNOTFILT＝“N”)AND(LOADMTHD＝“1”)AND(HASEXPR＝“N”)AND(MRTHAN1SDI＝“N”)AND(ISMULTARG＝“N”))时将逻辑表达式评估为预先指定的逻辑值(例如，真)时，用例才被选择。
用例识别器350相应地首先执行列417中所示的程序逻辑/SQL查询以检索输入参数的值，并且然后将检索到的值与检索到的用例中为输入参数指定的值进行比较。如果值不匹配(指示导入连接器与所选择的用例不匹配)，则用例识别器350从控制储存库360中指定的用例中选择另一个用例(例如，表400中的标识符2)。用例识别器350反复地执行上述选择用例、运行由所选择的用例指定的运算、获得运算的结果、并且将获得的结果与用例中指定的值进行比较的操作，直到找到匹配的用例。
在找到匹配的用例的情况下，用例识别器350确定匹配的用例中指示的输出参数的值(通过检察表400中的列415和/或通过执行列417中指定的程序逻辑)。用例识别器350然后将该输出的详细信息转发到导入管理器(方框)380，诸如要执行的知识模块340中的特定知识模块、要为每个特定知识模块设置的配置选项、要为从每个数据源进行导入而设置的过滤器/表达式等。
响应于从用例识别器350接收到上述数据，导入管理器380使用为每个特定知识模块/数据源指定的配置选项和过滤器来调用(启动执行)知识模块340中的特定知识模块。在一个实施例中，导入管理器380选择特定知识模块/导入过程、设置所选择的模块的配置选项、并且在数据集成器330中创建数据流场景。当在数据集成器330中执行数据流时(其进而导致执行特定知识模块/导入过程)，根据在导入连接器中(使用图5A-5F的界面)指定的值，数据从数据源(“TD_CASA_FILE_1”和“TD_CASA_FILE_2”)被导入到数据目标(AAD 320中的客户账户)。
因此，通过指定捕获不同转移场景的各种用例(表400)，简化了用于执行将数据从数据源(310A-310C)转移到数据目标(AAD320)的导入过程(知识模块340)的选择和调用。
应当理解，上述特征可以在各种实施例中实现为硬件、可执行模块和固件中的一个或多个的期望组合。关于其中当可执行模块中的指令被执行时各种特征可操作的实施例继续进行描述。
8.数字处理系统
图6是示出本公开的若干方面通过执行适当的软件指令可操作的数字处理系统600的细节的框图。数字处理系统600对应于从中可以提供上述各种特征的管理者系统150或其它系统(例如，终端用户系统110A-110Z)。
数字处理系统600可以包含一个或多个处理器(诸如中央处理单元(CPU)610)、随机存取存储器(RAM)620、二级存储器630、图形控制器660、显示单元670、网络接口680和输入接口690。除了显示单元670之外的所有组件可以通过通信路径650彼此通信，通信路径650可以包含如相关领域中众所周知的若干总线。下面更详细地描述图6的组件。
CPU 610可以执行存储在RAM 620中的指令以提供本公开的若干特征。CPU 610可以包含多个处理单元，每个处理单元潜在地被设计用于特定任务。可替代地，CPU 610可以仅包含单个通用处理单元。RAM 620可以使用通信路径650从二级存储器630接收指令。
RAM 620被示为当前包含构成共享环境625和/或用户程序626(诸如金融应用、分析框架等)的软件指令。共享环境625包含由用户程序共享的实用程序，并且这种共享的实用程序包括提供用于执行用户程序的(公共)运行时环境的操作系统、设备驱动程序、虚拟机、流引擎等。
图形控制器660基于从CPU 610接收到的数据/指令生成到显示单元670的显示信号(例如，以RGB格式)。显示单元670包含显示屏幕以显示由显示信号定义的图像(诸如，图5A-5F的用户界面的部分)。输入接口690可以对应于可用于提供各种输入(诸如以便在图5A-5F的用户界面中指定期望的输入等)的键盘和定点设备(例如，触摸板、鼠标)。网络接口680提供到网络的连接性(例如，使用互联网协议)，并且可以用于与其它连接的系统(诸如服务器系统140A-140C、数据存储库180A-180B)通信。
二级存储器630表示非临时性介质，其可以存储数据(例如，图4A/4B中所示的数据的部分)和软件指令(例如，用于执行图2的步骤)，以使得数字处理系统600能够提供根据本公开的若干特征。存储在二级存储器630中的代码/指令可以在被CPU 610执行之前被复制到RAM 620以便执行速度更高，或者可以直接被CPU 610执行。
二级存储器630可以包含硬盘驱动器635、闪存636和可移动存储驱动器637。数据和指令中的一些或全部可以在可移动存储单元640上提供，并且数据和指令可以由可移动存储驱动器637读取并提供给CPU 610。可移动存储单元640可以使用与可移动存储驱动器637兼容的介质和存储格式来实现，使得可移动存储驱动器637可以读取数据和指令。因此，可移动存储单元640包括其中存储有计算机软件和/或数据的计算机可读(存储)介质。但是，计算机(或一般地，机器)可读介质可以是以其它的形式(例如，不可移动的、随机存取的，等等)。
在本文档中，术语“计算机程序产品”用于一般地指代可移动存储单元640或安装在硬盘驱动器635中的硬盘。这些计算机程序产品是用于向数字处理系统600提供软件的装置。CPU 610可以检索软件指令，并且执行指令以提供上述本公开的各种特征。
如本文所使用的术语“存储介质”是指存储有使机器以特定方式操作的数据和/或指令的任何非临时性介质。这种存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘、磁盘或固态驱动器，诸如存储器630。易失性介质包括动态存储器，诸如RAM 620。存储介质的常见形式包括例如软盘、柔性盘、硬盘、固态驱动器、磁带或任何其它磁性数据存储介质、CD-ROM、任何其它光学数据存储介质、任何具有孔图案的物理介质、RAM、PROM以及EPROM、FLASH-EPROM、NVRAM、任何其它存储器芯片或盒带。
存储介质与传输介质截然不同但是可以与其结合使用。传输介质参与在存储介质之间传送信息。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线650的导线。传输介质还可以采取声波或光波的形式，诸如在无线电波和红外线数据通信期间生成的那些。
贯穿本说明书对“一个实施例”、“实施例”或类似语言的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本公开的至少一个实施例中。因此，贯穿本说明书的短语“在一个实施例中”、“在实施例中”以及类似语言的出现可以但不一定都指代同一实施例。
此外，所描述的本公开的特征、结构或特性可以以任何合适的方式在一种或多种实施例中进行组合。在以上描述中，为了提供对本公开的实施例的透彻理解，提供了许多具体细节，诸如编程、软件模块、用户选择、网络事务、数据库查询、数据库结构、硬件模块、硬件电路、硬件芯片等的示例。
9.结论
虽然上面已经描述了本公开的各种实施例，但是应理解，它们仅仅是作为例子呈现的，而非限制。因此，本公开的广度和范围不应受上述任一示例性实施例的限制，而是应仅根据权利要求及其等同来限定。
应理解，在附件中例示的突出本公开的功能和优点的附图和/或抓屏仅是出于举例的目的呈现的。本公开是足够灵活的且可配置的，使得它可以以除附图所示的方式之外的方式利用。
此外，摘要的目的使得专利局和公众、尤其是本领域中不熟悉专利或法律用语或措辞的科学家、工程师和从业者能够快速地通过粗略的审视来确定本申请的技术公开内容的性质和本质。摘要不意在以任何方式限制本公开的范围。

Claims (17)

1.一种将数据从多个数据源转移到数据目标的方法，所述方法包括：
维护指定多个用例的元数据，每个用例包含指示多个导入过程中的对应的导入过程和要由一组导入参数满足的对应的条件的数据，所述一组导入参数中的每个导入参数表示数据源或数据目标的特性，
其中，所述多个导入过程中的每个导入过程是能够被独立调用的对应的模块的形式，并在调用时被设计为在数据源和数据目标的特定组合之间传送数据，
其中，所述元数据指定在满足所述对应的条件时所述对应的导入过程将被执行以导入数据；
接收请求将数据从第一组数据源转移到第一组数据目标的导入连接器，所述导入连接器指定多个导入参数的相应值，所述多个导入参数的值表示所述第一组数据源和所述第一组数据目标的特性；
选择所述多个用例中具有在所述导入连接器中接收到的对应的导入参数的相应值所满足的条件的第一用例，其中，所述第一用例指示被设计用于将数据从所述第一组数据源导入到所述第一组数据目标的第一导入过程；以及
启动所述第一导入过程的执行以将数据从所述第一组数据源导入到所述第一组数据目标，
其中，所述元数据以包含行和列的表的形式被维护，每个用例被表示为所述表中的对应的多个行，其中，所述表的第一列指示每一行指定的是用例的输入还是用例的输出，使得所述多个行包括一组输入行和一组输出行，
其中，所述一组输入行指定所述用例的对应的条件，每个输入行指示对应的导入参数和相应值，其中，所述选择包括：当对于所述一组输入行中的全部行，为对应的导入参数指定的相应值与在所述导入连接器中接收到的值匹配时，选择所述第一用例，
其中，所述一组输出行中的第一输出行指示针对所述用例的导入过程。
2.如权利要求1所述的方法，其中，所述接收、所述选择和所述启动被实现为在所述导入过程外部的软件程序，使得对数据源、数据目标和导入参数的修改或添加能够通过仅改变所述元数据来实行。
3.如权利要求2所述的方法，其中，所述第一导入过程被设计为基于第一配置选项来操作，
其中，所述元数据中的所述第一用例还指定所述第一配置选项的第一值，其中，所述启动包括在所述第一配置选项被设置为所述第一值的情况下启动所述第一导入过程的执行。
4.如权利要求2所述的方法，其中，在所述第一用例中指定的第一组导入参数包含：
第一导入参数，指示对于要选择的所述第一用例，要实现数据源所根据的存储技术；
第二导入参数，指示对于要选择的所述第一用例，要存在于对应的导入连接器中的数据源的计数；以及
第三导入参数，指示对于要选择的所述第一用例，要存在于对应的导入连接器中的数据目标的计数。
5.如权利要求1所述的方法，其中，所述一组输出行中的一些行指示导入过程的对应的配置选项和在调用该导入过程期间要设置的相应值。
6.如权利要求1所述的方法，还包括：响应于所述接收，将在所述导入连接器中接收到的所述多个导入参数的相应值存储在数据库中，
其中，所述一组输入行中的每一行在所述表的第二列中指定对应的程序逻辑，该程序逻辑被设计为从所述数据库中检索对应的导入参数的值，
其中，所述选择包括执行在所述一组输入行中指定的程序逻辑以检索导入参数的值并且确定所检索到的值是否满足在所述用例中指定的条件。
7.一种存储有一个或多个指令的序列的非临时性机器可读介质，所述一个或多个指令的序列用于使得系统能够将数据从多个数据源转移到数据目标，其中，所述系统中包含的一个或多个处理器执行所述一个或多个指令使得所述系统能够执行以下操作：
维护指定多个用例的元数据，每个用例包含指示多个导入过程中的对应的导入过程和要由一组导入参数满足的对应的条件的数据，所述一组导入参数中的每个导入参数表示数据源或数据目标的特性，
其中，所述多个导入过程中的每个导入过程是能够被独立调用的对应的模块的形式，并在调用时被设计为在数据源和数据目标的特定组合之间传送数据，
其中，所述元数据指定在满足所述对应的条件时所述对应的导入过程将被执行以导入数据；
接收请求将数据从第一组数据源转移到第一组数据目标的导入连接器，所述导入连接器指定多个导入参数的相应值，所述多个导入参数的值表示所述第一组数据源和所述第一组数据目标的特性；
选择所述多个用例中具有在所述导入连接器中接收到的对应的导入参数的相应值所满足的条件的第一用例，其中，所述第一用例指示被设计用于将数据从所述第一组数据源导入到所述第一组数据目标的第一导入过程；以及
启动所述第一导入过程的执行以将数据从所述第一组数据源导入到所述第一组数据目标，
其中，所述元数据以包含行和列的表的形式被维护，每个用例被表示为所述表中的对应的多个行，其中，所述表的第一列指示每一行指定的是用例的输入还是用例的输出，使得所述多个行包括一组输入行和一组输出行，
其中，所述一组输入行指定所述用例的对应的条件，每个输入行指示对应的导入参数和相应值，其中，所述选择包括：当对于所述一组输入行中的全部行，为对应的导入参数指定的相应值与在所述导入连接器中接收到的值匹配时，选择所述第一用例，
其中，所述一组输出行中的第一输出行指示针对所述用例的导入过程。
8.如权利要求7所述的非临时性机器可读介质，其中，所述接收、所述选择和所述启动被实现为导入过程外部的软件程序，使得对数据源、数据目标和导入参数的修改或添加能够通过仅改变所述元数据来实行。
9.如权利要求8所述的非临时性机器可读介质，其中，所述第一导入过程被设计为基于第一配置选项来操作，
其中，所述元数据中的所述第一用例还指定所述第一配置选项的第一值，其中，所述启动包括在所述第一配置选项被设置为所述第一值的情况下启动第一导入过程的执行。
10.如权利要求8所述的非临时性机器可读介质，其中，在所述第一用例中指定的第一组导入参数包含：
第一导入参数，指示对于要选择的所述第一用例，要实现数据源所根据的存储技术；
第二导入参数，指示对于要选择的所述第一用例，要存在于对应的导入连接器中的数据源的计数；以及
第三导入参数，指示对于要选择的所述第一用例，要存在于对应的导入连接器中的数据目标的计数。
11.如权利要求7所述的非临时性机器可读介质，其中，所述一组输出行中的一些行指示导入过程的对应的配置选项和在调用该导入过程期间要设置的相应值。
12.如权利要求7所述的非临时性机器可读介质，还包括用于以下操作的一个或多个指令：
响应于所述接收，将在所述导入连接器中接收到的所述多个导入参数的相应值存储在数据库中，
其中，所述一组输入行中的每一行在所述表的第二列中指定对应的程序逻辑，该程序逻辑被设计为从所述数据库中检索对应的导入参数的值，
其中，所述选择包括用于执行在所述一组输入行中指定的程序逻辑以检索导入参数的值并且确定所检索到的值是否满足在所述用例中指定的条件的一个或多个指令。
13.一种计算系统，包括：
多个数据源；
多个数据目标；
数据集成器系统，用于提供多个导入过程，每个导入过程被设计为将数据从所述多个数据源转移到所述多个数据目标，其中，所述多个导入过程中的每个导入过程是能够被独立调用的对应的模块的形式，并在调用时被设计为在数据源和数据目标的特定组合之间传送数据；
管理者系统，能操作为：
维护指定多个用例的元数据，每个用例包含指示所述多个导入过程中的对应的导入过程和要由一组导入参数满足的对应的条件的数据，所述一组导入参数中的每个导入参数表示数据源或数据目标的特性，其中，所述元数据指定在满足所述对应的条件时所述对应的导入过程将被执行以导入数据；
接收请求将数据从第一组数据源转移到第一组数据目标的导入连接器，所述导入连接器指定多个导入参数的相应值，所述多个导入参数的值表示所述第一组数据源和所述第一组数据目标的特性；
选择所述多个用例中具有在所述导入连接器中接收到的对应的导入参数的相应值所满足的条件的第一用例，其中，所述第一用例指示被设计用于将数据从所述第一组数据源导入到所述第一组数据目标的第一导入过程，所述第一导入过程被包含在所述多个导入过程中；以及
启动所述第一导入过程的执行以将数据从所述第一组数据源导入到所述第一组数据目标，
其中，所述元数据以包含行和列的表的形式被维护，每个用例被表示为所述表中的对应的多个行，其中，所述表的第一列指示每一行指定的是用例的输入还是用例的输出，使得所述多个行包括一组输入行和一组输出行，
其中，所述一组输入行指定所述用例的对应的条件，每个输入行指示对应的导入参数和相应值，其中，所述选择包括：当对于所述一组输入行中的全部行，为对应的导入参数指定的相应值与在所述导入连接器中接收到的值匹配时，选择所述第一用例，
其中，所述一组输出行中的第一输出行指示针对所述用例的导入过程。
14.如权利要求13所述的计算系统，其中，所述第一导入过程被设计为基于第一配置选项来操作，
其中，所述元数据中的所述第一用例还指定所述第一配置选项的第一值，其中，所述管理者系统在所述第一配置选项被设置为所述第一值的情况下启动第一导入过程的执行。
15.如权利要求14所述的计算系统，其中，在所述第一用例中指定的第一组导入参数包含：
第一导入参数，指示对于要选择的所述第一用例，要实现数据源所根据的存储技术；
第二导入参数，指示对于要选择的所述第一用例，要存在于对应的导入连接器中的数据源的计数；以及
第三导入参数，指示对于要选择的所述第一用例，要存在于对应的导入连接器中的数据目标的计数。
16.如权利要求13所述的计算系统，其中，所述一组输出行中的一些行指示导入过程的对应的配置选项和在调用该导入过程期间要设置的相应值。
17.如权利要求13所述的计算系统，所述管理者系统还能操作为：
响应于接收到所述导入连接器，将在所述导入连接器中接收到的所述多个导入参数的相应值存储在数据库中，
其中，所述一组输入行中的每一行在所述表的第二列中指定对应的程序逻辑，该程序逻辑被设计为从所述数据库中检索对应的导入参数的值，
其中，为了选择所述第一用例，所述管理者系统能操作为执行在所述一组输入行中指定的程序逻辑以检索导入参数的值并且确定所检索到的值是否满足在所述用例中指定的条件。
CN201580051003.0A 2014-09-22 2015-07-31 简化将数据从数据源转移到数据目标的导入过程的调用 Active CN106687955B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
IN4619/CHE/2014 2014-09-22
IN4619CH2014 2014-09-22
US14/633,158 US10042849B2 (en) 2014-09-22 2015-02-27 Simplifying invocation of import procedures to transfer data from data sources to data targets
US14/633,158 2015-02-27
PCT/IB2015/055818 WO2016046658A1 (en) 2014-09-22 2015-07-31 Simplifying invocation of import procedures to transfer data from data sources to data targets

Publications (2)

Publication Number Publication Date
CN106687955A CN106687955A (zh) 2017-05-17
CN106687955B true CN106687955B (zh) 2021-02-02

Family

ID=55525908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580051003.0A Active CN106687955B (zh) 2014-09-22 2015-07-31 简化将数据从数据源转移到数据目标的导入过程的调用

Country Status (4)

Country Link
US (1) US10042849B2 (zh)
JP (1) JP6542880B2 (zh)
CN (1) CN106687955B (zh)
WO (1) WO2016046658A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514205B1 (en) 2015-09-04 2016-12-06 Palantir Technologies Inc. Systems and methods for importing data from electronic data files
US10133782B2 (en) * 2016-08-01 2018-11-20 Palantir Technologies Inc. Techniques for data extraction
EP3282374A1 (en) 2016-08-17 2018-02-14 Palantir Technologies Inc. User interface data sample transformer
CN110661851A (zh) * 2017-03-02 2020-01-07 杭州数梦工场科技有限公司 数据交换方法和装置
CN107330028A (zh) * 2017-06-23 2017-11-07 北京北信源软件股份有限公司 一种Apache NiFi在源数据录入数据库方面的扩展应用方法和系统
US10754820B2 (en) 2017-08-14 2020-08-25 Palantir Technologies Inc. Customizable pipeline for integrating data
US11263263B2 (en) 2018-05-30 2022-03-01 Palantir Technologies Inc. Data propagation and mapping system
CN111783371B (zh) * 2020-05-28 2023-08-22 安费诺电子装配（厦门）有限公司 基于网络的连接器设计方法及电子设备
CN112667733A (zh) * 2021-03-15 2021-04-16 北京焦点新干线信息技术有限公司 数据仓库数据导入方法与系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877728A (zh) * 2010-06-25 2010-11-03 中兴通讯股份有限公司 网络地址转换转发方法及装置
CN103957268A (zh) * 2014-05-08 2014-07-30 中国人民解放军总参谋部气象水文空间天气总站 一种规则驱动的数据传输方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6263427B1 (en) 1998-09-04 2001-07-17 Rise Technology Company Branch prediction mechanism
US6718332B1 (en) * 1999-01-04 2004-04-06 Cisco Technology, Inc. Seamless importation of data
US7164422B1 (en) 2000-07-28 2007-01-16 Ab Initio Software Corporation Parameterized graphs with conditional components
US7793084B1 (en) 2002-07-22 2010-09-07 Mimar Tibet Efficient handling of vector high-level language conditional constructs in a SIMD processor
JP2005293047A (ja) * 2004-03-31 2005-10-20 Fujitsu Ltd データ交換システム、方法及びプログラム
US20090019431A1 (en) 2006-03-02 2009-01-15 Nxp B.V. Optimised compilation method during conditional branching
US7934207B2 (en) 2006-12-19 2011-04-26 Microsoft Corporation Data schemata in programming language contracts
US20090193039A1 (en) * 2008-01-28 2009-07-30 Apollo Data Technologies, Llc Data driven system for data analysis and data mining
US8805879B2 (en) * 2008-03-11 2014-08-12 Virtualagility Inc. Techniques for integrating parameterized information request into a system for collaborative work
US20110078424A1 (en) 2009-09-30 2011-03-31 International Business Machines Corporation Optimizing program code using branch elimination
US9134977B2 (en) 2010-02-26 2015-09-15 Red Hat, Inc. Compiler operation for handling conditional statements
US8566397B2 (en) * 2010-10-05 2013-10-22 Accenture Global Services Limited Operations management using communications and collaboration platform
US8533698B2 (en) 2011-06-13 2013-09-10 Microsoft Corporation Optimizing execution of kernels
EP2740028A4 (en) * 2011-08-01 2015-01-14 Hewlett Packard Development Co INVESTMENT MODEL IMPORT PLUG
WO2013147879A1 (en) 2012-03-30 2013-10-03 Intel Corporation Dynamic branch hints using branches-to-nowhere conditional branch
US20160063880A1 (en) * 2014-08-27 2016-03-03 Apollo Education Group, Inc. Activity repository

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877728A (zh) * 2010-06-25 2010-11-03 中兴通讯股份有限公司 网络地址转换转发方法及装置
CN103957268A (zh) * 2014-05-08 2014-07-30 中国人民解放军总参谋部气象水文空间天气总站 一种规则驱动的数据传输方法

Also Published As

Publication number Publication date
US10042849B2 (en) 2018-08-07
CN106687955A (zh) 2017-05-17
JP6542880B2 (ja) 2019-07-10
WO2016046658A1 (en) 2016-03-31
US20160085764A1 (en) 2016-03-24
JP2017535842A (ja) 2017-11-30

Similar Documents

Publication Publication Date Title
CN106687955B (zh) 简化将数据从数据源转移到数据目标的导入过程的调用
US11481396B2 (en) Executing untrusted commands from a distributed execution model
US11586692B2 (en) Streaming data processing
US11989194B2 (en) Addressing memory limits for partition tracking among worker nodes
US20220327149A1 (en) Dynamic partition allocation for query execution
US11023463B2 (en) Converting and modifying a subquery for an external data system
US20210011911A1 (en) Multi-tenancy for structured query language (sql) and non structured query language (nosql) databases
US11163758B2 (en) External dataset capability compensation
US11461334B2 (en) Data conditioning for dataset destination
US11232100B2 (en) Resource allocation for multiple datasets
US10726009B2 (en) Query processing using query-resource usage and node utilization data
US11416528B2 (en) Query acceleration data store
US10795884B2 (en) Dynamic resource allocation for common storage query
US10698897B2 (en) Executing a distributed execution model with untrusted commands
WO2020220216A1 (en) Search time estimate in data intake and query system
US20230031327A1 (en) Recommending Query Parameters Based on Tenant Information
WO2020027867A1 (en) Generating a subquery for a distinct data intake and query system
US11586585B2 (en) Method and system for historical call lookup in distributed file systems
CN113051268A (zh) 数据查询方法、数据查询装置、电子设备及存储介质
US11714812B2 (en) System for augmenting and joining multi-cadence datasets
US9984108B2 (en) Database joins using uncertain criteria
CN108959294B (zh) 一种访问搜索引擎的方法和装置
US9742818B2 (en) Pushing events to web pages used for interaction with applications
US11947528B1 (en) Automatic generation of queries using non-textual input

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant