CN117149874A - 构建和维护数据管道的方法、装置、电子设备及存储介质 - Google Patents
构建和维护数据管道的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117149874A CN117149874A CN202311112344.7A CN202311112344A CN117149874A CN 117149874 A CN117149874 A CN 117149874A CN 202311112344 A CN202311112344 A CN 202311112344A CN 117149874 A CN117149874 A CN 117149874A
- Authority
- CN
- China
- Prior art keywords
- data
- component
- processing
- client
- copy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 107
- 238000012545 processing Methods 0.000 claims abstract description 233
- 230000004044 response Effects 0.000 claims abstract description 46
- 230000008569 process Effects 0.000 claims abstract description 34
- 238000004590 computer program Methods 0.000 claims description 20
- 238000013480 data collection Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 16
- 238000012986 modification Methods 0.000 claims description 9
- 230000004048 modification Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000012423 maintenance Methods 0.000 description 10
- 238000012790 confirmation Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000003936 working memory Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
- G06F9/44526—Plug-ins; Add-ons
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
提供一种通过客户端为目标数据平台构建数据管道的方法、装置、电子设备、存储介质以及程序产品。所述方法包括:创建数据采集组件;向客户端提供数据采集组件所采集到的原始数据以供用户确定原始数据是否满足采集需求;响应于从客户端接收到原始数据满足采集需求的指示,创建数据处理组件,该数据处理组件用于对原始数据进行处理以得到处理数据;向客户端提供处理数据以供用户确定处理数据是否满足处理需求;以及响应于从客户端接收到处理数据满足处理需求的指示,创建数据加载组件,该数据加载组件用于将处理数据加载到目标数据平台。还提供一种通过客户端为目标数据平台维护数据管道的方法、装置、电子设备、存储介质以及程序产品。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及一种通过客户端为目标数据平台构建和维护数据管道的方法、装置、电子设备、非瞬时计算机可读存储介质以及计算机程序产品。
背景技术
数据管道(也可以称为ETL管道)是一套数据处理流程,其包括将数据从数据源提取出来,对数据进行转换和清洗,以及将经转换和清洗后的数据加载到目标数据平台。对于大数据应用来说,数据管道的使用非常普遍。在数据管道的构建阶段,需要完成的操作包括定义数据模型、编写数据处理逻辑、对接上下游系统(数据源和目标数据平台)等。和上下游系统的对接以及数据处理逻辑都需要进行反复的修改和验证。在维护阶段,当数据格式发生变化时,也需要对数据处理逻辑进行相应的调整。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
本公开提供了一种通过客户端为目标数据平台构建和维护数据管道的方法、装置、电子设备、非瞬时计算机可读存储介质以及计算机程序产品。
根据本公开的第一方面,提供了一种通过客户端为目标数据平台构建数据管道的方法,所述数据管道包括数据采集组件、数据处理组件和数据加载组件,所述方法包括:创建所述数据采集组件,所述数据采集组件用于采集原始数据;向所述客户端提供所述数据采集组件所采集到的原始数据以供用户确定所述原始数据是否满足采集需求;响应于从所述客户端接收到所述原始数据满足所述采集需求的指示,创建所述数据处理组件,所述数据处理组件用于对所述原始数据进行处理以得到处理数据;向所述客户端提供所述处理数据以供所述用户确定所述处理数据是否满足处理需求;以及响应于从所述客户端接收到所述处理数据满足所述处理需求的指示,创建所述数据加载组件,所述数据加载组件用于将所述处理数据加载到所述目标数据平台。
根据本公开的第二方面,提供了一种通过客户端为目标数据平台维护数据管道的方法,包括:响应于从所述客户端接收到修改所述目标数据平台的原数据管道的指示,构建临时数据管道,所述临时数据管道包括所述原数据管道的数据采集组件副本、所述原数据管道的数据处理组件副本和临时数据加载组件,其中,所述数据采集组件副本用于采集原始数据,所述数据处理组件副本用于对所述原始数据进行处理以得到处理数据,所述临时数据加载组件用于丢弃所述原始数据和所述处理数据,以免所述原始数据和所述处理数据进入所述目标数据平台;响应于从所述客户端接收到用于修改所述数据采集组件副本的配置的第三信息,修改所述数据采集组件副本的配置;向所述客户端提供修改后的数据采集组件副本所采集到的原始数据以供用户确定所述原始数据是否满足采集需求;响应于从所述客户端接收到所述原始数据满足所述采集需求的指示,并且响应于从所述客户端接收到用于修改所述数据处理组件副本的配置的第四信息,修改所述数据处理组件副本的配置;向所述客户端提供经由修改后的数据处理组件副本处理后的处理数据以供所述用户确定所述处理数据是否满足处理需求;以及响应于从所述客户端接收到所述处理数据满足所述处理需求的指示,创建数据加载组件以替换所述临时数据加载组件并停用所述原数据管道,所述数据加载组件用于将所述处理数据加载到所述目标数据平台。
根据本公开的第三方面,提供了一种通过客户端为目标数据平台构建数据管道的装置,所述数据管道包括数据采集组件、数据处理组件和数据加载组件,所述装置包括:第一创建模块,所述第一创建模块被配置为创建所述数据采集组件,所述数据采集组件用于采集原始数据;第一提供模块,所述第一提供模块被配置为向所述客户端提供所述数据采集组件所采集到的原始数据以供用户确定所述原始数据是否满足采集需求;第二创建模块,所述第二创建模块被配置为响应于从所述客户端接收到所述原始数据满足所述采集需求的指示,创建所述数据处理组件,所述数据处理组件用于对所述原始数据进行处理以得到处理数据;第二提供模块,所述第二提供模块被配置为向所述客户端提供所述处理数据以供所述用户确定所述处理数据是否满足处理需求;以及第三创建模块,所述第三创建模块被配置为响应于从所述客户端接收到所述处理数据满足所述处理需求的指示,创建所述数据加载组件,所述数据加载组件用于将所述处理数据加载到所述目标数据平台。
根据本公开的第四方面,提供了一种通过客户端为目标数据平台维护数据管道的装置,所述装置包括:构建模块,所述构建模块被配置为响应于从所述客户端接收到修改所述目标数据平台的原数据管道的指示,构建临时数据管道,所述临时数据管道包括所述原数据管道的数据采集组件副本、所述原数据管道的数据处理组件副本和临时数据加载组件,其中,所述数据采集组件副本用于采集原始数据,所述数据处理组件副本用于对所述原始数据进行处理以得到处理数据,所述临时数据加载组件用于丢弃所述原始数据和所述处理数据,以免所述原始数据和所述处理数据进入所述目标数据平台;第一修改模块,所述第一修改模块被配置为响应于从所述客户端接收到用于修改所述数据采集组件副本的配置的第三信息,修改所述数据采集组件副本的配置;第三提供模块,所述第三提供模块被配置为向所述客户端提供修改后的数据采集组件副本所采集到的原始数据以供用户确定所述原始数据是否满足采集需求;第二修改模块,所述第二修改模块被配置为响应于从所述客户端接收到所述原始数据满足所述采集需求的指示,并且响应于从所述客户端接收到用于修改所述数据处理组件副本的配置的第四信息,修改所述数据处理组件副本的配置;第四提供模块,所述第四提供模块被配置为向所述客户端提供经由修改后的数据采集处理副本处理后的处理数据以供所述用户确定所述处理数据是否满足处理需求;以及替换模块,所述替换模块被配置为响应于从所述客户端接收到所述处理数据满足所述处理需求的指示,创建数据加载组件以替换所述临时数据加载组件并停用所述原数据管道,所述数据加载组件用于将所述处理数据加载到所述目标数据平台。
根据本公开的第五方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器,所述存储器存储有计算机程序,所述计算机程序在被所述至少一个处理器执行时,使所述至少一个处理器执行根据本公开的方法。
根据本公开的第六方面,提供了一种存储有计算机程序的非瞬时计算机可读存储介质,所述计算机程序在被处理器执行时,使处理器执行根据本公开的方法。
根据本公开的第七方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时,使处理器执行根据本公开的方法。
根据本公开的一个或多个实施例,在数据管道的构建阶段,通过向客户端提供数据采集组件所采集到的原始数据和向客户端提供经由数据处理组件处理后的处理数据,使得能够在数据管道的构建过程中实时捕捉并查看数据采集组件和数据处理组件的处理结果,在确定数据采集组件和数据处理组件的处理结果符合预期后才创建数据加载组件以连接到目标数据平台,因此提高了构建数据管道的效率。
根据本公开的一个或多个实施例,在数据管道的维护阶段,通过构建包括原数据管道的数据采集组件副本、原数据管道的数据处理组件副本和临时数据加载组件的临时数据管道,实时捕捉并查看修改后数据采集组件副本和修改后数据处理组件的处理结果,并将调试完成后的临时数据管道替代原数据管道以连接到目标数据平台,因此,能够既不影响原数据管道的运行,又提高维护数据管道的效率。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分,与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的,并不限制权利要求的范围。在所有附图中,相同的附图标记指代类似但不一定相同的要素。
图1示出了根据本公开实施例的可以在其中实施本文描述的各种方法的示例系统的示意图;
图2示出了根据本公开实施例的通过客户端为目标数据平台构建数据管道的方法的示例性流程图;
图3至图5示出了根据本公开实施例的通过客户端为目标数据平台构建数据管道的方法的示意图;
图6示出了根据本公开实施例的通过客户端为目标数据平台维护数据管道的方法的示例性流程图;
图7至图10示出了根据本公开实施例的通过客户端为目标数据平台维护数据管道的方法的示意图;
图11示出了根据本公开实施例的通过客户端为目标数据平台构建数据管道的装置的结构框图;
图12示出了根据本公开实施例的通过客户端为目标数据平台维护数据管道的装置的结构框图;以及
图13示出了根据本公开实施例的电子设备的结构框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在本公开中,除非另有说明,否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系,这种术语只是用于将一个元件与另一元件区分开。在一些示例中,第一要素和第二要素可以指向该要素的同一实例,而在某些情况下,基于上下文的描述,它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的,而并非旨在进行限制。除非上下文另外明确地表明,如果不特意限定要素的数量,则该要素可以是一个也可以是多个。如本文使用的,术语“多个”意指两个或更多,并且术语“基于”应解释为“至少部分地基于”。此外,术语“和/或”以及“……中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
本公开的技术方案中,所涉及的用户信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
以下将结合附图,详细描述本公开的实施例。
图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统100的示意图。
参考图1,该系统100包括客户端设备110、服务器120、以及将客户端设备110与服务器120通信地耦合的网络130。
客户端设备110包括显示器114和可以经由显示器114显示的客户端应用(APP)112。客户端应用112可以为运行前需要下载和安装的应用程序或者作为轻量化应用程序的小程序(lite app)。在客户端应用112为运行前需要下载和安装的应用程序的情况下,客户端应用112可以被预先安装在客户端设备110上并被激活。在客户端应用112为小程序的情况下,用户102可以通过在宿主应用中搜索客户端应用112(例如,通过客户端应用112的名称等)或扫描客户端应用112的图形码(例如,条形码、二维码等)等方式,在客户端设备110上直接运行客户端应用112,而无需安装客户端应用112。在一些实施例中,客户端设备110可以是任何类型的移动计算机设备,包括移动计算机、移动电话、可穿戴式计算机设备(例如智能手表、智能眼镜等头戴式设备)或其他类型的移动设备。在一些实施例中,客户端设备110可以替换地是固定式计算机设备,例如台式机、服务器计算机或其他类型的固定式计算机设备。
服务器120典型地为由互联网服务提供商(ISP)或互联网内容提供商(ICP)部署的服务器。服务器120可以代表单台服务器、多台服务器的集群、分布式系统、或者提供基础云服务(诸如云数据库、云计算、云存储、云通信)的云服务器。将理解的是,虽然图1中示出服务器120与仅一个客户端设备110通信,但是服务器120可以同时为多个客户端设备提供后台服务。
网络130的示例包括局域网(LAN)、广域网(WAN)、个域网(PAN)、和/或诸如互联网之类的通信网络的组合。网络130可以是有线或无线网络。在一些实施例中,使用包括超文本标记语言(HTML)、可扩展标记语言(XML)等的技术和/或格式来处理通过网络130交换的数据。此外,还可以使用诸如安全套接字层(SSL)、传输层安全(TLS)、虚拟专用网络(VPN)、网际协议安全(IPsec)等加密技术来加密所有或者一些链路。在一些实施例中,还可以使用定制和/或专用数据通信技术来取代或者补充上述数据通信技术。
为了本公开实施例的目的,在图1的示例中,客户端应用112可以是构建和维护数据管道的应用程序,该应用程序可以提供基于构建和维护数据管道的各种功能。与此相应,服务器120可以是与构建和维护数据管道的应用程序一起使用的服务器。该服务器120可以向客户端设备110中运行的客户端应用112提供构建和维护数据管道等服务。或者,也可以由客户端设备110中运行的客户端应用112提供构建和维护数据管道等服务。
图1的系统100可以以各种方式配置和操作,以使得能够应用根据本公开所描述的各种方法和装置。
图2示出了根据本公开实施例的通过客户端为目标数据平台构建数据管道的方法200的示例性流程图。方法200可以在客户端设备(例如,图1中所示的客户端设备110)处执行,也即,方法200的各个步骤的执行主体可以是图1中所示的客户端设备110。在一些实施例中,方法200可以在服务器(例如,图1中所示的服务器120)处执行。在一些实施例中,方法200可以由客户端设备(例如,客户端设备110)和服务器(例如,服务器120)相组合地执行。在下文中,以执行主体为客户端设备110为例,详细描述方法200的各个步骤。
根据本公开的一些实施例,在数据管道的构建阶段,通过向客户端提供数据采集组件所采集到的原始数据和向客户端提供经由数据处理组件处理后的处理数据,使得能够在数据管道的构建过程中实时捕捉并查看数据采集组件和数据处理组件的处理结果,仅在确定数据采集组件和数据处理组件的处理结果符合预期后才创建数据加载组件以连接到目标数据平台,因此,无需等数据管道构建完成后才能查看数据采集组件和数据处理组件的处理结果,从而提高了构建数据管道的效率。
如图2所示,根据本公开的实施例提供了一种通过客户端为目标数据平台构建数据管道的方法200。该数据管道包括数据采集组件、数据处理组件和数据加载组件。方法200包括如下步骤210至步骤250。
步骤210,创建数据采集组件,该数据采集组件用于采集原始数据。
在本公开的一些实施例中,数据采集组件可以是用于构建数据管道的source组件,该source组件负责对接数据源(例如目标数据文件或目标数据库)。
步骤220,向客户端提供数据采集组件所采集到的原始数据以供用户确定原始数据是否满足采集需求(例如,采集到的原始数据是否是用户预期想要获取的数据)。
步骤230,响应于从客户端接收到原始数据满足采集需求的指示,创建数据处理组件,该数据处理组件用于对原始数据进行处理(例如增加或修改原始数据中的一些字段)以得到处理数据。
在本公开的一些实施例中,数据处理组件可以是用于构建数据管道的pipeline组件,该pipeline组件中包含数据处理逻辑,负责对数据采集组件所采集到的原始数据进行处理。
在本公开的一些实施例中,原始数据满足采集需求的指示可以是显式的,例如用户可以在判断选项中选择原始数据满足采集需求的选项或者用户可以输入原始数据满足采集需求的确认指令。
在本公开的一些实施例中,原始数据满足采集需求的指示可以是隐式的,例如用户可以直接创建数据处理组件而不对原始数据是否满足采集需求做出判断或给出确认指令。由于用户直接创建了数据处理组件,因此可以推断出原始数据满足采集需求。
在本公开的一些实施例中,方法200还可以包括:从客户端接收用于修改数据采集组件的配置的第一信息,以及基于第一信息,修改数据采集组件的配置,使得修改后的数据采集组件所采集到的原始数据满足所述采集需求。第一信息可以包括对数据采集组件的配置进行修改的指令。在本公开的一些实施例中,第一信息可以是被动的,例如当原始数据被确定为不满足采集需求时,用户发起第一信息以对数据采集组件进行修改。在本公开的一些实施例中,第一信息可以是主动的,例如在原始数据被确定为满足采集需求时,用户发起第一信息以对数据采集组件进行修改,从而对数据采集组件进行优化。
根据本公开的一些实施例,在数据管道的构建阶段,通过快速验证数据管道中数据采集组件的数据采集结果,在确认数据采集组件的行为符合预期后才进行数据管道构建的后续操作,从而提高了构建数据管道的效率。
步骤240,向客户端提供处理数据以供用户确定处理数据是否满足处理需求(例如,数据处理逻辑是否合适、原始数据是否按照用户的预期被处理等)。
步骤250,响应于从客户端接收到处理数据满足处理需求的指示,创建数据加载组件,该数据加载组件用于将处理数据加载到目标数据平台。
在本公开的一些实施例中,数据加载组件可以是用于构建数据管道的sink组件,该sink组件负责将处理数据加载到目标数据平台。在创建完数据加载组件后,为目标数据平台构建数据管道的操作完成,该数据管道能够对接数据源和目标数据平台。
在本公开的一些实施例中,处理数据满足处理需求的指示可以是显式的,例如用户可以在判断选项中选择处理数据满足处理需求的选项或者用户可以输入处理数据满足处理需求的确认指令。
在本公开的一些实施例中,处理数据满足处理需求的指示可以是隐式的,例如用户可以直接创建数据加载组件而不对处理数据是否满足处理需求做出判断或给出确认指令。由于用户直接创建了数据加载组件,因此可以推断出处理数据满足处理需求。
在本公开的一些实施例中,方法200还可以包括:从客户端接收用于修改数据处理组件的配置的第二信息,以及基于第二信息,修改数据处理组件的配置,使得经由修改后的数据处理组件处理后的处理数据满足处理需求。第二信息可以包括对数据处理组件的配置进行修改的指令。在本公开的一些实施例中,第二信息可以是被动的,例如当处理数据被确定为不满足处理需求时,用户发起第二信息以对数据处理组件进行修改。在本公开的一些实施例中,第二信息可以是主动的,例如在处理数据被确定为满足处理需求时,用户发起第二信息以对数据处理组件进行修改,从而对数据处理组件进行优化。
根据本公开的一些实施例,在数据管道的构建阶段,通过快速验证数据管道中数据处理组件的数据处理结果,在确认数据处理组件的行为符合预期后才进行数据管道构建的后续操作,从而提高了构建数据管道的效率。
在本公开的一些实施例中,方法200还可以包括:在创建数据加载组件之前,调用临时数据加载组件,该临时数据加载组件用于丢弃原始数据和处理数据,以免原始数据和所述处理数据进入目标数据平台。临时数据加载组件例如可以是内置的/dev/null sink组件,该组件会自动丢弃其接收到的所有数据,避免脏数据进入目标数据平台,从而提构建数据管道的效率。
在本公开的一些实施例中,可以经由Web UI对数据管道进行构建。通过使用WebUI,使得能够快速获取网页上的数据,对网页上的数据进行清洗和处理,然后将其加载到目标数据平台。
图3至图5示出了根据本公开实施例的通过客户端为目标数据平台构建数据管道的方法的示意图。以下参考图3至图5进一步描述本公开的构建数据管道的方法。
参考图3,如虚线框所示,首先创建数据采集组件。该数据采集组件可以从目标文件或目标数据库中获取原始数据。数据采集组件采集到原始数据后,向客户端提供原始数据以供用户确定原始数据是否满足采集需求。如果原始数据不满足采集需求,则用户可以向客户端提供指令以对数据采集组件进行修改,直到修改后的数据采集组件所采集到的原始数据满足采集需求。如果原始数据满足采集需求,用户仍可以向客户端提供指令以对数据采集组件进行修改,从而优化数据采集组件。或者用户可以向客户端提供原始数据满足采集需求的指示(显式的或隐式的),响应于接收到该指示,保存数据采集组件的配置并创建数据处理组件,该数据处理组件包括数据处理逻辑并用于对原始数据进行处理以得到处理数据。由于此过程中调用了内部的临时数据加载组件,数据采集组件采集到的原始数据将被丢弃,以免脏数据进入目标数据平台。
接下来参考图4,如虚线框所示,在数据处理组件对原始数据进行处理从而得到处理数据后,向客户端提供处理数据以供用户确定处理数据是否满足处理需求。如果处理数据不满足处理需求,则用户可以向客户端提供指令以对数据处理组件进行修改,直到经由修改后的数据处理组件处理后的处理数据满足处理需求。如果处理数据满足处理需求,用户仍可以向客户端提供指令以对数据处理组件进行修改,从而优化数据处理组件。或者用户可以向客户端提供处理数据满足处理需求的指示(显式的或隐式的),响应于接收到该指示,保存数据处理组件的配置并创建数据加载组件(如图5所示),该数据加载组件用于将处理数据加载到目标数据平台,从而完成数据管道的构建。由于在创建数据加载组件前仍然调用了内部的临时数据加载组件,经由数据处理组件处理的原始数据将被丢弃,以免脏数据进入目标数据平台。
参考图3至图5所描述的构建数据管道的方法,使得能够快速验证数据管道中各个环节的数据处理结果,并且自动地将调试中的数据管道与目标数据平台隔离,从而避免了脏数据被加载到目标数据平台的风险并且提高了构建数据管道的效率。
图6示出了根据本公开实施例的通过客户端为目标数据平台维护数据管道的方法600的示例性流程图。方法600可以在客户端设备(例如,图1中所示的客户端设备110)处执行,也即,方法600的各个步骤的执行主体可以是图1中所示的客户端设备110。在一些实施例中,方法600可以在服务器(例如,图1中所示的服务器120)处执行。在一些实施例中,方法600可以由客户端设备(例如,客户端设备110)和服务器(例如,服务器120)相组合地执行。在下文中,以执行主体为客户端设备110为例,详细描述方法600的各个步骤。
根据本公开的一些实施例,在数据管道的维护阶段,通过构建包括原数据管道的数据采集组件副本、原数据管道的数据处理组件副本和临时数据加载组件的临时数据管道,实时捕捉并查看修改后数据采集组件副本和修改后数据处理组件的处理结果,并将调试完成后的临时数据管道替代原数据管道以连接到目标数据平台,因此,能够在不影响原数据管道的运行的情况下,提高维护数据管道的效率。
如图6所示,根据本公开的实施例提供了一种通过客户端为目标数据平台维护数据管道的方法600,包括如下步骤610至步骤660。
步骤610,响应于从客户端接收到修改目标数据平台的原数据管道的指示,构建临时数据管道,该临时数据管道包括原数据管道的数据采集组件副本、原数据管道的数据处理组件副本和临时数据加载组件。数据采集组件副本用于采集原始数据,数据处理组件副本用于对原始数据进行处理以得到处理数据,临时数据加载组件用于丢弃原始数据和处理数据,以免原始数据和处理数据进入目标数据平台。
在本公开的一些实施例中,数据采集组件副本可以是原数据管道的source组件副本,数据处理组件副本可以是原数据管道的pipeline组件副本,临时数据加载组件可以是内置的/dev/null sink组件。
步骤620,响应于从客户端接收到用于修改数据采集组件副本的配置的第三信息,修改数据采集组件副本的配置。
在本公开的一些实施例中,第三信息可以包括对数据采集组件副本的配置进行修改的指令。
步骤630,向客户端提供修改后的数据采集组件副本所采集到的原始数据以供用户确定原始数据是否满足采集需求(例如,修改后的数据采集组件副本所采集到的原始数据是否是用户预期想要获取的数据)。
步骤640,响应于从客户端接收到原始数据满足采集需求的指示,并且响应于从客户端接收到用于修改数据处理组件副本的配置的第四信息,修改数据处理组件副本的配置。第四信息可以包括对数据处理组件副本的配置进行修改的指令。
在本公开的一些实施例中,原始数据满足采集需求的指示可以是显式的,例如用户可以在判断选项中选择原始数据满足采集需求的选项或者用户可以输入原始数据满足采集需求的确认指令。
在本公开的一些实施例中,原始数据满足采集需求的指示可以是隐式的,例如用户可以直接对数据处理组件副本进行修改而不对原始数据是否满足采集需求做出判断或给出确认指令。由于用户直接修改了数据处理组件副本,因此可以推断出原始数据满足采集需求。
在本公开的一些实施例中,方法600还可以包括:从客户端接收用于重新修改数据采集组件副本的配置的第五信息,以及基于第五信息,重新修改数据采集组件副本的配置,使得重新修改后的数据采集组件副本所采集到的原始数据满足所述采集需求。第五信息可以包括对数据采集组件副本的配置进行修改的指令。应当理解的是,可以反复地接收并基于所接收到的第五信息对数据采集组件副本进行修改,从而使得修改后的数据采集组件副本的行为更加符合预期。在本公开的一些实施例中,第五信息可以是被动的,例如当原始数据被确定为不满足采集需求时,用户发起第五信息以对数据采集组件副本进行修改。在本公开的一些实施例中,第五信息可以是主动的,例如在原始数据被确定为满足采集需求时,用户发起第五信息以对数据采集组件副本进行修改,从而对数据采集组件副本进行优化。
根据本公开的一些实施例,在数据管道的维护阶段,通过对数据采集组件副本进行修改,实时查看并验证修改后的数据采集组件副本的数据采集结果,在确认数据采集结果符合预期后才进行数据管道维护的后续操作,从而提高了维护数据管道的效率。
步骤650,向客户端提供经由修改后的数据处理组件副本处理后的处理数据以供用户确定处理数据是否满足处理需求(例如,数据处理逻辑是否合适、原始数据是否按照用户的预期被处理等)。
步骤660,响应于从客户端接收到处理数据满足处理需求的指示,创建数据加载组件以替换临时数据加载组件并停用原数据管道,所述数据加载组件用于将处理数据加载到目标数据平台。
在本公开的一些实施例中,处理数据满足处理需求的指示可以是显式的,例如用户可以在判断选项中选择处理数据满足处理需求的选项或者用户可以输入处理数据满足处理需求的确认指令。
在本公开的一些实施例中,处理数据满足处理需求的指示可以是隐式的,例如用户可以直接创建数据加载组件以替换临时数据加载组件而不对处理数据是否满足处理需求做出判断或给出确认指令。由于用户直接创建了数据加载组件以替换临时数据加载组件,因此可以推断出处理数据满足处理需求。
在本公开的一些实施例中,方法600还可以包括:从客户端接收用于重新修改数据处理组件副本的配置的第六信息,以及基于第六信息,重新修改数据处理组件副本的配置,使得经由重新修改后的数据处理组件副本处理后的处理数据满足处理需求。第六信息可以包括对数据处理组件副本的配置进行修改的指令。应当理解的是,可以反复地接收并基于所接收到的第六信息对数据处理组件副本进行修改,从而使得修改后的数据处理组件副本的行为更加符合预期。在本公开的一些实施例中,第六信息可以是被动的,例如当处理数据被确定为不满足处理需求时,用户发起第六信息以对数据处理组件副本进行修改。在本公开的一些实施例中,第六信息可以是主动的,例如在处理数据被确定为满足处理需求时,用户发起第六信息以对数据处理组件副本进行修改,从而对数据处理组件副本进行优化。
根据本公开的一些实施例,在数据管道的构建阶段,通过对数据处理组件副本进行修改,实时查看并验证修改后的数据处理组件副本的数据处理结果,在确认数据处理结果符合预期后才进行数据管道维护的后续操作,从而提高了维护数据管道的效率。
在本公开的一些实施例中,可以经由Web UI对数据管道进行维护。通过使用WebUI,使得能够快速获取网页上的数据,对网页上的数据进行清洗和处理,然后将其加载到目标数据平台。
图7至图10示出了根据本公开实施例的通过客户端为目标数据平台维护数据管道的方法的示意图。例如当数据格式发生变化时,需要对原有数据管道进行调整和维护以适应新的数据格式。
参考图7,当需要对数据管道进行维护时,首先可以根据用户提供的维护指令来构建临时数据管道,该临时数据管道包括原数据管道的数据采集组件副本、原数据管道的数据处理组件副本和临时数据加载组件。
接下来参考图8,如虚线框所示,对原数据管道的数据采集组件副本进行修改。修改后的数据采集组件副本采集到原始数据后,向客户端提供该原始数据以供用户确定原始数据是否满足采集需求。如果原始数据不满足采集需求,则用户可以向客户端提供指令以继续对数据采集组件副本进行修改,直到修改后的数据采集组件副本所采集到的原始数据满足采集需求。如果原始数据满足采集需求,用户仍可以向客户端提供指令以对数据采集组件副本进行修改,从而优化数据采集组件副本。或者用户可以向客户端提供原始数据满足采集需求的指示(显式的或隐式的),响应于接收到该指示,保存修改后的数据采集组件副本的配置。由于过程中调用了内部的临时数据加载组件,修改后的数据采集组件副本所采集到的原始数据将被丢弃,以免脏数据进入目标数据平台。
接下来参考图9,如虚线框所示,对原数据管道的数据处理组件副本进行修改。在修改后的数据处理组件副本对原始数据进行处理从而得到处理数据后,向客户端提供该处理数据以供用户确定处理数据是否满足处理需求。如果处理数据不满足处理需求,则用户可以向客户端提供指令以继续对数据处理组件副本进行修改,直到经由修改后的数据处理组件副本处理后的处理数据满足处理需求。如果处理数据满足处理需求,用户仍可以向客户端提供指令以对数据处理组件副本进行修改,从而优化数据处理组件副本。或者用户可以向客户端提供处理数据满足处理需求的指示(显式的或隐式的),响应于接收到该指示,保存修改后的数据处理组件副本的配置,创建数据加载组件以替换临时数据加载组件并停用原数据管道(如图10所示),从而完成数据管道的维护。由于在创建数据加载组件前仍然调用了内部的临时数据加载组件,经由修改后的数据处理组件副本处理后的处理数据将被丢弃,以免脏数据进入目标数据平台。
参考图7至图10所描述的构建数据管道的方法,通过基于原数据管道建立临时数据管道,使得维护过程不影响原数据管道的运行。此外,在调试临时数据管道时能够快速验证临时数据管道中各个环节的数据处理结果,并且自动地将调试中的临时数据管道与目标数据平台隔离,从而避免了脏数据被加载到目标数据平台的风险并且提高了构建数据管道的效率。
图11示出了根据本公开实施例的通过客户端为目标数据平台构建数据管道的装置的结构框图。
如图11所示,根据本公开的实施例提供了一种通过客户端为目标数据平台构建数据管道的装置1100。该数据管道包括数据采集组件、数据处理组件和数据加载组件。装置1100包括:第一创建模块1110,被配置为创建数据采集组件,该数据采集组件用于采集原始数据;第一提供模块1120,被配置为向客户端提供数据采集组件所采集到的原始数据以供用户确定原始数据是否满足采集需求;第二创建模块1130,被配置为响应于从客户端接收到原始数据满足采集需求的指示,创建数据处理组件,该数据处理组件用于对原始数据进行处理以得到处理数据;第二提供模块1140,被配置为向客户端提供处理数据以供用户确定处理数据是否满足处理需求;以及第三创建模块1150,被配置为响应于从客户端接收到处理数据满足处理需求的指示,创建数据加载组件,该数据加载组件用于将处理数据加载到目标数据平台。
图12示出了根据本公开实施例的通过客户端为目标数据平台维护数据管道的装置的结构框图。
如图12所示,根据本公开的实施例提供了一种通过客户端为目标数据平台维护数据管道的装置1200,该装置1200包括:构建模块1210,配置为响应于从客户端接收到修改目标数据平台的原数据管道的指示,构建临时数据管道,该临时数据管道包括原数据管道的数据采集组件副本、原数据管道的数据处理组件副本和临时数据加载组件。数据采集组件副本用于采集原始数据,数据处理组件副本用于对原始数据进行处理以得到处理数据,临时数据加载组件用于丢弃原始数据和处理数据,以免原始数据和处理数据进入目标数据平台;第一修改模块1220,配置为响应于从客户端接收到用于修改数据采集组件副本的配置的第三信息,修改数据采集组件副本的配置;第三提供模块1230,被配置为向客户端提供修改后的数据采集组件副本所采集到的原始数据以供用户确定原始数据是否满足采集需求;第二修改模块1240,被配置为响应于从客户端接收到原始数据满足采集需求的指示,并且响应于从客户端接收到用于修改数据处理组件副本的配置的第四信息,修改数据处理组件副本的配置;第四提供模块1250,被配置为向客户端提供经由修改后的数据采集处理副本处理后的处理数据以供用户确定处理数据是否满足处理需求;以及替换模块1260,被配置为响应于从客户端接收到处理数据满足处理需求的指示,创建数据加载组件以替换临时数据加载组件,该数据加载组件用于将处理数据加载到目标数据平台,并停用原数据管道。
虽然上面参考特定模块讨论了特定功能,但是应当注意,本文讨论的各个模块的功能可以分为多个模块,和/或多个模块的至少一些功能可以组合成单个模块。本文讨论的特定模块执行动作包括该特定模块本身执行该动作,或者替换地该特定模块调用或以其他方式访问执行该动作(或结合该特定模块一起执行该动作)的另一个组件或模块。因此,执行动作的特定模块可以包括执行动作的该特定模块本身和/或该特定模块调用或以其他方式访问的、执行动作的另一模块。
还应当理解,本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。图11和图12描述的各个模块可以在硬件中或在结合软件和/或固件的硬件中实现。例如,这些模块可以被实现为计算机程序代码/指令,该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地,这些模块可以被实现为硬件逻辑/电路。例如,在一些实施例中,模块1110至模块1150以及模块1210至模块1260中的一个或多个可以一起被实现在片上系统(System on Chip,SoC)中。SoC可以包括集成电路芯片(其包括处理器(例如,中央处理单元(Central Processing Unit,CPU)、微控制器、微处理器、数字信号处理器(Digital Signal Processor,DSP)等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件),并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。
根据本公开的另一方面,还提供一种电子设备,包括:处理器;以及与存储器;其中所述存储器存储有指令,所述指令被处理器执行时,使所述处理器执行根据本公开的方法。
根据本公开的另一方面,还提供一种存储有指令的非瞬时计算机可读存储介质,其中,所述指令被处理器执行时,使处理器执行根据本公开的方法。
根据本公开的另一方面,还提供一种计算机程序产品,包括指令,其中,所述指令被处理器执行时使处理器执行根据本公开的方法。
参见图13,现将描述可以作为本公开的电子设备1300的结构框图,其是可以应用于本公开的各方面的硬件设备的示例。电子设备可以是不同类型的计算机设备,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
图13示出了根据本公开实施例的电子设备的框图。如图13所示,电子设备1300可以包括能够通过系统总线1303彼此通信的至少一个处理器1301、工作存储器1302、I/O设备1304、显示设备1305、存储装置1306和通信接口1307。
处理器1301可以是单个处理单元或多个处理单元,所有处理单元可以包括单个或多个计算单元或者多个核心。处理器1301可以被实施成一个或更多微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。处理器1301可以被配置成获取并且执行存储在工作存储器1302、存储装置1306或者其他计算机可读介质中的计算机可读指令,诸如操作系统1302a的程序代码、应用程序1302b的程序代码等。
工作存储器1302和存储装置1306是用于存储指令的计算机可读存储介质的示例,指令由处理器1301执行来实施前面所描述的各种功能。工作存储器1302可以包括易失性存储器和非易失性存储器二者(例如RAM、ROM等等)。此外,存储装置1306可以包括硬盘驱动器、固态驱动器、可移除介质、包括外部和可移除驱动器、存储器卡、闪存、软盘、光盘(例如CD、DVD)、存储阵列、网络附属存储、存储区域网等等。工作存储器1302和存储装置1306在本文中都可以被统称为存储器或计算机可读存储介质,并且可以是能够把计算机可读、处理器可执行程序指令存储为计算机程序代码的非暂态介质,计算机程序代码可以由处理器1301作为被配置成实施在本文的示例中所描述的操作和功能的特定机器来执行。
I/O设备1304可以包括输入设备和/或输出设备,输入设备可以是能向电子设备1300输入信息的任何类型的设备,可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出设备可以是能呈现信息的任何类型的设备,并且可以包括但不限于包括视频/音频输出终端、振动器和/或打印机。
通信接口1307允许电子设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组,例如蓝牙TM设备、802.11设备、Wi-Fi设备、WiMAX设备、蜂窝通信设备和/或类似物。
工作寄存器1302中的应用程序1302b可以被加载执行上文所描述的各个方法和处理。在一些实施例中,计算机程序的部分或者全部可以经由存储装置1306和/或通信接口1307而被载入和/或安装到电子设备1300上。当计算机程序被加载并由处理器1301执行时,可以执行上文描述的数据处理方法的一个或多个步骤。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程任务调度装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示设备(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
虽然已经参照附图描述了本公开的实施例或示例,但应理解,上述的方法、系统和设备仅仅是示例性的实施例或示例,本发明的范围并不由这些实施例或示例限制,而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外,可以通过不同于本公开中描述的次序来执行各步骤。进一步地,可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进,在此描述的很多要素可以由本公开之后出现的等同要素进行替换。
Claims (14)
1.一种通过客户端为目标数据平台构建数据管道的方法,所述数据管道包括数据采集组件、数据处理组件和数据加载组件,所述方法包括:
创建所述数据采集组件,所述数据采集组件用于采集原始数据;
向所述客户端提供所述数据采集组件所采集到的原始数据以供用户确定所述原始数据是否满足采集需求;
响应于从所述客户端接收到所述原始数据满足所述采集需求的指示,创建所述数据处理组件,所述数据处理组件用于对所述原始数据进行处理以得到处理数据;
向所述客户端提供所述处理数据以供所述用户确定所述处理数据是否满足处理需求;以及
响应于从所述客户端接收到所述处理数据满足所述处理需求的指示,创建所述数据加载组件,所述数据加载组件用于将所述处理数据加载到所述目标数据平台。
2.根据权利要求1所述的方法,还包括:
从所述客户端接收用于修改所述数据采集组件的配置的第一信息;以及
基于所述第一信息,修改所述数据采集组件的配置,使得修改后的数据采集组件所采集到的原始数据满足所述采集需求。
3.根据权利要求1所述的方法,还包括:
从所述客户端接收用于修改所述数据处理组件的配置的第二信息;以及
基于所述第二信息,修改所述数据处理组件的配置,使得经由修改后的数据处理组件处理后的处理数据满足所述处理需求。
4.根据权利要求1至3中任一项所述的方法,还包括:
在创建所述数据加载组件之前,调用临时数据加载组件,所述临时数据加载组件用于丢弃所述原始数据和所述处理数据,以免所述原始数据和所述处理数据进入所述目标数据平台。
5.根据权利要求1至3中任一项所述的方法,其中,所述数据管道是经由Web UI进行构建的。
6.一种通过客户端为目标数据平台维护数据管道的方法,包括:
响应于从所述客户端接收到修改所述目标数据平台的原数据管道的指示,构建临时数据管道,所述临时数据管道包括所述原数据管道的数据采集组件副本、所述原数据管道的数据处理组件副本和临时数据加载组件,其中,所述数据采集组件副本用于采集原始数据,所述数据处理组件副本用于对所述原始数据进行处理以得到处理数据,所述临时数据加载组件用于丢弃所述原始数据和所述处理数据,以免所述原始数据和所述处理数据进入所述目标数据平台;
响应于从所述客户端接收到用于修改所述数据采集组件副本的配置的第三信息,修改所述数据采集组件副本的配置;
向所述客户端提供修改后的数据采集组件副本所采集到的原始数据以供用户确定所述原始数据是否满足采集需求;
响应于从所述客户端接收到所述原始数据满足所述采集需求的指示,并且响应于从所述客户端接收到用于修改所述数据处理组件副本的配置的第四信息,修改所述数据处理组件副本的配置;
向所述客户端提供经由修改后的数据处理组件副本处理后的处理数据以供所述用户确定所述处理数据是否满足处理需求;以及
响应于从所述客户端接收到所述处理数据满足所述处理需求的指示,创建数据加载组件以替换所述临时数据加载组件并停用所述原数据管道,所述数据加载组件用于将所述处理数据加载到所述目标数据平台。
7.根据权利要求6所述的方法,还包括:
从所述客户端接收用于重新修改所述数据采集组件副本的配置的第五信息;以及
基于所述第五信息,重新修改所述数据采集组件副本的配置,使得重新修改后的数据采集组件副本所采集到的原始数据满足所述采集需求。
8.根据权利要求6所述的方法,还包括:
从所述客户端接收用于重新修改所述数据处理组件副本的配置的第六信息;以及
基于所述第六信息,重新修改所述数据处理组件副本的配置,使得经由重新修改后的数据处理组件副本处理后的处理数据满足所述处理需求。
9.根据权利要求6至8中任一项所述的方法,其中,所述数据管道是经由Web UI进行维护的。
10.一种通过客户端为目标数据平台构建数据管道的装置,所述数据管道包括数据采集组件、数据处理组件和数据加载组件,所述装置包括:
第一创建模块,所述第一创建模块被配置为创建所述数据采集组件,所述数据采集组件用于采集原始数据;
第一提供模块,所述第一提供模块被配置为向所述客户端提供所述数据采集组件所采集到的原始数据以供用户确定所述原始数据是否满足采集需求;
第二创建模块,所述第二创建模块被配置为响应于从所述客户端接收到所述原始数据满足所述采集需求的指示,创建所述数据处理组件,所述数据处理组件用于对所述原始数据进行处理以得到处理数据;
第二提供模块,所述第二提供模块被配置为向所述客户端提供所述处理数据以供所述用户确定所述处理数据是否满足处理需求;以及
第三创建模块,所述第三创建模块被配置为响应于从所述客户端接收到所述处理数据满足所述处理需求的指示,创建所述数据加载组件,所述数据加载组件用于将所述处理数据加载到所述目标数据平台。
11.一种通过客户端为目标数据平台维护数据管道的装置,所述装置包括:
构建模块,所述构建模块被配置为响应于从所述客户端接收到修改所述目标数据平台的原数据管道的指示,构建临时数据管道,所述临时数据管道包括所述原数据管道的数据采集组件副本、所述原数据管道的数据处理组件副本和临时数据加载组件,其中,所述数据采集组件副本用于采集原始数据,所述数据处理组件副本用于对所述原始数据进行处理以得到处理数据,所述临时数据加载组件用于丢弃所述原始数据和所述处理数据,以免所述原始数据和所述处理数据进入所述目标数据平台;
第一修改模块,所述第一修改模块被配置为响应于从所述客户端接收到用于修改所述数据采集组件副本的配置的第三信息,修改所述数据采集组件副本的配置;
第三提供模块,所述第三提供模块被配置为向所述客户端提供修改后的数据采集组件副本所采集到的原始数据以供用户确定所述原始数据是否满足采集需求;
第二修改模块,所述第二修改模块被配置为响应于从所述客户端接收到所述原始数据满足所述采集需求的指示,并且响应于从所述客户端接收到用于修改所述数据处理组件副本的配置的第四信息,修改所述数据处理组件副本的配置;
第四提供模块,所述第四提供模块被配置为向所述客户端提供经由修改后的数据采集处理副本处理后的处理数据以供所述用户确定所述处理数据是否满足处理需求;以及
替换模块,所述替换模块被配置为响应于从所述客户端接收到所述处理数据满足所述处理需求的指示,创建数据加载组件以替换所述临时数据加载组件并停用所述原数据管道,所述数据加载组件用于将所述处理数据加载到所述目标数据平台。
12.一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有计算机程序,所述计算机程序在被所述至少一个处理器执行时实现根据权利要求1-9中任一项所述的方法。
13.一种存储有计算机程序的非瞬时计算机可读存储介质,其中,所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。
14.一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311112344.7A CN117149874A (zh) | 2023-08-30 | 2023-08-30 | 构建和维护数据管道的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311112344.7A CN117149874A (zh) | 2023-08-30 | 2023-08-30 | 构建和维护数据管道的方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117149874A true CN117149874A (zh) | 2023-12-01 |
Family
ID=88886284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311112344.7A Pending CN117149874A (zh) | 2023-08-30 | 2023-08-30 | 构建和维护数据管道的方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117149874A (zh) |
-
2023
- 2023-08-30 CN CN202311112344.7A patent/CN117149874A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102493449B1 (ko) | 엣지 컴퓨팅 테스트 방법, 장치, 전자 장치 및 컴퓨터 판독 가능 매체 | |
US9602598B2 (en) | Coordinating application migration processes | |
CN110008045B (zh) | 微服务的聚合方法、装置、设备及存储介质 | |
US11449348B2 (en) | Pre/post deployment customization | |
US20160011960A1 (en) | Extraction of problem diagnostic knowledge from test cases | |
US9372776B2 (en) | Monitoring user activity and performance of computerized devices | |
JP6725564B2 (ja) | 作成装置、作成システム、作成方法および作成プログラム | |
CN112615746B (zh) | 一种边缘计算方法、装置及系统 | |
JP2022048088A (ja) | コードをテストするための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム | |
US11502899B2 (en) | Dynamic product installation based on user feedback | |
US20170109253A1 (en) | System and method for filtering system log under operating system | |
CN107368407B (zh) | 信息处理方法和装置 | |
US10990508B2 (en) | Computing system with GUI testing device and related methods | |
JP2016018233A (ja) | スクリプトのキャッシュ方法及びそれを適用した情報処理装置 | |
US9304891B1 (en) | Load-test generator | |
CN116594887A (zh) | 一种基于cfd软件的自动化测试方法及系统 | |
CN117149874A (zh) | 构建和维护数据管道的方法、装置、电子设备及存储介质 | |
CN116483707A (zh) | 测试方法、装置、设备、存储介质及程序产品 | |
CA3144122A1 (en) | Data verifying method, device and system | |
JP2018120256A (ja) | 設定操作入力支援装置、設定操作入力支援システム | |
CN107193670B (zh) | 一种集群工作站的远程管理方法、装置及系统 | |
CN113434382A (zh) | 数据库性能监控方法、装置、电子设备及计算机可读介质 | |
CN114371866A (zh) | 业务系统的版本重构测试方法、装置和设备 | |
EP3893107A1 (en) | Intelligent feature delivery in a computing environment | |
CN110321132A (zh) | 一种代码发布方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |