CN113868127A

CN113868127A - 在线调试方法、装置、计算机设备和存储介质

Info

Publication number: CN113868127A
Application number: CN202111105046.6A
Authority: CN
Inventors: 王广邦; 孙迁; 郭文凭; 张毅; 杨帅
Original assignee: Nanjing Suning Electronic Information Technology Co ltd
Current assignee: Nanjing Suning Electronic Information Technology Co ltd
Priority date: 2021-09-22
Filing date: 2021-09-22
Publication date: 2021-12-31

Abstract

本申请涉及一种在线调试方法、装置、计算机设备和存储介质。该方法包括：获取当前调试文件，从当前调试文件中读取数据，将读取到的数据作为当前调试节点的数据源；获取当前目的节点信息，当前目的节点信息为当前调试节点的下一节点的节点信息；根据当前目的节点信息，生成新流任务执行拓扑图；将数据源和新流任务执行拓扑图传输给目标调试机，以指示目标调试机以数据源按照新流任务执行拓扑图执行对当前调试节点的调试，将获得的调试结果输出到指定数据库。采用本方法能够解决用户由于某个调试节点出现问题而造成的整个任务开发调试周期变长的难题，很大程度上降低了任务开发者的工作量，提升了任务开发者的调试效率。

Description

在线调试方法、装置、计算机设备和存储介质

技术领域

本申请涉及应用开发技术领域，尤其是涉及一种在线调试方法、装置、计算机设备和存储介质。

背景技术

随着应用开发技术领域的发展，出现了面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时(Flink Runtime)，提供支持流处理和批处理两种类型应用的功能。由于其支持高吞吐、低延迟、高性能的流处理及支持有状态计算的Exactly-once语义等优点，使得其越来越受到用户的青睐。

对于如何基于Flink引擎对调试任务进行快速便捷的调试，从而验证程序的准确性这一问题，传统的技术方案均是基于Flink引擎先对调试任务进行本地打包，然后把打包完成的文件提交到集群，最后在集群上进行调试，验证调试结果与预期结果的差异性。

然而，目前的调试方法，当验证调试结果与预期结果的差异性比较大的时候，需要从整个打包文件中去寻找漏洞(Bug)，不但开发人员的任务量大，而且耗时长也影响了调试效率。

发明内容

基于此，有必要针对上述技术问题，提供一种在线调试方法、装置、计算机设备和存储介质。

一方面，提供一种在线调试方法，该方法包括：

获取当前调试文件，从当前调试文件中读取数据，将读取到的数据作为当前调试节点的数据源；

获取当前目的节点信息，当前目的节点信息为当前调试节点的下一节点的节点信息；

根据当前目的节点信息，生成新流任务执行拓扑图；

将数据源和新流任务执行拓扑图传输给目标调试机，以指示目标调试机以数据源按照新流任务执行拓扑图执行对当前调试节点的调试，将获得的调试结果输出到指定数据库。

在其中一个实施例中，上述的根据当前目的节点信息，生成新流任务执行拓扑图，包括：根据当前目的节点信息，生成设定格式文件；根据设定格式文件，生成新流任务执行拓扑图。

在其中一个实施例中，上述的获取当前调试文件，包括：从分布式文件系统中读取当前调试文件，当前调试文件为用户上传的并经合法性测试通过后存储在分布式文件系统中的调试文件。

在其中一个实施例中，还包括：接收用户上传的调试文件；

识别用户上传的调试文件的文件格式，并识别用户上传的调试文件中的数据格式；

在文件格式是Csv格式，且数据格式是Json格式时，判定用户上传的调试文件合法；

在文件格式不是Csv格式，或者数据格式不是Json格式时，删除用户上传的调试文件。

在其中一个实施例中，上述的对当前调试节点的调试为异步调试；

将获得的调试结果输出到指定数据库，包括：定时将调试结果更新到关系型数据库。

在其中一个实施例中，还包括：定时将更新到关系型数据库中的调试结果回显到人机交互界面。

在其中一个实施例中，还包括：将从当前调试文件中读取到的数据展示于人机交互界面，当前调试文件的场景包括系统时间场景和事件时间场景；

根据人机交互界面的数据显示情况，在当前调试文件为系统时间场景时，输出当前系统调试时间；

在当前调试文件为事件时间场景时，当接收到对事件时间场景的时间进行修改的操作指令后，对事件时间场景的时间进行修改，并保存到数据库中。

另一方面，提供了一种在线调试装置，该装置包括：

第一获取模块，用于获取当前调试文件，从当前调试文件中读取数据，将读取到的数据作为当前调试节点的数据源；

第二获取模块，用于获取当前目的节点信息，当前目的节点信息为当前调试节点的下一节点的节点信息；

生成模块，用于根据当前目的节点信息，生成新流任务执行拓扑图；

结果输出模块，用于将数据源和新流任务执行拓扑图传输给目标调试机，以指示目标调试机以数据源按照新流任务执行拓扑图执行对当前调试节点的调试，将获得的调试结果输出到指定数据库。

再一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

根据当前目的节点信息，生成新流任务执行拓扑图；

又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

根据当前目的节点信息，生成新流任务执行拓扑图；

上述一种在线调试方法、装置、计算机设备和存储介质，通过获取当前调试文件以及当前目的节点信息，从当前调试文件中读取数据，将读取到的数据作为当前调试节点的数据源；根据当前目的节点信息，生成新流任务执行拓扑图；以指示目标调试机以数据源按照新流任务执行拓扑图执行对当前调试节点的调试，并将获得的调试结果输出到指定数据库。上述过程实现只对当前需要调试的节点信息进行调试而不是对所有的调试节点信息进行调试，解决了用户由于某个调试节点出现问题而造成的整个任务开发调试周期变长的难题，很大程度上降低了任务开发者的工作量，提升了任务开发者的调试效率。

附图说明

图1为一个实施例中一种在线调试方法的应用环境图；

图2为一个实施例中一种在线调试方法的流程示意图；

图3为一个实施例中一种在线调试装置的结构框图；

图4为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的一种在线调试方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。服务器104通过网络从终端102获取当前调试文件以及当前目的节点信息，从当前调试文件中读取数据，将读取到的数据作为当前调试节点的数据源；服务器104根据当前目的节点信息，生成新流任务执行拓扑图；以指示目标调试机106以数据源按照新流任务执行拓扑图执行对当前调试节点的调试。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、平板电脑等硬件设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种在线调试方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

步骤202，获取当前调试文件，从当前调试文件中读取数据，将读取到的数据作为当前调试节点的数据源。

这里，当前调试文件是指当前要对其进行调试的文件，该调试文件中包括大量调试数据。

具体地，服务器获取到用户上传于终端的调试文件，从上传的当前调试文件中读取数据，将读取到的数据作为当前调试节点的数据源，并将读取到的数据展示于人机交互界面。

步骤204，获取当前目的节点信息，当前目的节点信息为当前调试节点的下一节点的节点信息。

这里，当前目的节点信息是指当前需要调试的节点信息。

具体地，服务器获取到当前目的节点信息，当前目的节点信息为当前调试节点的下一节点的节点信息；例如，节点信息一共有十个，当前只需要对第一至第三个节点信息进行调试，那么，当前目的节点信息便是第四个节点信息，服务器只需要获取到第四个节点信息即可。

步骤206，根据当前目的节点信息，生成新流任务执行拓扑图。根据当前目的节点信息，生成新流任务执行拓扑图，以便于后期服务器按照此新流任务执行拓扑图对调试文件进行调试。

步骤208，将数据源和新流任务执行拓扑图传输给目标调试机，以指示目标调试机以数据源按照新流任务执行拓扑图执行对当前调试节点的调试，将获得的调试结果输出到指定数据库。

这里，目标调试机是指当前可以被使用的调试机，虽然说调试机有多个，但是有的可能被占用，不一定能使用。

具体的，服务器将数据源和新流任务执行拓扑图传输给目标调试机，当传输到目标调试机后，服务器指示目标调试机以数据源按照新流任务执行拓扑图执行对当前调试节点的调试，实现只对目的节点信息的调试，同时，将获得的调试结果输出到指定数据库，便于对调试结果的进一步保存，方便后期工作人员的查看。

上述在线调试方法中，通过获取当前调试文件以及当前目的节点信息，从当前调试文件中读取数据，将读取到的数据作为当前调试节点的数据源；根据当前目的节点信息，生成新流任务执行拓扑图；以指示目标调试机以数据源按照新流任务执行拓扑图执行对当前调试节点的调试，并将获得的调试结果输出到指定数据库。上述过程实现只对当前需要调试的节点信息进行调试而不是对所有的调试节点信息进行调试，解决了用户由于某个调试节点出现问题而造成的整个任务开发调试周期变长的难题，很大程度上降低了任务开发者的工作量，提升了任务开发者的调试效率。

在其中一个实施例中，上述的当前调试文件的场景包括系统时间场景和事件时间场景，具体还包括如下步骤：

将从当前调试文件中读取到的数据展示于人机交互界面，根据人机交互界面的数据显示情况，如果显示的数据仅为一列Json数据，即用户当前上传的调试文件的场景是系统时间场景，则直接输出当前系统的调试时间；如果显示的数据为两列，一列为Json数据，另一列为时间数据，即用户上传的当前调试文件是事件时间场景，当服务器接收到终端发送来的对事件时间场景的时间进行修改的操作指令后，根据用户当前的需求，实现对事件时间场景的时间的修改，并保存到数据库中。通过对当前调试文件的场景进行判断，根据用户的需求，可以实现对当前事件时间场景的时间的修改。

在其中一个实施例中，上述的获取当前调试文件，包括如下步骤：

当前调试文件的获取是从分布式系统中进行读取的，这里的分布式系统可以选择HDFS，这里之所以从分布式系统中进行读取是因为分布式系统可以将分布在各处的资源综合利用，且这种利用对用户而言是透明的；其次，分布式系统可以将负载由单个节点转移到多个，达到提高效率的效果；最后，分布式技术也可以避免由于单个节点失效而使整个系统崩溃的危险，因此，当前的调试文件是被保存在分布式系统中的，服务器直接从分布式系统中读取当前调试文件。

当前调试文件为用户上传的并经合法性测试通过后存储在分布式文件系统中的调试文件，对于获取到的调试文件首先要对其合法性进行判断，因为如果上传的调试文件都不合法，那么，也就无法再进行下一步的操作，因此，服务器在获取到用户上传的调试文件后，需要先识别用户上传的调试文件的文件格式并识别用户上传的调试文件的数据格式，当文件格式是Csv格式，且数据格式是Json格式时，才可以判定用户上传的调试文件是合法的，如果文件格式不是Csv格式，或者数据格式不是Json格式，即为不合法，便将用户上传的调试文件删除，因为不合法的调试文件后期是无法对其进行调试的。

在其中一个实施例中，上述的根据当前目的节点信息，生成新流任务执行拓扑图，包括如下步骤：

根据当前的目的节点信息，生成设定格式文件，这里的设定格式文件可以选择Csv文件，方便后期工作人员查看调试结果。

这里进一步的判断，避免了用户后期在调试过程中才发现调试文件不合法而带来的不必要的麻烦。这里之所以采用Csv文件格式也是为了后期的调试结果能够被用户更直观的看到，而采用Json这种格式是为了形成统一，方便后期的调试。

在其中一个实施例中，上述对调试文件的调试，包括如下步骤：

对当前调试节点的调试采用异步调试的方式，可以减少工作人员的调试等待时间，并将获得的调试结果输出到指定数据库，这里的指定数据库包括关系型数据库，即定时将调试结果更新到关系型数据库，并定时将更新到关系型数据库中的调试结果回显到人机交互界面，以便于工作人员直观的看到调试结果。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图3所示，提供了一种在线调试的装置，包括：第一获取模块302、第二获取模块304、生成模块306和结果输出模块308，其中：

第一获取模块302，用于获取当前调试文件，从当前调试文件中读取数据，将读取到的数据作为当前调试节点的数据源；

第二获取模块304，用于获取当前目的节点信息，当前目的节点信息为当前调试节点的下一节点的节点信息；

生成模块306，用于根据当前目的节点信息，生成新流任务执行拓扑图；

结果输出模块308，用于将数据源和新流任务执行拓扑图传输给目标调试机，以指示目标调试机以数据源按照新流任务执行拓扑图执行对当前调试节点的调试，将获得的调试结果输出到指定数据库。

在一个实施例中，第一获取模块302，可以从分布式文件系统中读取当前调试文件，当前调试文件为用户上传的并经合法性测试通过后存储在分布式文件系统中的调试文件。

在其中一个实施例中，上述的在线调试的装置还包括合法性判断模块(图中未示出)，该合法性判断模块用于接收用户上传的调试文件；识别用户上传的调试文件的文件格式，并识别用户上传的调试文件中的数据格式，在文件格式是Csv格式，且数据格式是Json格式时，判定用户上传的调试文件合法，在文件格式不是Csv格式，或者数据格式不是Json格式时，删除用户上传的调试文件。

第一获取模块302，具体还用于将从当前调试文件中读取到的数据展示于人机交互界面，当前调试文件的场景包括系统时间场景和事件时间场景；

在一个实施例中，生成模块306，还用于

根据当前目的节点信息，生成设定格式文件；根据设定格式文件，生成新流任务执行拓扑图。

在一个实施例中，结果输出模块308，还用于

由于当前调试节点的调试为异步调试；将获得的调试结果输出到指定数据库，这里的指定数据库包括关系型数据库，定时将调试结果更新到关系型数据库，并定时将更新到关系型数据库中的调试结果回显到人机交互界面。

关于一种在线调试装置的具体限定可以参见上文中对于一种在线调试方法的限定，在此不再赘述。上述在线调试装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储调试结果数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种在线调试方法。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

根据当前目的节点信息，生成新流任务执行拓扑图；

在一个实施例中，在处理器执行计算机程序实现上述的获取当前的调试文件的步骤时，具体实现以下步骤：

从分布式文件系统中读取当前调试文件，当前调试文件为用户上传的并经合法性测试通过后存储在分布式文件系统中的调试文件。

在对调试文件的合法性进行判断时，服务器接收用户上传的调试文件，识别用户上传的调试文件的文件格式，并识别用户上传的调试文件中的数据格式；

在处理器执行计算机程序具体还包括将获取的当前调试文件展示于人机交互界面，当前调试文件的场景包括系统时间场景和事件时间场景；

根据人机交互界面的显示情况，当前调试文件为系统时间时间场景时，输出当前系统调试时间；

当前调试文件为事件时间场景时，接收到修改操作指令后，对事件时间场景的时间进行修改，并保存到数据库中。

在一个实施例中，在处理器执行计算机程序实现上述的根据当前目的节点信息，生成新流任务执行拓扑图的步骤时，还实现以下步骤：

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

根据当前目的节点信息，生成新流任务执行拓扑图；

在一个实施例中，在计算机程序被处理器执行上述的获取当前调试文件的步骤时，具体实现以下步骤：

从分布式文件系统中读取当前调试文件，当前调试文件为用户上传的并经合法性测试通过后存储在分布式文件系统中的调试文件；

关于调试文件的合法性判断，服务器接收用户上传的调试文件；识别用户上传的调试文件的文件格式，并识别用户上传的调试文件中的数据格式；

在计算机程序被处理器执行时，还包括将获取的当前调试文件展示于人机交互界面，当前调试文件的场景包括系统时间场景和事件时间场景；

在一个实施例中，在计算机程序被处理器执行上述的根据当前目的节点信息，生成新流任务执行拓扑图的步骤时，还实现以下步骤：

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种在线调试方法，其特征在于,所述方法包括：

获取当前调试文件，从所述当前调试文件中读取数据，将读取到的数据作为当前调试节点的数据源；

获取当前目的节点信息，所述当前目的节点信息为当前调试节点的下一节点的节点信息；

根据所述当前目的节点信息，生成新流任务执行拓扑图；

将所述数据源和新流任务执行拓扑图传输给目标调试机，以指示所述目标调试机以所述数据源按照所述新流任务执行拓扑图执行对所述当前调试节点的调试，将获得的调试结果输出到指定数据库。

2.根据权利要求1所述的方法，其特征在于，所述根据所述当前目的节点信息，生成新流任务执行拓扑图，包括：

根据所述当前目的节点信息，生成设定格式文件；

根据所述设定格式文件，生成所述新流任务执行拓扑图。

3.根据权利要求1所述的方法，其特征在于，所述获取当前调试文件包括：

从分布式文件系统中读取所述当前调试文件，所述当前调试文件为用户上传的并经合法性测试通过后存储在所述分布式文件系统中的调试文件。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

接收用户上传的调试文件；

识别所述用户上传的调试文件的文件格式，并识别所述用户上传的调试文件中的数据格式；

在所述文件格式是Csv格式，且所述数据格式是Json格式时，判定所述用户上传的调试文件合法；

在所述文件格式不是Csv格式，或者所述数据格式不是Json格式时，删除所述用户上传的调试文件。

5.根据权利要求1所述的方法，其特征在于，所述对所述当前调试节点的调试为异步调试；

所述将获得的调试结果输出到指定数据库，包括：定时将所述调试结果更新到关系型数据库。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：定时将更新到所述关系型数据库中的所述调试结果回显到人机交互界面。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

将从所述当前调试文件中读取到的数据展示于所述人机交互界面，所述当前调试文件的场景包括系统时间场景和事件时间场景；

根据所述人机交互界面的数据显示情况，在所述当前调试文件为系统时间场景时，输出当前系统调试时间；

在所述当前调试文件为事件时间场景时，当接收到对所述事件时间场景的时间进行修改的操作指令后，对所述事件时间场景的时间进行修改，并保存到数据库中。

8.一种在线调试装置，其特征在于，所述装置包括：

第一获取模块，用于获取当前调试文件，从所述当前调试文件中读取数据，将读取到的数据作为当前调试节点的数据源；

第二获取模块，用于获取当前目的节点信息，所述当前目的节点信息为当前调试节点的下一节点的节点信息；

生成模块，用于根据所述当前目的节点信息，生成新流任务执行拓扑图；

结果输出模块，用于将所述数据源和新流任务执行拓扑图传输给目标调试机，以指示所述目标调试机以所述数据源按照所述新流任务执行拓扑图执行对所述当前调试节点的调试，将获得的调试结果输出到指定数据库。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。