CN110597722A - 一种在线开发平台的在线调试方法 - Google Patents

Abstract

本发明公开了一种在线开发平台的在线调试方法包括如下步骤：半隔离模式：将任务原本的目的的连接信息修改为消息队列系统的测试主题，任务的运算结果最终重定向到消息队列系统中，计算平台通过订阅消息队列系统的测试主题读取到运算结果后，将结果数据汇总更新后发送给前端；全隔离模式：将任务原本的来源的连接信息改为文件系统，目的地的连接信息修改为消息队列系统的测试主题，将任务数据的来源从文件系统中读取，运算结果最终重定向到消息队列系统中，计算平台通过订阅消息队列系统的测试主题读取到运算结果后，会将结果数据汇总更新后发送给前端。所述方法能够保证数据的隔离，不会造成线上数据污染，达到数据安全目的。

Description

一种在线开发平台的在线调试方法

技术领域

本发明涉及软件开发方法技术领域，尤其涉及一种在线开发平台的在线调试方法。

背景技术

在大数据时代，数据量与日俱增，流、批计算引擎在企业应用中越来越普及，流、批计算引擎应用在数据处理、数据分析等领域，其应用场景十分广泛，且种类繁多，各种流、批计算需求也随之而来，但是单独根据一个需求开发流、批计算项目，开发时间长，耗费人力多，流、批计算平台便随之诞生，然而带来的问题是，平台的开发人员该如何方便、快捷、安全地调试计算任务。

现有的大数据开发人员的调试过程十分的原始，通过采集数据源，把计算结果直接输出数据目的地的存储系统，再通过可视化工具或者命令行形式查看存储系统的输出结果，调试任务的准确性。现有的大数据开发人员的调试过程，不仅调试效率低，而且浪费大量人力，因为线下的数据通常是人造的假数据，与线上的数据具有差异性，很可能有隐藏的业务逻辑问题，导致错误的处理数据直接输出到线上的存储系统，造成线上数据的污染。

发明内容

本发明所要解决的技术问题是如何提供一种能够保证数据的隔离，不会造成线上数据污染，达到数据安全目的的在线开发平台的在线调试方法。

为解决上述技术问题，本发明所采取的技术方案是：一种在线开发平台的在线调试方法，其特征在于包括如下步骤：

半隔离模式：在半隔离调试时，将任务原本的目的的连接信息修改为消息队列系统的测试主题，任务的运算结果最终重定向到消息队列系统中，计算平台通过订阅消息队列系统的测试主题读取到运算结果后，将结果数据汇总更新后发送给前端；

全隔离模式：在全隔离调试时，将任务原本的来源的连接信息改为文件系统，目的地的连接信息修改为消息队列系统的测试主题，将任务数据的来源从文件系统中读取，运算结果最终重定向到消息队列系统中，计算平台通过订阅消息队列系统的测试主题读取到运算结果后，会将结果数据汇总更新后发送给前端。

进一步的技术方案在于，任务原本的目的地为:jdbc、hbase、es或rabbitmq。

1)选择需要进行调试的任务，前端将用户的请求信息发送给后端，后端通过请求参数获取任务信息；

2)判断任务是否存在，任务不存在，则直接退出调试，并提示用户任务不存在；

3)判断当前任务是否正在调试中，若任务正在调试中，则强制中断任务的调试，并给调试中的用户发送提示；

4)获取任务最后一次的调试记录，若任务从未调试过，则无最后一次调试记录，若存在最后一次的调试记录，则清理上次调试后的数据

5)解析任务的sql，获取任务的数据来源和数据目的地的关联关系，根据任务的数据目的地，为其在消息队列系统上，创建对应测试主题，通过将目的地节点的连接信息修改为消息队列系统的连接信息，使数据目的地节点替换为消息队列系统，即任务运算的结果重定向到消息队列系统；

6)获取调试的集群信息，封装任务启动参数，将任务提交到flink集群中，将任务的调试结果保存到数据库中；

7)后端启动一个定时job，定时将调试的任务进行中断，将调试任务的唯一标识返回给前端；

8)前端打开websocket，通过调试任务的唯一标识订阅websocket调试结果集主题，并发送已订阅websocket调试结果集主题的信号给到后端；

9)后端收到前端的信号，通过订阅消息队列系统的测试主题，读取数据运算结果，并根据数据目的地的特性，构建不断更新的结果集，并输出到websocket调试结果集主题；

10)前端订阅到websocket调试结果集后，展示给用户，并修改文件格式，提供用户下载请求。

进一步的技术方案在于，所述全隔离模式调试方法如下：

1)选择需要进行调试的任务，下载来源数据模板，自定义来源数据的子集，上传到指定的文件系统后，启动全隔离调试；

2)前端将用户的请求信息发送给后端，后端通过请求参数获取任务信息，判断任务是否存在，如果任务不存在，则直接退出调试，并提示用户任务不存在；

3)判断当前任务是否正在调试中，若任务正在调试中，则强制中断任务的调试，并给调试中的用户发送提示，获取任务最后一次的调试记录，若任务从未调试过，则无最后一次调试记录，若存在最后一次的调试记录，则清理上次调试后的数据；

4)解析任务的sql，获取任务的数据来源和数据目的地的关联关系，根据任务的数据来源，将用户上传的来源数据文件上传至文件系统，通过将来源节点的连接信息修改为文件系统的连接信息，使数据来源节点替换为文件系统，即任务运算的来源重定向到文件系统；

5)根据任务的数据目的地，为其在消息队列系统上，创建对应测试主题，通过将目的地节点的连接信息修改为消息队列系统的连接信息，使数据目的地节点替换为消息队列系统，即任务运算的结果重定向到消息队列系统；

6)获取调试的集群信息，封装任务启动参数，将任务提交到flink集群中，将任务的调试结果保存到数据库中，将调试任务的唯一标识返回给前端；

7)前端打开websocket，通过调试任务的唯一标识订阅websocket调试结果集主题，并发送已订阅websocket调试结果集主题的信号给到后端；

8)后端收到前端的信号，通过订阅消息队列系统的测试主题，读取数据运算结果，并根据数据目的地的特性，构建不断更新的结果集，并输出到websocket调试结果集主题；

9)前端订阅到websocket调试结果集后，展示给用户，并修改文件格式，提供用户下载请求。

采用上述技术方案所产生的有益效果在于：所述方法采用识别数据源、数据目的地，自动替换成测试用的存储环境的方式，保证了数据安全，整个替换过程对用户透明，且不影响数据实际运行的准确性，运行结果集实时展示给开发人员，减少调试的复杂度，提高调试的效率。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明实施例中所述方法的流程图；

图2是本发明实施例所述方法中半隔离调试场景流程图；

图3是本发明实施例所述方法中全隔离调试场景流程图；

图4是本发明实施例中用户计算任务DAG流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

如图1所示，本发明实施例公开了一种在线开发平台的在线调试方法，主要包括半隔离模式调试和全隔离模式调试：

半隔离模式：在半隔离调试时，将任务原本的目的的连接信息修改为消息队列系统的测试主题，任务的运算结果最终重定向到消息队列系统中，计算平台通过订阅消息队列系统的测试主题读取到运算结果后，将结果数据汇总更新后发送给前端；

全隔离模式：在全隔离调试时，将任务原本的来源的连接信息改为文件系统，目的地的连接信息修改为消息队列系统的测试主题，将任务数据的来源从文件系统中读取，运算结果最终重定向到消息队列系统中，计算平台通过订阅消息队列系统的测试主题读取到运算结果后，会将结果数据汇总更新后发送给前端。

半隔离调试场景，如图2所示：

1)在计算平台中，用户选中任一任务点击半隔离调试，前端将用户的请求信息发送给后端，后端通过请求参数获取任务信息，判断任务是否存在，任务不存在，则直接退出调试，并提示用户“任务不存在”；

2)判断当前任务是否正在调试中，因为多个用户可同时调试同一任务，若任务正在调试中，则强制中断任务的调试，并给调试中的用户发送提示“任务已被xxx用户中断”；

3)获取任务最后一次的调试记录，若任务从未调试过，则无最后一次调试记录，若存在最后一次的调试记录，则清理上次调试后的数据；

4)解析任务的sql，获取任务的数据来源和数据目的地的关联关系，根据任务的数据目的地，为其在消息队列系统上，创建对应测试主题，主题名称为系统名_应用环境_任务ID_表ID；

5)通过将目的地节点的连接信息修改为消息队列系统的连接信息，使数据目的地节点替换为消息队列系统，即任务运算的结果重定向到消息队列系统；

6)获取调试的集群信息，封装任务启动参数，将任务提交到flink集群中，将任务的调试结果保存到数据库中；

7)后端启动一个定时job，定时将调试的任务进行中断，默认设置任务的调试时长为10分钟，将调试任务的唯一标识返回给前端，前端打开websocket，通过调试任务的唯一标识订阅websocket调试结果集主题，并发送已订阅websocket调试结果集主题的信号给到后端；

8)后端收到前端的信号，通过订阅消息队列系统的测试主题，读取数据运算结果，并根据数据目的地的特性(追加或者更新)，构建不断更新的结果集，并输出到websocket调试结果集主题；

9)前端订阅到websocket调试结果集后，展示给用户，将结果集生成CSV、EXCEL等文件格式，提供用户下载请求。

半隔离示例：

任务sql：insert intojdbc_sink(id,name)select id,namefrom kafka_source

任务原本的目的地为数据库(jdbc),在半隔离调试时，会将目的地的连接信息修改为消息队列系统的测试主题，则任务的运算结果最终会重定向到消息队列系统中，因为数据库(jdbc)为更新模式，则计算平台通过订阅消息队列系统的测试主题读取到运算结果后，会将结果数据汇总更新后，通过websocket方式，发送给前端。

全隔离调试场景流程，如图3所示：

1)在计算平台中，用户选中任一任务点击全隔离调试，弹出提示框，用户需下载来源数据模板，自定义来源数据的子集，上传到指定的文件系统后，才可启动全隔离调试；

2)前端将用户的请求信息发送给后端，后端通过请求参数获取任务信息，判断任务是否存在，任务不存在，则直接退出调试，并提示用户“任务不存在”；

3)判断当前任务是否正在调试中，因为多个用户可同时调试同一任务，若任务正在调试中，则强制中断任务的调试，并给调试中的用户发送提示“任务已被xxx用户中断”；

4)获取任务最后一次的调试记录，若任务从未调试过，则无最后一次调试记录，若存在最后一次的调试记录，则清理上次调试后的数据；

5)解析任务的sql，获取任务的数据来源和数据目的地的关联关系，根据任务的数据来源，将用户上传的来源数据文件上传至文件系统，通过将来源节点的连接信息修改为文件系统的连接信息，使数据来源节点替换为文件系统，即任务运算的来源重定向到文件系统；

6)根据任务的数据目的地，为其在消息队列系统上，创建对应测试主题，主题名称为系统名_应用环境_任务ID_表ID，通过将目的地节点的连接信息修改为消息队列系统的连接信息，使数据目的地节点替换为消息队列系统，即任务运算的结果重定向到消息队列系统；

7)获取调试的集群信息，封装任务启动参数，将任务提交到flink集群中，将任务的调试结果保存到数据库中，将调试任务的唯一标识返回给前端；

8)前端打开websocket，通过调试任务的唯一标识订阅websocket调试结果集主题，并发送已订阅websocket调试结果集主题的信号给到后端，后端收到前端的信号，通过订阅消息队列系统的测试主题，读取数据运算结果，并根据数据目的地的特性(追加或者更新)，构建不断更新的结果集，并输出到websocket调试结果集主题；

9)前端订阅到websocket调试结果集后，展示给用户，将结果集生成CSV、EXCEL等文件格式，提供用户下载请求。

全隔离示例：

任务sql：insert intojdbc_sink(id,name)select id,namefrom kafka_source

任务原本的来源为kafka，目的地为数据库(jdbc),在全隔离调试时，会将来源的连接信息改为文件系统，目的地的连接信息修改为消息队列系统的测试主题，则任务数据的来源会从文件系统中读取，运算结果最终会重定向到消息队列系统中，因为数据库(jdbc)为更新模式，则计算平台通过订阅消息队列系统的测试主题读取到运算结果后，会将结果数据汇总更新后，通过websocket方式，发送给前端

半隔离和全隔离的比较，如图4所示：

全隔离是在半隔离的基础上，对数据来源进行隔离，使用户可自定义来源数据，更方便地校验sql任务的逻辑。

所述方法采用识别数据源、数据目的地，自动替换成测试用的存储环境的方式，保证了数据安全，整个替换过程对用户透明，且不影响数据实际运行的准确性，运行结果集实时展示给开发人员，减少调试的复杂度，提高调试的效率。

Claims (4)

1.一种在线开发平台的在线调试方法，其特征在于包括如下步骤：

半隔离模式：在半隔离调试时，将任务原本的目的的连接信息修改为消息队列系统的测试主题，任务的运算结果最终重定向到消息队列系统中，计算平台通过订阅消息队列系统的测试主题读取到运算结果后，将结果数据汇总更新后发送给前端；

全隔离模式：在全隔离调试时，将任务原本的来源的连接信息改为文件系统，目的地的连接信息修改为消息队列系统的测试主题，将任务数据的来源从文件系统中读取，运算结果最终重定向到消息队列系统中，计算平台通过订阅消息队列系统的测试主题读取到运算结果后，会将结果数据汇总更新后发送给前端。

2.如权利要求1所述的在线开发平台的在线调试方法，其特征在于：任务原本的目的地包括:jdbc、hbase、es或rabbitmq。

3.如权利要求1所述的在线开发平台的在线调试方法，其特征在于：所述半隔离模式调试方法如下：

1)选择需要进行调试的任务，前端将用户的请求信息发送给后端，后端通过请求参数获取任务信息；

2)判断任务是否存在，任务不存在，则直接退出调试，并提示用户任务不存在；

3)判断当前任务是否正在调试中，若任务正在调试中，则强制中断任务的调试，并给调试中的用户发送提示；

4)获取任务最后一次的调试记录，若任务从未调试过，则无最后一次调试记录，若存在最后一次的调试记录，则清理上次调试后的数据

5)解析任务的sql，获取任务的数据来源和数据目的地的关联关系，根据任务的数据目的地，为其在消息队列系统上，创建对应测试主题，通过将目的地节点的连接信息修改为消息队列系统的连接信息，使数据目的地节点替换为消息队列系统，即任务运算的结果重定向到消息队列系统；

6)获取调试的集群信息，封装任务启动参数，将任务提交到flink集群中，将任务的调试结果保存到数据库中；

7)后端启动一个定时job，定时将调试的任务进行中断，将调试任务的唯一标识返回给前端；

8)前端打开websocket，通过调试任务的唯一标识订阅websocket调试结果集主题，并发送已订阅websocket调试结果集主题的信号给到后端；

9)后端收到前端的信号，通过订阅消息队列系统的测试主题，读取数据运算结果，并根据数据目的地的特性，构建不断更新的结果集，并输出到websocket调试结果集主题；

10)前端订阅到websocket调试结果集后，展示给用户，并修改文件格式，提供用户下载请求。

4.如权利要求1所述的在线开发平台的在线调试方法，其特征在于：所述全隔离模式调试方法如下：

1)选择需要进行调试的任务，下载来源数据模板，自定义来源数据的子集，上传到指定的文件系统后，启动全隔离调试；

2)前端将用户的请求信息发送给后端，后端通过请求参数获取任务信息，判断任务是否存在，如果任务不存在，则直接退出调试，并提示用户任务不存在；

3)判断当前任务是否正在调试中，若任务正在调试中，则强制中断任务的调试，并给调试中的用户发送提示，获取任务最后一次的调试记录，若任务从未调试过，则无最后一次调试记录，若存在最后一次的调试记录，则清理上次调试后的数据；

4)解析任务的sql，获取任务的数据来源和数据目的地的关联关系，根据任务的数据来源，将用户上传的来源数据文件上传至文件系统，通过将来源节点的连接信息修改为文件系统的连接信息，使数据来源节点替换为文件系统，即任务运算的来源重定向到文件系统；

5)根据任务的数据目的地，为其在消息队列系统上，创建对应测试主题，通过将目的地节点的连接信息修改为消息队列系统的连接信息，使数据目的地节点替换为消息队列系统，即任务运算的结果重定向到消息队列系统；

6)获取调试的集群信息，封装任务启动参数，将任务提交到flink集群中，将任务的调试结果保存到数据库中，将调试任务的唯一标识返回给前端；

7)前端打开websocket，通过调试任务的唯一标识订阅websocket调试结果集主题，并发送已订阅websocket调试结果集主题的信号给到后端；

8)后端收到前端的信号，通过订阅消息队列系统的测试主题，读取数据运算结果，并根据数据目的地的特性，构建不断更新的结果集，并输出到websocket调试结果集主题；

9)前端订阅到websocket调试结果集后，展示给用户，并修改文件格式，提供用户下载请求。