CN113032155A

CN113032155A - 一种时空数据可视化任务驱动的云边端资源协同调度方法

Info

Publication number: CN113032155A
Application number: CN202110569552.4A
Authority: CN
Inventors: 李晓明; 刘铭崴; 王伟玺; 谢林甫; 汤圣君; 李游; 郭仁忠
Original assignee: Shenzhen University
Current assignee: Shenzhen University
Priority date: 2021-05-25
Filing date: 2021-05-25
Publication date: 2021-06-25
Anticipated expiration: 2041-05-25
Also published as: CN113032155B

Abstract

本发明公开了一种时空数据可视化任务驱动的云边端资源协同调度方法，该方法包括：将云边端的资源信息进行服务化，得到资源信息对应的服务任务；当获得时空数据可视化任务时，对所述时空数据可视化任务进行任务分解，得到与所述时空数据可视化任务对应的调度工作流；将与所述调度工作流对应的服务任务作为服务单元，并对所述服务单元进行连接，得到与所述时空数据可视化任务对应的调度服务链；根据所述调度服务链，对所述资源信息进行动态分配并执行所述调度服务链。本发明通过对资源信息的服务化以及对时空数据可视化任务的分解，将资源信息与服务进行对应，并根据任务的情况，进行资源信息的调配，实现可视化任务的高效执行。

Description

一种时空数据可视化任务驱动的云边端资源协同调度方法

技术领域

本发明涉及时空数据可视化技术领域，尤其涉及一种时空数据可视化任务驱动的云边端资源协同调度方法。

背景技术

时空数据随着传感设备快速增加和时间的积累量级变得越来越大，随着地理信息、大数据和数据可视化等技术的快速发展，以及领域信息化项目的推动，时空大数据动态分析成为当前的重要需求。目前时空场景可视化与调度方法主要依赖建立空间索引、数据动态调度和数据简化等优化手段，例如针对大范围海量地形渲染，主要通过构建地形金字塔，动态调度不同分辨率的地形瓦片来实现高效率高保真地形调度与可视化；同时，针对空间分布不均匀的城市三维模型可视化，则主要通过构建多细节层次模型，通过四叉树、R树和八叉树等多种索引组合构建多层次混合多细节模型场景，并通过核外渲染（Out-of-CoreRendering）技术进行调度与可视化，从而保证城市级三维场景的有效组织与高效调度。虽然通过空间索引等方式实现时空数据等资源的调度发展成熟且应用广泛，但其主要以图形学算法为中心，缺乏对可视化系统资源的协同调度，因此资源调度效率较低。

时空数据资源的调度除了调度方法本身，还与执行调度方法的设备的硬件有关。随着计算机软硬件技术的不断发展，如何充分利用并协同调度系统资源，最大限度优化可视化调度机制成为时空数据可视化调度的一个重要研究点。主要利用现代计算平台特点，采用多核多线程技术以及多级缓存技术，同时高效协同CPU与GPU，完成时空场景的高效调度与可视化。此外，考虑到网络环境下时空场景可视化调度过程中网络带宽不稳定与场景数据传输量巨大的冲突，不少研究者提出适应网络状况的时空数据调度优化方法，这类研究主要包括：场景数据压缩、顾及网络状况的场景数据筛选以及渐进式传输方式等。随着移动智能设备、虚拟现实以及增强现实可视化设备等多样化可视化设备的广泛使用，能够适应多样化可视化设备的调度机制也成为研究者们考虑的范畴，但是目前的主流方法是服务端根据发起数据请求的设备类型调度不同细节层次的场景数据来实现，设备适应能力十分有限。

由此可见，现有的时空数据调度方案，主要以图形学算法优化为主，虽然在其他网络压缩筛选等方法的优化下，能够一定程度上顾及多样化网络环境和可视化设备差异，但其场景组织方式决定了需要将时空场景数据按照特定的组织形式进行加工处理，场景表征固定化，调度的灵活性低，因此在面对多样的场景可视化需求时，处理效率低。同时在面对多样化的计算平台与接入终端时，这种单纯靠图形学优化的调度方法已经不能满足快速的多样化可视化需求。

发明内容

本发明的主要目的在于提供一种时空数据可视化任务驱动的云边端资源协同调度方法，旨在解决现有技术中时空数据可视化效率较低的问题。

为实现上述目的，本发明提供一种时空数据可视化任务驱动的云边端资源协同调度方法，所述时空数据可视化任务驱动的云边端资源协同调度方法包括如下步骤：

将存储在云边端的资源信息进行服务化，得到资源信息对应的服务任务；

当获得时空数据可视化任务时，对所述时空数据可视化任务进行任务分解，得到与所述时空数据可视化任务对应的调度工作流；

将与所述调度工作流对应的服务任务作为服务单元，并对所述服务单元进行连接，得到与所述时空数据可视化任务对应的调度服务链；

根据所述调度服务链，对所述资源信息进行动态分配并执行所述调度服务链，以完成所述时空数据可视化任务的执行。

可选地，所述的时空数据可视化任务驱动的云边端资源协同调度方法，其中，所述资源信息包括存储资源、计算资源以及绘制资源；所述服务任务包括数据调度服务、数据计算服务以及数据绘制服务。

可选地，所述的时空数据可视化任务驱动的云边端资源协同调度方法，其中，所述对所述时空数据可视化任务进行任务分解，得到与所述时空数据可视化任务对应的调度工作流，具体包括：

将所述时空数据可视化任务进行分层，得到多个调度子任务及各个所述调度子任务之间的连接关系；

根据所述连接关系，将所述调度子任务进行连接，得到与所述时空数据对应的调度工作流。

可选地，所述的时空数据可视化任务驱动的云边端资源协同调度方法，其中，针对每一个所述调度子任务，该子任务对应的连接关系包括该调度子任务与其他调度子任务之间的顺序关系、依赖关系以及该调度子任务对应的数据需求特征。

可选地，所述的时空数据可视化任务驱动的云边端资源协同调度方法，其中，所述将与所述调度工作流对应的服务任务作为服务单元，并对所述服务单元进行连接，得到与所述时空数据可视化任务对应的调度服务链，具体包括：

根据所述调度工作流中的调度子任务，确定所述服务任务中的服务单元；

根据所述调度工作流，将所述服务单元进行连接，得到与所述时空数据可视化任务对应的调度服务链。

可选地，所述的时空数据可视化任务驱动的云边端资源协同调度方法，其中，所述根据所述调度工作流，将所述服务单元进行连接，得到与所述时空数据可视化任务对应的调度服务链，具体包括：

根据所述时空数据可视化任务对应的资源信息以及架构负载信息，对所述服务单元进行组合，得到若干个服务模块；

根据所述调度工作流，将所述服务模块进行连接，得到与所述时空数据可视化任务对应的调度服务链。

可选地，所述的时空数据可视化任务驱动的云边端资源协同调度方法，其中，所述架构负载信息包括云负载信息、边负载信息以及端负载信息；所述端负载信息为系统请求负载信息。

可选地，所述的时空数据可视化任务驱动的云边端资源协同调度方法，其中，所述根据所述调度服务链，对所述资源信息进行动态分配并执行所述调度服务链，以完成所述时空数据可视化任务的执行，具体包括：

根据所述架构负载信息以及所述服务模块对应的资源信息，确定与各个架构节点对应的资源信息作为分配信息，其中，所述架构单元包括云中心、边缘服务器和用户终端；

根据所述分配信息，执行所述调度服务链，以完成所述时空数据可视化任务。

此外，为实现上述目的，本发明还提供一种智能终端，其中，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的安全管理程序，所述安全管理程序被所述处理器执行时实现如上所述的时空数据可视化任务驱动的云边端资源协同调度方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有安全管理程序，所述安全管理程序被处理器执行时实现如上所述的时空数据可视化任务驱动的云边端资源协同调度方法的步骤。

本发明提供一种时空数据可视化任务驱动的云边端资源协同调度方法。

附图说明

图1是本发明时空数据可视化任务驱动的云边端资源协同调度方法提供的较佳实施例的第一个流程图；

图2是本发明时空数据可视化任务驱动的云边端资源协同调度方法提供的较佳实施例中对时空数据可视化任务进行分解流程的示意图；

图3是本发明时空数据可视化任务驱动的云边端资源协同调度方法提供的较佳实施例中调度服务链生成过程的流程示意图；

图4是本发明时空数据可视化任务驱动的云边端资源协同调度方法提供的较佳实施例的第二个流程图；

图5为本发明智能终端的较佳实施例的运行环境示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明较佳实施例所述的时空数据可视化任务驱动的云边端资源协同调度方法，该时空数据可视化任务驱动的云边端资源协同调度方法可通过智能终端执行。本实施例以安装于智能终端为例进行安全管理过程的描述。如图1所述，所述时空数据可视化任务驱动的云边端资源协同调度方法包括以下步骤：

步骤S100，将存储在云边端的资源信息进行服务化，得到资源信息对应的服务任务。

具体地，本实施例应用于云（云中心）边（边缘服务器）端（用户终端）架构，在这一架构中，云中心、边缘服务器和用户终端都作为架构中的一个节点，本实施例中称其为架构节点。云边端中存储大量的资源信息，用于执行用户输入的时空数据可视化任务。先对云中心、边缘服务器以及用户终端存储的资源信息进行服务化，得到资源信息对应的服务任务。本实施例先采用云计算技术中的基础设施即服务技术（Infrastructure as a Service，laaS）平台（如Open Stack Cloud Stack）汇集系统中分布的资源信息，形成可以按需分配的资源池。

本实施例中资源信息包括存储资源、计算资源以及绘制资源。本实施例中，任何一个时空数据可视化任务，根据可视化的层次不同，分为展示性可视化任务、分析性可视化任务以及探索性可视化任务。根据展示性、分析性以及探索性等不同层次任务的特点与需求，本实施例按照时空数据输入/输出（Input/Output，I/O）、分析模型以及场景优化处理对资源的需求，按照微服务架构（Micro—Service Architecture）发布与治理可动态配置与实例化的多粒度的服务任务，对资源信息进行服务化，得到不同类别的服务任务。与资源信息相对应，本实施例中的服务任务包括存储任务、计算任务以及数据绘制服务。

步骤S200，当获得时空数据可视化任务时，对所述时空数据可视化任务进行任务分解，得到与所述时空数据可视化任务对应的调度工作流。

具体地，当获得时空数据可视化任务时，按照不同层次任务在执行过程中对时空场景数据要求以及存算绘资源操作的需求，构建兼顾时空语义和分布特征的存算绘资源协同调度工作流，通过多模态时空数据的时空语义关联关系和分布存储特征，对数据调度任务、场景绘制任务、计算分析任务和交互计算任务等调度任务工作流进行子任务分解，明确调度过程各个子任务的顺序关系（串行与并行）、输入/输出依赖关系以及子任务基本算法涉及的数据需求特征，从而显式描述任务执行过程中对数据交互、分析计算以及场景绘制的依赖。最后，将云边端资源协同调度工作流与云边端多粒度存储、计算以及数据绘制服务建立动态映射关系。如图2所示，在本实施例的一种对时空数据可视化任务进行分解的过程为：

A10、将所述时空数据可视化任务进行分层，得到多个调度子任务及各个所述调度子任务之间的连接关系。

具体地，当获得时空数据可视化任务时，对时空数据可视化需求中数据浏览、数据分析以及知识获取等进行任务建模，将时空数据可视化任务分为展示性、分析性以及探索性三个层次，每个层次可视化任务从时空数据(Data)、分析计算模型(Model)、人机交互(Interaction)和绘制(Render)四个方面进行描述。将不同层次可视化任务转化为数据调度任务、计算分析任务、交互计算任务、绘制任务等多层次调度任务，其中展示性可视化任务可映射为时空数据调度任务和时空数据场景绘制任务，分析性可视化任务增加了时空数据计算分析任务映射，而探索性可视化任务又增加了时空数据交互计算任务映射。

为了降低任务复杂度并提升后续调度任务分配的均衡性和效率性，根据时空数据的时空语义关联关系将不同层次调度任务进行细粒度分解。具体来说，时空数据调度任务可细分为基础场景数据调度、动态场景数据调度，计算分析所需数据调度、交互计算所需的数据调度等子任务，以便于通过分布式时空索引进行并行检索与高效调度；时空数据场景绘制任务可细分为基础场景绘制、动态场景绘制、场景交互绘制等子任务，实现对绘制任务的细粒度划分与并行执行；对于时空数据计算分析任务和交互计算任务，需要根据数据内容和计算分析内容进行细粒度分解，并将计算所需的数据生成对应的数据调度任务，计算生成的结果转换为对应的场景绘制任务。

A20、根据所述连接关系，将所述调度子任务进行连接，得到与所述时空数据对应的调度工作流。

具体地，通过多模态时空数据的时空语义关联关系和分布存储特征，对数据调度任务、场景绘制任务、计算分析任务和交互计算任务等调度任务进行子任务分解，得到调度子任务。通过调度过程各个调度子任务之间的顺序关系（例如，串行关系与并行关系）、输入/输出等依赖关系以及调度子任务基本算法涉及的数据需求特征，从而显式描述任务执行过程中对数据交互、分析计算以及场景绘制的依赖，得到调度工作流。

步骤S300，将与所述调度工作流对应的服务任务作为服务单元，并对所述服务单元进行连接，得到与所述时空数据可视化任务对应的调度服务链。

具体地，云边端资源的协同调度工作流为多层次调度任务在云边端的任务编排、资源分配和状态监控提供了模板化流程，以云边端协同调度工作流为基础，将多粒度存算绘服务按需构建为可以协同调度的服务链，如下图3所示。首先，以不同粒度的存算绘服务，即服务任务为基本单元构建服务链，这些服务任务可在调度服务链中进行动态组。

进一步地，如图4所示，本实施例在调度服务链生成过程中，考虑云边端架构的负载情况，其具体过程为：

步骤B10、根据所述时空数据可视化任务对应的资源信息以及架构负载信息，对所述服务单元进行组合，得到若干个服务模块；

步骤B20、根据所述调度工作流，将所述服务模块进行连接，得到与所述时空数据可视化任务对应的调度服务链。

具体地，调度服务链会根据调度任务涉及的存储、计算和绘制的任务需求，对数据调度服务、计算分析服务和数据绘制服务等多粒度服务任务进行服务单元的组合，在选择服务单元组合时需要统筹考虑架构负载信息进行组合。本实施例中的架构负载信息是指与云边端这一架构的与运行效率相关的信息，例如云边端的负载信息，包括云负载信息、边负载信息以及端负载信息，其中，云负载信息是指云中心的负载信息、边负载信息是指边缘服务器的负载信息以及端负载信息是指用户终端的负载信息。边缘服务器和云中心的当前资源负载信息（如CPU/GPU资源利用率等）和系统请求负载信息等，并能根据不同用户终端不同类型调度任务需求自动组合符合要求的云边端存算绘服务单元。最后根据调度工作流中的各个调度子任务之间的连接关系，将服务模块进行连接，从而得到时空数据对应的调度服务链。

步骤S400，根据所述调度服务链，对所述资源信息进行动态分配并执行所述调度服务链，以完成所述时空数据可视化任务的执行。

具体地，基于调度工作流对调度服务链的调度任务进行自动执行，通过协同组合多粒度存算绘服务单元，使云边端多粒度存算绘服务能有效协同起来，从而使调度服务链的调度任务在云边端高效协同完成。

云边端调度服务链除了需要根据调度任务需求进行服务单元动态组合以外，更重要的是能提供弹性的服务分配的机制。在执行时空数据可视化任务之前，先对资源信息进行动态分配，然后在动态分配后，再执行该调度服务链，从而提高每一个架构节点的响应速度，而且每一个架构节点可以先对与其他架构节点依赖性不强的服务单元进行执行，从而实现并行处理。

先根据所述架构负载信息以及所述服务模块对应的资源信息，确定与各个架构节点对应的资源信息作为分配信息。本实施例根据调度任务的情况和架构节点的负载情况等进行资源的按需弹性分配，来快速响应每个用户终端的各种调度任务请求。同时，由于实时数据不断接入、时空场景交互操作等原因导致的时空场景变化都会引起调度任务的突变，这使多模态时空数据的数据调度、计算分析、交互计算和场景绘制等调度任务都具有典型的时空特征，因此需要基于时空任务特征对调度服务链进行专门的针对性任务编排与资源分配优化，建立顾及时空任务特征的云边端调度服务链弹性分配策略，通过改进的多目标优化云边端资源动态分配算法，针对云边端资源使用率等问题建立基于容器和集群节点负载数据的调度策略、弹性收缩容器时的宿主机调度策略和改善用户响应延迟的负载预测调度策略等，从而能够弹性分配调度任务执行的云边端存储、计算和绘制资源，并根据不同调度任务的资源需求情况对云边端资源服务进行动态调配，实现数据调度服务、计算分析服务和数据绘制服务等多粒度调度服务的按需分配，从而提高时空数据可视化任务的执行效率。

进一步地，如图5所述，基于上述时空数据可视化任务驱动的云边端资源协同调度方法，本发明还相应提供了一种智能终端，所述智能终端包括处理器10、存储器20及显示器30。图5仅示出了智能终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

所述存储器20在一些实施例中可以是所述智能终端的内部存储单元，例如智能终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述智能终端的外部存储设备，例如所述智能终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述智能终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述智能终端的应用软件及各类数据，例如所述安装智能终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有安全管理程序40，该安全管理程序40可被处理器10所执行，从而实现本申请中时空数据可视化任务驱动的云边端资源协同调度方法。

所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述时空数据可视化任务驱动的云边端资源协同调度方法等。

所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。所述显示器30用于显示在所述智能终端的信息以及用于显示可视化的用户界面。所述智能终端的部件10-30通过系统总线相互通信。

在一实施例中，当处理器10执行所述存储器20中安全管理程序40时实现上述时空数据可视化任务驱动的云边端资源协同调度方法的步骤。

本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有安全管理程序，所述安全管理程序被处理器执行时实现如上所述的时空数据可视化任务驱动的云边端资源协同调度方法的步骤。

当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种时空数据可视化任务驱动的云边端资源协同调度方法，其特征在于，所述时空数据可视化任务驱动的云边端资源协同调度方法包括：

2.根据权利要求1所述的时空数据可视化任务驱动的云边端资源协同调度方法，其特征在于，所述资源信息包括存储资源、计算资源以及绘制资源；所述服务任务包括数据调度服务、数据计算服务以及数据绘制服务。

3.根据权利要求1所述的时空数据可视化任务驱动的云边端资源协同调度方法，其特征在于，所述对所述时空数据可视化任务进行任务分解，得到与所述时空数据可视化任务对应的调度工作流，具体包括：

4.根据权利要求3所述的时空数据可视化任务驱动的云边端资源协同调度方法，其特征在于，针对每一个所述调度子任务，该子任务对应的连接关系包括该调度子任务与其他调度子任务之间的顺序关系、依赖关系以及该调度子任务对应的数据需求特征。

5.根据权利要求1-4中任意一项所述的时空数据可视化任务驱动的云边端资源协同调度方法，其特征在于，所述将与所述调度工作流对应的服务任务作为服务单元，并对所述服务单元进行连接，得到与所述时空数据可视化任务对应的调度服务链，具体包括：

6.根据权利要求5所述的时空数据可视化任务驱动的云边端资源协同调度方法，其特征在于，所述根据所述调度工作流，将所述服务单元进行连接，得到与所述时空数据可视化任务对应的调度服务链，具体包括：

7.根据权利要求6所述的时空数据可视化任务驱动的云边端资源协同调度方法，其特征在于，所述架构负载信息包括云负载信息、边负载信息以及端负载信息；所述端负载信息为系统请求负载信息。

8.根据权利要求7所述的时空数据可视化任务驱动的云边端资源协同调度方法，其特征在于，所述根据所述调度服务链，对所述资源信息进行动态分配并执行所述调度服务链，以完成所述时空数据可视化任务的执行，具体包括：

9.一种智能终端，其特征在于，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的安全管理程序，所述安全管理程序被所述处理器执行时实现如权利要求1-8任一项所述的时空数据可视化任务驱动的云边端资源协同调度方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有安全管理程序，所述安全管理程序被处理器执行时实现如权利要求1-8任一项所述的时空数据可视化任务驱动的云边端资源协同调度方法的步骤。