CN110516119A - 一种自然资源场景数据的组织调度方法、装置和存储介质 - Google Patents

一种自然资源场景数据的组织调度方法、装置和存储介质 Download PDF

Info

Publication number
CN110516119A
CN110516119A CN201910796450.9A CN201910796450A CN110516119A CN 110516119 A CN110516119 A CN 110516119A CN 201910796450 A CN201910796450 A CN 201910796450A CN 110516119 A CN110516119 A CN 110516119A
Authority
CN
China
Prior art keywords
data
node
natural resources
contextual data
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910796450.9A
Other languages
English (en)
Inventor
朱庆
冯斌
陈媚特
李茂粟
丁雨淋
朱军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Guangzhou Urban Planning Survey and Design Institute
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN201910796450.9A priority Critical patent/CN110516119A/zh
Publication of CN110516119A publication Critical patent/CN110516119A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种自然资源场景数据的组织调度方法、装置和介质，根据各自然资源场景数据及其属性特征和关联关系，构建时空关系图索引。时空关系图索引实现了自然资源场景数据的高性能处理和低延迟访问。当获取到查询请求时，从时空关系图索引中查询相对应的目标自然资源场景数据。依据提取的目标自然资源场景数据的特征信息，调整预先建立的数据资源调度模型中缓存节点和存储节点的数据配置；利用启发式最大流算法对调整后的数据资源调度模型进行数据流最大化处理，得到目标自然资源场景数据的最大流路径集合。数据资源调度模型可以自适应的进行各类数据的流量调整，提升了数据服务的准确性，实现了大规模高并发的任务数据的高效调度。

Description

一种自然资源场景数据的组织调度方法、装置和存储介质
技术领域
本发明涉及地理空间信息技术领域，特别是涉及一种自然资源场景数据的组织调度方法、装置和计算机可读存储介质。
背景技术
随着移动互联网、物联网和社交网络的快速发展，智慧城市中每时每刻将会产生了海量异质且动态关联的多模态的自然资源场景数据，这些动态的、关联的且随时间不断增长的多模态的自然资源场景数据中蕴含着丰富知识和规律，急需实时高效的处理、分析与展示。
现有的调度方法主要依赖数据的预处理如Lod化、构建索引等，数据简化等优化手段。但其主要以图形学算法为中心，通过减少视场中需要绘制的几何量来提高图形绘制能力。没有考虑到调度过程中任务并发量增大，任务特点变化给服务器性能、全局带宽吞吐带来的影响，缺乏对可视化系统资源的协同调度。
可见，如何高效的组织、调度多模态的自然资源场景数据，是本领域技术人员迫切需要解决的问题。
发明内容
本发明实施例的目的是提供一种自然资源场景数据的组织调度方法、装置和计算机可读存储介质，可以高效的组织、调度多模态的自然资源场景数据。
为解决上述技术问题，本发明实施例提供一种自然资源场景数据的组织调度方法，包括：
根据各数据及其属性特征和关联关系，构建时空关系图索引；
当获取到查询请求时，从所述时空关系图索引中查询相对应的目标自然资源场景数据；
提取所述目标自然资源场景数据的特征信息；并依据所述特征信息，调整预先建立的数据资源调度模型中缓存节点和存储节点的数据配置；
利用启发式最大流算法对调整后的数据资源调度模型进行数据流最大化处理，得到所述目标自然资源场景数据的最大流路径集合。
可选的，所述时空关系图索引包括时间子图、空间子图和场景数据子图；
相应的，所述根据各自然资源场景数据及其属性特征和关联关系，构建时空关系图索引包括：
根据各数据以及属性特征，生成数据场景子图的实体节点、特征节点和数据节点；
依据各所述数据节点计算相应的时间信息和空间信息；并依据所述时间信息生成时间节点，依据所述空间信息生成空间节点；
按照所述关联关系，建立所述时空图关系索引中各节点的连接；
存储所述时空关系图索引中各节点数据及其对应的连接边数据。
可选的，所述存储所述时空关系图索引中各节点数据及其对应的连接边数据包括：
将每个节点数据及其对应的连接边数据按照键值对方式存储到内存；
采用全局邻接稀疏矩阵和关系稀疏矩阵记录各节点的连接关系。
可选的，还包括：
对生成的各类节点添加标签信息；
将目标节点的标签信息作为节点键归类信息依据；其中，目标节点为所有节点中的任意一个节点；
根据目标连接边数据所对应的始节点的标签信息、末节点的标签信息以及关系类型，设置目标连接边数据的标识信息；其中，目标连接边数据为所有连接边数据中的任意一个连接边数据。
可选的，在存储所述时空关系图索引中各节点数据及其对应的连接边数据之后还包括：
根据接收到的指令信息的类型，对存储的所述时空关系图索引进行调整；其中，所述指令信息包括节点增加指令、连接边增加指令、节点删除指令和连接边删除指令。
可选的，所述数据资源调度模型的建立过程包括：
初始化配置存储节点和缓存节点，并根据所述存储节点、所述缓存节点、数据中心节点、任务中心节点以及节点连接边，构建出数据资源调度模型；
根据节点所承载的数据量与带宽大小，设置每条连接边的最大流量限值。
可选的，所述依据所述特征信息，调整预先建立的数据资源调度模型中缓存节点和存储节点的数据配置包括：
根据所述特征信息所具有的数据访问特征选取相匹配的缓存更新算法，利用所述缓存更新算法将所述目标自然资源场景数据在缓存节点上进行缓存；
根据所述特征信息中包含的各数据块的数据访问频率，调整各数据块占用的存储节点的个数。
本发明实施例还提供了一种自然资源场景数据的组织调度装置，包括构建单元、查询单元、提取单元、调整单元和最大化单元；
所述构建单元，用于根据各自然资源场景数据及其属性特征和关联关系，构建时空关系图索引；
所述查询单元，用于当获取到查询请求时，从所述时空关系图索引中查询相对应的目标自然资源场景数据；
所述提取单元，用于提取所述目标自然资源场景数据的特征信息；
所述调整单元，用于依据所述特征信息，调整预先建立的数据资源调度模型中缓存节点和存储节点的数据配置；
所述最大化单元，用于利用启发式最大流算法对调整后的数据资源调度模型进行数据流最大化处理，得到所述目标自然资源场景数据的最大流路径集合。
可选的，所述时空关系图索引包括时间子图、空间子图和场景数据子图；
相应的，所述构建单元包括第一生成子单元、第二生成子单元、连接建立子单元和存储子单元；
所述第一生成子单元，用于根据各数据以及属性特征，生成数据场景子图的实体节点、特征节点和数据节点；
所述第二生成子单元，用于依据各所述数据节点计算相应的时间信息和空间信息；并依据所述时间信息生成时间节点，依据所述空间信息生成空间节点；
所述连接建立子单元，用于按照所述关联关系，建立所述时空关系图索引中各节点的连接；
所述存储子单元，用于存储所述时空关系图索引中各节点数据及其对应的连接边数据。
可选的，所述存储子单元具体用于将每个节点数据及其对应的连接边数据按照键值对方式存储到内存；采用全局邻接稀疏矩阵和关系稀疏矩阵记录各节点的连接关系。
可选的，还包括添加单元、作为单元和设置单元；
所述添加单元，用于对生成的各类节点添加标签信息；
所述作为单元，用于将目标节点的标签信息作为键值对的标识信息；其中，目标节点为所有节点中的任意一个节点；
所述设置单元，用于根据目标连接边数据所对应的始节点的标签信息、末节点的标签信息以及关系类型，设置目标连接边数据的标识信息；其中，目标连接边数据为所有连接边数据中的任意一个连接边数据。
可选的，还包括调整单元；
所述调整单元，用于根据接收到的指令信息的类型，对存储的所述时空关系图索引进行调整；其中，所述指令信息包括节点增加指令、连接边增加指令、节点删除指令和连接边删除指令。
可选的，针对于所述数据资源调度模型的建立过程，所述装置还包括初始化单元和限流单元；
所述初始化单元，用于初始化配置存储节点和缓存节点，并根据所述存储节点、所述缓存节点、数据中心节点、任务中心节点以及节点连接边，构建出数据资源调度模型；
所述限流单元，用于根据节点所承载的数据量与带宽大小，设置每条连接边的最大流量限值。
可选的，所述调整单元具体用于根据所述特征信息所具有的数据访问特征选取相匹配的缓存更新算法，利用所述缓存更新算法将所述目标的自然资源场景数据在缓存节点上进行缓存；根据所述特征信息中包含的各数据块的数据访问频率，调整各数据块占用的存储节点的个数。
本发明实施例还提供了一种自然资源场景数据的组织调度装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上述任意一项所述自然资源场景数据的组织调度方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述自然资源场景数据的组织调度方法的步骤。
由上述技术方案可以看出，根据各数据及其属性特征和关联关系，构建时空关系图索引。时空关系图索引是以图模型的形式呈现，可以便于用户直观的了解自然资源场景数据中各类数据之间的关联关系。并且以图模型的形式记录自然资源场景数据，可以实现多模态的自然资源场景数据的高性能处理和低延迟访问。当获取到查询请求时，可以从时空关系图索引中快速查询相对应的目标自然资源场景数据。提取目标的自然资源场景数据的特征信息；并依据特征信息，调整预先建立的数据资源调度模型中缓存节点和存储节点的数据配置；利用启发式最大流算法对调整后的数据资源调度模型进行数据流最大化处理，得到目标自然资源场景数据的最大流路径集合。根据目标数据的特征信息，可以自适应的调整数据资源调度模型，提升了数据服务的准确性，实现了大规模高并发的多样化可视化任务数据的高效调度。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种自然资源场景数据的组织调度方法的流程图；
图2为本发明实施例提供的一种时空关系图索引的示意图；
图3为本发明实施例提供的一种数据资源调度模型的示意图；
图4为本发明实施例提供的一种自然资源场景数据的组织调度装置的结构示意图；
图5为本发明实施例提供的一种自然资源场景数据的组织调度装置的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
接下来，详细介绍本发明实施例所提供的一种自然资源场景数据的组织调度方法。图1为本发明实施例提供的一种自然资源场景数据的组织调度方法的流程图，该方法包括：
S101：根据各自然资源场景数据及其属性特征和关联关系，构建时空关系图索引。
本发明实施例提及的自然资源场景数据可以为自然资源多模态的自然资源场景数据。
通过将自然资源场景数据及其关系、属性信息转化为图模型的形式呈现，可以更加直观的获知同一自然资源场景数据下各类型数据之间的关联关系以及不同自然资源场景数据之间的关联关系，并且使得自然资源场景数据的存储更加快速、简洁。
在本发明实施例中，通过构建时空关系图索引作为场景数据的图模型。如图2所示为时空关系图索引的示意图，时空关系图索引可以包括时间子图、空间子图和场景数据子图。
在实际应用中，可以根据各自然资源场景数据以及属性特征，生成数据场景子图的实体节点、特征节点和数据节点。不同的数据有其对应的时间信息和空间信息，依据各数据节点计算相应的时间信息和空间信息；并依据时间信息生成时间节点，依据空间信息生成空间节点。
举例说明，对于空间不变，值随着时间变化的智能传感器，则只需要生成相应的时间节点。
在生成各类节点之后，需要建立节点之间的连接关系。具体的，可以按照关联关系，建立时空关系图索引中各节点的连接。
时间节点和空间节点均是依赖于数据节点生成的，因此，在建立节点之间的连接关系时，可以首先将场景数据子图内部的特征节点、数据节点与实体节点进行关联；接着，将场景数据子图中的数据节点与计算所得对应的时间节点和空间节点连接；最后，根据已知原始输入的关联关系对节点建立连接。
为了便于数据后续的索引，需要存储时空关系图索引中各节点数据及其对应的连接边数据。
考虑到时空关系图索引中涵盖有多种信息类型，为了便于记录多种信息类型，可以将每个节点数据及其对应的连接边数据按照键值对方式存储到内存；采用全局邻接稀疏矩阵和关系稀疏矩阵记录各节点的连接关系。
采用矩阵存储时，可以将矩阵的行用来表示起始点，矩阵的列表示目标点。
其中，全局邻接稀疏矩阵用来表达时空关系图索引中所有节点之间的可达性，若节点M与节点N之间具有连接边，则Matrix[M,N]＝1，否则为0。
而关系稀疏矩阵则用于表达时空关系图索引中某一特定类型的关系在节点之间的连接情况。例如：节点M与N直接存在关系类型为“Attributive：Has_Social”的连接边，则在对应的该类型的关系稀疏矩阵中记为Matrix[M,N]Attributive:Has_Social＝1。
S102：当获取到查询请求时，从时空关系图索引中查询相对应的目标自然资源场景数据。
时空关系图索引支持多模式的时空查询和复杂关联关系查询。时空关系图索引中的每一个节点都充当着与其连接的其他节点的索引，借助于连接边可以从一个节点快速到达另外一个相连的节点，实现全图的遍历。
S103：提取目标自然资源场景数据的特征信息；并依据特征信息，调整预先建立的数据资源调度模型中缓存节点和存储节点的数据配置。
为了实现数据的高效传输，可以预先建立数据资源调度模型。当需要从数据中心向任务中心传输数据时，则可以根据场景任务即目标自然资源场景数据，调整数据资源调度模型中缓存节点和存储节点的数据配置，从而提高目标自然资源场景数据流在调度模型中的最大流量(容量)，提升数据服务的能力。
接下来将对数据资源调度模型的建立过程展开介绍，如图3所示为数据资源调度模型的示意图，图3中S代表数据中心，T代表可视化任务中心，A11、A21表示A类型数据的两个数据块，同理，B11、B12表示B类型的数据的两个数据块，C11、C21表示C类型的数据的两个数据块。R1、R2和R3分别为缓存节点。图3所示的数据资源调度模型是以数据中心为源点，可视化任务中心为汇点，存储节点、缓存节点作为中间节点，和节点连接边一起构建数据资源调度模型，数据块传输过程可以直接由存储节点向可视化任务中心传输，也可经由缓存节点传输至可视化任务中心。
在构建数据资源调度模型时，连接边(vi，vj)要遵从两个约束条件：1)连接边上通过第k种类型的数据的流量须小于该边的容量，即0≤fijk≤cijk。2)vi节点最多可以和个j节点连成边，即Nvi是vi节点发出的边的数量，必须小于该节点规定连接数
初始化配置存储节点Storage{d11,d12,d21,...,dkr}，其配置充分考虑了数据分区、多副本、虚拟化和集群策略。服务器VMn均匀装载数量nodeNumstorage的存储节点，以数据体量的大小为比例分配各类型数据块所占节点数目replicaNum(Dk)，一类数据的所有存储节点构成一个数据库集群。
初始化配置缓存节点Cache{R1,R2,R3,…,Ri}。服务器VMn均匀地装载数量nodeNumcache的缓存节点，各类数据均匀分配缓存节点的数目，部署于服务器。同样采用虚拟化技术实例化为容器，且一个缓存节点只负责存储某一类数据，同一类数据的缓存节点同样构成缓存集群。
在完成存储节点和缓存节点的初始化配置之后，需要根据节点所承载的数据量与带宽大小，设置每条连接边的最大流量限值。
以图3为例，每条连接边上有通过数据流量fij，和承载数据最大流量的限值cij。边dkr→t，Ri→t表示调度到客户端任务t的数据供给候选路径。由于从客户端本地调度数据不占用网络带宽，不产生网络I/O，数据流的传输阻力几乎为零，连接边的容量为无限大，因此在数据资源调度模型中不考虑客户端缓存节点的问题。
边dkr→r与dkr→t的容量取决于存储节点dkr中容器数据量大小。边Ri→t的容量取决于缓存节点Ri中存储的最大的数据块的数据量大小。并且规定在调度服务运行状态良好情况下，从一个节点dkr和Ri流出的最大链接数为
当有场景任务时，该场景任务有其对应的目标自然资源场景数据，提取自然资源场景数据的特征信息，需要根据目标自然资源场景数据特征信息动态调整数据资源调度模型中缓存节点和存储节点的数据配置。
在实际应用中，当提取出目标自然资源场景数据的特征信息之后，可以根据特征信息所具有的数据访问特征选取相匹配的缓存更新算法，利用缓存更新算法将目标自然资源场景数据在缓存节点上进行缓存；根据特征信息中包含的各数据块的数据访问频率，调整各数据块占用的存储节点的个数。
多层次可视化场景任务从展示的重量级分类，可以分为宏观、中观、微观场景任务；从数据需求特征上分类，可分为时序渐进、历史回访、无序随机三类。在本发明实施例中，可以依据服务器负载均衡、缓存算法更新、数据访问频率和反亲和力规则动态更新数据资源调度模型。
为了实现数据资源调度模型的自适应的调整各类数据的流量，需要对服务器实际资源使用情况进行实时的监控，当服务器的单项负载cpu使用率或者内存实际占用内存超过了设定的阈值，表明当前数据服务能力已经达不到任务需求，需要调整模型。提取相邻时段内多层次可视化场景任务的特征和对第K种类型数据的访问量，也就是理想需求值expect K。
调整缓存节点的替换算法，根据提取的多层次可视化场景任务的特征，设置有效的缓存更新的算法，及时更新热点，淘汰不需要的数据。
时序渐进、历史回访、无序随机三种类型的可视化任务反应了任务对数据有不同的特征与偏好。不同类型的数据需求，缓存节点存储、更新数据的方式也所有差异。
举例说明，若数据访问具有实时更新，且不存在固定而又明显的热点数据的特征时，定义此类场景任务属于时序渐进性任务，可替换成顺序写入，顺序读出的按序执行的缓存算法，类似FIFO等。若数据的访问具有反复往返的调度历史数据，存在规律的、周期性的热点数据的特征时，定义此类场景任务为历史回访性任务，可选择将最近最久未使用的数据予以淘汰的缓存算法，类似LRU、2Q等。若数据访问具有随机性强，目标多在小场景，热点数据更新快的特征时，定义此类场景任务为无须随机性任务，可使用综合淘汰最近访问频率最小的缓存算法，类似LFU等。
调整存储节点配置分为两步，首先通过数据访问频率计算数据需要配置的存储节点个数。当提取的相邻时间段内Dk的访问量大于初始expect0 K，则计算模型中第K种类型的数据(即数据K)的数据块AB(dkr)被访问的频率，通过比较数据K所有数据块的平均访问量AB(Dk)avg，计算dkr数据块可以配置的存储节点数量replicaNum(dkr)，增加访问频率高的数据块占有存储节点的数量，减少访问频率低的数据块占有存储节点的数量。
然后根据数据间亲和力原则选择负载压力最轻Min Pserv(m)的服务器放置存储节点。依据数据亲和力矩阵depMatrix[i,j]，筛选出与Dk数据的数据块r亲和力小于阈值u的数据块w所在的服务器即depMatrix[r,w]＜u。在中选择负载最轻的服务器MinPserv(m)放置增加的数据块r的存储节点。
S104：利用启发式最大流算法对调整后的数据资源调度模型进行数据流最大化处理，得到目标自然资源场景数据的最大流路径集合。
根据启发式最大流算法在调整后的模型上进行各类数据流最大化调整，直到不小于当前多层次可视化场景任务对数据K的理想需求值expect K。
启发式最大流算法通过改进的Edmonds-Karp算法获得，依次求解模型中每类自然资源场景数据的最大流量值，其具体步骤如下：
步骤1：数据资源调度模型从0流(即数据资源调度模型各条连接边的流值均为0)开始到第k类数据的数据流增加。其中，k＝1,2,3…q。
步骤2：根据初始数据资源调度模型G＝(V,E)，求出数据资源调度模型G的剩余数据资源调度模型Gfk，求出分层剩余数据资源调度模型
步骤3：若中存在从源点s到汇点t的可增广路，进入步骤4，否则进入步骤5。
步骤4：根据找到的增广路和增广值对从0流开始的数据资源调度模型流进行增广，并返回步骤3。
步骤5：Gfk已不存在可增广路，所得流值为第k类数据的最大流。
依次类推，当开始增加第k+1类数据的流量，则重复步骤2至步骤5，直到k＝q；得到模型中每一类数据最大流量值，max K＝{max A,max B…max Dk…max Dq}。当确定出每类自然资源场景数据的最大流量值时，该最大流量值所对应的所有路径即为自然资源场景数据的最大流路径集合。
由上述技术方案可以看出，根据各自然资源场景数据及其属性特征和关联关系，构建时空关系图索引。时空关系图索引是以图模型的形式呈现，可以便于用户直观的了解自然资源场景数据中各类数据之间的关联关系。并且以图模型的形式记录数据，可以实现多模态的自然资源场景数据的高性能处理和低延迟访问。当获取到查询请求时，可以从时空关系图索引中快速查询相对应的目标数据。提取目标数据的特征信息；并依据特征信息，调整预先建立的数据资源调度模型中缓存节点和存储节点的数据配置；利用启发式最大流算法对调整后的数据资源调度模型进行数据流最大化处理，得到目标自然资源场景数据的最大流路径集合。根据目标数据的特征信息，可以自适应的调整数据资源调度模型，进行各类数据流量的调整，提升了数据服务的准确性，实现了大规模高并发的多样化可视化任务数据的高效调度。
在本发明实施例中，为了便于区分存储到内存中的各类数据，可以在生成节点时，对生成的各类节点添加标签信息。从而根据该标签信息设置各键值对的标识信息。
以所有节点中的任意一个节点即目标节点为例，具体的，可以将目标节点的标签信息作为键值对的标识信息；并根据目标连接边数据所对应的始节点的标签信息、末节点的标签信息以及关系类型，设置目标连接边数据的标识信息；其中，目标连接边数据为所有连接边数据中的任意一个连接边数据。
举例说明，生成的索引存储到内存之中，每一个节点和连接边都与内存中唯一的键值类型通过ID唯一绑定。
其中，节点的ID以节点标签作为前缀，即ID1＝Lable_uid，连接边的ID则由该连接边的始节点ID1，末节点ID2和关系类型组合形成，即ID3＝ID1_ID2_Type。
在本发明实施例中，在构建完成时空关系图索引之后，可以对时空关系图索引中包含的节点以及节点之间的连接边进行增加、删除等操作。
具体的，可以根据接收到的指令信息的类型，对存储的时空关系图索引进行调整；其中，指令信息包括节点增加指令、连接边增加指令、节点删除指令和连接边删除指令。
以节点增加指令为例，向时空关系图索引中增加不存在的节点及其关联关系，首先在内存中插入该节点数据对象和连接边数据对象；然后，根据关系类型对全局邻接稀疏矩阵和关系稀疏矩阵扩增一个新的行和列，并按照输入关系的始节点和末节点对新增的行列进行赋值，使得M→N处，Matrix[M,N]＝1。
以连接边增加指令为例，如果只是在已有节点之间新增连接关系，则只需在内存中新增该连接边数据对象，并修改全局邻接稀疏矩阵和对应类型的关系稀疏矩阵中相应位置的数值为1即可。
以节点删除指令为例，如果删除的是自然资源场景数据实体节点，则还需要删除与之对应的特征节点和数据节点，还有与数据节点对应的时空节点，最后再删除自然资源场景数据实体节点本身。针对具体某一个节点的删除，首先需要删除与该节点连接的所有连接边，将全局邻接稀疏矩阵和所有类型的关系稀疏矩阵中该节点所在的行列全部删除，并删除相应的内存关系对象，防止出现只有单个连接节点的连接边，然后再从内存中删除该节点对象。
以连接边删除指令为例，如果只是删除一个连接关系，则只需要删除相应的内存关系对象，并将对应关系稀疏矩阵处相应位置值修改为0，并判断该连接关系的两个节点之间是否存在其他关系，如果不存在则修改全局邻接稀疏矩阵相应位置处为0。
通过设置调整机制，可以根据当前数据要求，对时空关系图索引进行动态调整，提升了时空关系图索引的灵活性，保证了时空关系图索引的实时有效。
图4为本发明实施例提供的一种自然资源场景数据的组织调度装置的结构示意图，包括构建单元41、查询单元42、提取单元43、调整单元44和最大化单元45；
构建单元41，用于根据各自然资源场景数据及其属性特征和关联关系，构建时空关系图索引；
查询单元42，用于当获取到查询请求时，从时空关系图索引中查询相对应的目标自然资源场景数据；
提取单元43，用于提取目标自然资源场景数据的特征信息；
调整单元44，用于依据特征信息，调整预先建立的数据资源调度模型中缓存节点和存储节点的数据配置；
最大化单元45，用于利用启发式最大流算法对调整后的数据资源调度模型进行数据流最大化处理，得到目标自然资源场景数据的最大流路径集合。
可选的，时空关系图索引包括时间子图、空间子图和场景数据子图；
相应的，构建单元包括第一生成子单元、第二生成子单元、连接建立子单元和存储子单元；
第一生成子单元，用于根据各自然资源场景数据以及属性特征，生成数据场景子图的实体节点、特征节点和数据节点；
第二生成子单元，用于依据各数据节点计算相应的时间信息和空间信息；并依据时间信息生成时间节点，依据空间信息生成空间节点；
连接建立子单元，用于按照关联关系，建立时空关系图索引中各节点的连接；
存储子单元，用于存储时空关系图索引中各节点数据及其对应的连接边数据。
可选的，存储子单元具体用于将每个节点数据及其对应的连接边数据按照键值对方式存储到内存；采用全局邻接稀疏矩阵和关系稀疏矩阵记录各节点的连接关系。
可选的，还包括添加单元、作为单元和设置单元；
添加单元，用于对生成的各类节点添加标签信息；
作为单元，用于将目标节点的标签信息作为键值对的标识信息；其中，目标节点为所有节点中的任意一个节点；
设置单元，用于根据目标连接边数据所对应的始节点的标签信息、末节点的标签信息以及关系类型，设置目标连接边数据的标识信息；其中，目标连接边数据为所有连接边数据中的任意一个连接边数据。
可选的，还包括调整单元；
调整单元，用于根据接收到的指令信息的类型，对存储的时空关系图索引进行调整；其中，指令信息包括节点增加指令、连接边增加指令、节点删除指令和连接边删除指令。
可选的，针对于数据资源调度模型的建立过程，装置还包括初始化单元和限流单元；
初始化单元，用于初始化配置存储节点和缓存节点，并根据存储节点、缓存节点、数据中心节点、任务中心节点以及节点连接边，构建出数据资源调度模型；
限流单元，用于根据节点所承载的数据量与带宽大小，设置每条连接边的最大流量限值。
可选的，调整单元具体用于根据特征信息所具有的数据访问特征选取相匹配的缓存更新算法，利用缓存更新算法将目标自然资源场景数据在缓存节点上进行缓存；根据特征信息中包含的各数据块的数据访问频率，调整各数据块占用的存储节点的个数。
图4所对应实施例中特征的说明可以参见图1所对应实施例的相关说明，这里不再一一赘述。
由上述技术方案可以看出，根据各自然资源场景数据及其属性特征和关联关系，构建时空图关系索引。时空关系图索引是以图模型的形式呈现，可以便于用户直观的了解自然资源场景数据中各类数据之间的关联关系。并且以图模型的形式记录自然资源场景数据，可以实现自然资源多模态的自然资源场景数据的高性能处理和低延迟访问。当获取到查询请求时，可以从时空关系图索引中快速查询相对应的目标数据。提取目标数据的特征信息；并依据特征信息，调整预先建立的数据资源调度模型中缓存节点和存储节点的数据配置；利用启发式最大流算法对调整后的数据资源调度模型进行数据流最大化处理，得到目标自然资源场景数据的最大流路径集合。根据目标自然资源场景数据的特征信息，可以自适应的调整数据资源调度模型，进行各类数据流量调整，提升了数据服务的准确性，实现了大规模高并发的多样化可视化任务数据的高效调度。
图5为本发明实施例提供的一种自然资源场景数据的组织调度装置50的硬件结构示意图，包括：
存储器51，用于存储计算机程序；
处理器52，用于执行计算机程序以实现如上述任意一项自然资源场景数据的组织调度方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任一项自然资源场景数据的组织调度方法的步骤。
以上对本发明实施例所提供的一种自然资源场景数据的组织调度方法、装置和计算机可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

Claims (10)

1.一种自然资源场景数据的组织调度方法，其特征在于，包括：
根据各自然资源场景数据及其属性特征和关联关系，构建时空关系图索引；
当获取到查询请求时，从所述时空关系图索引中查询相对应的目标自然资源场景数据；
提取所述目标自然资源场景数据的特征信息；并依据所述特征信息，调整预先建立的数据资源调度模型中缓存节点和存储节点的数据配置；
利用启发式最大流算法对调整后的数据资源调度模型进行数据流最大化处理，得到所述目标自然资源场景数据的最大流路径集合。
2.根据权利要求1所述的方法，其特征在于，所述时空关系图索引包括时间子图、空间子图和场景数据子图；
相应的，所述根据各自然资源场景数据及其属性特征和关联关系，构建时空关系图索引包括：
根据各自然资源场景数据以及属性特征，生成数据场景子图的实体节点、特征节点和数据节点；
依据各所述数据节点计算相应的时间信息和空间信息；并依据所述时间信息生成时间节点，依据所述空间信息生成空间节点；
按照所述关联关系，建立所述时空关系图索引中各节点的连接；
存储所述时空关系图索引中各节点数据及其对应的连接边数据。
3.根据权利要求2所述的方法，其特征在于，所述存储所述时空关系图索引中各节点数据及其对应的连接边数据包括：
将每个节点数据及其对应的连接边数据按照键值对方式存储到内存；
采用全局邻接稀疏矩阵和关系稀疏矩阵记录各节点的连接关系。
4.根据权利要求3所述的方法，其特征在于，还包括：
对生成的各类节点添加标签信息；
将目标节点的标签信息作为键值对的标识信息；其中，目标节点为所有节点中的任意一个节点；
根据目标连接边数据所对应的始节点的标签信息、末节点的标签信息以及关系类型，设置目标连接边数据的标识信息；其中，目标连接边数据为所有连接边数据中的任意一个连接边数据。
5.根据权利要求3所述的方法，其特征在于，在存储所述时空关系图索引中各节点数据及其对应的连接边数据之后还包括：
根据接收到的指令信息的类型，对存储的所述时空关系图索引进行调整；其中，所述指令信息包括节点增加指令、连接边增加指令、节点删除指令和连接边删除指令。
6.根据权利要求1所述的方法，其特征在于，所述数据资源调度模型的建立过程包括：
初始化配置存储节点和缓存节点，并根据所述存储节点、所述缓存节点、数据中心节点、任务中心节点以及节点连接边，构建出数据资源调度模型；
根据节点所承载的数据量与带宽大小，设置每条连接边的最大流量限值。
7.根据权利要求6所述的方法，其特征在于，所述依据所述特征信息，调整预先建立的数据资源调度模型中缓存节点和存储节点的数据配置包括：
根据所述特征信息所具有的数据访问特征选取相匹配的缓存更新算法，利用所述缓存更新算法将所述目标自然资源场景数据在缓存节点上进行缓存；
根据所述特征信息中包含的各数据块的数据访问频率，调整各数据块占用的存储节点的个数。
8.一种自然资源场景数据的组织调度装置，其特征在于，包括构建单元、查询单元、提取单元、调整单元和最大化单元；
所述构建单元，用于根据各自然资源场景数据及其属性特征和关联关系，构建时空关系图索引；
所述查询单元，用于当获取到查询请求时，从所述时空关系图索引中查询相对应的目标自然资源场景数据；
所述提取单元，用于提取所述目标自然资源场景数据的特征信息；
所述调整单元，用于依据所述特征信息，调整预先建立的数据资源调度模型中缓存节点和存储节点的数据配置；
所述最大化单元，用于利用启发式最大流算法对调整后的数据资源调度模型进行数据流最大化处理，得到所述自然资源目标自然资源场景数据的最大流路径集合。
9.一种自然资源场景数据的组织调度装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7任意一项所述自然资源场景数据的组织调度方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述自然资源场景数据的组织调度方法的步骤。
CN201910796450.9A 2019-08-27 2019-08-27 一种自然资源场景数据的组织调度方法、装置和存储介质 Pending CN110516119A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910796450.9A CN110516119A (zh) 2019-08-27 2019-08-27 一种自然资源场景数据的组织调度方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910796450.9A CN110516119A (zh) 2019-08-27 2019-08-27 一种自然资源场景数据的组织调度方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN110516119A true CN110516119A (zh) 2019-11-29

Family

ID=68627195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910796450.9A Pending CN110516119A (zh) 2019-08-27 2019-08-27 一种自然资源场景数据的组织调度方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN110516119A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941619A (zh) * 2019-12-02 2020-03-31 浪潮软件股份有限公司 针对多种使用场景的图数据存储模型和结构的定义方法
CN113392143A (zh) * 2021-07-14 2021-09-14 浙江工商大学 一种面向多关系图的可达性查询索引的构建与处理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040236679A1 (en) * 2003-05-20 2004-11-25 Anderson David J. Method and system for performing automated prepaid account renewal
CN102222065A (zh) * 2010-04-14 2011-10-19 同济大学 一种基于地理索引的空间信息服务系统
US20150205693A1 (en) * 2014-01-23 2015-07-23 Concurix Corporation Visualization of behavior clustering of computer applications
CN106227753A (zh) * 2016-07-15 2016-12-14 西安测绘研究所 利用手绘地图检索空间场景的方法
CN106708989A (zh) * 2016-12-14 2017-05-24 大连大学 基于空间时序数据流应用的Skyline查询方法
CN106777093A (zh) * 2016-12-14 2017-05-31 大连大学 基于空间时序数据流应用的Skyline查询系统
CN108052580A (zh) * 2017-12-08 2018-05-18 西南交通大学 一种基于多层关联网络的时空数据沉浸式可视分析方法
CN108319733A (zh) * 2018-03-29 2018-07-24 华中师范大学 一种基于地图的教育大数据分析方法及系统
CN109002961A (zh) * 2018-06-13 2018-12-14 北京大学 一种基于网络数据的跨区域文化景观间功能结构规划方法
US20190236187A1 (en) * 2018-01-30 2019-08-01 Telogis Inc. Searching using query graphs

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040236679A1 (en) * 2003-05-20 2004-11-25 Anderson David J. Method and system for performing automated prepaid account renewal
CN102222065A (zh) * 2010-04-14 2011-10-19 同济大学 一种基于地理索引的空间信息服务系统
US20150205693A1 (en) * 2014-01-23 2015-07-23 Concurix Corporation Visualization of behavior clustering of computer applications
CN106227753A (zh) * 2016-07-15 2016-12-14 西安测绘研究所 利用手绘地图检索空间场景的方法
CN106708989A (zh) * 2016-12-14 2017-05-24 大连大学 基于空间时序数据流应用的Skyline查询方法
CN106777093A (zh) * 2016-12-14 2017-05-31 大连大学 基于空间时序数据流应用的Skyline查询系统
CN108052580A (zh) * 2017-12-08 2018-05-18 西南交通大学 一种基于多层关联网络的时空数据沉浸式可视分析方法
US20190236187A1 (en) * 2018-01-30 2019-08-01 Telogis Inc. Searching using query graphs
CN108319733A (zh) * 2018-03-29 2018-07-24 华中师范大学 一种基于地图的教育大数据分析方法及系统
CN109002961A (zh) * 2018-06-13 2018-12-14 北京大学 一种基于网络数据的跨区域文化景观间功能结构规划方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘铭威等: "多模态时空数据多层次可视化任务模型", 《测绘学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941619A (zh) * 2019-12-02 2020-03-31 浪潮软件股份有限公司 针对多种使用场景的图数据存储模型和结构的定义方法
CN110941619B (zh) * 2019-12-02 2023-05-16 浪潮软件股份有限公司 针对多种使用场景的图数据存储模型和结构的定义方法
CN113392143A (zh) * 2021-07-14 2021-09-14 浙江工商大学 一种面向多关系图的可达性查询索引的构建与处理方法
CN113392143B (zh) * 2021-07-14 2022-08-02 浙江工商大学 一种面向多关系图的可达性查询索引的构建与处理方法

Similar Documents

Publication Publication Date Title
CN102227121B (zh) 基于机器学习的分布式缓存策略自适应切换方法及系统
CN110291518A (zh) 合并树无用单元指标
CN107193967A (zh) 一种多源异构行业领域大数据处理全链路解决方案
CN102158417A (zh) 实现多约束QoS路由选择的优化方法及装置
KR102259927B1 (ko) 워크플로우 엔진 프레임워크
CN102624870A (zh) 基于智能优化算法的云制造计算资源可重构配置方法
CN104202373A (zh) 移动云计算迁移方法及系统
CN108509501A (zh) 一种查询处理方法、服务器及计算机可读存储介质
CN104268143B (zh) Xml数据的处理方法和装置
CN110087250A (zh) 一种基于多目标联合优化模型的网络切片编排方案及其方法
CN105808358B (zh) 一种用于众核系统的数据相关性线程分组映射方法
CN108848108A (zh) 基于移动互联网+的创新项目pdca过程管理平台
CN108536692A (zh) 一种执行计划的生成方法、装置及数据库服务器
CN107368583A (zh) 一种多集群信息查询的方法及系统
CN110516119A (zh) 一种自然资源场景数据的组织调度方法、装置和存储介质
CN109656956A (zh) 一种实现业务系统数据集中式缓存的方法及装置
CN112632025A (zh) 一种基于paas平台的电网企业管理决策支持应用系统
CN106570145A (zh) 一种基于分层映射的分布式数据库结果缓存方法
JP2014502756A (ja) ツリー構造に基づくマスデータストレージの装置および方法
CN105512051B (zh) 一种自学习型智能固态硬盘缓存管理方法和装置
CN113014649B (zh) 一种基于深度学习的云物联负载均衡方法、装置及设备
CN110018997A (zh) 一种基于hdfs的海量小文件存储优化方法
CN110119399A (zh) 基于机器学习的业务流程优化方法
CN105978712A (zh) 一种云计算管理系统的方法
KR20180077830A (ko) 비공유 아키텍처 기반의 분산 스트림 처리 엔진에서 관계형 질의를 처리하는 방법, 이를 수행하기 위한 기록 매체 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20191128

Address after: 610000 north section of two ring road, Sichuan, Chengdu

Applicant after: SOUTHWEST JIAOTONG University

Applicant after: GUANGZHOU URBAN PLANNING & DESIGN SURVEY Research Institute

Address before: 611756 north section of the two ring road, Chengdu, Sichuan

Applicant before: Southwest Jiaotong University

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230707

AD01 Patent right deemed abandoned