CN116737392B - 一种非矢量数据的处理方法、装置及计算设备 - Google Patents

Abstract

本申请涉及数据处理技术领域，具体公开了一种非矢量数据的处理方法、装置及计算设备。其中处理方法包括：根据层级和精度，构建预设空间块，预设空间块包括多个子块，其中层级指示预设空间块包含的空间区域，精度指示子块的划分区间；将待计算的非矢量数据映射到预设空间块，以对应生成多个块数据，块数据具有空间特征；基于块数据的空间特征，将多个块数据分配到各计算节点，以便各计算节点并行地对块数据进行计算；以及对各计算节点计算的结果进行处理，得到最终计算结果。基于本申请，能够有效提高数据处理和计算的效率。

Description

一种非矢量数据的处理方法、装置及计算设备

技术领域

本申请涉及数据处理技术领域，尤其涉及一种非矢量数据的处理方法、装置及计算设备。

背景技术

在大数据时代，处理和计算海量数据成为了一项重要的挑战。传统的处理方法往往面临着数据规模庞大、计算效率低下等问题。现有方案中常通过并行计算、分布式计算等方式，先将计算任务分解成多个子任务，再利用多个计算节点（例如，计算机或服务器）分别执行子任务，以满足快速、高效地处理大规模数据的需求。无论是利用并行计算还是分布式计算来加速计算任务，均需要大规模的计算资源的支持，因此对计算节点的计算资源的调度就非常复杂。

因此，需要一种新的数据处理方案，来解决上述问题。

发明内容

本申请提供了一种非矢量数据的处理方法、装置及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。

根据本申请的一个方面，提供了 一种非矢量数据的处理方法，包括：根据层级和精度，构建预设空间块，所述预设空间块包括多个子块，其中所述层级指示所述预设空间块包含的空间区域，所述精度指示子块的划分区间；将待计算的非矢量数据映射到所述预设空间块，以对应生成多个块数据，所述块数据具有空间特征；基于块数据的空间特征，将所述多个块数据分配到各计算节点，以便各计算节点并行地对块数据进行计算；对各计算节点计算的结果进行处理，得到最终计算结果。

可选地，在根据本申请的方法中，根据层级和精度，构建预设空间块，包括：根据所述层级，确定所述预设空间块的空间区域；按照所述精度，将所述空间区域划分为多个子块，其中所述精度指示经度的划分区间和纬度的划分区间。

可选地，在根据本申请的方法中，按照精度，将所述空间区域划分为多个子块，包括：按照经度和纬度的划分区间，将所确定的空间区域划分为多个二维网格，作为所述子块；或基于所述经度和纬度的划分区间确定高度划分区间，并按照经度、纬度和高度的划分区间，将所确定的空间区域划分为多个三维网格，作为所述子块。

可选地，在根据本申请的方法中，基于所述经度和纬度的划分区间确定高度划分区间，包括：将所述高度划分区间与所述经度和/或纬度的划分区间保持一致，或将经度和纬度的划分区间的平均值，作为高度划分区间。

可选地，在根据本申请的方法中，将待计算的非矢量数据映射到预设空间块，以对应生成多个块数据，包括：针对所述非矢量数据中各数据点，确定其位置信息所属的子块，并将该数据点映射到该子块；利用各子块中所映射的数据点，对应生成各块数据，其中，所述位置信息包括：经度、纬度，或，经度、纬度、高度。

可选地，在根据本申请的方法中，基于块数据的空间特征，将多个块数据分配到各计算节点，包括：确定各计算节点的位置属性；结合各块数据的空间特征和各计算节点的位置属性，将各块数据分配到对应的计算节点。

可选地，在根据本申请的方法中，确定各计算节点的位置属性，包括：按照各计算节点的部署位置，确定其位置属性。

可选地，在根据本申请的方法中，对各计算节点计算的结果进行处理，得到最终计算结果，包括：通过预设方式将各计算节点计算的结果进行集成，得到最终计算结果，其中所述预设方式至少包括：求和、求平均值、加权。

可选地，根据本申请的方法还包括：对待计算的非矢量数据进行预处理，所述预处理至少包括：数据清洗、数据转换、特征提取中的至少一个。

根据本申请的再一方面，提供了一种非矢量数据的处理装置，所述装置与多个计算节点耦接，包括：空间块构建单元，适于根据层级和精度，构建预设空间块，所述预设空间块包括多个子块，其中所述层级指示所述预设空间块包含的空间区域，所述精度指示子块的划分区间；块数据生成单元，适于将待计算的非矢量数据映射到所述预设空间块，以对应生成多个块数据，所述块数据具有空间特征；调度单元，适于基于块数据的空间特征，将所述多个块数据分配到各计算节点，以便各计算节点并行地对块数据进行计算；集成单元，适于对各计算节点计算的结果进行处理，得到最终计算结果。

根据本申请的再一方面，提供了一种计算设备，包括：一个或多个处理器存储器；一个或多个程序，其中所述一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行如上任一方法的指令。

根据本申请的再一方面，提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令在被计算设备执行时，使得计算设备执行如上所述的任一方法。

综上所述，根据本申请的方案，基于空间区域位置和精度，构建预设空间块，之后，将待计算的数据映射到预设空间块的各子块中，以形成具有空间特征的块数据。之后，基于块数据的空间特征，将待计算的数据分配到各计算节点上进行处理，能够有效提高数据处理和计算的效率。同时，本方案利用数据的空间特征，从数据资源的维度来调度计算节点，能够降低计算资源分配的复杂度。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所申请的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本申请的上述以及其它目的、特征和优势将变得更加明显。遍及本申请，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本申请一些实施例的非矢量数据的处理装置100的示意图；

图2示出了根据本申请一些实施例的计算设备200的示意图；

图3示出了根据本申请一些实施例的非矢量数据的处理方法300的流程示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

现有块数据的生成方法一般是通过主键或多条数据的内容分析，来建立数据之间的关联。这种方式只适用于按照特定业务建模而产生的业务数据库，无法关联其他业务数据，并且关联过程只能人工顺序分析各个数据库/表的结构进行处理，无法提高块数据的生成效率，也无法适用于更广泛的业务块数据的应用场景。

根据本申请的实施方式，面对大规模数据处理的需求，预先构建预设空间块，预设空间块具有空间特征，空间特征例如包括：用以描述事物或现象的地理位置（如，经纬度等）及其相互关系（如，相邻、包含、关联关系等）。将非矢量数据映射到预设空间块，得到对应的多个块数据，相应地，这些块数据也具有空间特征。再利用并行计算，对这些块数据进行处理和计算，从而提高计算速度和数据处理效率。

根据本申请的实施方式，非矢量化数据可以是地理空间数据，例如遥感影像、地形数据、卫星数据等；也可以是交通流量数据、车辆轨迹数据、交通信号数据等；还可以是视频图像像素的原始数据。本申请对此不做过多限制。

图1示出了根据本申请一些实施例的非矢量数据的处理装置100的示意图。根据本申请的实施方式，该处理装置100可以部署在高性能计算环境中，如图1所示，该处理装置100一方面耦接到数据源，接收来自数据源的待计算的非矢量数据；另一方面耦接到多个计算节点，以便将划分好的块数据分配到各计算节点。这些计算节点是根据计算环境的计算资源和需求，配置的并行计算节点。

如图1，处理装置100包括：空间块构建单元110、块数据生成单元120、调度单元130和集成单元140。

其中，空间块构建单元110根据层级和精度，构建预设空间块。同时，将该预设空间块划分成多个子块。根据本申请的实施例，层级指示预设空间块所包含的空间区域，例如，全球层级、区域层级、或更细分的小范围层级。精度指示子块的划分区间。通过设置层级，可以将预设空间块的地理范围限定在某个规定的区域内，保障数据的安全性和保密性。对于层级和精度，可以根据具体的应用场景进行设置，本申请对此不做限制。

块数据生成单元120将待计算的非矢量数据映射到预设空间块，这样，子块中可能会包含一定数量的数据点，且这些数据点在经度/纬度/高度上可能具有相似的特征，将这样的子块作为块数据。这样生成的块数据之间没有传统数据之间的顺序计算的依赖关系，因此，可以选择适当的并行计算框架和分布式计算技术，将这些块数据有效地分配给各计算节点进行并行计算。

调度单元130基于块数据的空间特征，将多个块数据分配到各计算节点，以便各计算节点并行地对块数据进行计算。具体地，在每个计算节点上，对分配到该计算节点的块数据进行计算，计算可以包括聚类、分类、回归、模式识别等，根据具体的任务需求进行。由于各个块数据的性质是同质的（采用同样的标准划分成块），所以可以在多个不同计算节点上由同样的算法进行并行处理和计算。

最后，由集成单元140对各计算节点计算的结果进行处理，得到最终计算结果。可以根据应用场景的需求和计算结果的类型，从预设方式中选择合适的方式，对各计算节点的计算结果进行集成，预设方式包括：求平均值、加权、求和等，不限于此。例如，当求解某个区域的舆情信息时，所选取的预设方式需要考虑区域中各地的舆情以及权重，通过加权的方式对应求出整个区域的舆情综合情况。又如，在投票确定某项政策选择的时候，所选取的预设方式就可能会是按照各个地理区域的人数和投票数进行求和计算。

根据本申请的处理装置100可以通过一台或多台计算设备实现，以执行对非矢量数据的处理方法。图2示出了根据本申请一些实施例的计算设备200的结构框图。需要说明的是，图2所示的计算设备200仅为一个示例，在实践中，用于实施本申请的数据处理方法的计算设备可以是任意型号的设备，其硬件配置情况可以与图2所示的计算设备200相同，也可以与图2所示的计算设备200不同。实践中用于实施本申请实施例的计算设备可以对图2所示的计算设备200的硬件组件进行增加或删减，本申请对计算设备的具体硬件配置情况不做限制。

如图2所示，在基本配置202中，计算设备200典型地包括系统存储器206和一个或者多个处理器204。存储器总线208可以用于在处理器204和系统存储器206之间的通信。

取决于期望的配置，处理器204可以是任何类型的处理器，包括但不限于：微处理器（µP）、微控制器（µC）、数字信息处理器（DSP）或者它们的任何组合。处理器204可以包括诸如一级高速缓存210和二级高速缓存212之类的一个或者多个级别的高速缓存、处理器核心214和寄存器216。示例的处理器核心214可以包括运算逻辑单元（ALU）、浮点数单元（FPU）、数字信号处理（DSP）核心或者它们的任何组合。示例的存储器控制器218可以与处理器204一起使用，或者在一些实现中，存储器控制器218可以是处理器204的一个内部部分。

取决于期望的配置，系统存储器206可以是任意类型的存储器，包括但不限于：易失性存储器（诸如RAM）、非易失性存储器（诸如ROM、闪存等）或者它们的任何组合。计算设备中的物理内存通常指的是易失性存储器RAM，磁盘中的数据需要加载至物理内存中才能够被处理器204读取。系统存储器206可以包括操作系统220、一个或者多个应用222以及程序数据224。在一些实施方式中，应用222可以布置为在操作系统上由一个或多个处理器204利用程序数据224执行指令。操作系统220例如可以是Linux、Windows等，其包括用于处理基本系统服务以及执行依赖于硬件的任务的程序指令。应用222包括用于实现各种用户期望的功能的程序指令，应用222例如可以是浏览器、即时通讯软件、软件开发工具（例如集成开发环境IDE、编译器等）等，但不限于此。当应用222被安装到计算设备200中时，可以向操作系统220添加驱动模块。

在计算设备200启动运行时，处理器204会从系统存储器206中读取操作系统220的程序指令并执行。应用222运行在操作系统220之上，利用操作系统220以及底层硬件提供的接口来实现各种用户期望的功能。当用户启动应用222时，应用222会加载至系统存储器206中，处理器204从系统存储器206中读取并执行应用222的程序指令。

计算设备200还包括储存设备232，储存设备232包括可移除储存器236（例如CD、DVD、U盘、可移动硬盘等）和不可移除储存器238（例如硬盘驱动器HDD等），可移除储存器236和不可移除储存器238均与储存接口总线234连接。

计算设备200还可以包括储存接口总线234。储存接口总线234实现了从储存设备232（例如，可移除储存器236和不可移除储存器238）经由总线/接口控制器230到基本配置202的通信。操作系统220、应用222以及程序数据224的至少一部分可以存储在可移除储存器236和/或不可移除储存器238上，并且在计算设备200上电或者要执行应用222时，经由储存接口总线234而加载到系统存储器206中，并由一个或者多个处理器204来执行。

计算设备200还可以包括有助于从各种接口设备（例如，输出设备242、外设接口244和通信设备246）到基本配置202经由总线/接口控制器230的通信的接口总线240。示例的输出设备242包括图像处理单元248和音频处理单元250。它们可以被配置为有助于经由一个或者多个A/V端口252与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口244可以包括串行接口控制器254和并行接口控制器256，它们可以被配置为有助于经由一个或者多个I/O端口258和诸如输入设备（例如，键盘、鼠标、笔、语音输入设备、触摸输入设备）或者其他外设（例如打印机、扫描仪等）之类的外部设备进行通信。示例的通信设备246可以包括网络控制器260，其可以被布置为便于经由一个或者多个通信端口264与一个或者多个其他计算设备262通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中以编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频（RF）、微波、红外（IR）或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

计算设备200可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。当然，计算设备200也可以实现为小尺寸便携（或者移动）电子设备的一部分，这些电子设备可以是诸如蜂窝电话、数码照相机、个人数字助理（PDA）、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。甚至可以被实现为服务器，如文件服务器、数据库服务器、应用程序服务器和WEB服务器等。本申请的实施例对此均不做限制。

在根据本申请的实施例中，计算设备200被配置为执行根据本申请的非矢量数据的处理方法300。其中，布置在操作系统上的应用222中包含用于执行方法300的多条程序指令，这些程序指令可以指示处理器204执行本申请的方法300。

图3示出了根据本申请一些实施例的非矢量数据的处理方法300的流程示意图。需要说明的是，该处理方法300可以在处理装置100中执行，关于处理装置100的描述与处理方法300的描述互为补充，相关之处，不再一一赘述。

根据本申请的方法300可以应用于多种数据处理场景。如下示出几种应用领域，当然不限于此。

1. 在图像处理领域，非矢量化数据可以是图像像素的原始数据。通过将图像数据映射到空间块并对每个空间块的块数据进行处理和计算，可以实现图像的分割、特征提取、目标检测、图像增强等任务。根据本申请的块数据的生成和计算方法，能够提高图像处理的效率和准确性。

2. 在地理信息系统（GIS）领域，非矢量化数据可以是地理空间数据，例如遥感影像、地形数据、卫星数据等。通过将地理空间数据映射到空间块，并并行地对每个空间块上的块数据进行数据分析和处理，可以实现地理信息的可视化、空间分析、地理模拟等任务。根据本申请的块数据的生成和计算方法，能够提高GIS系统的处理能力和空间数据的分析能力。

3. 在智能交通系统中，非矢量化数据可以是交通流量数据、车辆轨迹数据、交通信号数据等。通过将交通数据映射到空间块，并并行地对每个空间块上的块数据进行数据处理和计算，可以实现交通流量预测、拥堵检测、优化交通信号控制等任务。根据本申请的块数据的生成和计算方法，有助于提高交通系统的效率和改善交通流动性。

为进一步说明方法300的处理流程，以下以地理信息系统的应用场景为例，详细说明根据本申请的方法300的处理流程。

如图3所示，方法300始于310。

在310中，根据层级和精度，构建预设空间块。

根据本申请的实施例，预设空间块包括多个子块。其中，层级指示预设空间块所包含的空间区域，精度指示子块的划分区间。在一些实施例中，层级和精度可以根据应用场景预先定义。

例如，在卫星遥感影像数据的处理场景中，根据遥感影像的适用场景，可以将预设空间块的层级定义为：全球层级（预设空间块的范围涵盖了全球范围）、区域层级（预设空间块的范围只涵盖某个区域）、小范围层级（预设空间块的范围只涵盖某个细分的小范围，例如某街道）等，可根据应用场景确定本次计算任务的层级，空间区域的范围可以通过经度、纬度、高度来确定。例如，计算任务是计算地区A的草地覆盖情况，那么，层级就是区域层级，空间区域通过地区A的经度和纬度，或者是地区A 的经度、纬度、高度等来确定。

接着，根据精度来确定划分区间。在一些实施例中，精度指示经度的划分区间和纬度的划分区间。由于地球经纬度的精确度可以在度级、分级、秒级，故划分区间可以以度/分/秒来限定。以度为单位，划分区间可以为每4度一个区间、每2度一个区间等。当然，也可以以分为单位，以每8分、4分、2分等为一个划分区间，或是以秒为单位：以每8秒、4秒、2秒等为一个划分区间，本申请实施例不做过多限制。可以根据实际的需求，选择不同的精度。

根据本申请的实施例，在确定好层级和精度后，基于所确定的层级和精度，构建预设空间块。具体而言，先根据层级，确定预设空间块的空间区域；然后，按照精度，将该空间区域划分为多个子块。如前文所述，精度指示了经度的划分区间和纬度的划分区间。

根据本申请，按照精度所划分的子块，可以看成是空间区域中依序排列的网格（或称为，空间单元），并且可以是二维网格或三维网格。

在一些实施例中，按照经度和纬度的划分区间，将所确定的空间区域划分为多个二维网格，将二维网格作为子块。假设经度和纬度的划分区间均为4度，则将空间区域在经度和纬度方向上，均每隔4度划分一个网格，最终得到多个正方形网格。需要说明的是，经度的划分区间与纬度的划分区间可以一致，也可以不一致，本申请实施例对此不做限制。

在又一些实施例中，基于经度和纬度的划分区间确定高度划分区间，并按照经度、纬度和高度的划分区间，将所确定的空间区域划分为多个三维网格，将三维网格作为子块。换言之，针对三维的子块，其高度需要和经纬度的大小相匹配。根据本申请，可以通过如下几种方式来确定高度划分区间：将高度划分区间与经度和/或纬度的划分区间保持一致，或，将经度和纬度的划分区间的平均值，作为高度划分区间。当然，也可以取一个固定的高度值，作为高度划分区间。该固定的高度值可以根据应用场景来确定，本申请实施例对此不做限制。

根据本申请所提出的层级和精度，可以将预设空间块的地理范围限定在某个规定的区域内，并根据精度来划分子块，保障数据的安全性和保密性。在320中，将待计算的非矢量数据映射到预设空间块，以对应生成多个块数据。

根据本申请，在将待计算的非矢量数据映射到预设空间块之前，还需要对待计算的非矢量数据进行预处理，以确保待计算数据的质量和准确性。

根据本申请的一些实施例，预处理至少包括：数据清洗、数据转换、特征提取中的至少一个。其中，数据清洗例如包括：去除数据中的噪声、畸变、干扰、异常值和缺失值等，以确保数据的质量。数据转换包括：对数据进行必要的转换，如空间坐标统一、数据归一化、标准化或格式变换等，以便更好地适应后续的处理和计算。特征提取是根据应用场景从非矢量数据中提取有用的特征，以便后续的数据映射和计算。特征提取可以根据应用场景以及数据的情况使用如下各种技术，如主成分分析、小波变换或局部特征描述等，不限于此。

以下以待计算的非矢量数据为卫星遥感影像数据为例，说明预处理过程。

（1）原始数据：卫星遥感影像数据，其相关描述如下：

影像格式：GeoTIFF，

分辨率：0.5米/像素，

数据范围：某个城市的地理范围，

包含的波段：红色、绿色、蓝色、近红外等。

（2）对原始数据的预处理包括：

格式转换：将原始GeoTIFF格式转换为栅格数据格式（如ASCII、BIL等）或矢量数据格式（如Shapefile）。

校正：进行几何校正和辐射校正，以消除影像中的畸变和大气干扰，并将原始数字值（即，DN值（Digital Number））转换为反射率或辐射值。

去除阴影：利用阴影模型和图像处理算法，去除影像中由地形和太阳照射引起的阴影效果。

去噪：应用滤波和去噪算法，去除传感器和信号采集过程引入的噪声，提高影像的质量和清晰度。

此外，预处理还包括：对异常值进行处理，使之符合正常情况下的取值范围和取值精度。对缺失值在给定的精度范围和取值范围内进行插值，使之符合数据的密度分布和取值分布。

这样，预处理后的数据就具备以下特点：

经格式转换后的数据，能够适用于不同的GIS软件和工具，以进行后续分析和处理；

经校正后的数据：具有准确的地理定位信息，消除了畸变和大气干扰，可用于定量分析和精确测量；

经去除阴影后的数据：消除了阴影效果，使影像更加真实、可视化和易于解译；

经去除噪声后的数据：去除了噪声的干扰，提高了影像的质量和清晰度，减少了误差和伪影的影响。

同时，处理了异常值和缺失值，使数据点在给定的范围内均匀分布。

需要注意的是，具体的预处理方法和数据特点将根据实际应用需求和数据特性而有所不同。上述示例仅提供了一般的情况，实际操作中可能需要针对具体数据类型和应用场景进行适当调整和优化，以达到提高数据质量和准确性的目的。

应当了解，待计算的非矢量数据中包含了多个数据点，在将这些数据点映射到预设空间块时，针对各数据点，确定其位置信息所属的子块。具体而言，根据数据点的位置信息（例如，位置信息包括：经度、纬度，或，经度、纬度、高度），确定其所属的划分区间（如，对应的经度划分区间、纬度划分区间、高度划分区间），确定出划分区间所对应的子块，即，确定了数据点所属的子块。之后，将该数据点映射到该子块中。根据本申请的一些实施例，数据点的位置信息可以指数据点所处的地理范围。例如，针对交通流量数据，其位置信息为数据所指示道路的地理位置；针对遥感影像数据，其位置信息为数据所对应的地面的地理位置。

在映射过程中，如果数据点涉及不同的精度，则对不同精度的数据点进行精度的归一。例如当前预设空间块的精度是以度为单位，则对所有数据点的经度/纬度/高度均按度进行归一，从而将其映射到不同的“度”精度范围内的子块中。

当遍历完所有的数据点后，利用各子块中所映射到的数据点，对应生成各块数据。在一些实施例中，每个子块是一个数组，里面包含了一组数据点，且这些数据点具有相同的位置区间（即，这些数据点的经度/纬度/高度在同一个划分区间内）。将这样按照空间位置所形成的包含数据的子块，作为块数据，且这样的块数据具有空间特征。在本实施例中，这些数据可以是影像片段，当然也可以是代表某种含义的数据值。

需要说明的是，如果数据点的位置信息仅包括经纬度，那么对应的预设空间块可以仅包含二维子块，即在经纬二维上对待计算的数据进行映射。如果数据点的位置信息包括经度、纬度和高度，则对应的预设空间块包含三维子块，即在经纬高三维上对待计算的数据进行映射。

应当了解，也可根据数据的特征形成具有其他分布特征的块数据。本申请旨在提供一种通过数据特征生成具有一定分布特征的块数据的方式，以应用在高性能计算环境中，便于根据块数据进行计算节点的调度。

在330中，基于块数据的空间特征，将多个块数据分配到各计算节点，以便各计算节点并行地对块数据进行计算。

根据本申请的一些实施例，先确定各计算节点的位置属性，具体而言，按照各计算节点的部署位置，确定其位置属性。在根据本申请的一些实施例中，该位置属性可以是物理位置，也可以是逻辑上划分的位置。之后，结合各块数据的空间特征和各计算节点的位置属性，将各块数据分配到对应的计算节点。

在本实施例中，由于这些块数据是按照地理空间位置划分的，则每个块数据代表了一个实际地理区域范围内的数据。此时，将所有的计算节点按照节点的空间部署位置进行分区，并与块数据进行对应匹配。具体而言，如果这些计算节点是按照空间位置来部署的，例如A地址节点、B地址节点，C地址节点，则将块数据的空间位置与计算节点的空间位置对应分配，即将属于A地址的块数据分配到A地址节点，将属于B地址的块数据分配到B地址节点，……。如果这些计算节点在物理上处于同一个位置，则将这些计算节点在逻辑上划分为若干个地理空间，假设有3个计算节点均属于A地址，将这3个计算节点从逻辑上划分为3个部署位置：A1地址、A2地址、A3地址，之后按照这3个位置，将块数据对应分配到这3个计算节点。

在本实施例中，在每个计算节点上，对分配到的块数据处理和计算，计算任务例如包括空间分析、特征提取、地理模拟等。在这些计算节点上，可以采用例如K-means聚类、支持向量机、深度学习网络等方式对块数据进行计算。由于这些计算节点是按照其位置属性进行（物理/逻辑）划分的，而块数据也是基于空间特征形成的，所以可以在这些计算节点之间进行并行计算，而不会产生关联关系。

在340中，对各计算节点计算的结果进行处理，得到最终计算结果。

根据本申请的实施方式，通过预设方式将各计算节点计算的结果进行集成，得到最终计算结果，其中所述预设方式至少包括：求和、求平均值、加权中的一种。

在遥感影像数据的示例中，每个计算节点处理某个地理区域的块数据，且每个块数据的处理都是按照需求对应的算法来计算的，例如求解各个空间的绿化率。那么在集成时，可以通过求和的方式，计算出整个区域的绿化率。

综上，根据本申请的数据处理方案，基于空间区域位置和精度，构建预设空间块，之后，将待计算的数据映射到预设空间块的各子块中，以形成具有空间特征的块数据。之后，基于块数据的空间特征，将待计算的数据分配到各计算节点上进行处理，能够有效提高数据处理和计算的效率。同时，本方案利用数据的空间特征，从数据资源的维度来调度计算节点，能够降低计算资源分配的复杂度。

此外，将该方案应用于大规模数据处理时，可根据需要增加计算节点来处理更多的数据，具有良好的可扩展性。

此外，通过对待计算的非矢量数据进行预处理和特征提取，可以提高数据处理和计算的准确性，获得更可靠的结果。

此外，本方案适用于各种领域的数据处理和计算，包括但不限于图像处理、地理信息系统、智能交通系统等。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本申请的方法和设备，或者本申请的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本申请的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本申请的非矢量数据的处理方法。

以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。

在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本申请的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的优选实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个申请方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该申请的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该公开的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。此外，数量词“多个”表示“两个”和/或“两个以上”。

尽管根据有限数量的实施例描述了本申请，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本申请的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本申请的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本申请的范围，对本申请所做的公开是说明性的，而非限制性的，本申请的范围由所附权利要求书限定。

Claims (9)

1.一种非矢量数据的处理方法，包括：

根据层级和精度，构建预设空间块，所述预设空间块包括多个子块，其中所述层级指示所述预设空间块包含的空间区域，所述精度指示子块的划分区间；

将待计算的非矢量数据映射到所述预设空间块，以对应生成多个块数据，所述块数据具有空间特征；

基于块数据的空间特征，将所述多个块数据分配到各计算节点，以便各计算节点并行地对块数据进行计算，包括：确定各计算节点的位置属性，包括按照各计算节点的部署位置，确定其位置属性，其中所述位置属性包括物理位置、逻辑上划分的位置；结合各块数据的空间特征和各计算节点的位置属性，将各块数据分配到对应的计算节点，包括：若各计算节点按照空间位置来部署，则将块数据的空间位置与各计算节点的空间位置对应分配；若各计算节点在物理上处于同一个位置，则将各计算节点在逻辑上划分为多个地理位置，并按照逻辑上划分的地理位置，将块数据对应分配到各计算节点；以及

对各计算节点计算的结果进行处理，得到最终计算结果。

2.如权利要求1所述的方法，其中，所述根据层级和精度，构建预设空间块，包括：

根据所述层级，确定所述预设空间块的空间区域；

按照所述精度，将所述空间区域划分为多个子块，其中所述精度指示经度的划分区间和纬度的划分区间。

3.如权利要求2所述的方法，其中，所述按照所述精度，将所述空间区域划分为多个子块，包括：

按照经度和纬度的划分区间，将所确定的空间区域划分为多个二维网格，作为所述子块；或

基于所述经度和纬度的划分区间确定高度划分区间，并按照经度、纬度和高度的划分区间，将所确定的空间区域划分为多个三维网格，作为所述子块，其中，基于所述经度和纬度的划分区间确定高度划分区间，包括：将所述高度划分区间与所述经度和/或纬度的划分区间保持一致，或，将经度和纬度的划分区间的平均值，作为高度划分区间。

4.如权利要求1所述的方法，其中，所述将待计算的非矢量数据映射到所述预设空间块，以对应生成多个块数据，包括：

针对所述非矢量数据中各数据点，确定其位置信息所属的子块，并将该数据点映射到该子块；

利用各子块中所映射的数据点，对应生成各块数据，

其中，所述位置信息包括：经度、纬度，或，经度、纬度、高度。

5.如权利要求1所述的方法，其中，所述对各计算节点计算的结果进行处理，得到最终计算结果，包括：

通过预设方式将各计算节点计算的结果进行集成，得到最终计算结果，其中所述预设方式至少包括：求和、求平均值、加权。

6.如权利要求1所述的方法，其中，所述将待计算的非矢量数据映射到所述预设空间块，以对应生成多个块数据，还包括：

对待计算的非矢量数据进行预处理，所述预处理至少包括：数据清洗、数据转换、特征提取中的至少一个。

7.一种非矢量数据的处理装置，所述装置与多个计算节点耦接，包括：

空间块构建单元，适于根据层级和精度，构建预设空间块，所述预设空间块包括多个子块，其中所述层级指示所述预设空间块包含的空间区域，所述精度指示子块的划分区间；

块数据生成单元，适于将待计算的非矢量数据映射到所述预设空间块，以对应生成多个块数据，所述块数据具有空间特征；

调度单元，适于基于块数据的空间特征，将所述多个块数据分配到各计算节点，以便各计算节点并行地对块数据进行计算，包括：确定各计算节点的位置属性，包括按照各计算节点的部署位置，确定其位置属性，其中所述位置属性包括物理位置、逻辑上划分的位置；结合各块数据的空间特征和各计算节点的位置属性，将各块数据分配到对应的计算节点，包括：若各计算节点按照空间位置来部署，则将块数据的空间位置与各计算节点的空间位置对应分配；若各计算节点在物理上处于同一个位置，则将各计算节点在逻辑上划分为多个地理位置，并按照逻辑上划分的地理位置，将块数据对应分配到各计算节点；

集成单元，适于对各计算节点计算的结果进行处理，得到最终计算结果。

8.一种计算设备，包括：

一个或多个处理器；

存储器；

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1-6中任一项所述方法的指令。

9.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在被计算设备执行时，使得所述计算设备执行如权利要求1-6中任一项所述的方法。