CN112614207B - 等值线绘制方法、装置和设备 - Google Patents
等值线绘制方法、装置和设备 Download PDFInfo
- Publication number
- CN112614207B CN112614207B CN202011491532.1A CN202011491532A CN112614207B CN 112614207 B CN112614207 B CN 112614207B CN 202011491532 A CN202011491532 A CN 202011491532A CN 112614207 B CN112614207 B CN 112614207B
- Authority
- CN
- China
- Prior art keywords
- information
- value
- target area
- contour
- task execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 11
- 238000009499 grossing Methods 0.000 claims description 9
- 230000008719 thickening Effects 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 28
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 239000012634 fragment Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- IYLGZMTXKJYONK-ACLXAEORSA-N (12s,15r)-15-hydroxy-11,16-dioxo-15,20-dihydrosenecionan-12-yl acetate Chemical group O1C(=O)[C@](CC)(O)C[C@@H](C)[C@](C)(OC(C)=O)C(=O)OCC2=CCN3[C@H]2[C@H]1CC3 IYLGZMTXKJYONK-ACLXAEORSA-N 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- IYLGZMTXKJYONK-UHFFFAOYSA-N ruwenine Natural products O1C(=O)C(CC)(O)CC(C)C(C)(OC(C)=O)C(=O)OCC2=CCN3C2C1CC3 IYLGZMTXKJYONK-UHFFFAOYSA-N 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Image Generation (AREA)
Abstract
本申请提供一种等值线绘制方法、装置和设备，该方法包括：获取目标区域中目标要素的多个取值信息；按照预设的地图任务数，为每个所述取值信息分配任务执行资源；每个所述任务执行资源按照预设的所述目标区域的广播变量，并行计算被配置的所述取值信息对应的等值线；将全部所述任务执行资源计算得到的多个等值线在所述目标区域中进行拼接，输出拼接后的多值等值线信息。本申请实现了利用集群服务器多机多核的分布式处理能力，进行等值线并行绘制，提升处理速度，从而提高数据处理的效率，继而满足气象保障服务实时性。
Description
技术领域
本申请涉及数据处理技术领域，具体而言，涉及一种等值线绘制方法、装置和设备。
背景技术
气象等值线，是气象要素值相同的连线。通常有等温线、等压线、等高线、等变压线、等风速线、等涡度线、等雨量线等。等值线绘制方法中最常用的是基于规则矩形网格的绘制方法，该方法主要包括的气象要素为地面/海平面气压、3小时变压、高空位势高度、温度等，底层针对的资料主要为地面高空实况天气的栅格化产品以及数值预报产品。此方法是气象服务保障的重要技术手段。
目前全球气象观测站点数据通过国内和全球通信系统每日多个观测时次实时共享，同时随着自动观测技术的飞速发展，观测站点数据空间分布日趋密集，插值到规则网格后，其分辨率越来越高。全球高分辨率数值预报模式数据（如温度、气压、涡度等要素）规则矩形网格等值线提取，面临的问题主要是高精细度规则网格等值线跟踪性能问题。目前的气象数据等值线跟踪多采用串行插值和跟踪算法，难以满足气象服务保障实时性的要求。部分多线程并行算法也多局限于单机计算资源的有限能力，难以保证等值线跟踪的时效性。
发明内容
本申请实施例的目的在于提供一种等值线绘制方法、装置和设备，能够利用集群服务器多机多核的分布式处理能力，进行等值线并行绘制，提升处理速度，从而提高数据处理的效率，继而满足气象保障服务实时性。
本申请实施例第一方面提供了一种等值线绘制方法，包括：获取目标区域中目标要素的多个取值信息；按照预设的地图任务数，为每个所述取值信息分配任务执行资源；每个所述任务执行资源按照预设的所述目标区域的广播变量，并行计算被配置的所述取值信息对应的等值线；将全部所述任务执行资源计算得到的多个等值线在所述目标区域中进行拼接，输出拼接后的多值等值线信息；
所述按照预设的地图任务数，为每个所述取值信息分配任务执行资源，包括：
获取所述多个取值信息的取值个数，在预设对照表中查询所述取值个数标识的所述地图任务数；
将预设的多核执行资源，配置为与所述地图任务数相同数量的所述任务执行资源，为每个所述取值信息分配一个所述任务执行资源；
所述每个所述任务执行资源按照预设的所述目标区域的广播变量，并行计算被配置的所述取值信息对应的等值线，包括：
对于每个所述任务执行资源，根据被配置的所述目标要素的所述取值信息和所述广播变量，计算所述取值信息在所述目标区域内的等值标绘信息；
对所述标绘信息进行平滑处理，并对平滑后的所述标绘信息进行加粗及中心标注值计算处理，生成等值标绘线，拼接所述等值标绘线，生成所述取值信息在所述目标区域内的等值字符串；
所述将全部所述任务执行资源计算得到的多个等值线在所述目标区域中进行拼接，输出拼接后的多值等值线信息，包括：
调用预设的汇聚函数，基于所述汇聚函数对并行计算得到的多个所述等值字符串进行汇聚操作，生成汇聚后的多值等值字符串；
在所述目标区域的地图信息中对所述多值等值字符串进行拼接处理，生成所述目标要素在所述目标区域中的所述多值等值线信息，输出所述多值等值线信息。
于一实施例中，在所述每个所述任务执行资源按照预设的所述目标区域的广播变量，并行计算被配置的所述取值信息对应的等值线之前，还包括：基于历史数据库，提取所述目标区域的所述广播变量，存储所述广播变量；所述广播变量包括：等值线边界信息、X坐标数组、Y坐标数组、规则格点数据、规则网格数据有效性标识、水平边界及垂直边界中的一种或多种。
本申请实施例第二方面提供了一种等值线绘制装置，包括： 获取模块，用于获取目标区域中目标要素的多个取值信息；分配模块，用于按照预设的地图任务数，为每个所述取值信息分配任务执行资源；并行模块，用于每个所述任务执行资源按照预设的所述目标区域的广播变量，并行计算被配置的所述取值信息对应的等值线；拼接模块，用于将全部所述任务执行资源计算得到的多个等值线在所述目标区域中进行拼接，输出拼接后的多值等值线信息；
所述分配模块用于：
获取所述多个取值信息的取值个数，在预设对照表中查询所述取值个数标识的所述地图任务数；
将预设的多核执行资源，配置为与所述地图任务数相同数量的所述任务执行资源，为每个所述取值信息分配一个所述任务执行资源；
所述并行模块用于：
对于每个所述任务执行资源，根据被配置的所述目标要素的所述取值信息和所述广播变量，计算所述取值信息在所述目标区域内的等值标绘信息；
对所述标绘信息进行平滑处理，并对平滑后的所述标绘信息进行加粗及中心标注值计算处理，生成等值标绘线，拼接所述等值标绘线，生成所述取值信息在所述目标区域内的等值字符串 ；
所述拼接模块用于：
调用预设的汇聚函数，基于所述汇聚函数对并行计算得到的多个所述等值字符串进行汇聚操作，生成汇聚后的多值等值字符串；
在所述目标区域的地图信息中对所述多值等值字符串进行拼接处理，生成所述目标要素在所述目标区域中的所述多值等值线信息，输出所述多值等值线信息。
于一实施例中，还包括：提取模块，用于在所述每个所述任务执行资源按照预设的所述目标区域的广播变量，并行计算被配置的所述取值信息对应的等值线之前，基于历史数据库，提取所述目标区域的所述广播变量，存储所述广播变量；所述广播变量包括：等值线边界信息、X坐标数组、Y坐标数组、规则格点数据、规则网格数据有效性标识、水平边界及垂直边界中的一种或多种。
本申请实施例第三方面提供了一种电子设备，包括：存储器，用以存储计算机程序；处理器，用以执行本申请实施例第一方面及其任一实施例的方法，以绘制目标要素在目标区域内的等值线。
本申请提供的等值线绘制方法、装置和设备，通过获取目标要素在目标区域中的多个取值信息，藉由计算集群设备的分布式处理能力，重构分布式等值线绘制算法，对多个不同的取值信息进行分布式等值线跟踪计算，获取多个取值信息对应的处理后的等值线，并将所述处理后的等值线拼接绘制于显示区域，如此，能够利用集群服务器多机多核的分布式处理能力进行等值线并行绘制，提升处理速度，从而提高数据处理的效率，继而满足气象保障服务实时性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例的电子设备的结构示意图；
图2为本申请一实施例的等值线绘制方法的流程示意图；
图3为本申请一实施例的等值线绘制方法的流程示意图；
图4为本申请一实施例的等值线绘制装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
如图1所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图1中以一个处理器为例。处理器11和存储器12通过总线10连接。存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程，以绘制目标要素在目标区域内的等值线。
于一实施例中，电子设备1可以是手机、平板电脑、笔记本电脑、台式计算机等设备组成的分布式计算机集群。
请参看图2，其为本申请一实施例的等值线绘制方法，该方法可由图1所示的电子设备1来执行，并可以应用于气象等值线的绘制场景中，绘制目标要素在目标区域内的气象等值线。该方法包括如下步骤：
步骤201：获取目标区域中目标要素的多个取值信息。
在本步骤中，目标区域可以是指定的一个地理区域，比如北半球某个海洋区域或陆地区域。目标要素可以是该地理区域内的气象要素，比如地面/海平面气压、3小时变压、高空位势高度、温度等。在同一个时间点，同一个气象要素在同一个地理区域内的不同地点取值是不同的，比如在北半球的陆地区域中，不同地点的温度取值不一定相同，因此要绘制北半球陆地区域的气象等值线，首先获取气象要素在北半球陆地区域内多个取值信息。
步骤202：按照预设的地图任务数，为每个取值信息分配任务执行资源。
在本步骤中，为了提高等值线绘制的效率，可以采用服务器集群的分布式多任务并行计算功能实现多任务并行执行，比如采用分布式SPARK（基于MapReduce算法实现的分布式计算）集群计算模型，针对多个不同的待处理等值线构建并行分布式的等值线跟踪计算任务，首先按照预设的地图任务数，为每个取值信息分配任务执行资源。比如根据多个取值信息进行分布式计算任务分割，根据历史经验映射表取值，设置分布式SPARK计算任务数。
步骤203：每个任务执行资源按照预设的目标区域的广播变量，并行计算被配置的取值信息对应的等值线。
在本步骤中，广播变量是目标区域中某些特定的变量，针对同一个目标区域，广播变量可以通用，因此，通过预先设置广播变量可以大大降低数据处理量。每个任务执行资源按照预设的目标区域的广播变量，并行计算被配置的取值信息对应的等值线，多个任务并行执行，同一时间可以计算多个取值信息对应的等值线，大大提高数据处理效率。
步骤204：将全部任务执行资源计算得到的多个等值线在目标区域中进行拼接，输出拼接后的多值等值线信息。
在本步骤中，可以通过定义SPARK任务汇聚逻辑，拼接多任务处理结果，形成最终的多值等值线信息。比如对单等值线绘制的分布式计算任务结果进行汇集操作，最后拼接形成服务前端调用所需的完整规则网格等值线 Geojson数据，返回给调用者。
上述等值线绘制方法，通过获取目标要素在目标区域中的多个取值信息，藉由计算集群设备的分布式处理能力，重构分布式等值线绘制算法，对多个不同的取值信息进行分布式等值线跟踪计算，获取多个取值信息对应的处理后的等值线，并将处理后的等值线拼接绘制于显示区域，如此，能够利用集群服务器多机多核的分布式处理能力进行等值线并行绘制，提升处理速度，从而提高数据处理的效率，继而满足气象保障服务实时性。
请参看图3，其为本申请一实施例的等值线绘制方法，该方法可由图1所示的电子设备1来执行，并可以应用于气象等值线的绘制场景中，绘制目标要素在目标区域内的气象等值线。该方法包括如下步骤：
步骤301：获取目标区域中目标要素的多个取值信息。详细参见上述实施例中对步骤201的描述。
步骤302：获取多个取值信息的取值个数，在预设对照表中查询取值个数标识的地图任务数。
在本步骤中，预设对照表中记录了取值个数与地图任务数的对应关系，该对应关系表示最优的计算效率，预设对照表可以是基于历史数据统计得到。在根据多个取值信息进行分布式计算任务分割时，首先获得取值个数，然后在预设对照表中查询取值个数标识的地图任务数。例如，气象元素多个取值信息的取值个数为10个，读个取值信息分别为：950，960，970，980，990，1000，1010，1020，1030，1040，则地图任务数可根据预设对照表查询得到，比如查询得到对应的地图任务数为10，即每个分布式任务处理其中一个取值的所有等值线的绘制工作。
步骤303：将预设的多核执行资源，配置为与地图任务数相同数量的任务执行资源，为每个取值信息分配一个任务执行资源。
在本步骤中，预设的多核执行资源可以是电子设备1本身能够实现的软硬件配置性能能源。可以通过定义分布式SPARK任务初始化环境实现分布式计算任务的分配。定义内容主要包括序列化器设置、SPARK应用名称，执行任务数，执行核数以及SPARK执行模式，本地执行为LOCAL模式，分布式为YARN模式。可以藉由SPARK parallelize（分割维度，分割任务数）参数赋值，实现针对不同的取值进行分布式任务分配。比如针对步骤302中的10个地图任务数，定义SPARK分布式处理任务分割的parallelize算子，sc.parallelize(contour_arr,10)，其中sc为SPARK环境上下文，contour_arr为等值线取值数组，10为地图任务数，即每个任务执行资源处理其中一个取值的所有等值线的绘制工作。
步骤304：基于历史数据库，提取目标区域的广播变量，存储广播变量。广播变量包括：等值线边界信息、X坐标数组、Y坐标数组、规则格点数据、规则网格数据有效性标识、水平边界及垂直边界中的一种或多种。
在本步骤中，为提高SPARK计算任务性能，减少数据输入输出量，减少内存溢出可能性，可以针对一个目标区域，基于历史数据库定义 spark计算任务通用的广播变量，广播变量主要包括：等值线边界信息、X坐标数组、Y坐标数组、规则格点数据、规则网格数据有效性标识水平边界及垂直边界中的一种或多种。在实际场景中，如果每次绘制等值线的目标区域不变，则很多参数只需要传递一次，作为全局RDD（Resilient Distributed Dataset，简称“RDD”，弹性分布式数据集，是 SPARK 中的核心概念。）对象，后续实时计算时，无需再生成此参数。
于一实施例中，可以在历史数据库中通过摘取串行绘制算法中FOR循环（计算机编程语言中的FOR循环结构）部分内部的处理逻辑数据，从中抽取出SPARK任务间共享的广播变量Broadcast。具体地，通过对现有的串行等值线绘制算法进行分析，摘取串行绘制算法中FOR循环部分内部的处理逻辑，将多个FOR的处理逻辑进行组合，比如主要将计算的FOR循环、平滑的FOR循环、加粗及中心点标绘FOR循环、以及最终的Geojson字符串拼接FOR循环逻辑进行组合，然后参数化抽取形成SPARK的分布式MAP（地图）任务间共享的广播变量Broadcast，据此编写SPARK任务处理MAP过程，定义单条等值线绘制的返回体。
于一实施例中，步骤304与步骤301至步骤303的执行顺序不做限制。
步骤305：对于每个任务执行资源，根据被配置的目标要素的取值信息和广播变量，计算取值信息在目标区域内的等值标绘信息。
在本步骤中，基于步骤303中的配置信息和步骤304中广播变量，定义SPARK 分布式MAP计算任务，首先根据分布式MAP任务的取值信息，计算取值信息在目标区域内的等值标绘信息。
于一实施例中，针对每个任务执行资源，具体等值标绘信息的计算过程如下：
1.计算数据边缘网格单元等值标绘信息的穿越单元。比如在绘制等值标绘信息Z时，先搜寻数据边缘网格单元上等值标绘信息Z的穿越情况，并对具体交点按照线性插值进行计算，并记录。
2.计算数据内部网格单元等值标绘信息穿越单元。对内部网格单元一次进行遍历搜索，计算各单元上等值标绘信息Z的穿越情况，并进行交点计算并记录。
3.对起始于边缘计算等值标绘信息进行追踪，确定等值标绘信息的起点后，沿等值标绘信息的走向一个个地找出等值标绘信息与各网格单元边的交点并计算出交点坐标。假设一网格边两端点为A、B，其气象要素在目标区域内的取值分别为f(A)、f(B)，若f(A)<Z<f(B)，则交点坐标为：
XZ=XA+(Z-f(A))(XB-XA)/(f(B)-f(A))（公式1）
其中，X为交点坐标的矢量化符号，可分解为直角坐标系中的x、y两个方向，x方向的分解值表示横向经度取值，y方向的分解值表示纵向纬度取值。
4.对内部封闭等值标绘信息进行追踪，确定等值标绘信息的内部起始单元后，沿等值标绘信息的走向一个个地找出等值标绘信息与各网格点的交点，并计算出交点坐标，具体交点坐标计算同公式1。
步骤306：对标绘信息进行平滑处理，并对平滑后的标绘信息进行加粗及中心标注值计算处理，生成等值标绘线，拼接等值标绘线，生成取值信息在目标区域内的等值字符串。
在本步骤中，对步骤305中得到的每个等值标绘信息进一步处理，具体过程可以如下：
a)根据计算得到的等值标绘信息进行等值线标绘值平滑。
b)平滑后进行加粗及中心标注值计算处理。
c)上述过程处理完，拼接形成每个取值信息对应的等值标绘线，并生成等值标绘线对应的等值字符串Geojson。
d)启动SPARK分布式计算任务进行分布式并行单值等值线制作。
步骤307：调用预设的汇聚函数，基于汇聚函数对并行计算得到的多个等值字符串进行汇聚操作，生成汇聚后的多值等值字符串。
在本步骤中，对单个取值信息的等值字符串进行汇集操作，最后拼接形成服务前端调用所需的完整规则网格的多值等值字符串，返回给调用者。比如，针对每个分布式计算任务结果，通过调用SPARK的汇聚函数collect进行汇集操作，示例如下：
List<String[]>contourLineList_1 = rdd_result.collect()
其中，rdd_result为SPARK map过程返回体，collect的结果是将单个取值信息对应的多条等值标绘线拼接形成的Geojson字符串数组进行了汇聚后，形成的多值等值字符串返回结果数组。
步骤308：在目标区域的地图信息中对多值等值字符串进行拼接处理，生成目标要素在目标区域中的多值等值线信息，输出多值等值线信息。
在本步骤中，最后将多值等值字符串在目标区域的地图信息中进行拼接，形成符合服务前端调用规范的完整规则网格多值等值线信息 Geojson数据，显示在目标区域的地图信息中。
于一实施例中，以实际场景中案例进行比对说明，如表1所示，展示了串行与分布式重构计算性能的比对测试结果：
表1 不同数据的并行/串行计算性能测试对比
注：其中三种数据集的气象要素取值均为：950，960，970，980，990，1000，1010，1020，1030，1040。
GTS（Global Telecommunications System，全球电信系统）。
处理时效分析：
其中，预设的多核执行资源：测试服务器（电子设备1）性能为CPU为Intel(R) Xeon(R) Gold 5115 CPU @ 2.40GHz，双路10核，内存为256G。网络为万兆光纤网。分布式SPARK计算集群为4台，其中master节点一台（master节点是kubernetes架构中的节点，kubernetes架构是一个开源的，用于管理云平台中多个主机上的容器化的应用），计算worker节点（工作节点）4台，其中一个工作节点复用master节点。
其中SPARK环境初始化耗时：1.235s ，此部分作为绘制服务，会在服务启动初始化时进行一次，后续不再进行。可以不计入绘制时间。
分布式MAP计算时间：0. 229s（SPARK map 是transformation算子，延迟加载计算过程，仅记住这些应用到基础数据集上的转换动作。只有当发生一个要求返回结果给Driver的动作时，这些转换才会真正运行。以使SPARK更加有效率地运行 ）。
结果汇聚collect 时间：真实返回结果过程，加载任务，进行分布式并行计算，以最后一个任务执行完毕，平均耗时2.125s
汇聚结果拼接Geojson字符串时间：0.118S
通过上述不同分辨率栅格数据的等值绘制过程来看，通过调整SPARK数据分片数（代码示例：JavaRDD<Float>rdd = sc.parallelize(contour_arr,splitNUm), contour_arr标识等值线取值数组，splitNUm表示分片任务数），意即分布式计算并行度，可以根据经验值给出不同分辨率分片数的映射对照表，然后根据输入源的不同，在MAP过程赋予不同的任务数，从而基本可以保持无论格点分辨率多少，都基本可以保持1-2秒的处理时效，可以做到前后端交互实时响应。
上述等值线绘制方法，利用分布式计算SPARK集群基于分布式弹性数据集RDD的分布式计算架构，重构了传统的规则网格等值线计算的算法，将涉及等值线计算，等值线平滑，等值线加粗及中心点标记，等值线Geojson字符串生成等操作，按照等值线取值的不同，进行了分布式计算任务的划分吧，并最终通过SPARK分布式汇聚计算模型，将所有结果数据进行汇聚，返回给调用端。针对大规模、高精度、规则网格的复杂耗时的等值线计算提出了一种直观易于扩展的方法，具有典型示范意义。对于规则网格气象标绘计算具有分布式重构理论参考价值。经测试，该方法的性能相比于传统串行算法具有明显的性能优势。
请参看图4，其为本申请一实施例的等值线绘制装置，该装置应用于图1所示的电子设备1，并可以应用于气象等值线的绘制场景中，绘制目标要素在目标区域内的气象等值线。该装置包括：获取模块、分配模块、并行模块和拼接模块，各个模块的原理关系如下：
获取模块，用于获取目标区域中目标要素的多个取值信息。详细参见上述实施例中对步骤201的描述。
分配模块，用于按照预设的地图任务数，为每个取值信息分配任务执行资源。详细参见上述实施例中对步骤202的描述。
并行模块，用于每个任务执行资源按照预设的目标区域的广播变量，并行计算被配置的取值信息对应的等值线。详细参见上述实施例中对步骤203的描述。
拼接模块，用于将全部任务执行资源计算得到的多个等值线在目标区域中进行拼接，输出拼接后的多值等值线信息。详细参见上述实施例中对步骤204的描述。
于一实施例中，分配模块用于：获取多个取值信息的取值个数，在预设对照表中查询取值个数标识的地图任务数。将预设的多核执行资源，配置为与地图任务数相同数量的任务执行资源，为每个取值信息分配一个任务执行资源。详细参见上述实施例中对步骤302至步骤303的描述。
于一实施例中，还包括：提取模块，用于在每个任务执行资源按照预设的目标区域的广播变量，并行计算被配置的取值信息对应的等值线之前，基于历史数据库，提取目标区域的广播变量，存储广播变量。广播变量包括：等值线边界信息、X坐标数组、Y坐标数组、规则格点数据、规则网格数据有效性标识、水平边界及垂直边界中的一种或多种。详细参见上述实施例中对步骤304的描述。
于一实施例中，并行模块用于：对于每个任务执行资源，根据被配置的目标要素的取值信息和广播变量，计算取值信息在目标区域内的等值标绘信息。对标绘信息进行平滑处理，并对平滑后的标绘信息进行加粗及中心标注值计算处理，生成等值标绘线，拼接等值标绘线，生成取值信息在目标区域内的等值字符串 。详细参见上述实施例中对步骤305至步骤306的描述。
于一实施例中，拼接模块用于：调用预设的汇聚函数，基于汇聚函数对并行计算得到的多个等值字符串进行汇聚操作，生成汇聚后的多值等值字符串。在目标区域的地图信息中对多值等值字符串进行拼接处理，生成目标要素在目标区域中的多值等值线信息，输出多值等值线信息。详细参见上述实施例中对步骤307至步骤308的描述。
上述等值线绘制装置的详细描述，请参见上述实施例中相关方法步骤的描述。
本发明实施例还提供了一种非暂态电子设备可读存储介质，包括：程序，当其在电子设备上运行时，使得电子设备可执行上述实施例中方法的全部或部分流程。其中，存储介质可为磁盘、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（RandomAccess Memory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-State Drive，SSD)等。存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (5)
1.一种等值线绘制方法，其特征在于，包括：
获取目标区域中目标要素的多个取值信息；
按照预设的地图任务数，为每个所述取值信息分配任务执行资源；
每个所述任务执行资源按照预设的所述目标区域的广播变量，并行计算被配置的所述取值信息对应的等值线；
将全部所述任务执行资源计算得到的多个等值线在所述目标区域中进行拼接，输出拼接后的多值等值线信息；
所述按照预设的地图任务数，为每个所述取值信息分配任务执行资源，包括：
获取所述多个取值信息的取值个数，在预设对照表中查询所述取值个数标识的所述地图任务数；
将预设的多核执行资源，配置为与所述地图任务数相同数量的所述任务执行资源，为每个所述取值信息分配一个所述任务执行资源；
所述每个所述任务执行资源按照预设的所述目标区域的广播变量，并行计算被配置的所述取值信息对应的等值线，包括：
对于每个所述任务执行资源，根据被配置的所述目标要素的所述取值信息和所述广播变量，计算所述取值信息在所述目标区域内的等值标绘信息；
对所述标绘信息进行平滑处理，并对平滑后的所述标绘信息进行加粗及中心标注值计算处理，生成等值标绘线，拼接所述等值标绘线，生成所述取值信息在所述目标区域内的等值字符串；
所述将全部所述任务执行资源计算得到的多个等值线在所述目标区域中进行拼接，输出拼接后的多值等值线信息，包括：
调用预设的汇聚函数，基于所述汇聚函数对并行计算得到的多个所述等值字符串进行汇聚操作，生成汇聚后的多值等值字符串；
在所述目标区域的地图信息中对所述多值等值字符串进行拼接处理，生成所述目标要素在所述目标区域中的所述多值等值线信息，输出所述多值等值线信息。
2.根据权利要求1所述的方法，其特征在于，在所述每个所述任务执行资源按照预设的所述目标区域的广播变量，并行计算被配置的所述取值信息对应的等值线之前，还包括：
基于历史数据库，提取所述目标区域的所述广播变量，存储所述广播变量；所述广播变量包括：等值线边界信息、X坐标数组、Y坐标数组、规则格点数据、规则网格数据有效性标识、水平边界及垂直边界中的一种或多种。
3.一种等值线绘制装置，其特征在于，包括：
获取模块，用于获取目标区域中目标要素的多个取值信息；
分配模块，用于按照预设的地图任务数，为每个所述取值信息分配任务执行资源；
并行模块，用于每个所述任务执行资源按照预设的所述目标区域的广播变量，并行计算被配置的所述取值信息对应的等值线；
拼接模块，用于将全部所述任务执行资源计算得到的多个等值线在所述目标区域中进行拼接，输出拼接后的多值等值线信息；
所述分配模块用于：
获取所述多个取值信息的取值个数，在预设对照表中查询所述取值个数标识的所述地图任务数；
将预设的多核执行资源，配置为与所述地图任务数相同数量的所述任务执行资源，为每个所述取值信息分配一个所述任务执行资源；
所述并行模块用于：
对于每个所述任务执行资源，根据被配置的所述目标要素的所述取值信息和所述广播变量，计算所述取值信息在所述目标区域内的等值标绘信息；
对所述标绘信息进行平滑处理，并对平滑后的所述标绘信息进行加粗及中心标注值计算处理，生成等值标绘线，拼接所述等值标绘线，生成所述取值信息在所述目标区域内的等值字符串；
所述拼接模块用于：
调用预设的汇聚函数，基于所述汇聚函数对并行计算得到的多个所述等值字符串进行汇聚操作，生成汇聚后的多值等值字符串；
在所述目标区域的地图信息中对所述多值等值字符串进行拼接处理，生成所述目标要素在所述目标区域中的所述多值等值线信息，输出所述多值等值线信息。
4.根据权利要求3所述的装置，其特征在于，还包括：
提取模块，用于在所述每个所述任务执行资源按照预设的所述目标区域的广播变量，并行计算被配置的所述取值信息对应的等值线之前，基于历史数据库，提取所述目标区域的所述广播变量，存储所述广播变量；所述广播变量包括：等值线边界信息、X坐标数组、Y坐标数组、规则格点数据、规则网格数据有效性标识、水平边界及垂直边界中的一种或多种。
5.一种电子设备，其特征在于，包括：
存储器，用以存储计算机程序；
处理器，用以执行如权利要求1至2中任一项所述的方法，以绘制目标要素在目标区域内的等值线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011491532.1A CN112614207B (zh) | 2020-12-17 | 2020-12-17 | 等值线绘制方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011491532.1A CN112614207B (zh) | 2020-12-17 | 2020-12-17 | 等值线绘制方法、装置和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112614207A CN112614207A (zh) | 2021-04-06 |
| CN112614207B true CN112614207B (zh) | 2024-03-12 |
Family
ID=75239955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011491532.1A Active CN112614207B (zh) | 2020-12-17 | 2020-12-17 | 等值线绘制方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112614207B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991489B (zh) * | 2021-04-07 | 2021-11-05 | 中科三清科技有限公司 | 一种等压线绘制方法、装置、电子设备及存储介质 |
| CN115272524B (zh) * | 2022-09-23 | 2023-01-03 | 安徽华云安科技有限公司 | 多曲线并行绘制方法、装置、设备以及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104317886A (zh) * | 2014-10-23 | 2015-01-28 | 西北工业大学 | 断层约束下网格节点插值时近邻条件数据点的搜索选取方法 |
| CN105426605A (zh) * | 2015-11-12 | 2016-03-23 | 中国民航大学 | 多屏三维航迹及噪声等值线实时显示方法 |
| CN107609702A (zh) * | 2017-09-15 | 2018-01-19 | 郑州云海信息技术有限公司 | 一种气象数据处理方法及装置 |
| CN108647261A (zh) * | 2018-04-27 | 2018-10-12 | 中国人民解放军91977部队 | 基于气象数据离散点网格化处理的全球等值线绘制方法 |
| CN110675470A (zh) * | 2019-10-11 | 2020-01-10 | 北京航天宏图信息技术股份有限公司 | 等值线绘制方法、装置、计算设备及可读取存储介质 |
| CN111986324A (zh) * | 2020-08-20 | 2020-11-24 | 湖南胜昊软件科技有限公司 | 基于气象要素的等值面构建方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006048182A1 (de) * | 2006-10-10 | 2008-04-17 | Navigon Ag | Navigationseinrichtung sowie Verfahren zur Darstellung einer Straßenkarte mit Isolinien |
| KR20120043072A (ko) * | 2009-08-06 | 2012-05-03 | 어플라이드 머티어리얼스, 인코포레이티드 | 횡방향 등치선 스크라이브, 스티칭, 및 간략화된 레이저 및 스캐너 제어들 |
-
2020
- 2020-12-17 CN CN202011491532.1A patent/CN112614207B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104317886A (zh) * | 2014-10-23 | 2015-01-28 | 西北工业大学 | 断层约束下网格节点插值时近邻条件数据点的搜索选取方法 |
| CN105426605A (zh) * | 2015-11-12 | 2016-03-23 | 中国民航大学 | 多屏三维航迹及噪声等值线实时显示方法 |
| CN107609702A (zh) * | 2017-09-15 | 2018-01-19 | 郑州云海信息技术有限公司 | 一种气象数据处理方法及装置 |
| CN108647261A (zh) * | 2018-04-27 | 2018-10-12 | 中国人民解放军91977部队 | 基于气象数据离散点网格化处理的全球等值线绘制方法 |
| CN110675470A (zh) * | 2019-10-11 | 2020-01-10 | 北京航天宏图信息技术股份有限公司 | 等值线绘制方法、装置、计算设备及可读取存储介质 |
| CN111986324A (zh) * | 2020-08-20 | 2020-11-24 | 湖南胜昊软件科技有限公司 | 基于气象要素的等值面构建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种等值线图绘制算法及其并行实现;章勤, 李品, 苗京;华中科技大学学报;20010930(09);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112614207A (zh) | 2021-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10585948B2 (en) | Method and device for constructing spatial index of massive point cloud data | |
| CN111862292B (zh) | 输电线路走廊的数据渲染方法、装置和计算机设备 | |
| US20180081995A1 (en) | System and method providing a scalable and efficient space filling curve approach to point cloud feature generation | |
| CN102831307B (zh) | 基于三维gis技术的电网可视化系统及方法 | |
| CN112614207B (zh) | 等值线绘制方法、装置和设备 | |
| Chebbi et al. | Improvement of satellite image classification: Approach based on Hadoop/MapReduce | |
| CN110544298B (zh) | 变电站建模方法、装置、计算机设备和存储介质 | |
| CN110647596A (zh) | 地图数据处理方法和装置 | |
| CN113515672A (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
| CN115794414B (zh) | 基于并行计算的卫星对地通视分析方法、装置和设备 | |
| US20220375186A1 (en) | Method and apparatus for generating bounding box, device and storage medium | |
| CN108364331A (zh) | 一种等值线生成方法、系统和存储介质 | |
| CN110675470B (zh) | 等值线绘制方法、装置、计算设备及可读取存储介质 | |
| CN115994197A (zh) | GeoSOT网格数据计算方法 | |
| Kocon et al. | Point cloud indexing using Big Data technologies | |
| CN113094536B (zh) | 基于电网gim的输电杆塔轻量化展示方法与装置 | |
| CN108334532B (zh) | 一种基于Spark的Eclat并行化方法、系统及装置 | |
| CN111898276B (zh) | 架空线路的模型处理方法、装置、计算机设备和介质 | |
| CN110887490B (zh) | 一种激光定位导航的关键帧选取方法、介质、终端和装置 | |
| CN116664772A (zh) | 一种轻量级的大规模bim可视化方法及系统 | |
| CN110969359A (zh) | 配电网并行拓扑分析方法、装置、计算机设备和存储介质 | |
| CN104392490A (zh) | 基于gis平台的电网资源格网化气象影响范围分析方法 | |
| US11449566B2 (en) | Methods and systems for processing geospatial data | |
| KR20030051997A (ko) | 지리정보시스템에서의 디지털지형모델 가시화방법 | |
| CN114138925A (zh) | 位置点所属区域检索方法、装置、电子设备、介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |