CN116610764A - 一种数据分析方法、装置及计算服务器 - Google Patents
一种数据分析方法、装置及计算服务器 Download PDFInfo
- Publication number
- CN116610764A CN116610764A CN202310203878.4A CN202310203878A CN116610764A CN 116610764 A CN116610764 A CN 116610764A CN 202310203878 A CN202310203878 A CN 202310203878A CN 116610764 A CN116610764 A CN 116610764A
- Authority
- CN
- China
- Prior art keywords
- data
- ground pattern
- spot
- grid
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000007405 data analysis Methods 0.000 title claims abstract description 37
- 238000004364 calculation method Methods 0.000 title abstract description 13
- 238000010586 diagram Methods 0.000 claims description 54
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005206 flow analysis Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24554—Unary operations; Data partitioning operations
- G06F16/24556—Aggregation; Duplicate elimination
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Computational Linguistics (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开一种数据分析方法、装置及计算服务器，该方法包括：获取第一地类图斑数据和第二地类图斑数据，获取包括第一地类图斑数据包括的地类图斑所在网格的编码的第一类网格编码和包括第二地类图斑数据包括的地类图斑所在网格的编码的第二类网格编码；根据第一类网格编码和第二类网格编码连接第一地类图斑数据和第二地类图斑数据；根据连接的数据确定第一地类图斑数据中地类图斑与第二地类图斑数据中地类图斑之间的存在交集的交集数据；根据连接的数据分别确定第一地类图斑数据中地类图斑与第二地类图斑数据中地类图斑之间不存在交集的非交集数据；根据交集数据和非交集数据确定叠加结果数据。本发明实施例，可以提高数据分析效率。
Description
技术领域
本发明实施例涉及空间数据分析技术领域，尤其涉及一种数据分析方法、装置及计算服务器。
背景技术
叠加分析是地理信息系统(geographic information system，GIS)中的一项非常重要的空间分析功能，是指在同一空间参考系统下，通过对两个数据进行的一系列集合运算，产生新数据的过程。这里提到的数据可以是图层对应的数据集，也可以是地物对象。叠加分析的目标是分析在空间位置上有一定关联的空间对象的空间特征和专属属性之间的相互关系。
地类图斑是被行政区界线、权属界线以及单一线状地物分割的单一地类地块。国土管理部门每年都会对新增建筑、公共设施等用地变更信息进行统计会汇总。地类图斑包含在统计记录的范畴内。因此，如何对地类图斑数据进行高效分析非常重要。
发明内容
本发明实施例公开了一种数据分析方法、装置及计算服务器，用于提高数据分析效率。
第一方面公开一种数据分析方法，所述方法应用于分布式系统的计算服务器，包括：
获取第一信息和第二信息，所述第一信息为第一地类图斑数据的信息，所述第二信息为第二地类图斑数据的信息；
根据所述第一信息和所述第二信息从存储服务器获取所述第一地类图斑数据和所述第二地类图斑数据；
从所述存储服务器获取第一类网格编码和第二类网格编码，所述第一类网格编码包括所述第一地类图斑数据包括的地类图斑所在网格的编码，所述第二类网格编码包括所述第二地类图斑数据包括的地类图斑所在网格的编码；
根据所述第一类网格编码和所述第二类网格编码连接所述第一地类图斑数据和所述第二地类图斑数据，得到连接数据；
根据所述连接数据确定第一地类图斑与第二地类图斑之间的交集部分得到第一部分数据，所述第一地类图斑为所述第一地类图斑数据包括的地类图斑中与所述第二地类图斑数据包括的地类图斑存在交集的任一地类图斑，所述第二地类图斑为所述第二地类图斑数据包括的地类图斑中与所述第一地类图斑存在交集的任一地类图斑；
根据所述连接数据确定所述第一地类图斑中除所述第一部分数据之外的数据得到第二部分数据；
根据所述连接数据确定所述第二地类图斑中除所述第一部分数据之外的数据得到第三部分数据；
根据所述第一部分数据、所述第二部分数据和所述第三部分数据确定叠加结果数据。
作为一种可能的实施方式，所述方法还包括：
根据所述第一类网格编码和所述第二类网格编码，确定所述第一地类图斑数据包括的地类图斑中与所述第二地类图斑数据包括的地类图斑存在交集的地类图斑；
根据所述第一类网格编码和所述第二类网格编码，确定所述第二地类图斑数据包括的地类图斑中与所述第一地类图斑数据包括的地类图斑存在交集的地类图斑。
作为一种可能的实施方式，所述方法还包括：
对全球平面数据进行网格划分；
对划分的网格进行编码得到网格编码；
从所述存储服务器获取所述第一地类图斑数据；
确定所述第一地类图斑数据包括的地类图斑所在网格的编码，得到所述第一类网格编码；
从所述存储服务器获取所述第二类图斑数据；
确定所述第二地类图斑数据包括的地类图斑所在网格的编码，得到所述第二类网格编码；
将所述第一类网格编码存储至所述存储服务器；
将所述第二类网格编码存储至所述存储服务器。
作为一种可能的实施方式，所述对划分的网格进行编码得到网格编码包括：
使用Z-Ordering曲线对划分的网格进行编码得到网格编码。
作为一种可能的实施方式，所述确定所述第一地类图斑数据包括的地类图斑所在网格的编码，得到所述第一类网格编码包括：
确定所述第一地类图斑数据包括的地类图斑所在网格的编码；
将第三地类图斑的标识添加至所述第三地类图斑所在网格的编码后，得到所述第一类网格编码，所述第三地类图斑为所述第一地类图斑数据包括的地类图斑中的任一地类图斑；
所述确定所述第二地类图斑数据包括的地类图斑所在网格的编码，得到所述第二类网格编码包括：
确定所述第二地类图斑数据包括的地类图斑所在网格的编码；
将第四地类图斑的标识添加至所述第四地类图斑所在网格的编码后，得到所述第二类网格编码，所述第四地类图斑为所述第二地类图斑数据包括的地类图斑中的任一地类图斑；
所述根据所述连接数据确定所述第一地类图斑中除所述第一部分数据之外的数据得到第二部分数据包括：
根据所述连接数据和所述第一地类图斑的标识确定所述第一地类图斑中除所述第一部分数据之外的数据得到第二部分数据；
所述根据所述连接数据和所述第二地类图斑的标识确定所述第二地类图斑中除所述第一部分数据之外的数据得到第三部分数据包括：
根据所述连接数据和所述第二地类图斑的标识确定所述第二地类图斑中除所述第一部分数据之外的数据得到第三部分数据。
作为一种可能的实施方式，所述方法还包括：
根据所述叠加结果数据进行地类流量分析。
第二方面公开一种数据分析装置，所述装置应用于分布式系统的计算服务器，包括：
获取单元，用于获取第一信息和第二信息，所述第一信息为第一地类图斑数据的信息，所述第二信息为第二地类图斑数据的信息；
所述获取单元，还用于根据所述第一信息和所述第二信息从存储服务器获取所述第一地类图斑数据和所述第二地类图斑数据；
所述获取单元，还用于从所述存储服务器获取第一类网格编码和第二类网格编码，所述第一类网格编码包括所述第一地类图斑数据包括的地类图斑所在网格的编码，所述第二类网格编码包括所述第二地类图斑数据包括的地类图斑所在网格的编码；
连接单元，用于根据所述第一类网格编码和所述第二类网格编码连接所述第一地类图斑数据和所述第二地类图斑数据，得到连接数据；
确定单元，用于根据所述连接数据确定第一地类图斑与第二地类图斑之间的交集部分得到第一部分数据，所述第一地类图斑为所述第一地类图斑数据包括的地类图斑中与所述第二地类图斑数据包括的地类图斑存在交集的任一地类图斑，所述第二地类图斑为所述第二地类图斑数据包括的地类图斑中与所述第一地类图斑存在交集的任一地类图斑；
所述确定单元，还用于根据所述连接数据确定所述第一地类图斑中除所述第一部分数据之外的数据得到第二部分数据；
所述确定单元，还用于根据所述连接数据确定所述第二地类图斑中除所述第一部分数据之外的数据得到第三部分数据；
所述确定单元，还用于根据所述第一部分数据、所述第二部分数据和所述第三部分数据确定叠加结果数据。
作为一种可能的实施方式，所述确定单元，还用于根据所述第一类网格编码和所述第二类网格编码，确定所述第一地类图斑数据包括的地类图斑中与所述第二地类图斑数据包括的地类图斑存在交集的地类图斑；
所述确定单元，还用于根据所述第一类网格编码和所述第二类网格编码，确定所述第二地类图斑数据包括的地类图斑中与所述第一地类图斑数据包括的地类图斑存在交集的地类图斑。
作为一种可能的实施方式，所述装置还包括：
划分单元，用于对全球平面数据进行网格划分；
编码单元，用于对划分的网格进行编码得到网格编码；
所述获取单元，还用于从所述存储服务器获取所述第一地类图斑数据；
所述确定单元，还用于确定所述第一地类图斑数据包括的地类图斑所在网格的编码，得到所述第一类网格编码；
所述获取单元，还用于从所述存储服务器获取所述第二类图斑数据；
所述确定单元，还用于确定所述第二地类图斑数据包括的地类图斑所在网格的编码，得到所述第二类网格编码；
存储单元，用于将所述第一类网格编码存储至所述存储服务器；
所述存储单元，还用于所述第二类网格编码存储至所述存储服务器。
作为一种可能的实施方式，所述编码单元，具体用于使用Z-Ordering曲线对划分的网格进行编码得到网格编码。
作为一种可能的实施方式，所述确定单元确定所述第一地类图斑数据包括的地类图斑所在网格的编码，得到所述第一类网格编码包括：
确定所述第一地类图斑数据包括的地类图斑所在网格的编码；
将第三地类图斑的标识添加至所述第三地类图斑所在网格的编码后，得到所述第一类网格编码，所述第三地类图斑为所述第一地类图斑数据包括的地类图斑中的任一地类图斑；
所述确定单元确定所述第二地类图斑数据包括的地类图斑所在网格的编码，得到所述第二类网格编码包括：
确定所述第二地类图斑数据包括的地类图斑所在网格的编码；
将第四地类图斑的标识添加至所述第四地类图斑所在网格的编码后，得到所述第二类网格编码，所述第四地类图斑为所述第二地类图斑数据包括的地类图斑中的任一地类图斑；
所述确定单元根据所述连接数据确定所述第一地类图斑中除所述第一部分数据之外的数据得到第二部分数据包括：
根据所述连接数据和所述第一地类图斑的标识确定所述第一地类图斑中除所述第一部分数据之外的数据得到第二部分数据；
所述确定单元根据所述连接数据和所述第二地类图斑的标识确定所述第二地类图斑中除所述第一部分数据之外的数据得到第三部分数据包括：
根据所述连接数据和所述第二地类图斑的标识确定所述第二地类图斑中除所述第一部分数据之外的数据得到第三部分数据。
作为一种可能的实施方式，所述装置还包括：
分析单元，用于根据所述叠加结果数据进行地类流量分析。
第三方面公开一种计算服务器，该计算服务器为分布式系统中的计算服务器，包括处理器、存储器和收发器，该收发器用于与该分布式系统中的其他服务器进行通信，该处理器调用存储器中存储的计算机程序实现第一方面公开的方法。
第四方面公开一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序或计算机指令，当该计算机程序或计算机指令被处理器运行时，实现如第一方面公开的方法。
本发明实施例中，分布式系统的计算服务器从存储服务器获取第一地类图斑数据和第二地类图斑数据，从存储服务器获取第一类网格编码和第二类网格编码，根据第一类网格编码和第二类网格编码连接第一地类图斑数据和第二地类图斑数据得到连接数据，根据连接数据确定第一地类图斑与第二地类图斑之间的交集部分得到第一部分数据，根据连接数据确定第一地类图斑中除第一部分数据之外的数据得到第二部分数据，根据连接数据确定第二地类图斑中除第一部分数据之外的数据得到第三部分数据，根据第一部分数据、第二部分数据和第三部分数据确定叠加结果数据。可见，连接是依据网格划分进行的，网格划分后的空间连接可以降低计算复杂度，大幅缩减了计算的规模，从而可以提高数据分析效率。此外，由于第一地类图斑数据和第二地类图斑数据中的地类图斑都是经过编码的，基于编码间的空间相邻性使用排序合并连接的方法对数据进行空间连接，可以大幅度降低在Spark的shuffle阶段数据在分区里面传输的频率，让空间映射函数的结果按照排列顺序进行空间关联。从而可以进一步降低数据分析效率。进一步地，在依据网格划分进行连接的过程中能够及时排除掉无法参与空间连接的数据，可以减少网络I/O和硬盘I/O不必要的开销，可以节约计算资源。
附图说明
图1是本发明实施例公开的一种数据分析方法的流程示意图；
图2是本发明实施例公开的另一种数据分析方法的流程示意图；
图3是本发明实施例公开的一种地类图斑所在网格的编码的示意图；
图4是本发明实施例公开的一种数据分析装置的结构示意图；
图5是本发明实施例公开的一种计算服务器的结构示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本发明实施例公开了一种数据分析方法、装置及计算服务器，用于提高数据分析效率。以下分别进行详细说明。
请参阅图1，图1是本发明实施例公开的一种数据分析方法的流程示意图。其中，该数据分析方法可以应用于分布式系统的计算服务器。如图1所示，该数据分析方法可以包括以下步骤。
101、获取第一信息和第二信息。
在用户需要对第一地类图斑数据和第二地类图斑数据进行叠加分析的情况下，用户可以向计算服务器输入第一信息和第二信息，用户也可以通过终端设备向计算服务器发送第一信息和第二信息。计算服务器可以获取到第一信息和第二信息。其中，第一信息为第一地类图斑数据的信息，第二信息为第二地类图斑数据的信息。第一地类图斑数据的信息可以为唯一标识第一地类图斑数据的信息。第二地类图斑数据的信息可以为唯一标识第二地类图斑数据的信息。
102、根据第一信息和第二信息从存储服务器获取第一地类图斑数据和第二地类图斑数据。
计算服务器获取到第一信息和第二信息之后，可以根据第一信息和第二信息从存储服务器获取第一地类图斑数据和第二地类图斑数据。第一地类图斑数据和第二地类图斑数据可以存储在同一存储服务器，也可以存储在不同存储服务器。
在第一地类图斑数据和第二地类图斑数据存储在同一存储服务器的情况下，计算服务器可以一次性从存储服务器获取第一地类图斑数据和第二地类图斑数据，也可以分两次从存储服务器分别获取第一地类图斑数据和第二地类图斑数据。
在第一地类图斑数据和第二地类图斑数据存储在不同存储服务器的情况下，计算服务器可以从不同存储服务器分别获取第一地类图斑数据和第二地类图斑数据。获取第一地类图斑数据和第二地类图斑数据的步骤可以是同时进行，也可以是分开进行。
103、从存储服务器获取第一类网格编码和第二类网格编码。
计算服务器还可以从存储服务器获取第一类网格编码和第二类网格编码。第一类网格编码包括第一地类图斑数据包括的地类图斑所在网格的编码，第二类网格编码包括第二地类图斑数据包括的地类图斑所在网格的编码。
第一类网格编码与第一地类图斑数据存储在同一存储服务器中，第二类网格编码与第二地类图斑数据存储在同一存储服务器中。
步骤103与步骤102可以是串行执行的，也可以是并行执行的。
在步骤103与步骤102串行执行的情况下，计算服务器可以根据第一信息和第二信息从存储服务器获取第一类网格编码和第二类网格编码，也可以根据第一地类图斑数据和第二地类图斑数据从存储服务器获取第一类网格编码和第二类网格编码。
在步骤103与步骤102并行执行的情况下，计算服务器可以根据第一信息和第二信息从存储服务器获取第一类网格编码和第二类网格编码。即计算服务器可以根据第一信息获取第一地类图斑数据和第一类网格编码，可以根据第二信息获取第二地类图斑数据和第二类网格编码。
104、根据第一类网格编码和第二类网格编码连接第一地类图斑数据和第二地类图斑数据，得到连接数据。
计算服务器可以根据第一类网格编码和第二类网格编码连接第一地类图斑数据和第二地类图斑数据，得到连接数据，可以通过join语句连接第一地类图斑数据和第二地类图斑数据。
105、根据连接数据确定第一地类图斑与第二地类图斑之间的交集部分得到第一部分数据。
计算服务器可以根据连接数据确定第一地类图斑与第二地类图斑之间的交集部分得到第一部分数据。第一地类图斑为第一地类图斑数据包括的地类图斑中与第二地类图斑数据包括的地类图斑存在交集的任一地类图斑，第二地类图斑为第二地类图斑数据包括的地类图斑中与第一地类图斑存在交集的任一地类图斑。第一地类图斑与第二地类图斑之间的交集部分，可以理解为第一地类图斑与第二地类图斑之间的交集部分的数据，也可以理解为第一地类图斑与第二地类图斑之间的存在交集的相交部分的数据。
计算服务器可以先根据第一类网格编码和第二类网格编码，确定第一地类图斑数据包括的地类图斑中与第二地类图斑数据包括的地类图斑存在交集的地类图斑，可以根据第一类网格编码和第二类网格编码，确定第二地类图斑数据包括的地类图斑中与第一地类图斑数据包括的地类图斑存在交集的地类图斑。
计算服务器可以根据第一地类图斑数据包括的地类图斑与第二地类图斑数据包括的地类图斑之间的空间拓扑关系，确定第一地类图斑数据包括的地类图斑中与第二地类图斑数据包括的地类图斑存在交集的地类图斑，以及第二地类图斑数据包括的地类图斑中与第一地类图斑数据包括的地类图斑存在交集的地类图斑。可以利用弹性分布式数据集(resilient distributed datasets，RDD)的缓存在集群中同步进行相交关系的筛选。在每个RDD中进行第一地类图斑与第二地类图斑之间的空间相交运算可以得到这两个地类图斑的相交结果。
106、根据连接数据确定第一地类图斑中除第一部分数据之外的数据得到第二部分数据。
计算服务器可以根据连接数据和第一地类图斑的标识确定第一地类图斑中除第一部分数据之外的数据得到第二部分数据。即确定第一地类图斑中与第二地类图斑数据包括的地类图斑不存在交集的部分的数据得到第二部分数据。
107、根据连接数据确定第二地类图斑中除第一部分数据之外的数据得到第三部分数据。
计算服务器可以根据连接数据和第二地类图斑的标识确定第二地类图斑中除第一部分数据之外的数据得到第三部分数据。即确定第二地类图斑中与第一地类图斑数据包括的地类图斑不存在交集的部分的数据得到第三部分数据。
108、根据第一部分数据、第二部分数据和第三部分数据确定叠加结果数据。
计算服务器可以根据第一部分数据、第二部分数据和第三部分数据确定叠加结果数据，即对第一部分数据、第二部分数据和第三部分数据进行组合形成叠加结果数据。
在图1所描述的数据分析方法中，地类图斑数据的连接是依据网格划分进行的，网格划分后的空间连接可以降低计算复杂度，大幅缩减了计算的规模，从而可以提高数据分析效率。此外，由于第一地类图斑数据和第二地类图斑数据中的地类图斑都是经过编码的，基于编码间的空间相邻性使用排序合并连接的方法对数据进行空间连接，可以大幅度降低在Spark的shuffle阶段数据在分区里面传输的频率，让空间映射函数的结果按照排列顺序进行空间关联。从而可以进一步降低数据分析效率。进一步地，在依据网格划分进行连接的过程中能够及时排除掉无法参与空间连接的数据，可以减少网络I/O和硬盘I/O不必要的开销，可以节约计算资源。
请参阅图2，图2是本发明实施例公开的另一种数据分析方法的流程示意图。其中，该数据分析方法可以应用于分布式系统的计算服务器。如图2所示，该数据分析方法可以包括以下步骤。
201、对全球平面数据进行网格划分。
可以先将全球三维数据映射到二维平面得到全球平面数据，之后可以对全球平面数据进行网格划分。可以对全球平面数据的线、面进行网格划分。可以使用多层级对全球平面数据进行网格划分。选择的层级不同，网格的大小不同，可以根据需要选择层级数。
202、对划分的网格进行编码得到网格编码。
可以对划分的网格进行编码得到网格编码，可以使用Z-Ordering曲线对划分的网格进行编码得到网格编码。Z-Ordering曲线编码可以尽可能的将空间关系相近的组织在一起，以便后续连接的时候能够尽快连接，从而可以提高数据分析效率。
203、从存储服务器获取第一地类图斑数据，确定第一地类图斑数据包括的地类图斑所在网格的编码得到第一类网格编码，将第一类网格编码存储至存储服务器。
可以确定第一地类图斑数据包括的地类图斑所在网格的编码，之后可以将第三地类图斑的标识添加至第三地类图斑所在网格的编码后得到第一类网格编码，之后可以将第一类网格编码存储至第一地类图斑数据所在的存储服务器。第三地类图斑为第一地类图斑数据包括的地类图斑中的任一地类图斑。
204、从存储服务器获取第二类图斑数据，确定第二地类图斑数据包括的地类图斑所在网格的编码得到第二类网格编码，将第二类网格编码存储至存储服务器。
请参阅图3，图3是本发明实施例公开的一种地类图斑所在网格的编码的示意图。如图3所示，地类图斑1所在网格的编码为1和3，地类图斑2所在网格的编码为1和2，地类图斑3所在网格的编码为4，地类图斑所在网格的编码后面有地类图斑的标识。
可以确定第二地类图斑数据包括的地类图斑所在网格的编码，之后可以将第四地类图斑的标识添加至第四地类图斑所在网格的编码后得到第二类网格编码，之后可以将第二类网格编码存储至第二地类图斑数据所在的存储服务器。第四地类图斑为第二地类图斑数据包括的地类图斑中的任一地类图斑。
205、获取第一信息和第二信息。
步骤205的详细描述可以参考步骤101的描述。
206、根据第一信息和第二信息从存储服务器获取第一地类图斑数据和第二地类图斑数据。
步骤206的详细描述可以参考步骤102的描述。
207、从存储服务器获取第一类网格编码和第二类网格编码。
步骤207的其他详细描述可以参考步骤103的描述。
208、根据第一类网格编码和第二类网格编码连接第一地类图斑数据和第二地类图斑数据，得到连接数据。
步骤208的其他详细描述可以参考步骤104的描述。
209、根据连接数据确定第一地类图斑与第二地类图斑之间的交集部分得到第一部分数据。
步骤209的其他详细描述可以参考步骤105的描述。
210、根据连接数据确定第一地类图斑中除第一部分数据之外的数据得到第二部分数据。
步骤210的其他详细描述可以参考步骤106的描述。
211、根据连接数据确定第二地类图斑中除第一部分数据之外的数据得到第三部分数据。
步骤211的其他详细描述可以参考步骤107的描述。
212、根据第一部分数据、第二部分数据和第三部分数据确定叠加结果数据。
步骤212的其他详细描述可以参考步骤108的描述。
确定出叠加结果数据之后，可以将叠加结果数据存储至存储服务器，以便后续调用。
可以根据叠加结果数据进行地类流量分析，以便连接地类走向。
可以根据叠加结果数据进行地类变化监测，以便确定出变化的地类图之后，可以进行监督。
请参阅图4，图4是本发明实施例公开的一种数据分析装置的结构示意图。其中，该数据分析装置可以应用于分布式系统的计算服务器。如图4所示，该数据分析装置可以包括获取单元401、连接单元402、确定单元403、划分单元404、编码单元405、存储单元406和分析单元407。
有关上述获取单元401、连接单元402、确定单元403、划分单元404、编码单元405、存储单元406和分析单元407更详细的描述可以直接参考发明内容中的数据分析装置以及上述图1所示的方法实施例中的相关描述直接得到，这里不加赘述。
请参阅图5，图5是本发明实施例公开的一种计算服务器的结构示意图。如图5所示，该计算服务器可以包括处理器501、存储器502、收发器503和总线504。存储器502可以是独立存在的，可以通过总线504与处理器501相连接。存储器502也可以和处理器501集成在一起。其中，总线504用于实现这些组件之间的连接。
存储器502中存储的计算机程序指令被执行时，该处理器501用于执行上述实施例中连接单元402、确定单元403、划分单元404、编码单元405和分析单元407执行的操作。该收发器503用于执行上述实施例中获取单元401和存储单元406执行的操作。上述计算服务器还可以用于执行上述图1方法实施例中执行的各种方法，不再赘述。
以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。
Claims (10)
1.一种数据分析方法，其特征在于，所述方法应用于分布式系统的计算服务器，包括：
获取第一信息和第二信息，所述第一信息为第一地类图斑数据的信息，所述第二信息为第二地类图斑数据的信息；
根据所述第一信息和所述第二信息从存储服务器获取所述第一地类图斑数据和所述第二地类图斑数据；
从所述存储服务器获取第一类网格编码和第二类网格编码，所述第一类网格编码包括所述第一地类图斑数据包括的地类图斑所在网格的编码，所述第二类网格编码包括所述第二地类图斑数据包括的地类图斑所在网格的编码；
根据所述第一类网格编码和所述第二类网格编码连接所述第一地类图斑数据和所述第二地类图斑数据，得到连接数据；
根据所述连接数据确定第一地类图斑与第二地类图斑之间的交集部分得到第一部分数据，所述第一地类图斑为所述第一地类图斑数据包括的地类图斑中与所述第二地类图斑数据包括的地类图斑存在交集的任一地类图斑，所述第二地类图斑为所述第二地类图斑数据包括的地类图斑中与所述第一地类图斑存在交集的任一地类图斑；
根据所述连接数据确定所述第一地类图斑中除所述第一部分数据之外的数据得到第二部分数据；
根据所述连接数据确定所述第二地类图斑中除所述第一部分数据之外的数据得到第三部分数据；
根据所述第一部分数据、所述第二部分数据和所述第三部分数据确定叠加结果数据。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述第一类网格编码和所述第二类网格编码，确定所述第一地类图斑数据包括的地类图斑中与所述第二地类图斑数据包括的地类图斑存在交集的地类图斑；
根据所述第一类网格编码和所述第二类网格编码，确定所述第二地类图斑数据包括的地类图斑中与所述第一地类图斑数据包括的地类图斑存在交集的地类图斑。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对全球平面数据进行网格划分；
对划分的网格进行编码得到网格编码；
从所述存储服务器获取所述第一地类图斑数据；
确定所述第一地类图斑数据包括的地类图斑所在网格的编码，得到所述第一类网格编码；
从所述存储服务器获取所述第二类图斑数据；
确定所述第二地类图斑数据包括的地类图斑所在网格的编码，得到所述第二类网格编码；
将所述第一类网格编码存储至所述存储服务器；
将所述第二类网格编码存储至所述存储服务器。
4.根据权利要求3所述的方法，其特征在于，所述对划分的网格进行编码得到网格编码包括：
使用Z-Ordering曲线对划分的网格进行编码得到网格编码。
5.根据权利要求3所述的方法，其特征在于，所述确定所述第一地类图斑数据包括的地类图斑所在网格的编码，得到所述第一类网格编码包括：
确定所述第一地类图斑数据包括的地类图斑所在网格的编码；
将第三地类图斑的标识添加至所述第三地类图斑所在网格的编码后，得到所述第一类网格编码，所述第三地类图斑为所述第一地类图斑数据包括的地类图斑中的任一地类图斑；
所述确定所述第二地类图斑数据包括的地类图斑所在网格的编码，得到所述第二类网格编码包括：
确定所述第二地类图斑数据包括的地类图斑所在网格的编码；
将第四地类图斑的标识添加至所述第四地类图斑所在网格的编码后，得到所述第二类网格编码，所述第四地类图斑为所述第二地类图斑数据包括的地类图斑中的任一地类图斑；
所述根据所述连接数据确定所述第一地类图斑中除所述第一部分数据之外的数据得到第二部分数据包括：
根据所述连接数据和所述第一地类图斑的标识确定所述第一地类图斑中除所述第一部分数据之外的数据得到第二部分数据；
所述根据所述连接数据和所述第二地类图斑的标识确定所述第二地类图斑中除所述第一部分数据之外的数据得到第三部分数据包括：
根据所述连接数据和所述第二地类图斑的标识确定所述第二地类图斑中除所述第一部分数据之外的数据得到第三部分数据。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
根据所述叠加结果数据进行地类流量分析。
7.一种数据分析装置，其特征在于，所述装置应用于分布式系统的计算服务器，包括：
获取单元，用于获取第一信息和第二信息，所述第一信息为第一地类图斑数据的信息，所述第二信息为第二地类图斑数据的信息；
所述获取单元，还用于根据所述第一信息和所述第二信息从存储服务器获取所述第一地类图斑数据和所述第二地类图斑数据；
所述获取单元，还用于从所述存储服务器获取第一类网格编码和第二类网格编码，所述第一类网格编码包括所述第一地类图斑数据包括的地类图斑所在网格的编码，所述第二类网格编码包括所述第二地类图斑数据包括的地类图斑所在网格的编码；
连接单元，用于根据所述第一类网格编码和所述第二类网格编码连接所述第一地类图斑数据和所述第二地类图斑数据，得到连接数据；
确定单元，用于根据所述连接数据确定第一地类图斑与第二地类图斑之间的交集部分得到第一部分数据，所述第一地类图斑为所述第一地类图斑数据包括的地类图斑中与所述第二地类图斑数据包括的地类图斑存在交集的任一地类图斑，所述第二地类图斑为所述第二地类图斑数据包括的地类图斑中与所述第一地类图斑存在交集的任一地类图斑；
所述确定单元，还用于根据所述连接数据确定所述第一地类图斑中除所述第一部分数据之外的数据得到第二部分数据；
所述确定单元，还用于根据所述连接数据确定所述第二地类图斑中除所述第一部分数据之外的数据得到第三部分数据；
所述确定单元，还用于根据所述第一部分数据、所述第二部分数据和所述第三部分数据确定叠加结果数据。
8.根据权利要求7所述的装置，其特征在于，所述确定单元，还用于根据所述第一类网格编码和所述第二类网格编码，确定所述第一地类图斑数据包括的地类图斑中与所述第二地类图斑数据包括的地类图斑存在交集的地类图斑；
所述确定单元，还用于根据所述第一类网格编码和所述第二类网格编码，确定所述第二地类图斑数据包括的地类图斑中与所述第一地类图斑数据包括的地类图斑存在交集的地类图斑。
9.一种计算服务器，其特征在于，所述计算服务器为分布式系统中的计算服务器，包括处理器、存储器和收发器，所述收发器用于与所述分布式系统中的其他服务器进行通信，所述处理器用于调用所述存储器中存储的计算机程序实现如权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序或计算机指令，当所述计算机程序或计算机指令被处理器运行时，实现如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310203878.4A CN116610764A (zh) | 2023-03-03 | 2023-03-03 | 一种数据分析方法、装置及计算服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310203878.4A CN116610764A (zh) | 2023-03-03 | 2023-03-03 | 一种数据分析方法、装置及计算服务器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116610764A true CN116610764A (zh) | 2023-08-18 |
Family
ID=87675299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310203878.4A Pending CN116610764A (zh) | 2023-03-03 | 2023-03-03 | 一种数据分析方法、装置及计算服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116610764A (zh) |
-
2023
- 2023-03-03 CN CN202310203878.4A patent/CN116610764A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107153711A (zh) | 地理信息数据处理方法及装置 | |
| CN110298553A (zh) | 一种基于gis的国土空间规划方法、系统和设备 | |
| CN109522374B (zh) | 一种定位方法、装置、电子设备及可读存储介质 | |
| CN111460043B (zh) | 三维空间图像区块链存储方法及页面显示方法 | |
| CN111479321B (zh) | 一种网格构建方法、装置、电子设备和存储介质 | |
| CN112528508A (zh) | 电磁可视化方法和装置 | |
| CN109145225B (zh) | 一种数据处理方法及装置 | |
| CN112232171B (zh) | 基于随机森林的遥感影像信息提取方法、装置及存储介质 | |
| KR102386786B1 (ko) | 위치 기반 경로 데이터베이스의 관리 방법 및 이를 수행하는 서버 | |
| CN108446283B (zh) | 数据存储方法及装置 | |
| CN104951567B (zh) | 自然资源要素级产品制作方法和系统 | |
| CN109684425A (zh) | 保单用户地址匹配方法及装置 | |
| CN109088793B (zh) | 用于检测网络故障的方法和装置 | |
| CN113936082A (zh) | 点云数据渲染方法、装置、设备及存储介质 | |
| CN112100308A (zh) | 一种北斗时空轨迹的相似性查询方法 | |
| CN116610764A (zh) | 一种数据分析方法、装置及计算服务器 | |
| CN112765299A (zh) | 非规则栅格数据的可视化方法、装置、电子设备、存储介质 | |
| CN116383282A (zh) | 一种快速统计围栏覆盖区域面积的方法和装置 | |
| CN116226553A (zh) | 轨迹查询方法和装置、存储介质 | |
| CN115905435A (zh) | 一种基于时空聚合中间态的信令数据分析方法及装置 | |
| CN112337093B (zh) | 一种虚拟对象的分簇方法、装置、存储介质和电子装置 | |
| CN113593244A (zh) | 一种流量确定方法、装置、存储介质及电子装置 | |
| CN109460700B (zh) | 一种面向作物分类的遥感数据处理方法及装置 | |
| CN112434653A (zh) | 一种遥感图像建筑区检测方法及系统 | |
| CN112434648A (zh) | 一种墙体形状变化检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |