CN116955482B - 基于信息损失约束的数据划分方法及装置 - Google Patents
基于信息损失约束的数据划分方法及装置 Download PDFInfo
- Publication number
- CN116955482B CN116955482B CN202310774181.2A CN202310774181A CN116955482B CN 116955482 B CN116955482 B CN 116955482B CN 202310774181 A CN202310774181 A CN 202310774181A CN 116955482 B CN116955482 B CN 116955482B
- Authority
- CN
- China
- Prior art keywords
- space
- attribute
- value
- grid cell
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000638 solvent extraction Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000005192 partition Methods 0.000 claims abstract description 46
- 239000011159 matrix material Substances 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 24
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000003776 cleavage reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007017 scission Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于信息损失约束的数据划分方法及装置，包括：获取各空间网格单元中分布的时空数据，并确定空间网格单元的时空属性和属性值；基于各属性值计算任意相邻两个空间网格单元的邻接属性差异值，确定最小邻接属性差异值，将多个空间网格单元分为多个空间网格单元组；确定各空间网格单元组的代表性属性值，基于代表性属性值和空间网格单元组内的各空间网格单元的属性值计算信息损失值；在信息损失值不小于预设的信息损失阈值时，构建图网络，获取图网络的节点特征矩阵、邻接矩阵及节点度向量；基于训练好的图嵌入模型得到各节点的分区概率，基于各节点的分区概率得到时空数据分区结果。该方法提高了时空数据的划分效率及划分结果准确度。
Description
技术领域
本发明涉及数据划分技术领域，尤其涉及一种基于信息损失约束的数据划分方法及装置。
背景技术
目前已经有多种技术方案基于分布式数据库的底层技术来对海量的时空数据进行存储、组织和管理，然而真实世界的时空数据往往伴随着数据在时间与空间上分布不均匀的情况，也即时空数据具有空间聚集性以及时间相关性等特点，在这种情况下如果直接对数据进行编码并进行分布式映射，容易出现因数据在存储上的分布不均导致的“数据倾斜”的现象；因此对海量的时空数据研究其分布式存储方法时，如何将时空分布不均的大规模数据进行数据划分以进行存储负载均衡、并维护其时空近邻特性是重要的。
针对时空数据的多维特性，目前对于时空数据的划分一般采用两种方式：一种是将数据拆分成时间和空间两个维度分别进行划分，另一种则是通过映射构建时空立方体的方法对时空数据进行划分。现有技术中常用的第一种时空数据划分方法容易导致时空关系的割裂，第二种时空数据划分方法随着数据规模的增长，则会导致构建和维护时空立方体变得极其困难；上述两种数据划分方法虽然都可实现时空数据的划分，但是存在着划分效率低以及划分结果准确度低的问题，进而也导致针对分布式环境下的存储节点之间的数据量负载均衡的效果较差。因此，如何提高时空数据的划分效率以及划分结果准确度是亟待解决的技术问题。
发明内容
有鉴于此，本发明提供了一种基于信息损失约束的数据划分方法及装置，以解决现有技术中存在的一个或多个问题。
根据本发明的一个方面，本发明公开了一种基于信息损失约束的数据划分方法，所述方法包括：
获取各空间网格单元中分布的时空数据，并确定各所述空间网格单元的时空属性和属性值；
基于各所述空间网格单元的属性值计算任意相邻两个空间网格单元的邻接属性差异值，基于计算得到的任意相邻两个空间网格单元的邻接属性差异值确定最小邻接属性差异值，基于所述最小邻接属性差异值将多个所述空间网格单元分为多个空间网格单元组；
确定各所述空间网格单元组内的时空数据的代表性属性值，基于所述空间网格单元组的代表性属性值和所述空间网格单元组内的各空间网格单元的属性值计算信息损失值；
在所述信息损失值小于预设的信息损失阈值时，基于多个空间网格单元组构建图网络，获取所述图网络的节点特征矩阵、邻接矩阵及节点度向量；其中，所述图网络的节点为各空间网格单元组，所述图网络的边表示两个节点互为4-邻域空间网格单元组；
将所述图网络的节点特征矩阵、邻接矩阵及节点度向量输入至训练好的图嵌入模型中得到各节点的分区概率，基于各节点的分区概率得到时空数据分区结果。
在本发明的一些实施例中，在基于各所述空间网格单元的属性值计算任意相邻两个空间网格单元的邻接属性差异值之前，所述方法还包括：对各所述空间网格单元中分布的时空数据进行归一化处理。
在本发明的一些实施例中，基于所述最小邻接属性差异值将多个所述空间网格单元分为多个空间网格单元组，包括：将邻接属性差异值小于或等于所述最小邻接属性差异值的两个相邻单元网格划分为同一空间网格单元组。
在本发明的一些实施例中，确定各所述空间网格单元组内的时空数据的代表性属性值，包括：
获取各所述空间网格单元组内的时空数据的平均的第一属性值和出现频率最高的第二属性值；
分别计算第一属性值和第二属性值对应的局部损失，将局部损失较小的第一属性值或第二属性值作为所述空间网格单元组内的时空数据的代表性属性值。
在本发明的一些实施例中，局部损失的计算公式为：
其中，Losscg(k)表示空间网格单元组的时空属性k对应的局部损失值，di(k)表示空间网格单元组内的第i个空间网格单元的时空属性k对应的属性值，cg(k)表示空间网格单元组的时空属性k对应的第一属性值或第二属性值，t表示空间网格单元组内的空间网格单元的总数量。
在本发明的一些实施例中，信息损失的计算公式为：
其中，n表示空间网格单元的总数量，s表示时空属性的总数量，di(k)表示空间网格单元i对应的时空属性k的初始属性值，表示空间网格单元i对应的空间网格单元组的时空属性k对应的代表性属性值，/>表示初始属性值与代表性属性值的信息损失值。
在本发明的一些实施例中，所述方法还包括：
构建深度学习网络模型，建立样本数据集和模型损失函数；
基于所述模型损失函数和样本数据集对所述深度学习网络模型进行预训练得到训练好的图嵌入模型。
在本发明的一些实施例中，所述模型损失函数为：
LossGPM＝E[MNcut(S1，...，Sg)]+Lbalance；
其中，S1，...，Sg表示图网络通过删除部分边被划分成的不相交的集合，g表示时空数据分区总数量，E[MNcut(S1...，Sg)]表示最小归一化边割的期望值，Lbalance表示平衡分区损失值，Y表示分区概率，D表示节点度向量，A表示邻接矩阵，⊙A表示与邻接矩阵A做哈达玛积，F表示节点的负载数据量向量，fi表示节点i对应的空间网格单元组中的时空数据总数量，n表示图网络的节点数量，ε表示大于0的极小数值，e表示元素均为1的向量。
根据本发明的再一方面，还公开了一种基于信息损失约束的数据划分系统，该系统包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如上任一实施例所述方法的步骤。
根据本发明的又一方面，还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一实施例所述方法的步骤。
本申请的基于信息损失约束的数据划分方法及装置在进行时空数据划分时，首先计算任意两个相邻网格单元的邻接属性差异值，并基于最小的邻接属性差异值将多个空间网格单元分为多个空间网格单元组，并进一步的基于划分后的空间网格单元组的代表性属性值计算信息损失值，在信息损失值小于预设的信息损失阈值时，则基于图嵌入模型完成时空数据的分区划分，从而实现分布式环境下的存储节点之间的数据量负载均衡。该方法对于大规模的时空数据划分效率高、划分结果准确度高、内存消耗小，并能够在预先定义的信息损失阈值的约束下，显著缩减数据规模，并有效降低图嵌入模型的训练时长，高效的完成数据划分，从而有效地平衡数据的存储负载，并有效维护了数据划分结果的时空近邻性。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。附图中的部件不是成比例绘制的，而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分，附图中对应部分可能被放大，即，相对于依据本发明实际制造的示例性装置中的其它部件可能变得更大。在附图中：
图1为本发明一实施例的基于信息损失约束的数据划分方法的流程示意图。
图2为本发明一实施例的基于信息损失约束的数据划分系统的架构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
在此，需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含/具有”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
数据划分是分布式存储的重要基础之一，其是为了提高数据访问速度，或者受限于存储空间大小，而对被访问数据进行分块处理的技术；在数学中，图划分是将图的节点集划分为互斥的组，从而将图简化为较小的图；而在分布式计算中，其是指将数据分发到集群中的不同节点上，以尽量达到各个节点上的数据量大小均匀，避免大量数据倾斜在某些节点所导致的负载不均衡的现象出现。
在现有技术中，除了目前普遍采用的时空数据划分方法存在着划分效率低以及划分结果准确度低的问题之外，则针对时空数据若想实现分布式环境下的存储节点之间的数据量负载均衡，现有技术中一般采用基于空间降维的负载均衡、基于图划分算法的负载均衡以及基于启发式算法的负载均衡，现有的负载均衡方法虽然可实现分布式环境下的存储节点之间的数据量负载均衡，但在针对大规模时空数据时并不能完全保证维持其时空近邻关系，因而现有的负载均衡算法在面对大规模时空数据时划分效果不理想。因此，本申请公开了一种基于信息损失约束的数据划分方法及装置，以在提高了时空数据划分效率和划分结果的准确性的前提下，还进一步的有效维护数据划分结果的时空近邻性。其中信息损失(information loss,IFL)是指未被划分的初始时空数据集与经过划分后的结果之间的信息差。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
图1为本申请一实施例的基于信息损失约束的数据划分方法，参考图1，该方法至少包括步骤S10至S50。
步骤S10：获取各空间网格单元中分布的时空数据，并确定各所述空间网格单元的时空属性和属性值。
在该步骤中，首先以数据的时空分布角度出发，将空间地理区域表示为由多个空间网格单元组成，各空间网格单元中分布有一个或多个时空数据，而空间网格单元中的时空数据的时空属性基于具体的应用场景进行确定，如在一实施例中，时空数据的时空属性包括时间、地点等，而时间属性所对应的具体属性值为XX时间，地点属性对应的具体属性值如XX街道。可以理解的，在不同应用场景的实施例中，时空数据的具体时空属性不同，并且时空属性的数量也不同。
步骤S20：基于各所述空间网格单元的属性值计算任意相邻两个空间网格单元的邻接属性差异值，基于计算得到的任意相邻两个空间网格单元的邻接属性差异值确定最小邻接属性差异值，基于所述最小邻接属性差异值将多个所述空间网格单元分为多个空间网格单元组。
在该步骤中，首先计算所有相邻的两个空间网格单元的邻接属性差异值，并逐一记录，进而确定最小邻接属性差异值。在将所有的空间网格单元划分为多个空间网格单元组时，则基于最小邻接属性差异值进行划分，使得各空间网格单元组内的任意两个空间网格单元之间的邻接属性差异值不大于先前确定的最小邻接属性差异值，即使得各空间网格单元组内的任意两个空间网格单元的属性值较接近。
示例性的，邻接属性差异值的计算方式如：其中，p表示时空属性的总数量，di(k)表示空间网格单元i的时空属性k对应的属性值，dj(k)表示空间网格单元j的时空属性k对应的属性值，Variationi，j表示空间网格单元i与空间网格单元j之间的邻接属性差异值。
另外，由于时空数据集中的空间信息一般由经度和纬度两个坐标组成，需要对其进行Geohash编码并数值化后才能便于模型计算，若直接使用时空数据集中的非标准化数据计算邻接属性差异值，则最终的划分结果可能会由值范围较大的属性主导，导致模型失去其有效性，因而在基于各所述空间网格单元中的时空数据的属性值计算任意相邻两个空间网格单元的邻接属性差异值之前，还可对各空间网格单元中分布的时空数据进行归一化处理，即将时空数据集中的时空数据转化成时空属性归一化的形式。
示例性的，基于所述最小邻接属性差异值将多个所述空间网格单元分为多个空间网格单元组，包括：将邻接属性差异值小于或等于所述最小邻接属性差异值的两个相邻单元网格划分为同一空间网格单元组。具体的，空间网格单元组的划分具体可通过单元组提取器实现，即在划分单元组过程中，单元组提取器会遍历网格中的所有空间网格单元，并保证所有划分至同一组内的每一对相邻的空间网格单元都能使得其邻接属性差异值小于等于当前迭代轮次的最小邻接属性差异值。在该实施例中，可经过多轮迭代完成所有空间网格单元的分组，迭代终止条件可通过在后续步骤中S30计算得到的信息损失值进行确定，具体的将当前迭代结束计算到的信息损失值与预设的信息损失阈值进行比较，当计算到的信息损失值大于或等于预设的信息损失阈值时，则迭代结束；而当计算到的信息损失值小于预设的信息损失阈值时，则进行下一轮迭代，在下一轮迭代过程中，则基于在第一轮迭代过程中计算得到的任意相邻两个空间网格单元的邻接属性差异值更新最小邻接属性差异值，如在第一轮迭代过程中将计算得到的所有邻接属性差异值中的最小值作为最小邻接属性差异值，而在第二轮迭代过程中，则将所有邻接属性差异值中的除第一轮迭代过程确定的最小邻接属性差异值之外的其他邻接属性差异值中的最小值作为第二轮迭代过程中的更新后的最小邻接属性差异值。
在基于单元组提取器进行分组时，还进一步的将空间网格单元索引和空间网格单元组索引进行映射，即当将空间网格单元索引映射至对应的空间网格单元组时，则可将空间网格单元组的索引与空间网格单元的起始行、列以及终止行、列的位置一一对应的进行存储。
步骤S30：确定各所述空间网格单元组内的时空数据的代表性属性值，基于所述空间网格单元组的代表性属性值和所述空间网格单元组内的各空间网格单元的属性值计算信息损失值。
在该步骤中，当将所有的空间网格单元划分为多个空间网格单元组后，则进一步的确定各所述空间网格单元组内的时空数据的代表性属性值，从而进一步的计算信息损失值，空间网格单元组内的时空数据的代表性属性值也可以看作为空间网格单元组的特征。
示例性的，可基于特征分配器确定各所述空间网格单元组内的时空数据的代表性属性值，由于对空间网格单元组分配代表性特征时需要考虑初始时空属性对模型的影响，若采用归一化后的属性值则会降低模型精度，导致后续迭代轮次中划分结果不准确，因此特征分配器在对空间网格单元组分配代表性特征时采用各空间网格单元中分布的原始的时空数据。
在确定各所述空间网格单元组内的时空数据的代表性属性值时，可首先计算空间网格单元组内的时空数据的属性值的平均值，以及确定空间网格单元组内出现频率最高的属性值，该两种属性值均有可能作为空间网格单元组的代表性属性值。进一步的，可分别计算上述两种属性值对应的局部损失值，并将局部损失值较小的属性值作为空间网格单元组最终的代表性属性值。
示例性的，确定各所述空间网格单元组内的时空数据的代表性属性值，包括：获取各所述空间网格单元组内的时空数据的平均的第一属性值和出现频率最高的第二属性值；分别计算第一属性值和第二属性值对应的局部损失，将局部损失较小的第一属性值或第二属性值作为所述空间网格单元组内的时空数据的代表性属性值。
进一步的，局部损失的计算公式为：
其中，Losscg(k)表示空间网格单元组的时空属性k对应的局部损失值，di(k)表示空间网格单元组内的第i个空间网格单元的时空属性k对应的属性值，cg(k)表示空间网格单元组的时空属性k对应的第一属性值或第二属性值，t表示空间网格单元组内的空间网格单元的总数量。可以理解的，在上述实施例中，局部损失仅用于进行空间网格单元组的代表性属性值(特征)的分配。
在基于上述方法确定了各空间网格单元组的代表性属性值之后，进一步的计算经过当前轮迭代后的数据划分结果与原始的空间网格单元中分布的时空数据的信息损失值。示例性的，信息损失的计算公式为：其中，n表示空间网格单元的总数量，s表示时空属性的总数量，di(k)表示空间网格单元i对应的时空属性k的初始属性值，/>表示空间网格单元i对应的空间网格单元组的时空属性k对应的代表性属性值，/>表示初始属性值与代表性属性值的信息损失值。在经过当前轮迭代后计算得到的信息损失值若小于预设的信息损失阈值时，则继而进行下轮迭代。
步骤S40：在所述信息损失值不小于预设的信息损失阈值时，基于多个空间网格单元组构建图网络，获取所述图网络的节点特征矩阵、邻接矩阵及节点度向量；其中，所述图网络的节点为各空间网格单元组，所述图网络的边表示两个节点互为4-邻域空间网格单元组。
在经过一轮或多轮的迭代过程之后，若计算得到的信息损失值不小于预设的信息损失阈值时，进一步的基于图划分模块完成时空数据的分区划分，从而实现分布式环境下的存储节点之间的数据量负载均衡。
时空数据的划分结果为多个互不相交的空间网格单元组，若基于时空数据的划分结果采用哈希法或轮询法等方式进行分组路由则会破坏时空数据中相邻网格的时空近邻特性，因此在本申请中，该步骤基于图划分的方式对时空数据进行分区，图划分的方式既可以有效保持数据的时空近邻性，同时又使得时空数据在分布式节点的存储实现负载均衡。本申请的图划分模块首先基于时空数据的划分结果构建图网络，并生成具有最小归一化边割的图的平衡划分结果。
在基于多个空间网格单元组构建图网络时，首先将各空间网格单元组映射为图网络的各节点，而各空间网格单元组内包含的时空数据的数量作为对应节点的权重。为了避免构成过于繁琐的图网络导致后续进行图划分时产生较低的划分效率和需要较长的训练时长，则在考虑时空近邻性的前提下，将空间网格单元组中与其D-邻域相邻的空间网格单元组认为成在时空上是不近邻的，因而仅将互为4-邻域相邻的两个空间网格单元组之间设置边。
步骤S50：将所述图网络的节点特征矩阵、邻接矩阵及节点度向量输入至训练好的图嵌入模型中得到各节点的分区概率，基于各节点的分区概率得到时空数据分区结果。
在该步骤中，基于图嵌入模型将图网络进行分区划分，即划分为节点权重之和相近的m个子图(或称为m个分区)，其中m表示分布式环境下的集群中存储节点的数量。
在本发明的一实施例中，基于信息损失约束的数据划分方法还包括如下步骤：构建深度学习网络模型，建立样本数据集和模型损失函数；基于所述模型损失函数和样本数据集对所述深度学习网络模型进行预训练得到训练好的图嵌入模型。
示例性的，模型损失函数为：
LossGPM＝E[MNcut(S1，...，Sg)]+Lbalance；
其中，S1，...，Sg表示图网络通过删除部分边被划分成的不相交的集合，g表示时空数据分区总数量(不相交的集合的总数量)，E[MNcut(S1，...，Sg)]表示最小归一化边割的期望值，Lbalance表示平衡分区损失值，Y表示分区概率，D表示节点度向量，A表示邻接矩阵，⊙A表示与邻接矩阵A做哈达玛积，F表示节点的负载数据量，fi表示节点i对应的空间网格单元组中的时空数据总数量，n表示图网络的节点数量，ε表示大于0的极小数值，e表示元素均为1的向量。
具体的，上述的图划分模块定义了一个以平衡分区以及最小归一化边割为目标的损失函数，并通过训练图嵌入模型的方式反向传播以优化此损失。对于图网络的最小归一化边割，可首先定义无向图G＝(V，E)，其中V＝{vi}表示图G中节点的集合，E＝{e(vi，vj)|vi，vj∈V}表示G中边的集合，G可以通过删除部分连接边划分成不相交的集合S1，...，Sg，为了形成不相交集合而从G中移除的边的总数称为边割，其中不相交的集合S1，...，Sg可看作为基于图划分模块划分的g个分区。另外，图的最小归一化边割而/>vol(Sk，V)表示图G中属于集合Sk的节点总度，g表示最终被划分的集合的总数量，/>表示图网络的最小割。
在本申请中，图划分模块的输出结果可表示为Y∈Rn×g，并且Yik表示图网络中的节点vi∈V被划分至不相交分区集合Sk的概率,n表示图网络的节点数量，g表示被划分的不相交的分区或集合的总数量。因此，进一步的提出基于Y的损失函数用于计算最小归一化边割，并评估划分结果的平衡性，则最小归一化边割可以进一步表述为：其中，N(vi)表示与节点vi邻接的节点集合，则该集合中的节点j属于分区Sk的概率即为1-Yjk，Yjk表示N(vi)中的节点vj属于分区Sk的概率。
进一步的，由于vol(Sk，V)表示图G中属于集合Sk的节点总度，而节点所属分区的概率Y：，k∈Rn×g,n表示图网络的节点数量，g表示被划分的不相交的分区或集合的总数量，因此图网络中各节点的度所组成的向量可表示为D，因而可进一步的被表示为E[vol(Sk，V)]＝Y：，k TD，E[vol(Sk，V)]表示vol(Sk，V)的期望值，E[vol(Sk，V)]的计算结果为g维向量，其中g表示被划分的不相交的分区数量。另外，与节点vi邻接的节点集合N(vi)可以基于图网络的邻接矩阵A中直接获得，因此图的最小归一化边割可以简化为对下列公式求解：/>其中，D为网络中各节点的度所组成的向量，Y表示分区概率，E[MNcut(S1，...，Sg)]表示最小归一化边割的期望值；⊙A表示与邻接矩阵A做哈达玛积，即逐元素相乘并返回相同维度的矩阵。
为了进一步考虑对图划分结果的均衡性的度量，本申请的图划分在损失函数中引入了分区平衡损失.对于给定的图G，其节点数为|V|＝n，假设分区数为g，每个节点vi的数据量为fi，则为了保持平衡分区每个分区的平均负载应为为此定义一个向量F表示各节点的负载数据量，即F表示节点的负载数据量向量，则分区平衡损失的计算公式为其中ε表示一个大于0的极小数值，e是一个所有元素均为1的向量，用于向量的逐元素相减。基于上述内容可知，图划分模块的最终损失函数为：LossGPM＝E[MNcut(S1，...，Sg)]+Lbalance。基于该损失函数通过样本数据集对图嵌入模型进行学习，从而将每个嵌入投影到概率分布空间以求得图的平衡划分的局部最优解。
对应的，本申请还提供了一种基于信息损失约束的数据划分系统，该系统包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如上任一实施例所述方法的步骤。
图2为本发明一实施例的基于信息损失约束的数据划分系统的架构示意图，参考图2，该基于信息损失约束的数据划分系统主要包括时空划分模块(STPM)和图划分模块(GMP)，STPM从数据的时空分布角度出发，将空间地理区域表示为由多个空间网格单元组成，并基于空间网格单元的时空属性将其划分成组；但若网格的粒度太细时会产生大量的空间网格单元，从而导致后续划分过程中训练时间长、内存消耗大；而STPM可以通过计算空间网格单元之间的属性差异迭代地将相邻空间网格单元合并到单元组中，从而达到在控制信息损失低于预先定义的阈值且不影响模型精度的前提下，显著降低网格粒度，缩减数据规模的效果。STPM仅允许将在时间与空间两个维度上高度相关且近邻的空间网格单元分为一组，而信息损失阈值的约束可以确保时空划分后的数据集在缩减数据规模的同时仍能保证后续图划分模块的划分质量。
图划分模块从深度学习的角度出发，对前述的时空划分结果构建图网络，并定义了一个损失函数来对图进行平衡划分；在优化损失函数的同时，运用图嵌入技术学习和适应图结构。在上述的时空划分模块和图划分模块的联合作用下，本申请能够在预先定义的信息损失阈值的约束下，显著缩减数据规模的同时，有效降低深度学习图划分模型的训练时长，完成高效的数据划分，从而高效的实现存储负载的平衡，并有效的维护了数据划分结果的时空近邻性。
具体的，本申请的时空划分模块STPM本质上是一种将空间网格单元分组在一起以使得单元组内部的空间网格单元之间时空属性差异保持最小的迭代算法，如图2所示，在迭代开始之前首先对时空数据集进行时空属性归一化处理，并预先计算最小邻接属性差异值；之后单元组提取器负责遍历各空间网格单元并划分成多个单元组，使其满足组内空间网格单元之间的属性差异小于等于前述确定的最小邻接属性差异值。在当前轮迭代过程中确定了多个空间网格单元组之后，则令每个单元组充当下一轮迭代中输入模型中的单个空间网格单元，并且在之后的每一轮迭代划分中，STPM均不再重复计算邻接属性差异值，而是不断取先前记录的值对最小邻接属性差异值进行更新并传给单元组提取器，即在更新时以除之前迭代过程中采用的最小邻接属性差异值之外的其他邻接属性差异值中的最小值作为该轮迭代过程中的最小邻接属性差异值。在基于单元组提取器完成空间网格单元组的划分之后，则进一步基于特征分配器对提取出的各单元组创建并分配特征，也即确定各单元组的代表性属性值，最终计算初始时空数据集与每一轮迭代完成后的时空数据划分结果之间的信息损失IFL，并判断计算得到的信息损失是否小于预设的信息损失阈值θ。
以下为一具体的时空划分模块STPM的迭代划分算法的执行代码：
算法1：时空划分模块STPM的迭代划分算法
输入：初始数据集网格gridData，数据集时空属性归一化结果dataNorm，最小邻接属性差异值minVariation，信息损失阈值θ；
输出：时空划分结果网格newGrid,信息损失计算结果IFL
在基于时空数据划分模块完成时空数据的划分之后，图划分模块CPM首先将时空数据划分模块输出的划分结果映射为图网络，进而提取图网络的邻接矩阵A、记录节点度信息的向量D以及节点特征X；图嵌入模型以邻接矩阵A、记录节点度信息的向量D以及节点特征X为输入。特征的提取可基于图卷积网络实现，在CPM中，构建了2层GCN来对图网络进行特征提取；另外，本申请的CPM模块还采用GraphSAGE基于节点输入特征来生成高维图节点表示，在此过程中，GPM首先通过采样获取目标节点的邻居节点的特征，之后再通过聚合邻居节点的特征生成目标节点的嵌入。后续GPM接收学习到的节点嵌入并通过全连接层和SoftMax生成每个节点属于分区S1，...，Sg的概率，也即图2所示的模型输出Y。
对于上述实施例的时空划分模块STPM通过将空间网格单元划分成组的方式来缩减时空数据的规模，在将时空划分的结果用于训练图划分模型时有助于减少模型的训练耗时，在一定程度上提高了划分效率，并维护了数据的时空近邻关系。另外图划分模块GPM则针对分布式存储中的负载均衡问题，提出了一个深度学习图划分模型，并设计了一个综合损失函数，其目的是通过损失函数的约束在考虑最小归一化边割的同时将图节点划分至平衡分区中。
通过上述实施例可以发现，本申请的基于信息损失约束的数据划分方法及系统主要针对大规模时空数据，以时空数据划分和负载均衡算法作为理论基础，在对海量的时空数据进行分布式存储之前，首先针对数据的时空近邻特性对时空数据进行划分，将数据划分成多个空间网格单元组，并在此基础上将时空数据的划分结果抽象成图结构，再利用图神经网络构造图划分算法，在保证数据时空近邻性的同时进一步保证分布式存储的负载均衡性。并且本申请的数据划分方法和系统允许在规定的信息损失阈值的约束下缩减数据规模，并迭代地对大规模时空数据集进行高效划分，且不需要预先指定最终的分区数量；同时通过对时空数据的划分结果构建图网络，利用图嵌入技术，设计了综合考虑图的最小归一化边割和分区负载均衡的损失函数，并通过训练深度学习模型，完成对图结构的平衡划分。
另外，该发明还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一实施例所述方法的步骤。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于信息损失约束的数据划分方法，其特征在于，所述数据划分方法包括：
获取各空间网格单元中分布的时空数据，并确定各所述空间网格单元的时空属性和属性值；
基于各所述空间网格单元的属性值计算任意相邻两个空间网格单元的邻接属性差异值，基于计算得到的任意相邻两个空间网格单元的邻接属性差异值确定最小邻接属性差异值，基于所述最小邻接属性差异值将多个所述空间网格单元分为多个空间网格单元组；
确定各所述空间网格单元组内的时空数据的代表性属性值，基于所述空间网格单元组的代表性属性值和所述空间网格单元组内的各空间网格单元的属性值计算信息损失值；
在所述信息损失值不小于预设的信息损失阈值时，基于多个空间网格单元组构建图网络，获取所述图网络的节点特征矩阵、邻接矩阵及节点度向量；其中，所述图网络的节点为各空间网格单元组，所述图网络的边表示两个节点互为4-邻域空间网格单元组；
将所述图网络的节点特征矩阵、邻接矩阵及节点度向量输入至训练好的图嵌入模型中得到各节点的分区概率，基于各节点的分区概率得到时空数据分区结果；
确定各所述空间网格单元组内的时空数据的代表性属性值，包括：
获取各所述空间网格单元组内的时空数据的平均的第一属性值和出现频率最高的第二属性值；
分别计算第一属性值和第二属性值对应的局部损失，将局部损失较小的第一属性值或第二属性值作为所述空间网格单元组内的时空数据的代表性属性值。
2.根据权利要求1所述的基于信息损失约束的数据划分方法，其特征在于，在基于各所述空间网格单元的属性值计算任意相邻两个空间网格单元的邻接属性差异值之前，所述方法还包括：对各所述空间网格单元中分布的时空数据进行归一化处理。
3.根据权利要求2所述的基于信息损失约束的数据划分方法，其特征在于，基于所述最小邻接属性差异值将多个所述空间网格单元分为多个空间网格单元组，包括：将邻接属性差异值小于或等于所述最小邻接属性差异值的两个相邻单元网格划分为同一空间网格单元组。
4.根据权利要求1所述的基于信息损失约束的数据划分方法，其特征在于，局部损失的计算公式为：
其中，Losscg(k)表示空间网格单元组的时空属性k对应的局部损失值，di(k)表示空间网格单元组内的第i个空间网格单元的时空属性k对应的属性值，cg(k)表示空间网格单元组的时空属性k对应的第一属性值或第二属性值，t表示空间网格单元组内的空间网格单元的总数量。
5.根据权利要求1至4中任意一项所述的基于信息损失约束的数据划分方法，其特征在于，信息损失的计算公式为：
其中，n表示空间网格单元的总数量，s表示时空属性的总数量，di(k)表示空间网格单元i对应的时空属性k的初始属性值，表示空间网格单元i对应的空间网格单元组的时空属性k对应的代表性属性值，/>表示初始属性值与代表性属性值的信息损失值。
6.根据权利要求1所述的基于信息损失约束的数据划分方法，其特征在于，所述方法还包括：
构建深度学习网络模型，建立样本数据集和模型损失函数；
基于所述模型损失函数和样本数据集对所述深度学习网络模型进行预训练得到训练好的图嵌入模型。
7.根据权利要求6所述的基于信息损失约束的数据划分方法，其特征在于，所述模型损失函数为：
LossGPM＝E[MNcut(S1,...,Sg)+Lbalance；
其中，S1，...，Sg表示图网络通过删除部分边被划分成的不相交的集合，g表示时空数据分区总数量，E[MNcut(S1，...，Sg)]表示最小归一化边割的期望值，Lbalace表示平衡分区损失值，Y表示分区概率，D表示节点度向量，A表示邻接矩阵，⊙A表示与邻接矩阵A做哈达玛积，F表示节点的负载数据量向量，fi表示节点i对应的空间网格单元组中的时空数据总数量，n表示图网络的节点数量，ε表示大于0的极小数值，e表示元素均为1的向量。
8.一种基于信息损失约束的数据划分系统，该系统包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如权利要求1至7中任意一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310774181.2A CN116955482B (zh) | 2023-06-27 | 2023-06-27 | 基于信息损失约束的数据划分方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310774181.2A CN116955482B (zh) | 2023-06-27 | 2023-06-27 | 基于信息损失约束的数据划分方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116955482A CN116955482A (zh) | 2023-10-27 |
| CN116955482B true CN116955482B (zh) | 2024-06-04 |
Family
ID=88457472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310774181.2A Active CN116955482B (zh) | 2023-06-27 | 2023-06-27 | 基于信息损失约束的数据划分方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116955482B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016027451A1 (ja) * | 2014-08-19 | 2016-02-25 | 日本電気株式会社 | データ処理装置、データ処理方法、及び、記録媒体 |
| CN110837540A (zh) * | 2019-10-29 | 2020-02-25 | 华中科技大学 | 一种空间位置数据的处理方法及系统 |
| CN112365556A (zh) * | 2020-11-10 | 2021-02-12 | 成都信息工程大学 | 一种基于感知损失和风格损失的图像扩展方法 |
| CN115439685A (zh) * | 2022-08-26 | 2022-12-06 | 重庆长安汽车股份有限公司 | 一种小样本图像数据集划分方法及计算机可读存储介质 |
| CN115661861A (zh) * | 2022-10-21 | 2023-01-31 | 江南大学 | 基于动态时序多维自适应图卷积网络的骨架行为识别方法 |
| CN115687517A (zh) * | 2022-10-18 | 2023-02-03 | 中慧图策(北京)科技有限公司 | 时空数据的存储方法、装置、数据库引擎和存储介质 |
| CN115828116A (zh) * | 2022-11-22 | 2023-03-21 | 武汉大学 | 基于两步距离与动态约束的森林资源资产均质区划分方法 |
| WO2023069589A1 (en) * | 2021-10-21 | 2023-04-27 | Visa International Service Association | System, method, and computer program product for determining long-range dependencies using a non-local graph neural network (gnn) |
-
2023
- 2023-06-27 CN CN202310774181.2A patent/CN116955482B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016027451A1 (ja) * | 2014-08-19 | 2016-02-25 | 日本電気株式会社 | データ処理装置、データ処理方法、及び、記録媒体 |
| CN110837540A (zh) * | 2019-10-29 | 2020-02-25 | 华中科技大学 | 一种空间位置数据的处理方法及系统 |
| CN112365556A (zh) * | 2020-11-10 | 2021-02-12 | 成都信息工程大学 | 一种基于感知损失和风格损失的图像扩展方法 |
| WO2023069589A1 (en) * | 2021-10-21 | 2023-04-27 | Visa International Service Association | System, method, and computer program product for determining long-range dependencies using a non-local graph neural network (gnn) |
| CN115439685A (zh) * | 2022-08-26 | 2022-12-06 | 重庆长安汽车股份有限公司 | 一种小样本图像数据集划分方法及计算机可读存储介质 |
| CN115687517A (zh) * | 2022-10-18 | 2023-02-03 | 中慧图策(北京)科技有限公司 | 时空数据的存储方法、装置、数据库引擎和存储介质 |
| CN115661861A (zh) * | 2022-10-21 | 2023-01-31 | 江南大学 | 基于动态时序多维自适应图卷积网络的骨架行为识别方法 |
| CN115828116A (zh) * | 2022-11-22 | 2023-03-21 | 武汉大学 | 基于两步距离与动态约束的森林资源资产均质区划分方法 |
Non-Patent Citations (2)
| Title |
|---|
| A Theoretical Line Loss Calculation Method Based on Data Partition;Sicheng Zhou等;《 2022 34th Chinese Control and Decision Conference (CCDC)》;20230214;175-180 * |
| 拉普拉斯特征映射的时空数据划分方法;夏慧琼等;《测绘科学》;20180620;第43卷(第6期);32-38 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116955482A (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111242282A (zh) | 基于端边云协同的深度学习模型训练加速方法 | |
| CN111652329B (zh) | 一种图像分类方法、装置、存储介质和电子设备 | |
| CN113807520A (zh) | 基于图神经网络的知识图谱对齐模型的训练方法 | |
| CN103838803A (zh) | 一种基于节点Jaccard相似度的社交网络社团发现方法 | |
| CN115688913A (zh) | 一种云边端协同个性化联邦学习方法、系统、设备及介质 | |
| CN109767624B (zh) | 一种考虑路段交通流相关性的控制子区划分方法 | |
| CN112100450A (zh) | 一种图计算数据分割方法、终端设备及存储介质 | |
| CN112291734A (zh) | 一种移动传感器网络区域覆盖优化的方法 | |
| Azimi et al. | A distributed data clustering algorithm in P2P networks | |
| CN111475158A (zh) | 子领域划分方法、装置、电子设备和计算机可读存储介质 | |
| CN116955482B (zh) | 基于信息损失约束的数据划分方法及装置 | |
| CN113127697B (zh) | 图布局优化方法和系统、电子设备及可读存储介质 | |
| CN111402422B (zh) | 三维表面重建方法、装置和电子设备 | |
| CN115408382A (zh) | 面向大规模卫星数据的矢量空间信息网格化存储管理方法 | |
| CN116028787A (zh) | 数据处理方法及装置、设备、存储介质 | |
| CN110765130A (zh) | 一种分布式环境下基于Ripley’s K函数的时空POI数据点模式分析方法 | |
| CN113342999A (zh) | 一种基于多层跳序树结构的变分辨率点云简化方法 | |
| CN114245436B (zh) | 无人机辅助移动边缘网络分簇方法及装置 | |
| CN112990364B (zh) | 一种图数据节点分类方法及装置 | |
| Lu et al. | A Parallel Adaptive DBSCAN Algorithm Based on k-Dimensional Tree Partition | |
| CN116503679B (zh) | 一种基于迁移性图谱的图像分类方法、装置、设备和介质 | |
| US20220245469A1 (en) | Decision Making Using Integrated Machine Learning Models and Knowledge Graphs | |
| CN117056088B (zh) | 一种基于MapReduce的多模态测图数据分布式并行计算方法及系统 | |
| CN118072180B (zh) | 一种基于关键子超图增强的高光谱图像分类方法 | |
| CN116051591B (zh) | 一种基于改进布谷鸟搜索算法的带钢图像阈值分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |