CN103458032B - 一种空间数据访问规律动态统计及信息压缩的方法及系统 - Google Patents

一种空间数据访问规律动态统计及信息压缩的方法及系统 Download PDF

Info

Publication number
CN103458032B
CN103458032B CN201310396525.7A CN201310396525A CN103458032B CN 103458032 B CN103458032 B CN 103458032B CN 201310396525 A CN201310396525 A CN 201310396525A CN 103458032 B CN103458032 B CN 103458032B
Authority
CN
China
Prior art keywords
cluster
spatial data
cloud
statistical information
data accessing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310396525.7A
Other languages
English (en)
Other versions
CN103458032A (zh
Inventor
潘少明
李红
汤戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201310396525.7A priority Critical patent/CN103458032B/zh
Publication of CN103458032A publication Critical patent/CN103458032A/zh
Application granted granted Critical
Publication of CN103458032B publication Critical patent/CN103458032B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明针对空间数据访问规律统计信息具有的离散性、无结构性,设计了一种空间数据访问规律动态统计及信息压缩的方法及系统,通过空间数据访问规律统计信息的点云表达、聚类梯度计算与聚类区域提取,实现偶发性访问的无效空间数据访问规律统计信息剔除,减少信息基量;通过对每个聚类点云集区域,按照点云差数和访问次数的点云序列用1个字节编码形成最终压缩统计数据输出,减少信息总量。本发明相对于现有技术,解决了由于全局动态统计带来的不可承载的网络流量问题,实现了实时动态跟踪空间数据访问全局分布规律,大大改善了空间数据系统公众服务能力。

Description

一种空间数据访问规律动态统计及信息压缩的方法及系统
技术领域
本发明属于大规模分布式环境下空间地理信息系统技术领域,尤其涉及海量空间信息存储、访问、缓存和控制应用技术领域,具体涉及一种云计算环境下空间数据访问规律动态统计及信息压缩的方法及系统。
背景技术
随着高精度遥感影像技术的提高,对空间数据(DOM/DEM/DLG/DRG)的开发和利用,已经被广泛重视并应用到众多领域。数字地球中的空间信息服务质量问题,即如何支持大规模、高强度的并发用户访问以提供高可靠、高可用的空间信息服务以及如何最快速地将空间数据传输并显示在数字地球的客户端,成为工业界和学术界的关注热点。随着互联网络技术的发展和宽带网络的普及,空间数据的服务形式从桌面转变到分布式网络环境中,新的服务形式迫切需要将空间数据服务和网络通信技术融合到一起,从而在分布式网络环境下为用户各种空间数据浏览、分析、查询、漫游等服务提供高效的平台支持。空间信息服务的质量,对于加速推广和普及空间信息服务和提升数字地球用户的服务体验,具有重要意义,相关的研究也就成为热点。
空间数据访问规律的动态统计,可有效的为空间数据的存储组织、副本数量及其存储分布提供依据,而动态统计所产生的海量空间数据访问规律统计信息将带来不可承载的网络流量,既而有算法研究如何通过P2P的方式,减少统计信息融合的副本数量。但由于统计信息基本量巨大,简单的代理分发和融合依然难以满足要求。
研究表明,空间用户访问统计信息存在由于用户兴趣、地区热点等引发的用户访问特征行为,也存在用户随意访问等偶发性行为。针对用户特征访问行为,其对应瓦片被再次访问的可能性大,而对偶发性访问行为,其行为准则难以判断,对应瓦片被再次访问的可能性不可预测。针对偶发性访问而进行空间数据瓦片的存储组织调整,将变得非常频繁和低效,不但很难有效提高空间信息服务系统的性能,相反,这种频繁的无序调整还将额外增加系统的计算和传输开销因此,如何减少偶发性访问形成的空间数据访问规律信息,成为问题的关键之一。
针对空间数据的压缩有很多研究,包括删格数据的压缩、矢量数据的压缩等。将空间数据映射成空间点云进行数据压缩处理的研究相对较少。纯粹的基于点云处理的研究包括边界提取、表面重建以及模型简化处理等,而点云去噪是基于点云测量和处理的重要过程之一,应用领域较广,包括地形测量,如利用地面三维激光扫描进行地形测量数据去噪,三维重构和曲面拟合等。
不同应用目的,点去噪算法也存在差异,对于有序或者部分有序的点云来说,可以采用的去噪算法有很多,如基于最小二乘估计的维纳滤波、卡尔曼滤波等。针对无序点云,一般是先利用相关规则建立其相互之间的拓扑关系,如八叉树法、k-dtree法以及空间单元格法等。海量空间统计数据点云规模巨大,数据映射到点云后,其点云基本是无序的,相互之间没有拓扑关系或很难确定其拓扑关系,针对这种无序海量点云,目前的研究算法较少。
所以,解决由于海量空间数据访问规律统计信息传输带来的不可承载的网络流量问题,从而实现能实时动态跟踪空间数据访问全局分布规律、大大改善空间数据系统公众服务能力的方法及系统,是目前该领域的重要研究方向。
发明内容
本发明目的在于解决现有技术不足,提供一种能解决由于海量空间数据访问规律统计信息传输带来的不可承载的网络流量问题、能实时动态跟踪空间数据访问全局分布规律、大大改善空间数据系统公众服务能力的空间数据访问规律动态统计及信息压缩的方法及系统。
本发明的方法所采用的技术方案是:一种空间数据访问规律动态统计及信息压缩的方法,其特征在于,包括以下步骤:
步骤1:空间数据访问规律统计信息点云输出:将空间数据访问规律信息按照每块瓦片数据的空间位置及其被访问下载次数,形成空间数据访问规律统计信息点云输出;
步骤2:空间数据访问规律统计信息聚类计算:根据获取的聚类计算半径参数计算空间数据访问规律统计信息点云聚类梯度,根据计算得到的聚类梯度剔除偶发性的离散访问点云,保留有效特征访问点云,减少空间数据访问规律统计信息基量;
步骤3:空间数据访问规律统计信息区域提取:根据获取的聚类区域提取扩散半径、聚类区域内点云差数量参数计算聚类内点云欧式距离,将特征访问点云进行聚类分组,形成聚类点云集,对空间数据访问规律统计信息进行聚类区域划分和分类提取;
步骤4:空间数据访问规律统计信息聚类压缩:根据每个聚类点云集区域,计算聚类区域内点云差,按照点云差数和访问次数的点云序列用1个字节编码形成最终压缩统计数据输出。
作为优选,所述的空间数据按照金子塔瓦片的形式存储,每块瓦片的被访问次数为空间数据访问规律统计信息;空间数据访问规律统计信息包括空间数据的位置坐标和访问次数。
作为优选,所述的空间数据访问规律统计信息空间坐标范围、空间数据块数量参数通过系统计算自动获取;聚类梯度计算参数、聚类区域提取扩散半径、聚类区域内点云差数量通过配置参数设置。
本发明的系统所采用的技术方案是:一种空间数据访问规律动态统计及信息压缩的系统,其特征在于,包括:空间数据访问规律统计信息表达单元、空间数据访问规律统计信息聚类计算单元、空间数据访问规律统计信息区域提取单元和空间数据访问规律统计信息聚类压缩单元;
所述的空间数据访问规律统计信息表达单元用于将空间数据访问规律信息按照每块瓦片数据的空间位置及其被访问下载次数,形成空间数据访问规律统计信息点云表达;
所述的空间数据访问规律统计信息聚类计算单元用于根据获取的聚类计算半径参数计算空间数据访问规律统计信息点云聚类梯度,剔除偶发性的离散访问点云,保留有效特征访问点云,减少空间数据访问规律统计信息基量;
所述的空间数据访问规律统计信息区域提取单元用于根据获取的聚类区域提取扩散半径、聚类区域内点云差数量参数计算聚类内点云欧式距离,将特征访问点云进行聚类分组,形成聚类点云集,达到对空间数据访问规律统计信息进行聚类区域划分和提取;
所述的空间数据访问规律统计信息聚类压缩单元用于对提取的每个聚类点云集区域,按照点云差数和访问次数的点云序列用1个字节编码形成最终压缩统计数据输出。
作为优选,所述的空间数据访问规律统计信息表达单元包括空间参数获取模块、点云表达调节因子计算模块和空间点云输出模块;
所述的空间参数获取模块用于获取空间数据访问规律统计信息空间坐标范围、空间数据块数量、空间数据被访问或下载最大次数参数;
所述的点云表达调节因子计算模块用于计算空间数据访问规律统计信息中空间数据点云输出调节因子;
所述的空间点云输出模块用于根据空间数据位置和调节因子输出将空间数据访问规律输出成空间点云。
作为优选,所述的空间数据访问规律统计信息聚类计算单元包括:聚类梯度计算参数输入模块和聚类梯度计算模块;
所述的聚类梯度计算参数输入模块用于控制聚类计算半径;
所述的聚类梯度计算模块用于区域内聚类梯度计算。
作为优选,所述的空间数据访问规律统计信息区域提取单元包括聚类区域提取参数输入模块和聚类区域提取模块;
所述的聚类区域提取参数输入模块用于限制聚类区域提取扩散半径、限制聚类区域内点云差数量;
所述的聚类区域提取模块用于提取聚类区域。
作为优选,所述的空间数据访问规律统计信息聚类压缩单元包括聚类区域点云差计算模块、点云序列组织模块和点云序列游程编码压缩模块;
所述的聚类区域点云差计算模块用于计算聚类区域内点云差;
所述的点云序列组织模块用于将聚类区域按照坐标顺序和点云差数量依序组织;
所述的点云序列游程编码压缩模块用于按照游程编码规则,将按序组织的点云序列进行编码压缩。
本发明具有的有益效果是:空间数据访问规律统计信息存在由于用户兴趣、地区热点等引发的用户访问特征行为,也存在用户随意访问等偶发性行为;针对用户特征访问行为,其对应空间数据瓦片被再次访问的可能性大,而对偶发性访问行为,其行为准则难以判断,对应瓦片被再次访问的可能性不可预测;本发明能在空间数据访问规律统计信息中,剔除偶发性访问形成的统计信息,并对点云数据根据欧式距离形成聚类集后压缩编码,形成最终统计信息输出,大大减少实际需要传输分发的空间数据访问规律统计信息总量;解决了由于海量空间数据访问规律统计信息传输带来的不可承载的网络流量问题,能实时动态跟踪空间数据访问全局分布规律,大大改善空间数据系统公众服务能力。
附图说明
附图1:是本发明的方法流程图。
附图2:是本发明实施例中系统的结构示意图。
附图3:是本发明实施例中空间数据访问规律统计信息表达单元的功能模块图。
附图4:是本发明实施例中空间数据访问规律统计信息聚类计算单元的功能模块图。
附图5:是本发明实施例中空间数据访问规律统计信息区域提取单元的功能模块图。
附图6:是本发明实施例中空间数据访问规律统计信息聚类压缩单元的功能模块图。
具体实施方式
以下结合附图和具体实施方式对本发明做进一步的阐述,本实施例主要以地理信息系统作为载体进行具体说明。
针对空间数据访问分布规律,微软研究院通过Hotmap模型得到数字地球系统中的影像瓦片请求符合幂律(Power-law)访问分布,但这种局部、静态的访问分布规律,不能真正实时、动态的反映访问分布规律的全局信息,从而制约了系统服务能力的提高。一方面,由于存在地形区域的差异(海洋、沙漠、城市)、时事热点的差异(海湾战争、朝韩冲突、台海问题)等,针对空间数据的访问是高度分布不均的,而且国际时事风云变幻,热点区域经常转移,导致空间数据的访问规律也动态变化;另一方面,分布式空间信息服务环境下的异构服务器也存在更新替换、性能老化,导致这种分布不均和设备性能差异(处理能力的差异(内存、CPU)、存储能力的差异(存储聚合速度、存储容量、容错能力)、有效传输带宽的差异)是经常变化的;因此需要对这些要素信息进行动态统计和分发,以便跟踪这些变化,及时调整地形数据的存储组织策略和预取、缓存策略。
通过简单的同步、复制机制进行异构服务器的全局、动态统计和获取空间数据访问分布规律,将带来的不可承载的网络流量。以SRTM90地形数据为例,共3538890块瓦片,若每个字节表示一个瓦片的访问次数,则每个字节可以代表最大255次访问,可以计算,当服务器数量达到1000个时,一次统计分发,由于没有信息压缩,每个服务器产生的数据都将分发999次,总共将分发3292.55GB的总数据量,通过这种方式实时、动态统计将持续产生大量的统计流量,从而挤占用户服务带宽,影响服务体验。因此,如何有效的减少空间数据访问规律动态统计信息总量成为关键。
请见图1、图2、图4、图5和图6,本发明的方法所采用的技术方案是:一种空间数据访问规律动态统计及信息压缩的方法,包括以下步骤:
步骤1:空间数据访问规律统计信息点云输出:将空间数据访问规律信息按照每块瓦片数据的空间位置及其被访问下载次数,形成空间数据访问规律统计信息点云输出;
步骤2:空间数据访问规律统计信息聚类计算:根据获取的聚类计算半径参数计算空间数据访问规律统计信息点云聚类梯度,根据计算得到的聚类梯度剔除偶发性的离散访问点云,保留有效特征访问点云,减少空间数据访问规律统计信息基量;
步骤3:空间数据访问规律统计信息区域提取:根据获取的聚类区域提取扩散半径、聚类区域内点云差数量参数计算聚类内点云欧式距离,将特征访问点云进行聚类分组,形成聚类点云集,对空间数据访问规律统计信息进行聚类区域划分和分类提取;
步骤4:空间数据访问规律统计信息聚类压缩:根据每个聚类点云集区域,计算聚类区域内点云差,按照点云差数和访问次数的点云序列用1个字节编码形成最终压缩统计数据输出。
其中,空间数据按照金子塔瓦片的形式存储,每块瓦片的被访问次数为空间数据访问规律统计信息;空间数据访问规律统计信息包括空间数据的位置坐标和访问次数;空间数据访问规律统计信息空间坐标范围、空间数据块数量参数通过系统计算自动获取;聚类梯度计算参数、聚类区域提取扩散半径、聚类区域内点云差数量通过配置参数设置。
请见图2、本发明的系统所采用的技术方案是:一种空间数据访问规律动态统计及信息压缩的系统,包括:空间数据访问规律统计信息表达单元100、空间数据访问规律统计信息聚类计算单元200、空间数据访问规律统计信息区域提取单元300和空间数据访问规律统计信息聚类压缩单元400;空间数据访问规律统计信息表达单元100用于将空间数据访问规律信息按照每块瓦片数据的空间位置及其被访问下载次数,形成空间数据访问规律统计信息点云表达;空间数据访问规律统计信息聚类计算单元200用于根据获取的聚类计算半径参数计算空间数据访问规律统计信息点云聚类梯度,剔除偶发性的离散访问点云,保留有效特征访问点云,减少空间数据访问规律统计信息基量;空间数据访问规律统计信息区域提取单元300用于根据获取的聚类区域提取扩散半径、聚类区域内点云差数量参数计算聚类内点云欧式距离,将特征访问点云进行聚类分组,形成聚类点云集,达到对空间数据访问规律统计信息进行聚类区域划分和提取;空间数据访问规律统计信息聚类压缩单元400用于对提取的每个聚类点云集区域,按照点云差数和访问次数的点云序列用1个字节编码形成最终压缩统计数据输出。
空间数据访问规律统计信息表达单元100包括空间参数获取模块101、点云表达调节因子计算模块102和空间点云输出模块103;空间参数获取模块101用于获取空间数据访问规律统计信息空间坐标范围、空间数据块数量、空间数据被访问或下载最大次数参数;点云表达调节因子计算模块102用于计算空间数据访问规律统计信息中空间数据点云输出调节因子;
空间点云输出模块103用于根据空间数据位置和调节因子输出将空间数据访问规律输出成空间点云。
其中,空间数据访问规律统计信息聚类计算单元200包括:聚类梯度计算参数输入模块201和聚类梯度计算模块202;聚类梯度计算参数输入模块201用于控制聚类计算半径;聚类梯度计算模块202用于区域内聚类梯度计算。空间数据访问规律统计信息区域提取单元300包括聚类区域提取参数输入模块301和聚类区域提取模块302;聚类区域提取参数输入模块301用于限制聚类区域提取扩散半径、限制聚类区域内点云差数量;聚类区域提取模块302用于提取聚类区域。空间数据访问规律统计信息聚类压缩单元400包括聚类区域点云差计算模块401、点云序列组织模块402和点云序列游程编码压缩模块403;聚类区域点云差计算模块401用于计算聚类区域内点云差;点云序列组织模块402用于将聚类区域按照坐标顺序和点云差数量依序组织;点云序列游程编码压缩模块403用于按照游程编码规则,将按序组织的点云序列进行编码压缩。
本系统实际工作时的具体流程为:
(1)空间数据访问规律统计信息点云输出:通过所述空间数据访问规律统计信息表达单元100将空间数据访问规律信息按照每块瓦片数据的空间位置及其被访问下载次数,形成空间数据访问规律统计信息点云输出;在这一过程,包括以下方面:
①利用所述的空间参数获取模块101获取空间数据访问规律统计信息空间坐标范围、空间数据块数量、空间数据被访问或下载最大次数参数;
空间数据访问规律统计信息的空间坐标范围根据所有统计的空间数据坐标,分别选择最大坐标和最小坐标作为空间坐标范围;
空间数据块数量N依据空间坐标范围计算面积可得,即连续空间坐标范围内,每个点代表一块空间数据;
空间数据被访问或下载最大次数参数只需要依次获取每块空间数据块i的被访问或下载次数ki,取最大值即可。
②利用所述的点云表达调节因子计算模块102计算空间数据访问规律统计信息中空间数据点云输出调节因子;
若空间瓦片总个数为N,每个瓦片的访问次数分别为ki,则调节因子α要求满足式(1)限制;
α≤255-max(ki),i=1,2,…,N(1)
其中255表示最大访问次数必须不大于255,对于大于255的空间数据,通过拆分成多份数据进行压缩处理,最大访问次数必须小于255的限制,是为了满足后续处理中游程编码运算效率要求。
③利用所述的空间点云输出模块103将空间数据访问规律信息根据空间数据位置和调节因子输出成空间点云;
首先将地理信息系统的每个瓦片看成一个点,所有瓦片形成一个空间连续点集,没有被访问的空间瓦片称为“虚点”,被访问的瓦片称“实点”;
同时,“虚点”以颜色RGB(255,255,255)表示,实点i根据其访次数,分别按照颜色RGB(ki+α,0,0)表示,其中ki为空间数据实点i被访问或下载次数,最大不超过255次;
最后,按照“虚点”、“实点”的相对坐标,将空间数据访问映射成空间点云,其中“实点”代表被访问的瓦片,点云颜色深浅表示被访问的次数。
(2)空间数据访问规律统计信息聚类计算:通过所述空间数据访问规律统计信息聚类计算单元200,根据获取的聚类计算半径参数计算空间数据访问规律统计信息点云聚类梯度,根据计算得到的聚类梯度剔除偶发性的离散访问点云,保留有效特征访问点云,减少空间数据访问规律统计信息基量;在这一过程,包括以下方面:
①利用所述的聚类梯度计算参数输入模块201获取用于控制聚类计算半径参数;
控制聚类计算半径参数r和空间访问聚类梯度阀值T通过配置管理输入。
②利用所述的聚类梯度计算模块202进行区域内聚类梯度计算;
考察一段时间t,设某瓦片“实点”pi的访问次数为ki,以pi为中心,边长r的区域内,其ni个邻居“实点”瓦片p′i,j(j=1,2,…,ni)的访问次数分别为k′i,j(j=1,2,…,ni),访问聚类梯度表示某“实点”瓦片被访问的聚集程度,聚集程度越低,是偶发性访问的可能性越大,定义瓦片pi的访问聚类梯度为T(pi),则有:
T ( p i ) = Σ j N i k i × k i , j ′ × r f d ( p i , p i , j ′ ) × k av 2
其中,ki×k′i,j表示瓦片的被访问次数,次数越大,访问聚类梯度越大,被再次访问的可能性越大;函数fd(pi,p′i,j)表示两点之间的欧式距离,通过瓦片坐标可以计算,距离越大,“实点”瓦片越离散,偶发性访问的可能性越大,被再次访问的概率越小,kav表示统计范围内所有“实点”的平均访问次数;参数r和kav为平衡系数,使访问聚类梯度T(pi)的值落入1附近;
瓦片的访问梯度为T(pi)越大,表示该瓦片更聚集,该瓦片下次被再次访问的概率相对更高,需要统计融合传输,相反,则更离散,被再次访问的概率相对更小;
选择一个合适的空间访问聚类梯度阀值T,过滤掉不需要统计的访问瓦片,将大大减少空间访问统计数据的瓦片数量。同样,选择一个足够大的T,将包含全部“实点”瓦片。
(3)空间数据访问规律统计信息区域提取:通过所述的空间数据访问规律统计信息区域提取单元300,根据获取的聚类区域提取扩散半径、聚类区域内点云差数量参数计算聚类内点云欧式距离,将特征访问点云进行聚类分组,形成聚类点云集,对空间数据访问规律统计信息进行聚类区域划分和分类提取;在这一过程,包括以下方面:
①利用所述的聚类区域提取参数输入模块301获取限制聚类区域提取扩散半径、限制聚类区域内点云差数量参数;
聚类区域提取扩散半径参数Ed和限制聚类区域内点云差数量参数Kc通过配置管理输入。
②利用所述的聚类区域提取模块302提取聚类区域;
经过偶发性离散点剔除后的点云数据,存在明显的分块聚集性,聚类区域提取是将散乱点剔除后的点云,根据其空间临近性和颜色临近性进行分组。空间临近性依据其相互之间的欧式距离,颜色临近性根据其访问次数差;
定义1:聚类CL是满足下列等式的点的集合:
CL = { p i | ( p i - p j ) ( p i - p j ) T ≤ E d | k i - k j | ≤ K c , p j ∈ CL } - - - ( 2 )
其中Ed为欧式距离调节因子,用于限制聚类大小和扩散半径;Kc为访问次数(点云颜色)调节因子,用于限制聚类点云之间的访问频率差。基于以上分析,Ed和Kc最大为127。
式(2)表明,聚类内点云之间的距离和色差必须满足条件,通过调整调节因子,可组成不同的聚类组合,且聚类组合内的点云相互之间点云差小于127,可以用1个字节表示。
(4)空间数据访问规律统计信息聚类压缩:通过所述的空间数据访问规律统计信息聚类压缩单元400,根据每个聚类点云集区域,计算聚类区域内点云差,按照点云差数和访问次数的点云序列用1个字节编码形成最终压缩统计数据输出;在这一过程,包括以下方面:
①利用所述的聚类区域点云差计算模块401计算聚类区域内点云差;
设空间数据块i的被访问或下载次数ki,空间数据块j的被访问或下载次数kj,则空间数据块j的聚类区域内点云差KDj=kj-ki。
②利用所述的点云序列组织模块402将聚类区域按照坐标顺序和点云差数量依序组织成点云序列;
对每个聚类点云集,按照如下形似组织形成点云序列:定义瓦片点云pi由三元组<xi,yi,ki>描述,其中xi,yi为点云坐标,ki为访问次数,针对四维空间点云,只需扩展为四元组,为简单起见,以某层平面瓦片点云为例。聚类内所有点云根据顺序,按照<x1,x2-x1,…,xn-xn-1>、<y1,y2-y1,…,yn-yn-1>和<k1,KD2,…,KDn>的形式组织,形成三个点云差序列。
③利用所述的点云序列游程编码压缩模块403将组织的点云序列按照游程编码规则进行编码压缩输出;
将坐标点云差序列的第一个数用2个字节表示,其余点云差数和访问次数点云序列用1个字节表示,并对每个序列按照游程编码进行压缩,最终形成空间访问统计聚类压缩编码数据输出。
本发明针对空间数据访问规律统计信息具有的离散性、无结构性,设计一种云计算环境下空间数据访问规律动态统计信息压缩方法,通过空间数据访问规律统计信息的点云表达、聚类梯度计算与聚类区域提取,实现偶发性访问的无效空间数据访问规律统计信息剔除,减少信息基量;通过对每个聚类点云集区域,按照点云差数和访问次数的点云序列用1个字节编码形成最终压缩统计数据输出,减少信息总量。解决由于全局动态统计带来的不可承载的网络流量问题,能实时动态跟踪空间数据访问全局分布规律,大大改善空间数据系统公众服务能力。
本发明可应用于大规模分布式环境下空间地理信息系统技术领域,特别是涉及海量空间信息存储、访问、缓存和控制应用技术领域。
以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,因此,凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种空间数据访问规律动态统计及信息压缩的方法,其特征在于,包括以下步骤:
步骤1:空间数据访问规律统计信息点云输出:将空间数据访问规律信息按照每块瓦片数据的空间位置及其被访问下载次数,形成空间数据访问规律统计信息点云输出;
步骤2:空间数据访问规律统计信息聚类计算:根据获取的聚类计算半径参数计算空间数据访问规律统计信息点云聚类梯度,根据计算得到的聚类梯度剔除偶发性的离散访问点云,保留有效特征访问点云,减少空间数据访问规律统计信息基量;
所述根据获取的聚类计算半径参数计算空间数据访问规律统计信息点云聚类梯度,实现过程是定义瓦片pi的访问聚类梯度为T(pi),则有:
T ( p i ) = &Sigma; j N i k i &times; k i , j &prime; &times; r f d ( p i , p i , j &prime; ) &times; k a v 2
其中,ki×k′i,j表示瓦片的被访问次数,次数越大,访问聚类梯度越大,被再次访问的可能性越大;函数fd(pi,p′i,j)表示两点之间的欧式距离,通过瓦片坐标可以计算,距离越大,“实点”瓦片越离散,偶发性访问的可能性越大,被再次访问的概率越小,kav表示统计范围内所有“实点”的平均访问次数;参数r和kav为平衡系数,使访问聚类梯度T(pi)的值落入1附近;
步骤3:空间数据访问规律统计信息区域提取:根据获取的聚类区域提取扩散半径、聚类区域内点云差数量参数计算聚类内点云欧式距离,将特征访问点云进行聚类分组,形成聚类点云集,对空间数据访问规律统计信息进行聚类区域划分和分类提取;
步骤4:空间数据访问规律统计信息聚类压缩:根据每个聚类点云集区域,计算聚类区域内点云差,按照点云差数和访问次数的点云序列用1个字节编码形成最终压缩统计数据输出。
2.根据权利要求1所述的空间数据访问规律动态统计及信息压缩的方法,其特征在于:所述的空间数据按照金子塔瓦片的形式存储,每块瓦片的被访问次数为空间数据访问规律统计信息;空间数据访问规律统计信息包括空间数据的位置坐标和访问次数。
3.根据权利要求1所述的空间数据访问规律动态统计及信息压缩的方法,其特征在于:所述的空间数据访问规律统计信息空间坐标范围、空间数据块数量参数通过系统计算自动获取;聚类梯度计算参数、聚类区域提取扩散半径、聚类区域内点云差数量通过配置参数设置。
4.一种空间数据访问规律动态统计及信息压缩的系统,其特征在于,包括:空间数据访问规律统计信息表达单元(100)、空间数据访问规律统计信息聚类计算单元(200)、空间数据访问规律统计信息区域提取单元(300)和空间数据访问规律统计信息聚类压缩单元(400);
所述的空间数据访问规律统计信息表达单元(100)用于将空间数据访问规律信息按照每块瓦片数据的空间位置及其被访问下载次数,形成空间数据访问规律统计信息点云表达;
所述的空间数据访问规律统计信息聚类计算单元(200)用于根据获取的聚类计算半径参数计算空间数据访问规律统计信息点云聚类梯度,剔除偶发性的离散访问点云,保留有效特征访问点云,减少空间数据访问规律统计信息基量;
所述根据获取的聚类计算半径参数计算空间数据访问规律统计信息点云聚类梯度,实现过程是定义瓦片pi的访问聚类梯度为T(pi),则有:
T ( p i ) = &Sigma; j N i k i &times; k i , j &prime; &times; r f d ( p i , p i , j &prime; ) &times; k a v 2
其中,ki×k′i,j表示瓦片的被访问次数,次数越大,访问聚类梯度越大,被再次访问的可能性越大;函数fd(pi,p′i,j)表示两点之间的欧式距离,通过瓦片坐标可以计算,距离越大,“实点”瓦片越离散,偶发性访问的可能性越大,被再次访问的概率越小,kav表示统计范围内所有“实点”的平均访问次数;参数r和kav为平衡系数,使访问聚类梯度T(pi)的值落入1附近;
所述的空间数据访问规律统计信息区域提取单元(300)用于根据获取的聚类区域提取扩散半径、聚类区域内点云差数量参数计算聚类内点云欧式距离,将特征访问点云进行聚类分组,形成聚类点云集,达到对空间数据访问规律统计信息进行聚类区域划分和提取;
所述的空间数据访问规律统计信息聚类压缩单元(400)用于对提取的每个聚类点云集区域,按照点云差数和访问次数的点云序列用1个字节编码形成最终压缩统计数据输出。
5.根据权利要求4所述的空间数据访问规律动态统计及信息压缩的系统,其特征在于:所述的空间数据访问规律统计信息表达单元(100)包括空间参数获取模块(101)、点云表达调节因子计算模块(102)和空间点云输出模块(103);
所述的空间参数获取模块(101)用于获取空间数据访问规律统计信息空间坐标范围、空间数据块数量、空间数据被访问或下载最大次数参数;
所述的点云表达调节因子计算模块(102)用于计算空间数据访问规律统计信息中空间数据点云输出调节因子;
所述的空间点云输出模块(103)用于根据空间数据位置和调节因子输出将空间数据访问规律输出成空间点云。
6.根据权利要求4所述的空间数据访问规律动态统计及信息压缩的系统,其特征在于:所述的空间数据访问规律统计信息聚类计算单元(200)包括:聚类梯度计算参数输入模块(201)和聚类梯度计算模块(202);
所述的聚类梯度计算参数输入模块(201)用于控制聚类计算半径;
所述的聚类梯度计算模块(202)用于区域内聚类梯度计算。
7.根据权利要求4所述的空间数据访问规律动态统计及信息压缩的系统,其特征在于:所述的空间数据访问规律统计信息区域提取单元(300)包括聚类区域提取参数输入模块(301)和聚类区域提取模块(302);
所述的聚类区域提取参数输入模块(301)用于限制聚类区域提取扩散半径、限制聚类区域内点云差数量;
所述的聚类区域提取模块(302)用于提取聚类区域。
8.根据权利要求4所述的空间数据访问规律动态统计及信息压缩的系统,其特征在于:所述的空间数据访问规律统计信息聚类压缩单元(400)包括聚类区域点云差计算模块(401)、点云序列组织模块(402)和点云序列游程编码压缩模块(403);
所述的聚类区域点云差计算模块(401)用于计算聚类区域内点云差;
所述的点云序列组织模块(402)用于将聚类区域按照坐标顺序和点云差数量依序组织;
所述的点云序列游程编码压缩模块(403)用于按照游程编码规则,将按序组织的点云序列进行编码压缩。
CN201310396525.7A 2013-09-03 2013-09-03 一种空间数据访问规律动态统计及信息压缩的方法及系统 Expired - Fee Related CN103458032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310396525.7A CN103458032B (zh) 2013-09-03 2013-09-03 一种空间数据访问规律动态统计及信息压缩的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310396525.7A CN103458032B (zh) 2013-09-03 2013-09-03 一种空间数据访问规律动态统计及信息压缩的方法及系统

Publications (2)

Publication Number Publication Date
CN103458032A CN103458032A (zh) 2013-12-18
CN103458032B true CN103458032B (zh) 2016-03-16

Family

ID=49739974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310396525.7A Expired - Fee Related CN103458032B (zh) 2013-09-03 2013-09-03 一种空间数据访问规律动态统计及信息压缩的方法及系统

Country Status (1)

Country Link
CN (1) CN103458032B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096002B (zh) * 2016-06-22 2019-04-26 武汉大学 基于访问流行度和相关性的空间数据副本控制方法及系统
CN107679127A (zh) * 2017-09-21 2018-02-09 北京星闪世图科技有限公司 基于地理位置的点云信息并行提取方法及其系统
WO2020237647A1 (zh) * 2019-05-31 2020-12-03 深圳市大疆创新科技有限公司 点云数据的编码方法、编码装置、解码方法与解码装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877128A (zh) * 2009-12-23 2010-11-03 中国科学院自动化研究所 一种三维场景中不同物体的分割方法
CN103118102A (zh) * 2013-01-28 2013-05-22 北京师范大学珠海分校 一种在云计算环境下空间数据访问规律的统计与控制系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877128A (zh) * 2009-12-23 2010-11-03 中国科学院自动化研究所 一种三维场景中不同物体的分割方法
CN103118102A (zh) * 2013-01-28 2013-05-22 北京师范大学珠海分校 一种在云计算环境下空间数据访问规律的统计与控制系统及方法

Also Published As

Publication number Publication date
CN103458032A (zh) 2013-12-18

Similar Documents

Publication Publication Date Title
US10552989B2 (en) Point cloud attribute compression method based on KD tree and optimized graph transformation
CN102890828B (zh) 基于法向夹角的点云数据精简方法
CN109189949B (zh) 一种人口分布计算方法
CN103701466A (zh) 基于特征保留的散乱点云压缩算法
CN102750730B (zh) 一种特征保持的点云数据精简方法
Xu et al. Mobile cellular big data: Linking cyberspace and the physical world with social ecology
Gong et al. Spatiotemporal dynamics in the cultivated and built-up land of Guangzhou: Insights from zoning
CN107611962B (zh) 电网系统支路搜索方法、系统及电子设备
CN110134907B (zh) 一种降雨缺失数据填补方法、系统及电子设备
CN103440280A (zh) 一种应用于海量空间数据检索的索引方法及装置
CN110913032A (zh) 一种电网威胁情报实现dns域名请求分析方法及其平台
CN103458032B (zh) 一种空间数据访问规律动态统计及信息压缩的方法及系统
CN103118102B (zh) 一种在云计算环境下空间数据访问规律的统计与控制系统及方法
CN103500278B (zh) 基于最短路径算法的路径相似台风分析方法
CN113467851A (zh) 一种基于车辆聚类的动态车辆计算任务卸载方法和装置
CN114648617A (zh) 一种基于数字高程模型dem的水系提取方法
Lv et al. Internet of Things and augmented reality in the age of 5G
CN104636492A (zh) 一种基于模糊积分特征融合的动态数据分级方法
CN114358246A (zh) 三维点云场景的注意力机制的图卷积神经网络模块
CN107995278B (zh) 一种基于城域级物联网感知数据的场景智能分析系统与方法
CN102779120B (zh) 确定站点的领域信息以及相关性判定方法、系统及设备
CN104268270A (zh) 基于MapReduce挖掘海量社交网络数据中三角形的方法
CN103338460B (zh) 用于动态网络环境的节点中心度的计算方法
CN110120058B (zh) 一种高程散点生成紧致外边界的方法
Jung et al. Development of Information Technology Infrastructures through Construction of Big Data Platform for Road Driving Environment Analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160316

Termination date: 20160903

CF01 Termination of patent right due to non-payment of annual fee