CN106802786B - 基于哈希区域映射的时空距离计算系统及方法 - Google Patents

基于哈希区域映射的时空距离计算系统及方法 Download PDF

Info

Publication number
CN106802786B
CN106802786B CN201611131539.6A CN201611131539A CN106802786B CN 106802786 B CN106802786 B CN 106802786B CN 201611131539 A CN201611131539 A CN 201611131539A CN 106802786 B CN106802786 B CN 106802786B
Authority
CN
China
Prior art keywords
grid
module
computing engines
distance
hash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201611131539.6A
Other languages
English (en)
Other versions
CN106802786A (zh
Inventor
闵圣捷
丁星
杨春勇
武静
周洋
黄滔
徐波
梁宁娜
靳永超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CLP SECTION HUAYUN INFORMATION TECHNOLOGY Co Ltd
Original Assignee
CLP SECTION HUAYUN INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CLP SECTION HUAYUN INFORMATION TECHNOLOGY Co Ltd filed Critical CLP SECTION HUAYUN INFORMATION TECHNOLOGY Co Ltd
Priority to CN201611131539.6A priority Critical patent/CN106802786B/zh
Publication of CN106802786A publication Critical patent/CN106802786A/zh
Application granted granted Critical
Publication of CN106802786B publication Critical patent/CN106802786B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3867—Concurrent instruction execution, e.g. pipeline or look ahead using instruction pipelines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于哈希区域映射的时空距离计算系统及方法，该系统包括地理位置数据库模块、网格划分器、网格距离计算引擎模块、快速HASH计算引擎模块、网格定位器、查询引擎模块、点与点的测地距离模块、分布式缓存模块，网格划分器、网格定位器都与地理位置数据库模块相连，网格距离计算引擎模块位于网格划分器和快速HASH计算引擎模块之间，快速HASH计算引擎模块与分布式缓存模块相连，分布式缓存模块、点与点的测地距离模块都与查询引擎模块相连，查询引擎模块与网格定位器相连。本发明能够采用快速HASH算法，提高测地距离的准确度，高效低耗。

Description

基于哈希区域映射的时空距离计算系统及方法
技术领域
本发明涉及一种时空距离计算系统及方法，特别是涉及一种基于哈希区域映射的时空距离计算系统及方法。
背景技术
现有的利用地理位置信息进行空间分析的系统中，常常会遇到求取某一连通域内两点间最短路径和相应的距离这类问题，通常上使用的欧氏距离对此有较大的局限性，其原因在于定义区域中两点之间的距离时，只考虑了两点之间的抽象距离；现有的散列存储算法效率较低、硬件资源消耗较高，已无法满足大数据下海量的数据的存储和计算。
发明内容
本发明所要解决的技术问题是提供一种基于哈希区域映射的时空距离计算系统及方法，其能够采用快速HASH算法，提高测地距离的准确度，高效低耗。
本发明是通过下述技术方案来解决上述技术问题的：一种基于哈希区域映射的时空距离计算系统，其包括地理位置数据库模块、网格划分器、网格距离计算引擎模块、快速HASH计算引擎模块、网格定位器、查询引擎模块、点与点的测地距离模块、分布式缓存模块，网格划分器、网格定位器都与地理位置数据库模块相连，网格距离计算引擎模块位于网格划分器和快速HASH计算引擎模块之间，快速HASH计算引擎模块与分布式缓存模块相连，分布式缓存模块、点与点的测地距离模块都与查询引擎模块相连，查询引擎模块与网格定位器相连。
优选地，所述网格划分器用网格表达地理位置动态时空变化的规律，根据经纬度或坐标位置以及海拔信息，将规划区域划分为更粗粒度的网格，并赋予唯一的网格编号以用于后续的计算。
优选地，所述网格距离计算引擎模块是针对非障碍物的网格，计算两两网格之间的测地距离；网格距离计算引擎模块的输入为成对的网格经纬度和海拔高度，输出为两个网格间的实际测地距离。
优选地，所述快速HASH计算引擎模块采用HighwayHash算法。
优选地，所述HighwayHash算法利用CPU的AVX-2、SIMD指令每次处理32字节数据，根据输入的256位秘钥和变长参数计算出64-256位的哈希值，以网格ID为Key，将两两网格距离快速散列存储到相应存储介质中，以便于快速查询。
优选地，所述网格定位器是根据地理位置的经纬度或者坐标位置，将其定位至网格划分器划分好的相应网格，也根据输入的经纬度或坐标位置计算出对应的网格。
优选地，所述查询引擎模块是根据网格定位器的计算结果，按照网格ID，通过快速HASH找出要计算的点的测地距离作为最终距离。
本发明还提供一种基于哈希区域映射的时空距离计算方法，其包括以下步骤：
步骤一，使用网格规划区域内的点，通过网格划分器将规划区划分为多个网格，根据区域性质和用户密度适当调整，网格大小在0.2-2平方公里之间，以网格为单位，用于描述或表达其中的属性分类、统计分级以及变化参数；
步骤二，针对非障碍物网格，计算两两之间的测地距离；通过网格距离计算引擎计算非障碍物的网格之间的测地距离；
步骤三，以网格位置作为key，通过快速HASH存入内存或硬盘桶中；通过快速HASH计算引擎，将步骤二的计算结果存储到存储介质中；
步骤四，计算某两个点距离时，通过网格计算对应的点的网格位置；根据位置的经纬度，通过网格定位器，将其定位到对应的网格位置；
步骤五，根据网格位置，通过快速HASH找出要计算的点的测地距离作为最终距离；根据两点的网格位置，通过查询引擎查询出步骤二中的相对应网格间的测地距离作为最终结果。
本发明的积极进步效果在于：本发明能够采用快速HASH算法，提高测地距离的准确度，高效低耗。
附图说明
图1为本发明的结构示意图。
图2为本发明的流程图。
具体实施方式
下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。
如图1所示，本发明基于哈希区域映射的时空距离计算系统包括地理位置数据库模块、网格划分器、网格距离计算引擎模块、快速HASH(哈希)计算引擎模块、网格定位器、查询引擎模块、点与点的测地距离模块、分布式缓存模块，网格划分器、网格定位器都与地理位置数据库模块相连，网格距离计算引擎模块位于网格划分器和快速HASH计算引擎模块之间，快速HASH计算引擎模块与分布式缓存模块相连，分布式缓存模块、点与点的测地距离模块都与查询引擎模块相连，查询引擎模块与网格定位器相连。
所述网格划分器用网格表达地理位置动态时空变化的规律，即用于描述或表达地理位置的属性分类、统计分级以及变化参数等；根据经纬度或坐标位置以及海拔信息，将规划区域划分为更粗粒度的网格，并赋予唯一的网格编号以用于后续的计算；根据市政道路、河流、铁路等作为边界线，将住宅小区、校园、城中村以及商业圈等将规划的区域划分成网格。
所述网格距离计算引擎模块是针对非障碍物的网格，计算两两网格之间的测地距离；网格距离计算引擎模块的输入为成对的网格经纬度(或坐标位置)和海拔高度，输出为两个网格间的实际测地距离。
所述快速HASH计算引擎模块采用HighwayHash(高效哈希)算法，其特点为高吞吐量、低硬件消耗。
所述HighwayHash算法利用CPU(Central Processing Unit，中央处理器)的AVX-2(指令集)、SIMD(Single Instruction Multiple Data，单指令多数据流)指令每次处理32字节(Byte)数据，根据输入的256位秘钥和变长参数计算出64-256位的哈希值，以网格ID(identification，身份证)为Key(钥匙)，将两两网格距离快速散列存储到相应存储介质中(如Reids(数据库))，以便于快速查询。
所述网格定位器是根据地理位置的经纬度或者坐标位置，将其定位至网格划分器划分好的相应网格，也根据输入的经纬度或坐标位置计算出对应的网格。
所述查询引擎模块是根据网格定位器的计算结果，按照网格ID，通过快速HASH找出要计算的点的测地距离作为最终距离。
如图2所示，本发明基于哈希区域映射的时空距离计算方法包括以下步骤：
步骤一，使用网格规划区域内的点，通过网格划分器将规划区划分为多个网格(赋予唯一网格编号)，网格以市政道路、河流、铁路等作为边界围成独立区域，住宅小区、大学校园、居委会、城中村等可单独划为一个网格，可根据区域性质和用户密度适当调整，网格大小在0.2-2平方公里之间，以网格为单位，用于描述或表达其中的属性分类、统计分级以及变化参数等，即在地图上表达动态时空变化的规律；
步骤二，针对非障碍物网格，计算两两之间的测地距离；通过网格距离计算引擎计算非障碍物的网格之间的测地距离；
步骤三，以网格位置作为key，通过快速HASH存入内存或硬盘桶中；通过快速HASH计算引擎，将步骤二的计算结果存储到存储介质(建议使用分布式缓存，例如Redis)中；
步骤四，计算某两个点距离时，通过网格计算对应的点的网格位置；根据位置的经纬度，通过网格定位器，将其定位到对应的网格位置；
步骤五，根据网格位置，通过快速HASH找出要计算的点的测地距离作为最终距离；根据两点的网格位置，通过查询引擎查询出步骤二中的相对应网格间的测地距离作为最终结果。
以上所述的具体实施例，对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于哈希区域映射的时空距离计算系统，其特征在于，其包括地理位置数据库模块、网格划分器、网格距离计算引擎模块、快速HASH计算引擎模块、网格定位器、查询引擎模块、点与点的测地距离模块、分布式缓存模块，网格划分器、网格定位器都与地理位置数据库模块相连，网格距离计算引擎模块位于网格划分器和快速HASH计算引擎模块之间，快速HASH计算引擎模块与分布式缓存模块相连，分布式缓存模块、点与点的测地距离模块都与查询引擎模块相连，查询引擎模块与网格定位器相连；所述网格划分器用网格表达地理位置动态时空变化的规律，根据经纬度或坐标位置以及海拔信息，将规划区域划分为更粗粒度的网格，并赋予唯一的网格编号以用于后续的计算；所述网格距离计算引擎模块是针对非障碍物的网格，计算两两网格之间的测地距离；网格距离计算引擎模块的输入为成对的网格经纬度和海拔高度，输出为两个网格间的实际测地距离；所述快速HASH计算引擎模块采用HighwayHash算法；所述HighwayHash算法利用CPU的AVX-2，SIMD指令每次处理32字节数据，根据输入的256位秘钥和变长参数计算出64-256位的哈希值，以网格ID为Key，将两两网格距离快速散列存储到相应存储介质中，以便于快速查询；所述网格定位器是根据地理位置的经纬度或者坐标位置，将其定位至网格划分器划分好的相应网格，也根据输入的经纬度或坐标位置计算出对应的网格；所述查询引擎模块是根据网格定位器的计算结果，按照网格ID，通过快速HASH计算引擎模块找出要计算的点的测地距离作为最终距离。
CN201611131539.6A 2016-12-09 2016-12-09 基于哈希区域映射的时空距离计算系统及方法 Expired - Fee Related CN106802786B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611131539.6A CN106802786B (zh) 2016-12-09 2016-12-09 基于哈希区域映射的时空距离计算系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611131539.6A CN106802786B (zh) 2016-12-09 2016-12-09 基于哈希区域映射的时空距离计算系统及方法

Publications (2)

Publication Number Publication Date
CN106802786A CN106802786A (zh) 2017-06-06
CN106802786B true CN106802786B (zh) 2019-02-19

Family

ID=58984778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611131539.6A Expired - Fee Related CN106802786B (zh) 2016-12-09 2016-12-09 基于哈希区域映射的时空距离计算系统及方法

Country Status (1)

Country Link
CN (1) CN106802786B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110398524A (zh) * 2019-08-07 2019-11-01 哈尔滨工业大学水资源国家工程研究中心有限公司 一种用于测量土壤水分参数的智能桩
CN112214563B (zh) * 2020-09-08 2024-09-03 北京首钢自动化信息技术有限公司 一种基于区域划分的距离计算方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103383682A (zh) * 2012-05-01 2013-11-06 刘龙 一种地理编码方法、位置查询系统及方法
CN103995861A (zh) * 2014-05-16 2014-08-20 罗敬宁 一种基于空间关联的分布式数据装置、方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9986060B2 (en) * 2015-03-30 2018-05-29 General Electric Company Persistent caching of map imagery and data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103383682A (zh) * 2012-05-01 2013-11-06 刘龙 一种地理编码方法、位置查询系统及方法
CN103995861A (zh) * 2014-05-16 2014-08-20 罗敬宁 一种基于空间关联的分布式数据装置、方法及系统

Also Published As

Publication number Publication date
CN106802786A (zh) 2017-06-06

Similar Documents

Publication Publication Date Title
US11210268B2 (en) Scalable space-time density data fusion
CN112990976B (zh) 基于开源数据挖掘的商业网点选址方法、系统、设备及介质
Saenz et al. Estimating Lorenz’s reference state in an ocean with a nonlinear equation of state for seawater
CN106802786B (zh) 基于哈希区域映射的时空距离计算系统及方法
CN110334133A (zh) 规则挖掘方法和装置、电子设备和计算机可读存储介质
Refonaa et al. Analysis and prediction of natural disaster using spatial data mining technique
CN111859187A (zh) 基于分布式图数据库的poi查询方法、装置、设备及介质
Park et al. Visualization of urban air pollution with cloud computing
Huang et al. Parallel map matching on massive vehicle gps data using mapreduce
CN104219088A (zh) 一种基于Hive的网络告警信息OLAP方法
Yang et al. Recommending profitable taxi travel routes based on big taxi trajectories data
CN102637227B (zh) 基于最短路径的土地资源评价因子作用域划分方法
Zhang et al. Toward large-scale graph-based traffic forecasting: A data-driven network partitioning approach
CN114169771A (zh) 区域划分方法和装置、电子设备和存储介质
CN105468759B (zh) 空间体的频谱数据构建方法
CN102103600A (zh) 地图建立方法及地图系统
Lin et al. Performance evaluation of cluster algorithms for Big Data analysis on cloud
Wang et al. Detecting latent urban mobility structure using mobile phone data
Galba et al. Public transportation bigdata clustering
Hao et al. Automatic generation of water route based on AIS big data and ECDIS
Yang et al. A new hierarchical analysis framework of building heights: Towards a more intuitive understanding of 3D urban structure
Zhang et al. Helmholtz–Hodge decomposition-based 2D and 3D ocean surface current visualization for mesoscale eddy detection
CN102693161B (zh) 一种并行的土地资源质量评价因子空间量化方法
KR20210074550A (ko) 스마트시티 서비스를 위한 시공간 빅데이터 처리 시스템
Fengliang et al. Updating Road Information in Open‐Pit Mines Using Truck Trajectories

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190219

CF01 Termination of patent right due to non-payment of annual fee