CN106897314A - 基于经度、纬度比特交织的行键的位置数据区域查询方法 - Google Patents

基于经度、纬度比特交织的行键的位置数据区域查询方法 Download PDF

Info

Publication number
CN106897314A
CN106897314A CN201510962453.7A CN201510962453A CN106897314A CN 106897314 A CN106897314 A CN 106897314A CN 201510962453 A CN201510962453 A CN 201510962453A CN 106897314 A CN106897314 A CN 106897314A
Authority
CN
China
Prior art keywords
longitude
latitude
site polling
line unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510962453.7A
Other languages
English (en)
Other versions
CN106897314B (zh
Inventor
邹新生
何代钦
朱勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing BNC Technologies Co Ltd
Original Assignee
Beijing BNC Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing BNC Technologies Co Ltd filed Critical Beijing BNC Technologies Co Ltd
Priority to CN201510962453.7A priority Critical patent/CN106897314B/zh
Publication of CN106897314A publication Critical patent/CN106897314A/zh
Application granted granted Critical
Publication of CN106897314B publication Critical patent/CN106897314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提出了一种基于经度、纬度比特交织的行键的位置数据区域查询方法，该方法包括：步骤1，在Hbase数据库中获取位置数据；步骤2，利用经度、纬度比特交织的拼接方式生成行键；步骤3，按照该行键对所述位置数据进行分区、存储；步骤4，设定查询条件为区域查询，在所述行键中选取两个行键，分别记录为起始键、中止键，该起始键对应于区域查询范围的左上角，该中止键对应于区域查询范围的右下角；步骤5，根据存储的分区位置数据，利用起始键及中止键进行目标数据的范围扫描，获得初始区域查询结果；步骤6，对该区域查询结果按预设条件进行过滤，获得目标数据在位置数据区域中的区域查询结果。

Description

基于经度、纬度比特交织的行键的位置数据区域查询方法
技术领域
本发明涉及计算机大数据处理领域，尤指一种基于经度、纬度比特交织的行键的位置数据区域查询方法。
背景技术
随着物联网、移动互联网等技术的发展，应用平台处理的数据规模呈爆炸性增长，传统的关系数据库在应对海量数据增长时相对乏力，而各种非关系数据库技术(NOSQL)得到飞速发展。NOSQL数据模式很灵活，NOSQL集群易于水平扩展，既能够满足非结构化数据管理需要，也能够很好地应对海量结构化数据的管理需要。HBase就是一种典型的NOSQL。
位置数据的采集一般利用位置传感器，由位置传感器传回目标位置信息，一般包括经度、纬度等，在实际使用中，常需要根据区域范围搜索目标，并获取相应信息。在此可以将区域看作是一个矩形，由矩形的左上角和右下角确定该区域。
在现有技术中，位置数据查询方法一般包括：基于关系数据库的技术方案、基于HBase的技术方案。
基于关系数据库的技术方案是将经度、纬度分别做为关系数据库的单独列，先分别按照经度范围选取数据1，再按照纬度范围选取数据2，最后求数据1和数据2的交集。针对此类应用无较佳的优化机制，因其进行优化开销大，效果有限。
基于HBase的技术方案是采用HBase存储数据，HBase的Rowkey采用经度与纬度按照字符拼接的方式。区域查询时根据Rowkey对HBase进行range扫描，再根据经度的范围和纬度的范围过滤数据。由于HBase按照字典序对Rowkey进行排序，在range扫描时会出现需要的纬度范围以外的数据，从效果上看，即无法利用Rowkey中的纬度信息在range扫描时获取到需要的数据，range扫描结果需要大量地过滤，很影响性能。
发明内容
为实现性能更佳的位置数据区域查询，本发明提出了一种基于经度、纬度比特交织的行键的位置数据区域查询方法。在存储海量位置数据时，采用HBase，并使用经度拼接纬度的简单行键(Rowkey)设计，针对区域查询的应用特点，并考虑性能要求，采用经度与纬度比特交织的Rowkey设计方法，即在生成Rowkey时先取经度的高位，再取纬度的高位，再取经度的次高位，再取纬度的次高位，以此类推，最后取经度的低位和纬度的低位。根据Rowkey对数据进行分区、存储数据，并根据Rowkey进行range扫描这一事实，结合HBase在Rowkey排序时采用字典序这一特点，采用比特交织的Rowkey设计优先比较高字节数据，再比较低字节数据，这样能够尽快根据Rowkey进行数据定位，在range扫描时也能够尽快缩小扫描范围，而这都是由高字节数据相对低字节数据的重要性决定的。
为达到上述目的，本发明公开了一种基于经度、纬度比特交织的行键的位置数据区域查询方法，该方法包括：步骤1，在Hbase数据库中获取位置数据；步骤2，利用经度、纬度比特交织的拼接方式生成行键；步骤3，按照该行键对所述位置数据进行分区、存储；步骤4，设定查询条件为区域查询，在所述行键中选取两个行键，分别记录为起始键、中止键，该起始键对应于区域查询范围的左上角，该中止键对应于区域查询范围的右下角；步骤5，根据存储的分区位置数据，利用起始键及中止键进行目标数据的范围扫描，获得初始区域查询结果；步骤6，对该区域查询结果按预设条件进行过滤，获得目标数据在位置数据区域中的区域查询结果。
进一步的，在步骤2中，利用经度、纬度比特交织的拼接方式生成行键，其中，经度、纬度比特交织的拼接方式为经度最高位、纬度最高位、经度次高位、比特次高位依次直至经度次低位、纬度次低位、经度最低位、纬度最低位。
进一步的，在步骤4中，区域查询范围为一矩形，该矩形的左上角对应所述起始键，右下角对应所述中止键。
进一步的，在步骤6中，预设条件至少包括：经度范围、纬度范围。
本发明提出的基于经度、纬度比特交织的行键的位置数据区域查询方法，能够高效组织海量数据存储，显著提高海量位置数据按照区域查询时的性能。相较于现有技术，本发明提出的方法是达到同等效果的最简单方法。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为本发明一实施例的基于经度、纬度比特交织的行键的位置数据区域查询方法流程图。
图2所示为本发明一实施例的经度、纬度比特交织的行键生成方式示意图。
具体实施方式
以下配合图示及本发明的较佳实施例，进一步阐述本发明为达成预定发明目的所采取的技术手段。
图1为本发明一实施例的基于经度、纬度比特交织的行键的位置数据区域查询方法流程图。如图1所示，该方法包括：
步骤1，在Hbase数据库中获取位置数据。
步骤2，利用经度、纬度比特交织的拼接方式生成行键。图2所示为本发明一实施例的经度、纬度比特交织的行键生成方式示意图。其中，经度、纬度比特交织的方式为经度最高位、纬度最高位、经度次高位、比特次高位依次直至经度次低位、纬度次低位、经度最低位、纬度最低位。
步骤3，按照该行键对所述位置数据进行分区、存储。
步骤4，设定查询条件为区域查询，在所述行键中选取两个行键，分别记录为起始键、中止键，该起始键对应于区域查询范围的左上角，该中止键对应于区域查询范围的右下角。区域查询范围可以认为是一个矩形，该矩形的左上角对应起始键，右下角对应中止键。
步骤5，根据存储的分区位置数据，利用起始键及中止键进行目标数据的范围扫描，获得初始区域查询结果。
步骤6，对该区域查询结果按预设条件进行过滤，获得目标数据在位置数据区域中的区域查询结果。
在本实施例中，存储海量位置数据时可以采用HBase数据库。针对区域查询的应用特点，并考虑性能要求，本发明采用经度与纬度比特交织的拼接方式生成Rowkey，即在拼接生成Rowkey时，先取经度的高位，再取纬度的高位，再取经度的次高位，再取纬度的次高位，……，最后取经度的低位和纬度的低位。
在Rowkey设计时，本发明利用了HBase根据Rowkey对数据进行分区、存储数据，并根据Rowkey进行range扫描这一事实，结合HBase在Rowkey排序时采用字典序这一特点，采用比特交织的Rowkey设计优先比较高字节数据，再比较低字节数据，这样能够尽快根据Rowkey进行数据定位，在range扫描时也能够尽快缩小扫描范围，而这都是由高字节数据相对低字节数据的重要性决定的。
在区域查询时，先按照比特交织生成的Rowkey做range扫描，再根据经度范围、纬度范围等条件对range扫描的结果进行过滤，获得区域查询结果。上述方法能够高效组织海量数据存储，显著提高海量位置数据按照区域查询时的性能。
为了对上述基于经度、纬度比特交织的行键的位置数据区域查询方法进行更为清楚的解释，下面结合一个具体的实施例来进行说明，然而值得注意的是该实施例仅是为了更好地说明本发明，并不构成对本发明不当的限定。
管控平台利用Hbase存储全国范围内的车辆、船舶历史位置数据，位置由经度、纬度标识。
当相关业务需要根据某一地理区域，查询该范围以内的车辆、船舶时，比如某一省内的车辆、船舶有哪些。则需要将该省的地理空间范围作为条件做查询，在实际使用中，可以将此地理空间范围简化为一个或多个空间矩形，并使用矩形的左上角和右下角表示该矩形。按照图2所示步骤将位置数据由经度、纬度(二维)转换为Rowkey(降为一维)，再把位置数据按照Rowkey存储在Hbase中。此时上述空间矩形就映射到Rowkey的一段范围中，需要结合Hbase的Rowkey range扫描来提取。由于Rowkey的range扫描过程中很难对该空间矩形进行精确控制，Rowkey的range会带来一定的非预期的数据，需要结合过滤条件进一步过滤，具体可以结合在Rowkey转换前该空间矩形的经度、纬度的最大值和最小值。这样最终得到河北省内的车辆、船舶信息。
本发明提出的基于经度、纬度比特交织的行键的位置数据区域查询方法，能够高效组织海量数据存储，显著提高海量位置数据按照区域查询时的性能。相较于现有技术，本发明提出的方法是达到同等效果的最简单方法。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于经度、纬度比特交织的行键的位置数据区域查询方法，其特征在于，该方法包括：
步骤1，在Hbase数据库中获取位置数据；
步骤2，利用经度、纬度比特交织的拼接方式生成行键；
步骤3，按照该行键对所述位置数据进行分区、存储；
步骤4，设定查询条件为区域查询，在所述行键中选取两个行键，分别记录为起始键、中止键，该起始键对应于区域查询范围的左上角，该中止键对应于区域查询范围的右下角；
步骤5，根据存储的分区位置数据，利用起始键及中止键进行目标数据的范围扫描，获得初始区域查询结果；
步骤6，对该区域查询结果按预设条件进行过滤，获得目标数据在位置数据区域中的区域查询结果。
2.根据权利要求1所述的方法，其特征在于，在步骤2中，利用经度、纬度比特交织的拼接方式生成行键，其中，经度、纬度比特交织的拼接方式为经度最高位、纬度最高位、经度次高位、比特次高位依次直至经度次低位、纬度次低位、经度最低位、纬度最低位。
3.根据权利要求1所述的方法，其特征在于，在步骤4中，区域查询范围为一矩形，该矩形的左上角对应所述起始键，右下角对应所述中止键。
4.根据权利要求1所述的方法，其特征在于，在步骤6中，预设条件至少包括：经度范围、纬度范围。
CN201510962453.7A 2015-12-21 2015-12-21 基于经度、纬度比特交织的行键的位置数据区域查询方法 Active CN106897314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510962453.7A CN106897314B (zh) 2015-12-21 2015-12-21 基于经度、纬度比特交织的行键的位置数据区域查询方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510962453.7A CN106897314B (zh) 2015-12-21 2015-12-21 基于经度、纬度比特交织的行键的位置数据区域查询方法

Publications (2)

Publication Number Publication Date
CN106897314A true CN106897314A (zh) 2017-06-27
CN106897314B CN106897314B (zh) 2019-08-23

Family

ID=59190828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510962453.7A Active CN106897314B (zh) 2015-12-21 2015-12-21 基于经度、纬度比特交织的行键的位置数据区域查询方法

Country Status (1)

Country Link
CN (1) CN106897314B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019571A (zh) * 2017-07-25 2019-07-16 哈曼国际工业有限公司 位置信息生成方法和装置以及位置信息识别方法和装置
CN117171110A (zh) * 2023-09-15 2023-12-05 北京云枢创新软件技术有限公司 一种指定目标位置的定位方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106231A (zh) * 2011-09-15 2013-05-15 富士通株式会社 信息管理方法和信息管理装置
CN103605775A (zh) * 2013-11-28 2014-02-26 北京锐安科技有限公司 一种查询周围地理位置信息的方法及装置
CN104298740A (zh) * 2014-10-09 2015-01-21 清华大学 地理位置编码方法
CN104750860A (zh) * 2015-04-16 2015-07-01 东北大学 一种不确定数据的数据存储方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106231A (zh) * 2011-09-15 2013-05-15 富士通株式会社 信息管理方法和信息管理装置
CN103605775A (zh) * 2013-11-28 2014-02-26 北京锐安科技有限公司 一种查询周围地理位置信息的方法及装置
CN104298740A (zh) * 2014-10-09 2015-01-21 清华大学 地理位置编码方法
CN104750860A (zh) * 2015-04-16 2015-07-01 东北大学 一种不确定数据的数据存储方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019571A (zh) * 2017-07-25 2019-07-16 哈曼国际工业有限公司 位置信息生成方法和装置以及位置信息识别方法和装置
CN110019571B (zh) * 2017-07-25 2023-10-03 哈曼国际工业有限公司 位置信息生成方法和装置以及位置信息识别方法和装置
CN117171110A (zh) * 2023-09-15 2023-12-05 北京云枢创新软件技术有限公司 一种指定目标位置的定位方法、电子设备及存储介质
CN117171110B (zh) * 2023-09-15 2024-04-05 北京云枢创新软件技术有限公司 一种指定目标位置的定位方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN106897314B (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN103631928B (zh) 一种基于局部敏感哈希的聚类索引方法及系统
CN108052653A (zh) 图像特征描述符的获取方法、装置、存储介质、终端及图像检索方法
CN102800052B (zh) 非标准地图的半自动数字化方法
CN1292387C (zh) 表示或者检索图象中的对象的方法和系统
CN104408159B (zh) 一种数据关联、加载、查询方法及装置
CN107679024B (zh) 识别表格的方法、系统、计算机设备、可读存储介质
CN1311411C (zh) 检索图像中的目标的方法和系统
CN104408055B (zh) 一种激光雷达点云数据的存储方法及装置
DE112018002572T5 (de) Verfahren, systeme und vorrichtungen zur optimierung der pipeline-ausführung
CN105654422A (zh) 点云配准方法和系统
CN110516015B (zh) 基于地图图形数据和dlg制作地理pdf地图的方法
CN109785221A (zh) 一种数字图像隐写方法及秘密信息提取方法
CN103745031B (zh) 基于gis模式的输电线路房屋分布图生成方法
CN110503102A (zh) 车辆识别码检测方法、装置、计算机设备和存储介质
CN106777133A (zh) 一种基于MapReduce的度量空间相似连接处理方法
JP2004310753A (ja) データ学習装置およびプログラムならびに画像の意味判定装置
CN105243384A (zh) 一种基于模式识别的文物与艺术品唯一性标识方法
CN106897314A (zh) 基于经度、纬度比特交织的行键的位置数据区域查询方法
CN103927535A (zh) 一种汉字书写识别方法及装置
CN106202708A (zh) 一种将勘察测绘得出的cad地形图快速入库的方法
CN105608714B (zh) 一种基于cad和gis协同的分幅影像生成方法及系统
CN106897366A (zh) 基于人脸卷积神经网络和随机kd‑树森林的图像检索方法
CN105096293A (zh) 用于处理尿液沉渣图像的待处理区块的方法和装置
CN104408128B (zh) 一种基于b+树异步更新索引的读优化方法
CN111080540A (zh) 一种图像修复模型的训练方法和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant