CN109144995A - 一种高速公路海量交易数据检索方法 - Google Patents
一种高速公路海量交易数据检索方法 Download PDFInfo
- Publication number
- CN109144995A CN109144995A CN201710491785.0A CN201710491785A CN109144995A CN 109144995 A CN109144995 A CN 109144995A CN 201710491785 A CN201710491785 A CN 201710491785A CN 109144995 A CN109144995 A CN 109144995A
- Authority
- CN
- China
- Prior art keywords
- hbase
- solr
- data
- index
- rowkey
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000006870 function Effects 0.000 claims description 7
- 238000003780 insertion Methods 0.000 claims description 4
- 230000037431 insertion Effects 0.000 claims description 4
- 238000012432 intermediate storage Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 2
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种高速公路海量交易数据检索方法，其特征在于：所述的高速公路海量交易数据检索方法，是基于Solr与HBase的高速公路海量交易数据检索方法，HBase能实现高效的基于rowkey的查询，在海量数据的背景下，仍然具有很好的效率和延展性；采用二级索引技术，对常用查询属性建立二级索引，索引值为HBase的rowkey，二级索引技术采用Solr搜索引擎；当查询到来时，首先到Solr中查询满足对应条件的rowkey结果集，然后再根据rowkey结果集，去HBase中查询对应的交易记录；本发明的优点：本发明所述的高速公路海量交易数据检索方法，针对复杂查询以及多维查询，利用二级索引技术，加快速度，提高效率。
Description
技术领域
本发明涉及交通大数据领域，特别涉及了一种高速公路海量交易数据检索方法。
背景技术
近年来，大数据在交通行业开始起步。而在大数据应用方面，海量数据的查询是很重要的一个部分。目前已有的分布式列数据库HBase支持基于行健的查询，并且速度很快。但是，HBase基于列的多维查询效率则不尽人意。
发明内容
本发明的目的是针对交通行业高速公路海量数据查询的问题，特提供了一种高速公路海量交易数据检索方法。
本发明提供了一种高速公路海量交易数据检索方法，其特征在于：所述的高速公路海量交易数据检索方法，是基于Solr与HBase的高速公路海量交易数据检索方法，HBase能实现高效的基于rowkey的查询，在海量数据的背景下，仍然具有很好的效率和延展性。
采用二级索引技术，对常用查询属性建立二级索引，索引值为HBase的rowkey，二级索引技术采用Solr搜索引擎。当查询到来时，首先到Solr中查询满足对应条件的rowkey结果集，然后再根据rowkey结果集，去HBase中查询对应的交易记录。
使用到的技术有：java，hadoop，HBase，Solr，oracle，linux。本发明的实现均使用java语言。oracle有两个职能，一个是生产系统用oracle存储数据，另外，oracle还作为数据缓存处理的中间存储。HBase作为基础数据的存储，通过rowkey查询时具有很高的效率。HBase的二级索引采用Solr搜索引擎。通过高速公路海量交易数据检索方法，能进行基本的数据插入更新和高效的查找，所有节点使用的操作系统为linux。
设计Solr索引的字段及格式，包括常用的查询条件以及对应的值类型。然后再Solr中建立对应的空的索引。设置HBase的预写日志功能WAL，为开启。当数据写入HBase时，首先会写WAL即write ahead log。监听程序indexer监听WAL，每当WAL更新时，监听程序则读取WAL中增量更新的内容，根据读取内容更新Solr中的索引。
查询时，首先根据查询条件，形成Solr查询语句，然后到Solr中查询对应索引，得到HBase表的rowkey结果集，然后根据rowkey结果集，到HBase中查询对应的记录，并返回对应结果。
此种方式，对HBase写入效率基本没有影响，对硬件要求相对实施例2稍低。但当监听程序出问题或者遇到别的特殊情况时，可能导致在HBase中有的数据在Solr中没有，造成数据不一致。适合容许丢失一部分索引数据的，对丢失索引数据不敏感的情况。
设计Solr索引的字段及格式，包括常用的查询条件以及对应的值得类型。然后再Solr中建立对应的空的索引。数据写入HBase之前，先存储在oracle中，然后数据处理工具data handler轮询oracle，将更新的数据写入到HBase中，写入之后，将oracle中HBase写入标记位修改为已写入状态。
索引建立工具indexer轮询oracle，查询新来到的数据，并在Solr中更新索引，索引建立后，查询索引看是否成功，如果成功，则更新oracle中数据标记位修改为已建立索引状态。定期删除oracle中标记为已写入和已建立索引的数据。查询时，首先根据查询条件，形成Solr查询语句，然后到Solr中查询对应索引，得到HBase表的rowkey结果集，然后根据rowkey结果集，到HBase中查询对应的记录，并返回对应结果。此种方式能保证数据的一致性，保证每条写入HBase的数据，都会在Solr中有对应的索引。但是会降低HBase的写入性能。适合硬件好，对数据一致性要求高的场景。
本发明的优点：
本发明所述的高速公路海量交易数据检索方法，针对复杂查询以及多维查询，利用二级索引技术，加快速度，提高效率。
附图说明
下面结合附图及实施方式对本发明作进一步详细的说明：
图1为实施例1的结构框图；
图2为实施例2的结构框图。
具体实施方式
实施例1
本实施例提供了一种高速公路海量交易数据检索方法，其特征在于：所述的高速公路海量交易数据检索方法，是基于Solr与HBase的高速公路海量交易数据检索方法，HBase能实现高效的基于rowkey的查询，在海量数据的背景下，仍然具有很好的效率和延展性。
采用二级索引技术，对常用查询属性建立二级索引，索引值为HBase的rowkey，二级索引技术采用Solr搜索引擎。当查询到来时，首先到Solr中查询满足对应条件的rowkey结果集，然后再根据rowkey结果集，去HBase中查询对应的交易记录。
使用到的技术有：java，hadoop，HBase，Solr，oracle，linux。本发明的实现均使用java语言。oracle有两个职能，一个是生产系统用oracle存储数据，另外，oracle还作为数据缓存处理的中间存储。HBase作为基础数据的存储，通过rowkey查询时具有很高的效率。HBase的二级索引采用Solr搜索引擎。通过高速公路海量交易数据检索方法，能进行基本的数据插入更新和高效的查找，所有节点使用的操作系统为linux。。
首先要根据功能需求，来设计Solr索引的字段及格式，一般包括常用的查询条件以及对应的值类型。然后再Solr中建立对应的空的索引。设置HBase的预写日志功能(WAL)为开启。当数据写入HBase时，首先会写WAL(write ahead log)。监听程序indexer监听WAL，每当WAL更新时，监听程序则读取WAL中增量更新的内容，根据读取内容更新Solr中的索引。查询时，首先根据查询条件，形成Solr查询语句，然后到Solr中查询对应索引，得到HBase表的rowkey结果集，然后根据rowkey结果集，到HBase中查询对应的记录，并返回对应结果。此种方式，对HBase写入效率基本没有影响，对硬件要求相对实施例2稍低。但当监听程序出问题或者遇到别的特殊情况时，可能导致在HBase中有的数据在Solr中没有，造成数据不一致。适合容许丢失一部分索引数据的，对丢失索引数据不敏感的情况。
实施例2
本实施例提供了一种高速公路海量交易数据检索方法，其特征在于：所述的高速公路海量交易数据检索方法，是基于Solr与HBase的高速公路海量交易数据检索方法，HBase能实现高效的基于rowkey的查询，在海量数据的背景下，仍然具有很好的效率和延展性。
采用二级索引技术，对常用查询属性建立二级索引，索引值为HBase的rowkey，二级索引技术采用Solr搜索引擎。当查询到来时，首先到Solr中查询满足对应条件的rowkey结果集，然后再根据rowkey结果集，去HBase中查询对应的交易记录。
使用到的技术有：java，hadoop，HBase，Solr，oracle，linux。本发明的实现均使用java语言。oracle有两个职能，一个是生产系统用oracle存储数据，另外，oracle还作为数据缓存处理的中间存储。HBase作为基础数据的存储，通过rowkey查询时具有很高的效率。HBase的二级索引采用Solr搜索引擎。通过高速公路海量交易数据检索方法，能进行基本的数据插入更新和高效的查找，所有节点使用的操作系统为linux。
首先要根据功能需求，来设计Solr索引的字段及格式，一般包括常用的查询条件以及对应的值得类型。然后再Solr中建立对应的空的索引。数据写入HBase之前，先存储在oracle中，然后数据处理工具data handler轮询oracle，将更新的数据写入到HBase中，写入之后，将oracle中HBase写入标记位修改为已写入状态。索引建立工具indexer轮询oracle，查询新来到的数据，并在Solr中更新索引，索引建立后，查询索引看是否成功，如果成功，则更新oracle中数据标记位修改为已建立索引状态。定期删除oracle中标记为已写入和已建立索引的数据。查询时，首先根据查询条件，形成Solr查询语句，然后到Solr中查询对应索引，得到HBase表的rowkey结果集，然后根据rowkey结果集，到HBase中查询对应的记录，并返回对应结果。此种方式可以保证数据的一致性，保证每条写入HBase的数据，都会在Solr中有对应的索引。但是会降低HBase的写入性能。适合硬件好，对数据一致性要求高的场景。
Claims (3)
1.一种高速公路海量交易数据检索方法，其特征在于：所述的高速公路海量交易数据检索方法，是基于Solr与HBase的高速公路海量交易数据检索方法，HBase能实现高效的基于rowkey的查询，在海量数据的背景下，仍然具有很好的效率和延展性；
采用二级索引技术，对常用查询属性建立二级索引，索引值为HBase的rowkey，二级索引技术采用Solr搜索引擎；当查询到来时，首先到Solr中查询满足对应条件的rowkey结果集，然后再根据rowkey结果集，去HBase中查询对应的交易记录；
使用到的技术有：java，hadoop，HBase，Solr，oracle，linux；本发明的实现均使用java语言；oracle有两个职能，一个是生产系统用oracle存储数据，另外，oracle还作为数据缓存处理的中间存储；HBase作为基础数据的存储，通过rowkey查询时具有很高的效率；HBase的二级索引采用Solr搜索引擎；通过高速公路海量交易数据检索方法，能进行基本的数据插入更新和高效的查找，所有节点使用的操作系统为linux。
2.按照权利要求1所述的高速公路海量交易数据检索方法，其特征在于：设计Solr索引的字段及格式，包括常用的查询条件以及对应的值类型；然后再Solr中建立对应的空的索引；设置HBase的预写日志功能WAL，为开启；当数据写入HBase时，首先会写WAL即writeahead log；监听程序indexer监听WAL，每当WAL更新时，监听程序则读取WAL中增量更新的内容，根据读取内容更新Solr中的索引；
查询时，首先根据查询条件，形成Solr查询语句，然后到Solr中查询对应索引，得到HBase表的rowkey结果集，然后根据rowkey结果集，到HBase中查询对应的记录，并返回对应结果。
3.按照权利要求1所述的高速公路海量交易数据检索方法，其特征在于：设计Solr索引的字段及格式，包括常用的查询条件以及对应的值得类型；然后再Solr中建立对应的空的索引；数据写入HBase之前，先存储在oracle中，然后数据处理工具data handler轮询oracle，将更新的数据写入到HBase中，写入之后，将oracle中HBase写入标记位修改为已写入状态；
索引建立工具indexer轮询oracle，查询新来到的数据，并在Solr中更新索引，索引建立后，查询索引看是否成功，如果成功，则更新oracle中数据标记位修改为已建立索引状态；定期删除oracle中标记为已写入和已建立索引的数据；查询时，首先根据查询条件，形成Solr查询语句，然后到Solr中查询对应索引，得到HBase表的rowkey结果集，然后根据rowkey结果集，到HBase中查询对应的记录，并返回对应结果；此种方式能保证数据的一致性，保证每条写入HBase的数据，都会在Solr中有对应的索引；但是会降低HBase的写入性能；适合硬件好，对数据一致性要求高的场景。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710491785.0A CN109144995B (zh) | 2017-06-26 | 2017-06-26 | 一种高速公路海量交易数据检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710491785.0A CN109144995B (zh) | 2017-06-26 | 2017-06-26 | 一种高速公路海量交易数据检索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109144995A true CN109144995A (zh) | 2019-01-04 |
| CN109144995B CN109144995B (zh) | 2022-09-13 |
Family
ID=64804762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710491785.0A Active CN109144995B (zh) | 2017-06-26 | 2017-06-26 | 一种高速公路海量交易数据检索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109144995B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112687364A (zh) * | 2020-12-24 | 2021-04-20 | 宁波金唐软件有限公司 | 一种基于Hbase的医疗数据管理方法及其系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102737082A (zh) * | 2011-09-23 | 2012-10-17 | 新奥特（北京）视频技术有限公司 | 一种动态更新文稿数据索引的方法和系统 |
| CN104102710A (zh) * | 2014-07-15 | 2014-10-15 | 浪潮(北京)电子信息产业有限公司 | 一种海量数据查询方法 |
| CN105468720A (zh) * | 2015-11-20 | 2016-04-06 | 北京锐安科技有限公司 | 集成分布式数据处理系统的方法、相应系统及其数据处理方法 |
| CN105589910A (zh) * | 2014-12-31 | 2016-05-18 | 中国银联股份有限公司 | 基于HBase的海量交易数据检索及系统 |
| CN106326429A (zh) * | 2016-08-25 | 2017-01-11 | 武汉光谷信息技术股份有限公司 | 一种基于solr的Hbase秒级查询方案 |
| CN106326381A (zh) * | 2016-08-16 | 2017-01-11 | 梁猛 | 基于MapDB构建的HBase数据检索方法 |
-
2017
- 2017-06-26 CN CN201710491785.0A patent/CN109144995B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102737082A (zh) * | 2011-09-23 | 2012-10-17 | 新奥特（北京）视频技术有限公司 | 一种动态更新文稿数据索引的方法和系统 |
| CN104102710A (zh) * | 2014-07-15 | 2014-10-15 | 浪潮(北京)电子信息产业有限公司 | 一种海量数据查询方法 |
| CN105589910A (zh) * | 2014-12-31 | 2016-05-18 | 中国银联股份有限公司 | 基于HBase的海量交易数据检索及系统 |
| CN105468720A (zh) * | 2015-11-20 | 2016-04-06 | 北京锐安科技有限公司 | 集成分布式数据处理系统的方法、相应系统及其数据处理方法 |
| CN106326381A (zh) * | 2016-08-16 | 2017-01-11 | 梁猛 | 基于MapDB构建的HBase数据检索方法 |
| CN106326429A (zh) * | 2016-08-25 | 2017-01-11 | 武汉光谷信息技术股份有限公司 | 一种基于solr的Hbase秒级查询方案 |
Non-Patent Citations (2)
| Title |
|---|
| WEIXIN_34174132: ""如何解决分布式系统数据事务一致性问题"", 《HTTPS://BLOG.CSDN.NET/WEIXIN_34174132/ARTICLE/DETAILS/92345639》 * |
| ZZZCRAZYPIG: ""深入理解HBase Indexer"", 《HTTPS://BLOG.CSDN.NET/D6619309/ARTICLE/DETAILS/51500368?LOCATIONNUM=7&FPS=1》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112687364A (zh) * | 2020-12-24 | 2021-04-20 | 宁波金唐软件有限公司 | 一种基于Hbase的医疗数据管理方法及其系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109144995B (zh) | 2022-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110879813B (zh) | 一种基于二进制日志解析的MySQL数据库增量同步实现方法 | |
| CN104866593A (zh) | 一种基于知识图谱的数据库搜索方法 | |
| CN106462592A (zh) | 优化对索引的多版本支持的系统和方法 | |
| CN104133867A (zh) | 分布式顺序表片内二级索引方法及系统 | |
| CN106326438B (zh) | 一种人员信息的关联方法 | |
| CN109918472A (zh) | 存储和查询数据的方法、装置、设备和介质 | |
| TWI549009B (zh) | 資料庫管理方法、資料庫管理系統，以及資料庫樹狀結構 | |
| US11269954B2 (en) | Data searching method of database, apparatus and computer program for the same | |
| CN104090889A (zh) | 数据处理方法及系统 | |
| CN105138635A (zh) | 一种利用哈希值比对进行数据增量复制的方法 | |
| CN105550171A (zh) | 一种垂直搜索引擎的查询信息纠错方法和系统 | |
| CN109086382B (zh) | 一种数据同步方法、装置、设备及存储介质 | |
| CN104731945A (zh) | 一种基于HBase的全文检索方法及装置 | |
| CN111177303B (zh) | 基于phoenix的Hbase二级全文索引方法及系统 | |
| CN110928882B (zh) | 一种基于改进红黑树的内存数据库索引方法及系统 | |
| CN107169003B (zh) | 一种数据关联方法及装置 | |
| CN110795431B (zh) | 环境监测数据处理方法、装置、设备及存储介质 | |
| CN103177046B (zh) | 一种基于行存储数据库的数据处理方法和设备 | |
| CN101963993B (zh) | 一种数据库单表记录快速查找的方法 | |
| CN109144995A (zh) | 一种高速公路海量交易数据检索方法 | |
| CN105005619A (zh) | 一种海量网站基础信息的快速检索方法和系统 | |
| CN114003660B (zh) | 基于flink的高效同步实时数据到ClickHouse的方法及装置 | |
| CN114218277A (zh) | 一种关系数据库的高效查询方法和装置 | |
| CN106251623A (zh) | 一种提供道路实时路况服务的系统 | |
| CN112084267B (zh) | 解决分布式数据库全局广播的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 110000 floors 3-4, No. 197, Nanjing South Street, Heping District, Shenyang City, Liaoning Province Patentee after: Liaoning Jiaotou Aites Technology Co.,Ltd. Country or region after: China Address before: No. 42-2, Lidao Road, Heping District, Shenyang City, Liaoning Province 110000 Patentee before: LIAONING ATS INTELLIGENT TRANSPORTATION TECHNOLOGY CO.,LTD. Country or region before: China |