CN105447105A - 基于NoSQL的分布式物联网数据的单字段区间索引查询方式 - Google Patents

基于NoSQL的分布式物联网数据的单字段区间索引查询方式 Download PDF

Info

Publication number
CN105447105A
CN105447105A CN201510773348.9A CN201510773348A CN105447105A CN 105447105 A CN105447105 A CN 105447105A CN 201510773348 A CN201510773348 A CN 201510773348A CN 105447105 A CN105447105 A CN 105447105A
Authority
CN
China
Prior art keywords
database
data
nosql
concordance list
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510773348.9A
Other languages
English (en)
Inventor
张振昌
黄绍平
陈日清
陈大耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Agriculture and Forestry University
Original Assignee
Fujian Agriculture and Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Agriculture and Forestry University filed Critical Fujian Agriculture and Forestry University
Priority to CN201510773348.9A priority Critical patent/CN105447105A/zh
Publication of CN105447105A publication Critical patent/CN105447105A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的目的是提供一种基于NoSQL的分布式物联网数据的单字段区间索引查询方式，其特征在于：包括以下步骤：步骤S0：创建NoSQL数据库并将物联网数据导入数据库中；步骤S1：创建与数据库对应的索引表；该索引表存储着数据库中的索引以及字段属性；步骤S2：根据字段区间直接查找索引表得到数据库的字段属性；步骤S3：当数据库有增删改时候更新索引表，达到数据一致性。本发明直接对数据库生成的索引表进行查找，即可完成对NoSQL数据库的字段属性查找，减少了NoSQL数据库查找所浪费的时间，查找数据显著提高。

Description

基于NoSQL的分布式物联网数据的单字段区间索引查询方式
技术领域
本发明涉及一种基于NoSQL的分布式物联网数据的单字段区间索引查询方式。
技术领域
本发明涉及软件开发领域，尤其涉及一种基于NoSQL的分布式物联网数据的单字段区间索引查询方式。
背景技术
传统的关系数据库具有不错的性能，高稳定型，久经历史考验，而且使用简单，功能强大，同时也积累了大量的成功案例。在互联网领域，MySQL成为了绝对靠前的王者，毫不夸张的说，MySQL为互联网的发展做出了卓越的贡献。
关系数据库虽然很强大，但是它并不能很好的应付所有的应用场景。MySQL的扩展性差，需要复杂的技术来实现。大数据下IO压力大，表结构更改困难，正是当前使用MySQL的开发人员面临的严峻问题。
NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。
NoSQL数据库的出现，弥补了关系数据（比如MySQL）在某些方面的不足，在某些方面能极大的节省开发成本和维护成本。
NoSQL的高速使用将会给web2.0的数据库发展带来新的思路，在存储上将会是得数据存储更具有拓展性。
由于NoSQL并不适用于非常复杂的查询条件，所以建立一个索引表，取数据直接在索引表中查找即可获得数据。
为NoSQL数据库建立索引表，当数据库更新是索引表跟着更新，直接从索引表中取数据，弥补了NoSQL不适用去复杂的查询条件取数据。
发明内容
本发明的主要目的在于提供一种基于NoSQL数据库的分布式物联网数据的单字段区间索引查询方式，实现只需要查找检索表，就能得到NoSQL数据库表中的字段，查找速度简便高效，提高工作效率。
本发明采用以下技术方案实现：一种基于NoSQL的分布式物联网数据的单字段区间索引查询方式，其特征在于：包括以下步骤：步骤S0：创建NoSQL数据库并将物联网数据导入数据库中；步骤S1：创建与数据库对应的索引表；该索引表存储着数据库中的索引以及字段属性；步骤S2：根据字段区间直接查找索引表得到数据库的字段属性；步骤S3：当数据库有增删改时候更新索引表，达到数据一致性。
在本发明一实施例中，步骤S2包括以下具体步骤：步骤S201：输入要检索的字段的索引，NoSQL的表数据按RowKey进行字典排序；步骤S202：根据索引直接去索引表中查找所对应的字段属性；步骤S203：如果在索引表中没有找到相对应的字段属性，根据索引值的数据表rowkey去NoSQL数据库中查询数据。
在本发明一实施例中，步骤S3包括以下具体步骤：步骤S301：当NoSQL数据库进行增删改时候，数据引起变化；步骤S302：根据NoSQL数据的变化更新索引表的数据；步骤S303：更新完索引表之后，检查索引表和数据库的数据是否一致性；步骤S304：如果数据库的数据和索引表的数据是一致的，则按结果更新；如果还是不一致，则删除索引表重新生成索引表。
与现有技术相比：本发明的技术方案为通过直接对数据库生成的索引表进行查找，即可完成对NoSQL数据库的字段属性查找，减少了NoSQL数据库查找所浪费的时间，查找数据显著提高。
附图说明
图1是本发明创建索引表的流程图；
图2是检索方式的使用流程图；
图3是本发明数据库更新修改流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步说明。
本发明提供一种基于NoSQL数据库的分布式物联网数据的单字段区间索引检索方式，该方式包括：创建NoSQL数据库并将物联网数据导入数据库中；创建与数据库对应的索引表；根据字段区间直接查找索引表得到数据库的字段属性；当数据库有增删改时候更新索引表，达到数据一致性；查找索引表时如果找不到数据，再去数据库中查找。
如图1所示，本发明实施例提供一种基于NoSQL数据库的分布式物联网数据的单字段索引检索方式的创建索引表，具体实现步骤包括：
步骤S101：创建NoSQL数据库。
步骤S102：将物联网数据导入到NoSQL数据库中。
步骤S103：根据NoSQL数据库中的索引以及字段属性建立一个索引表。该索引表存储着数据库中的索引以及字段属性。
如图2所示，本发明实施例提出基于NoSQL数据库的分布式物联网数据的单字段区间索引检索方式，具体使用步骤：
步骤S201：输入要检索的字段的索引，NoSQL的表数据按RowKey进行字典排序。
步骤S202：根据索引直接去索引表中查找所对应的字段属性，不必去HBase数据库中查找。
步骤S203：如果在索引表中没有找到相对应的字段属性，根据索引值的数据表rowkey去NoSQL数据库中查询数据。
综上所述，索引表直接承担着NoSQL的数据查找，在查找数据方面上高效简便。
如图3所示，本发明实施例提出一种基于NoSQL数据库的分布式物联网数据的单字段区间索引检索方式，在索引表与数据库数据不一致的情况下：
步骤S301：当NoSQL数据库进行增删改时候，数据会引起变化。
步骤S302：根据NoSQL数据的变化更新索引表的数据，比如数据增加，索引表也跟着增加。
步骤S303：更新完索引表之后，检查索引表和数据库的数据是否一致性。
步骤S304：如果数据库的数据和索引表的数据是一致的，直接结果更新。如果还是不一致，直接删除索引表重新生成索引表。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (3)

1.一种基于NoSQL的分布式物联网数据的单字段区间索引查询方式，其特征在于：包括以下步骤：
步骤S0：创建NoSQL数据库并将物联网数据导入数据库中；
步骤S1：创建与数据库对应的索引表；该索引表存储着数据库中的索引以及字段属性；
步骤S2：根据字段区间直接查找索引表得到数据库的字段属性；
步骤S3：当数据库有增删改时候更新索引表，达到数据一致性。
2.根据权利要求1所述的基于NoSQL的分布式物联网数据的单字段区间索引查询方式，其特征在于：步骤S2包括以下具体步骤：
步骤S201：输入要检索的字段的索引，NoSQL的表数据按RowKey进行字典排序；
步骤S202：根据索引直接去索引表中查找所对应的字段属性；
步骤S203：如果在索引表中没有找到相对应的字段属性，根据索引值的数据表rowkey去NoSQL数据库中查询数据。
3.根据权利要求1所述的基于NoSQL的分布式物联网数据的单字段区间索引查询方式，其特征在于：步骤S3包括以下具体步骤：
步骤S301：当NoSQL数据库进行增删改时候，数据引起变化；
步骤S302：根据NoSQL数据的变化更新索引表的数据；
步骤S303：更新完索引表之后，检查索引表和数据库的数据是否一致性；
步骤S304：如果数据库的数据和索引表的数据是一致的，则按结果更新；如果还是不一致，则删除索引表重新生成索引表。
CN201510773348.9A 2015-11-13 2015-11-13 基于NoSQL的分布式物联网数据的单字段区间索引查询方式 Pending CN105447105A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510773348.9A CN105447105A (zh) 2015-11-13 2015-11-13 基于NoSQL的分布式物联网数据的单字段区间索引查询方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510773348.9A CN105447105A (zh) 2015-11-13 2015-11-13 基于NoSQL的分布式物联网数据的单字段区间索引查询方式

Publications (1)

Publication Number Publication Date
CN105447105A true CN105447105A (zh) 2016-03-30

Family

ID=55557283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510773348.9A Pending CN105447105A (zh) 2015-11-13 2015-11-13 基于NoSQL的分布式物联网数据的单字段区间索引查询方式

Country Status (1)

Country Link
CN (1) CN105447105A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294665A (zh) * 2016-08-05 2017-01-04 浪潮软件股份有限公司 一种学籍数据存储的方法和装置
WO2018081925A1 (zh) * 2016-11-01 2018-05-11 深圳中兴力维技术有限公司 内存数据库查询方法及装置
CN108776678A (zh) * 2018-05-29 2018-11-09 阿里巴巴集团控股有限公司 基于移动端NoSQL数据库的索引创建方法及装置
CN109063215A (zh) * 2018-10-16 2018-12-21 成都四方伟业软件股份有限公司 数据检索方法及装置
CN113220945A (zh) * 2021-04-28 2021-08-06 广州宸祺出行科技有限公司 一种用于数据血缘的字段检索和路径展示的方法及系统
CN113220454A (zh) * 2021-05-17 2021-08-06 杭州圆点科技有限公司 一种车联网数据采集、存储、查询系统及车联网数据查询方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130282668A1 (en) * 2012-04-20 2013-10-24 Cloudera, Inc. Automatic repair of corrupt hbases
CN104376053A (zh) * 2014-11-04 2015-02-25 南京信息工程大学 一种基于海量气象数据的存储与检索方法
CN104573022A (zh) * 2015-01-12 2015-04-29 浪潮软件股份有限公司 一种HBase的数据查询方法及装置
CN104731922A (zh) * 2015-03-26 2015-06-24 江苏物联网研究发展中心 基于分布式数据库HBase的结构化数据的快速检索系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130282668A1 (en) * 2012-04-20 2013-10-24 Cloudera, Inc. Automatic repair of corrupt hbases
CN104376053A (zh) * 2014-11-04 2015-02-25 南京信息工程大学 一种基于海量气象数据的存储与检索方法
CN104573022A (zh) * 2015-01-12 2015-04-29 浪潮软件股份有限公司 一种HBase的数据查询方法及装置
CN104731922A (zh) * 2015-03-26 2015-06-24 江苏物联网研究发展中心 基于分布式数据库HBase的结构化数据的快速检索系统及方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294665A (zh) * 2016-08-05 2017-01-04 浪潮软件股份有限公司 一种学籍数据存储的方法和装置
WO2018081925A1 (zh) * 2016-11-01 2018-05-11 深圳中兴力维技术有限公司 内存数据库查询方法及装置
CN108776678A (zh) * 2018-05-29 2018-11-09 阿里巴巴集团控股有限公司 基于移动端NoSQL数据库的索引创建方法及装置
CN109063215A (zh) * 2018-10-16 2018-12-21 成都四方伟业软件股份有限公司 数据检索方法及装置
CN113220945A (zh) * 2021-04-28 2021-08-06 广州宸祺出行科技有限公司 一种用于数据血缘的字段检索和路径展示的方法及系统
CN113220945B (zh) * 2021-04-28 2024-05-31 广州宸祺出行科技有限公司 一种用于数据血缘的字段检索和路径展示的方法及系统
CN113220454A (zh) * 2021-05-17 2021-08-06 杭州圆点科技有限公司 一种车联网数据采集、存储、查询系统及车联网数据查询方法

Similar Documents

Publication Publication Date Title
CN105447105A (zh) 基于NoSQL的分布式物联网数据的单字段区间索引查询方式
CN108572996B (zh) 数据库表结构的同步方法、装置、电子设备和存储介质
US8396852B2 (en) Evaluating execution plan changes after a wakeup threshold time
US9619492B2 (en) Data migration
CN103995854A (zh) 一种设备跨版本升级方法和装置
CN103425762A (zh) 基于Hadoop平台的电信运营商海量数据处理方法
CN104765731A (zh) 数据库查询优化方法和设备
CN103488704A (zh) 一种数据存储方法及装置
CN105205105A (zh) 一种基于storm的数据ETL系统及处理方法
US10936625B2 (en) Progressive optimization for implicit cast predicates
CN105989015B (zh) 一种数据库扩容方法和装置以及访问数据库的方法和装置
CN102880671A (zh) 一种面向分布式文件系统的主动重复数据删除方法
CN104216962A (zh) 一种基于HBase的海量网管数据索引设计方法
CN104537129A (zh) 一种基于Web的数据库虚拟存储处理方法
WO2023045295A1 (zh) 数据倾斜处理方法、设备、存储介质及程序产品
CN105069109A (zh) 一种分布式数据库扩容的方法和系统
CN102915344B (zh) 一种sql语句处理方法及装置
CN103177046B (zh) 一种基于行存储数据库的数据处理方法和设备
CN103198108A (zh) 一种索引数据更新方法、检索服务器及系统
CN105279281A (zh) 一种物联网数据存取方法
CN105302842A (zh) 一种数据处理方法及装置
CN102096671A (zh) 一种boss数据库升级脚本的生成方法和设备
CN113407514A (zh) 一种数据库迁移的方法、装置、设备及可读介质
CN109597824A (zh) Sql语句高效编写方法
CN106354775A (zh) 一种基于自定义字段的数据动态配置系统及配置方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160330

RJ01 Rejection of invention patent application after publication