CN104536962A - 一种用于嵌入式系统中的数据查询方法及装置 - Google Patents

一种用于嵌入式系统中的数据查询方法及装置 Download PDF

Info

Publication number
CN104536962A
CN104536962A CN201410632933.2A CN201410632933A CN104536962A CN 104536962 A CN104536962 A CN 104536962A CN 201410632933 A CN201410632933 A CN 201410632933A CN 104536962 A CN104536962 A CN 104536962A
Authority
CN
China
Prior art keywords
data
index
query
directory district
data query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410632933.2A
Other languages
English (en)
Inventor
周杨波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHUHAI TIANQIN INFORMATION TECHNOLOGY Co Ltd
Original Assignee
ZHUHAI TIANQIN INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHUHAI TIANQIN INFORMATION TECHNOLOGY Co Ltd filed Critical ZHUHAI TIANQIN INFORMATION TECHNOLOGY Co Ltd
Priority to CN201410632933.2A priority Critical patent/CN104536962A/zh
Publication of CN104536962A publication Critical patent/CN104536962A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种用于嵌入式系统中的数据查询方法，包括：在所述嵌入式系统中的存储器中建立数据索引区；获取待查询数据的查询数据索引；将所述查询数据索引导入数据索引区；计算有效数据索引并根据所述有效数据索引进行数据读取。另一方面，还相应提供一种数据查询装置，包括数据索引区建立单元、查询数据索引获取单元、导入单元和计算单元。可以有效节省存储器的存储资源，并提高数据查询速度。

Description

一种用于嵌入式系统中的数据查询方法及装置
技术领域
本申请涉及计算机数据处理技术领域，具体涉及一种用于嵌入式系统中的数据查询方法和装置。
背景技术
随着应用系统的日益复杂，对系统存储和读写能力的要求也越来越高，传统嵌入式系统在大容量数据存储领域多采用空间索引查询法，一般能支持KB到几MB的数据容量。传统的空间索引查法是为每条数据点建立一个索引值，查询数据时由索引值查询获取符合条件的数据内容。但是这种传统的空间索引查询法，索引数据需要占据大量的存储空间，例如某个系统项目需求是每秒钟采样一次数据(100个字节)，并实时存储本次采样数据，要求系统能存储最近72小时的数据量。根据项目需求，在每次保存采样数据时先为本次存储数据建立一个数据索引值(假若6个字节)，分别进行保存。根据需求72个小时的数据索引占用存储空间是6*72*60*60＝1518.75KB，对于嵌入式系统本来就十分珍贵有限的存储空间资源来说无疑是一个非常大的开销。
发明内容
有鉴于此，本发明实施例的主要目的在于提供一种数据查询方法，可以有 效节省存储器的存储资源。
本发明实施例是这样实现的，一种用于嵌入式系统中的数据查询方法，包括：在所述嵌入式系统中的存储器中建立数据索引区；获取待查询数据的查询数据索引；将所述查询数据索引导入数据索引区；计算有效数据索引并根据所述有效数据索引进行数据读取。
进一步地，所述建立数据索引区包括：所述数据索引区为记录一段或整段数据的第一个数据的数据索引值和最后一个数据的数据索引值。
进一步地，所述计算有效数据索引包括使用交集原理确定查询数据索引与数据索引区的交集区域，所述有效数据索引为所述交集区域索引值。
进一步地，所述查询数据索引由数据区域日期字段转换而成。
进一步地，所述方法还包括如下步骤：所述查询数据索引导入数据索引区后不存在有效数据索引，则直接返回FALSE。
进一步地，所述待查询数据为单条数据记录或者多条数据记录块。
根据本发明实施例的另外一方面，本发明实施例还提供一种用于嵌入式系统中的数据查询装置，包括：
数据索引区建立单元，用于在所述嵌入式系统中的存储器中建立数据索引区；
查询数据索引获取单元，用于获取待查询数据的查询数据索引；
导入单元，将所述查询数据索引导入数据索引区；
计算单元，用于计算有效数据索引并根据所述有效数据索引进行数据读取。
进一步地，所述建立数据索引区包括：所述数据索引区为记录一段或整段数据的第一个数据的数据索引值和最后一个数据的数据索引值。
进一步地，所述计算单元为交集计算单元，用于使用交集原理确定查询数据索引与数据索引区的交集区域，所述有效数据索引为所述交集区域索引值。
进一步地，所述装置还包括错误返回单元，用于当所述查询数据索引导入数据索引区后不存在有效数据索引时则直接返回FALSE。
根据上述技术方案，本发明实施例具有如下效果：本发明提出了数据索引区的概念，并且只设置了两个索引，起始索引值和终止索引值，节省了存储数据空间，并通过以时间序列或时间间隔转换而成的数据索引值与数据索引区采用交集计算方式查找到有效数据索引或索引区，再由数据索引或数据索引块在数据存储初始地址空间上作正向偏移来获取实际数据存储地址，加快数据查询的速度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了本申请提供的数据查询方法一种实施例的流程图；
图2示出了本申请提供的数据查询方法另一实施例的流程图；
图3示出了本申请提供的数据查询装置的一种实施例的结构图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，为发明实施例提供的一种用于嵌入式系统中的数据查询方法，包括如下步骤：
S101，在所述嵌入式系统中的存储器中建立数据索引区；
S102，获取待查询数据的查询数据索引；
S103，将所述查询数据索引导入数据索引区；
S104，计算有效数据索引并根据所述有效数据索引进行数据读取。
首先明确本申请中可能涉及的几个概念，索引区是由两个索引值组成。索引值是指读取某条数据记录时所使用的一个数据目录项用来指定该条数据记录存储的位置。时间序列是指日期时间按时、分或秒持续递增或持续递减规律。
本发明实施例提供了一种命名为索引区，在每个索引区中，记录包含了某段或整段采集的数据索引值。在普通算法中大容量的数据量必定有相对应容量比例的数据索引，但使用本发明实施例提供的索引区，则可以很好的解决数据索引本身的存储空间容量问题。所述索引区，在检索FLASH存储空间对象数据时，用于快速判断数据查询条件是否落入检索索引区内。索引区，也进一步 适用于在某个有用时间段内查询大容量数据方案中，利用索引区能快速划分时间段查询条件中无效时间数据索引区间和有效时间数据索引区间，从而为后面正确数据读取及读取数据速度提供了快速的步调。
数据索引区是由两个数据索引值组成即第一个数据索引值和最后加入的数据索引值。对于数据时序连续的待存储数据块，无论存储数据块内容多大对于数据索引区自身占用存储区大小来说，数据索引区总保持在两个数据索引值所占用的存储空间大小。数据索引区的这种结构突出了两大优势：其一是最大程度上因存储数据量越来越庞大，而带来的数据索引值自身所占用的存储空间也以一定比例的变大。其二是查询数据时不需要先搜索数据索引、比较数据索引，只需判断在索引区与查询数据索引两个对象中有无数据索引交集，即可快速判明查询数据索引是否有效或者说数据索引区是否包含此查询数据索引，从而快速判断出查询数据的处理结果。特别是在查询数据块时本发明索引区模块的快速度特性表现更佳。
如图2所示，为本发明另外一实施例，具体如下：获取待查询数据的查询数据索引具体包括两类不同的参数查询数据记录，一类参数可以按日期查询单条数据记录，另一类可以按日期查询多条数据记录块。处理查询数据条件时先把查询的日期时间转换成查询数据索引值或者把数据区域日期字段转换成查询数据索引，再把数据索引值或数据索引传入数据索引区模块。数据索引区模块采用的运算方法是利用数学中两个数据索引集合取其交集原理，计算出新的有效数据索引。由两个数据集合计算交集原理可知，其运算速度远高于数据索引 循环比较的效率。如果计算出两个数据集合没有数据交集即没有有效数据索引则本算法直接返回FALSE，反之则返回计算出的有效数据索引，所述有效数据索引为所述交集区域索引值。
根据本发明实施例的另外一方面，如图3所示，本发明实施例还提供一种用于嵌入式系统中的数据查询装置，包括：
数据索引区建立单元301，用于在所述嵌入式系统中的存储器中建立数据索引区；
查询数据索引获取单元302，用于获取待查询数据的查询数据索引；
导入单元303，将所述查询数据索引导入数据索引区；
计算单元304，用于计算有效数据索引并根据所述有效数据索引进行数据读取。
与上述数据查询方法相对应，所述建立数据索引区包括：所述数据索引区为记录一段或整段数据的第一个数据的数据索引值和最后一个数据的数据索引值。
所述计算单元为交集计算单元，用于使用交集原理确定查询数据索引与数据索引区的交集区域，所述有效数据索引为所述交集区域索引值。
所述装置还包括错误返回单元，用于当所述查询数据索引导入数据索引区后不存在有效数据索引时则直接返回FALSE。
本领域技术人员可以理解，描述于本申请实施例中所涉及到的装置或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可 以设置在处理器中，例如，可以描述为：一种处理器包括请求接收单元，信息读取单元，视图构建单元和功能启用单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，请求接收单元还可以被描述为“用于接收用户提交的调用小组件的请求的单元”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。所述计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的在全屏应用下使用小组件的方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种用于嵌入式系统中的数据查询方法，其特征在于，包括：
在所述嵌入式系统中的存储器中建立数据索引区；
获取待查询数据的查询数据索引；
将所述查询数据索引导入数据索引区；
计算有效数据索引并根据所述有效数据索引进行数据读取。
2.根据权利要求1所述的数据查询方法，其特征在于，所述建立数据索引区包括：所述数据索引区为记录一段或整段数据的第一个数据的数据索引值和最后一个数据的数据索引值。
3.根据权利要求1所述的数据查询方法，其特征在于，所述计算有效数据索引包括使用交集原理确定查询数据索引与数据索引区的交集区域，所述有效数据索引为所述交集区域索引值。
4.根据权利要求1任一所述的数据查询方法，其特征在于，所述查询数据索引由数据区域日期字段转换而成。
5.根据权利要求1～4任一所述的数据查询方法，其特征在于，所述方法还包括如下步骤：
所述查询数据索引导入数据索引区后不存在有效数据索引，则直接返回FALSE。
6.根据权利要求1～4任一所述的数据查询方法，其特征在于，所述待查询数据为单条数据记录或者多条数据记录块。
7.一种用于嵌入式系统中的数据查询装置，其特征在于，包括：
数据索引区建立单元，用于在所述嵌入式系统中的存储器中建立数据索引区；
查询数据索引获取单元，用于获取待查询数据的查询数据索引；
导入单元，将所述查询数据索引导入数据索引区；
计算单元，用于计算有效数据索引并根据所述有效数据索引进行数据读取。
8.根据权利要求7所述的数据查询装置，其特征在于，所述建立数据索引区包括：所述数据索引区为记录一段或整段数据的第一个数据的数据索引值和最后一个数据的数据索引值。
9.根据权利要求7所述的数据查询装置，其特征在于，所述计算单元为交集计算单元，用于使用交集原理确定查询数据索引与数据索引区的交集区域，所述有效数据索引为所述交集区域索引值。
10.根据权利要求7～9任一所述的数据查询装置，其特征在于，所述装置还包括错误返回单元，用于当所述查询数据索引导入数据索引区后不存在有效数据索引时则直接返回FALSE。
CN201410632933.2A 2014-11-11 2014-11-11 一种用于嵌入式系统中的数据查询方法及装置 Pending CN104536962A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410632933.2A CN104536962A (zh) 2014-11-11 2014-11-11 一种用于嵌入式系统中的数据查询方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410632933.2A CN104536962A (zh) 2014-11-11 2014-11-11 一种用于嵌入式系统中的数据查询方法及装置

Publications (1)

Publication Number Publication Date
CN104536962A true CN104536962A (zh) 2015-04-22

Family

ID=52852490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410632933.2A Pending CN104536962A (zh) 2014-11-11 2014-11-11 一种用于嵌入式系统中的数据查询方法及装置

Country Status (1)

Country Link
CN (1) CN104536962A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787118A (zh) * 2016-03-25 2016-07-20 武汉工程大学 HBase二级索引的设计方法及查询方法
CN106021570A (zh) * 2016-05-31 2016-10-12 广东凯通软件开发有限公司 数据查询方法及系统
CN110866003A (zh) * 2018-08-27 2020-03-06 阿里巴巴集团控股有限公司 索引值数目的估算方法和装置以及电子设备
CN112486979A (zh) * 2019-09-12 2021-03-12 阿里巴巴集团控股有限公司 数据处理方法、装置和系统、电子设备以及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040010485A1 (en) * 2001-07-05 2004-01-15 Masaki Aono Retrieving, detecting and identifying major and outlier clusters in a very large database
CN1858737A (zh) * 2006-01-25 2006-11-08 华为技术有限公司 一种数据搜索的方法和系统
CN102375853A (zh) * 2010-08-24 2012-03-14 中国移动通信集团公司 分布式数据库系统、在其中建立索引的方法和查询方法
CN103136274A (zh) * 2011-12-02 2013-06-05 北大方正集团有限公司 用于内容资源数据库的日期检索方法和装置
CN103984695A (zh) * 2014-03-21 2014-08-13 华为技术有限公司 一种数据库中的数据查询方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040010485A1 (en) * 2001-07-05 2004-01-15 Masaki Aono Retrieving, detecting and identifying major and outlier clusters in a very large database
CN1858737A (zh) * 2006-01-25 2006-11-08 华为技术有限公司 一种数据搜索的方法和系统
CN102375853A (zh) * 2010-08-24 2012-03-14 中国移动通信集团公司 分布式数据库系统、在其中建立索引的方法和查询方法
CN103136274A (zh) * 2011-12-02 2013-06-05 北大方正集团有限公司 用于内容资源数据库的日期检索方法和装置
CN103984695A (zh) * 2014-03-21 2014-08-13 华为技术有限公司 一种数据库中的数据查询方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787118A (zh) * 2016-03-25 2016-07-20 武汉工程大学 HBase二级索引的设计方法及查询方法
CN106021570A (zh) * 2016-05-31 2016-10-12 广东凯通软件开发有限公司 数据查询方法及系统
CN110866003A (zh) * 2018-08-27 2020-03-06 阿里巴巴集团控股有限公司 索引值数目的估算方法和装置以及电子设备
CN110866003B (zh) * 2018-08-27 2023-09-26 阿里云计算有限公司 索引值数目的估算方法和装置以及电子设备
CN112486979A (zh) * 2019-09-12 2021-03-12 阿里巴巴集团控股有限公司 数据处理方法、装置和系统、电子设备以及计算机可读存储介质
CN112486979B (zh) * 2019-09-12 2023-12-22 阿里巴巴集团控股有限公司 数据处理方法、装置和系统、电子设备以及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN110149803B (zh) 数据存储方法、系统及终端设备
CN104866497B (zh) 分布式文件系统列式存储的元数据更新方法、装置、主机
CN103150397B (zh) 一种数据索引创建方法、数据检索方法和系统
CN102158349A (zh) 一种日志管理装置及方法
KR20170123336A (ko) 파일 조작 방법 및 장치
CN104536962A (zh) 一种用于嵌入式系统中的数据查询方法及装置
CN106528847A (zh) 一种海量数据的多维度处理方法及系统
CN104331428A (zh) 一种小文件和大文件的存储及访问方法
CN103840969A (zh) 云计算系统中告警日志的管理方法和系统
CN104778182A (zh) 基于HBase的数据导入方法和系统
CN103793439A (zh) 一种实时检索信息获取方法、装置及服务器
CN110647542B (zh) 一种数据获取方法和装置
CN105095113A (zh) 一种缓存管理方法和系统
CN104516822A (zh) 一种内存访问方法和设备
CN105468644A (zh) 一种用于在数据库中进行查询的方法与设备
CN103530298A (zh) 一种信息搜索方法和装置
CN105183737A (zh) 外观设计专利即时检索系统及检索方法
CN110688065A (zh) 一种存储空间管理方法、系统、电子设备及存储介质
CN104484332A (zh) 一种嵌入式系统中读写数据的方法及装置
CN112000628B (zh) 多通道激光雷达数据存储方法、装置及电子设备
CN109063210A (zh) 存储系统的资源对象查询方法、装置、设备及存储介质
CN103425694A (zh) 关系型数据的搜索方法和装置
CN102955808A (zh) 一种数据获取方法和分布式文件系统
CN109063215B (zh) 数据检索方法及装置
CN111897812A (zh) 数据查询方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150422