CN101763417A - 一种数据查询方法及装置 - Google Patents

Abstract

本发明公开了一种数据查询方法及装置，涉及智能交通系统技术领域。为了解决现有技术中，系统在进行数据查询时，容易产生较大的误差，且查询的复杂度较高，需要占用的系统资源较大的问题而发明。本发明实施例提供了一种数据查询方法，该方法包括：获取待查询子序列及其对应时刻参数；根据所述待查询子序列的对应时刻参数，从历史数据中获取所述对应时刻参数的子序列集合；将所述待查询子序列和所述获取到的子序列集合中的子序列进行降维处理；将所述降维处理后的待查询子序列与所述降维处理后的子序列集合中的子序列进行匹配查询；获取与所述待查询子序列相匹配的子序列。采用本发明可以降低系统的数据查询时间复杂度，提高了系统资源的利用率。

Description

一种数据查询方法及装置

技术领域

本发明涉及智能交通系统技术领域，尤其涉及一种数据查询方法及装置。

背景技术

先进交通信息服务系统(Advanced Traffic Information System，ATIS)建立在完善的信息网络基础之上，该系统可以通过装备在道路、车、换乘站、停车场以及气象中心的传感器或者数据传输设备来获取各类交通信息，根据所述获取到的数据进行综合处理。该系统可以实时向社会提供全面、准确的实时道路交通拥堵信息。但是，通过所述设备所获取到的数据不能完全覆盖所有的道路，从而需要通过历史数据的相似查询进行实时数据填补，并可用历史数据经过分析后进行预测。

所述历史数据是一些随着时间变化而形成的有序数据列表，是一种时间序列，简称时序。时间序列的相似性查询是在时间序列数据集中发现相似的变化模式，对于时间序列的预测、分类及进行知识发现等具有重要意义。大规模时间序列数据库相似查询是时间序列数据挖掘的热点内容之一。通过对实时数据进行历史数据库中相似查询，可快速实现对实时数据的填补及预测。但是由于历史数据的时间序列存在海量性及高维性，直接进行原始序列的距离计算，查找与待查询序列相似的子序列需要占用大量的系统资源。其中，所述时间序列常常采用高级数据表示形式为离散傅立叶变换DFT法。

在实现上述数据处理的过程中，发明人发现现有技术中至少存在如下问题：由于目前所述离散傅立叶变换的方法平滑了许多原始序列信息，不能精确表示原始序列，且该方法的时间复杂度为O(n²)，使得系统在进行数据查询时，容易产生较大的误差，且查询的复杂度较高，需要占用的系统资源较大。

发明内容

本发明的实施例提供一种数据查询方法及装置。

为达到上述目的，本发明的实施例采用如下技术方案：

一种数据查询方法，包括：

获取待查询子序列及其对应时刻参数；

根据所述待查询子序列的对应时刻参数，从历史数据中获取所述对应时刻参数的子序列集合；

将所述待查询子序列和所述获取到的子序列集合中的子序列进行降维处理；

将所述降维处理后的待查询子序列与所述降维处理后的子序列集合中的子序列进行匹配查询；

获取与所述待查询子序列相匹配的子序列。

一种数据查询装置，包括：

信息获取单元，用于获取待查询子序列及其对应时刻参数；

历史子序列获取单元，用于根据所述待查询子序列的对应时刻参数，从历史数据中获取所述对应时刻参数的子序列集合；

序列处理单元，用于将所述待查询子序列和所述获取到的子序列集合中的子序列进行降维处理；

匹配查询单元，用于将所述降维处理后的待查询子序列与所述降维处理后的子序列集合中的子序列进行匹配查询；

匹配序列获取单元，用于获取与所述待查询子序列相匹配的子序列。

本发明实施例提供的数据查询方法及装置，通过获取待查询子序列及其对应时刻参数；根据所述待查询子序列的对应时刻参数，从历史数据中获取所述对应时刻参数的子序列集合；将所述待查询子序列和所述获取到的子序列集合中的子序列进行降维处理；将所述降维处理后的待查询子序列与所述降维处理后的子序列集合中的子序列进行匹配查询；获取与所述待查询子序列相匹配的子序列。与现有技术相比，本发明实施例将所述待查询子序列与历史数据中获取所述对应时刻参数的子序列集合中的子序列进行了降维处理，使得整个系统的查询时间复杂度降低，提高了系统资源的利用率。

附图说明

图1为本发明实施例提供的一种数据查询方法流程图；

图2为本发明实施例提供的一种数据查询方法中根据所述待查询子序列的对应时刻参数，从历史数据中获取所述对应时刻参数的子序列集合步骤的实现流程图；

图3为本发明实施例提供的一种数据查询方法中将所述待查询子序列和所述获取到的子序列集合中的子序列进行降维处理的具体实现流程图；

图4为本发明实施例提供的一种数据查询方法中将所述降维处理后的待查询子序列与所述降维处理后的子序列集合中的子序列进行匹配查询步骤的具体实现流程图；

图5为本发明实施例提供的一种数据查询方法中获取与所述待查询子序列相匹配的子序列步骤的具体实现流程图；

图6为本发明实施例提供的一种数据查询装置结构示意图。

具体实施方式

下面结合附图对本发明实施例数据查询方法及装置进行详细描述。

如图1所示，为本发明实施例提供的一种数据查询方法，该方法包括：

101：获取待查询子序列及其对应时刻参数；

102：根据所述待查询子序列的对应时刻参数，从历史数据中获取所述对应时刻参数的子序列集合；

103：将所述待查询子序列和所述获取到的子序列集合中的子序列进行降维处理；

104：将所述降维处理后的待查询子序列与所述降维处理后的子序列集合中的子序列进行匹配查询；

105：获取与所述待查询子序列相匹配的子序列。

如图2所示，为本发明实施例提供的一种数据查询方法中根据所述待查询子序列的对应时刻参数，从历史数据中获取所述对应时刻参数的子序列集合步骤的实现流程；

设历史数据的时间序列的数据库为第一数据库DB；其中，存储了N个长度不同的时间序列；当前待查询子序列为 $x_i=(x_i,x_{i+\mathrm{\τ}},\·\·\·,x_{i+(m-1)\mathrm{\τ}}),$ i＝1，2，…，n-(m-1)τ；其中，m为嵌入维数；τ为延迟时间，τ＝1，2，…；x_i是相空间中的点。从所述第一数据库DB中获取与所述待查询子序列时刻所对应的子序列集合，即获取重构相空间的过程为：

201：获取所述待查询子序列中各个元素所对应的时刻参数；例如：所述待查询子序列中的x_i所对应的时刻点为t1，xi+τ所对应的时刻点为t2，，xi+2τ所对应的时刻点为t3，依次类推。

202：根据所述时刻参数，从历史数据的时间序列的数据库即第一数据库DB中查找所述时刻参数对应的子序列集合；例如：设时刻参数为t1，t2，t3…；从历史数据的时间序列的数据库即第一数据库DB中依次查询前一天对应时刻t1，t2，t3…的子序列，前两天对应时刻t1，t2，t3…的子序列，直到将所述第一数据库DB中所有对应时刻t1，t2，t3…的子序列全部查询出来，将所述查询到的所有对应时刻t1，t2，t3…的子序列组成一个子序列集合。

如图3所示，为本发明实施例提供的一种数据查询方法中将所述待查询子序列和所述获取到的子序列集合中的子序列进行降维处理的具体实现流程；该流程包括：

以下通过交通历史数据库中存放的是以5分钟间隔的车速值为例；其中，一个时间序列为1天的车速值，那么每个时间序列的长度是小于或等于288。设待查询的子序列为x＝{x₁，x₂，…，x_m}，长度为m＜288；预设误差大小为e，初始维度值为p，p＜m；

301：获取预设误差参数e、初始维度值p，p＜m以及待查询子序列x＝{x₁，x₂，…，x_m}；

302：将所述待查询子序列映射到其对应的分段多项式特征空间中；其具体的映射过程如下：

$\∀\mathrm{\χ}\∈X$ 其长度|χ|＝m，在最小均方误差意义下用如下多项式函数近似：

f(t，w)＝w₀+w₁t+w₂t²+…+w_p-1t^p-1

即将χ影射到多项式基于{1，t¹，…，t^p-1}张成的p维特征空间中的点ω＝(w₀，w₁，…，w_p-1)^T，此处称ω是χ的分段多项式表示如下：

ω＝F(χ)＝(Q^TQ)^-1Q^Tχ

式中Q＝(1^T，…，i^T，…，m^T)^T；i＝(i⁰，i¹，…，i^p-1)^T，i＝1，2，…，m；

χ的逆变换为：χ′＝F^-1(ω)＝Qω；

χ与χ之间满足：χ＝χ+e；

其中，e是残差序列，服从标准正态分布，即e～N(0，σ²)。

利用该转换，实现了R^m→R^p的映射，一般m＞p，因此R^m→R^p的映射实现了时间序列数据的降维。

由于上述预设维度值p可能会带来较大的误差，即降维后的子序列与降维前子序列之间的误差超出预设误差e，所以本发明实施例还可以通过如下步骤保证降维后子序列的精确性。

303：根据所述分段多项式表示的公式进行多项式函数近似，得到w＝{w₀，w₁，…，w_p-1}，获取降维后的子序列x′。

304：获取实际误差|x′-x|，判断所述实际误差|x′-x|的值是否小于预设误差e，如果小于预设误差e，则执行步骤306；如果不小于预设误差e，则执行步骤305。

305：更新p值；例如：增加p值，执行步骤302。

306，结果输出w即为x的多项式表示。并且实现了从m维时序空间转换到p维空间，实现了降维的过程。

需要注意的是，将所述获取到的子序列集合中的子序列分别映射到其对应的分段多项式特征空间中的过程与上述降维过程相同，此处不再赘述。

如图4所示，为本发明实施例提供的一种数据查询方法中将所述降维处理后的待查询子序列与所述降维处理后的子序列集合中的子序列进行匹配查询步骤的具体实现流程；该流程包括：

401：将所述降维处理后的子序列集合进行MBR(最小外包矩形)分割；所述MBR分割的实现过程如下：

MBR即最小外包矩形，就是包围图元，且平行于X，Y轴的最小外接矩形。将原始时间序列在特征空间中的轨迹用MBR分割成多个子轨迹，使得磁盘访问次数最小。

MBR索引方法中，建立R^*树，R^*树中的每一个节点(即每个MBR)，需要存储的数据包括s_id，t_s，t_d，F1_min，F1_max，…，Fp_min，Fp_max，其中，s_id是每个时间序列的唯一识别号；t_s和t_d分别是该MBR对应时间序列中的起始偏移位置和结束偏移位置；F1_min，F1_max，…，Fp_min，Fp_max是该MBR的顶点坐标值。

402：将所述降维处理后的待查询子序列与MBR分割后的所述降维处理后的子序列集合进行匹配查询。具体的讲，就是用w_q在索引文件中搜索所有符合如下条件的MBR作为候选集： $w_q\⋐\mathrm{MBR}.$

如图5所示，为本发明实施例提供的一种数据查询方法中获取与所述待查询子序列相匹配的子序列步骤的具体实现流程，该流程包括：

501：获取所述降维处理后的子序列集合中子序列与所述降维处理后的待查询子序列的Euclidean(欧几里德)距离。

其中，获取所述Euclidean距离的具体过程为：

$\∀\mathrm{\χ}\∈X,$ $\∀y\∈X,$ 且|χ|＝|y|＝m，定义

$d(\mathrm{\χ},y)=\sqrt{(\mathrm{\χ}-y){(\mathrm{\χ}-y)}^T/m}$

是χ，y之间的实际Euclidean距离。

需要注意的是，当所述降维处理后的待查询子序列与MBR分割后的所述降维处理后的子序列集合进行匹配查询时，则仅获取MBR作为候选集中子序列与与所述降维处理后的待查询子序列的Euclidean距离。

502：根据所述获取到的Euclidean距离，获取与所述待查询子序列q相匹配的子序列。

需要注意的是，该流程还可以包括：

获取Euclidean距离阈值；例如：设Euclidean距离阈值ε为0.001。

根据所述Euclidean距离阈值，获取与所述待查询子序列相匹配的子序列集合。具体的讲，获取Euclidean距离小于等于所述ε，即0.001的子序列。

需要注意的是，当所述获取的子序列集合为候选集合中的MBR所对应的相空间中的点x_i，i＝1，2，…与q之间的距离时，如果d(q，x_i)≤ε那么x_i就是一个与q相似的子序列。

还需要注意的是，如果将所有满足上式的子序列作为结果输出，则可以将所述查询过程称为PQ查询；将所述满足d(q，x_i)≤ε的子序列集合，例如：该集合中包含有k个子序列，如果所述k个子序列中与q之间距离最小的子序列作为结果输出，则可以将所述查询过程称为k-NNQ查询。

如图6所示，为本发明实施例提供的一种数据查询装置，该装置包括：

信息获取单元601，用于获取待查询子序列及其对应时刻参数；

历史子序列获取单元602，用于根据所述待查询子序列的对应时刻参数，从历史数据中获取所述对应时刻参数的子序列集合；

序列处理单元603，用于将所述待查询子序列和所述获取到的子序列集合中的子序列进行降维处理；

匹配查询单元604，用于将所述降维处理后的待查询子序列与所述降维处理后的子序列集合中的子序列进行匹配查询；

匹配序列获取单元605，用于获取与所述待查询子序列相匹配的子序列。

需要注意的是，所述序列处理单元603，包括：

待查询子序列处理子单元，用于将所述待查询子序列映射到其对应的分段多项式特征空间中；

历史子序列处理子单元，用于将所述获取到的子序列集合中的子序列分别映射到其对应的分段多项式特征空间中。

还需要注意的是，所述匹配查询单元604，包括：

分割子单元，用于将所述降维处理后的子序列集合进行MBR分割；

匹配查询子单元，用于将所述降维处理后的待查询子序列与MBR分割后的所述降维处理后的子序列集合进行匹配查询。

还需要注意的是，所述匹配序列获取单元605，包括：

距离获取子单元，用于获取所述降维处理后的子序列集合中子序列与所述降维处理后的待查询子序列的Euclidean距离；

匹配序列获取子单元，用于根据所述获取到的Euclidean距离，获取与所述待查询子序列相匹配的子序列。

还需要注意的是，该装置还包括：

阈值获取单元，用于获取Euclidean距离阈值；

匹配子序列获取单元，用于根据所述Euclidean距离阈值，获取与所述待查询子序列相匹配的子序列集合。

本发明实施例提供的数据查询方法及装置，通过获取待查询子序列及其对应时刻参数；根据所述待查询子序列的对应时刻参数，从历史数据中获取所述对应时刻参数的子序列集合；将所述待查询子序列和所述获取到的子序列集合中的子序列进行降维处理；将所述降维处理后的待查询子序列与所述降维处理后的子序列集合中的子序列进行匹配查询；获取与所述待查询子序列相匹配的子序列。与现有技术相比，本发明实施例将所述待查询子序列与历史数据中获取所述对应时刻参数的子序列集合中的子序列进行了降维处理，使得整个系统的查询时间复杂度降低，提高了系统资源的利用率；且采用了分段多项式的方法来表示时间序列，从而减小了查询过程中的误差。

通过以上的实施方式的描述，本领域普通技术人员可以理解：实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括如上述方法实施例的步骤，所述的存储介质，如：FLASH、ROM/RAM、磁碟、光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据查询方法，其特征在于，包括：

获取待查询子序列及其对应时刻参数；

根据所述待查询子序列的对应时刻参数，从历史数据中获取所述对应时刻参数的子序列集合；

将所述待查询子序列和所述获取到的子序列集合中的子序列进行降维处理；

将所述降维处理后的待查询子序列与所述降维处理后的子序列集合中的子序列进行匹配查询；

获取与所述待查询子序列相匹配的子序列。

2.根据权利要求1所述的数据查询方法，其特征在于，将所述待查询子序列和所述获取到的子序列集合中的子序列进行降维处理的步骤，包括：

将所述待查询子序列映射到其对应的分段多项式特征空间中；

将所述获取到的子序列集合中的子序列分别映射到其对应的分段多项式特征空间中。

3.根据权利要求1或2所述的数据查询方法，其特征在于，将所述降维处理后的待查询子序列与所述降维处理后的子序列集合中的子序列进行匹配查询的步骤，包括：

将所述降维处理后的子序列集合进行最小外包矩形分割；

将所述降维处理后的待查询子序列与所述最小外包矩形分割后的所述降维处理后的子序列集合进行匹配查询。

4.根据权利要求1或2所述的数据查询方法，其特征在于，获取与所述待查询子序列相匹配的子序列的步骤，包括：

获取所述降维处理后的子序列集合中子序列与所述降维处理后的待查询子序列的欧几里德距离；

根据所述获取到的欧几里德距离，获取与所述待查询子序列相匹配的子序列。

5.根据权利要求4所述的数据查询方法，其特征在于，该方法还包括：

获取欧几里德距离阈值；

根据所述欧几里德距离阈值，获取与所述待查询子序列相匹配的子序列集合。

6.一种数据查询装置，其特征在于，包括：

信息获取单元，用于获取待查询子序列及其对应时刻参数；

历史子序列获取单元，用于根据所述待查询子序列的对应时刻参数，从历史数据中获取所述对应时刻参数的子序列集合；

序列处理单元，用于将所述待查询子序列和所述获取到的子序列集合中的子序列进行降维处理；

匹配查询单元，用于将所述降维处理后的待查询子序列与所述降维处理后的子序列集合中的子序列进行匹配查询；

匹配序列获取单元，用于获取与所述待查询子序列相匹配的子序列。

7.根据权利要求6所述的数据查询装置，其特征在于，所述序列处理单元，包括：

待查询子序列处理子单元，用于将所述待查询子序列映射到其对应的分段多项式特征空间中；

历史子序列处理子单元，用于将所述获取到的子序列集合中的子序列分别映射到其对应的分段多项式特征空间中。

8.根据权利要求6或7所述的数据查询装置，其特征在于，所述匹配查询单元，包括：

分割子单元，用于将所述降维处理后的子序列集合进行最小外包矩形分割；

匹配查询子单元，用于将所述降维处理后的待查询子序列与所述最小外包矩形分割后的所述降维处理后的子序列集合进行匹配查询。

9.根据权利要求6或7所述的数据查询装置，其特征在于，所述匹配序列获取单元，包括：

距离获取子单元，用于获取所述降维处理后的子序列集合中子序列与所述降维处理后的待查询子序列的欧几里德距离；

匹配序列获取子单元，用于根据所述获取到的欧几里德距离，获取与所述待查询子序列相匹配的子序列。

10.根据权利要求9所述的数据查询装置，其特征在于，该装置还包括：

阈值获取单元，用于获取欧几里德距离阈值；

匹配子序列获取单元，用于根据所述欧几里德距离阈值，获取与所述待查询子序列相匹配的子序列集合。

Images