CN105608096A - 时间序列数据处理方法及其系统 - Google Patents

时间序列数据处理方法及其系统 Download PDF

Info

Publication number
CN105608096A
CN105608096A CN201410705190.7A CN201410705190A CN105608096A CN 105608096 A CN105608096 A CN 105608096A CN 201410705190 A CN201410705190 A CN 201410705190A CN 105608096 A CN105608096 A CN 105608096A
Authority
CN
China
Prior art keywords
data
numerical value
group
time series
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410705190.7A
Other languages
English (en)
Inventor
古永忠
蔡宗融
陈立群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute for Information Industry
Original Assignee
Institute for Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute for Information Industry filed Critical Institute for Information Industry
Publication of CN105608096A publication Critical patent/CN105608096A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G06F16/2315—Optimistic concurrency control
    • G06F16/2322—Optimistic concurrency control using timestamps

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Complex Calculations (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了时间序列数据处理方法及其系统。该时间序列数据处理方法，包括：将时间序列数据的多笔数据分配于多个数据组，以对各数据组中的多笔数据执行统计计算以产生对应的统计结果，其中统计结果为各数据组对应的各结果数值，以及对应时间序列数据的多笔数据的记录数值。缓存各数据组对应的统计结果。根据时间序列数据的新输入数据之数值与各数据组对应的统计结果进行比较以选择所述数据组中的一个，并将新输入数据加入被选择的数据组，重新对被选择的数据组执行统计计算并产生结果数值。选取所述数据组中的一个，以被选取的数据组的结果数值更新记录数值。

Description

时间序列数据处理方法及其系统
技术领域
本发明提出一种数据处理方法，特别是关于一种时间序列的数据处理方法及其系统。
背景技术
在这信息爆炸的时代，时间序列数据与我们的生活息息相关，例如社交网站上的个人喜好、某个观光景点的造访人数、甚至是股票价格、物价指数、通货膨胀率、利率、汇率等等，都是我们在日常信息或是财金议题中时时刻刻都会接触到的数据。然而，为了理解及利用这些巨量的时间序列数据，一般会通过数据编制索引、搜索和进行处理计算，以得到相关的统计数据，藉以呈现相关的搜寻结果或趋势来达到商业策略或金融交易之目的是相当重要的。
目前数据序列处理以传统的数据处理方式进行处理，使用传统数据库之数据统计方式来进行处理时，仍考虑使用全面的数据，对于巨量的时间序列数据而言，效率将缓慢得不切实际。因此，在重视趋势的应用上，处理巨量数据所耗费的时间成本并非我们所乐见的。
发明内容
本发明实施例提出一种时间序列数据处理方法，包括以下步骤：首先，将时间序列数据的多笔数据分配于多个数据组，以对各数据组中的多笔数据执行统计计算，并产生对应的统计结果，其中统计结果是为各数据组分别对应的结果数值，以及对应时间序列数据的多笔数据的记录数值；接着，缓存各数据组对应的统计结果；其后，根据时间序列数据的新输入数据之数值与各数据组对应的统计结果进行比较，以据此选择所述数据组中的一个数据组，并将新输入数据加入被选择的数据组，重新对被选择的数据组执行统计计算并产生结果数值；最后，选取所述数据组中的一个数据组，以被选取的数据组的结果数值更新记录数值。
本发明实施例提出一种时间序列数据处理系统。时间序列数据处理系统包括数据分配处理模块以及数据查询处理模块。数据分配处理模块包括数据缓存器以及分配器。数据查询处理模块包括选择器以及分析器。数据查询处理模块耦接于数据分配处理模块。分配器耦接于数据缓存器。分析器耦接于选择器。数据分配处理模块用以接收时间序列数据的多笔数据并分配于多个数据组，以提供各数据组执行统计计算。数据缓存器用以缓存各数据组对应的统计结果，其中统计结果是为各数据组分别对应的结果数值，以及对应时间序列数据的多笔数据的记录数值。分配器用以比较时间序列数据的新输入数据之数值与各数据组对应的统计结果以据此选择所述数据组中的一个数据组，并将新输入数据之数值加入被选择的数据组，重新对被选择的数据组执行统计计算并产生结果数值。选择器用以选取所述数据组中的一个数据组。分析器用以以被选取的数据组的结果数值更新记录数值。
综上所述，本发明实施例所提出之时间序列数据处理方法及其系统能够在重视趋势的决策情境下，提供稍低精确度但快速的计算结果。更仔细地说，将原本巨量的数据的通过分布式的处理方式并考虑各分布式索引之误差平衡，在维持常态分配模型的情况下能够提供相当精确度以及可预期响应时间之计算结果。更值得一提的是，本发明实施例于各分布式索引之数据中以取样的方式确保计算量，以维持稳定的响应时间。
简单来说，本发明实施例兼顾分群取样之效率与系统取样之精确度，并维持稳定的响应时间。
为使能更进一步了解本发明之特征及技术内容，请参阅以下有关本发明之详细说明与附图，但是此等说明与所附附图仅是用来说明本发明，而非对本发明的权利范围作任何的限制。
附图说明
图1为本发明实施例之时间序列数据处理系统之示意图。
图2为本发明实施例之时间序列数据处理方法之流程图。
图3为本发明实施例之平均计算的时间序列数据处理方法之流程图。
图4为本发明实施例之数据分配处理模块分配时间序列数据于多个数据组之示意图。
图5为本发明实施例之动态计算的时间序列数据处理方法之流程图。
图6为本发明实施例之动态计算的数据分配处理模块分配时间序列数据之示意图。
具体实施方式
在下文将参看随附附图更充分地描述各种例示性实施例，在随附附图中展示一些例示性实施例。然而，本发明概念可能以许多不同形式来体现，且不应解释为限于本文中所阐述之例示性实施例。确切而言，提供此等例示性实施例使得本发明将为详尽且完整，且将向本领域的技术人员充分传达本发明概念的范畴。在诸附图中，可为了清楚而夸大示层及区之大小及相对大小。类似数字始终指示类似组件。
本发明实施例主要是将时间序列数据的多笔数据以分散的方式分配于多个数据组并各别执行统计计算。接着，将时间序列数据的新输入数据之数值与各数据组进行比较并据此将新输入数据加入被选择的数据组中。也就是说，本发明实施例之分散的方式考虑各分布式索引之误差平衡来维持常态分配模型，以提供快速且具有相当精确度之计算方法。后续将进一步进行详细说明本发明实施例。
请参阅图1，图1为本发明实施例之时间序列数据处理系统之示意图。时间序列数据处理系统1包括时间标记模块11、数据分配处理模块12、存储器模块13以及数据查询处理模块14。数据分配处理模块12包括数据缓存器121以及分配器122。数据查询处理模块14包括选择器141以及分析器142。数据分配处理模块12耦接于时间标记模块11，存储器模块13耦接于数据分配处理模块12，数据查询处理模块14耦接于存储器模块13与数据分配处理模块12。数据缓存器121耦接于分配器122，分析器142耦接于选择器141。
时间标记模块11包括适当的电路、逻辑和/或编码，用以将序列数据DATA的多笔数据标记时间戳以产生时间序列数据DATA_S。时间序列数据DATA_S表示由离散事件组成的某些类型活动。
在本发明实施例中，数据分配处理模块12用以接收时间序列数据DATA_S的多笔数据，并将所述多笔数据分配于多个数据组，以提供各数据组执行统计计算，并产生对应的统计结果。其中统计结果是为各数据组分别对应的结果数值，以及对应时间序列数据DATA_S的多笔数据的记录数值。值得一提的是，数据分配处理模块12所提供之统计计算为平均计算与动态计算两者中的一个，结果数值为平均计算数值与动态计算数值两者中的一个。更仔细地说，平均计算为将数据组中之所有数据的数值(或取样之数据的数值)加总平均；动态计算为先于数据组中取样一预设数量的数据来产生数据列表，并且将数据列表以预设数量的数据之数值依大小进行排序，以提供时间序列数据DATA_S的新输入数据之数值与数据列表上之数据进行取代之相关运算。
进一步地说，数据分配处理模块12之数据缓存器121包括适当的电路、逻辑和/或编码，用以缓存各数据组对应的统计结果。其中统计结果是为各数据组分别对应的结果数值，以及对应时间序列数据DATA_S的多笔数据的记录数值。换句话说，数据缓存器121提供数据分配处理模块12一快取空间(Statisticscache)来缓存各数据组相关统计计算的结果。
数据分配处理模块12之分配器122包括适当的电路、逻辑和/或编码，用以比较数据分配处理模块12所接收之时间序列数据DATA_S的新输入数据之数值与各数据组对应的统计结果，以据此选择所述数据组中的一个数据组。其后，分配器122将新输入数据之数值加入被选择的数据组，以重新对被选择的数据组执行统计计算并产生结果数值。
举例来说，当数据分配处理模块12所执行之统计计算为平均计算时，各数据组分别对应的结果数值为各数据组之所有数据之平均计算数值。分配器122判断时间序列数据DATA_S之新输入数据之数值大于的记录数值时，将新输入数据加入至所述数据组中其平均计算数值为最小的数据组；当分配器122判断时间序列数据DATA_S之新输入数据之数值小于记录数值时，将新输入数据加入至所述数据组中其平均计算数值为最大的数据组。在本发明实施例中，新输入数据加入至所述数据组后直接进行加总平均。然而，记录数值为各数据组对应的平均计算数值进一步的平均值。另一方面来说，记录数值可代表时间序列数据DATA_S所有数据的平均值。
再另一举例，当数据分配处理模块12所执行之统计计算为动态计算时，各数据组分别对应的结果数值为各数据组之各数据组之数据列表中的动态计算数值，分配器122判断时间序列数据DATA_S之新输入数据之数值大于动态计算数值时，在被选取的数据组中取代数据列表上小于新输入数据之数值之最大值；当分配器122判断时间序列数据DATA_S之新输入数据之数值小于动态计算数值时，在被选取的数据组中取代数据列表上大于新输入数据之数值之最小值。值得一提的是，动态计算数值为最接近预设数量的数据之数值的平均值的数据之数值。在本发明实施例中，记录数值亦为各数据组对应的动态计算数值的平均值。
值得一提的是，上述虽分别以平均计算与动态计算分别实施与说明，但在实际应用上仍可将两者同时实施。更仔细地说，当分配器122将时间序列数据DATA_S之新输入数据之数值与记录数值进行比较，依各数据组之平均计算数值将新输入数据加入至所述数据组中的一个数据组。同时，分配器122进一步对被选择加入的数据组取样预设数量的数据来产生数据列表，并且将数据列表以预设数量的数据之数值依大小进行排序。接着，分配器122判断时间序列数据DATA_S之新输入数据之数值与动态计算数值的大小，取代数据列表上之数值并进一步更新记录数值。
存储器模块13包括适当的电路、逻辑和/或编码，用以储存分配于所述数据组之时间序列数据DATA_S的多笔数据。更仔细地说，当时间序列数据DATA_S经由数据分配处理模块12进行比较分配后，将时间序列数据DATA_S的数据数值储存于存储器模块13。
数据查询处理模块14之选择器141包括适当的电路、逻辑和/或编码，用以选取所述数据组中的一个数据组。更仔细地说，选择器141用以接收查询指令RS以执行随机选取所述数据组中的一个数据组。使用者能够通过查询指令RS对存储器模块13中巨量的时序数据进行查询，以获得使用者所欲了解之行为特性的趋势。在本发明实施例中，是以趋势作为查询之目的，并非需精确取得每一笔数据。其中选择器141所接收之查询指令RS包括时间颗粒度(Timegranularity)之信息。值得一提的是，当时间颗粒度小于预设范围值(可依使用者或营运商之经验所设置)时，执行被选取的数据组于预设范围值内的数据。换句话说，当时间颗粒度较小时亦可进行精确计算。
数据查询处理模块14之分析器142包括适当的电路、逻辑和/或编码，用以通过被选取的数据组的结果数值更新记录数值。更仔细地说，在本发明实施例中，数据分配处理模块12在分配完时间序列数据DATA_S之新输入数据与计算出新的结果数值后，并未直接更新数据缓存器121之记录数值。直到下一个时间点选择器141接收到查询指令RS后才读取存储器模块13中关于各数据组的统计结果并通过分析器142进行更新数据缓存器121中的记录数值。然而，在实际应用上亦可以数据分配处理模块12在分配完时间序列数据DATA_S之新输入数据与计算出新的结果数值后直接对数据缓存器121之记录数值，本发明并不此做为限制。
接着将进一步说明本发明实施例之时间序列数据处理方法。请参阅图2，图2为本发明实施例之时间序列数据处理方法之流程图。时间序列数据处理方法包括以下步骤：步骤S101，将时间序列数据的多笔数据分配于多个数据组，以对各数据组中的多笔数据执行统计计算，并产生对应的统计结果；步骤S102，缓存各数据组对应的统计结果；步骤S103，根据时间序列数据的新输入数据之数值与各数据组对应的统计结果进行比较，以据此选择所述数据组中的一个数据组，并将新输入数据加入被选择的数据组，重新对被选择的数据组执行平均计算并产生结果数值；步骤S104，选取所述数据组中的一个数据组，以被选取的数据组的结果数值更新记录数值。
请同时参阅图1与图2。在步骤S101中，数据分配处理模块12用以接收时间序列数据DATA_S的多笔数据，并将所述多笔数据分配于多个数据组，以提供各数据组执行统计计算并产生对应的统计结果。
在步骤S102中，数据缓存器121缓存各数据组对应的统计结果。也就是说，数据缓存器121提供数据分配处理模块12一快取空间(Statisticscache)来缓存各数据组相关统计计算的结果以及对应时间序列数据的多笔数据之记录数值。
在步骤S103中，分配器122比较数据分配处理模块12所接收之时间序列数据DATA_S的新输入数据之数值与各数据组对应的统计结果，以据此选择所述数据组中的一个数据组。其后，分配器122将新输入数据之数值加入被选择的数据组，以重新对被选择的数据组执行统计计算并产生结果数值。
在步骤S104中，使用者输入之查询指令RS至选择器141以随机或依顺序选择储存于存储器模块13的所述数据组中的一个数据组之结果数值。接着，选择器141进一步传送所述查询指令RS所选择之结果数值至分析器142。分析器142通过被选取的数据组的结果数值更新数据缓存器121之记录数值。
请参阅图3，图3为本发明实施例之平均计算的时间序列数据处理方法之流程图。后续将进一步以统计计算为平均计算进行说明。平均计算的时间序列数据处理方法包括以下步骤：步骤S201，将时间序列数据的多笔数据分配于多个数据组，以对各数据组中的多笔数据执行平均计算；步骤S202，产生对应的各数据组之所有数据之平均计算数值；步骤S203，缓存各平均计算数值以及记录数值；步骤S204，将时间序列数据的新输入数据之数值与记录数值进行比较；步骤S205，判断新输入数据之数值是否大于记录数值；步骤S206，将新输入数据加入至所述数据组中其平均计算数值为最小的数据组；步骤S207，将新输入数据加入至所述数据组中其平均计算数值为最大的数据组；步骤S208，重新对被选择的数据组执行平均计算并产生平均计算数值；步骤S209，选取所述数据组中的一个数据组，将被选取的数据组的平均计算数值更新记录数值。
请同时参阅图1、图3与图4。图4为本发明实施例之数据分配处理模块分配时间序列数据于多个数据组之示意图。在步骤S201中，数据分配处理模块12用以接收时间序列数据DATA_S的多笔数据，并且分配器122将所述多笔数据分配于5个数据组ID1～ID5。接着，在步骤S202中，分配器122对被所选择各数据组ID1～ID5执行平均计算，并产生对应各数据组ID1～ID5之平均计算数值。其中平均计算数值为将数据组ID1～ID5中之所有数据的数值加总平均(或取样之数据的数值之平均计算数值)。举例来说，本发明实施例之数据组ID1～ID5的平均计算数值大小依序为ID5>ID4>ID3>ID2>ID1。
在步骤S203中，数据缓存器121缓存各数据组ID1～ID5对应的平均计算数值。值得一提的是，数据缓存器121除了缓存各数据组ID1～ID5对应的平均计算数值外，亦储存了所有平均计算数值的平均值(亦及为前述实施例之记录数值)。
在步骤S204中，分配器122比较数据分配处理模块12所接收之时间序列数据DATA_S的新输入数据之数值与记录数值，以据此选择所述数据组ID1～ID5中的一个。
延续步骤S204，在步骤S205中分配器122进一步判断时间序列数据DATA_S的新输入数据之数值是否大于记录数值(亦即为各数据组ID1～ID5之平均计算数值的平均值)。若是，进入步骤S207；若否，进入步骤S206。更仔细地说，当分配器122判断时间序列数据DATA_S之新输入数据之数值大于的记录数值时进入步骤S207中，将新输入数据加入至所述数据组ID1～ID5中其平均计算数值为最小的数据组ID1；相反地，当分配器122判断时间序列数据DATA_S之新输入数据之数值小于记录数值时进入步骤S206，将新输入数据加入至所述数据组中其平均计算数值为最大的数据组ID5。更仔细地说，为了使各数据组ID1～ID5之间误差平衡，分配器122依据各数据组ID1～ID5的平均计算数值来选择要加入哪个数据组ID1～ID5。
接着，在步骤S208中，分配器122重新对加入新输入数据的被选择的数据组ID1(判断新输入数据之数值为大于时)或ID5(判断新输入数据之数值为小于时)执行平均计算并重新产生新平均计算数值。
最后，在步骤S209中，使用者输入之查询指令RS至选择器141以随机或依顺序选择储存于存储器模块13的所述数据组ID1～ID5中的一个的平均计算数值。接着，选择器141进一步传送所述查询指令RS所选择之平均计算数值至分析器142。分析器142通过被选取的数据组ID1或ID5的平均计算数值更新数据缓存器121之记录数值。
接着，请参阅图5。图5为本发明实施例之动态计算的时间序列数据处理方法之流程图。后续将进一步以统计计算为动态计算进行说明。动态计算的时间序列数据处理方法包括以下步骤：步骤S301，将时间序列数据的多笔数据分配于多个数据组，以对各数据组中的多笔数据执行动态计算；步骤S302，产生对应的各数据组之所有数据之动态计算数值；步骤S303，缓存各动态计算数值以及记录数值；步骤S304，将时间序列数据的新输入数据之数值与记录数值进行比较，以据此选择所述数据组中的一个数据组；步骤S305，对被选择的数据组取样预设数量的数据来产生数据列表，其中数据列表以预设数量的数据之数值依大小进行排序；步骤S306，判断新输入数据之数值是否大于被选取的数据组的动态计算数值；步骤S307，取代数据列表上小于新输入数据之数值之最大值；步骤S308，取代数据列表上大于新输入数据之数值之最小值；步骤S309，重新对被选择的数据组执行动态计算并产生动态计算数值；步骤S310，将被选取的数据组的动态计算数值更新记录数值。
请复参阅图1、图4与图5，在本发明实施例中，步骤S301～S303、S306分别与步骤S201～204相似，其差异在于为两者实施例利用不同的计算方式，于此不再赘述。需注意的是，在本发明实施例中步骤S304对应包含步骤S204～S207之判断新输入数据加入被选取的数据组之动作。然而，在其它实施例中，步骤S304亦可直接以随机选取或依序选取的方式实施，本发明并不以此做为限制。
值得注意的是，在步骤S305中，分配器122进一步对被选择加入的数据组取样预设数量的数据来产生数据列表，并且将数据列表以预设数量的数据之数值依大小进行排序。
请同时参阅图1、图5与图6，图6为本发明实施例之动态计算的数据分配处理模块分配时间序列数据之示意图。分配器122取样k个数据以进行排序并产生数据列表。接着，在步骤S306中，如图6所示，当新输入数据DATA_V加入被选择的数据组后，判断新输入数据之数值是否大于被选取的数据组的动态计算数值M1。若是，进入步骤S307；若否，进入步骤S308。
更仔细地说，分配器122判断时间序列数据DATA_S之新输入数据DATA_V之数值大于被选择的数据组中的动态计算数值M1时进入步骤S307，在被选取的数据组中取代数据列表上小于新输入数据DATA_V之数值之最大值；当分配器122判断时间序列数据DATA_S之新输入数据DATA_V之数值小于动态计算数值M1时进入步骤S308，在被选取的数据组中取代数据列表上大于新输入数据DATA_V之数值之最小值(如图6所示之kn被取代)。
接着，在步骤S309中，分配器122重新对加入新输入数据的被选择的数据组执行动态计算并重新产生动态计算数值。举例来说，例如图6中在新输入数据DATA_S被判断为小于旧动态计算数值M1时，重新产生新的动态计算数值M2。
最后，在步骤S310中，使用者输入之查询指令RS至选择器141以随机或依顺序选取储存于存储器模块13的所述数据组中的一个数据组的动态计算数值。选择器141进一步传送所述查询指令RS所选取之新的动态计算数值M2至分析器142。分析器142通过被选取的数据组的动态计算数值更新数据缓存器121之记录数值。
[本发明可能之效果]
综上所述，本发明实施例所提出之时间序列数据处理方法及其系统能够在重视趋势的决策情境下，提供稍低精确度但快速的计算结果。更仔细地说，将原本巨量的数据的通过分布式的处理方式并考虑各分布式索引之误差平衡，在维持常态分配模型的情况下能够提供相当精确度以及可预期响应时间之计算结果。更值得一提的是，本发明实施例于各分布式索引之数据中以取样的方式确保计算量，以维持稳定的响应时间。
本发明的方法可经由本发明的时间序列数据处理系统来进行实施，系统中的部份元件(如数据分配处理模块、数据缓存器、分配器、数据查询处理模块、选择器、分析器)，可应用具特定逻辑电路的独特硬件装置或具特定功能的设备来实施，如将程序码和处理器/芯片整合成独特硬件或将程序码和市售可得的特定设备整合。更进一步者，本发明的方法亦可经由一般用途处理器/计算器/服务器结合其它硬件来进行实施。当一般用途处理器/计算器/服务器载入特定程序码且执行时，此一般用途处理器/计算器/服务器成为用以参与本发明的系统元件，类似于应用具特定逻辑电路的独特硬件装置，以执行本发明方法的操作步骤。
以上所述，仅为本发明优选之具体实施例，惟本本发明之特征并不局限于此，本领域的技术人员在本发明之领域内，可轻易思及之变化或修饰，皆可涵盖在本发明的权利要求书中。
符号说明
1：时间序列数据处理系统
11：时间标记模块
12：数据分配处理模块
13：存储器模块
14：数据查询处理模块
121：数据缓存器
122：分配器
141：选择器
142：分析器
DATA：数据
DATA_S：时间序列数据
DATA_V：新输入数据
RS：查询指令
ID1、ID2、ID3、ID4、ID5：数据组
k：预设数量个数据
kn：第n个数据
M1、M2：动态计算数值
S101～S104、S201～S209、S301～S310为方法步骤流程

Claims (17)

1.一种时间序列数据处理方法，其特征在于，包括：
步骤A：将一时间序列数据的多笔数据分配于多个数据组，以对各该数据组中的多笔数据执行一统计计算，并产生对应的一统计结果，其中该统计结果是为各该数据组分别对应的一结果数值，以及对应该时间序列数据的多笔数据的一记录数值；
步骤B：缓存各该数据组对应的该统计结果；
步骤C：根据该时间序列数据的一新输入数据之数值与各该数据组对应的该统计结果进行比较，以据此选择该多个数据组中的一个数据组，并将该新输入数据加入被选择的该数据组，重新对被选择的该数据组执行统计计算并产生该结果数值；及
步骤D：选取该多个数据组中的一个数据组，以被选取的该数据组的该结果数值更新该记录数值。
2.根据权利要求1所述的时间序列数据处理方法，其中在该步骤A中，该统计计算是为一平均计算与一动态计算两者中的一个，该结果数值是为一平均计算数值与一动态计算数值两者中的一个。
3.根据权利要求2所述的时间序列数据处理方法，其中在该步骤C中，当该统计计算为该平均计算时，各该数据组分别对应的该结果数值是为各该数据组之所有数据之该平均计算数值；当该新输入数据之数值大于该记录数值时，将该新输入数据加入至该多个数据组中其该平均计算数值为最小的该数据组；及当该新输入数据之数值小于该记录数值时，将该新输入数据加入至该多个数据组中其该平均计算数值为最大的该数据组。
4.根据权利要求2所述的时间序列数据处理方法，其中在该步骤C中，进一步对被选取的该数据组取样一预设数量的数据来产生一数据列表，其中该数据列表以该预设数量的数据之数值依大小进行排序。
5.根据权利要求4所述的时间序列数据处理方法，其中在该步骤C中，当该统计计算为该动态计算时，各该数据组分别对应的该结果数值是为各该数据组之各该数据组之该数据列表中的该动态计算数值；当该新输入数据之数值大于被选取的该数据组的该动态计算数值时，取代该数据列表上小于该新输入数据之数值之最大值；及当该新输入数据之数值小于被选取的该数据组的该动态计算数值时，取代该数据列表上大于该新输入数据之数值之最小值。
6.根据权利要求5所述的时间序列数据处理方法，其中该动态计算数值为最接近该预设数量的数据之数值的平均值的该数据之数值。
7.根据权利要求1所述的时间序列数据处理方法，其中在该步骤D中，根据一查询指令执行随机选取该多个数据组中的一个数据组，其中该查询指令包括一时间颗粒度之信息，当该时间颗粒度小于一预设范围值时，执行被选取的该数据组于该预设范围值内的数据。
8.一种时间序列数据处理系统，其特征在于，包括：
一数据分配处理模块，用以接收一时间序列数据的多笔数据并分配于多个数据组，以提供各该数据组执行一统计计算，该数据分配处理模块包括：
一数据缓存器，用以缓存各该数据组对应的一统计结果，其中该统计结果是为各该数据组分别对应的一结果数值，以及对应该时间序列数据的多笔数据的一记录数值；及
一分配器，耦接于该数据缓存器，用以比较该时间序列数据的一新输入数据之数值与各该数据组对应的该统计结果以据此选择该多个数据组中的一个数据组，并将该新输入数据之数值加入被选择的该数据组，重新对被选择的该数据组执行统计计算并产生该结果数值；以及
一数据查询处理模块，耦接于该数据分配处理模块，该数据查询处理模块包括：
一选择器，用以选取该多个数据组中的一个数据组；及
一分析器，耦接于该选择器，用以以被选取的该数据组的该结果数值更新该记录数值。
9.根据权利要求8所述的时间序列数据处理系统，其中该数据分配处理模块提供之该统计计算是为一平均计算与一动态计算两者中的一个，该结果数值是为一平均计算数值与一动态计算数值两者中的一个。
10.根据权利要求9所述的时间序列数据处理系统，其中当该统计计算为该平均计算时，各该数据组分别对应的该结果数值是为各该数据组之所有数据之该平均计算数值；当该分配器判断该新输入数据之数值大于的该记录数值时，将该新输入数据加入至该多个数据组中其平均计算数值为最小的该数据组；及当该新输入数据之数值小于该记录数值时，将该新输入数据加入至该多个数据组中其平均计算数值为最大的该数据组。
11.根据权利要求9所述的时间序列数据处理系统，其中该分析器还用以进一步对被选取的该数据组取样一预设数量的数据来产生一数据列表，并且将该数据列表以该预设数量的数据之数值依大小进行排序。
12.根据权利要11所述的时间序列数据处理系统，其中当该统计计算为该动态计算时，各该数据组分别对应的该结果数值是为各该数据组之各该数据组之该数据列表中的该动态计算数值；当该分配器判断该新输入数据之数值大于被选取的该数据组的该记录数值时，取代该数据列表上小于该新输入数据之数值之最大值；及当该新输入数据之数值小于被选取的该数据组的该记录数值时，取代该数据列表上大于该新输入数据之数值之最小值。
13.根据权利要求12所述的时间序列数据处理系统，其中该动态计算数值为最接近该预设数量的数据之数值的平均值的该数据之数值。
14.根据权利要求8所述的时间序列数据处理系统，其中该选择器接收一查询指令执行随机选取该多个数据组中的一个数据组，且所接收之该查询指令包括一时间颗粒度之信息。
15.根据权利要求14所述的时间序列数据处理系统，其中该分析器还用以当该查询指令的该时间颗粒度小于一预设范围值时，执行被选取的该数据组于该预设范围值内的数据。
16.根据权利要求8所述的时间序列数据处理系统，还包括：
一存储器模块，耦接于该数据分配处理模块与该数据查询处理模块，用以储存分配于该多个数据组之该时间序列数据的多笔数据。
17.根据权利要求8所述的时间序列数据处理系统，还包括：
一时间标记模块，耦接于该数据分配处理模块，用以将一序列数据的多笔数据标记时间戳以产生该时间序列数据。
CN201410705190.7A 2014-11-21 2014-11-27 时间序列数据处理方法及其系统 Pending CN105608096A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW103140555A TWI534704B (zh) 2014-11-21 2014-11-21 時間序列資料處理方法及其系統
TW103140555 2014-11-21

Publications (1)

Publication Number Publication Date
CN105608096A true CN105608096A (zh) 2016-05-25

Family

ID=55988038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410705190.7A Pending CN105608096A (zh) 2014-11-21 2014-11-27 时间序列数据处理方法及其系统

Country Status (3)

Country Link
US (1) US20160147824A1 (zh)
CN (1) CN105608096A (zh)
TW (1) TWI534704B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516114A (zh) * 2017-08-28 2017-12-26 湖南大学 一种时间序列处理方法及装置
CN109844665A (zh) * 2016-10-17 2019-06-04 三菱重工业株式会社 信息处理方法、信息处理装置、程序及信息处理系统
CN110737696A (zh) * 2019-10-12 2020-01-31 北京百度网讯科技有限公司 数据抽样方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI676109B (zh) * 2018-08-10 2019-11-01 崑山科技大學 巨量資料及時處理與排班之方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040260521A1 (en) * 2003-06-20 2004-12-23 International Business Machines Corporation Method and apparatus for classifying time series data using wavelet based approach
CN101286897A (zh) * 2008-05-16 2008-10-15 华中科技大学 一种基于超统计理论的网络流量异常检测方法
CN101753381A (zh) * 2009-12-25 2010-06-23 华中科技大学 一种检测网络攻击行为的方法
CN101964034A (zh) * 2010-09-30 2011-02-02 浙江大学 一种模式信息损失最小化的序列类数据隐私保护方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050234896A1 (en) * 2004-04-16 2005-10-20 Nobuyuki Shima Image retrieving apparatus, image retrieving method and image retrieving program
US9245000B2 (en) * 2008-08-05 2016-01-26 Vmware, Inc. Methods for the cyclical pattern determination of time-series data using a clustering approach
WO2011142026A1 (ja) * 2010-05-14 2011-11-17 株式会社日立製作所 時系列データ管理装置、システム、方法、およびプログラム
US8768878B2 (en) * 2011-01-21 2014-07-01 International Business Machines Corporation Characterizing business intelligence workloads

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040260521A1 (en) * 2003-06-20 2004-12-23 International Business Machines Corporation Method and apparatus for classifying time series data using wavelet based approach
CN101286897A (zh) * 2008-05-16 2008-10-15 华中科技大学 一种基于超统计理论的网络流量异常检测方法
CN101753381A (zh) * 2009-12-25 2010-06-23 华中科技大学 一种检测网络攻击行为的方法
CN101964034A (zh) * 2010-09-30 2011-02-02 浙江大学 一种模式信息损失最小化的序列类数据隐私保护方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109844665A (zh) * 2016-10-17 2019-06-04 三菱重工业株式会社 信息处理方法、信息处理装置、程序及信息处理系统
CN109844665B (zh) * 2016-10-17 2020-06-30 三菱重工业株式会社 信息处理方法、信息处理装置、计算机可读存储介质及信息处理系统
CN107516114A (zh) * 2017-08-28 2017-12-26 湖南大学 一种时间序列处理方法及装置
CN110737696A (zh) * 2019-10-12 2020-01-31 北京百度网讯科技有限公司 数据抽样方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
TWI534704B (zh) 2016-05-21
TW201619817A (zh) 2016-06-01
US20160147824A1 (en) 2016-05-26

Similar Documents

Publication Publication Date Title
CN104123186B (zh) 业务分配方法及装置
CN109388674B (zh) 数据处理方法、装置、设备及可读存储介质
CN103067297B (zh) 一种基于资源消耗预测的动态负载均衡方法及装置
CN105808634A (zh) 分布式映射化简网络
CN105608096A (zh) 时间序列数据处理方法及其系统
CN104657372A (zh) 页面操作数据处理方法及装置
CN110231987A (zh) 一种数据处理方法及相关装置
CN102193929A (zh) 确定词信息熵及利用词信息熵的搜索方法及其设备
CN106815254A (zh) 一种数据处理方法和装置
CN103258248A (zh) 一种微博流行趋势预测方法、装置及系统
CN102622260A (zh) 一种在线迭代编译的优化方法和优化系统
CN110891087B (zh) 一种日志传输方法、装置及电子设备和存储介质
CN108345419A (zh) 一种信息推荐列表的生成方法及装置
CN105005585A (zh) 一种日志数据的处理方法和装置
CN106815274A (zh) 基于Hadoop的日志数据挖掘方法及系统
Nunes et al. A multi‐stage transition toward high renewable energy penetration in Queensland, Australia
CN117271100B (zh) 算法芯片集群调度方法、装置、计算机设备和存储介质
CN105023170A (zh) 一种点击流数据的处理方法及装置
CN105205545A (zh) 一种运用仿真实验优化物流系统的方法
CN110516164A (zh) 一种信息推荐方法、装置、设备及存储介质
CN103870671A (zh) 一种从Cookie中提取用户样本的方法及装置
CN114022196A (zh) 广告投放方法、装置、电子装置和存储介质
CN104599092A (zh) 用于监控订单业务的方法及设备
CN111553749A (zh) 一种活动推送策略配置方法及装置
CN104811349A (zh) 一种访问统计的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160525

WD01 Invention patent application deemed withdrawn after publication