CN112632347B - 数据筛选控制方法及装置、非易失性存储介质 - Google Patents
数据筛选控制方法及装置、非易失性存储介质 Download PDFInfo
- Publication number
- CN112632347B CN112632347B CN202110051001.9A CN202110051001A CN112632347B CN 112632347 B CN112632347 B CN 112632347B CN 202110051001 A CN202110051001 A CN 202110051001A CN 112632347 B CN112632347 B CN 112632347B
- Authority
- CN
- China
- Prior art keywords
- time sequence
- sequence data
- data
- queue
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012216 screening Methods 0.000 title claims abstract description 40
- 238000003860 storage Methods 0.000 title claims abstract description 27
- 238000012163 sequencing technique Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000005096 rolling process Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 7
- 230000003139 buffering effect Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000011144 upstream manufacturing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种数据筛选控制方法及装置、非易失性存储介质。其中，该方法包括：获取决策系统产生的第一时序数据；将上述第一时序数据暂存至时序队列，并采用上述时序队列对历史时段内暂存的多个第二时序数据进行滚动更新处理，其中，上述第二时序数据包括上述第一时序数据；采用排序队列筛选出上述多个第二时序数据中的目标时序数据，其中，上述目标时序数据为不满足业务系统的业务需求的数据。本发明解决了现有技术中由于通常决策系统本身更专注于决策本身，而由于时间影响下数据流的随机性和离散性，决策结果很可能达不到业务系统的业务需求的技术问题。
Description
技术领域
本发明涉及数据处理领域，具体而言，涉及一种数据筛选控制方法及装置、非易失性存储介质。
背景技术
数据筛选在数据处理过程中属于基础和重要的环节，在各种场景下，如电商系统的商品推荐，广告系统的精准广告等以不同的方式被广泛应用。随着生产能力和技术的发展，实时处理、准实时处理的概念被广泛提及和应用，在大数据领域通过数据聚合计算、机器学习等实时决策成为越来越重要的部分。
在大数据的实时决策系统中，数据流是一个非常必要的条件，时序因素在流式数据也是至关重要的特性和需要充分考虑影响的部分。通过实时或历史数据的计算或者是基于机器学习的预测判定，能够基于数据本身的时间点来调整决策，但很难考虑数据序列相互作用。通常决策系统本身更专注于决策本身，而由于时间影响下数据流的随机性和离散性，决策结果很可能达不到业务系统的需要。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据筛选控制方法及装置、非易失性存储介质，以至少解决现有技术中由于通常决策系统本身更专注于决策本身，而由于时间影响下数据流的随机性和离散性，决策结果很可能达不到业务系统的业务需求的技术问题。
根据本发明实施例的一个方面，提供了一种数据筛选控制方法，包括：获取决策系统产生的第一时序数据；将上述第一时序数据暂存至时序队列，并采用上述时序队列对历史时段内暂存的多个第二时序数据进行滚动更新处理，其中，上述第二时序数据包括上述第一时序数据；采用排序队列筛选出上述多个第二时序数据中的目标时序数据，其中，上述目标时序数据为不满足业务系统的业务需求的数据。
可选的，将上述第一时序数据暂存至时序队列，包括：在接收到的第一时序数据时，检测上述时序队列是否存储已满；若检测结果为否，则将上述第一时序数据暂存至上述时序队列的第一端；若检测结果为是，则删除暂存于上述时序队列的第二端的第三时序数据，并对上述时序队列进行数据移动之后，再将上述第一时序数据暂存至上述时序队列的第一端。
可选的，在将上述第一时序数据暂存至上述时序队列的第一端之后，上述方法还包括：将上述第一时序数据插入至上述排序队列中的目标位置，其中，上述排序队列的队列长度值基于单位时间流量和时间窗口需求确定；基于上述时序数据的预定阈值个数和预定阈值大小，确定上述排序队列的阈值位置。
可选的，采用排序队列筛选出上述多个第二时序数据中的目标时序数据，包括：比较上述目标位置和上述阈值位置，得到比较结果；若上述比较结果指示上述目标位置大于上述阈值位置，则确定上述目标位置对应的第二时序数据为上述目标时序数据，若上述比较结果指示上述目标位置小于或等于上述阈值位置，则确定上述目标位置对应的第二时序数据并非上述目标时序数据。
可选的，在删除暂存于上述时序队列的第二端的历史时序数据之后，上述方法还包括：将上述排序队列中与上述历史时序数据对应的排序数据删除。
根据本发明实施例的另一方面，还提供了一种数据筛选控制装置，包括：获取模块，用于获取决策系统产生的第一时序数据；处理模块，用于将上述第一时序数据暂存至时序队列，并采用上述时序队列对历史时段内暂存的多个第二时序数据进行滚动更新处理，其中，上述第二时序数据包括上述第一时序数据；筛选模块，用于采用排序队列筛选出上述多个第二时序数据中的目标时序数据，其中，上述目标时序数据为不满足业务系统的业务需求的数据。
可选的，上述处理模块，包括：检测单元，用于在接收到的第一时序数据时，检测上述时序队列是否存储已满；第一暂存单元，用于若检测结果为否，则将上述第一时序数据暂存至上述时序队列的第一端；第一暂存单元，用于若检测结果为是，则删除暂存于上述时序队列的第二端的第三时序数据，并对上述时序队列进行数据移动之后，再将上述第一时序数据暂存至上述时序队列的第一端。
根据本发明实施例的另一方面，还提供了一种非易失性存储介质，上述非易失性存储介质存储有多条指令，上述指令适于由处理器加载并执行任意一项上述的数据筛选控制方法。
根据本发明实施例的另一方面，还提供了一种处理器，上述处理器用于运行程序，其中，上述程序被设置为运行时执行任意一项上述的数据筛选控制方法。
根据本发明实施例的另一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行任意一项上述的数据筛选控制方法。
在本发明实施例中，通过获取决策系统产生的第一时序数据；将上述第一时序数据暂存至时序队列，并采用上述时序队列对历史时段内暂存的多个第二时序数据进行滚动更新处理，其中，上述第二时序数据包括上述第一时序数据；采用排序队列筛选出上述多个第二时序数据中的目标时序数据，其中，上述目标时序数据为不满足业务系统的业务需求的数据，达到了筛选出不满足业务系统的业务需求的时序数据的目的，从而实现了通过决策系统为业务系统提供更加符合需求的业务数据的技术效果，进而解决了现有技术中由于通常决策系统本身更专注于决策本身，而由于时间影响下数据流的随机性和离散性，决策结果很可能达不到业务系统的业务需求的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种数据筛选控制方法的流程图；
图2是根据本发明实施例的一种可选的数据筛选控制方法的流程图；
图3是根据本发明实施例的一种数据筛选控制装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种数据筛选控制方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种数据筛选控制方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取决策系统产生的第一时序数据；
步骤S104，将上述第一时序数据暂存至时序队列，并采用上述时序队列对历史时段内暂存的多个第二时序数据进行滚动更新处理，其中，上述第二时序数据包括上述第一时序数据；
步骤S106，采用排序队列筛选出上述多个第二时序数据中的目标时序数据，其中，上述目标时序数据为不满足业务系统的业务需求的数据。
在本发明实施例中，通过获取决策系统产生的第一时序数据；将上述第一时序数据暂存至时序队列，并采用上述时序队列对历史时段内暂存的多个第二时序数据进行滚动更新处理，其中，上述第二时序数据包括上述第一时序数据；采用排序队列筛选出上述多个第二时序数据中的目标时序数据，其中，上述目标时序数据为不满足业务系统的业务需求的数据，达到了筛选出不满足业务系统的业务需求的时序数据的目的，从而实现了通过决策系统为业务系统提供更加符合需求的业务数据的技术效果，进而解决了现有技术中由于通常决策系统本身更专注于决策本身，而由于时间影响下数据流的随机性和离散性，决策结果很可能达不到业务系统的业务需求的技术问题。
本申请实施例涉及大数据领域，本申请实施例所提供的数据筛选控制方法，具体涉及一种决策系统在时序中最优筛选控制的方法。
需要说明的是，本申请实施例主要专注于解决由时序数据的随机分布带来的质量偏差，动态调整筛选阈值来控制输出。例如，决策系统(得分决策系统)对时序数据的处理，其结果在一定时间范围内持续偏高或偏低，造成决策系统的输出匮乏或溢出。通过决策系统的窗口排序，按照设定的阈值调整筛选量，从而挑选窗口宽度下的最优输入满足下游系统的输入要求。决策系统的时间窗口宽度和阈值设定通常是由业务系统(即相对于上游决策系统的下游系统)进行控制。
作为一种可选的实施例，决策系统本身作为时间窗口下的阈值筛选，配合本身具备比较排序能力的排序数据(或者其他简单排序方式)也可以作为独立的决策系统。
本申请实施例主要使用双队列对上游决策系统产生的时序可排序数据进行管理，时序队列主要用于保持第二时序数据(即历史时序数据)的滚动更新，排序队列主要用于确定输入与阈值设定的关系从而完成对时序数据的筛选处理。
在一种可选的实施例中，图2是根据本发明实施例的一种可选的数据筛选控制方法的流程图，如图2所示，将上述第一时序数据暂存至时序队列，包括：
步骤S202，在接收到的第一时序数据时，检测上述时序队列是否存储已满；
步骤S204，若检测结果为否，则将上述第一时序数据暂存至上述时序队列的第一端；
步骤S206，若检测结果为是，则删除暂存于上述时序队列的第二端的第三时序数据，并对上述时序队列进行数据移动之后，再将上述第一时序数据暂存至上述时序队列的第一端。
在一种可选的实施例中，在删除暂存于上述时序队列的第二端的历史时序数据之后，上述方法还包括：将上述排序队列中与上述历史时序数据对应的排序数据删除。
在上述可选的实施例中，在接收的新的时序数据时，即第一时序数据，将第一时序数据追加到时序队列的第一端(即前端)，当时序队列已满时，遵循先进先出的原理，删除时序队列第二端(后端)的最早存储的第三时序数据，并从排序队列移除(淘汰)与该第三时序数据对应项数据。
并且，在删除暂存于上述时序队列的第二端的第三时序数据，且对上述时序队列进行数据移动之后，例如，顺序将第一端的多个存储数据平移至第二端之后，空出上述时序队列的第一端的位置，再将上述第一时序数据暂存至该第一端。
在一种可选的实施例中，如图2所示，在将上述第一时序数据暂存至上述时序队列的第一端之后，上述方法还包括：
步骤S302，将上述第一时序数据插入至上述排序队列中的目标位置，其中，上述排序队列的队列长度值基于单位时间流量和时间窗口需求确定；
步骤S304，基于上述时序数据的预定阈值个数和预定阈值大小，确定上述排序队列的阈值位置。
在本申请实施例中，在将第一时序数据暂存至上述时序队列的第一端之后，第一时序数据还需要参与排序队列的排序，对应将第一时序数据插入排序队列的目标位置，该目标位置也是根据该第一时序数据的插入时间和前后顺序确定的。
并且，在本申请实施例中，上述排序队列的队列长度值基于单位时间流量和时间窗口需求确定；上述预定阈值个数和预定阈值大小可通过队列位置上确定，或者预定阈值个数(允许多个阈值设置，如2个阈值实现中段筛选)和预定阈值大小由下游业务系统的业务要求决定。
在本申请实施例中，基于上述时序数据的预定阈值个数和预定阈值大小，确定上述排序队列的阈值位置。
作为一种可选的实施例，上述队列长度值和预设阈值可通过参数设置，队列长度值通常由单位时间流量(QPS)和时间窗口需要决定。
在一种可选的实施例中，仍如图2所示，采用排序队列筛选出上述多个第二时序数据中的目标时序数据，包括：
步骤S402，比较上述目标位置和上述阈值位置，得到比较结果；
步骤S404，若上述比较结果指示上述目标位置大于上述阈值位置，则确定上述目标位置对应的第二时序数据为上述目标时序数据，若上述比较结果指示上述目标位置小于或等于上述阈值位置，则确定上述目标位置对应的第二时序数据并非上述目标时序数据。
在本申请实施例中，在获取到第一时序数据插入至上述排序队列中的目标位置之后，比较该目标位置和阈值位置的大小，得到比较结果，若比较结果指示上述目标位置大于上述阈值位置，则确定上述目标位置对应的第二时序数据为上述目标时序数据，由于该目标时序数据为不满足业务系统的业务需求的数据，则将该目标时序数据删除；若上述比较结果指示上述目标位置小于或等于上述阈值位置，则确定上述目标位置对应的第二时序数据并非上述目标时序数据。
以下将通过示例来描述本发明算法的整体结构和实施流程。
例如，上游决策系统判定输入得分区分为[0，10]，系统要求尽可能筛选得分5及以上的输入，总体挑选比例需要维持1/2。
假设定窗口大小为10，某时间段上游决策系统对输入判定得分历史如下表1所示：(最近得分为右侧，即右侧为第一端，左侧为第二端)，对该序列数据排序如下表2所示，(其中，高分靠右，低分靠左)。
表1
| 9.1 | 6.5 | 4.8 | 4.1 | 3.6 | 1.9 | 2.3 | 3.8 | 3.6 | 4.9 |
表2
| 1.9 | 2.3 | 3.6 | 3.6 | 3.8 | 4.1 | 4.8 | 4.9 | 6.5 | 9.1 |
可以看到在历史10项数据中超过5的项仅有两个，仅依靠得分判定系统的得分阈值无法满足下游的输入要求，由于下游系统设置的阈值为0.5则可确定阈值位置为0.5*10＝5；系统接收输入为4.7，现需要判断是否挑选(满足限制条件)，更新时序队列，表3所示，左侧9.1被移除，同时，表4所示，比较序列的9.1也需要移除，并比较插入新数据得分：
表3
| 6.5 | 4.8 | 4.1 | 3.6 | 1.9 | 2.3 | 3.8 | 3.6 | 4.9 | 4.7 |
表4
| 1.9 | 2.3 | 3.6 | 3.6 | 3.8 | 4.1 | 4.7 | 4.8 | 4.9 | 6.5 |
若插入的目标位置为7，阈值位置为5，可得出该项输入得分系统判定目标位置低于阈值位置5，但需要作为挑选项满足比例或流量控制要求；同理在单位时间内得分持续偏高时，也可以在高分段内挑选更高的得分项并满足控制条件。
通过本申请实施例提供的算法逻辑可解释性强，无黑盒处理环节，使用简单；本发明算法成本低廉，在计算机系统通过双队列或双链表实现，十分简单；本发明算法效率极高，仅需要一次排序(如二分法)即可完成筛选；本发明算法控制简单，通过调整窗口大小和多阈值设定满足不同场景下单位窗口内的最优比例筛选。
实施例2
根据本发明实施例，还提供了一种用于实施上述数据筛选控制方法的装置实施例，图3是根据本发明实施例的一种数据筛选控制装置的结构示意图，如图3所示，上述数据筛选控制装置，包括：获取模块300、处理模块302和筛选模块304，其中：
获取模块300，用于获取决策系统产生的第一时序数据；处理模块302，用于将上述第一时序数据暂存至时序队列，并采用上述时序队列对历史时段内暂存的多个第二时序数据进行滚动更新处理，其中，上述第二时序数据包括上述第一时序数据；筛选模块304，用于采用排序队列筛选出上述多个第二时序数据中的目标时序数据，其中，上述目标时序数据为不满足业务系统的业务需求的数据。
在一种可选的实施例中，上述处理模块，包括：检测单元，用于在接收到的第一时序数据时，检测上述时序队列是否存储已满；第一暂存单元，用于若检测结果为否，则将上述第一时序数据暂存至上述时序队列的第一端；第一暂存单元，用于若检测结果为是，则删除暂存于上述时序队列的第二端的第三时序数据，并对上述时序队列进行数据移动之后，再将上述第一时序数据暂存至上述时序队列的第一端。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式实现：上述各个模块可以位于同一处理器中；或者，上述各个模块以任意组合的方式位于不同的处理器中。
此处需要说明的是，上述获取模块300、处理模块302和筛选模块304对应于实施例1中的步骤S102至步骤S106，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。
需要说明的是，本实施例的可选或优选实施方式可以参见实施例1中的相关描述，此处不再赘述。
上述的数据筛选控制装置还可以包括处理器和存储器，上述获取模块300、处理模块302和筛选模块304等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元，上述内核可以设置一个或以上。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
根据本申请实施例，还提供了一种非易失性存储介质的实施例。可选地，在本实施例中，上述非易失性存储介质包括存储的程序，其中，在上述程序运行时控制上述非易失性存储介质所在设备执行上述任意一种数据筛选控制方法。
可选地，在本实施例中，上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中，上述非易失性存储介质包括存储的程序。
可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：获取决策系统产生的第一时序数据；将上述第一时序数据暂存至时序队列，并采用上述时序队列对历史时段内暂存的多个第二时序数据进行滚动更新处理，其中，上述第二时序数据包括上述第一时序数据；采用排序队列筛选出上述多个第二时序数据中的目标时序数据，其中，上述目标时序数据为不满足业务系统的业务需求的数据。
可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：在接收到的第一时序数据时，检测上述时序队列是否存储已满；若检测结果为否，则将上述第一时序数据暂存至上述时序队列的第一端；若检测结果为是，则删除暂存于上述时序队列的第二端的第三时序数据，并对上述时序队列进行数据移动之后，再将上述第一时序数据暂存至上述时序队列的第一端。
可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：将上述第一时序数据插入至上述排序队列中的目标位置，其中，上述排序队列的队列长度值基于单位时间流量和时间窗口需求确定；基于上述时序数据的预定阈值个数和预定阈值大小，确定上述排序队列的阈值位置。
可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：比较上述目标位置和上述阈值位置，得到比较结果；若上述比较结果指示上述目标位置大于上述阈值位置，则确定上述目标位置对应的第二时序数据为上述目标时序数据，若上述比较结果指示上述目标位置小于或等于上述阈值位置，则确定上述目标位置对应的第二时序数据并非上述目标时序数据。
可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：将上述排序队列中与上述历史时序数据对应的排序数据删除。
根据本申请实施例，还提供了一种处理器的实施例。可选地，在本实施例中，上述处理器用于运行程序，其中，上述程序运行时执行上述任意一种数据筛选控制方法。
根据本申请实施例，还提供了一种电子装置的实施例，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行上述任意一种的数据筛选控制方法。
根据本申请实施例，还提供了一种计算机程序产品的实施例，当在数据处理设备上执行时，适于执行初始化有上述任意一种的数据筛选控制方法步骤的程序。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取非易失性存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个非易失性存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的非易失性存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种数据筛选控制方法，其特征在于，包括：
获取决策系统产生的第一时序数据；
将所述第一时序数据暂存至时序队列，并采用所述时序队列对历史时段内暂存的多个第二时序数据进行滚动更新处理，其中，所述第二时序数据包括所述第一时序数据；
将所述第一时序数据插入至排序队列中的目标位置，基于时序数据的预定阈值个数和预定阈值大小，确定所述排序队列的阈值位置，其中，所述排序队列的队列长度值基于单位时间流量和时间窗口需求确定；
采用排序队列筛选出所述多个第二时序数据中的目标时序数据，包括：比较所述目标位置和所述阈值位置，得到比较结果；若所述比较结果指示所述目标位置大于所述阈值位置，则确定所述目标位置对应的第二时序数据为所述目标时序数据，若所述比较结果指示所述目标位置小于或等于所述阈值位置，则确定所述目标位置对应的第二时序数据并非所述目标时序数据，其中，所述目标时序数据为不满足业务系统的业务需求的数据。
2.根据权利要求1所述的方法，其特征在于，将所述第一时序数据暂存至时序队列，包括：
在接收到的第一时序数据时，检测所述时序队列是否存储已满；
若检测结果为否，则将所述第一时序数据暂存至所述时序队列的第一端；
若检测结果为是，则删除暂存于所述时序队列的第二端的第三时序数据，并对所述时序队列进行数据移动之后，再将所述第一时序数据暂存至所述时序队列的第一端。
3.根据权利要求2所述的方法，其特征在于，在删除暂存于所述时序队列的第二端的历史时序数据之后，所述方法还包括：
将所述排序队列中与所述历史时序数据对应的排序数据删除。
4.一种数据筛选控制装置，其特征在于，包括：
获取模块，用于获取决策系统产生的第一时序数据；
处理模块，用于将所述第一时序数据暂存至时序队列，并采用所述时序队列对历史时段内暂存的多个第二时序数据进行滚动更新处理，其中，所述第二时序数据包括所述第一时序数据；
将所述第一时序数据插入至排序队列中的目标位置，基于时序数据的预定阈值个数和预定阈值大小，确定所述排序队列的阈值位置，其中，所述排序队列的队列长度值基于单位时间流量和时间窗口需求确定；
筛选模块，用于采用排序队列筛选出所述多个第二时序数据中的目标时序数据，比较所述目标位置和所述阈值位置，得到比较结果；若所述比较结果指示所述目标位置大于所述阈值位置，则确定所述目标位置对应的第二时序数据为所述目标时序数据，若所述比较结果指示所述目标位置小于或等于所述阈值位置，则确定所述目标位置对应的第二时序数据并非所述目标时序数据，其中，所述目标时序数据为不满足业务系统的业务需求的数据。
5.根据权利要求4所述的装置，其特征在于，所述处理模块，包括：
检测单元，用于在接收到的第一时序数据时，检测所述时序队列是否存储已满；
第一暂存单元，用于若检测结果为否，则将所述第一时序数据暂存至所述时序队列的第一端；
第一暂存单元，用于若检测结果为是，则删除暂存于所述时序队列的第二端的第三时序数据，并对所述时序队列进行数据移动之后，再将所述第一时序数据暂存至所述时序队列的第一端。
6.一种非易失性存储介质，其特征在于，所述非易失性存储介质存储有多条指令，所述指令适于由处理器加载并执行权利要求1至3中任意一项所述的数据筛选控制方法。
7.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序被设置为运行时执行权利要求1至3中任意一项所述的数据筛选控制方法。
8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至3中任意一项所述的数据筛选控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110051001.9A CN112632347B (zh) | 2021-01-14 | 2021-01-14 | 数据筛选控制方法及装置、非易失性存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110051001.9A CN112632347B (zh) | 2021-01-14 | 2021-01-14 | 数据筛选控制方法及装置、非易失性存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112632347A CN112632347A (zh) | 2021-04-09 |
| CN112632347B true CN112632347B (zh) | 2024-01-23 |
Family
ID=75294689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110051001.9A Active CN112632347B (zh) | 2021-01-14 | 2021-01-14 | 数据筛选控制方法及装置、非易失性存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112632347B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104765792A (zh) * | 2015-03-24 | 2015-07-08 | 华为技术有限公司 | 一种维度数据存储的方法、装置及系统 |
| CN105005617A (zh) * | 2015-07-21 | 2015-10-28 | 领航动力信息系统有限公司 | 一种时间序列数据的存储方法及装置 |
| CN106776967A (zh) * | 2016-12-05 | 2017-05-31 | 哈尔滨工业大学（威海） | 基于时序聚合算法的海量小文件实时存储方法及装置 |
| CN108092667A (zh) * | 2017-11-23 | 2018-05-29 | 北京百度网讯科技有限公司 | 压缩时序数据以及查询时序数据的方法、装置 |
| CN108399263A (zh) * | 2018-03-15 | 2018-08-14 | 北京大众益康科技有限公司 | 时序数据的存储和查询方法及存储和处理平台 |
| CN110086649A (zh) * | 2019-03-19 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 异常流量的检测方法、装置、计算机设备及存储介质 |
| CN110119487A (zh) * | 2019-04-15 | 2019-08-13 | 华南理工大学 | 一种适用于发散数据的缓存更新方法 |
| CN110597807A (zh) * | 2019-08-15 | 2019-12-20 | 重庆金融资产交易所有限责任公司 | 基于数据分析的数据扩充方法、装置、终端及介质 |
| CN110674121A (zh) * | 2019-08-22 | 2020-01-10 | 平安科技（深圳）有限公司 | 缓存数据清理方法、装置、设备及计算机可读存储介质 |
| CN110825581A (zh) * | 2019-10-14 | 2020-02-21 | 广州力挚网络科技有限公司 | 一种数据监控方法与监控平台 |
| CN110908612A (zh) * | 2019-11-27 | 2020-03-24 | 腾讯科技（深圳）有限公司 | 缓存管理方法、装置、设备及存储介质 |
| CN111291424A (zh) * | 2020-02-19 | 2020-06-16 | 望海康信(北京)科技股份公司 | 标识号生成方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0425309D0 (en) * | 2004-11-17 | 2004-12-15 | Ibm | Deleting expired items in queue data structure |
-
2021
- 2021-01-14 CN CN202110051001.9A patent/CN112632347B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104765792A (zh) * | 2015-03-24 | 2015-07-08 | 华为技术有限公司 | 一种维度数据存储的方法、装置及系统 |
| CN105005617A (zh) * | 2015-07-21 | 2015-10-28 | 领航动力信息系统有限公司 | 一种时间序列数据的存储方法及装置 |
| CN106776967A (zh) * | 2016-12-05 | 2017-05-31 | 哈尔滨工业大学（威海） | 基于时序聚合算法的海量小文件实时存储方法及装置 |
| CN108092667A (zh) * | 2017-11-23 | 2018-05-29 | 北京百度网讯科技有限公司 | 压缩时序数据以及查询时序数据的方法、装置 |
| CN108399263A (zh) * | 2018-03-15 | 2018-08-14 | 北京大众益康科技有限公司 | 时序数据的存储和查询方法及存储和处理平台 |
| CN110086649A (zh) * | 2019-03-19 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 异常流量的检测方法、装置、计算机设备及存储介质 |
| CN110119487A (zh) * | 2019-04-15 | 2019-08-13 | 华南理工大学 | 一种适用于发散数据的缓存更新方法 |
| CN110597807A (zh) * | 2019-08-15 | 2019-12-20 | 重庆金融资产交易所有限责任公司 | 基于数据分析的数据扩充方法、装置、终端及介质 |
| CN110674121A (zh) * | 2019-08-22 | 2020-01-10 | 平安科技（深圳）有限公司 | 缓存数据清理方法、装置、设备及计算机可读存储介质 |
| CN110825581A (zh) * | 2019-10-14 | 2020-02-21 | 广州力挚网络科技有限公司 | 一种数据监控方法与监控平台 |
| CN110908612A (zh) * | 2019-11-27 | 2020-03-24 | 腾讯科技（深圳）有限公司 | 缓存管理方法、装置、设备及存储介质 |
| CN111291424A (zh) * | 2020-02-19 | 2020-06-16 | 望海康信(北京)科技股份公司 | 标识号生成方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data;Chuxu Zhang.etc;The Thirty-Third AAAI Conference on Artificial Intelligence;第33卷(第01期);1-8 * |
| 基于深度学习的时间序列数据异常检测方法;胡姣姣等;信息与控制;第48卷(第1期);1-8 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112632347A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106156791B (zh) | 业务数据分类方法和装置 | |
| CN107169768B (zh) | 异常交易数据的获取方法和装置 | |
| CN109561322A (zh) | 一种视频审核的方法、装置、设备和存储介质 | |
| CN110390585B (zh) | 一种识别异常对象的方法及装置 | |
| US20210073669A1 (en) | Generating training data for machine-learning models | |
| CN108304802B (zh) | 一种面向大规模视频分析的快速过滤系统 | |
| CN109597800B (zh) | 一种日志分发方法及装置 | |
| CN109922013B (zh) | 服务访问流量控制方法、装置、服务器和存储介质 | |
| CN105955992A (zh) | 图片处理方法及装置 | |
| CN109255391A (zh) | 一种识别恶意用户的方法、装置及存储介质 | |
| CN111144957A (zh) | 信息投放方法、装置、服务器及存储介质 | |
| CN110390315B (zh) | 一种图像处理方法及装置 | |
| CN112632347B (zh) | 数据筛选控制方法及装置、非易失性存储介质 | |
| CN117149746B (zh) | 基于云原生和存算分离的数据仓库管理系统 | |
| MacDonald et al. | Dynamic adaptive procedures that control the false discovery rate | |
| CN110099061B (zh) | 一种云平台视频流服务选择方法及装置 | |
| CN109462510B (zh) | 一种cdn节点质量评估的方法及装置 | |
| US11200547B2 (en) | Payment collection control method and device, server, and computer-readable storage medium | |
| CN109951856B (zh) | 网元状态的检测方法、装置以及计算机可读存储介质 | |
| CN110597807A (zh) | 基于数据分析的数据扩充方法、装置、终端及介质 | |
| CN111159251A (zh) | 一种异常数据的确定方法及装置 | |
| CN107682388B (zh) | 信息推送建议生成方法、装置、计算机设备和存储介质 | |
| CN107784363B (zh) | 数据处理方法、装置及系统 | |
| US8612983B2 (en) | Scheduling event streams depending on content information data | |
| CN114154548A (zh) | 销量数据序列分类方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |