CN107066237A - 一种数据处理方法及装置 - Google Patents
一种数据处理方法及装置 Download PDFInfo
- Publication number
- CN107066237A CN107066237A CN201710250033.5A CN201710250033A CN107066237A CN 107066237 A CN107066237 A CN 107066237A CN 201710250033 A CN201710250033 A CN 201710250033A CN 107066237 A CN107066237 A CN 107066237A
- Authority
- CN
- China
- Prior art keywords
- data
- current
- control signal
- processing unit
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 70
- 230000008569 process Effects 0.000 claims abstract description 51
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 abstract description 7
- 230000005540 biological transmission Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000011144 upstream manufacturing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000003032 molecular docking Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30076—Arrangements for executing specific machine instructions to perform miscellaneous control operations, e.g. NOP
- G06F9/30079—Pipeline control instructions, e.g. multicycle NOP
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种数据处理方法及装置。所述方法包括：当前过滤器处理单元判断是否接收到控制信号，所述控制信号用于表示分阶段数据处理；如果接收到所述控制信号，且所述当前过滤器处理单元用于进行全局处理，则所述当前过滤器处理单元判断当前数据状态是否达到预设状态；如果所述当前数据状态达到所述预设状态，所述当前过滤器处理单元对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；所述当前过滤器处理单元清零所述当前数据状态。如此方案，有助于解决现有技术因过滤器处理单元等待接收全量数据造成的管道阻塞以及数据处理响应性差的问题。
Description
技术领域
本公开涉及计算机处理技术领域，具体地，涉及一种数据处理方法及装置。
背景技术
管道-过滤器(Pipe-And-Filter)模式主要用于数据流的处理分析。参见图1所示示意图，管道-过滤器模式可以包括多个过滤器处理单元，且多个过滤器处理单元之间通过管道连接。其中，管道用于进行数据传递，过滤器处理单元用于进行数据加工与处理。具体地，数据源中的数据经由最上游的过滤器处理单元流入链路中，经过逐级传递、处理，最终由最下游的过滤器处理单元完成数据处理后进行结果输出。
通常，如果数据能够逐条在链路中传递，那么数据的流入速度与流出速度是相互匹配的，也就是说，整条链路的数据处理过程非常顺畅平滑，具备很好的响应性。但在实际应用中，对于数据分组、聚合计算、数据排序等需要对全量数据进行全局处理的场景，过滤器处理单元会对接收到的数据进行数据截断，并在确定接收到全量数据之后才进行后续处理。如此，可能会造成管道阻塞，影响数据处理的响应性，特别是在链路中存在多个需要全局计算的过滤器处理单元时，这一问题会变的尤为明显。
发明内容
本公开的目的是提供一种数据处理方法及装置，有助于解决过滤器处理单元等待接收全量数据造成的管道阻塞以及数据处理响应性差的问题。
为了实现上述目的，第一方面，本公开提供一种数据处理方法，包括：
当前过滤器处理单元判断是否接收到控制信号，所述控制信号用于表示分阶段数据处理；
如果接收到所述控制信号，且所述当前过滤器处理单元用于进行全局处理，则所述当前过滤器处理单元判断当前数据状态是否达到预设状态；
如果所述当前数据状态达到所述预设状态，所述当前过滤器处理单元对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；
所述当前过滤器处理单元清零所述当前数据状态。
可选地，所述预设状态为预设数据量、预设分段时长、相邻两个数据之间的预设时间间隔中的至少一个。
可选地，所述方法还包括：所述当前过滤器处理单元向下游链路发送所述控制信号以及所述当前阶段的数据处理结果。
可选地，如果接收到所述控制信号，且所述当前过滤器处理单元用于进行非全局处理，所述方法还包括：
所述当前过滤器处理单元对接收到的数据进行数据处理，得到所述数据的处理结果；
所述当前过滤器处理单元向下游链路发送所述控制信号以及所述数据的处理结果。
可选地，如果未接收到所述控制信号，且所述当前过滤器处理单元用于进行全局处理，所述方法还包括：
所述当前过滤器处理单元判断当前数据状态是否达到预设状态；
如果所述当前数据状态达到所述预设状态，所述当前过滤器处理单元对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；
所述当前过滤器处理单元生成所述控制信号，向下游链路发送所述控制信号以及所述当前阶段的数据处理结果，并清零所述当前数据状态。
第二方面，本公开提供一种数据处理装置，所述数据处理装置属于当前过滤器处理单元，所述装置包括：
第一判断模块，用于判断是否接收到控制信号，所述控制信号用于表示分阶段数据处理；
第二判断模块，用于在所述当前过滤器处理单元用于进行全局处理，且所述第一判断模块判定接收到所述控制信号时，判断当前数据状态是否达到预设状态；
第一数据处理模块，用于在所述第二判断模块判定所述当前数据状态达到所述预设状态时，对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；
第一状态清零模块，用于清零所述当前数据状态。
可选地，所述预设状态为预设数据量、预设分段时长、相邻两个数据之间的预设时间间隔中的至少一个。
可选地，所述装置还包括：
第一发送模块，用于向下游链路发送所述控制信号以及所述当前阶段的数据处理结果。
可选地，所述当前过滤器处理单元用于进行非全局处理，所述装置还包括：
第二数据处理模块，用于在所述第一判断模块判定接收到所述控制信号时，对接收到的数据进行数据处理，得到所述数据的处理结果；
第二发送模块，用于向下游链路发送所述控制信号以及所述数据的处理结果。
可选地，所述当前过滤器处理单元用于进行全局处理，所述装置还包括：
第三判断模块，用于在所述第一判断模块判定未接收到所述控制信号时，判断当前数据状态是否达到预设状态；
第三数据处理模块，用于在所述第三判断模块判定所述当前数据状态达到所述预设状态时，对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；
控制信号生成模块，用于生成所述控制信号；
第三发送模块，用于向下游链路发送所述控制信号以及所述当前阶段的数据处理结果；
第二状态清零模块，用于清零所述当前数据状态。
第三方面，本公开提供一种数据处理装置，所述数据处理装置属于当前过滤器处理单元，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
判断是否接收到控制信号，所述控制信号用于表示分阶段数据处理；
如果接收到所述控制信号，且所述当前过滤器处理单元用于进行全局处理，则判断当前数据状态是否达到预设状态；
如果所述当前数据状态达到所述预设状态，则对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；
清零所述当前数据状态。
本公开的数据处理方案，首先，在用于进行全局处理的过滤器处理单元内配置预设状态，并通过当前数据状态达到预设状态触发执行一次分阶段数据处理；其次，改造现有的管道-过滤器模式，在其基础上增加用于传递控制信号的控制管道，并通过在相邻过滤器处理单元之间传递控制信号的方式，使链路中的过滤器处理单元明确本次进行的是分阶段数据处理。如此，有助于解决现有技术因过滤器处理单元等待接收全量数据造成的管道阻塞以及数据处理响应性差的问题。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是现有技术的管道-过滤器模式的示意图；
图2是本公开数据处理方法的流程示意图；
图3是本公开的管道-过滤器模式的示意图；
图4是本公开数据处理装置的一种结构示意图；
图5是本公开数据处理装置的另一种结构示意图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
参见图2为本公开数据处理方法的流程示意图。该方法可以包括以下步骤：
步骤201，当前过滤器处理单元判断是否接收到控制信号，所述控制信号用于表示分阶段数据处理。
参见图1所示现有的管道-过滤器模式，相邻过滤器处理单元之间可以通过数据管道进行数据传递，上游过滤器处理单元的输出作为下游过滤器处理单元的输入，如此逐级进行数据传递处理直至结束。针对该模式在全局处理时存在的技术问题，本公开提供一种阶段性的数据处理方案，有助于解决过滤器处理单元等待接收全量数据造成的管道阻塞以及数据处理响应性差的问题。
具体地，本公开方案可在图1所示管道-过滤器模式的基础上，增加控制管道，采用控制管道传递控制信号的方式，指示链路中的过滤器处理单元，本次进行的是阶段性数据处理。本公开方案对控制管道、控制信号的表现形式可不做具体限定，只要相邻过滤器处理单元之间能通过控制管道传递控制信号，并知晓控制信号用于表示分阶段数据处理即可。
步骤202，如果接收到所述控制信号，且所述当前过滤器处理单元用于进行全局处理，则所述当前过滤器处理单元判断当前数据状态是否达到预设状态。
步骤203，如果所述当前数据状态达到所述预设状态，所述当前过滤器处理单元对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据。
步骤204，所述当前过滤器处理单元清零所述当前数据状态。
本公开方案中，根据所实现功能，可将过滤器处理单元分为两种类型：用于进行全局处理的过滤器处理单元、用于进行非全局处理的过滤器处理单元。通常，在数据处理之前，会对链路中的过滤器处理单元进行功能配置，过滤器处理单元可以据此明确本身是否用于进行全局处理。例如，过滤器处理单元被配置为进行数据分类、平均值计算等，则表示该过滤器处理单元需要进行全局处理。
本公开方案中，可以将链路中正在进行数据处理的过滤器处理单元称为当前过滤器处理单元，如果当前过滤器处理单元接收到控制信号，且当前过滤器处理单元需要进行全局处理，则可执行以下步骤实现阶段性数据处理：
(1)识别当前数据状态
通过当前数据状态判断是否可以启动本阶段的数据处理步骤。具体地，可以判断当前数据状态是否达到预设状态，如果达到预设状态，则可执行本阶段的数据处理步骤；如果未达到预设状态，则需要继续进行数据拦截，直至达到预设状态为止。
本公开方案中，预设状态可以体现为预设数据量、预设分段时长、相邻两个数据之间的预设时间间隔中的至少一个。
举例来说，预设状态可以设置为每加载1MB数据执行一次数据处理，即，预设数据量为1MB；或者，可以设置为每隔5s执行一次数据处理，即，预设分段时长为5s；或者，可以设置为相邻两个数据之间的接收间隔超过1s执行一次数据处理，即预设时间间隔为1s；或者，还可以将上述示例进行任意组合设置，满足组合中的全部条件或者满足组合中的部分条件，执行一次数据处理。本公开方案中的预设状态可由实际应用需求而定，此处可不做具体限定。
(2)阶段性数据处理
以预设状态设置为每加载1MB数据执行一次数据处理为例，如果当前过滤器处理单元判定本阶段接收的数据达到1MB，即当前数据状态达到预设状态，则可进行一次阶段性数据处理。可以理解地，本公开方案的阶段性数据处理，针对的是本阶段以及本阶段之前累计接收的数据。例如，第一阶段可以接收0MB～1MB的数据，计算得到0MB～1MB数据的处理结果，第二阶段可以接收1MB～2MB的数据，计算得到0MB～2MB数据的处理结果，以此类推，在数据总量一定的情况下，最终可以得到全量数据的数据处理结果，确保本公开方案对全量数据进行全局处理的结果的准确性。
(3)清零当前数据状态
对本阶段的数据进行数据处理后，需要清零当前数据状态，为下一阶段的数据处理做好准备。
可以理解地，可以按照图2所示流程图，先得到当前阶段的数据处理结果，再清零当前数据状态；或者，也可以先清零当前数据状态，再得到当前阶段的数据处理结果；再者，可以同时执行上述两个动作，本公开方案对此可不做具体限定。
综上所述，本公开方案可以改造现有的管道-过滤器模式，增加用于传递控制信号的控制管道，并通过在相邻过滤器处理单元之间传递控制信号的方式，使链路中的过滤器处理单元明确本次进行的是阶段性数据处理。如此，需要进行全局处理的过滤器处理单元，便可结合各自配置的预设状态，分阶段进行数据处理，有助于解决现有技术因过滤器处理单元等待接收全量数据造成的管道阻塞以及数据处理响应性差的问题。
作为一种示例，在图2所示方案的基础上，所述方法还包括：所述当前过滤器处理单元向下游链路发送所述控制信号以及所述当前阶段的数据处理结果。
也就是说，当前过滤器处理单元可以通过数据管道，将阶段性数据处理结果传递到下游过滤器处理单元继续处理，或者传递至链路外部进行处理结果保存。与此同时，当前过滤器处理单元还可以通过控制管道向下游过滤器处理单元或者链路外部传递控制信号，使下游链路明确本次数据管道传递的是阶段性数据处理结果。
作为一种示例，如果当前过滤器处理单元接收到所述控制信号，且所述当前过滤器处理单元用于进行非全局处理，所述方法还包括：所述当前过滤器处理单元对接收到的数据进行数据处理，得到所述数据的处理结果；所述当前过滤器处理单元向下游链路发送所述控制信号以及所述数据的处理结果。
本公开方案中，当前过滤器处理单元接收到控制信号，可以理解为上游链路中进行过阶段性数据处理。如果当前过滤器处理单元用于进行非全局处理，可以按照现有方案进行数据接收和处理，并通过数据管道向下游链路传递数据处理结果；还可以通过控制管道向下游链路传递控制信号，使下游链路明确本次数据管道传递的是阶段性数据处理结果。
作为一种示例，如果当前过滤器处理单元未接收到所述控制信号，且所述当前过滤器处理单元用于进行全局处理，所述方法还包括：所述当前过滤器处理单元判断当前数据状态是否达到预设状态；如果所述当前数据状态达到所述预设状态，所述当前过滤器处理单元对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；所述当前过滤器处理单元生成所述控制信号，向下游链路发送所述控制信号以及所述当前阶段的数据处理结果，并清零所述当前数据状态。
本公开方案中，当前过滤器处理单元未接收到控制信号，可以理解为上游链路中未进行过阶段性数据处理。如果当前过滤器处理单元用于进行全局处理，可以结合图2处所做介绍进行阶段性数据处理，并通过数据管道向下游链路传递当前阶段的数据处理结果；还可以生成控制信号，并通过控制管道向下游链路传递控制信号，使下游链路明确本次数据管道传递的是阶段性数据处理结果。
下面结合图3所示管道-过滤器模式的示意图，对本公开方案的实现过程进行举例说明。
可以理解地，为了简化链路设计，可以如图3所示在相邻过滤器处理单元之间均增设控制管道。或者，还可以结合实际应用需求，在链路中首次出现用于进行全局处理的过滤器处理单元之后，再在相邻过滤器处理单元之间增设控制管道，举例来说，如果图3所示示例中，过滤器处理单元1用于进行非全局处理，过滤器处理单元2用于进行全局处理，则过滤器处理单元1、2之间可以不设置控制管道，过滤器处理单元2、3、4之间需要增设控制管道。
假设，过滤器处理单元1、3用于进行非全局处理，过滤器处理单元2、4用于进行全局处理，本公开的数据处理过程可简述如下：
(1)过滤器处理单元1从数据源加载数据，完成数据处理后通过数据管道向过滤器处理单元2传递数据处理结果，实现数据的逐条流入与流出。
(2)过滤器处理单元2接收到过滤器处理单元1传递的数据，判定过滤器处理单元2用于进行全局处理，且未接收到控制信号，过滤器处理单元2可做如下处理，实现分阶段数据处理：
A、获取过滤器处理单元2的当前数据状态；
B、判定当前数据状态是否达到预设状态；
C、如果当前数据状态未达到预设状态，继续拦截过滤器处理单元1传递的数据，并更新当前数据状态；
D、如果当前数据状态达到预设状态，可以清零当前数据状态；还可以对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，并通过数据管道传递至过滤器处理单元3；
E、生成控制信号，并通过控制管道传递至过滤器处理单元3，使过滤器处理单元3明确本次数据管道传递的是阶段性数据处理结果。
(3)过滤器处理单元3接收到过滤器处理单元2传递的数据及控制信号，判定过滤器处理单元3用于进行非全局处理，过滤器处理单元3可做如下处理，实现数据的逐条流入与流出：
A、按照现有技术对过滤器处理单元2传递的数据进行数据处理，并通过数据管道向过滤器处理单元4传递数据处理结果；
B、通过控制管道向过滤器处理单元4传递控制信号，使过滤器处理单元4明确本次数据管道传递的是阶段性数据处理结果。
(4)过滤器处理单元4接收到过滤器处理单元3传递的数据及控制信号，判定过滤器处理单元4用于进行全局处理，过滤器处理单元4可做如下处理，实现分阶段数据处理：
A、获取过滤器处理单元4的当前数据状态；
B、判定当前数据状态是否达到预设状态；
C、如果当前数据状态未达到预设状态，继续拦截过滤器处理单元3传递的数据，并更新当前数据状态；
D、如果当前数据状态达到预设状态，可以清零当前数据状态；还可以对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，并通过数据管道输出至链路外部；
E、通过控制管道向链路外部输出控制信号，使外部明确本次保存的是阶段性数据处理结果。
可以理解地，数据输出至链路外部之后，外部可以只保存链路最后一次输出的数据；或者，也可以保存链路输出的所有阶段性数据，以此反映数据的变化趋势。另外，需要说明的是，本公开方案不仅适用于数据总量一定的场景，还适用于会实时的不断产生新数据，即数据总量不定的场景。
参见图4为本公开数据处理装置的结构示意图。所述数据处理装置属于当前过滤器处理单元，所述装置可以包括：
第一判断模块401，用于判断是否接收到控制信号，所述控制信号用于表示分阶段数据处理；
第二判断模块402，用于在所述当前过滤器处理单元用于进行全局处理，且所述第一判断模块判定接收到所述控制信号时，判断当前数据状态是否达到预设状态；
第一数据处理模块403，用于在所述第二判断模块判定所述当前数据状态达到所述预设状态时，对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；
第一状态清零模块404，用于清零所述当前数据状态。
可选地，所述预设状态为预设数据量、预设分段时长、相邻两个数据之间的预设时间间隔中的至少一个。
可选地，所述装置还包括：
第一发送模块，用于向下游链路发送所述控制信号以及所述当前阶段的数据处理结果。
可选地，所述当前过滤器处理单元用于进行非全局处理，所述装置还包括：
第二数据处理模块，用于在所述第一判断模块判定接收到所述控制信号时，对接收到的数据进行数据处理，得到所述数据的处理结果；
第二发送模块，用于向下游链路发送所述控制信号以及所述数据的处理结果。
可选地，所述当前过滤器处理单元用于进行全局处理，所述装置还包括：
第三判断模块，用于在所述第一判断模块判定未接收到所述控制信号时，判断当前数据状态是否达到预设状态；
第三数据处理模块，用于在所述第三判断模块判定所述当前数据状态达到所述预设状态时，对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；
控制信号生成模块，用于生成所述控制信号；
第三发送模块，用于向下游链路发送所述控制信号以及所述当前阶段的数据处理结果；
第二状态清零模块，用于清零所述当前数据状态。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
参见图5为本公开数据处理装置500的结构示意图。例如，装置500可以被提供为一服务器。参照图5，装置500包括处理组件501，其进一步包括一个或多个处理器，以及由存储器502所代表的存储器资源，用于存储可由处理组件501的执行的指令，例如应用程序。存储器502中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件501被配置为执行指令，以执行上述数据处理方法。
装置500还可以包括一个电源组件503被配置为执行装置500的电源管理，一个有线或无线网络接口504被配置为将装置500连接到网络，和一个输入输出(I/O)接口505。装置500可以操作基于存储在存储器502的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
当前过滤器处理单元判断是否接收到控制信号，所述控制信号用于表示分阶段数据处理；
如果接收到所述控制信号，且所述当前过滤器处理单元用于进行全局处理，则所述当前过滤器处理单元判断当前数据状态是否达到预设状态；
如果所述当前数据状态达到所述预设状态，所述当前过滤器处理单元对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；
所述当前过滤器处理单元清零所述当前数据状态。
2.根据权利要求1所述的方法，其特征在于，所述预设状态为预设数据量、预设分段时长、相邻两个数据之间的预设时间间隔中的至少一个。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
所述当前过滤器处理单元向下游链路发送所述控制信号以及所述当前阶段的数据处理结果。
4.根据权利要求1或2所述的方法，其特征在于，如果接收到所述控制信号，且所述当前过滤器处理单元用于进行非全局处理，所述方法还包括：
所述当前过滤器处理单元对接收到的数据进行数据处理，得到所述数据的处理结果；
所述当前过滤器处理单元向下游链路发送所述控制信号以及所述数据的处理结果。
5.根据权利要求1或2所述的方法，其特征在于，如果未接收到所述控制信号，且所述当前过滤器处理单元用于进行全局处理，所述方法还包括：
所述当前过滤器处理单元判断当前数据状态是否达到预设状态；
如果所述当前数据状态达到所述预设状态，所述当前过滤器处理单元对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；
所述当前过滤器处理单元生成所述控制信号，向下游链路发送所述控制信号以及所述当前阶段的数据处理结果，并清零所述当前数据状态。
6.一种数据处理装置，其特征在于，所述数据处理装置属于当前过滤器处理单元，所述装置包括：
第一判断模块，用于判断是否接收到控制信号，所述控制信号用于表示分阶段数据处理；
第二判断模块，用于在所述当前过滤器处理单元用于进行全局处理，且所述第一判断模块判定接收到所述控制信号时，判断当前数据状态是否达到预设状态；
第一数据处理模块，用于在所述第二判断模块判定所述当前数据状态达到所述预设状态时，对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；
第一状态清零模块，用于清零所述当前数据状态。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第一发送模块，用于向下游链路发送所述控制信号以及所述当前阶段的数据处理结果。
8.根据权利要求6所述的装置，其特征在于，所述当前过滤器处理单元用于进行非全局处理，所述装置还包括：
第二数据处理模块，用于在所述第一判断模块判定接收到所述控制信号时，对接收到的数据进行数据处理，得到所述数据的处理结果；
第二发送模块，用于向下游链路发送所述控制信号以及所述数据的处理结果。
9.根据权利要求6所述的装置，其特征在于，所述当前过滤器处理单元用于进行全局处理，所述装置还包括：
第三判断模块，用于在所述第一判断模块判定未接收到所述控制信号时，判断当前数据状态是否达到预设状态；
第三数据处理模块，用于在所述第三判断模块判定所述当前数据状态达到所述预设状态时，对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；
控制信号生成模块，用于生成所述控制信号；
第三发送模块，用于向下游链路发送所述控制信号以及所述当前阶段的数据处理结果；
第二状态清零模块，用于清零所述当前数据状态。
10.一种数据处理装置，其特征在于，所述数据处理装置属于当前过滤器处理单元，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
判断是否接收到控制信号，所述控制信号用于表示分阶段数据处理；
如果接收到所述控制信号，且所述当前过滤器处理单元用于进行全局处理，则判断当前数据状态是否达到预设状态；
如果所述当前数据状态达到所述预设状态，则对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；
清零所述当前数据状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710250033.5A CN107066237B (zh) | 2017-04-17 | 2017-04-17 | 一种数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710250033.5A CN107066237B (zh) | 2017-04-17 | 2017-04-17 | 一种数据处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107066237A true CN107066237A (zh) | 2017-08-18 |
| CN107066237B CN107066237B (zh) | 2020-04-03 |
Family
ID=59601225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710250033.5A Active CN107066237B (zh) | 2017-04-17 | 2017-04-17 | 一种数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107066237B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150277967A1 (en) * | 2014-03-26 | 2015-10-01 | Irina Calciu | Enabling Maximum Concurrency In A Hybrid Transactional Memory System |
| CN105224697A (zh) * | 2015-11-16 | 2016-01-06 | 北京京东尚科信息技术有限公司 | 带过滤条件的排序方法和用于执行所述方法的装置 |
| CN105630583A (zh) * | 2014-11-26 | 2016-06-01 | 阿里巴巴集团控股有限公司 | 一种数据处理方法和装置 |
| CN106446273A (zh) * | 2016-10-21 | 2017-02-22 | 天津海量信息技术股份有限公司 | 基于rpc实现的ES全局数据消重方法 |
-
2017
- 2017-04-17 CN CN201710250033.5A patent/CN107066237B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150277967A1 (en) * | 2014-03-26 | 2015-10-01 | Irina Calciu | Enabling Maximum Concurrency In A Hybrid Transactional Memory System |
| CN105630583A (zh) * | 2014-11-26 | 2016-06-01 | 阿里巴巴集团控股有限公司 | 一种数据处理方法和装置 |
| CN105224697A (zh) * | 2015-11-16 | 2016-01-06 | 北京京东尚科信息技术有限公司 | 带过滤条件的排序方法和用于执行所述方法的装置 |
| CN106446273A (zh) * | 2016-10-21 | 2017-02-22 | 天津海量信息技术股份有限公司 | 基于rpc实现的ES全局数据消重方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107066237B (zh) | 2020-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105474602B (zh) | 软件定义网络中识别攻击流的方法、装置以及设备 | |
| CN104640092A (zh) | 识别垃圾短信的方法、客户端、云端服务器和系统 | |
| CN104301248A (zh) | 报文限速方法和装置 | |
| CN105915367B (zh) | 一种在线调试方法、终端及服务器 | |
| CN103458493B (zh) | 无线设备辐射控制方法及装置 | |
| CN109120524A (zh) | 链路聚合方法及相关设备 | |
| CN107066237A (zh) | 一种数据处理方法及装置 | |
| CN111209998A (zh) | 基于数据类型的机器学习模型的训练方法及装置 | |
| CN105814930B (zh) | 计费控制装置、方法及系统 | |
| CN104348660B (zh) | 防火墙设备中检测引擎的升级方法及装置 | |
| CN110855566B (zh) | 上行流量的牵引方法和装置 | |
| CN111367848B (zh) | 一种区块链的数据处理装置、相关设备及方法 | |
| CN114422277B (zh) | 防御网络攻击的方法、装置、电子设备和计算机可读介质 | |
| CN112019547B (zh) | 网络流量评估方法、攻击检测方法、服务器及存储介质 | |
| CN113591999B (zh) | 一种端边云联邦学习模型训练系统及方法 | |
| CN111372277A (zh) | 数据分发方法、装置及存储介质 | |
| CN111542052B (zh) | 一种物联网中基于群体信任度的数据转发方法及装置 | |
| CN110309225B (zh) | 数据处理方法及系统 | |
| KR102141498B1 (ko) | 패킷 전송 방법 및 장치 | |
| CN104134047B (zh) | 实现ecu的安全访问方法、ecu及上位机 | |
| CN110418343A (zh) | 寻呼方法、网络设备及终端 | |
| CN103763218A (zh) | 互联网带宽控制方法和装置 | |
| CN107343287B (zh) | 一种软采数据与硬采数据的合成方法、装置及系统 | |
| CN107734504A (zh) | 一种wifi中对移动设备mac地址采集的实现方法及系统 | |
| CN106160946B (zh) | 一种uart通讯方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |