CN111552566A - 一种数据处理系统、方法、电子设备及存储介质 - Google Patents
一种数据处理系统、方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111552566A CN111552566A CN202010339111.0A CN202010339111A CN111552566A CN 111552566 A CN111552566 A CN 111552566A CN 202010339111 A CN202010339111 A CN 202010339111A CN 111552566 A CN111552566 A CN 111552566A
- Authority
- CN
- China
- Prior art keywords
- data
- old
- target
- original data
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 513
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000002159 abnormal effect Effects 0.000 claims abstract description 50
- 238000012544 monitoring process Methods 0.000 claims abstract description 30
- 238000003672 processing method Methods 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 8
- 238000005111 flow chemistry technique Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5055—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering software capabilities, i.e. software resources associated or available to the machine
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例提供了一种数据处理系统、方法、电子设备及存储介质，上述方法包括：监测原始数据的处理结果；当处理结果为异常处理结果时，获取目标旧原始数据的标识信息；获取目标旧原始数据对应的数据流和采集到的新原始数据对应的数据流，其中，目标旧原始数据对应的数据流是基于目标旧原始数据的标识信息获取的；对目标旧原始数据对应的数据流和新原始数据对应的数据流分别进行数据处理，获取目标旧原始数据的处理结果和新原始数据的处理结果，并用目标旧原始数据的处理结果更新异常处理结果。采用本发明实施例提供的方法，可以降低由同时运行流处理和批处理两种方式的处理程序所带来的系统资源消耗。
Description
技术领域
本发明涉及数据处理技术领域，特别是涉及一种数据处理系统、方法、电子设备及存储介质。
背景技术
在数据处理技术领域中，目前，比较常见的数据处理的处理方式包括：流处理和批处理。流处理是不同节点之间数据的实时处理和传输，批处理是对规定数据量或者处理时间阈值的一批数据进行处理。其中，流处理是在数据生成和传输的过程中对数据进行计算，当数据传输过程中任何环节故障，都将造成流处理的计算结果不准确。
针对流处理计算结果不准确的问题，目前常用的修正方法是使用流处理和批处理混合的数据处理方式，对流处理不准确的计算结果进行修正。具体是，当流处理在数据传输过程中任何环节出现故障导致计算结果不准确时，可以通过批处理方式，重新对流处理发生故障期间的数据进行计算，获得新的计算结果，然后使用批处理方式获得的计算结果覆盖流处理的不正确的计算结果，以实现对流处理得到的计算结果的修正。
可见，现有技术的这种数据处理方法，需要同时运行流处理和批处理两种方式的处理程序，导致系统资源消耗较大。
发明内容
本发明实施例的目的在于提供一种数据处理系统、方法、电子设备及存储介质，以降低由同时运行两种方式的处理程序带来的系统资源消耗。
为了达到上述目的，本发明实施例提供了一种数据处理系统，包括：主控模块、数据采集模块和数据处理模块；
所述主控模块，用于监测原始数据的处理结果，当所述处理结果为异常处理结果时，获取目标旧原始数据的标识信息，并向所述数据采集模块发送所述目标旧原始数据的标识信息；所述目标旧原始数据为：所述异常处理结果对应的旧原始数据；
所述数据采集模块，用于采集并保存新原始数据，以及基于所述目标旧原始数据的标识信息，获取目标旧原始数据，并向所述数据处理模块发送所述目标旧原始数据对应的数据流和所述新原始数据对应的数据流；所述新原始数据为未经数据处理的原始数据，所述旧原始数据为所述处理结果对应的原始数据；
所述数据处理模块，用于对接收的目标旧原始数据对应的数据流和新原始数据对应的数据流分别进行数据处理，获取目标旧原始数据的处理结果和新原始数据的处理结果，并用目标旧原始数据的处理结果更新所述异常处理结果。
进一步的，所述主控模块，包括：监测子模块和控制子模块；
所述监测子模块，用于监测原始数据的处理结果，当所述监测结果表示所述原始数据的处理结果为异常处理结果时，获取目标旧原始数据的标识信息；并将所得到的目标旧原始数据的标识信息发送至所述控制子模块；
所述控制子模块，接收所述目标旧原始数据的标识信息，并向所述数据采集模块发送所述目标旧原始数据的标识信息。
进一步的，所述系统，还包括：数据接收模块；所述数据处理模块，包括：新数据处理子模块和旧数据处理子模块；
所述数据采集模块，具体用于采集并保存新原始数据，以及基于所述目标旧原始数据的标识信息，从已保存的原始数据中获取目标旧原始数据，并为所述目标旧原始数据生成旧数据标签；并向所述数据处理模块发送：已生成旧数据标签的目标旧原始数据对应的数据流和所述新原始数据对应的数据流；
所述数据接收模块，用于基于所接收的数据流中的数据是否具有所述旧数据标签，将数据流中的数据分别发送至所述新数据处理子模块和所述旧数据处理子模块，其中，所述目标旧原始数据对应的数据流被发送至所述旧数据处理子模块，所述新原始数据对应的数据流被发送至所述新数据处理子模块；
所述旧数据处理子模块，用于对接收的数据流中的所述目标旧原始数据进行数据处理，得到目标旧原始数据的处理结果，并用目标旧原始数据的处理结果更新所述异常处理结果；
所述新数据处理子模块，用于对接收的数据流中的所述新原始数据进行数据处理，得到新原始数据的处理结果。
进一步的，所述系统，还包括：数据处理结果存储模块；
所述旧数据处理子模块，具体用于对接收的数据流中的所述目标旧原始数据进行数据处理，得到目标旧原始数据的处理结果，并用目标旧原始数据的处理结果更新所述异常处理结果，并将更新后的处理结果存储至所述数据处理结果存储模块；
所述新数据处理子模块，具体用于对接收的数据流中的所述新原始数据进行数据处理，得到新原始数据的处理结果，并将新原始数据的处理结果保存至所述数据处理结果存储模块。
进一步的，所述目标旧原始数据的标识信息为时间戳，所述时间戳表示所述目标旧原始数据生成的时刻。
进一步的，所述目标旧原始数据的标识信息为故障时间段；
所述主控模块，具体用于监测原始数据的处理结果，获取所述处理结果为异常处理结果的时间段，作为故障时间段，并将所述故障时间段发送至所述数据采集模块；
所述数据采集模块，具体用于采集并保存新原始数据，以及基于所述目标旧原始数据的标识信息，从已保存的旧原始数据中获取时间戳位于所述故障时间段内的旧原始数据，作为目标旧原始数据，并向所述数据处理模块发送所述目标旧原始数据对应的数据流和所述新原始数据对应的数据流。
为了达到上述目的，本发明实施例还提供了一种数据处理方法，包括：
监测原始数据的处理结果；
当所述处理结果为异常处理结果时，获取目标旧原始数据的标识信息；所述目标旧原始数据为：所述异常处理结果对应的旧原始数据；
获取所述目标旧原始数据对应的数据流和采集到的新原始数据对应的数据流，其中，目标旧原始数据对应的数据流是基于所述目标旧原始数据的标识信息获取的；
对所述目标旧原始数据对应的数据流和新原始数据对应的数据流分别进行数据处理，获取目标旧原始数据的处理结果和新原始数据的处理结果，并用目标旧原始数据的处理结果更新所述异常处理结果。
进一步的，在所述对所述目标旧原始数据对应的数据流和新原始数据对应的数据流分别进行数据处理之前，还包括：
为所述目标旧原始数据生成旧数据标签；
所述对所述目标旧原始数据对应的数据流和新原始数据对应的数据流分别进行数据处理，获取目标旧原始数据的处理结果和新原始数据的处理结果，包括：
针对数据流中的每个数据，判断该数据是否具有所述旧数据标签；
当该数据具有所述旧数据标签时，确定该数据属于目标旧原始数据对应的数据流，并对所述目标旧原始数据对应的数据流进行数据处理，得到目标旧原始数据的处理结果；
当该数据不具有所述旧数据标签时，确定该数据属于新原始数据对应的数据流，并对所述新原始数据对应的数据流进行数据处理，得到新原始数据的处理结果。
进一步的，在所述用目标旧原始数据的处理结果更新所述异常处理结果之后，还包括：
存储更新后的处理结果。
进一步的，所述目标旧原始数据的标识信息为时间戳，所述时间戳表示所述目标旧原始数据生成的时刻。
进一步的，所述目标旧原始数据的标识信息为故障时间段；
所述当所述处理结果为异常处理结果时，获取目标旧原始数据的标识信息，包括：
当所述处理结果为异常处理结果时，获取所述处理结果为异常处理结果的时间段，作为故障时间段；
所述获取所述目标旧原始数据对应的数据流，包括：
获取时间戳位于故障时间段内的旧原始数据，作为目标旧原始数据对应的数据流。
为了达到上述目的，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述数据处理方法步骤。
为了达到上述目的，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的数据处理方法步骤。
为了达到上述目的，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的数据处理方法步骤。
本发明实施例有益效果：
采用本发明实施例提供的方法，可以只通过流处理这一种方式实现：对目标旧原始数据的数据流进行数据处理，并用目标旧原始数据的处理结果对异常处理结果进行更新，以及对采集到的新原始数据的数据流进行数据处理。即只使用流处理这一种方式实现了对异常处理结果的修正，而不需要同时运行流处理和批处理两种方式的处理程序。因此，采用本发明实施例提供的方法，可以降低由同时运行流处理和批处理两种方式的处理程序所带来的系统资源消耗。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1a为本发明实施例提供的数据处理系统的一种结构图；
图1b为本发明实施例提供的数据处理系统的一种交互示意图
图2a为本发明实施例提供的数据处理系统的另一种结构图；
图2b为本发明实施例提供的数据处理系统的另一种交互示意图；
图2c为本发明实施例提供的数据处理系统的又一种结构图；
图2d为本发明实施例提供的数据处理系统的又一种交互示意图；
图3为本发明实施例提供的数据处理方法的一种流程图；
图4为本发明实施例提供的数据处理方法的另一种流程图；
图5为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
为了降低由同时运行两种方式的数据处理程序带来的系统资源消耗，本发明实施例提供了一种数据处理系统。
参见图1a，图1a为数据处理系统的一种结构，包括：主控模块110、数据采集模块120和数据处理模块130；
主控模块110，用于监测原始数据的处理结果，当处理结果为异常处理果时，获取目标旧原始数据的标识信息，并向数据采集模块120发送目标旧原始数据的标识信息；目标旧原始数据为：异常处理结果对应的旧原始数据；
数据采集模块120，用于采集并保存新原始数据，以及基于目标旧原始数据的标识信息，获取目标旧原始数据，并向数据处理模块130发送目标旧原始数据对应的数据流和新原始数据对应的数据流；新原始数据为未经数据处理的原始数据，旧原始数据为曾经过数据处理的原始数据；
数据处理模块130，用于对接收的目标旧原始数据对应的数据流和新原始数据对应的数据流分别进行数据处理，获取目标旧原始数据的处理结果和新原始数据的处理结果，并用目标旧原始数据的处理结果更新异常处理结果。
采用本发明实施例提供的数据处理系统，可以只通过流处理这一种方式实现：对目标旧原始数据对应的数据流进行数据处理，并用目标旧原始数据的处理结果对异常处理结果进行更新，以及对采集到的新原始数据的数据流进行数据处理。即只使用流处理这一种方式实现了对异常处理结果的修正，而不需要同时运行流处理和批处理两种方式的处理程序。因此，采用本发明实施例提供的数据处理系统，可以降低由同时运行流处理和批处理两种方式的处理程序所带来的系统资源消耗。
参见图1b，图1b为本发明实施例提供的数据处理系统的一种交互示意图，数据处理系统包括：主控模块、数据采集模块和数据处理模块；
步骤101，主控模块监测原始数据的处理结果。
步骤102，当处理结果为异常处理果时，主控模块获取目标旧原始数据的标识信息。
步骤103，主控模块向数据采集模块发送目标旧原始数据的标识信息；目标旧原始数据为：异常处理结果对应的旧原始数据。
步骤104，数据采集模块采集并保存新原始数据。
步骤105，数据采集模块基于目标旧原始数据的标识信息，获取目标旧原始数据。
步骤106，数据采集模块向数据处理模块发送目标旧原始数据对应的数据流和新原始数据对应的数据流；新原始数据为未经数据处理的原始数据，旧原始数据为曾经过数据处理的原始数据。
步骤107，数据处理模块对接收的目标旧原始数据对应的数据流和新原始数据对应的数据流分别进行数据处理，获取目标旧原始数据的处理结果和新原始数据的处理结果。
步骤108，数据处理模块用目标旧原始数据的处理结果更新异常处理结果。
采用本发明实施例提供的数据处理系统，可以只通过流处理这一种方式实现：对目标旧原始数据对应的数据流进行数据处理，并用目标旧原始数据的处理结果对异常处理结果进行更新，以及对采集到的新原始数据的数据流进行数据处理。即只使用流处理这一种方式实现了对异常处理结果的修正，而不需要同时运行流处理和批处理两种方式的处理程序。因此，采用本发明实施例提供的数据处理系统，可以降低由同时运行流处理和批处理两种方式的处理程序所带来的系统资源消耗。
进一步的，参见图2a，图2a为数据处理系统的又一种结构，包括：主控模块110、数据采集模块120、数据接收模块230和数据处理模块130；其中，主控模块110，包括：监测子模块210和控制子模块220；数据处理模块130，包括：旧数据处理子模块240和新数据处理子模块250；
监测子模块210，用于监测原始数据的处理结果，当监测结果表示原始数据的处理结果为异常处理结果时，获取目标旧原始数据的标识信息；并将所得到的目标旧原始数据的标识信息发送至控制子模块220。
控制子模块220，接收目标旧原始数据的标识信息，并向数据采集模块120发送目标旧原始数据的标识信息。
数据采集模块120，具体用于采集并保存新原始数据，以及基于目标旧原始数据的标识信息，从已保存的原始数据中获取目标旧原始数据，并为目标旧原始数据生成旧数据标签；并向数据接收模块230发送：已生成旧数据标签的目标旧原始数据对应的数据流和新原始数据对应的数据流。
数据接收模块230，用于基于所接收的数据流中的数据是否具有旧数据标签，将数据流中的数据分别发送至旧数据处理子模块240和新数据处理子模块250，其中，目标旧原始数据对应的数据流被发送至旧数据处理子模块240，新原始数据对应的数据流被发送至新数据处理子模块250。
旧数据处理子模块240，用于对接收的数据流中的目标旧原始数据进行数据处理，得到目标旧原始数据的处理结果，并用目标旧原始数据的处理结果更新异常处理结果。
新数据处理子模块250，用于对接收的数据流中的新原始数据进行数据处理，得到新原始数据的处理结果。
采用本发明实施例提供的数据处理系统，只使用流处理这一种数据处理方式，在不影响新数据处理子模块对新原始数据进行处理的前提下，通过旧数据处理子模块对目标旧原始数据进行处理，并用目标旧原始数据的处理结果对异常处理结果进行更新，实现对异常处理结果的修正，而不需要同时运行流处理和批处理两种方式的处理程序。因此，采用本发明实施例提供的数据处理系统，可以降低由同时运行流处理和批处理两种方式的处理程序所带来的系统资源消耗。
参见图2b，图2b为本发明实施例提供的数据处理系统的另一种交互示意图，数据处理系统包括：监测子模块、控制子模块、数据采集模块、数据接收模块、旧数据处理子模块和新数据处理子模块；其中，监测子模块和控制子模块均为主控模块的子模块；旧数据处理子模块和新数据处理子模块均为数据处理模块的子模块；
步骤201，监测子模块监测原始数据的处理结果。
步骤202，当监测结果表示原始数据的处理结果为异常处理结果时，监测子模块获取目标旧原始数据的标识信息。
步骤203，监测子模块将所得到的目标旧原始数据的标识信息发送至控制子模块。
步骤204，控制子模块接收目标旧原始数据的标识信息。
步骤205，控制子模块向数据采集模块发送目标旧原始数据的标识信息。
步骤206，数据采集模块采集并保存新原始数据。
步骤207，数据采集模块基于目标旧原始数据的标识信息，从已保存的原始数据中获取目标旧原始数据。
步骤208，数据采集模块为目标旧原始数据生成旧数据标签。
步骤209，数据采集模块向数据接收模块发送：已生成旧数据标签的目标旧原始数据对应的数据流和新原始数据对应的数据流。
步骤2010，数据接收模块接收已生成旧数据标签的目标旧原始数据对应的数据流和新原始数据对应的数据流。
步骤2011，数据接收模块基于所接收的数据流中的数据是否具有旧数据标签，将数据流中具有旧数据标签的数据发送至旧数据处理子模块。
步骤2012，数据接收模块基于所接收的数据流中的数据是否具有旧数据标签，将数据流中不具有旧数据标签的数据发送至新数据处理子模块。
步骤2013，旧数据处理子模块接收：数据接收模块发送的数据流中具有旧数据标签的数据。
步骤2014，旧数据处理子模块对接收的数据流中的目标旧原始数据进行数据处理，得到目标旧原始数据的处理结果。
步骤2015，旧数据处理子模块用目标旧原始数据的处理结果更新异常处理结果。
步骤2016，新数据处理子模块接收的数据流中的新原始数据。
步骤2017，新数据处理子模块对接收的数据流中的新原始数据进行数据处理，得到新原始数据的处理结果。
采用本发明实施例提供的数据处理系统，只使用流处理这一种数据处理方式，在不影响新数据处理子模块对新原始数据进行处理的前提下，通过旧数据处理子模块对目标旧原始数据进行处理，并用目标旧原始数据的处理结果对异常处理结果进行更新，实现对异常处理结果的修正，而不需要同时运行流处理和批处理两种方式的处理程序。因此，采用本发明实施例提供的数据处理系统，可以降低由同时运行流处理和批处理两种方式的处理程序所带来的系统资源消耗。
参见图2c，图2c为数据处理系统的又一种结构，包括：主控模块110、数据采集模块120、数据接收模块230、数据处理模块130和数据处理结果存储模块260；其中，主控模块110，包括：监测子模块210和控制子模块220；数据处理模块130，包括：旧数据处理子模块240和新数据处理子模块250；
监测子模块210，用于监测原始数据的处理结果，当监测结果表示原始数据的处理结果为异常处理结果时，获取目标旧原始数据的标识信息；并将所得到的目标旧原始数据的标识信息发送至控制子模块220。
控制子模块220，接收目标旧原始数据的标识信息，并向数据采集模块120发送目标旧原始数据的标识信息。
数据采集模块120，具体用于采集并保存新原始数据，以及基于目标旧原始数据的标识信息，从已保存的原始数据中获取目标旧原始数据，并为目标旧原始数据生成旧数据标签；并向数据处理模块130发送：已生成旧数据标签的目标旧原始数据对应的数据流和新原始数据对应的数据流。
数据接收模块230，用于基于所接收的数据流中的数据是否具有旧数据标签，将数据流中的数据分别发送至旧数据处理子模块240和新数据处理子模块250，其中，目标旧原始数据对应的数据流被发送至旧数据处理子模块240，新原始数据对应的数据流被发送至新数据处理子模块250。
旧数据处理子模块240，具体用于对接收的数据流中的目标旧原始数据进行数据处理，得到目标旧原始数据的处理结果，并用目标旧原始数据的处理结果更新异常处理结果，并将更新后的处理结果存储至数据处理结果存储模块260。
新数据处理子模块250，具体用于对接收的数据流中的新原始数据进行数据处理，得到新原始数据的处理结果，并将新原始数据的处理结果保存至数据处理结果存储模块260。
采用本发明实施例提供的数据处理系统，只使用流处理这一种数据处理方式，在不影响新数据处理子模块对新原始数据进行处理的前提下，通过旧数据处理子模块对目标旧原始数据进行处理，用目标旧原始数据的处理结果对异常处理结果进行更新，并将更新后的处理结果存储至数据处理结果存储模块中，实现了对异常处理结果的修正，而不需要同时运行流处理和批处理两种方式的处理程序。因此，采用本发明实施例提供的数据处理系统，可以降低由同时运行流处理和批处理两种方式的处理程序所带来的系统资源消耗。
参见图2d，图2d为本发明实施例提供的又一种数据处理系统的交互示意图，数据处理系统包括：监测子模块、控制子模块、数据采集模块、数据接收模块、旧数据处理子模块、新数据处理子模块和数据处理结果存储模块；其中，监测子模块和控制子模块为主控模块的子模块；旧数据处理子模块和新数据处理子模块为数据处理模块的子模块；
步骤201至步骤2017在图2b中已予以说明，此处不再赘述。
步骤2018，旧数据处理子模块在用目标旧原始数据的处理结果更新异常处理结果之后，将更新后的处理结果发送至数据处理结果存储模块。
步骤2019，新数据处理子模块在得到新原始数据的处理结果之后，将新原始数据的处理结果发送至数据处理结果存储模块。
步骤2020，数据处理结果存储模块，存储新原始数据的处理结果，以及更新后的目标旧原始数据的处理结果。
采用本发明实施例提供的数据处理系统，只使用流处理这一种数据处理方式，在不影响新数据处理子模块对新原始数据进行处理的前提下，通过旧数据处理子模块对目标旧原始数据进行处理，用目标旧原始数据的处理结果对异常处理结果进行更新，并将更新后的处理结果存储至数据处理结果存储模块中，实现了对异常处理结果的修正，而不需要同时运行流处理和批处理两种方式的处理程序。因此，采用本发明实施例提供的数据处理系统，可以降低由同时运行流处理和批处理两种方式的处理程序所带来的系统资源消耗。
进一步的，本发明实施例提供的数据处理系统中，目标旧原始数据的标识信息可以为时间戳，时间戳表示目标旧原始数据生成的时刻。
进一步的，本发明实施例提供的数据处理系统中，目标旧原始数据的标识信息可以为故障时间段；
主控模块110，具体可以用于监测原始数据的处理结果，获取处理结果为异常处理结果的时间段，作为故障时间段，并将故障时间段发送至数据采集模块120；
数据采集模块120，具体可以用于采集并保存新原始数据，以及基于目标旧原始数据的标识信息，从已保存的旧原始数据中获取时间戳位于故障时间段内的旧原始数据，作为目标旧原始数据，并向数据处理模块发送目标旧原始数据对应的数据流和新原始数据对应的数据流。
为了降低由同时运行两种方式的处理程序带来的系统资源消耗，本发明实施例还提供了一种数据处理方法。
参见图3，图3为数据处理方法的一种流程，该方法包括如下步骤：
步骤301，监测原始数据的处理结果。
步骤302，当处理结果为异常处理结果时，获取目标旧原始数据的标识信息；目标旧原始数据为：异常处理结果对应的旧原始数据。
步骤303，获取目标旧原始数据对应的数据流和采集到的新原始数据对应的数据流，其中，目标旧原始数据对应的数据流是基于目标旧原始数据的标识信息获取的。
步骤304，对目标旧原始数据对应的数据流和新原始数据对应的数据流分别进行数据处理，获取目标旧原始数据的处理结果和新原始数据的处理结果，并用目标旧原始数据的处理结果更新异常处理结果。
采用本发明实施例提供的数据处理方法，可以只通过流处理这一种方式实现：对目标旧原始数据对应的数据流进行数据处理，并用目标旧原始数据的处理结果对异常处理结果进行更新，以及对采集到的新原始数据的数据流进行数据处理。即只使用流处理这一种方式实现了对异常处理结果的修正，而不需要同时运行流处理和批处理两种方式的处理程序。因此，采用本发明实施例提供的数据处理方法，可以降低由同时运行流处理和批处理两种方式的处理程序所带来的系统资源消耗。
参见图4，图4为数据处理方法另一种流程，包括如下步骤：
步骤401，监测原始数据的处理结果。
本发明实施例中，原始数据经过处理后可以得到对应的处理结果，并且，可以通过实时结果图像对处理结果进行展示。本步骤中，可以通过实时结果图像中监测原始数据的处理结果。
本发明实施例中，原始数据包括：新原始数据和旧原始数据。本发明实施例中，在采集到原始数据后，可以将原始数据进行保存。
其中，旧原始数据为：原始数据的处理结果对应的原始数据。
新原始数据为：新采集到的，且未经过数据处理的原始数据。
例如，新采集的原始数据x还未经过数据处理，数据x不存在对应的处理结果，则数据x为新原始数据。系统中已保存有原始数据y，并且原始数据y已经存在对应的处理结果“result_y”，则可以确定，原始数据y为旧原始数据。
步骤402，判断处理结果是否为异常处理结果，若判断结果为是，执行步骤403，若判断结果为否，返回执行步骤401。
本发明实施例中，当监测到处理结果发生中断时，记录中断时刻对应的处理结果为异常处理结果。
或者，当监测到处理结果发生超出预设结果范围的剧烈波动时，记录超出预设结果范围的处理结果为异常处理结果；其中，预设结果范围为基于大量正常处理结果进行所确定的结果阈值；例如，处理结果为视频A每秒钟的点击量，已获取视频A的100万秒内每秒钟的视频点击率，且视频A的100万秒内每秒钟内视频点击量最高为100次每秒的点击量。基于此可以确定，针对视频A每秒钟的点击量的处理结果，可以预先设定预设结果范围为[0，1000]。即当监测到每秒的处理结果超出1000次时，可以确定处理结果异常。
或者，当监测到进行数据处理的服务器宕机时，记录服务器宕机的时刻或时间段内的处理结果作为异常处理结果。
步骤403，获取目标旧原始数据的标识信息。
本发明实施例中，目标旧原始数据为：异常处理结果对应的旧原始数据。
本发明实施例中，原始数据的处理结果可以具有标识信息，且原始数据的处理结果的标识信息就是原始数据的标识信息。
当处理结果为异常处理结果时，可以从异常处理结果中，获取目标旧原始数据的标识信息。其中，目标旧原始数据的标识信息具体可以为时间戳，针对每一目标旧原始数据生成时间戳，时间戳表示该目标旧原始数据生成的时刻。
例如，当用户点击某一小程序上的视频时，用户端可以向服务端发送一条数据，服务端收到用户端发送的数据后为该数据打上时间戳，该数据的时间戳就是该数据生成的时刻。例如，数据生成的时刻为2019-10-23-10:21，则该数据的对应的时间戳也为2019-10-23-10:21；数据生成的时刻为2019-10-24-11:24，则该数据的对应的时间戳也为2019-10-24-11:24。
本发明实施例中，目标旧原始数据的标识信息还可以为故障时间段。
当某一连续时间段内，原始数据的处理结果均为异常处理结果，则可以确定该连续时间段为故障时间段。即生成时间在该故障时间段内的原始数据，均为目标旧原始数据。例如，若时间段[2019-10-24-11:00，2019-10-24-11:30]内的原始数据的处理结果均为异常处理结果，则可以确定时间段[2019-10-24-11:00，2019-10-24-11:30]为故障时间段，因此，在该故障时间段[2019-10-24-11:00，2019-10-24-11:30]内生成的旧原始数据均为目标旧原始数据。
步骤404，获取目标旧原始数据对应的数据流和采集到的新原始数据对应的数据流。
本发明实施例中，新原始数据为未经数据处理的原始数据，旧原始数据为原始数据的处理结果对应的原始数据，目标旧原始数据为异常处理结果对应的旧原始数据。
本步骤中，新原始数据对应的数据流可以通过实时采集获得。例如，针对视频A的点击量的数据，服务端可以实时采集用户对视频A的点击数据。
本发明实施例中，原始数据均可以被存储起来，例如，在采集到新原始数据后，可以将所采集的新原始数据保存起来。
本步骤中，当需要获取目标旧原始数据对应的数据流时，可以基于目标旧原始数据的标识信息，从已保存的旧原始数据中获取目标旧原始数据对应的数据流。
若目标旧原始数据的标识信息为时间戳，可以从旧原始数据中，查找时间戳与异常处理结果的时间戳相同的旧原始数据，作为目标旧原始数据，进而得到目标旧原始数据对应的数据流。例如，若异常处理结果a的时间戳为ta，可以在旧原始数据中，查找时间戳为ta的旧原始数据a，作为目标旧原始数据。
若目标旧原始数据的标识信息为故障时间段，可以获取时间戳位于该故障时间段内的旧原始数据，作为目标旧原始数据，进而得到目标旧原始数据对应的数据流。例如，若所确定的故障时间段为[t1，t2]，可以从旧原始数据中，查找时间戳在故障时间段[t1，t2]内的旧原始数据，作为目标旧原始数据。例如，若旧原始数据A、旧原始数据B和旧原始数据C的时间戳均在故障时间段[t1，t2]内，则旧原始数据A、旧原始数据B和旧原始数据C均为目标旧原始数据。
步骤405，为目标旧原始数据生成旧数据标签。
本步骤中，在获取到目标旧原始数据对应的数据流和采集到的新原始数据对应的数据流之后，可以对目标旧原始数据生成旧数据标签，旧数据标签用于区分目标旧原始数据和新原始数据。具体的，旧数据标签可以是一个特定的字符，例如“*O”或者“*old*”，可以给目标旧数据加上字符“*O”或者字符“*old*”，作为目标旧原始数据的旧数据标签。
本步骤中，还可以对采集到的新原始数据生成新数据标签，新数据标签用于区分新原始数据和目标旧原始数据。具体的，新数据标签也可以是一个特定的字符，例如“*N”或者“*new*”，可以给目标旧数据加上字符“*N”或者字符“*new*”，作为新原始数据的新数据标签。
步骤406，针对数据流中的每个数据，判断该数据是否具有旧数据标签，若判断结果为是，执行步骤407，若判断结果为否，执行步骤408。
步骤407，确定该数据属于目标旧原始数据对应的数据流，并对目标旧原始数据对应的数据流进行数据处理，得到目标旧原始数据的处理结果，然后执行步骤409。
在一种可能的实施方式中，本发明提供的数据处理方法要处理的数据是：视频X的访问数据。具体的，当每次用户点击视频网站上的视频X时，会给服务端发送一条数据，服务端在收到该数据时，可以给该数据打上时间戳，时间戳表示该数据生成的时刻。
本步骤中，可以对视频X的访问数据中的目标旧原始数据对应的数据流进行数据处理，具体的处理可以是：根据目标旧原始数据的时间戳，统计相同时间的目标旧原始数据的条数，作为目标旧原始数据的处理结果。
例如，视频X的访问数据中，目标旧原始数据对应的数据流中，有10条时间戳为2019-10-23-10:21的目标旧原始数据，有3条时间戳为2019-10-23-09:10的目标旧原始数据，有2条时间戳为2019-10-23-09:15的目标旧原始数据，有4条时间戳为2019-10-23-09:35的目标旧原始数据，有5条时间戳为2019-10-23-09:45的目标旧原始数据。
例如，2019-10-23-10:21时间对应的视频X的访问数据条数为5条。若2019-10-23-10:21的对应的视频X的访问数据条数是异常的，即2019-10-23-10:21的原始数据的处理结果为异常处理结果，则可以统计2019-10-23-10:21的目标旧原始数据的条数：10条。可以得到目标旧原始数据的处理结果为10条。因此，可以用目标旧原始数据的处理结果10条，更新2019-10-23-10:21对应的视频X的访问数据条数为5条的异常处理结果。
若故障时间段为[2019-10-23-09：00，2019-10-23-10：00]，则可以统计出故障时间段[2019-10-23-09：00，2019-10-23-10：00]内的目标旧原始数据的条数为：3+2+4+5＝14条，因此，可以得到[2019-10-23-09：00，2019-10-23-10：00]时间段内目标旧原始数据的处理结果为14条。进而，可以用目标旧原始数据的处理结果14条，更新[2019-10-23-09：00，2019-10-23-10：00]时间段内的异常处理结果。
步骤408，确定该数据属于新原始数据对应的数据流，并对新原始数据对应的数据流进行数据处理，得到新原始数据的处理结果。
在一种可能的实施方式中，本发明提供的数据处理方法要处理的数据是：视频X的访问数据。本步骤中，可以对视频X的访问数据中的新原始数据对应的数据流进行数据处理，具体的处理可以是：根据新原始数据的时间戳，统计相同时间的新原始数据的条数，作为新原始数据的处理结果。
例如，视频X的访问数据中，新原始数据对应的数据流中，有20条时间戳为2019-10-23-11:21的新原始数据。
若需要统计2019-10-23-11:21时间对应的视频X的访问条数时，可以统计出2019-10-23-11:21时间对应的视频X的访问条数为20条，即新原始数据的处理结果为20条。
步骤409，存储更新后的处理结果，以及新原始数据的处理结果。
本步骤中，可以将步骤407所得到的更新后的旧原始数据的处理结果存储起来，覆盖掉原来所存储的异常处理结果。也可以将步骤408中得到新原始数据的处理结果存储起来。
采用本发明实施例提供的数据处理方法，只使用流处理这一种数据处理方式，在不影响对新原始数据进行处理的前提下，通过对目标旧原始数据进行处理，用目标旧原始数据的处理结果对异常处理结果进行更新，并将更新后的处理结果进行存储。不需要同时运行流处理和批处理两种方式的处理程序，就可以实现对异常处理结果的修正。因此，采用本发明实施例提供的数据处理方法，可以降低由同时运行流处理和批处理两种方式的处理程序所带来的系统资源消耗。
基于同一发明构思，根据本发明上述实施例提供的数据处理方法，相应地，本发明另一实施例还提供了一种电子设备，参见图5，本发明实施例的电子设备包括处理器501，通信接口502，存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
监测原始数据的处理结果；
当所述处理结果为异常处理结果时，获取目标旧原始数据的标识信息；所述目标旧原始数据为：所述异常处理结果对应的旧原始数据；
获取所述目标旧原始数据对应的数据流和采集到的新原始数据对应的数据流，其中，目标旧原始数据对应的数据流是基于所述目标旧原始数据的标识信息获取的；
对所述目标旧原始数据对应的数据流和新原始数据对应的数据流分别进行数据处理，获取目标旧原始数据的处理结果和新原始数据的处理结果，并用目标旧原始数据的处理结果更新所述异常处理结果。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一数据处理方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一数据处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (13)
1.一种数据处理系统，其特征在于，包括：主控模块、数据采集模块和数据处理模块；
所述主控模块，用于监测原始数据的处理结果，当所述处理结果为异常处理结果时，获取目标旧原始数据的标识信息，并向所述数据采集模块发送所述目标旧原始数据的标识信息；所述目标旧原始数据为：所述异常处理结果对应的旧原始数据；
所述数据采集模块，用于采集并保存新原始数据，以及基于所述目标旧原始数据的标识信息，获取目标旧原始数据，并向所述数据处理模块发送所述目标旧原始数据对应的数据流和所述新原始数据对应的数据流；所述新原始数据为未经数据处理的原始数据，所述旧原始数据为所述处理结果对应的原始数据；
所述数据处理模块，用于对接收的目标旧原始数据对应的数据流和新原始数据对应的数据流分别进行数据处理，获取目标旧原始数据的处理结果和新原始数据的处理结果，并用目标旧原始数据的处理结果更新所述异常处理结果。
2.根据权利要求1所述的系统，其特征在于，所述主控模块，包括：监测子模块和控制子模块；
所述监测子模块，用于监测原始数据的处理结果，当所述监测结果表示所述原始数据的处理结果为异常处理结果时，获取目标旧原始数据的标识信息；并将所得到的目标旧原始数据的标识信息发送至所述控制子模块；
所述控制子模块，接收所述目标旧原始数据的标识信息，并向所述数据采集模块发送所述目标旧原始数据的标识信息。
3.根据权利要求1所述的系统，其特征在于，还包括：数据接收模块；所述数据处理模块，包括：新数据处理子模块和旧数据处理子模块；
所述数据采集模块，具体用于采集并保存新原始数据，以及基于所述目标旧原始数据的标识信息，从已保存的原始数据中获取目标旧原始数据，并为所述目标旧原始数据生成旧数据标签；并向所述数据处理模块发送：已生成旧数据标签的目标旧原始数据对应的数据流和所述新原始数据对应的数据流；
所述数据接收模块，用于基于所接收的数据流中的数据是否具有所述旧数据标签，将数据流中的数据分别发送至所述新数据处理子模块和所述旧数据处理子模块，其中，所述目标旧原始数据对应的数据流被发送至所述旧数据处理子模块，所述新原始数据对应的数据流被发送至所述新数据处理子模块；
所述旧数据处理子模块，用于对接收的数据流中的所述目标旧原始数据进行数据处理，得到目标旧原始数据的处理结果，并用目标旧原始数据的处理结果更新所述异常处理结果；
所述新数据处理子模块，用于对接收的数据流中的所述新原始数据进行数据处理，得到新原始数据的处理结果。
4.根据权利要求3所述的系统，其特征在于，还包括：数据处理结果存储模块；
所述旧数据处理子模块，具体用于对接收的数据流中的所述目标旧原始数据进行数据处理，得到目标旧原始数据的处理结果，并用目标旧原始数据的处理结果更新所述异常处理结果，并将更新后的处理结果存储至所述数据处理结果存储模块；
所述新数据处理子模块，具体用于对接收的数据流中的所述新原始数据进行数据处理，得到新原始数据的处理结果，并将新原始数据的处理结果保存至所述数据处理结果存储模块。
5.根据权利要求1所述的系统，其特征在于，所述目标旧原始数据的标识信息为时间戳，所述时间戳表示所述目标旧原始数据生成的时刻。
6.根据权利要求1所述的系统，其特征在于，所述目标旧原始数据的标识信息为故障时间段；
所述主控模块，具体用于监测原始数据的处理结果，获取所述处理结果为异常处理结果的时间段，作为故障时间段，并将所述故障时间段发送至所述数据采集模块；
所述数据采集模块，具体用于采集并保存新原始数据，以及基于所述目标旧原始数据的标识信息，从已保存的旧原始数据中获取时间戳位于所述故障时间段内的旧原始数据，作为目标旧原始数据，并向所述数据处理模块发送所述目标旧原始数据对应的数据流和所述新原始数据对应的数据流。
7.一种数据处理方法，其特征在于，包括：
监测原始数据的处理结果；
当所述处理结果为异常处理结果时，获取目标旧原始数据的标识信息；所述目标旧原始数据为：所述异常处理结果对应的旧原始数据；
获取所述目标旧原始数据对应的数据流和采集到的新原始数据对应的数据流，其中，目标旧原始数据对应的数据流是基于所述目标旧原始数据的标识信息获取的；
对所述目标旧原始数据对应的数据流和新原始数据对应的数据流分别进行数据处理，获取目标旧原始数据的处理结果和新原始数据的处理结果，并用目标旧原始数据的处理结果更新所述异常处理结果。
8.根据权利要求7所述的方法，其特征在于，在所述对所述目标旧原始数据对应的数据流和新原始数据对应的数据流分别进行数据处理之前，还包括：
为所述目标旧原始数据生成旧数据标签；
所述对所述目标旧原始数据对应的数据流和新原始数据对应的数据流分别进行数据处理，获取目标旧原始数据的处理结果和新原始数据的处理结果，包括：
针对数据流中的每个数据，判断该数据是否具有所述旧数据标签；
当该数据具有所述旧数据标签时，确定该数据属于目标旧原始数据对应的数据流，并对所述目标旧原始数据对应的数据流进行数据处理，得到目标旧原始数据的处理结果；
当该数据不具有所述旧数据标签时，确定该数据属于新原始数据对应的数据流，并对所述新原始数据对应的数据流进行数据处理，得到新原始数据的处理结果。
9.根据权利要求7所述的方法，其特征在于，在所述用目标旧原始数据的处理结果更新所述异常处理结果之后，还包括：
存储更新后的处理结果。
10.根据权利要求7所述的方法，其特征在于，所述目标旧原始数据的标识信息为时间戳，所述时间戳表示所述目标旧原始数据生成的时刻。
11.根据权利要求7所述的方法，其特征在于，所述目标旧原始数据的标识信息为故障时间段；
所述当所述处理结果为异常处理结果时，获取目标旧原始数据的标识信息，包括：
当所述处理结果为异常处理结果时，获取所述处理结果为异常处理结果的时间段，作为故障时间段；
所述获取所述目标旧原始数据对应的数据流，包括：
获取时间戳位于故障时间段内的旧原始数据，作为目标旧原始数据对应的数据流。
12.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求7-11任一所述的方法步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求7-11任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010339111.0A CN111552566B (zh) | 2020-04-26 | 2020-04-26 | 一种数据处理系统、方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010339111.0A CN111552566B (zh) | 2020-04-26 | 2020-04-26 | 一种数据处理系统、方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111552566A true CN111552566A (zh) | 2020-08-18 |
| CN111552566B CN111552566B (zh) | 2024-04-23 |
Family
ID=72008262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010339111.0A Active CN111552566B (zh) | 2020-04-26 | 2020-04-26 | 一种数据处理系统、方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111552566B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113360723A (zh) * | 2021-07-08 | 2021-09-07 | 北京智思迪科技有限公司 | 一种数据采集方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06149347A (ja) * | 1992-11-05 | 1994-05-27 | Kawasaki Steel Corp | 設備の異常再現装置 |
| CN106202535A (zh) * | 2016-07-25 | 2016-12-07 | 浪潮(北京)电子信息产业有限公司 | 一种rrd数据库的检测的方法及系统 |
| CN108197222A (zh) * | 2017-12-28 | 2018-06-22 | 北京中关村科金技术有限公司 | 一种异常流数据的修复方法、系统及相关装置 |
| CN108763291A (zh) * | 2018-04-16 | 2018-11-06 | 北京奇艺世纪科技有限公司 | 一种数据管理方法、装置及电子设备 |
| CN110120899A (zh) * | 2019-05-10 | 2019-08-13 | 北京百度网讯科技有限公司 | 一种数据流的检测方法、装置、电子设备及存储介质 |
| CN110597651A (zh) * | 2019-09-18 | 2019-12-20 | 深圳前海微众银行股份有限公司 | 业务异常排查方法、装置、设备及计算机可读存储介质 |
-
2020
- 2020-04-26 CN CN202010339111.0A patent/CN111552566B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06149347A (ja) * | 1992-11-05 | 1994-05-27 | Kawasaki Steel Corp | 設備の異常再現装置 |
| CN106202535A (zh) * | 2016-07-25 | 2016-12-07 | 浪潮(北京)电子信息产业有限公司 | 一种rrd数据库的检测的方法及系统 |
| CN108197222A (zh) * | 2017-12-28 | 2018-06-22 | 北京中关村科金技术有限公司 | 一种异常流数据的修复方法、系统及相关装置 |
| CN108763291A (zh) * | 2018-04-16 | 2018-11-06 | 北京奇艺世纪科技有限公司 | 一种数据管理方法、装置及电子设备 |
| CN110120899A (zh) * | 2019-05-10 | 2019-08-13 | 北京百度网讯科技有限公司 | 一种数据流的检测方法、装置、电子设备及存储介质 |
| CN110597651A (zh) * | 2019-09-18 | 2019-12-20 | 深圳前海微众银行股份有限公司 | 业务异常排查方法、装置、设备及计算机可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113360723A (zh) * | 2021-07-08 | 2021-09-07 | 北京智思迪科技有限公司 | 一种数据采集方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111552566B (zh) | 2024-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10394693B2 (en) | Quantization of data streams of instrumented software | |
| US11650908B1 (en) | Processing data streams received from instrumented software in real time using incremental-decremental implementation of the KPSS stationarity statistic | |
| US20140136693A1 (en) | Method and system for browser based, non-intrusive measuring of end-user perceived performance of individual third party resource requests | |
| CN112380473B (zh) | 数据采集与同步方法、装置、设备及存储介质 | |
| CN110647447B (zh) | 用于分布式系统的异常实例检测方法、装置、设备和介质 | |
| US20180285184A1 (en) | Apparatus, system, and method for analyzing logs | |
| US20130263156A1 (en) | Operation log collection method and device | |
| CN112437148B (zh) | 业务请求的处理方法、装置、业务服务器及系统 | |
| US8374320B2 (en) | Environment information transmission method, service controlling system, and computer product | |
| CN114090366A (zh) | 一种监控数据的方法、装置和系统 | |
| US20220004579A1 (en) | Streaming method for the creation of multifaceted statistical distributions | |
| CN111552566B (zh) | 一种数据处理系统、方法、电子设备及存储介质 | |
| US7752303B2 (en) | Data reporting using distribution estimation | |
| CN113342608A (zh) | 流式计算引擎任务的监控方法及装置 | |
| CN117472282A (zh) | 基于分布式存储系统的序列号生成方法、装置及电子设备 | |
| CN110996142B (zh) | 视频召回方法及装置、电子设备及存储介质 | |
| US9645877B2 (en) | Monitoring apparatus, monitoring method, and recording medium | |
| CN112054934B (zh) | 一种协议检测方法、装置及电子设备 | |
| CN110955587A (zh) | 一种待更换设备确定方法及装置 | |
| CN115083030A (zh) | 一种业务巡检方法、装置及电子设备 | |
| CN114996080A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN110113187B (zh) | 一种配置更新方法、装置、配置服务器及配置系统 | |
| CN112087331A (zh) | 基于大数据的告警管理系统及方法 | |
| CN113763023B (zh) | 用户识别的方法、装置、电子设备和存储介质 | |
| CN113504881B (zh) | 热点数据的处理方法、客户端、目标计算设备及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |