CN111198874B - 数据处理方法、装置、系统和计算机可读存储介质 - Google Patents
数据处理方法、装置、系统和计算机可读存储介质 Download PDFInfo
- Publication number
- CN111198874B CN111198874B CN201811362815.9A CN201811362815A CN111198874B CN 111198874 B CN111198874 B CN 111198874B CN 201811362815 A CN201811362815 A CN 201811362815A CN 111198874 B CN111198874 B CN 111198874B
- Authority
- CN
- China
- Prior art keywords
- data
- current
- queue
- target
- equal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Abstract
本公开涉及一种数据处理方法、装置、系统和计算机可读存储介质，涉及数据处理技术领域。该方法包括：在数据队列中确定当前数据；判断当前数据及其相邻数据是否大于等于第一阈值；将大于等于第一阈值的当前数据和大于等于第一阈值的所述相邻数据确定为目标数据；判断当前数据与相邻数据之间的变化速率是否大于等于第二阈值；在大于等于第二阈值的情况下，将当前数据和相邻数据确定为目标数据；根据目标数据在数据队列中的序号，在数据队列中确定下一个当前数据，重复上述步骤直到数据队列中所有的数据处理完毕；将目标数据存储在数据库系统中。本公开的技术方案能够降低数据的存储量，从而节约系统资源。
Description
技术领域
本公开涉及数据处理技术领域，特别涉及一种数据处理方法、数据处理装置、数据处理系统和计算机可读存储介质。
背景技术
大数据技术的发展使得数据的价值越来越重要，各种系统尽可能采集更多更全的数据。采集并存储各种服务器、智能设备的运行数据，对于分析设备异常和负荷有重要作用。
在相关技术中，采用定期(隔一段时间)记录设备的运行数据的方式存储数据。
发明内容
本公开的发明人发现上述相关技术中存在如下问题：设备的运行在大多时间内是平稳的，记录的数据基本上没有差异或差异很小，这样就记录了大量相同或差异很小的数据，它们对数据分析几乎没有意义，却需要大量的系统资源进行数据传输和保存，从而造成系统资源的浪费。
鉴于此，本公开提出了一种数据处理方法技术方案，能够节约系统资源。
根据本公开的一些实施例，提供了一种数据处理方法，包括：在数据队列中确定当前数据，所述当前数据为除了所述数据队列的第一个数据或最后一个数据的任一数据；判断所述当前数据及其相邻数据是否大于等于第一阈值；将大于等于所述第一阈值的所述当前数据和大于等于所述第一阈值的所述相邻数据确定为目标数据；判断所述当前数据与所述相邻数据之间的变化速率是否大于等于第二阈值；在大于等于所述第二阈值的情况下，将所述当前数据和所述相邻数据确定为目标数据；根据所述目标数据在所述数据队列中的序号，在所述数据队列中确定下一个当前数据，重复上述步骤直到所述数据队列中所有的数据处理完毕；将所述目标数据存储在数据库系统中。
在一些实施例中，所述的数据处理方法，还包括：所述相邻数据为所述当前数据的前一数据和后一数据；判断所述前一数据到所述当前数据的数据值变动方向与所述当前数据到所述后一数据的数据值变动方向是否相反；在相反的情况下，判断所述前一数据到所述当前数据的变动幅度以及所述当前数据到所述后一数据的变动幅度的和是否大于等于第三阈值；在大于等于的情况下，将所述当前数据和所述相邻数据确定为所述目标数据。
在一些实施例中，所述变化速率为所述当前数据与所述相邻数据差值的绝对值除以所述当前数据与所述相邻数据的采集间隔。
在一些实施例中，将各所述目标数据的序号中的最大值确定为目标序号；根据所述数据队列中序号为所述目标序号的数据，确定所述下一个当前数据。
在一些实施例中，所述的数据处理方法，还包括：将所述数据队列中除所述目标数据之外的其他数据确定为缓存数据进行缓存；将序号连续的缓存数据确定为缓存队列；在所述缓存队列的长度大于等于第四阈值的情况下，将所述缓存队列的第一个数据确定为所述目标数据，并将所述缓存队列中的最后一个数据确定为所述下一个当前数据。
根据本公开的另一些实施例，提供一种数据处理装置，包括：
判断单元，用于判断当前数据及其相邻数据是否大于等于第一阈值，所述当前数据为除了所述数据队列的第一个数据或最后一个数据的任一数据，判断所述当前数据与所述相邻数据之间的变化速率是否大于等于第二阈值；确定单元，用于在数据队列中确定所述当前数据，将大于等于所述第一阈值的所述当前数据和大于等于所述第一阈值的所述相邻数据确定为目标数据，在所述当前数据与所述相邻数据之间的变化速率大于等于所述第二阈值的情况下，将所述当前数据和所述相邻数据确定为目标数据，根据所述目标数据在所述数据队列中的序号，在所述数据队列中确定下一个当前数据，以便所述判断单元和所述确定单元重复上述步骤直到所述数据队列中所有的数据处理完毕；存储单元，用于将所述目标数据存储在数据库系统中。
在一些实施例中，所述相邻数据为所述当前数据的前一数据和后一数据；所述判断单元判断所述前一数据到所述当前数据的数据值变动方向与所述当前数据到所述后一数据的数据值变动方向是否相反，在相反的情况下，判断所述前一数据到所述当前数据的变动幅度以及所述当前数据到所述后一数据的变动幅度的和是否大于等于第三阈值；所述确定单元在大于等于的情况下，将所述当前数据和所述相邻数据确定为所述目标数据。
在一些实施例中，所述变化速率为所述当前数据与所述相邻数据差值的绝对值除以所述当前数据与所述相邻数据的采集间隔。
在一些实施例中，所述确定单元将各所述目标数据的序号中的最大值确定为目标序号，根据所述数据队列中序号为所述目标序号的数据，确定所述下一个当前数据。
在一些实施例中，确定单元将所述数据队列中除所述目标数据之外的其他数据确定为缓存数据进行缓存，将序号连续的缓存数据确定为缓存队列，在所述缓存队列的长度大于等于第四阈值的情况下，将所述缓存队列的第一个数据确定为所述目标数据，并将所述缓存队列中的最后一个数据确定为所述下一个当前数据。
根据本公开的又一些实施例，提供一种数据处理系统，包括：数据处理装置，用于执行上述任一个实施例中的数据处理方法；和数据库系统，用于通过数据传输网络接收所述数据处理装置发来的目标数据，并存储所述目标数据。
根据本公开的又一些实施例，提供一种数据处理装置，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行上述任一个实施例中的数据处理方法。
根据本公开的再一些实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的数据处理方法。
在上述实施例中，将数值较大或变化较剧烈的数据作为目标数据进行存储，而不是将所有数据均作无差别的存储处理，这样可以降低数据的存储量，从而节约系统资源。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1示出本公开的数据处理方法的一些实施例的流程图；
图2示出本公开的数据处理方法的另一些实施例的流程图；
图3示出本公开的数据处理方法的又一些实施例的流程图；
图4示出本公开的数据处理装置的一些实施例的框图；
图5示出本公开的数据处理系统的一些实施例的框图；
图6示出本公开的数据处理装置的另一些实施例的框图；
图7示出本公开的数据处理装置的又一些实施例的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1示出本公开的数据处理方法的一些实施例的流程图。
如图1所示，该方法包括：步骤110，确定当前数据；步骤120，判断是否大于等于第一阈值；步骤130，判断是否大于等于第二阈值；步骤140，确定为目标数据；步骤150，不确定为目标数据；步骤160，确定下一个当前数据；步骤170，存储目标数据。
在步骤110中，在数据队列中确定当前数据，当前数据为除了数据队列的第一个数据或最后一个数据的任一数据。例如，数据队列由连续采集的三个或三个以上的数据组成。
在一些实施例中，相邻数据为当前数据的前一数据和后一数据。例如，v1、v2和v3是数据采集装置连续采集的三个数据。v1、v2和v3对应的采集时间分别为t1、t2和t3。可以确定v2为当前数据，v1和v3为v2的相邻数据。
在步骤120中，判断当前数据及其相邻数据是否大于等于第一阈值。在是的情况下，执行步骤140；在否的情况下，执行步骤150。
例如，可以根据需求和实际情况(如根据历史数据的均值、方差等统计信息)设置第一阈值v，v可以为正数。可以将绝对值超过v的数据视为异常数据，进而作为目标数据来存储。
在步骤130中，判断当前数据与相邻数据之间的变化速率是否大于等于第二阈值。在是的情况下，执行步骤140；在否的情况下，执行步骤150。例如，变化速率为当前数据与相邻数据差值的绝对值除以当前数据与所述相邻数据的采集间隔。
在一些实施例中，对于当前数据v2，与相邻数据v1的变化速率L1，2＝|v1-v2|/T，与相邻数据v3的变化速率L2，3＝|v2-v3|/T，T为数据采集间隔。
在步骤140中，将大于等于第一阈值的当前数据和大于等于第一阈值的相邻数据确定为目标数据。在变化速率大于等于第二阈值的情况下，将当前数据和相邻数据确定为目标数据。
在一些实施例中，v1、v2和v3中|v1|＞v、|v2|＞v，则v1、v2为目标数据。可以设置第一变量index1用于存储大于第一阈值的目标数据的序号中的最大值，例如，可以设置index1的初值为0，在v1、v2为目标数据的情况下index1＝2。
在一些实施例中，L为根据需要或实际情况设置的第二阈值。在L2，3＞L的情况下，可以认为v2到v3的变化速率较快，v2、v3为需要存储的目标数据。可以设置第二变量index2用于存储变化速率大于第二阈值的目标数据的序号中的最大值，例如，可以设置index2的初值为0，在v2、v3为目标数据的情况下index2＝3。
在步骤150中，将小于第一阈值的数据暂不确定为目标数据，或者将变化速率小于第二阈值的数据暂不确定为目标数据。例如，可以将这些数据缓存，或进行其他判断再确定这些数据是否为目标数据。
在一些实施例中，还可以通过图2中的实施例确定目标数据。
图2示出本公开的数据处理方法的另一些实施例的流程图。
如图2所示，相比于上述实施例，图2中的实施例还包括：步骤132，获取数值变动方向；步骤134，判断数值变动方向是否相反；步骤136，判断是否大于等于第三阈值。
在步骤132中，获取数值变动方向。例如，可以通过比较前一个数据与当前数据的差值的符号，以及当前数据与后一个数据的差值的符号来获取数据值变动方向。
在步骤134中，判断前一数据到当前数据的数据值变动方向与当前数据到后一数据的数据值变动方向是否相反。在是的情况下，执行步骤136；在否的情况下，执行步骤150。
在一些实施例中，可以通过比较v2-v1与v3-v2的符号是否相同来判断数据值变动方向是否相反。
在步骤136中，判断前一数据到当前数据的变动幅度以及当前数据到后一数据的变动幅度的和是否大于等于第三阈值。在是的情况下，执行步骤140；在否的情况下，执行步骤150。
在一些实施例中，可以通过比较|v3-v2|+|v2-v1|是否大于等于第三阈值Δv实现步骤136。
在步骤140中，满足步骤134和步骤136条件，说明v1、v2和v3之间的变化方向相反，且变化总量较大，即出现了数据值波动，在这种情况下，可以确定v1、v2和v3为需要存储的目标数据。
在一些实施例中，可以设置第三变量index3用于存储变动方向相反且变动幅度的和大于第三阈值的目标数据的序号中的最大值，例如，可以设置index3的初值为0，在v1、v2和v3为目标数据的情况下index3＝3。
在步骤150中，将不满足步骤134和步骤136的数据暂不确定为目标数据，可以根据其他判断方式(例如，图1中的步骤120、步骤130)确定是否为目标数据。步骤132-步骤136、步骤120、步骤130没有执行先后顺序。
在确定了目标数据的情况下，可以根据图1中的其他步骤继续处理。
在步骤160中，根据目标数据在数据队列中的序号，在数据队列中确定下一个当前数据，重复步骤直到数据队列中所有的数据处理完毕。
在一些实施例中，将各目标数据的序号中的最大值确定为目标序号，根据数据队列中序号为目标序号的数据，确定下一个当前数据。例如，目标序号index0＝max(index1，index2，index3)，则将数据队列中序号为index0+2的数据作为下一个当前数据，并重复执行上述任一实施例中的处理。
在一些实施例中，如果index0+1超过了数据队列当前的最大序号，则将新采集的数据作为下一个当前数据的前一数据。例如，数据队列中目前共有数据3个，index0＝2，则将当前的v3作为新的v1，将新采集的数据作为下一个当前数据v2；index0＝3，则将新采集的数据作为新的v1，将在新的v1后面采集的第一个数据作为下一个当前数据v2。
在步骤170中，将目标数据存储在数据库系统中。例如，根据预设的数据传输策略，将目标数据传输给数据存储平台。数据传输策略可以是多长时间传输一次目标数据、根据网络拥堵情况调整传输方式等。
在一些实施例中，如果长时间没有确定目标数据，可以通过图3中的实施例进行处理。
图3示出本公开的数据处理方法的又一些实施例的流程图。
如图3所示，相比于上述实施例，图3中的实施例还包括：步骤310，确定缓存数据；步骤320，确定缓存队列；步骤330，确定目标数据和下一个当前数据。
在步骤310中，将数据队列中除目标数据之外的其他数据确定为缓存数据进行缓存。缓存数据不满足上述实施例中的判断条件，一般为较为平稳的正常数据。这样，可以在缓存中进行对采集的数据的缓存计算，还可以在缓存区清理之前查看近期采集的数据。
在一些实施例中，目标序号index0＝0的情况下，证明v1、v2和v3都不是目标数据，可以将v1、v2和v3缓存起来。
在步骤320中，将序号连续的缓存数据确定为缓存队列。例如，数据队列中连续多个数据被确定为缓存数据，则这些数据组成缓存数据。
在步骤330中，在缓存队列的长度大于等于第四阈值的情况下，将缓存队列的第一个数据确定为目标数据，并将缓存队列中的最后一个数据确定为下一个当前数据。
例如，数据之间的采集间隔都为T，因此，缓存队列的长度可以用缓存队列的总体采集时间(即连续没有确定目标数据的时间)来表示。可以将第四阈值设置为时间值Tmax，缓存队列的总体采集时间大于Tmax说明长时间没有存储目标数据，这种情况下将缓存队列的第一个数据确定为目标数据进行存储。还可以将这种情况下的目标数据标注为正常数据。还可以将缓存队列中的最后一个数据确定为下一个当前数据，进行上述任一实施例中的处理。
在上述实施例中，将数值较大或变化较剧烈的数据作为目标数据进行存储，而不是将所有数据均作无差别的存储处理，这样可以降低数据的存储量，从而节约系统资源。
图4示出本公开的数据处理装置的一些实施例的框图。
如图4所示，数据处理装置4包括判断单元41、确定单元42和存储单元43。
确定单元42在数据队列中确定当前数据。当前数据为除了数据队列的第一个数据或最后一个数据的任一数据。
判断单元41判断当前数据及其相邻数据是否大于等于第一阈值，判断当前数据与相邻数据之间的变化速率是否大于等于第二阈值。例如，变化速率为当前数据与相邻数据差值的绝对值除以当前数据与相邻数据的采集间隔。
确定单元42将大于等于第一阈值的当前数据和大于等于第一阈值的相邻数据确定为目标数据。在当前数据与相邻数据之间的变化速率大于等于第二阈值的情况下，确定单元42将当前数据和相邻数据确定为目标数据。
确定单元42根据目标数据在数据队列中的序号，在数据队列中确定下一个当前数据，以便判断单元41和确定单元42重复上述步骤直到数据队列中所有的数据处理完毕。存储单元43将目标数据存储在数据库系统中。
在一些实施例中，确定单元42将各目标数据的序号中的最大值确定为目标序号，将数据队列中序号为目标序号加2的数据确定为下一个当前数据。
在一些实施例中，确定单元42将数据队列中除目标数据之外的其他数据确定为缓存数据进行缓存，将序号连续的缓存数据确定为缓存队列，在缓存队列的长度大于等于第四阈值的情况下，将缓存队列的第一个数据确定为目标数据，并将缓存队列中的最后一个数据确定为所述下一个当前数据。
在一些实施例中，相邻数据为当前数据的前一数据和后一数据。
判断单元41判断前一数据到当前数据的数据值变动方向与当前数据到后一数据的数据值变动方向是否相反。在相反的情况下，判断单元41判断前一数据到当前数据的变动幅度以及当前数据到后一数据的变动幅度的和是否大于等于第三阈值。在大于等于的情况下，确定单元42将当前数据和相邻数据确定为目标数据。
在一些实施例中，确定单元43将数据队列中除目标数据之外的其他数据确定为缓存数据进行缓存，将序号连续的缓存数据确定为缓存队列，在缓存队列的长度大于等于第四阈值的情况下，将缓存队列的第一个数据确定为目标数据，并将缓存队列中的最后一个数据确定为下一个当前数据。
在上述实施例中，将数值较大或变化较剧烈的数据作为目标数据进行存储，而不是将所有数据均作无差别的存储处理，这样可以降低数据的存储量，从而节约系统资源。
图5示出本公开的数据处理系统的一些实施例的框图。
如图5所示，数据处理系统5包括数据处理装置51和数据库系统52。
数据处理装置51执行上述任一实施例中的数据处理方法。数据库系统52通过数据传输网络接收数据处理装置发来的目标数据，并存储目标数据。
图6示出本公开的数据处理装置的另一些实施例的框图。
如图6所示，该实施例的数据处理装置6包括：存储器61以及耦接至该存储器61的处理器62，处理器62被配置为基于存储在存储器61中的指令，执行本公开中任意一个实施例中的数据处理方法。
其中，存储器61例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。
图7示出本公开的数据处理装置的又一些实施例的框图。
如图7所示，该实施例的数据处理装置7包括：存储器710以及耦接至该存储器710的处理器720，处理器720被配置为基于存储在存储器710中的指令，执行前述任意一个实施例中的数据处理方法。
存储器710例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
数据处理装置7还可以包括输入输出接口730、网络接口740、存储接口750等。这些接口730、740、750以及存储器710和处理器720之间例如可以通过总线760连接。其中，输入输出接口730为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口740为各种联网设备提供连接接口。存储接口750为SD卡、U盘等外置存储设备提供连接接口。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
至此，已经详细描述了根据本公开的数据处理方法、数据处理装置、数据处理系统和计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。
Claims (11)
1.一种数据处理方法，包括：
在数据队列中确定当前数据，所述当前数据为除了所述数据队列的第一个数据或最后一个数据的任一数据；
判断所述当前数据及其相邻数据是否大于等于第一阈值，所述相邻数据为所述当前数据的前一数据和后一数据；
将大于等于所述第一阈值的所述当前数据和大于等于所述第一阈值的所述相邻数据确定为目标数据；
判断所述当前数据与所述相邻数据之间的变化速率是否大于等于第二阈值，所述变化速率为所述当前数据与所述相邻数据差值的绝对值除以所述当前数据与所述相邻数据的采集间隔；
在大于等于所述第二阈值的情况下，将所述当前数据和所述相邻数据确定为目标数据；
根据所述目标数据在所述数据队列中的序号，在所述数据队列中确定下一个当前数据，重复上述步骤直到所述数据队列中所有的数据处理完毕；
将所述目标数据存储在数据库系统中。
2.根据权利要求1所述的数据处理方法，还包括：
判断所述前一数据到所述当前数据的数据值变动方向与所述当前数据到所述后一数据的数据值变动方向是否相反；
在相反的情况下，判断所述前一数据到所述当前数据的变动幅度以及所述当前数据到所述后一数据的变动幅度的和是否大于等于第三阈值；
在大于等于的情况下，将所述当前数据和所述相邻数据确定为所述目标数据。
3.根据权利要求1所述的数据处理方法，其中，所述在所述数据队列中确定下一个当前数据包括：
将各所述目标数据的序号中的最大值确定为目标序号；
根据所述数据队列中序号为所述目标序号的数据，确定所述下一个当前数据。
4.根据权利要求1-3任一项所述的数据处理方法，还包括：
将所述数据队列中除所述目标数据之外的其他数据确定为缓存数据进行缓存；
将序号连续的缓存数据确定为缓存队列；
在所述缓存队列的长度大于等于第四阈值的情况下，将所述缓存队列的第一个数据确定为所述目标数据，并将所述缓存队列中的最后一个数据确定为所述下一个当前数据。
5.一种数据处理装置，包括：
判断单元，用于判断当前数据及其相邻数据是否大于等于第一阈值，所述当前数据为除了数据队列的第一个数据或最后一个数据的任一数据，所述相邻数据为所述当前数据的前一数据和后一数据，判断所述当前数据与所述相邻数据之间的变化速率是否大于等于第二阈值，所述变化速率为所述当前数据与所述相邻数据差值的绝对值除以所述当前数据与所述相邻数据的采集间隔；
确定单元，用于在数据队列中确定所述当前数据，将大于等于所述第一阈值的所述当前数据和大于等于所述第一阈值的所述相邻数据确定为目标数据，在所述当前数据与所述相邻数据之间的变化速率大于等于所述第二阈值的情况下，将所述当前数据和所述相邻数据确定为目标数据，根据所述目标数据在所述数据队列中的序号，在所述数据队列中确定下一个当前数据，以便所述判断单元和所述确定单元重复上述步骤直到所述数据队列中所有的数据处理完毕；
存储单元，用于将所述目标数据存储在数据库系统中。
6.根据权利要求5所述的数据处理装置，其中，
所述判断单元判断所述前一数据到所述当前数据的数据值变动方向与所述当前数据到所述后一数据的数据值变动方向是否相反，在相反的情况下，判断所述前一数据到所述当前数据的变动幅度以及所述当前数据到所述后一数据的变动幅度的和是否大于等于第三阈值；
所述确定单元在大于等于的情况下，将所述当前数据和所述相邻数据确定为所述目标数据。
7.根据权利要求5所述的数据处理装置，其中，
所述确定单元将各所述目标数据的序号中的最大值确定为目标序号，根据所述数据队列中序号为所述目标序号的数据，确定所述下一个当前数据。
8.根据权利要求5-7任一项所述的数据处理装置，其中，
确定单元将所述数据队列中除所述目标数据之外的其他数据确定为缓存数据进行缓存，将序号连续的缓存数据确定为缓存队列，在所述缓存队列的长度大于等于第四阈值的情况下，将所述缓存队列的第一个数据确定为所述目标数据，并将所述缓存队列中的最后一个数据确定为所述下一个当前数据。
9.一种数据处理系统，包括：
数据处理装置，用于执行权利要求1-4任一项所述的数据处理方法；和
数据库系统，用于通过数据传输网络接收所述数据处理装置发来的目标数据，并存储所述目标数据。
10.一种数据处理装置，包括：
存储器；和
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行权利要求1-4任一项所述的数据处理方法。
11.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-4任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811362815.9A CN111198874B (zh) | 2018-11-16 | 2018-11-16 | 数据处理方法、装置、系统和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811362815.9A CN111198874B (zh) | 2018-11-16 | 2018-11-16 | 数据处理方法、装置、系统和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111198874A CN111198874A (zh) | 2020-05-26 |
| CN111198874B true CN111198874B (zh) | 2023-07-04 |
Family
ID=70743298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811362815.9A Active CN111198874B (zh) | 2018-11-16 | 2018-11-16 | 数据处理方法、装置、系统和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111198874B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0572366A1 (en) * | 1992-05-27 | 1993-12-01 | Telefonaktiebolaget Lm Ericsson | A method and an arrangement relating to memory write-in and read-out |
| CN105630877A (zh) * | 2015-12-17 | 2016-06-01 | 北京奇虎科技有限公司 | 文件清理方法及系统 |
| CN106372181A (zh) * | 2016-08-31 | 2017-02-01 | 东北大学 | 一种基于工业过程的大数据压缩方法 |
| CN106469027A (zh) * | 2016-09-13 | 2017-03-01 | 深圳市鼎阳科技有限公司 | 一种有限存储空间内存储历史趋势数据的方法及装置 |
| JP2017212617A (ja) * | 2016-05-26 | 2017-11-30 | 株式会社日立製作所 | ネットワーク装置、キュー制御方法、及び計算機システム |
| CN107491272A (zh) * | 2017-09-29 | 2017-12-19 | 郑州云海信息技术有限公司 | 一种数据迁移的方法、装置、设备及存储介质 |
| CN107608630A (zh) * | 2017-09-07 | 2018-01-19 | 四川九洲北斗导航与位置服务有限公司 | 数据读写方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6789163B2 (en) * | 2001-09-17 | 2004-09-07 | Seagate Technology Llc | Optimizing data transfer performance through partial write command purging in a disc drive |
| US9141295B2 (en) * | 2010-05-06 | 2015-09-22 | International Business Machines Corporation | Load balancing of data reads in storage environments |
| US9195611B2 (en) * | 2012-06-04 | 2015-11-24 | Google Inc. | Efficiently updating and deleting data in a data storage system |
-
2018
- 2018-11-16 CN CN201811362815.9A patent/CN111198874B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0572366A1 (en) * | 1992-05-27 | 1993-12-01 | Telefonaktiebolaget Lm Ericsson | A method and an arrangement relating to memory write-in and read-out |
| CN105630877A (zh) * | 2015-12-17 | 2016-06-01 | 北京奇虎科技有限公司 | 文件清理方法及系统 |
| JP2017212617A (ja) * | 2016-05-26 | 2017-11-30 | 株式会社日立製作所 | ネットワーク装置、キュー制御方法、及び計算機システム |
| CN106372181A (zh) * | 2016-08-31 | 2017-02-01 | 东北大学 | 一种基于工业过程的大数据压缩方法 |
| CN106469027A (zh) * | 2016-09-13 | 2017-03-01 | 深圳市鼎阳科技有限公司 | 一种有限存储空间内存储历史趋势数据的方法及装置 |
| CN107608630A (zh) * | 2017-09-07 | 2018-01-19 | 四川九洲北斗导航与位置服务有限公司 | 数据读写方法及装置 |
| CN107491272A (zh) * | 2017-09-29 | 2017-12-19 | 郑州云海信息技术有限公司 | 一种数据迁移的方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王俊昌 ; 王振 ; 付雄 ; .基于无锁数据结构的FIFO队列算法.计算机工程.2018,(第08期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111198874A (zh) | 2020-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5218390B2 (ja) | 自律制御サーバ、仮想サーバの制御方法及びプログラム | |
| US8560667B2 (en) | Analysis method and apparatus | |
| US10255114B2 (en) | Abnormality detection apparatus, control method, and program | |
| US20150341239A1 (en) | Identifying Problems In A Storage Area Network | |
| JP6351081B2 (ja) | ディスク容量の予測方法、装置、デバイス及び非発揮性コンピューター記憶媒体 | |
| US7698417B2 (en) | Optimized performance counter monitoring | |
| CN107656807B (zh) | 一种虚拟资源的自动弹性伸缩方法及装置 | |
| JP5699715B2 (ja) | データ保存装置、データ保存方法 | |
| US20090265297A1 (en) | data reduction method to adaptively scale down bandwidth and computation for classification problems | |
| CN111917882B (zh) | 文件缓存方法、装置及电子设备 | |
| CN112449696A (zh) | 时序数据诊断装置、追加学习方法及程序 | |
| CN113222118B (zh) | 神经网络训练方法、装置、电子设备、介质和程序产品 | |
| WO2020172852A1 (en) | Computing resource scheduling method, scheduler, internet of things system, and computer readable medium | |
| CN109413694B (zh) | 一种基于内容流行度预测的小小区缓存方法及装置 | |
| CN115269108A (zh) | 一种数据处理方法、装置及设备 | |
| JP6368798B2 (ja) | 監視装置、監視システムおよび監視方法 | |
| CN111046091A (zh) | 数据交换系统的运行方法、装置及设备 | |
| CN104424361A (zh) | 自动定义热存储和大工作负载 | |
| CN111198874B (zh) | 数据处理方法、装置、系统和计算机可读存储介质 | |
| CN117370058A (zh) | 一种业务处理方法、装置、电子设备及计算机可读介质 | |
| CN116841753A (zh) | 一种流处理和批处理的切换方法及切换装置 | |
| CN116225696A (zh) | 用于流处理系统的算子并发度调优方法及装置 | |
| CN115883357A (zh) | 一种软负载服务器处理方法、装置、电子设备及介质 | |
| CN114760190A (zh) | 一种面向服务的融合网络性能异常检测方法 | |
| CN106648867B (zh) | 基于云数据中心的智能平滑重启方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200526 Assignee: Tianyiyun Technology Co.,Ltd. Assignor: CHINA TELECOM Corp.,Ltd. Contract record no.: X2024110000020 Denomination of invention: Data processing methods, devices, systems, and computer-readable storage media Granted publication date: 20230704 License type: Common License Record date: 20240315 |