CN110704492A - 一种数据采集方法、装置和计算机可读存储介质 - Google Patents
一种数据采集方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110704492A CN110704492A CN201810662990.3A CN201810662990A CN110704492A CN 110704492 A CN110704492 A CN 110704492A CN 201810662990 A CN201810662990 A CN 201810662990A CN 110704492 A CN110704492 A CN 110704492A
- Authority
- CN
- China
- Prior art keywords
- data
- timer
- task information
- data acquisition
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 84
- 238000004806 packaging method and process Methods 0.000 claims description 35
- 235000019580 granularity Nutrition 0.000 abstract description 32
- 238000012423 maintenance Methods 0.000 abstract description 21
- 230000009977 dual effect Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 239000012634 fragment Substances 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000013480 data collection Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/62—Establishing a time schedule for servicing the requests
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例公开了一种数据采集方法，包括：接收数据采集任务，所述数据采集任务携带需要采集的任务信息；当所述任务信息满足预设规则时，根据所述任务信息确定启动的定时器类型；根据定时器类型对应的定时器和预设索引标识进行数据读取；将读取的数据根据所述任务信息进行处理，发送处理后的数据至接收端。本发明实施例还公开了一种数据采集装置和计算机可读存储介质，可以解决采集粒度不同产生的数据不一致的问题，帮助运维人员高效获取可靠的运维数据。
Description
技术领域
本发明涉及无线系统领域的无线运维数据采集技术，尤其涉及一种数据采集方法、装置和计算机可读存储介质。
背景技术
在4G、5G无线系统中，运维人员通过观测关键性能指标(KPI，Key PerformanceIndicator)、最小化路测(MDT，Minimization of Drive-Test)等数据的特征，判断系统是否正常运行，而安全高效地采集这些数据、并保证数据的一致性，直接影响对于观测结果的判断。随着5G网络的到来，网络架构更加复杂，导致运维复杂度也进一步提高，运维智能化成为趋势，这就更依赖于大量监测数据的采集。
从无线侧采集周期性数据的相关技术存在一定的局限性，如多任务采集周期存在差异，会导致数据在多任务视图下失去一致性。例如KPI的采集粒度可能是100ms或者5000ms等，MDT则可能采用120ms、240ms、480ms、640ms、1024ms、2048ms、5120ms、10240ms等等，简单的实现方法是，建立不同粒度的任务，各自独立采集和上报所需数据，但这样做的弊端也很明显，同一时刻数据在KPI和MDT任务中，可能会因为采集粒度不同而产生差异，且随着时间累积差异会放大，最终同一时刻采集的数据在KPI、MDT任务中产生不一致，这会严重误导运维人员的判断。
发明内容
为解决现有存在的技术问题，本发明实施例提供一种数据采集方法、装置和计算机可读存储介质，可以解决采集粒度不同产生的数据不一致的问题，帮助运维人员高效获取可靠的运维数据。
为达到上述目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供一种数据采集方法，包括：
接收数据采集任务，所述数据采集任务携带需要采集的任务信息；
当所述任务信息满足预设规则时，根据所述任务信息确定启动的定时器类型；
根据定时器类型对应的定时器和预设索引标识进行数据读取；
将读取的数据根据所述任务信息进行处理，发送处理后的数据至接收端。
可选地，所述任务信息包括：同源数据标识、同源数据加工规则、同源数据上报的目标地址和同源数据采集周期。
可选地，所述根据所述任务信息确定启动的定时器类型，包括：
根据所述同源数据采集周期，确定启动的定时器时长类型；其中，定时器时长类型对应的定时器包括：基本定时器和偏移定时器，所述偏移定时器的时长小于所述基本定时器的时长。
可选地，所述根据定时器类型对应的定时器和预设索引标识进行数据读取，包括：
启动目标定时器读取数据，所述目标定时器为所述定时器时长类型对应的定时器；
在读取数据的过程中，每次所述目标定时器超时后，翻转预设索引标识，将数据写入翻转后预设索引标识对应的缓存中，所述目标定时器读取当前翻转后预设索引标识对应的缓存中的数据。
可选地，所述根据定时器类型对应的定时器和预设索引标识进行数据读取之后，包括：
标识读取数据的时长。
可选地，在所述接收数据采集任务之后，还包括：
当所述任务信息满足预设规则时，存储所述任务信息，根据所述同源数据标识和所述同源数据加工规则启动与加工规则对应的处理器。
可选地，所述将读取的数据根据所述任务信息进行处理，发送处理后的数据至接收端，包括：
根据所述同源数据加工规则和所述读取数据的时长，通过所述与加工规则对应的处理器对所述读取数据进行组装和打包，发送组装和打包的数据至所述同源数据上报的目标地址指示的接收端。
本发明实施例提供一种数据采集装置，包括：任务模块，双定时器模块，双缓存模块，数据加工打包模块；其中，
所述任务模块，用于接收数据采集任务，所述数据采集任务携带需要采集的任务信息；
所述双定时器模块，用于当所述任务信息满足预设规则时，根据所述任务信息确定启动的定时器类型；还用于根据定时器类型对应的定时器和所述双缓存模块中设置的预设索引标识从所述双缓存模块读取数据；
所述双缓存模块，用于缓存写入的数据；
所述数据加工打包模块，用于将读取的数据根据所述任务信息进行处理，发送处理后的数据至接收端。
可选地，所述任务信息包括：同源数据标识、同源数据加工规则、同源数据上报的目标地址和同源数据采集周期。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一项所述的数据采集方法的步骤。
本发明实施例提供了一种数据采集方法、装置和计算机可读存储介质，接收数据采集任务，所述数据采集任务携带需要采集的任务信息；当所述任务信息满足预设规则时，根据所述任务信息确定启动的定时器类型；根据定时器类型对应的定时器和预设索引标识进行数据读取；将读取的数据根据所述任务信息进行处理，发送处理后的数据至接收端。本发明实施例提供的数据采集方法、装置和计算机可读存储介质，可以根据任务信息选择启动的定时器的类型，并根据选择的定时器和预设索引标识读取数据，从而保证读取的数据是连续的时间片段，即读取的数据在同一时间轴，保证了数据的同源性，从而帮助运维人员高效获取可靠的运维数据。
附图说明
在附图(其不一定是按比例绘制的)中，相似的附图标记可在不同的视图中描述相似的部件。具有不同字母后缀的相似附图标记可表示相似部件的不同示例。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。
图1为本发明实施例提供的数据采集方法流程示意图一；
图2为本发明实施例提供的数据采集装置结构示例图；
图3为本发明实施例提供的数据采集方法流程示意图二；
图4为本发明实施例提供的数据采集方法流程示意图三；
图5为本发明实施例提供的数据采集方法流程示意图四；
图6为本发明实施例提供的数据采集装置结构示意图一；
图7为本发明实施例提供的数据采集装置结构示意图二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例提供一种数据采集方法，如图1所示，该方法可以包括：
步骤101、接收数据采集任务，所述数据采集任务携带需要采集的任务信息。
本发明实施例提供的方法应用于同源机制，同源机制的特性为：不同任务的加工规则使用的数据来源只有一个位置(双缓存)且只有一份。本发明实施例提供的方法可以通过多个不同时间粒度采数任务(如KPI、MDT等)，采集同源数据(即相同时刻、相同存储位置的数据)，并确保同源数据在不同的任务视图中的一致性。
本发明实施例提供的数据采集方法的执行主体为数据采集装置，即数据采集装置接收数据采集任务。如图2所示，该数据采集装置可以包括：任务模块，双定时器模块，双缓存模块，数据加工打包模块。
具体地，数据采集装置初始化阶段，各模块完成初始化工作。任务模块接收来自网管或者第三方系统的数据采集任务，解析采集任务获得任务信息，其中，任务信息包含但不限于：需要采集的同源数据标识、同源数据加工规则、同源数据上报的目标地址、同源数据采集周期等，判断任务信息中是否符合预设规则，即判断同源数据标识、同源数据加工规则、同源数据上报的目标地址、同源数据采集周期等是否符合预设规则，这里预先设置了判断任务信息的规则，当判断任务信息符合预设规则时，任务模块将任务信息分发给双定时器模块与数据加工打包模块。
进一步地，在所述接收数据采集任务之后，还包括：
当所述任务信息满足预设规则时，存储所述任务信息，根据所述同源数据标识和所述同源数据加工规则启动与加工规则对应的处理器。
具体地，数据采集装置中的数据加工打包模块保存收到的任务信息，根据其中的同源数据标识和加工规则，启动对应的规则处理器。
步骤102、当所述任务信息满足预设规则时，根据所述任务信息确定启动的定时器类型。
具体地，数据采集装置中的双定时器模块根据任务信息中的同源数据采集周期，决策需要启动的定时器类型，按照此定时器类型的定时器操作双缓存模块。这里，确定的定时器类型是指定时器时长类型，例如，1000ms定时器、4ms定时器等。
步骤103、根据定时器类型对应的定时器和预设索引标识进行数据读取。
具体地，数据采集装置启动目标定时器读取数据，所述目标定时器为定时器时长类型对应的定时器；在读取数据的过程中，每次所述目标定时器超时后，翻转预设索引标识，将数据写入翻转后预设索引标识对应的缓存中，所述目标定时器读取当前翻转后预设索引标识对应的缓存中的数据。
其中，双定时器包括：基本定时器(时长设为t1)和偏移定时器(时长设为t2)，根据任务信息中的同源数据采集周期决策启动两者的组合还是单独一个。偏移定时器在基本定时器超时的基础上产生时间偏移，且该时间小于基本定时器的时长，即t2<t1。双缓存模块中设有索引标识，使得读写互斥操作，该索引标识的取值范围可以为[0,1]，该索引标识写入方当前要操作的缓存。数据读取方(即双定时器模块)负责翻转该索引标识，即翻转内存；数据写入方根据当前的索引标识将数据写入对应的缓存。
在双定时器模块读取数据的过程中，每次定时器超时后，数据读取方都将先翻转索引标识，再读取另一块缓存中的数据，即读取当前翻转后索引标识对应的缓存中的数据，从而实现数据来源的一致性且读取的数据在同一时间轴上推移，而不是错位的数据区，保证了数据的同源性。
进一步地，所述根据定时器类型对应的定时器和预设索引标识进行数据读取之后，包括：
标识读取数据的时长。
具体地，双定时器模块中的双定时器都会操作双缓存，并取出数据，这就需要在每次发送出数据时，标识当前数据的时长，便于数据加工打包模块的组装。
步骤104、将读取的数据根据所述任务信息进行处理，发送处理后的数据至接收端。
具体地，数据取出后，双定时器模块将数据发送给数据加工打包模块。数据加工打包模块收到数据后，根据任务信息中的同源数据加工规则，完成数据的处理，组装及打包，将组装及打包后的数据发送给任务信息中同源数据上报的目标地址指定的接收端，即发送给同源数据上报的目标地址指定的数据存储服务器。
本发明实施例提供的方法应用于同源机制，不同任务的加工规则使用的数据来源只有一个位置(双缓存)且只有一份；双定时器在工作时，随时间推移，交替读取，保证读取的数据是连续的时间片段，一个完整的时间轴。
需要补充说明的是，本发明实施例提供数据采集方法中双定时器选取的原理论述具体如下：
根据背景技术中的叙述可知，数据采集的粒度分为多种，当多种粒度的任务同时下发时，如果启动多种定时器，分别适应各个粒度，这将增加复杂度，同时也增加了系统的开销。为了避免启动多种定时器增加开销的问题，本发明实施例提供的方法中双定时器取的原理为，根据多种粒度的规律确定启用的定时器，即这些粒度可以由若干个相同的较小粒度组合而成，从这些粒度中选取某些基本粒度，并由此拼装成完整的时间粒度。
例如，选取两个基本时间粒度，分别设为T1、T2，其中，T1<T2，T1、T2运行次数分别设为n1、n2。随着时间的推移，在某一时刻，两个粒度所运行的次数使用的时间相同，也就是发生了重叠，即满足：T1*n1＝T2*n2，若设T2的运行次数为n(n≦n2)，T1的运行次数为m(m≦n1)，则存在Δt＝(T2*n)％T1，m＝(T2*n)/T1。
其中，Δt与m存在一一对应的关系，其对应关系存在以下两种情况：
第一种情况：满足表达式T2＝T1+c，且c<T1、c<T2，(c为T1与T2的差值，下同)，若T1％c＝0，则Δt＝c*m；若T1％c≠0，则存在分段函数，可以概括为：Δt＝p+c*(m-q)，其中，p、q为常量，p≧0，0≦q≦m≦n1。
第二种情况：满足表达式T2＝n*T1+c，则等同于T2＝X+c，(X＝n*T1)，可以适用第一种情况。
在同源机制中有两个重要的特性就是：数据来源的一致性、获取的数据在同一时间轴。根据同一时间轴特性以及上述的表达式确定双定时器：1、选取较小的时间T1作为基本定时器；2、从Δt的公约数中选取偏移定时器。
当重叠时刻发生时，只需要基本定时器触发双缓存翻转(重叠时刻偏移定时器不工作)、偏移定时器复位(起到校准偏移定时器作用，避免n2次所累积的时间误差)。
根据上述结论，以具体例子说明上述基本定时器和偏移定时器的选取。示例性的，大于等于1000ms(1000ms、5000ms...)、1024ms(1024ms、2048ms、5120ms...)的采集粒度，都分别为1000ms和1024ms的若干倍。所以选取1000ms、1024ms作为数据采集的基本粒度，则上述等式即为1000*n1＝1024*n2，可以得出n1＝128，n2＝125。即在128s时间里，1024ms共发生了125次，而每次相对于整秒的偏移数Δt如下表1所示：
表1
从表中的毫秒偏移Δt观察可得，该偏移数为2、4、8的倍数。在选取定时器时，可以选取基本定时器和偏移定时器两种定时器的组合，只存在1000ms倍数的采集粒度时，只需启动基本定时器，其余情况需要同时启动两种定时器。偏移定时器在基本定时器的基础上进行对应的偏移。这里，例如选取基本定时器为1000ms，偏移定时器为4ms，由表达式Δt＝p+c*(m-q)可得出该情况下的Δt和m之间的关系：
本发明实施例提供的方法中即是根据上述双定时器的结论确定定时器类型。根据双定时器的工作原理，在一个时间轴上读取的数据不是来自于一个完整的基本定时器周期的数据。数据加工打包模块在收到数据后，需要完成数据的拼接。下面的表2中展示了双定时器同时工作时，接收到的数据时长。1000ms或者1024ms粒度的数据，均可以至多三个片段即可组成。
表2
| 1000 | 24 | 976 | 48 | ... | 984 | 16 | 1000 | 8 | ... | 976 | 24 | 1000 |
本发明实施例提供的数据采集方法，可以根据任务信息选择启动的定时器的类型，并根据选择的定时器和预设索引标识读取数据，从而保证读取的数据是连续的时间片段，即读取的数据在同一时间轴，保证了数据的同源性，从而帮助运维人员高效获取可靠的运维数据。
本发明实施例还提供一种数据采集方法，该方法主要描述通过网管或第三方系统下发采集5000ms粒度的KPI任务和5120ms粒度的MDT任务，完成数据采集、加工和上报。具体该数据采集方法的流程如图3所示，该方法的步骤包括：
步骤201、数据采集装置的任务模块收到网管或者第三方系统下发数据采集任务，任务模块将相关任务信息发送至数据加工打包模块。
其中，所述数据采集任务携带需要采集的任务信息，任务信息包含但不限于：同源数据标识、同源数据加工规则、同源数据上报的目标地址、同源数据采集周期等。
步骤202、数据采集装置的数据加工打包模块将任务信息存储，存储的任务信息包括：同源数据采集周期、同源数据加工规则、同源数据上报的目标地址等。
步骤203、数据采集装置的任务模块将任务信息发送至双定时器模块。
该步骤可以与步骤201同时执行，即任务模块将任务信息分发给双定时器模块与数据加工打包模块。
步骤204、数据采集装置的双定时器模块根据任务中的同源数据采集周期，决策启动定时器的类型。
本实施例中下发采集的是5000ms粒度的KPI任务和5120ms粒度的MDT任务，可以确定启动1000ms定时器和4ms定时器，即基本定时器为1000ms的定时器，偏移定时器为4ms定时器。
步骤205、基本定时器和偏移定时器各自超时后，数据采集装置的双定时器模块翻转双缓存模块中的预设索引标识。
这里，双缓存模块中预先设置了一个索引标识，该索引标识取值范围[0,1]，如果当前索引标识为0，定时器超时后，则翻转索引标识改为1，数据将写入索引1标识的缓存中，反之亦然，即当前索引标识为1，定时器超时后，则翻转索引标识改为0，数据将写入索引0标识的缓存中。
步骤206、数据采集装置的双定时器模块根据步骤205中更改的索引标识，读取另一块缓存中的数据，即读取更改后的索引标识的缓存中的数据。
具体地，如果当前索引标识为0，定时器超时后，则翻转索引标识改为1，数据将写入索引1标识的缓存中，双定时器模块则从索引1标识的缓存中读取数据。
步骤207、数据采集装置的双定时器模块将读取出的数据发送至数据加工打包模块。
其中，数据中标识了当前数据的读取的时长信息。根据双定时器模块取数规则，在同一时间轴上，取出的数据为片段数据，每一个片段都有对应的读取时长。在基本定时器(1000ms)周期内，数据可能被分为两个片段，参见上述表2。
步骤208、数据采集装置的数据加工打包模块根据接收到数据中的时长信息，组装成1000ms和1024ms的数据，以此基本粒度分别组成5000ms和5120ms的数据。根据任务信息中的同源数据加工规则处理数据，并将数据封装，发送至任务信息中携带的同源数据上报的目标地址指示的目的端。
本发明实施例提供的数据采集方法，可以根据任务信息选择启动的定时器的类型，并根据选择的定时器和预设索引标识读取数据，从而保证读取的数据是连续的时间片段，即读取的数据在同一时间轴，保证了数据的同源性，从而帮助运维人员高效获取可靠的运维数据。
本发明实施例还提供一种数据采集方法，该方法主要描述通过网管或第三方系统下发采集5000ms粒度的KPI任务，完成数据采集、加工和上报。体该数据采集方法的流程如图4所示，该方法的步骤包括：
步骤301、数据采集装置的任务模块收到网管或者第三方系统下发数据采集任务，任务模块将相关任务信息发送至数据加工打包模块。
其中，所述数据采集任务携带需要采集的任务信息，任务信息包含但不限于：同源数据标识、同源数据加工规则、同源数据上报的目标地址、同源数据采集周期等。
步骤302、数据采集装置的数据加工打包模块将任务信息存储，存储的任务信息包括：同源数据采集周期、同源数据加工规则、同源数据上报的目标地址等。
步骤303、数据采集装置的任务模块将任务信息发送至双定时器模块。
该步骤可以与步骤301同时执行，即任务模块将任务信息分发给双定时器模块与数据加工打包模块。
步骤304、数据采集装置的双定时器模块根据任务中的同源数据采集周期，判断需要启动的定时器类型。
本实施例中下发采集的是5000ms粒度的KPI任务，可以确定采用1000ms定时器，即基本定时器为1000ms的定时器。
步骤305、基本定时器超时后，数据采集装置的双定时器模块翻转双缓存模块中的预设索引标识。
这里，双缓存模块中预先设置了一个索引标识，该索引标识取值范围[0,1]，如果当前索引标识为0，定时器超时后，则翻转索引标识改为1，数据将写入索引1标识的缓存中，反之亦然。
步骤306、双定时器模块根据步骤305中更改的索引标识，读取另一块缓存中的数据，即读取更改后的索引标识的缓存中的数据。
步骤307、数据采集装置的双定时器模块将读取出的数据发送至数据加工打包模块。数据中标识了当前数据的读取的时长信息。根据双定时器模块取数规则，在同一时间轴上，取出的数据为片段数据，每一个片段都有对应的读取时长。因为此情况下，定时器只用一种规格，所以每次都是一个完整的时间片段，即时长为1000ms。
步骤308、数据采集装置的数据加工打包模块根据接收到数据中的时长信息，组装成1000ms的数据，以此基本粒度分别组成5000ms的数据。根据任务信息中的同源数据加工规则处理数据，并将数据封装，发送至任务信息中携带的同源数据上报的目标地址指示的目的端。
本发明实施例提供的数据采集方法，可以根据任务信息选择启动的定时器的类型，并根据选择的定时器和预设索引标识读取数据，从而保证读取的数据是连续的时间片段，即读取的数据在同一时间轴，保证了数据的同源性，从而帮助运维人员高效获取可靠的运维数据。
本发明实施例还提供一种数据采集方法，该方法主要描述通过网管或第三方系统下发采集5120ms粒度的MDT任务，完成数据采集、加工和上报。具体该数据采集方法的流程如图5所示，该方法的步骤包括：
步骤401、数据采集装置的任务模块收到网管或者第三方系统下发数据采集任务，任务模块将相关任务信息发送至数据加工打包模块。
其中，所述数据采集任务携带需要采集的任务信息，任务信息包含但不限于：同源数据标识、同源数据加工规则、同源数据上报的目标地址、同源数据采集周期等。
步骤402、数据采集装置的数据加工打包模块将任务信息存储。
这里，存储的任务信息包括：同源数据采集周期、同源数据加工规则、同源数据上报的目标地址等。
步骤403、数据采集装置的任务模块将任务信息发送至双定时器模块。
这里，该步骤可以与步骤401同时执行，
步骤404、定时器模块根据任务中的同源数据采集周期，决策需要启动的定时器类型。
本实施例中下发采集的是5120ms粒度的MDT任务，可以采用1000ms定时器和4ms定时器，即基本定时器为1000ms的定时器，偏移定时器为4ms定时器。
步骤405、基本定时器和偏移定时器超时后，数据采集装置的的双定时器模块翻转双缓存模块中的预设索引标识。
这里，双缓存模块中预先设置了一个索引标识，该索引标识取值范围[0,1]，如果当前索引标识为0，定时器超时后，则翻转索引标识改为1，数据将写入索引1标识的缓存中，反之亦然。
步骤406、数据采集装置的双定时器模块根据步骤405中更改的索引，读取另一块缓存中的数据，即读取更改后的索引标识的缓存中的数据。
步骤407、数据采集装置的双定时器模块将读取出的数据发送至数据加工、打包模块。
其中，数据中标识了当前数据的读取的时长信息。根据双定时器模块取数规则，在同一时间轴上，取出的数据为片段数据，每一个片段都有对应的读取时长。即在基本定时器(1000ms)周期内，数据可能被分为两个片段。
步骤408、数据采集装置的数据加工打包模块根据接收到数据中的时长信息，组装成1024ms的数据，以此基本粒度分别组成5120ms的数据。根据任务信息中的同源数据加工规则处理数据，并将数据封装，发送至任务信息中携带的同源数据上报的目标地址指示的目的端。
本发明实施例提供的数据采集方法，可以根据任务信息选择启动的定时器的类型，并根据选择的定时器和预设索引标识读取数据，从而保证读取的数据是连续的时间片段，即读取的数据在同一时间轴，保证了数据的同源性，从而帮助运维人员高效获取可靠的运维数据。
本发明实施例还提供一种数据采集装置50，如图6所示，包括：任务模块501，双定时器模块502，双缓存模块503，数据加工打包模块504；其中，
所述任务模块501，用于接收数据采集任务，所述数据采集任务携带需要采集的任务信息；
所述双定时器模块502，用于当所述任务信息满足预设规则时，根据所述任务信息确定启动的定时器类型；还用于根据定时器类型对应的定时器和所述双缓存模块中设置的预设索引标识从所述双缓存模块读取数据；
所述双缓存模块503，用于缓存写入的数据；
所述数据加工打包模块504，用于将读取的数据根据所述任务信息进行处理，发送处理后的数据至接收端。
可选地，所述任务信息包括：同源数据标识、同源数据加工规则、同源数据上报的目标地址和同源数据采集周期。
可选地，所述双定时器模块502，用于根据所述同源数据采集周期，确定启动的定时器时长类型；其中，定时器时长类型对应的定时器包括：基本定时器和偏移定时器，所述偏移定时器的时长小于所述基本定时器的时长。
可选地，所述双定时器模块502，用于启动所述目标定时器读取数据，所述目标为所述定时器时长类型对应的定时器；在读取数据的过程中，每次所述目标定时器超时后，翻转预设索引标识，以使得将数据写入翻转后预设索引标识对应的缓存中，所述目标定时器读取当前翻转后预设索引标识对应的缓存中的数据。
可选地，所述双定时器模块502，用于标识读取数据的时长。
可选地，所述数据加工打包模块504，还用于当所述任务信息满足预设规则时，存储所述任务信息，根据所述同源数据标识和所述同源数据加工规则启动与加工规则对应的处理器。
可选地，所述数据加工打包模块504，用于根据所述同源数据加工规则和所述读取数据的时长，通过所述与加工规则对应的处理器对所述读取数据进行组装和打包，发送组装和打包的数据至所述同源数据上报的目标地址指示的接收端。
具体的，本发明实施例提供的数据采集装置的理解可以参考数据采集方法实施例的说明，本发明实施例在此不再赘述。
本发明实施例提供的数据采集装置，可以根据任务信息选择启动的定时器的类型，并根据选择的定时器和预设索引标识读取数据，从而保证读取的数据是连续的时间片段，即读取的数据在同一时间轴，保证了数据的同源性，从而帮助运维人员高效获取可靠的运维数据。
本发明实施例还提供一种数据采集装置60，如图7所示，所述数据采集装置60包括处理器601和存储器602；其中，
所述存储器602，用于存储能够在所述处理器上运行的计算机程序；
所述处理器601，用于运行所述计算机程序时执行如上所述数据采集方法的步骤。
可以理解，存储器602可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器602旨在包括但不限于这些和任意其它适合类型的存储器。
上述本发明实施例揭示的方法可以应用于处理器601中，或者由处理器601实现。处理器601可能是一种集成电路芯片，具有信号的处理能力，更具体地，内置有数据采集算法，即具有数据采集能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器601可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，数据采集装置可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
在示例性实施例中，本发明实施例还提供了一种存储介质，具体可以为计算机可读存储介质，例如包括计算机程序的存储器，上述计算机程序可由数据采集装置的处理器执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一项所述的数据采集方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (10)
1.一种数据采集方法，其特征在于，包括：
接收数据采集任务，所述数据采集任务携带需要采集的任务信息；
当所述任务信息满足预设规则时，根据所述任务信息确定启动的定时器类型；
根据定时器类型对应的定时器和预设索引标识进行数据读取；
将读取的数据根据所述任务信息进行处理，发送处理后的数据至接收端。
2.根据权利要求1所述的方法，其特征在于，
所述任务信息包括：同源数据标识、同源数据加工规则、同源数据上报的目标地址和同源数据采集周期。
3.根据权利要求2所述的方法，其特征在于，所述根据所述任务信息确定启动的定时器类型，包括：
根据所述同源数据采集周期，确定启动的定时器时长类型；其中，定时器时长类型对应的定时器包括：基本定时器和偏移定时器，所述偏移定时器的时长小于所述基本定时器的时长。
4.根据权利要求3所述的方法，其特征在于，所述根据定时器类型对应的定时器和预设索引标识进行数据读取，包括：
启动目标定时器读取数据，所述目标定时器为所述定时器时长类型对应的定时器；
在读取数据的过程中，每次所述目标定时器超时后，翻转预设索引标识，将数据写入翻转后预设索引标识对应的缓存中，所述目标定时器读取当前翻转后预设索引标识对应的缓存中的数据。
5.在根据权利要求4所述的方法，其特征在于，所述根据定时器类型对应的定时器和预设索引标识进行数据读取之后，包括：
标识读取数据的时长。
6.根据权利要求2或5所述的方法，其特征在于，在所述接收数据采集任务之后，还包括：
当所述任务信息满足预设规则时，存储所述任务信息，根据所述同源数据标识和所述同源数据加工规则启动与加工规则对应的处理器。
7.根据权利要求6所述的方法，其特征在于，所述将读取的数据根据所述任务信息进行处理，发送处理后的数据至接收端，包括：
根据所述同源数据加工规则和所述读取数据的时长，通过所述与加工规则对应的处理器对所述读取数据进行组装和打包，发送组装和打包的数据至所述同源数据上报的目标地址指示的接收端。
8.一种数据采集装置，其特征在于，包括：任务模块，双定时器模块，双缓存模块，数据加工打包模块；其中，
所述任务模块，用于接收数据采集任务，所述数据采集任务携带需要采集的任务信息；
所述双定时器模块，用于当所述任务信息满足预设规则时，根据所述任务信息确定启动的定时器类型；还用于根据定时器类型对应的定时器和所述双缓存模块中设置的预设索引标识从所述双缓存模块读取数据；
所述双缓存模块，用于缓存写入的数据；
所述数据加工打包模块，用于将读取的数据根据所述任务信息进行处理，发送处理后的数据至接收端。
9.根据权利要求8所述的装置，其特征在于，
所述任务信息包括：同源数据标识、同源数据加工规则、同源数据上报的目标地址和同源数据采集周期。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的数据采集方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810662990.3A CN110704492A (zh) | 2018-06-25 | 2018-06-25 | 一种数据采集方法、装置和计算机可读存储介质 |
| PCT/CN2019/091947 WO2020001349A1 (zh) | 2018-06-25 | 2019-06-19 | 一种数据采集方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810662990.3A CN110704492A (zh) | 2018-06-25 | 2018-06-25 | 一种数据采集方法、装置和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110704492A true CN110704492A (zh) | 2020-01-17 |
Family
ID=68986221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810662990.3A Withdrawn CN110704492A (zh) | 2018-06-25 | 2018-06-25 | 一种数据采集方法、装置和计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110704492A (zh) |
| WO (1) | WO2020001349A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111585794A (zh) * | 2020-04-20 | 2020-08-25 | 南京南瑞继保电气有限公司 | 基于采集板卡的通信方法、装置、系统及存储介质 |
| CN112162845A (zh) * | 2020-10-30 | 2021-01-01 | 北京北信源软件股份有限公司 | 一种业务进程同步的方法及装置 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111352973B (zh) * | 2020-03-02 | 2023-11-03 | 武汉中旗生物医疗电子有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
| CN111414351A (zh) * | 2020-03-20 | 2020-07-14 | 中国建设银行股份有限公司 | 一种MySQL数据库的性能诊断方法及装置 |
| CN114885013B (zh) * | 2022-05-06 | 2024-03-12 | 北京达佳互联信息技术有限公司 | 打包信息上报方法、装置、电子设备及存储介质 |
| WO2024067439A1 (zh) * | 2022-09-30 | 2024-04-04 | 维沃移动通信有限公司 | 数据集生成方法、信息发送方法、装置及相关设备 |
| CN116578605B (zh) * | 2023-04-19 | 2024-08-16 | 广东畅视科技有限公司 | 数据采集方法、装置、电子设备及存储介质 |
| CN117666519A (zh) * | 2024-02-01 | 2024-03-08 | 博诚经纬软件科技有限公司 | 一种基于大数据的mes智能制造管理方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101114946A (zh) * | 2007-09-12 | 2008-01-30 | 中兴通讯股份有限公司 | 在电信网管系统中性能对象数据的采集方法 |
| US20080059444A1 (en) * | 2004-04-05 | 2008-03-06 | Appliede, Inc. | Knowledge archival and recollection systems and methods |
| CN102063264A (zh) * | 2009-11-18 | 2011-05-18 | 成都市华为赛门铁克科技有限公司 | 一种处理数据的方法、设备及系统 |
| CN102238022A (zh) * | 2010-04-23 | 2011-11-09 | 中兴通讯股份有限公司 | 一种网络管理系统及数据采集方法 |
| CN104506650A (zh) * | 2015-01-04 | 2015-04-08 | 华为技术有限公司 | 一种用户设备协同控制方法、用户设备以及通信系统 |
| CN105610633A (zh) * | 2016-02-23 | 2016-05-25 | 烽火通信科技股份有限公司 | 一种通信设备中实时性能自采样系统及方法 |
| CN106027484A (zh) * | 2016-04-27 | 2016-10-12 | 国网江苏省电力公司信息通信分公司 | 一种信息展示的系统及方法 |
| CN106326361A (zh) * | 2016-08-10 | 2017-01-11 | 中国农业银行股份有限公司 | 一种基于HBase数据库的数据查询方法及装置 |
| CN107360229A (zh) * | 2017-07-12 | 2017-11-17 | 北京海克智动科技开发有限公司 | 一种环境数据推送与响应的系统和方法 |
| CN108062418A (zh) * | 2018-01-05 | 2018-05-22 | 北京奇艺世纪科技有限公司 | 一种数据搜索方法、装置及服务器 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6609083B2 (en) * | 2001-06-01 | 2003-08-19 | Hewlett-Packard Development Company, L.P. | Adaptive performance data measurement and collections |
| CN101958813B (zh) * | 2010-09-14 | 2014-06-04 | 中兴通讯股份有限公司 | 延迟采集数据的方法和装置 |
| CN104639393A (zh) * | 2015-01-07 | 2015-05-20 | 烽火通信科技股份有限公司 | 一种无源光网络流量全网采集装置及其方法 |
| CN106603282B (zh) * | 2016-12-08 | 2019-11-29 | 上海斐讯数据通信技术有限公司 | 一种网络资源管理系统以及网络中性能数据的采集方法 |
-
2018
- 2018-06-25 CN CN201810662990.3A patent/CN110704492A/zh not_active Withdrawn
-
2019
- 2019-06-19 WO PCT/CN2019/091947 patent/WO2020001349A1/zh active Application Filing
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080059444A1 (en) * | 2004-04-05 | 2008-03-06 | Appliede, Inc. | Knowledge archival and recollection systems and methods |
| CN101114946A (zh) * | 2007-09-12 | 2008-01-30 | 中兴通讯股份有限公司 | 在电信网管系统中性能对象数据的采集方法 |
| CN102063264A (zh) * | 2009-11-18 | 2011-05-18 | 成都市华为赛门铁克科技有限公司 | 一种处理数据的方法、设备及系统 |
| CN102238022A (zh) * | 2010-04-23 | 2011-11-09 | 中兴通讯股份有限公司 | 一种网络管理系统及数据采集方法 |
| CN104506650A (zh) * | 2015-01-04 | 2015-04-08 | 华为技术有限公司 | 一种用户设备协同控制方法、用户设备以及通信系统 |
| CN105610633A (zh) * | 2016-02-23 | 2016-05-25 | 烽火通信科技股份有限公司 | 一种通信设备中实时性能自采样系统及方法 |
| CN106027484A (zh) * | 2016-04-27 | 2016-10-12 | 国网江苏省电力公司信息通信分公司 | 一种信息展示的系统及方法 |
| CN106326361A (zh) * | 2016-08-10 | 2017-01-11 | 中国农业银行股份有限公司 | 一种基于HBase数据库的数据查询方法及装置 |
| CN107360229A (zh) * | 2017-07-12 | 2017-11-17 | 北京海克智动科技开发有限公司 | 一种环境数据推送与响应的系统和方法 |
| CN108062418A (zh) * | 2018-01-05 | 2018-05-22 | 北京奇艺世纪科技有限公司 | 一种数据搜索方法、装置及服务器 |
Non-Patent Citations (2)
| Title |
|---|
| I.BILINSKIS ET AL.: "Multi-channel data acquisition and optical transmission supported by Event Timers", 2015 ADVANCES IN WIRELESS AND OPTICAL COMMUNICATIONS, 31 December 2015 (2015-12-31) * |
| 余军: "基于虚拟仪器的智能车无线实时数据采集系统", 工业控制计算机, 25 February 2010 (2010-02-25) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111585794A (zh) * | 2020-04-20 | 2020-08-25 | 南京南瑞继保电气有限公司 | 基于采集板卡的通信方法、装置、系统及存储介质 |
| CN112162845A (zh) * | 2020-10-30 | 2021-01-01 | 北京北信源软件股份有限公司 | 一种业务进程同步的方法及装置 |
| CN112162845B (zh) * | 2020-10-30 | 2023-10-13 | 北京北信源软件股份有限公司 | 一种业务进程同步的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020001349A1 (zh) | 2020-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110704492A (zh) | 一种数据采集方法、装置和计算机可读存储介质 | |
| US9722945B2 (en) | Dynamically identifying target capacity when scaling cloud resources | |
| US20160041848A1 (en) | Methods and Apparatuses for Determining a Leak of Resource and Predicting Usage Condition of Resource | |
| US11102060B2 (en) | Identification of a soft failure at a member | |
| CN110019239B (zh) | 上报数据的存储方法、装置、电子设备和存储介质 | |
| CN109766198B (zh) | 流式处理方法、装置、设备及计算机可读存储介质 | |
| CN106648839B (zh) | 数据处理的方法和装置 | |
| CN113760658A (zh) | 一种监控方法、装置及设备 | |
| CN109189677B (zh) | 一种针对变量数值更新状态的测试方法及装置 | |
| CN112035326A (zh) | 基于集群节点互检的异常节点任务处理方法及装置 | |
| CN108958665B (zh) | 一种历史记录信息的存储方法及装置 | |
| CN113497721B (zh) | 网络故障定位方法与装置 | |
| CN110876182A (zh) | 位置测量方法及装置 | |
| CN112416534A (zh) | 一种基于Agent的任务管理方法及装置 | |
| CN114637656B (zh) | 基于Redis的监控方法、装置、存储介质和设备 | |
| CN109933487B (zh) | 智能机器人的监测方法和装置 | |
| CN111159129A (zh) | 一种日志报表的统计方法及装置 | |
| CN109947843B (zh) | 区块链中时间的确定方法、装置及系统 | |
| US20180309622A1 (en) | System and method for generating an alert associated with a device consuming a resource | |
| CN111258724B (zh) | 一种分布式系统的数据处理方法、装置、设备和存储介质 | |
| CN104317820A (zh) | 报表的统计方法和装置 | |
| US10102052B2 (en) | Dumping resources | |
| CN107908516B (zh) | 一种数据显示方法及装置 | |
| CN109426559B (zh) | 命令下发方法和装置、存储介质、处理器 | |
| CN109241066B (zh) | 请求处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200117 |
|
| WW01 | Invention patent application withdrawn after publication |