CN110086592B - 基于虚拟时间轴的数据处理方法、装置及电子设备 - Google Patents
基于虚拟时间轴的数据处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110086592B CN110086592B CN201910417581.1A CN201910417581A CN110086592B CN 110086592 B CN110086592 B CN 110086592B CN 201910417581 A CN201910417581 A CN 201910417581A CN 110086592 B CN110086592 B CN 110086592B
- Authority
- CN
- China
- Prior art keywords
- time
- virtual
- current
- data
- sending
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L5/00—Arrangements affording multiple use of the transmission path
- H04L5/003—Arrangements for allocating sub-channels of the transmission path
- H04L5/0078—Timing of allocation
Abstract
本申请实施例提供一种基于虚拟时间轴的数据处理方法、装置及电子设备,该方法包括:确定当前实际时间接收到的目标数据中携带的历史实际发送时间;确定所述当前实际时间映射到预先建立的虚拟时间轴上的当前虚拟时间;根据所述当前虚拟时间以及所述历史实际发送时间确定所述虚拟时间轴上对应的虚拟发送时间;在所述虚拟发送时间到达时,输出所述目标数据。该方案中,通过将接收到的目标数据的发送时间重新映射到虚拟时间轴上的虚拟发送时间,由此可根据虚拟时间轴的时间顺序输出这些数据,从而避免了将乱序的目标数据丢失,使得可以获取更多的数据用于统计,提高了数据统计的准确性。
Description
技术领域
本申请涉及数据统计技术领域,具体而言,涉及一种基于虚拟时间轴的数据处理方法、装置及电子设备。
背景技术
现有技术中,若想要对用户终端的相关情况进行统计,例如统计在某个区域内用户终端的数量,或者统计某个用户终端的轨迹等情况,则需要采集用户终端的相关数据。这些用户终端的相关数据一般是由基站采集并主动发送至服务器的,服务器再将这些数据输出给数据统计系统,数据统计系统可以基于这些数据来进行统计。
但是由于各个基站设置的数据发送策略是不同的,导致服务器接收到的数据的时间是乱序的,例如,基站A设置每隔半小时主动向服务器发送数据,而基站B是每隔一小时向服务器发送数据,所以对于同一时间段的数据,可能服务器接收到的数据的时间顺序不同。如对于同一时间段的数据,服务器将先接收到的数据输出至数据统计系统进行统计,则对于后接收的数据服务器则选择自动丢弃,不会输出,这种情况下服务器需要丢弃很多的数据,导致数据统计系统只能接收到少部分的数据用于统计,进而可能导致统计结果不准确。
发明内容
有鉴于此,本申请实施例的目的在于提供一种基于虚拟时间轴的数据处理方法、装置及电子设备,以改善现有技术中数据统计结果不准确的问题。
第一方面,本申请实施例提供了一种基于虚拟时间轴的数据处理方法,所述方法包括:确定当前实际时间接收到的目标数据中携带的历史实际发送时间;确定所述当前实际时间映射到预先建立的虚拟时间轴上的当前虚拟时间,其中,所述当前虚拟时间早于所述当前实际时间和所述历史实际发送时间;根据所述当前虚拟时间以及所述历史实际发送时间确定所述虚拟时间轴上对应的虚拟发送时间;在所述虚拟发送时间到达时,输出所述目标数据。
在上述实现过程中,可将接收到的目标数据的发送时间重新映射到虚拟时间轴上的虚拟发送时间,由此可根据虚拟时间轴的时间顺序输出这些数据,从而避免了将乱序的目标数据丢失,使得可以获取更多的数据用于统计,提高了数据统计的准确性。
可选地,所述确定所述当前实际时间映射到预先建立的虚拟时间轴上的当前虚拟时间,包括:根据虚拟时间偏移确定所述当前实际时间映射到预先建立的虚拟时间轴上的当前虚拟时间,所述虚拟时间偏移为所述当前实际时间与所述当前虚拟时间之间的时间间隔。
在上述实现过程中,可通过虚拟时间偏移确定当前虚拟时间,从而可将接收目标数据的时间映射到虚拟时间轴上的当前虚拟时间。
可选地,所述确定所述当前实际时间映射到预先建立的虚拟时间轴上的当前虚拟时间,包括:
基于公式x=y+a×(z-y)+w,确定所述当前虚拟时间;
其中,x为所述当前虚拟时间,y为所述虚拟时间轴的启动时间,a为预设的数据处理倍速,z为所述当前实际时间,w为虚拟时间偏移。
在上述实现过程中,基于上述公式可准确获得目标数据对应的当前虚拟时间。
可选地,所述虚拟时间偏移w是根据所述历史实际发送时间与所述当前实际时间之间的时间间隔确定的。
在上述实现过程中,根据历史实际发送时间与当前实际时间之间的时间间隔确定虚拟时间偏移,由此可保证获取到在虚拟时间偏移的时间段内的目标数据。
可选地,所述根据所述当前虚拟时间以及所述历史实际发送时间确定所述虚拟时间轴上对应的虚拟发送时间,包括:
基于公式k=(i-j)/a+j,确定所述虚拟发送时间;
其中,k为所述虚拟发送时间,a为预设的数据处理倍速,i为所述历史实际发送时间,j为所述当前虚拟时间。
在上述实现过程中,基于上述公式可获得目标数据的虚拟发送时间,从而可基于虚拟发送时间对目标数据进行重新输出,使得目标数据可以按照虚拟发送时间的时间顺序进行输出。
可选地,所述根据所述当前虚拟时间以及所述历史实际发送时间确定所述虚拟时间轴上对应的虚拟发送时间之后,所述方法还包括:在确定所述虚拟发送时间早于所述当前虚拟时间的情况下,丢弃所述目标数据;其中,在所述虚拟发送时间到达时,输出所述目标数据,包括:在确定所述虚拟发送时间晚于所述当前虚拟时间的情况下,且在所述虚拟发送时间到达时,输出所述目标数据。
在上述实现过程中,在虚拟发送时间晚于当前虚拟时间时,才在虚拟发送时间到达时输出目标数据,而在虚拟发送时间早于当前虚拟时间时,表示该目标数据已过期,为无用的数据,则丢弃该目标数据,避免了数据统计时的数据干扰。
第二方面,本申请实施例提供了一种基于虚拟时间轴的数据处理装置,所述装置包括:
第一时间确定模块,用于确定当前实际时间接收到的目标数据中携带的历史实际发送时间;
第二时间确定模块,用于确定所述当前实际时间映射到预先建立的虚拟时间轴上的当前虚拟时间,其中,所述当前虚拟时间早于所述当前实际时间和所述历史实际发送时间;
第三时间确定模块,用于根据所述当前虚拟时间以及所述历史实际发送时间确定所述虚拟时间轴上对应的虚拟发送时间;
数据输出模块,用于在所述虚拟发送时间到达时,输出所述目标数据。
可选地,所述第二时间确定模块,具体用于根据虚拟时间偏移确定所述当前实际时间映射到预先建立的虚拟时间轴上的当前虚拟时间,所述虚拟时间偏移为所述当前实际时间与所述当前虚拟时间之间的时间间隔。
可选地,所述第二时间确定模块,具体用于:
基于公式x=y+a×(z-y)+w,确定所述当前虚拟时间;
其中,x为所述当前虚拟时间,y为所述虚拟时间轴的启动时间,a为预设的数据处理倍速,z为所述当前实际时间,w为虚拟时间偏移。
可选地,所述虚拟时间偏移w是根据所述历史实际发送时间与所述当前实际时间之间的时间间隔确定的。
可选地,所述第三时间确定模块,具体用于:
基于公式k=(i-j)/a+j,确定所述虚拟发送时间;
其中,k为所述虚拟发送时间,a为预设的数据处理倍速,i为所述历史实际发送时间,j为所述当前虚拟时间。
可选地,所述装置还包括:
数据丢弃模块,用于在确定所述虚拟发送时间早于所述当前虚拟时间的情况下,丢弃所述目标数据;
所述数据输出模块,具体用于在确定所述虚拟发送时间晚于所述当前虚拟时间的情况下,且在所述虚拟发送时间到达时,输出所述目标数据。
第三方面,本申请实施例提供一种电子设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如上述第一方面提供的所述方法中的步骤。
第四方面,本申请实施例提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的基站与服务器进行交互的示意图;
图2为本申请实施例提供的一种电子设备的结构示意图;
图3为本申请实施例提供的一种基于虚拟时间轴的数据处理方法的流程图;
图4为本申请实施例提供的一种基于虚拟时间轴的数据处理方法的应用示意图;
图5为本申请实施例提供的一种基于虚拟时间轴的数据处理装置的结构框图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在介绍本申请的具体实施例之前,先对现有技术进行简单介绍。
为了对用户终端的一些情况进行统计,比如统计某个区域在某个时间段内的用户终端数量,或者统计某个用户终端的行为轨迹等,需要获取用户终端的一些数据,然后基于这些数据来进行相关情况的统计。
用户终端的数据一般由基站上传给服务器,基站一般会主动根据自身设定的上传策略将与用户终端产生的信令数据上传给服务器,但是由于每个基站设定的上传策略不同,所以服务器可能不能在同时收到同一时间的用户终端的数据。例如,基站A设定的是每隔十分钟向服务器发送数据,基站B设定的是每隔五分钟向服务器发送数据,例如,基站A在12:00向服务器发送了数据,其包含了11:50-12:00这个时间段内该基站A与用户终端交互的信令数据,基站B在11:55向服务器发送了数据,其包含了11:50-11:55这个时间段内该基站B与用户终端交互的信令数据,而对于11:50-11:55这个时间段内的数据,服务器在11:55时从基站B处获得,然后在12:00时从基站A处获得,服务器在11:55时从基站B处获得11:50-11:55这个时间段内的数据后就向外输出给数据统计系统,数据统计系统基于这些数据对用户终端的数量或者位置进行统计,而服务器在12:00才从基站A处获得11:50-11:55这个时间段内的数据,此时这些数据对于统计来说已经无用了,则服务器会选择丢弃掉这些数据。因此服务器接收到的数据存在乱序的问题,这就导致服务器只会选择将时间最新的数据输出给数据统计系统,而对于晚接收到的时间靠前的数据会自动选择丢弃,不输出,从而导致数据统计系统在进行统计时,由于丢失掉很多数据,进而导致其统计结果不准确。
现有技术中存在的上述缺陷,均是申请人在经过实践并仔细研究后得出的结构,因此,上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案,都应该是申请人在本申请过程中对本申请做出的贡献。
为了改善上述问题,本申请实施例提供了一种基于虚拟时间轴的数据处理方法,该方法中服务器将获取到的时间乱序的数据重新映射到虚拟时间轴上,以根据虚拟时间轴的时间顺序输出这些数据,从而避免了大量数据的丢失,使得数据统计时可以获取到大量的有用数据,进而提高了数据统计的准确性。
请参照图1,图1为本申请实施例提供的基站10与服务器20进行交互的示意图,所述服务器20通过网络30与一个或多个基站10进行通信连接,以进行数据通信或交互。所述服务器20可以是网络服务器、数据库服务器等。
请参照图2,图2为本申请实施例提供的一种电子设备的结构示意图,该电子设备在本实施例中为服务器20,所述电子设备可以包括:至少一个处理器110,例如CPU,至少一个通信接口120,至少一个存储器130和至少一个通信总线140。其中,通信总线140用于实现这些组件直接的连接通信。其中,本申请实施例中设备的通信接口120用于与其他节点设备进行信令或数据的通信。存储器130可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器130可选的还可以是至少一个位于远离前述处理器的存储装置。存储器130中存储有计算机可读取指令,当所述计算机可读取指令由所述处理器110执行时,电子设备执行下述图3所示方法过程。
请参照图3,图3为本申请实施例提供的一种基于虚拟时间轴的数据处理方法的流程图,所述方法包括如下步骤:
步骤S110:确定当前实际时间接收到的目标数据中携带的历史实际发送时间。
其中,目标数据可以是指用户终端与基站的交互数据,如用户终端在通话过程中与基站的交互数据,或者用户终端在上网过程中与基站的交互数据等,数据统计系统可基于这些目标数据对用户终端的轨迹、数量等进行相关统计。
结合图4,图4为本申请实施例提供的一种基于虚拟时间轴的数据处理方法的应用示意图,如目标数据可以指图4中的基站B发送的1:45的3G数据,或者目标数据还可以指图4中基站A发送的1:30的4G数据,广义来讲,只要是服务器接收到的用于输出给数据统计系统统计用户终端的相关情况的数据均可称为目标数据。
当前实际时间即为服务器接收到目标数据的实际时间,如图4中的服务器在2:00时接收到的基站B发送的1:45的3G数据,其中2:00为当前实际时间,历史实际发送时间为1:45,历史实际发送时间可理解为目标数据产生的时间,即基站B在1:45时产生了一个3G数据,但是由于基站B设置的上传策略,或者发送过程中存在的延时,则使得服务器收到目标数据会产生滞后,即服务器在2:00时才收到这个目标数据。
步骤S120:确定所述当前实际时间映射到预先建立的虚拟时间轴上的当前虚拟时间。
虚拟时间轴为服务器预先建立好的时间轴,其与实际时间对应,虚拟时间轴并不是指真正的时间,其只是用于将接收的目标数据按照时间顺序重新发送。
作为一种示例,可以根据虚拟时间偏移来确定当前虚拟时间,虚拟时间偏移为当前实际时间与当前虚拟时间之间的时间间隔,如图4中,虚拟时间轴的虚拟时间偏移设置为-1个小时,即当前实际时间与当前虚拟时间之间的时间间隔为1个小时,在当前实际时间为2:00时,对应到虚拟时间轴上的当前虚拟时间为1:00,当然,虚拟时间偏移也可根据实际需求进行设置,如为-2个小时。
在基于实际时间建立虚拟时间轴后,可基于确定的当前实际时间确定对应的当前虚拟时间,当前虚拟时间早于当前实际时间和历史实际发送时间。
步骤S130:根据所述当前虚拟时间以及所述历史实际发送时间确定所述虚拟时间轴上对应的虚拟发送时间。
由于当前虚拟时间早于历史实际发送时间,所以,还可以根据历史实际发送时间与当前虚拟时间计算获得虚拟发送时间,虚拟发送时间为在虚拟时间轴上的虚拟时间,如图4中,对于1:45的3G数据,其获得的虚拟发送时间为1:45,所以,可在虚拟时间轴的虚拟时间到达1:45时,发送该目标数据。
步骤S140:在所述虚拟发送时间到达时,输出所述目标数据。
对于每个目标数据,均按照上述的处理方式进行处理,即在确定目标数据的虚拟发送时间后,可在虚拟发送时间到达时,输出该目标数据。服务器可将该目标数据输出至数据统计系统,用于进行数据统计,当然,服务器也可以将目标数据输出至服务器中的处理器,该处理器也可基于目标数据对用户终端的相关情况进行统计。
其中,在确定目标数据的虚拟发送时间后,还可以将目标数据存入服务器预先建立的缓存队列中,缓存队列可设置一时间监测模块,用于监测各个目标数据的虚拟发送时间,在监测到某个目标数据的虚拟发送时间到达时,从服务器从缓存队列中提取出该目标数据,然后输出,由此可保证发送的目标数据是以虚拟时间轴上的时间先后顺序输出的,而服务器不会将获取的时间较早的数据丢弃,所以不会丢弃太多的数据,进而保证在进行数据统计时可以获得较多的数据,提高了数据统计结果的准确性。
例如,图4中,基站B发送的1:45的3G数据在虚拟发送时间为1:45到达时发送出去,基站A发送的1:30的4G数据在虚拟发送时间为1:30到达时发送出去,基站C发送的2:05的3G数据在虚拟发送时间为2:05到达时发送出去,由此,可依据虚拟发送时间的先后顺序将目标数据输出。
需要说明的是,对于基站E在1:40发送的数据,其服务器收到的当前虚拟时间为1:50,获得的虚拟发送时间应该为1:40,而此时当前虚拟时间为1:50,所以,对于该目标数据,服务器也会丢弃掉,不会将其输出。
在上述实现过程中,可将接收到的目标数据的发送时间重新映射到虚拟时间轴上的虚拟发送时间,由此可根据虚拟时间轴的时间顺序输出这些数据,从而避免了将乱序的目标数据丢失,使得可以获取更多的数据用于统计,提高了数据统计的准确性。
作为一种示例,当前虚拟时间还可以基于以下公式确定:
x=y+a×(z-y)+w;
其中,x为所述当前虚拟时间,y为所述虚拟时间轴的启动时间,a为预设的数据处理倍速,z为所述当前实际时间,w为虚拟时间偏移。
虚拟时间轴的启动时间可以理解为需要对这些数据按照上述方法处理时的时间,数据处理倍速可以理解为数据处理速率,如若a的值为2,表示服务器需要以两倍速来处理这些数据。
如上述的虚拟时间偏移设置为-1小时,启动时间设置为2:00,数据处理倍速设置为1,若当前实际时间为2:00,根据上述的计算公式计算出的当前虚拟时间为则为1:00,若当前实际时间为2:10,则当前虚拟时间即为1:10。
其中,虚拟时间偏移还可以根据历史实际发送时间与当前实际时间之间的时间间隔确定的,如虚拟时间轴启动后,若服务器接收到的第一个目标数据的历史发送时间与当前实际时间间隔为2个小时,则虚拟时间偏移可设置为-2小时,由此可保证能根据实际需求获取到在虚拟时间偏移的时间段内的目标数据。
作为一种示例,还可以基于如下公式确定所述虚拟发送时间:
k=(i-j)/a+j;
其中,k为所述虚拟发送时间,a为预设的数据处理倍速,i为所述历史实际发送时间,j为所述当前虚拟时间。
例如,历史实际发送时间为1:45,当前虚拟时间为1:00,则虚拟发送时间为1:45,所以,按照上述计算公式,则可获得每个目标数据对应的虚拟发送时间,以使服务器按照各个目标数据对应的虚拟发送时间发送各个目标数据。
在上述实现过程中,基于上述公式可获得目标数据的虚拟发送时间,从而可基于虚拟发送时间对目标数据进行重新输出,使得目标数据可以按照虚拟发送时间的时间顺序进行输出。
作为一种示例,在获得目标数据对应的虚拟发送时间后,还可以判断虚拟发送时间是否晚于当前虚拟发送时间,在确定所述虚拟发送时间早于所述当前虚拟时间的情况下,丢弃所述目标数据,在确定所述虚拟发送时间晚于所述当前虚拟时间的情况下,且在所述虚拟发送时间到达时,输出所述目标数据。
例如,如图4中,基站E在1:40发送的目标数据,对应的当前虚拟时间为1:50,按照上述计算公式获得的虚拟发送时间为1:40,则虚拟发送时间晚于当前虚拟时间,此时则丢弃这个目标数据,不输出。
在上述实现过程中,在虚拟发送时间晚于当前虚拟时间时,才在虚拟发送时间到达时输出目标数据,而在虚拟发送时间早于当前虚拟时间时,表示该目标数据已过期,为无用的数据,则丢弃该目标数据,避免了数据统计时的数据干扰。
另外,若基站或者服务器出现故障,基站无法向服务器发送数据,或者服务器也无法向数据统计系统发送数据,则在基站或者服务器恢复故障后,也可以依据上述的方法将获取到的数据对应到虚拟时间轴上的虚拟发送时间,然后按照虚拟发送时间的先后顺序将数据输出。
例如,若服务器在1月9日0点发生故障,1月10日0点恢复,所以,服务器接收到的数据可能存在乱序问题,此时可以启动虚拟实际偏移为-15分钟的虚拟时间轴,该虚拟时间轴用于处理服务器恢复正常后接收到的数据,但服务器处于故障期间的数据,还需要启动另外一条虚拟时间轴进行单独处理。
另外一条虚拟时间轴的相关参数可以如下:
启动时间:1月10日0点,虚拟时间偏移:-24小时,数据处理倍速:2倍速。
例如,在当前实际时间达到1月10日3点时,当前虚拟时间=1月10日0点+2倍速*(1月10日3:00-1月10日0:00)-24=1月9日6:00;此时收到一条1月9日6:30的目标数据,计算数据延后时间=(1月9日6:30-1月9日6:00)/2倍速=15分钟,所以,服务器将在虚拟发送时间为1月9日6:15时输出该目标数据。
所以,按照上述方式,在服务器或者基站出现故障后,服务器可以将接收到的处于乱序的数据重新依照虚拟时间轴上的虚拟发送时间的时间顺序输出,进而无需丢弃掉这些处于乱序的数据,使得数据统计过程中可以使用这些数据进行统计,保证了数据统计结果的准确性。
请参照图5,图5为本申请实施例提供的一种基于虚拟时间轴的数据处理装置200的结构框图,该装置可以是电子设备中的模块、程序段或代码。应理解,该基于虚拟时间轴的数据处理装置200与上述图3方法实施例对应,能够执行图3方法实施例涉及的各个步骤,该基于虚拟时间轴的数据处理装置200具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。
可选地,所述装置包括:
第一时间确定模块210,用于确定当前实际时间接收到的目标数据中携带的历史实际发送时间;
第二时间确定模块220,用于确定所述当前实际时间映射到预先建立的虚拟时间轴上的当前虚拟时间,其中,所述当前虚拟时间早于所述当前实际时间和所述历史实际发送时间;
第三时间确定模块230,用于根据所述当前虚拟时间以及所述历史实际发送时间确定所述虚拟时间轴上对应的虚拟发送时间;
数据输出模块240,用于在所述虚拟发送时间到达时,输出所述目标数据。
可选地,所述第二时间确定模块220,具体用于根据虚拟时间偏移确定所述当前实际时间映射到预先建立的虚拟时间轴上的当前虚拟时间,所述虚拟时间偏移为所述当前实际时间与所述当前虚拟时间之间的时间间隔。
可选地,所述第二时间确定模块220,具体用于:
基于公式x=y+a×(z-y)+w,确定所述当前虚拟时间;
其中,x为所述当前虚拟时间,y为所述虚拟时间轴的启动时间,a为预设的数据处理倍速,z为所述当前实际时间,w为虚拟时间偏移。
可选地,所述虚拟时间偏移w是根据所述历史实际发送时间与所述当前实际时间之间的时间间隔确定的。
可选地,所述第三时间确定模块230,具体用于:
基于公式k=(i-j)/a+j,确定所述虚拟发送时间;
其中,k为所述虚拟发送时间,a为预设的数据处理倍速,i为所述历史实际发送时间,j为所述当前虚拟时间。
可选地,所述装置还包括:
数据丢弃模块,用于在确定所述虚拟发送时间早于所述当前虚拟时间的情况下,丢弃所述目标数据;
所述数据输出模块240,具体用于在确定所述虚拟发送时间晚于所述当前虚拟时间的情况下,且在所述虚拟发送时间到达时,输出所述目标数据。
本申请实施例提供一种可读存储介质,所述计算机程序被处理器执行时,执行如图3所示方法实施例中电子设备所执行的方法过程。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
综上所述,本申请实施例提供一种基于虚拟时间轴的数据处理方法、装置及电子设备,该方法中,通过将接收到的目标数据的发送时间重新映射到虚拟时间轴上的虚拟发送时间,由此可根据虚拟时间轴的时间顺序输出这些数据,从而避免了将乱序的目标数据丢失,使得可以获取更多的数据用于统计,提高了数据统计的准确性。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (6)
1.一种基于虚拟时间轴的数据处理方法,其特征在于,所述方法包括:
确定当前实际时间接收到的目标数据中携带的历史实际发送时间;
根据虚拟时间偏移确定所述当前实际时间映射到预先建立的虚拟时间轴上的当前虚拟时间,其中,所述当前虚拟时间早于所述当前实际时间和所述历史实际发送时间,所述虚拟时间偏移为所述当前实际时间与所述当前虚拟时间之间的时间间隔;其中,基于公式x=y+a×(z-y)+w,确定所述当前虚拟时间,x为所述当前虚拟时间,y为所述虚拟时间轴的启动时间,a为预设的数据处理倍速,z为所述当前实际时间,w为虚拟时间偏移;
根据所述当前虚拟时间以及所述历史实际发送时间确定所述虚拟时间轴上对应的虚拟发送时间;其中,基于公式k=(i-j)/a+j,确定所述虚拟发送时间,k为所述虚拟发送时间,a为预设的数据处理倍速,i为所述历史实际发送时间,j为所述当前虚拟时间;
在所述虚拟发送时间到达时,输出所述目标数据。
2.根据权利要求1所述的方法,其特征在于,所述虚拟时间偏移w是根据所述历史实际发送时间与所述当前实际时间之间的时间间隔确定的。
3.根据权利要求1-2任一所述的方法,其特征在于,所述根据所述当前虚拟时间以及所述历史实际发送时间确定所述虚拟时间轴上对应的虚拟发送时间之后,所述方法还包括:
在确定所述虚拟发送时间早于所述当前虚拟时间的情况下,丢弃所述目标数据;
其中,在所述虚拟发送时间到达时,输出所述目标数据,包括:
在确定所述虚拟发送时间晚于所述当前虚拟时间的情况下,且在所述虚拟发送时间到达时,输出所述目标数据。
4.一种基于虚拟时间轴的数据处理装置,其特征在于,所述装置包括:
第一时间确定模块,用于确定当前实际时间接收到的目标数据中携带的历史实际发送时间;
第二时间确定模块,用于根据虚拟时间偏移确定所述当前实际时间映射到预先建立的虚拟时间轴上的当前虚拟时间,其中,所述当前虚拟时间早于所述当前实际时间和所述历史实际发送时间,所述虚拟时间偏移为所述当前实际时间与所述当前虚拟时间之间的时间间隔;其中,基于公式x=y+a×(z-y)+w,确定所述当前虚拟时间,x为所述当前虚拟时间,y为所述虚拟时间轴的启动时间,a为预设的数据处理倍速,z为所述当前实际时间,w为虚拟时间偏移;
第三时间确定模块,用于根据所述当前虚拟时间以及所述历史实际发送时间确定所述虚拟时间轴上对应的虚拟发送时间;其中,基于公式k=(i-j)/a+j,确定所述虚拟发送时间,k为所述虚拟发送时间,a为预设的数据处理倍速,i为所述历史实际发送时间,j为所述当前虚拟时间;
数据输出模块,用于在所述虚拟发送时间到达时,输出所述目标数据。
5.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1-3任一所述方法中的步骤。
6.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1-3任一所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910417581.1A CN110086592B (zh) | 2019-05-17 | 2019-05-17 | 基于虚拟时间轴的数据处理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910417581.1A CN110086592B (zh) | 2019-05-17 | 2019-05-17 | 基于虚拟时间轴的数据处理方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110086592A CN110086592A (zh) | 2019-08-02 |
CN110086592B true CN110086592B (zh) | 2021-05-28 |
Family
ID=67420859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910417581.1A Active CN110086592B (zh) | 2019-05-17 | 2019-05-17 | 基于虚拟时间轴的数据处理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110086592B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112100472B (zh) * | 2020-09-11 | 2023-11-28 | 深圳市科盾科技有限公司 | 爬虫调度方法、装置、终端设备和可读存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7072912B1 (en) * | 2002-11-12 | 2006-07-04 | Microsoft Corporation | Identifying a common point in time across multiple logs |
CN103164294A (zh) * | 2013-01-30 | 2013-06-19 | 浪潮(北京)电子信息产业有限公司 | 一种实现计算机还原点的系统、装置及方法 |
CN106027289A (zh) * | 2016-05-09 | 2016-10-12 | 北京奇虎科技有限公司 | 用户状态统计系统及方法 |
CN106303953A (zh) * | 2016-07-29 | 2017-01-04 | 上海斐讯数据通信技术有限公司 | 一种人流量统计系统及方法 |
CN107548092A (zh) * | 2017-08-04 | 2018-01-05 | 深圳市盛路物联通讯技术有限公司 | 一种分布式网络延迟的数据处理方法及系统 |
CN108093474A (zh) * | 2017-12-27 | 2018-05-29 | 重庆脉实智能制造有限公司 | 利用虚拟时间同步实现室内定位的方法及系统 |
CN108200566A (zh) * | 2016-12-08 | 2018-06-22 | 中国移动通信集团设计院有限公司 | 一种人流拥塞预警方法及装置 |
CN109445924A (zh) * | 2018-11-06 | 2019-03-08 | 网易(杭州)网络有限公司 | 时间虚拟方法、装置、介质及电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11018981B2 (en) * | 2017-10-13 | 2021-05-25 | Cisco Technology, Inc. | System and method for replication container performance and policy validation using real time network traffic |
-
2019
- 2019-05-17 CN CN201910417581.1A patent/CN110086592B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7072912B1 (en) * | 2002-11-12 | 2006-07-04 | Microsoft Corporation | Identifying a common point in time across multiple logs |
CN103164294A (zh) * | 2013-01-30 | 2013-06-19 | 浪潮(北京)电子信息产业有限公司 | 一种实现计算机还原点的系统、装置及方法 |
CN106027289A (zh) * | 2016-05-09 | 2016-10-12 | 北京奇虎科技有限公司 | 用户状态统计系统及方法 |
CN106303953A (zh) * | 2016-07-29 | 2017-01-04 | 上海斐讯数据通信技术有限公司 | 一种人流量统计系统及方法 |
CN108200566A (zh) * | 2016-12-08 | 2018-06-22 | 中国移动通信集团设计院有限公司 | 一种人流拥塞预警方法及装置 |
CN107548092A (zh) * | 2017-08-04 | 2018-01-05 | 深圳市盛路物联通讯技术有限公司 | 一种分布式网络延迟的数据处理方法及系统 |
CN108093474A (zh) * | 2017-12-27 | 2018-05-29 | 重庆脉实智能制造有限公司 | 利用虚拟时间同步实现室内定位的方法及系统 |
CN109445924A (zh) * | 2018-11-06 | 2019-03-08 | 网易(杭州)网络有限公司 | 时间虚拟方法、装置、介质及电子设备 |
Non-Patent Citations (1)
Title |
---|
"异构网络环境下多径并行传输若干关键技术研究";高冲;《中国博士学位论文全文数据库信息科技辑》;20140630;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110086592A (zh) | 2019-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111836079B (zh) | 一种视频码流的传输方法及装置 | |
US9781474B2 (en) | Content playback information estimation apparatus and method and program | |
CN109245867B (zh) | 一种消息发送方法、计算机可读存储介质及终端设备 | |
US20060253763A1 (en) | Method and system for correcting burst errors in communications networks, related network and computer-program product | |
US9628411B2 (en) | Efficient packet processing at video receiver in multimedia communications over packet networks | |
US9647915B2 (en) | Detailed end-to-end latency tracking of messages | |
EP2978171A1 (en) | Communication method, communication device, and communication program | |
CN104660718B (zh) | 一种消息推送方法、装置及推送服务器 | |
EP3101844A1 (en) | Packet loss detection method, apparatus, and system | |
CN105791144A (zh) | 链路流量分担的方法和装置 | |
CN110086592B (zh) | 基于虚拟时间轴的数据处理方法、装置及电子设备 | |
JP4460506B2 (ja) | ユーザ体感品質推定装置、方法、およびプログラム | |
Bhambay et al. | Fixed length differential encoding for real-time status updates | |
CN108322286B (zh) | 一种获得前向纠错fec参数的方法、装置 | |
EP3560152B1 (en) | Determining the bandwidth of a communication link | |
CN103595552B (zh) | 集群存储网络并行负载的分析方法及系统 | |
JP3614835B2 (ja) | パケット通信品質測定方法およびシステム | |
CN112351049B (zh) | 数据传输方法、装置、设备及存储介质 | |
JP6048102B2 (ja) | 情報処理システム | |
CN111629281B (zh) | 一种视频传输中基于网络丢包率分布的在线连续检验方法 | |
US10003470B2 (en) | Method and terminal for transmitting and receiving data | |
CN113556573A (zh) | 推流链路选择方法及系统 | |
CN112312209A (zh) | 综合告警生成方法、装置、服务器、存储介质 | |
US7443876B2 (en) | Information processing terminal, transmission privilege rounding system, transmission privilege rounding method and transmission privilege acquiring program | |
CN112948031A (zh) | 一种动态窗口调整方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |