CN108063746A - 数据的处理方法、客户端、服务器及系统 - Google Patents

数据的处理方法、客户端、服务器及系统 Download PDF

Info

Publication number
CN108063746A
CN108063746A CN201610983690.6A CN201610983690A CN108063746A CN 108063746 A CN108063746 A CN 108063746A CN 201610983690 A CN201610983690 A CN 201610983690A CN 108063746 A CN108063746 A CN 108063746A
Authority
CN
China
Prior art keywords
data
pending
generation
acquisition object
analogue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610983690.6A
Other languages
English (en)
Other versions
CN108063746B (zh
Inventor
王晓涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201610983690.6A priority Critical patent/CN108063746B/zh
Publication of CN108063746A publication Critical patent/CN108063746A/zh
Application granted granted Critical
Publication of CN108063746B publication Critical patent/CN108063746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data

Abstract

本发明公开了一种数据的处理方法、客户端、服务器及系统，涉及互联网技术领域，主要目的在于解决现有技术中由于服务器侧聚合周期的变长，聚合后视频数据的实时性得不到保证，导致聚合后视频数据不能真实的反应当前观看视频的用户状态的问题。本发明的技术方案包括：接收数据发送端发送的包含模拟数据参数的待处理数据；模拟数据参数用于当数据发送端的数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数；若时间达到聚合周期且未接收到数据发送端发送的新的待处理数据，则根据数据采集对象的生成持续时长与聚合周期对应的时长生成待处理数据对应的模拟数据，并对模拟数据进行聚合。

Description

数据的处理方法、客户端、服务器及系统
技术领域
本发明涉及互联网技术领域，特别是涉及一种数据的处理方法、客户端、服务器及系统。
背景技术
随着互联网技术的快速发展及广泛应用，越来越多的用户更加倾向于使用互联网进行日常工作、生活及学习。伴随着互联网在日常工作、生活、学习中的使用，利用互联网的方式也越来越多，例如：服务器通过对客户端中的实时数据采集程序，对当前播放视频进行视频数据分析等等。
目前，客户端中的数据采集器Tracker采集视频数据，并按照预定发送周期将其发送至服务器，服务器对客户端中的视频数据进行分析。通常情况下，服务器为了能够计算出最新视频数据的实时聚合情况，服务器设置视频数据进行聚合的聚合周期较短，频率较高；但是，对于客户端中的Tracker而言，采集的视频数据中，可能只有部分随时间的递增而增加的参数发生变化，如观看时长、视频加载时长等参数，而其他的参数不会发生变化，如视频标识、视频名称等参数，若设置Tracker的发送周期与服务器的聚合周期相同，则能够保证及时的将客户端中的视频数据发送服务器，但是，由于客户端中发送视频数据的频率过高，并且，除视频数据中发生变化的参数外，其他未发生变化的参数均需发送，导致客户端会发送视频数据的数据量较大，给网络资源带来很大的压力，浪费不必要的网络资源消耗。
为了解决上述客户端频繁给服务器发送视频数据为导致浪费不必要网络资源的问题，可以增长服务器的聚合周期，即降低服务器聚合的频率，此时，客户端中Tracker的发送周期与服务器的聚合周期相同，那么，客户端中Tracker发送视频数据的次数减少，使得消耗的网络资源也随之减少；但是，由于服务器侧聚合周期的变长，聚合后视频数据的实时性得不到保证，导致聚合后视频数据不能真实的反应当前观看视频的用户状态。
发明内容
有鉴于此，本发明提供的一种数据的处理方法、客户端、服务器及系统，主要目的在于解决现有技术中由于服务器侧聚合周期的变长，聚合后视频数据的实时性得不到保证，导致聚合后视频数据不能真实的反应当前观看视频的用户状态的问题。
为了解决上述问题，本发明主要提供如下技术方案：
一方面，本发明提供了一种数据的处理方法，该方法包括：
接收数据发送端发送的包含模拟数据参数的待处理数据；其中，模拟数据参数用于当数据发送端的数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数；所述模拟数据参数包括数据采集对象的标识信息及数据采集对象的生成持续时长，所述聚合周期为数据接收端对接收到的所述待处理数据进行聚合处理的周期；
若时间达到聚合周期且未接收到所述数据发送端发送的新的待处理数据，则根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成所述待处理数据对应的模拟数据，并对所述模拟数据进行聚合。
可选的，所述模拟数据参数中还包含发送待处理数据的时间间隔，根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成所述待处理数据对应的模拟数据包括：
根据所述聚合周期及所述发送待处理数据的时间间隔，计算生成模拟数据的生成次数；
当到达聚合周期时，根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成一次模拟数据，直到生成模拟数据的次数达到生成次数为止。
可选的，在根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成所述待处理数据对应的模拟数据之前，所述方法还包括：
对所述待处理数据进行解析，获取所述数据采集对象的标识信息；
确定预置对象缓存池中是否包含所述数据采集对象的标识信息；
若确定所述预置对象缓存池中未包含所述数据采集对象的标识信息，则将所述数据采集对象的标识信息及其对应的待处理数据存储于所述预置对象缓存池中。
可选的，所述对所述模拟数据进行聚合包括：
若确定所述预置对象缓存池中包含所述数据采集对象的标识信息，则根据所述数据采集对象的标识信息对所述预置对象缓存池中的待处理数据进行更新；
对更新后的待处理数据进行聚合。
可选的，所述方法还包括：
在达到数据发送端的数据发送时间间隔后，未接收到所述数据发送端发送的下一条待处理数据，将所述预置对象缓存池中与所述数据采集对象的标识信息对应的待处理数据删除。
可选的，所述数据采集对象为视频对象。
第二方面，本发明还提供一种数据的处理方法，该方法包括：
发送包含模拟数据参数的待处理数据至数据接收端；其中，模拟数据参数用于当数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数，所述模拟数据参数包括数据采集对象的标识信息、数据采集对象的生成持续时长，所述聚合周期为数据接收端对接收到的所述待处理数据进行聚合处理的周期；
到达数据发送时间间隔时，向所述数据接收端发送新的待处理数据。
可选的，在向所述数据接收端发送所述待处理数据之前，所述方法还包括：
对所述数据采集对象的当前状态进行监控，并确定所述当前状态是否发生变化；
若确定所述当前状态发生变化，则获取所述当前状态发生变化时对应的待处理数据，并将所述当前状态发生变化时对应的待处理数据发送至所述数据接收端。
可选的，所述数据采集对象为视频对象。
第三方面，本发明还提供一种服务器，该服务器包括：
接收单元，用于接收客户端发送的包含模拟数据参数的待处理数据；其中，模拟数据参数用于当数据发送端的数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数；所述模拟数据参数包括数据采集对象的标识信息及数据采集对象的生成持续时长，所述聚合周期为数据接收端对接收到的所述待处理数据进行聚合处理的周期；
生成单元，用于当时间达到聚合周期且未接收到所述数据发送端发送的新的待处理数据时，根据所述接收单元接收到的所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成所述待处理数据对应的模拟数据；
聚合单元，用于对所述生成单元生成的所述模拟数据进行聚合。
可选的，所述模拟数据参数中还包含发送待处理数据的时间间隔，所述生成单元包括：
计算模块，用于根据所述聚合周期及所述发送待处理数据的时间间隔，计算生成模拟数据的生成次数；
处理模块，用于当到达聚合周期时，根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成一次模拟数据，直到生成模拟数据的次数达到所述计算模块计算的生成次数为止。
可选的，所述服务器还包括：
解析单元，用于在所述聚合单元根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成所述待处理数据对应的模拟数据之前，对所述待处理数据进行解析；
第二获取单元，用于在所述解析单元对所述待处理数据进行解析后，获取所述数据采集对象的标识信息；
确定单元，用于确定预置对象缓存池中是否包含所述第二获取单元获取的所述数据采集对象的标识信息；
存储单元，用于当所述确定单元确定所述预置对象缓存池中未包含所述数据采集对象的标识信息时，将所述数据采集对象的标识信息及其对应的待处理数据存储于所述预置对象缓存池中。
可选的，所述聚合单元包括：
更新模块，用于当所述确定单元确定所述预置对象缓存池中包含所述数据采集对象的标识信息时，根据所述数据采集对象的标识信息对所述预置对象缓存池中的待处理数据进行更新；
聚合模块，用于对所述更新模块更新后的待处理数据进行聚合。
可选的，所述服务器还包括：
删除单元，用于当达到数据发送端的数据发送时间间隔后，未接收到所述客户端发送的下一条待处理数据，将所述预置对象缓存池中与所述数据采集对象的标识信息对应的待处理数据删除。
可选的，所述数据采集对象为视频对象。
第四方面，本发明实施例还提供一种客户端，包括：
第一发送单元，用于发送包含模拟数据参数的待处理数据至数据接收端；其中，模拟数据参数用于当数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数，所述模拟数据参数包括数据采集对象的标识信息、数据采集对象的生成持续时长，所述聚合周期为数据接收端对接收到的所述待处理数据进行聚合处理的周期；
第二发送单元，用于当到达数据发送时间间隔时，向所述数据接收端发送新的待处理数据。
可选的，所述客户端还包括：
第二监控单元，用于在所述第二发送单元向所述数据接收端发送所述待处理数据之前，对所述数据采集对象的当前状态进行监控；
确定单元，用于在所述第二监控单元对所述发送待处理数据的时间间隔进行监控过程中，确定所述当前状态是否发生变化；
处理单元，用于当所述确定单元确定所述当前状态发生变化时，获取所述当前状态发生变化时对应的待处理数据，并将所述当前状态发生变化时对应的待处理数据发送至所述数据接收端。
可选的，所述数据采集对象为视频对象。
第五方面，本发明还提供一种数据的处理系统，包括：如上任一项所述的服务器及如上任一项所述的客户端。
借由上述技术方案，本发明提供的技术方案至少具有下列优点：
本发明提供的数据的处理方法、客户端、服务器及系统，在服务器接收到数据发送端发送的包含模拟数据参数的待处理数据，当时间达到聚合周期且未接收到数据发送端发送的新的待处理数据，则根据数据采集对象的生成持续时长与聚合周期对应的时长生成待处理数据对应的模拟数据，并对模拟数据进行聚合；其中，模拟数据参数用于当数据发送端的数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数；模拟数据参数包括数据采集对象的标识信息及数据采集对象的生成持续时长，聚合周期为数据接收端对接收到的待处理数据进行聚合处理的周期；与现有技术相比，本发明中，若服务器在聚合周期内未接收到数据发送端发送的待处理数据，则使用数据采集对象的生成持续时长与聚合周期对应的时长，生成待处理数据的模拟数据，既能确保服务器侧聚合待处理数据的实时性、准确性，又能避免客户端侧发送大量采集到的待处理数据，降低了不必要网络资源带宽的消耗。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种数据的处理方法的流程图；
图2示出了本发明实施例提供的一种分布式存储系统的架构示意图；
图3示出了本发明实施例提供的一种生成待处理数据对应的模拟数据的流程图；
图4示出了本发明实施例提供的另一种数据的处理方法的流程图；
图5示出了本发明实施例提供一种服务器的组成框图；
图6示出了本发明实施例提供另一种服务器的组成框图；
图7示出了本发明实施例提供一种客户端的组成框图；
图8示出了本发明实施例提供另一种客户端的组成框图；
图9示出了本发明实施例提供的一种数据的处理系统的组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供一种数据的处理方法，该方法应用于服务器侧，如图1所示，所述方法包括：
101、服务器接收数据发送端发送的包含模拟数据参数的待处理数据。
在本发明实施例中，服务器中接收到的待处理数据包含模拟数据参数，所述模拟数据参数用于当数据发送端的数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数；所述模拟数据参数包括数据采集对象的标识信息及数据采集对象的生成持续时长，聚合周期为数据接收端对接收到的所述待处理数据进行聚合处理的周期。所述服务器基于接收到的待处理数据用于对客户端数据采集对象客(客户端)的用户行为进行统计、分析，所述客户端用户行为包括但不局限于以下内容，例如：客户端播放视频、在某网站内用户的访问时长等等，为了便于后续实施例的表述，本发明实施例将以服务器对客户端的视频播放行为进行处理为例进行说明，但应该明确的是，该种说明方式并非意在限定本发明实施例仅能对视频播放行为进行处理。
需要说明的是，本发明实施例所述模拟数据参数包括数据采集对象的标识信息及数据采集对象的生成持续时长，所述数据采集对象的生成持续时长包括，用户在观看视频过程中的浏览持续时长、网页在加载过程中的加载持续时长、浏览网站时的浏览持续时长、某数据从生成到当前时间的存活持续时长等等，具体的，本发明实施例对数据采集对象的生成持续时长的具体类型不作限定。为了便于说明，以下会以采集对象的生成持续时长为浏览持续时长为例进行说明，但应当明确的是，该种说明方式并非意在限定数据采集对象的生成持续时长的种类。
本发明实施例涉及到服务器与客户端之间的交互，在客户端中的数据采集器tracker会实时采集客户端中的视频播放数据，并按照预定的发送周期向服务器发送tracker采集到的待处理数据，服务器接收客户端(数据发送端)发送的待处理数据，所述待处理数据至少包括：模拟数据参数，模拟数据参数用于当预设发送周期大于聚合周期时，生成模拟数据所使用的参数。在具体应用过程中，所述待处理数据中还可以包含：当前观看视频的视频名称、发送下一条数据最长的时间间隔、当前用户等内容，本发明实施例对待处理数据中包含的具体内容不作限定。
在实际应用中，客户端向服务器发送待处理数据时，可以基于固定的数据发送周期发送待处理数据，例如，每60秒发送一次待处理数据；或者，客户端可以基于非固定的数据发送时间间隔发送数据，例如，设定向服务器发送待处理数据的数据时间间隔，每次递交1秒，如，第一次数据发送时间间隔为10秒，第二次数据发送时间间隔为11秒，依次类推，具体的，本发明实施例对客户端向服务器发送待处理数据的数据发送时间间隔不作限定。
在具体实现过程中，所述数据采集对应为视频对象，且该视频对象为客户端中当前正在播放的视频。示例性的，假设，客户端为某视频应用程序(Application，APP)，其当前播放视频的视频名称vname为视频A，tracker采集到当前用户uid为张三，视频A的标识信息ID为abc，视频A的生成持续时长pt为0秒，发送下一条数据最长的时间间隔sp为60秒，那么客户端向服务器发送的第一条待处理数据为：uid＝张三&ID＝abc&vname＝视频A&pt＝0s&sp＝60s，该条待处理数据为客户端首次点击视频A时，首次向服务器发送待处理数据，根据发送下一条数据最长的时间间隔sp，当tracker监控到到达下一条发送数据最长的时间间隔后，向服务器发送第二条待处理数据：uid＝张三&ID＝abc&vname＝视频A&pt＝60s&sp＝60s，以此类推，直至客户端将当前观看视频关闭，则停止向服务器发送视频A的视频播放数据。
从上述实施例可以看出，客户端向服务器发送的待处理数据中，针对同一视频对象的实时数据，只有与时长有关的参数才会发生变化，如：视频A的生成持续时长pt；但是对数的参数并没有发生变化，如：当前用户uid、视频A的标识信息ID及视频名称vname等，由此可以看出，现有技术中，通过减小tracker的发送间隔，即提高tracker的发送频率，以确保服务器处理视频数据的实时性，造成大量不必要网络资源的浪费，甚至会造成网络拥堵。
需要说明的是，本发明实施例所述的数据采集对象(当前播放视频)的生成持续时长与当前播放视频本身的时间进度不同，所述当前播放视频的浏览时长包含对当前播放视频的暂停、卡顿、快进或者后退等操作，而当前播放视频本身的时间进度与视频中的播放画面是一一对应的。若对当前播放视频进行快进，其当前播放视频的浏览时长会小于当前播放视频本身的当前显示播放时长；若对当前播放视频进行后退，其当前播放视频的浏览时长会大于当前播放视频本身的当前显示播放时长。
102、若时间达到聚合周期且未接收到所述数据发送端发送的新的待处理数据，则服务器根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成所述待处理数据对应的模拟数据，并对所述模拟数据进行聚合。
所述聚合为服务器针对同一数据采集对象(视频对象)的聚合，即将不同客户端发送的同一视频对象的信息进行加和汇总，在具体实现时包括：服务器根据数据采集对象的标识信息识别出同一视频对象，在此基础上，对不同客户端发送的待处理数据进行加和。
本发明实施例中，服务器将客户端发送的待处理数据进行聚合的目的在于，供客户了解最新的用户播放视频数据，要求服务器的实时性。但是，在具体实现过程中，限于服务器的处理能力，服务器不能对客户端发送的待处理数据进行实时聚合，服务器会采用较短的聚合周期对客户端发送的待处理数据进行计算，例如，聚合周期设置为10秒；或者；聚合周期设置为5秒，尽最大可能的实现计算待处理数据的实时性。
但是，对客户端中当前播放视频而言，客户端向服务器端发送的待处理数据中，可能只有部分参数会随当前视频的播放而出现变化，例如：当前播放视频的生成持续时长，因此，客户端在向服务器发送待处理数据时，采用的发送周期可能会是60秒；或者100秒，以减少客户端网络资源的消耗。
本发明实施例所述的方法适用于当客户端发送待处理数据的发送周期大于服务器端对待处理数据进行聚合的聚合周期的应用场景。当服务器到达下一次的聚合周期时，若未接收到数据发送端(客户端)发送的待处理数据，则根据数据采集对象的浏览时长与聚合周期对应的时长生成待处理数据对应的模拟数据，并根据生成的模拟数据进行聚合。
客户端向服务器发送待处理数据时，包含下一次发送待处理数据的最长时间间隔，若客户端中当前播放视频的视频播放状态未发生变化，则在向服务器发送下一条待处理数据时，按照待处理数据中确定的下一次发送待处理数据的最长时间间隔发送即可；若当前播放视频的视频播放状态发生变化，则客户端基于tracker采集当前播放视频的视频播放状态发生变化对应的待处理数据，并将其发送至服务器端；其中，当前播放视频的视频播放状态发生变化表现为当前播放视频的存在暂停、卡顿、快进或后退等；对于服务器端而言，在接收到客户端发送的待处理数据后，获取其包含的下一次发送待处理数据的最长时间间隔，若在到达下一次发送待处理数据的最长时间间隔期间未接收到客户端发送的待处理数据，服务器会默认为数据采集对象(当前播放视频)的生成持续时长与当前播放视频的播放时长一致，因此，通过模拟待处理数据的方式，实现服务器对待处理数据的实时计算。
在具体操作过程中，为了增加服务器对数据的处理能力，在服务器端采用分布式存储的方式对待处理数据进行聚合。图2示出了本发明实施例提供的一种分布式存储系统的架构示意图，如图2所示，包含多个服务器，每个服务器用于接收客户端发送的待处理数据，并且在分布式存储系统中，同一个服务器种会存储同一个客户端的待处理数据，而不会出现同一个客户端发送的待处理数据被存储于两个服务器中，提高了聚合待处理数据的准确性。在服务器执行根据数据采集对象的标识信息对待处理数据的聚合时，采用层层向上递进的方式(沿虚线方向)进行，最后由分布式存储系统中最上层的服务器进行聚合。需要说明的是，图2仅为示例性的举例，对分布式存储系统中服务器的实际数量不作限定。
本发明实施例提供的数据的处理方法，在服务器接收到数据发送端发送的包含模拟数据参数的待处理数据，当时间达到聚合周期且未接收到数据发送端发送的新的待处理数据，则根据数据采集对象的生成持续时长与聚合周期对应的时长生成待处理数据对应的模拟数据，并对模拟数据进行聚合；其中，模拟数据参数用于当数据发送端的数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数；模拟数据参数包括数据采集对象的标识信息及数据采集对象的生成持续时长，聚合周期为数据接收端对接收到的待处理数据进行聚合处理的周期；与现有技术相比，本发明实施例中，若服务器在聚合周期内未接收到数据发送端发送的待处理数据，则使用数据采集对象的生成持续时长与聚合周期对应的时长，生成待处理数据的模拟数据，既能确保服务器侧聚合待处理数据的实时性、准确性，又能避免客户端侧发送大量采集到的待处理数据，降低了不必要网络资源带宽的消耗。
进一步的，作为对上述实施例的细化和扩展，在步骤102执行若时间达到聚合周期且未接收到所述数据发送端发送的待处理数据，则根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成所述待处理数据对应的模拟数据，并对所述模拟数据进行聚合过程中，可以采用但不局限于以下方法实现，如图3所述，所述方法包括：
301、根据所述聚合周期及所述发送待处理数据的时间间隔，计算生成模拟数据的生成次数。
由上述实施例可知，本发明实施例适用于客户端发送待处理数据的发送周期大于服务器端对待处理数据进行聚合的聚合周期的应用场景，即服务器端聚合待处理数据的频率，高于客户端发送待处理数据的频率。
服务器首先对待处理数据进行解析，所述模拟数据参数中还包含发送待处理数据的时间间隔，获取模拟参数中包含的发送待处理数据的时间间隔、数据采集对象的标识信息及数据采集对象的生成持续时长，并根据发送待处理数据的时间间隔及聚合周期计算生成模拟数据的生成次数，其目的在于，在客户端中当前播放视频的视频播放状态未发生变化的情况下，确定在接收到客户端发送的下一个待处理数据之前，需要生成模拟数据的次数，以确保服务器计算待处理数据的准确性。
在具体实施过程中，客户端中当前播放视频的视频播放状态是否变化是不可预计的，当前播放视频的视频播放状态由网络带宽及用户的人为操作决定。因此，在服务器计算模拟数据的生成次数时，若在到达发送待处理数据的时间间隔前，服务器接收到客户端发送的待处理数据，则服务器会根据接收到的待处理数据中携带的发送待处理数据的时间间隔及聚合周期重新计算生成模拟数据的生成次数。
在本发明实施例中，计算生成模拟数据的生成次数的方法包括但不局限于以下方法：发送待处理数据的时间间隔/聚合周期-1；若该计算结果为整数，则直接将该计算结果作为模拟数据的生成次数，若该计算结果不为整数，则将该计算结果执行向上取整，将向上取整后的计算结果作为模拟生成数据的生成次数。
示例性的，承由图1所述的实施例，客户端发送的待处理数据为：uid＝张三&ID＝abc&vname＝视频A&pt＝60s&sp＝60s，其中，发送待处理数据的时间间隔为60秒，假设，服务器侧的聚合周期为10秒，计算生成模拟数据的生成次数为：60/10-1＝5次。
302、当到达聚合周期时，根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成一次模拟数据，直到生成模拟数据的次数达到生成次数为止。
客户端发送的待处理数据中，只有数据采集对象的生成持续时长存在变换，可能发送待处理数据的时间间隔也会发生变化，但是在服务器执行聚合的操作过程中不会依赖发送待处理数据的时间间隔，所述发送待处理数据的时间间隔起到对时间监控的作用，即当到达发送待处理数据的时间间隔时，若服务器未接收到客户端发送的待处理数据，则服务器会认定客户端中已退出当前视频的观看或者退出视频APP。因此，服务器在生成模拟数据时，仅更改待处理数据中的数据采集对象的生成持续时长即可。
承由步骤301中所述的示例，服务器接收待处理数据为：uid＝张三&ID＝abc&vname＝视频A&pt＝60s&sp＝60s，达到聚合周期的时长10秒后，服务器以接收到的待处理数据为模板，生成第一条模拟数据。包括：在接收到的待处理数据的基础上，将所述数据采集对象的浏览时长60秒与所述聚合周期对应的时长10秒进行第一次加和，得到数据采集对应的模拟浏览时长70秒，并生成第一模拟数据：uid＝张三&ID＝abc&vname＝视频A&pt＝70s&sp＝60s，服务器完成以接收到的待处理数据为模板的第一次模拟数据的生成；服务器根据模拟数据进行聚合计算。
当服务器监控到到达第二次生成模拟的时间后，以第一模拟数据为模板，生成第二模拟数据：uid＝张三&ID＝abc&vname＝视频A&pt＝80s&sp＝60s，以此类推，直到加和次数到达所述生成次数5次为止，服务器停止模拟数据的生成。
需要说明的是，图3所示的方式适用于在到达发送待处理数据的时间间隔对应的时间间隔之前，服务器未接收到客户端发送的待处理数据的应用场景。若在发送待处理数据的时间间隔对应的时间间隔之前，服务器接收到客户端重新发送的待处理数据，则无需继续生成模拟数据，直接使用新接收到的待处理数据进行聚合即可，并获取最新接收到的待处理数据中包含的发送待处理数据的时间间隔及聚合周期重新计算生成模拟数据的生成次数。
进一步的，服务器为了对不同客户端发送的待处理数据进行管理，在根据所述数据采集对象的标识信息对所述待处理数据进行聚合之前，首先，服务器对待处理数据进行解析，获取数据采集对象的标识信息，并确定预置对象缓存池中是否包含数据采集对象的标识信息，若确定该预置对象缓存池中未包含数据采集对象的标识信息，说明服务器第一次接收到该待处理数据，则将数据采集对象的标识信息及其对应的待处理数据存储于预置对象缓存池中；若确定所述预置对象缓存池中包含所述数据采集对象的标识信息，说明服务器不是第一次接收到客户端发送的待处理数据，则根据所述数据采集对象的标识信息对所述预置对象缓存池中的待处理数据进行更新，并对更新后的待处理数据进行聚合。
所述数据采集对象的标识信息为tracker在采集数据过程中随机生成的一个不可重复的字符串，在预置对象缓存池中，将数据采集对象的标识信息作为key，将待处理数据的其他参数作为value，并采用map(key，value)的方式进行存储。在服务器接收到待处理数据：ID＝abc&uid＝张三&vname＝视频A&pt＝0s&sp＝60s后，其数据采集对象的标识信息ID为abc，基于key＝abc在预置对象缓存池中进行查找遍历，若确定ID＝abc不存在于预置对象缓存池中，则将该条数据(ID＝abc，uid＝张三&vname＝视频A&pt＝0s&sp＝60s)进行存储，在服务器接收到ID＝abc对应的待处理数据后，对预置对象缓存池中的数据进行更新，更新为(ID＝abc，uid＝张三&vname＝视频A&pt＝60s&sp＝60s)。
进一步的，由上述实施例可知，客户端发送的待处理数据中包含下一次发送待处理数据的时间间隔，若服务器监控到到达发送待处理数据的时间间隔后，仍然未接收到客户端发送的下一条待处理数据，说明当前播放视频的播放已播放完成、或者用户退出了当前播放视频、或者用户退出了视频播放器，后续不会再有有关该当前播放视频对应的待处理数据，因此，服务器将所述预置对象缓存池中与所述数据采集对象的标识信息对应的待处理数据删除，同时不会在执行生成该数据采集对象的标识信息对应的模拟数据，以避免占用预置对象缓存池内的存储空间，节省了服务器的存储空间，进而提高了服务器对其他待处理数据的聚合能力。
进一步的，本发明实施例还提供另一种数据的处理方法，该方法应用于客户端侧，如图4所示，所述方法包括：
401、客户端发送包含模拟数据参数的待处理数据至数据接收端。
其中，模拟数据参数用于当数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数，所述模拟数据参数包括数据采集对象的标识信息、数据采集对象的生成持续时长，所述聚合周期为数据接收端对接收到的所述待处理数据进行聚合处理的周期。有关模拟参数的用途等说明，请参考服务器侧对模拟参数的详细说明，本发明实施例在此不再进行一一赘述。
在具体实现时，所述数据采集对象为视频对象。所述待处理数据为网页或者APP中当前播放视频对应的待处理数据，具体的，本发明实施例对待处理数据对应的应用类型不作限定。
402、到达数据发送时间间隔时，客户端向所述数据接收端发送新的待处理数据。
在具体实现过程中，客户端会通过计数器对数据发送时间间隔进行计时。当客户端确定到达所述下一次发送数据发送时间间隔时，向所述数据接收端发送继续新的(下一个)待处理数据。
本发明实施例提供的数据的处理方法，在服务器接收到数据发送端发送的包含模拟数据参数的待处理数据，当时间达到聚合周期且未接收到数据发送端发送的新的待处理数据，则根据数据采集对象的生成持续时长与聚合周期对应的时长生成待处理数据对应的模拟数据，并对模拟数据进行聚合；其中，模拟数据参数用于当数据发送端的数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数；模拟数据参数包括数据采集对象的标识信息及数据采集对象的生成持续时长，聚合周期为数据接收端对接收到的待处理数据进行聚合处理的周期；与现有技术相比，本发明实施例中，若服务器在聚合周期内未接收到数据发送端发送的待处理数据，则使用数据采集对象的生成持续时长与聚合周期对应的时长，生成待处理数据的模拟数据，既能确保服务器侧聚合待处理数据的实时性、准确性，又能避免客户端侧发送大量采集到的待处理数据，降低了不必要网络资源带宽的消耗。
进一步的，作为对上述实施例的进一步细化，在向所述数据接收端发送所述待处理数据之前，对数据采集对象的当前状态进行监控，即客户端对当前播放视频的视频播放状态进行监控；确定视频播放状态是否发生变化，若确定所述视频播放状态发生变化，则获取所述视频播放状态发生变化时对应的待处理数据，并将所述视频播放状态发生变化时对应的待处理数据发送至所述数据接收端；若确定当前播放视频的视频播放状态未发生变化，则继续对所述下一次发送待处理数据的时间间隔进行监控。其中，所述视频播放状态发送变化包含但不局限于以下内容，例如：当前播放视频的暂停、卡顿、快进或者后退等。
进一步的，作为对上述图1所示方法的实现，本发明另一实施例还提供了一种服务器。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。
本发明实施例提供一种服务器，如图5所示，该服务器包括：
接收单元51，用于接收客户端发送的包含模拟数据参数的待处理数据；其中，模拟数据参数用于当数据发送端的数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数；所述模拟数据参数包括数据采集对象的标识信息及数据采集对象的生成持续时长，所述聚合周期为数据接收端对接收到的所述待处理数据进行聚合处理的周期；
生成单元52，用于当时间达到聚合周期且未接收到所述数据发送端发送的新的待处理数据时，根据所述接收单元51接收到的所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成所述待处理数据对应的模拟数据；
聚合单元53，用于对所述生成单元52生成的所述模拟数据进行聚合。
进一步的，如图6所示，所述模拟数据参数中还包含发送待处理数据的时间间隔，所述生成单元52包括：
计算模块521，用于根据所述聚合周期及所述发送待处理数据的时间间隔，计算生成模拟数据的生成次数；
处理模块522，用于当到达聚合周期时，根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成一次模拟数据，直到生成模拟数据的次数达到所述计算模块计算的生成次数为止。
进一步的，如图6所示，所述服务器还包括：
解析单元54，用于在所述聚合单元53根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成所述待处理数据对应的模拟数据之前，对所述待处理数据进行解析；
第二获取单元55，用于在所述解析单元54对所述待处理数据进行解析后，获取所述数据采集对象的标识信息；
确定单元56，用于确定预置对象缓存池中是否包含所述第二获取单元55获取的所述数据采集对象的标识信息；
存储单元57，用于当所述确定单元56确定所述预置对象缓存池中未包含所述数据采集对象的标识信息时，所述数据采集对象的标识信息及其对应的待处理数据存储于所述预置对象缓存池中。
进一步的，如图6所示，所述聚合单元53包括：
更新模块531，用于当所述确定单元确定所述预置对象缓存池中包含所述数据采集对象的标识信息时，根据所述数据采集对象的标识信息对所述预置对象缓存池中的待处理数据进行更新；
聚合模块532，用于对所述更新模块更新后的待处理数据进行聚合。
进一步的，如图6所示，所述服务器还包括：
删除单元58，用于当达到数据发送端的数据发送时间间隔后，未接收到所述客户端发送的下一条待处理数据，将所述预置对象缓存池中与所述数据采集对象的标识信息对应的待处理数据删除。
进一步的，所述数据采集对象为视频对象。
进一步的，作为对上述图4所示方法的实现，本发明实施例还提供一种客户端，如图7所示，所述客户端包括：
第一发送单元71，用于发送包含模拟数据参数的待处理数据至数据接收端；其中，模拟数据参数用于当数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数，所述模拟数据参数包括数据采集对象的标识信息、数据采集对象的生成持续时长，所述聚合周期为数据接收端对接收到的所述待处理数据进行聚合处理的周期；
第二发送单元72，用于当到达数据发送时间间隔时，向所述数据接收端发送新的待处理数据。
进一步的，如图8所述，所述客户端还包括：
监控单元73，用于在所述第二发送单元72向所述数据接收端发送所述待处理数据之前，对所述数据采集对象的当前状态进行监控；
确定单元74，用于在所述第二监控单元73对所述发送待处理数据的时间间隔进行监控过程中，确定所述当前状态是否发生变化；
处理单元75，用于当所述确定单元74确定所述当前状态发生变化时，获取所述当前状态发生变化时对应的待处理数据，并将所述当前状态发生变化时对应的待处理数据发送至所述数据接收端。
进一步的，所述数据采集对象为视频对象。
进一步的，本发明实施例还提供一种数据的处理系统，如图9所示，所述系统包括如图6或图7中任一幅所示的服务器91及如图8或图9中任一幅所示的客户端92。
本发明实施例提供的客户端、服务器及数据的处理系统，在服务器接收到数据发送端发送的包含模拟数据参数的待处理数据，当时间达到聚合周期且未接收到数据发送端发送的待处理数据，则根据数据采集对象的生成持续时长与聚合周期对应的时长生成待处理数据对应的模拟数据，并对模拟数据进行聚合；其中，模拟数据参数用于当数据发送端的数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数；模拟数据参数包括数据采集对象的标识信息及数据采集对象的生成持续时长，聚合周期为数据接收端对接收到的待处理数据进行聚合处理的周期；与现有技术相比，本发明实施例中，若服务器在聚合周期内未接收到数据发送端发送的待处理数据，则使用数据采集对象的生成持续时长与聚合周期对应的时长，生成待处理数据的模拟数据，既能确保服务器侧聚合待处理数据的实时性、准确性，又能避免客户端侧发送大量采集到的待处理数据，降低了不必要网络资源带宽的消耗。
所述服务器包括处理器和存储器，上述第一获取单元、第一聚合单元、生成单元和第二聚合单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决现有技术中由于服务器侧聚合周期的变长，聚合后视频数据的实时性得不到保证，导致聚合后视频数据不能真实的反应当前观看视频的用户状态的问题。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：接收数据发送端发送的包含模拟数据参数的待处理数据；其中，模拟数据参数用于当数据发送端的数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数；所述模拟数据参数包括数据采集对象的标识信息及数据采集对象的生成持续时长，所述聚合周期为数据接收端对接收到的所述待处理数据进行聚合处理的周期；若时间达到聚合周期且未接收到所述数据发送端发送的新的待处理数据，则根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成所述待处理数据对应的模拟数据，并对所述模拟数据进行聚合。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (19)

1.一种数据的处理方法，其特征在于，包括：
接收数据发送端发送的包含模拟数据参数的待处理数据；其中，模拟数据参数用于当数据发送端的数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数；所述模拟数据参数包括数据采集对象的标识信息及数据采集对象的生成持续时长，所述聚合周期为数据接收端对接收到的所述待处理数据进行聚合处理的周期；
若时间达到聚合周期且未接收到所述数据发送端发送的新的待处理数据，则根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成所述待处理数据对应的模拟数据，并对所述模拟数据进行聚合。
2.根据权利要求1所述的方法，其特征在于，所述模拟数据参数中还包含发送待处理数据的时间间隔，根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成所述待处理数据对应的模拟数据包括：
根据所述聚合周期及所述发送待处理数据的时间间隔，计算生成模拟数据的生成次数；
当到达聚合周期时，根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成一次模拟数据，直到生成模拟数据的次数达到生成次数为止。
3.根据权利要求2所述的方法，其特征在于，在根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成所述待处理数据对应的模拟数据之前，所述方法还包括：
对所述待处理数据进行解析，获取所述数据采集对象的标识信息；
确定预置对象缓存池中是否包含所述数据采集对象的标识信息；
若确定所述预置对象缓存池中未包含所述数据采集对象的标识信息，则将所述数据采集对象的标识信息及其对应的待处理数据存储于所述预置对象缓存池中。
4.根据权利要求3所述的方法，其特征在于，所述对所述模拟数据进行聚合包括：
若确定所述预置对象缓存池中包含所述数据采集对象的标识信息，则根据所述数据采集对象的标识信息对所述预置对象缓存池中的待处理数据进行更新；
对更新后的待处理数据进行聚合。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在达到数据发送端的数据发送时间间隔后，未接收到所述数据发送端发送的下一条待处理数据，将所述预置对象缓存池中与所述数据采集对象的标识信息对应的待处理数据删除。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述数据采集对象为视频对象。
7.一种数据的处理方法，其特征在于，包括：
发送包含模拟数据参数的待处理数据至数据接收端；其中，模拟数据参数用于当数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数，所述模拟数据参数包括数据采集对象的标识信息、数据采集对象的生成持续时长，所述聚合周期为数据接收端对接收到的所述待处理数据进行聚合处理的周期；
到达数据发送时间间隔时，向所述数据接收端发送新的待处理数据。
8.根据权利要求7所述的方法，其特征在于，在向所述数据接收端发送所述待处理数据之前，所述方法还包括：
对所述数据采集对象的当前状态进行监控，并确定所述当前状态是否发生变化；
若确定所述当前状态发生变化，则获取所述当前状态发生变化时对应的待处理数据，并将所述当前状态发生变化时对应的待处理数据发送至所述数据接收端。
9.根据权利要求7或8所述的方法，其特征在于，所述数据采集对象为视频对象。
10.一种服务器，其特征在于，包括：
接收单元，用于接收客户端发送的包含模拟数据参数的待处理数据；其中，模拟数据参数用于当数据发送端的数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数；所述模拟数据参数包括数据采集对象的标识信息及数据采集对象的生成持续时长，所述聚合周期为数据接收端对接收到的所述待处理数据进行聚合处理的周期；
生成单元，用于当时间达到聚合周期且未接收到所述数据发送端发送的新的待处理数据时，根据所述接收单元接收到的所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成所述待处理数据对应的模拟数据；
聚合单元，用于对所述生成单元生成的所述模拟数据进行聚合。
11.根据权利要求10所述的服务器，其特征在于，所述模拟数据参数中还包含发送待处理数据的时间间隔，所述生成单元包括：
计算模块，用于根据所述聚合周期及所述发送待处理数据的时间间隔，计算生成模拟数据的生成次数；
处理模块，用于当到达聚合周期时，根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成一次模拟数据，直到生成模拟数据的次数达到所述计算模块计算的生成次数为止。
12.根据权利要求11所述的服务器，其特征在于，所述服务器还包括：
解析单元，用于在所述聚合单元根据所述数据采集对象的生成持续时长与所述聚合周期对应的时长生成所述待处理数据对应的模拟数据之前，对所述待处理数据进行解析；
第二获取单元，用于在所述解析单元对所述待处理数据进行解析后，获取所述数据采集对象的标识信息；
确定单元，用于确定预置对象缓存池中是否包含所述第二获取单元获取的所述数据采集对象的标识信息；
存储单元，用于当所述确定单元确定所述预置对象缓存池中未包含所述数据采集对象的标识信息时，将所述数据采集对象的标识信息及其对应的待处理数据存储于所述预置对象缓存池中。
13.根据权利要求12所述的服务器，其特征在于，所述聚合单元包括：
更新模块，用于当所述确定单元确定所述预置对象缓存池中包含所述数据采集对象的标识信息时，根据所述数据采集对象的标识信息对所述预置对象缓存池中的待处理数据进行更新；
聚合模块，用于对所述更新模块更新后的待处理数据进行聚合。
14.根据权利要求12所述的服务器，其特征在于，所述服务器还包括：
删除单元，用于当达到数据发送端的数据发送时间间隔后，未接收到所述客户端发送的下一条待处理数据，将所述预置对象缓存池中与所述数据采集对象的标识信息对应的待处理数据删除。
15.根据权利要求10-14中任一项所述的服务器，其特征在于，所述数据采集对象为视频对象。
16.一种客户端，其特征在于，包括：
第一发送单元，用于发送包含模拟数据参数的待处理数据至数据接收端；其中，模拟数据参数用于当数据发送时间间隔大于数据接收端的聚合周期时，生成模拟数据所使用的参数，所述模拟数据参数包括数据采集对象的标识信息、数据采集对象的生成持续时长，所述聚合周期为数据接收端对接收到的所述待处理数据进行聚合处理的周期；
第二发送单元，用于当到达数据发送时间间隔时，向所述数据接收端发送新的待处理数据。
17.根据权利要求16所述的客户端，其特征在于，所述客户端还包括：
监控单元，用于在所述第二发送单元向所述数据接收端发送所述待处理数据之前，对所述数据采集对象的当前状态进行监控；
确定单元，用于在所述第二监控单元对所述发送待处理数据的时间间隔进行监控过程中，确定所述当前状态是否发生变化；
处理单元，用于当所述确定单元确定所述当前状态发生变化时，获取所述当前状态发生变化时对应的待处理数据，并将所述当前状态发生变化时对应的待处理数据发送至所述数据接收端。
18.根据权利要求16或17所述的客户端，其特征在于，所述数据采集对象为视频对象。
19.一种数据的处理系统，其特征在于，所述系统包括如权利要求10-15中任一项所述的服务器及如权利要求16-18中任一项所述的客户端。
CN201610983690.6A 2016-11-08 2016-11-08 数据的处理方法、客户端、服务器及系统 Active CN108063746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610983690.6A CN108063746B (zh) 2016-11-08 2016-11-08 数据的处理方法、客户端、服务器及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610983690.6A CN108063746B (zh) 2016-11-08 2016-11-08 数据的处理方法、客户端、服务器及系统

Publications (2)

Publication Number Publication Date
CN108063746A true CN108063746A (zh) 2018-05-22
CN108063746B CN108063746B (zh) 2020-05-15

Family

ID=62136798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610983690.6A Active CN108063746B (zh) 2016-11-08 2016-11-08 数据的处理方法、客户端、服务器及系统

Country Status (1)

Country Link
CN (1) CN108063746B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677623A (zh) * 2019-10-15 2020-01-10 北京百度网讯科技有限公司 数据处理的方法、装置、设备和存储介质
CN112367234A (zh) * 2020-10-27 2021-02-12 深圳力维智联技术有限公司 模拟数据生成方法、终端设备及计算机可读存储介质
CN113395302A (zh) * 2020-03-11 2021-09-14 杭州中天微系统有限公司 异步数据分发器、相关装置和方法
CN113515508A (zh) * 2021-04-01 2021-10-19 广州云硕科技发展有限公司 一种用于智能机器人的信息采集方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0668003A1 (en) * 1992-11-09 1995-08-23 Daewoo Electronics Co., Ltd Method and apparatus for preprogramming a video cassette recorder
CN1394402A (zh) * 2000-09-01 2003-01-29 松下电器产业株式会社 接收终端模拟装置、发送日程作成装置、接收终端以及使用它们的数据收发系统
CN102750599A (zh) * 2011-11-29 2012-10-24 新奥特（北京）视频技术有限公司 一种视音频文件技术审查的方法
CN103108080A (zh) * 2013-01-21 2013-05-15 深圳市金立通信设备有限公司 一种控制视频播放的方法及移动终端
CN104317958A (zh) * 2014-11-12 2015-01-28 北京国双科技有限公司 一种实时数据处理方法及系统
CN104796602A (zh) * 2015-03-23 2015-07-22 北京畅游天下网络技术有限公司 一种合并视频文件的方法及装置
CN105100830A (zh) * 2015-07-23 2015-11-25 中国科学院声学研究所 一种基于视频聚合服务的快速切换视频源的装置和方法
CN105577804A (zh) * 2015-12-25 2016-05-11 合肥华凌股份有限公司 大数据的处理方法及处理装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0668003A1 (en) * 1992-11-09 1995-08-23 Daewoo Electronics Co., Ltd Method and apparatus for preprogramming a video cassette recorder
CN1394402A (zh) * 2000-09-01 2003-01-29 松下电器产业株式会社 接收终端模拟装置、发送日程作成装置、接收终端以及使用它们的数据收发系统
CN102750599A (zh) * 2011-11-29 2012-10-24 新奥特（北京）视频技术有限公司 一种视音频文件技术审查的方法
CN103108080A (zh) * 2013-01-21 2013-05-15 深圳市金立通信设备有限公司 一种控制视频播放的方法及移动终端
CN104317958A (zh) * 2014-11-12 2015-01-28 北京国双科技有限公司 一种实时数据处理方法及系统
CN104796602A (zh) * 2015-03-23 2015-07-22 北京畅游天下网络技术有限公司 一种合并视频文件的方法及装置
CN105100830A (zh) * 2015-07-23 2015-11-25 中国科学院声学研究所 一种基于视频聚合服务的快速切换视频源的装置和方法
CN105577804A (zh) * 2015-12-25 2016-05-11 合肥华凌股份有限公司 大数据的处理方法及处理装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677623A (zh) * 2019-10-15 2020-01-10 北京百度网讯科技有限公司 数据处理的方法、装置、设备和存储介质
US11671678B2 (en) 2019-10-15 2023-06-06 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device, equipment, and storage medium for data processing
CN113395302A (zh) * 2020-03-11 2021-09-14 杭州中天微系统有限公司 异步数据分发器、相关装置和方法
CN112367234A (zh) * 2020-10-27 2021-02-12 深圳力维智联技术有限公司 模拟数据生成方法、终端设备及计算机可读存储介质
CN112367234B (zh) * 2020-10-27 2022-04-29 深圳力维智联技术有限公司 模拟数据生成方法、终端设备及计算机可读存储介质
CN113515508A (zh) * 2021-04-01 2021-10-19 广州云硕科技发展有限公司 一种用于智能机器人的信息采集方法及系统
CN113515508B (zh) * 2021-04-01 2022-08-02 广州云硕科技发展有限公司 一种用于智能机器人的信息采集方法及系统

Also Published As

Publication number Publication date
CN108063746B (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN106020715B (zh) 存储池容量管理
US9762552B2 (en) Efficient sensor data delivery
CN108063746A (zh) 数据的处理方法、客户端、服务器及系统
WO2020190650A1 (en) Methods and apparatus to estimate population reach from different marginal ratings and/or unions of marginal ratings based on impression data
CN102929938B (zh) 一种可播放型网络资源的排序方法及装置
CN107402881A (zh) 一种项目测试的选取方法及装置
CN110889039B (zh) 一种在阅读应用中进行书籍推送的方法与设备
CN105468764B (zh) 一种数据处理方法、装置及集群服务系统
WO2014206131A1 (en) Method and apparatus for report generation
CN108259207A (zh) 流量统计方法、客户端、服务器及系统
CN108700928A (zh) 在装置上显示内容时基于电池使用率来管理内容
CN109117442A (zh) 一种应用推荐方法及装置
US10943691B2 (en) Cost of healthcare analytics platform
CN107924345A (zh) 用于度量的聚合测量结果的数据存储区
CN108322819A (zh) 预测用户行为的方法及装置
CN109598526A (zh) 媒体贡献的分析方法及装置
CN107562426A (zh) 无埋点式云端收集分析浏览器Trace的方法及系统
CN107391528A (zh) 前端组件依赖信息搜索方法及设备
CN106776614A (zh) 分享平台的显示方法及装置
CN103957500B (zh) 用户流量提醒方法和装置
CN108038001A (zh) 垃圾文件清理策略生成方法、装置及服务器
CN109769027A (zh) 一种消息推送方法、装置及设备
CN109756762A (zh) 一种终端类别的确定方法及装置
CN106648912A (zh) 数据采集平台中数据处理的模块化方法及装置
CN110798496A (zh) 一种cdn调度系统、方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Applicant after: Beijing Guoshuang Technology Co.,Ltd.

Address before: 100086 Cuigong Hotel, 76 Zhichun Road, Shuangyushu District, Haidian District, Beijing

Applicant before: Beijing Guoshuang Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant