CN105550523A - 数据处理方法 - Google Patents
数据处理方法 Download PDFInfo
- Publication number
- CN105550523A CN105550523A CN201511004409.1A CN201511004409A CN105550523A CN 105550523 A CN105550523 A CN 105550523A CN 201511004409 A CN201511004409 A CN 201511004409A CN 105550523 A CN105550523 A CN 105550523A
- Authority
- CN
- China
- Prior art keywords
- data
- data processing
- user behavior
- processing method
- retry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
- G16Z99/00—Subject matter not provided for in other main groups of this subclass
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种数据处理方法。所述数据处理方法包括以下步骤：获取当前的用户行为数据；判断获取的用户行为数据的数据量是否超出第一数据处理应用的最大处理量，若否则启用第一数据处理应用处理所述用户行为数据，若是则将所述用户行为数据中相当于所述最大处理量的部分数据放入正常数据队列中，将其余数据放入重试数据队列中；启用第一数据处理应用提取正常数据队列中的数据并进行数据处理，并启用重试数据处理应用提取重试数据队列中的数据并进行数据处理。本发明的数据处理方法，不会因为处理过程中的异常导致后续的用户行为数据得不到及时处理，确保在各种情形下用户的行为数据始终能够得到实时的处理和使用。
Description
技术领域
本发明涉及一种数据处理方法。
背景技术
近几年，互联网行业快速发展，基于用户进行的大数据分析成为各大互联网公司的主要研究方向之一。例如在在线旅游网站中，一个用户在预订酒店业务时，系统可以列出用户前几秒钟的浏览历史记录，方便用户快速回到刚浏览过的酒店，可有助于提升用户的使用体验。互联网服务商也可以根据用户的浏览记录，有针对性的展示适合用户的酒店和房型，有效的提升酒店的预订效率和预定量。
然而，现有技术中的实时处理用户方式，当出现一段时间内待处理的数据量突然增大超过当前应用的处理能力或处理过程中产生一些失败时，通常是通过在处理过程中慢慢排队处理或对失败的处理进行重试。这样的方式易导致当前处理过程被占用，后续产生的用户行为数据得不到实时处理的缺陷，影响用户体验。
发明内容
本发明要解决的技术问题是为了克服现有技术中针对用户实时行为数据进行分析和存储时，当出现异常时，新产生的用户行为数据得不到实时处理，影响处理效率和用户体验的缺陷，提供一种数据处理方法。
本发明是通过下述技术方案来解决上述技术问题的：
一种数据处理方法，其特点在于，包括以下步骤：
步骤一、获取当前的用户行为数据；
步骤二、判断获取的用户行为数据的数据量是否超出第一数据处理应用的最大处理量，若否则启用第一数据处理应用处理所述用户行为数据，并结束流程，若是则执行步骤三；
步骤三、将所述用户行为数据中相当于所述最大处理量的部分数据放入正常数据队列中，将其余数据放入重试数据队列中；
步骤四、启用第一数据处理应用提取正常数据队列中的数据并进行数据处理，并启用重试数据处理应用提取重试数据队列中的数据并进行数据处理。
较佳地，所述数据处理方法还包括以下步骤：
步骤五、实时获取数据处理的结果，并将处理失败的数据放入到重试数据队列中。
较佳地，步骤二及步骤四中的数据处理包括数据的分析、筛选和/或存储。
较佳地，第一数据处理应用和重试数据处理应用基于不同的硬件设备实施。
较佳地，所述用户行为数据包括用户浏览网页产生的数据。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：
本发明提供了一种数据处理方法，不会因为处理过程中的异常导致后续的用户行为数据得不到及时处理，确保在各种情形下用户的行为数据始终能够得到实时的处理和使用。
附图说明
图1为本发明一较佳实施例的数据处理方法的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
参考图1所示，本发明一较佳实施例的数据处理方法包括以下步骤：
步骤一、获取当前的用户行为数据；
步骤二、判断获取的用户行为数据的数据量是否超出第一数据处理应用的最大处理量，若否则启用第一数据处理应用处理所述用户行为数据，并结束流程，若是则执行步骤三；
步骤三、将所述用户行为数据中相当于所述最大处理量的部分数据放入正常数据队列中，将其余数据放入重试数据队列中；
步骤四、启用第一数据处理应用提取正常数据队列中的数据并进行数据处理，并启用重试数据处理应用提取重试数据队列中的数据并进行数据处理；
步骤五、实时获取数据处理的结果，并将处理失败的数据放入到重试数据队列中。
其中，步骤二及步骤四中的数据处理包括数据的分析、筛选和存储。第一数据处理应用和重试数据处理应用基于不同的硬件设备实施。所述用户行为数据包括用户浏览网页产生的数据。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (5)
1.一种数据处理方法，其特征在于，包括以下步骤：
步骤一、获取当前的用户行为数据；
步骤二、判断获取的用户行为数据的数据量是否超出第一数据处理应用的最大处理量，若否则启用第一数据处理应用处理所述用户行为数据，并结束流程，若是则执行步骤三；
步骤三、将所述用户行为数据中相当于所述最大处理量的部分数据放入正常数据队列中，将其余数据放入重试数据队列中；
步骤四、启用第一数据处理应用提取正常数据队列中的数据并进行数据处理，并启用重试数据处理应用提取重试数据队列中的数据并进行数据处理。
2.如权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括以下步骤：
步骤五、实时获取数据处理的结果，并将处理失败的数据放入到重试数据队列中。
3.如权利要求1所述的数据处理方法，其特征在于，步骤二及步骤四中的数据处理包括数据的分析、筛选和/或存储。
4.如权利要求1所述的数据处理方法，其特征在于，第一数据处理应用和重试数据处理应用基于不同的硬件设备实施。
5.如权利要求1-4中任意一项所述的数据处理方法，其特征在于，所述用户行为数据包括用户浏览网页产生的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511004409.1A CN105550523A (zh) | 2015-12-28 | 2015-12-28 | 数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511004409.1A CN105550523A (zh) | 2015-12-28 | 2015-12-28 | 数据处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105550523A true CN105550523A (zh) | 2016-05-04 |
Family
ID=55829711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201511004409.1A Pending CN105550523A (zh) | 2015-12-28 | 2015-12-28 | 数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105550523A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105920872A (zh) * | 2016-06-13 | 2016-09-07 | 宜春学院 | 一种天然药物超声连续提取浓缩装置 |
| CN106411500A (zh) * | 2016-10-18 | 2017-02-15 | 林少忠 | 一种通讯过程中的数据加密方法 |
| CN106599550A (zh) * | 2016-11-25 | 2017-04-26 | 北京像素软件科技股份有限公司 | 一种用于管理游戏行为的数据处理方法及装置 |
| CN107154903A (zh) * | 2017-07-04 | 2017-09-12 | 合肥市乐腾科技咨询有限公司 | 一种数据处理方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1858735A (zh) * | 2005-12-30 | 2006-11-08 | 华为技术有限公司 | 一种海量数据的处理方法 |
| CN102314336A (zh) * | 2010-07-05 | 2012-01-11 | 深圳市腾讯计算机系统有限公司 | 一种数据处理方法和系统 |
| CN103222242A (zh) * | 2010-11-18 | 2013-07-24 | 思科技术公司 | 用于避免线端阻塞的动态流重新分布 |
| CN103942195A (zh) * | 2013-01-17 | 2014-07-23 | 中国银联股份有限公司 | 一种数据处理系统以及数据处理方法 |
| CN105025042A (zh) * | 2014-04-16 | 2015-11-04 | 中国移动通信集团河北有限公司 | 一种确定数据信息的方法及系统、代理服务器 |
| CN105100876A (zh) * | 2015-08-28 | 2015-11-25 | 北京奇艺世纪科技有限公司 | 一种流媒体的播放方法及装置 |
-
2015
- 2015-12-28 CN CN201511004409.1A patent/CN105550523A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1858735A (zh) * | 2005-12-30 | 2006-11-08 | 华为技术有限公司 | 一种海量数据的处理方法 |
| CN102314336A (zh) * | 2010-07-05 | 2012-01-11 | 深圳市腾讯计算机系统有限公司 | 一种数据处理方法和系统 |
| CN103222242A (zh) * | 2010-11-18 | 2013-07-24 | 思科技术公司 | 用于避免线端阻塞的动态流重新分布 |
| CN103942195A (zh) * | 2013-01-17 | 2014-07-23 | 中国银联股份有限公司 | 一种数据处理系统以及数据处理方法 |
| CN105025042A (zh) * | 2014-04-16 | 2015-11-04 | 中国移动通信集团河北有限公司 | 一种确定数据信息的方法及系统、代理服务器 |
| CN105100876A (zh) * | 2015-08-28 | 2015-11-25 | 北京奇艺世纪科技有限公司 | 一种流媒体的播放方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105920872A (zh) * | 2016-06-13 | 2016-09-07 | 宜春学院 | 一种天然药物超声连续提取浓缩装置 |
| CN106411500A (zh) * | 2016-10-18 | 2017-02-15 | 林少忠 | 一种通讯过程中的数据加密方法 |
| CN106599550A (zh) * | 2016-11-25 | 2017-04-26 | 北京像素软件科技股份有限公司 | 一种用于管理游戏行为的数据处理方法及装置 |
| CN107154903A (zh) * | 2017-07-04 | 2017-09-12 | 合肥市乐腾科技咨询有限公司 | 一种数据处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105550523A (zh) | 数据处理方法 | |
| JP5805188B2 (ja) | 照会結果をソートするための方法および装置 | |
| US10298705B2 (en) | Recommendation method and device | |
| AU2019232799A1 (en) | Service processing method and apparatus | |
| US20130132851A1 (en) | Sentiment estimation of web browsing user | |
| US8949243B1 (en) | Systems and methods for determining a rating for an item from user reviews | |
| US10152458B1 (en) | Systems for determining long-term effects in statistical hypothesis testing | |
| CN104461742A (zh) | 计算设备优化方法及装置 | |
| WO2014153970A1 (en) | Method and apparatus for text input protection | |
| CN111221700B (zh) | 一种集群节点状态监控方法、装置、设备及可读存储介质 | |
| Ashcroft et al. | Effect of water and mechanical stress on durability | |
| CN104063799A (zh) | 一种推广信息的推送方法及装置 | |
| CN104793982A (zh) | 一种创建虚拟机的方法和设备 | |
| CN103440199A (zh) | 测试引导方法和装置 | |
| US20240176909A1 (en) | Differential privacy-based service analysis method and apparatus | |
| CN104967698A (zh) | 一种爬取网络数据的方法和装置 | |
| CN107329832B (zh) | 一种数据接收方法及装置 | |
| US11627193B2 (en) | Method and system for tracking application activity data from remote devices and generating a corrective action data structure for the remote devices | |
| Dai et al. | An improved straggler identification scheme for data-intensive computing on cloud platforms | |
| CN115774602A (zh) | 一种容器资源的分配方法、装置、设备及存储介质 | |
| US11605042B1 (en) | Artificial intelligence system for content presentation impact estimation | |
| US20190057151A1 (en) | Predictive modeling in event processing systems for big data processing in cloud | |
| CN103746968A (zh) | 一种cdn服务器摘除方法、cdn控制中心及系统 | |
| US9582368B2 (en) | Method and apparatus for text input protection | |
| CN113590310A (zh) | 基于规则触碰率评分的资源分配方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160504 |