CN105450737B - 一种数据处理方法、装置和系统 - Google Patents

一种数据处理方法、装置和系统 Download PDF

Info

Publication number
CN105450737B
CN105450737B CN201510776848.8A CN201510776848A CN105450737B CN 105450737 B CN105450737 B CN 105450737B CN 201510776848 A CN201510776848 A CN 201510776848A CN 105450737 B CN105450737 B CN 105450737B
Authority
CN
China
Prior art keywords
data
time
characteristic information
expiration time
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510776848.8A
Other languages
English (en)
Other versions
CN105450737A (zh
Inventor
李叠
庄上林
魏中华
解保功
岳帅杰
杜鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201510776848.8A priority Critical patent/CN105450737B/zh
Publication of CN105450737A publication Critical patent/CN105450737A/zh
Application granted granted Critical
Publication of CN105450737B publication Critical patent/CN105450737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种数据处理方法、装置和系统，通过周期性的计划任务，遍历所有数据并获取在任务周期内到期的所有数据，将数据按到期时间的早晚进行排序，依照排序顺序在数据到期后依次对数据的特征信息进行修改。采用本发明可提高数据修改的实时性，实现偶然错误的自动恢复，并降低服务器运维的难度和复杂度。

Description

一种数据处理方法、装置和系统
技术领域
本发明涉及软件测试领域，尤其涉及一种数据处理方法、装置和系统。
背景技术
计算机系统上普遍存在在特定时间点对特定数据进行修改的需求。例如，交易系统中的订单通常会设置一个n分钟的有效期，订单生成后经过n分钟如果用户仍未进行支付，则自动失效或变更价格。这类需求具有这样的特点，每一个数据项需要进行修改的时间独立计算，因此在任意时刻都可能需要进行修改数据的操作，而对单个数据项进行修改操作的代价较低。为了方便描述，下文中将应该对数据进行修改操作的时间称为“到期时间”，当数据尚未到达应该修改的时间时称为“未到期”，当数据到达应该修改的时间后，称为“已到期”。在web服务中，由于HTTP协议是无状态的，web服务器要跟踪这些数据的变化情况变要比其他类型服务器更为复杂。现有技术中，通常采用以下三种方案对web服务器上的这类数据进行修改：
方案一：在接收到用户对数据进行查询的HTTP请求时，先检查所述数据是否已到期，若已到期，则先对数据进行修改，然后再对HTTP请求进行处理。在论坛系统经常采用这种方法，以论坛系统中的“限时置顶”功能为例，版主可以将主题设为置顶，并设置一定期限后自动取消。在有HTTP请求到达时，服务器先检查是否有已经到达限时的置顶主题，如有，则将主题的置顶标志取消，再进行常规的HTTP请求处理。
方案二：使用定时任务定期对已到期数据进行修改。在后台设置一个定时任务，每隔一定时间(例如5分钟)运行一次。每次运行时，该任务查询出所有已到期的数据，并对它们进行统一的修改。
方案三：使用后台守护进程。通过后台守护进程来绕开HTTP协议无状态性带来的限制，后台守护进程不受HTTP服务器的软件控制，启动后一直运行，专门负责跟踪数据的变化情况并尽可能在每一项数据刚到期时对其进行修改。
发明内容
现有的技术方案分别存在以下缺点：
方案一在每次接收到HTTP请求时都要查询一次是否存在已到期的数据，占用服务器资源，影响服务器性能；同时，由于需要先对已到期数据进行修改再对HTTP请求进行处理，如果已到期的数据量较大时，将严重影响HTTP请求的响应速度，用户体验较差。
方案二采用定期检查的方法，每次任务中仅对已到期数据进行修改，数据在到期后往往不能及时得到修改，而需要等到下一次定时任务运行时才进行统一修改，数据修改滞后，实时性较差。
方案三虽然在一定程度上避免了方案一、二的缺点，但是具体实施当中，守护进程的实现相对比较复杂，而且会对web服务器的运维带来较大的影响。这种影响主要体现在：代码部署时需要额外启动守护进程；代码更新时需要额外执行重启守护进程的操作；为了避免程序偶然错误导致守护进程退出，还需要采取额外的防护措施，例如增加自动重启机制。
本发明实施例的目的在于提供了一种数据处理方法、装置和系统，提高数据修改的实时性，实现偶然错误后的自动恢复，降低服务器运维的复杂度和难度。
为了实现上述目的，本发明实施例提供一种数据处理方法，包括：
每隔预设的时间间隔T，遍历所有数据并获取到期时间早于t1的数据；其中，所述到期时间为计划对所述数据进行修改的时间，t1＝t0+T，t0为系统的当前时间；
将获取的数据按到期时间从早到晚排序，形成待处理队列；
从所述待处理队列中的第一个数据开始，获取所述第一个数据及所述第一个数据对应的到期时间，在所述第一个数据到期后，对所述第一个数据的特征信息进行修改；
按照排序顺序从所述待处理队列中获取下一个数据及所述下一个数据对应的到期时间，在所述下一个数据到期后，对所述下一个数据的特征信息进行修改，直至所述待处理队列中的所有数据的特征信息被修改完成。
具体地，所述获取所述第一个数据及所述第一个数据对应的到期时间，在所述第一个数据到期后，对所述第一个数据的特征信息进行修改，具体为：
获取所述第一个数据、所述第一个数据对应的到期时间以及系统的当前时间；
判断所述第一个数据对应的到期时间是否早于所述系统的当前时间；
若是，则确定所述第一个数据已到期，对所述第一个数据的特征信息进行修改；
若否，则确定所述第一个数据未到期，睡眠至所述第一个数据对应的到期时间，再对所述第一个数据的特征信息进行修改。
优选地，所述时间间隔T小于或等于最小的数据有效期，其中，所述数据有效期T有效＝te-tc，te为所述数据的到期时间，tc为所述数据的产生时间。
优选地，所述每隔预设的时间间隔T，遍历所有数据并获取到期时间早于t1的数据，具体为：
通过系统的cron服务，每隔预设的时间间隔T启动计划任务，遍历目标位置中的数据并获取到期时间早于t1的数据。
优选地，所述特征信息包括状态信息和数据内容。
优选地，所述数据处理方法还包括：
接收客户端发送的对所述数据的特征信息进行查询的请求；
将所述数据当前的特征信息反馈给所述客户端，以使所述客户端显示所述特征信息。
相应地，本发明实施例还提供了一种数据处理装置，包括：
遍历模块，用于每隔预设的时间间隔T，遍历所有数据并获取到期时间早于t1的数据；其中，所述到期时间为计划对所述数据进行修改的时间，t1＝t0+T，t0为系统的当前时间；
排序模块，用于将获取的数据按到期时间从早到晚排序，形成待处理队列；
第一修改模块，用于从所述待处理队列中的第一个数据开始，获取所述第一个数据及所述第一个数据对应的到期时间，在所述第一个数据到期后，对所述第一个数据的特征信息进行修改；
第二修改模块，用于按照排序顺序从所述待处理队列中获取下一个数据及所述下一个数据对应的到期时间，在所述下一个数据到期后，对所述下一个数据的特征信息进行修改，直至所述待处理队列中的所有数据的特征信息被修改完成。
具体地，所述第一修改模块包括：
获取单元，用于获取所述第一个数据、所述第一个数据对应的到期时间以及系统的当前时间；
判断单元，用于判断所述第一个数据对应的到期时间是否早于所述系统的当前时间；
第一修改单元，用于当所述第一个数据对应的到期时间早于所述系统的当前时间时，对所述第一个数据的特征信息进行修改；
第二修改单元，用于当所述第一个数据对应的到期时间晚于所述系统的当前时间时，睡眠至所述第一个数据对应的到期时间，再对所述第一个数据的特征信息进行修改。
优选地，所述遍历模块包括：
计划任务单元，用于通过系统的cron服务，每隔预设的时间间隔T启动计划任务；
数据遍历单元，用于遍历目标位置中的数据并获取到期时间早于t1的数据。
优选地，所述数据处理装置还包括：
接收模块，用于接收客户端发送的对所述数据的特征信息进行查询的请求；
反馈模块，用于将所述数据当前的特征信息反馈给所述客户端，以使所述客户端显示所述特征信息。
优选地，所述特征信息包括状态信息和数据内容。
进一步地，本发明还提供了一种数据处理系统，所述数据处理系统包括客户端和服务器端；
所述服务器端配置有如权利要求7至12任一项所述的数据处理装置。
与现有技术相比，本发明具有以下优点：
本发明提供的数据处理方法、装置和系统通过周期性的计划任务，遍历所有数据并获取任务周期内到期的所有数据，将数据按到期时间的早晚进行排序，在数据到期后对数据的特征信息进行修改，实现对到期数据的精确修改，提高了数据修改的实时性。
此外，本发明提供的数据处理方法、装置和系统可实现从偶然异常中自动恢复。由于采用周期性的计划任务，即使任务进程意外退出，只要系统的定时任务服务还在正常运行，仍然可通过系统的定时任务服务在下一周期到来时触发任务执行；同时，对于上一任务周期中因意外未处理的已到期数据，由于到期时间早于t1的条件限制以及从早到晚的到期排序规则，在本任务周期中仍可纳入待处理队列中优先处理。
进一步地，本发明提供的数据处理方法、装置和系统只需要进行一次性的定时任务设置，可有效降低web服务器的运维难度和复杂度。在需要发布新版本的web服务时，只需要按照一般流程，更新web程序和静态文件，并重启HTTP服务器，无需重启后台进程，也无需采取额外的防护措施。涉及到相关任务逻辑的修改，只需将修改后的代码直接替换原有任务代码，在下一次周期任务触发时将自动调用新的代码。
附图说明
图1是本发明提供的数据处理方法的一个实施例的流程图；
图2是图1所示实施例提供的步骤S3的流程图；
图3是本发明提供的数据处理装置的一个实施例的结构图；
图4是图1所示实施例提供的第一修改模块的结构图；
图5是本发明提供的数据处理系统的一个实施例的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明提供的数据处理方法的一个实施例的流程图。
如图1所示，所述数据处理方法包括以下步骤：
S1，每隔预设的时间间隔T，遍历所有数据并获取到期时间早于t1的数据；其中，所述到期时间为计划对所述数据进行修改的时间，t1＝t0+T，t0为系统的当前时间。
本实施例中所述的数据是指需要在特定时间点或者一定时限后对其进行预定修改操作的数据。例如，交易系统中的订单数据，通常会设置一个n分钟的有效期，订单生成后，经过n分钟如果用户仍未进行支付，则自动失效。这类数据具有生成时间、有效期和到期时间，在系统中不定时生成，经过一段时间后，需要对其进行特定修改操作，所述数据一般存储在web服务器的特定位置(如数据库)中。在具体实施当中，可通过系统的cron服务，每隔预设的时间间隔T启动一次计划任务，遍历目标位置中的数据并获取到期时间早于t1的数据。
为确保每一个数据在其到期前能被获取，所述时间间隔T应当小于或等于最小的数据有效期，其中，所述数据有效期T有效＝te-tc，te为所述数据的到期时间，tc为所述数据的产生时间。系统中不断地产生一些数据，每个数据具有唯一的编号。用di表示唯一编号为i的数据，tc(di)表示di的产生时间，te(di)表示di的到期时间，因系统的数据可动态生成，所以对于每一个数据di都应当满足T≤te(di)-tc(di)，才能保证在t0到t0+T时间内产生的数据不被遗漏。例如，某交易系统中订单数据的有效期有10分钟、20分钟和30分钟三种期限，则定时任务的周期T应当设置成小于或等于10分钟。
S2，将获取的数据按到期时间从早到晚排序，形成待处理队列。
对到期时间早于t1的数据按到期时间排序，可保证后续步骤中数据修改的顺序执行。如果有多个数据的到期时间相同，则将所述多个数据排在所述待处理队列中的相邻位置，待所述数据到期时，可通过连续执行多次修改操作，对这些数据的特征信息一起进行修改。
S3，从所述待处理队列中的第一个数据开始，获取所述第一个数据及所述第一个数据对应的到期时间，在所述第一个数据到期后，对所述第一个数据的特征信息进行修改。
如图2所示，所述步骤S3可通过步骤S31～S34实现。
S31，获取所述第一个数据、所述第一个数据对应的到期时间以及系统的当前时间；
S32，判断所述第一个数据对应的到期时间是否早于所述系统的当前时间；
S33，若是，则确定所述第一个数据已到期，对所述第一个数据的特征信息进行修改；
S34，若否，则确定所述第一个数据未到期，睡眠至所述第一个数据对应的到期时间，再对所述第一个数据的特征信息进行修改。
在具体实施当中，所述待处理列表中的第一个数据为dk，所述第一个数据dk的到期时间为te(dk)，系统的当前时间tx。当系统的当前时间tx大于或等于数据的到期时间te(dk)时，说明数据已到期，应即时对所述数据的特征信息进行修改；当系统的当前时间tx小于数据dk的到期时间，说明数据尚未到期，应当睡眠te(dk)－tx以到达数据对应的到期时间，再根据预设的操作对所述数据的特征信息进行修改。所述特征信息包括状态信息和数据内容。应当说明的是，本发明所述修改包括对数据进行的任何形式的处理，所述处理包括但不限于数据状态的更新、数值计算和逻辑运算中的一种或多种组合。
本发明通过睡眠的方式，在无需对数据进行修改操作的期间对进程进行睡眠，等到数据到期时再唤醒进程以对到期数据的特征信息进行修改，保证了数据修改的实时性。同时，进程仅在需要进行修改操作时才被唤醒，在大部分时间处于睡眠状态，在一定程度上降低了系统资源的占用，有利于提高系统的性能。
S4，按照排序顺序从所述待处理队列中获取下一个数据及所述下一个数据对应的到期时间，在所述下一个数据到期后，对所述下一个数据的特征信息进行修改，直至所述待处理队列中的所有数据的特征信息被修改完成。
本步骤实质为获取下一个数据并重复步骤S3中的操作，其处理过程与步骤S3相同，在此不再赘述，可参见步骤S3中的相关描述。
在具体实施当中，可将步骤S2中排序形成的待处理队列存储到待处理列表当中。每次获取所述待处理列表中的第一个数据，待所述第一个数据的特征信息被修改后，再将其从待处理列表中删除，直至待处理列表被清空。
优选地，本实施例提供的数据处理方法还可以进一步包括以下步骤：
接收客户端发送的对所述数据的特征信息进行查询的请求；
将所述数据当前的特征信息反馈给所述客户端，以使所述客户端显示所述特征信息。
采用本实施提供的数据处理方法，在对所述数据的特征信息进行查询的HTTP请求到达时，因数据的特征信息已实时修改，可直接将所述数据当前的特征信息反馈给客户端，而无需先对是否存在到期数据进行检查，有助于提高服务器对HTTP请求的响应速度。
参见图3，是本发明提供的数据处理装置的一个实施例的结构图。本实施与图1所示实施例的基本原理相同，本实施例中未详述之处可参见图1所示实施例中的相关描述。
如图3所示，所述数据处理装置包括：
遍历模块21，用于每隔预设的时间间隔T，遍历所有数据并获取到期时间早于t1的数据；其中，所述到期时间为计划对所述数据进行修改的时间，t1＝t0+T，t0为系统的当前时间；
排序模块22，用于将获取的数据按到期时间从早到晚排序，形成待处理队列；
第一修改模块23，用于从所述待处理队列中的第一个数据开始，获取所述第一个数据及所述第一个数据对应的到期时间，在所述第一个数据到期后，对所述第一个数据的特征信息进行修改。其中，所述特征信息包括状态信息和数据内容。
第二修改模块24，用于按照排序顺序从所述待处理队列中获取下一个数据及所述下一个数据对应的到期时间，在所述下一个数据到期后，对所述下一个数据的特征信息进行修改，直至所述待处理队列中的所有数据的特征信息被修改完成。
如图4所示，在具体实施当中，所述第一修改模块23包括：
获取单元231，用于获取所述第一个数据、所述第一个数据对应的到期时间以及系统的当前时间；
判断单元232，用于判断所述第一个数据对应的到期时间是否早于所述系统的当前时间；
第一修改单元233，用于当所述第一个数据对应的到期时间早于所述系统的当前时间时，对所述第一个数据的特征信息进行修改；
第二修改单元234，用于当所述第一个数据对应的到期时间晚于所述系统的当前时间时，睡眠至所述第一个数据对应的到期时间，再对所述第一个数据的特征信息进行修改。
优选地，所述时间间隔T小于或等于最小的数据有效期，其中，所述数据有效期T有效＝te-tc，te为所述数据的到期时间，tc为所述数据的产生时间。
图中虽未画出，但在具体实施当中，所述遍历模块21包括：
计划任务单元，用于通过系统的cron服务，每隔预设的时间间隔T启动计划任务；
数据遍历单元，用于遍历目标位置中的数据并获取到期时间早于t1的数据。
进一步地，所述数据处理装置还可以包括：
接收模块，用于接收客户端发送的对所述数据的特征信息进行查询的请求；
反馈模块，用于将所述数据当前的特征信息反馈给所述客户端，以使所述客户端显示所述特征信息。
参见图5，是本发明实施例的数据处理系统的一个实施例的系统结构图，所述数据处理系统包括客户端51和服务器端52；
所述服务器端配置有如图3所示实施例提供的数据处理装置。
在具体实施当中，所述客户端可以为应用软件或者网页界面，所述服务器端为web服务器，所述客户端可通过发送HTTP请求对web服务器中的数据的特征信息进行查询。本实施例中所述服务器端通过配置的所述数据处理装置对数据的特征信息进行实时修改，当服务器接收到查询请求时，可直接将数据当前的特征信息直接发送给客户端，有助于提高服务器对查询请求的响应速度。
综上所述，本发明提供的数据处理方法、装置和系统通过周期性的计划任务，遍历所有数据并获取任务周期内到期的所有数据，将数据按到期时间的早晚进行排序，在数据到期后对数据的特征信息进行修改，实现对到期数据的精确修改，提高了数据修改的实时性。
此外，本发明提供的数据处理方法、装置和系统可实现从偶然异常中自动恢复。由于采用周期性的计划任务，即使任务进程意外退出，只要系统的定时任务服务还在正常运行，仍然可通过系统的定时任务服务在下一周期到来时触发任务执行；同时，对于上一任务周期中因意外未处理的已到期数据，由于到期时间早于t1的条件限制以及从早到晚的到期排序规则，在本任务周期中仍可纳入待处理队列中优先处理。
进一步地，本发明提供的数据处理方法、装置和系统只需要进行一次性的定时任务设置，可有效降低web服务器的运维难度和复杂度。在需要发布新版本的web服务时，只需要按照一般流程，更新web程序和静态文件，并重启HTTP服务器，无需重启后台进程，也无需采取额外的防护措施。涉及到相关任务逻辑的修改，只需将修改后的代码直接替换原有任务代码，在下一次周期任务触发时将自动调用新的代码。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种数据处理方法，其特征在于，包括：
每隔预设的时间间隔T，遍历所有数据并获取到期时间早于t1的数据；其中，所述到期时间为计划对所述数据进行修改的时间，t1＝t0+T，t0为系统的当前时间；
将获取的数据按到期时间从早到晚排序，形成待处理队列；
从所述待处理队列中的第一个数据开始，获取所述第一个数据及所述第一个数据对应的到期时间，在所述第一个数据到期后，对所述第一个数据的特征信息进行修改；
按照排序顺序从所述待处理队列中获取下一个数据及所述下一个数据对应的到期时间，在所述下一个数据到期后，对所述下一个数据的特征信息进行修改，直至所述待处理队列中的所有数据的特征信息被修改完成。
2.如权利要求1所述的数据处理方法，其特征在于，所述获取所述第一个数据及所述第一个数据对应的到期时间，在所述第一个数据到期后，对所述第一个数据的特征信息进行修改，具体为：
获取所述第一个数据、所述第一个数据对应的到期时间以及系统的当前时间；
判断所述第一个数据对应的到期时间是否早于所述系统的当前时间；
若是，则确定所述第一个数据已到期，对所述第一个数据的特征信息进行修改；
若否，则确定所述第一个数据未到期，睡眠至所述第一个数据对应的到期时间，再对所述第一个数据的特征信息进行修改。
3.如权利要求1所述的数据处理方法，其特征在于，所述时间间隔T小于或等于最小的数据有效期，其中，所述数据有效期T有效＝te-tc，te为所述数据的到期时间，tc为所述数据的产生时间。
4.如权利要求1所述的数据处理方法，其特征在于，所述每隔预设的时间间隔T，遍历所有数据并获取到期时间早于t1的数据，具体为：
通过系统的cron服务，每隔预设的时间间隔T启动计划任务，遍历目标位置中的数据并获取到期时间早于t1的数据。
5.如权利要求1所述的数据处理方法，其特征在于，所述特征信息包括状态信息和数据内容。
6.如权利要求1～5任一项所述的数据处理方法，其特征在于，所述数据处理方法还包括：
接收客户端发送的对所述数据的特征信息进行查询的请求；
将所述数据当前的特征信息反馈给所述客户端，以使所述客户端显示所述特征信息。
7.一种数据处理装置，其特征在于，包括：
遍历模块，用于每隔预设的时间间隔T，遍历所有数据并获取到期时间早于t1的数据；其中，所述到期时间为计划对所述数据进行修改的时间，t1＝t0+T，t0为系统的当前时间；
排序模块，用于将获取的数据按到期时间从早到晚排序，形成待处理队列；
第一修改模块，用于从所述待处理队列中的第一个数据开始，获取所述第一个数据及所述第一个数据对应的到期时间，在所述第一个数据到期后，对所述第一个数据的特征信息进行修改；
第二修改模块，用于按照排序顺序从所述待处理队列中获取下一个数据及所述下一个数据对应的到期时间，在所述下一个数据到期后，对所述下一个数据的特征信息进行修改，直至所述待处理队列中的所有数据的特征信息被修改完成。
8.如权利要求7所述的数据处理装置，其特征在于，所述第一修改模块包括：
获取单元，用于获取所述第一个数据、所述第一个数据对应的到期时间以及系统的当前时间；
判断单元，用于判断所述第一个数据对应的到期时间是否早于所述系统的当前时间；
第一修改单元，用于当所述第一个数据对应的到期时间早于所述系统的当前时间时，对所述第一个数据的特征信息进行修改；
第二修改单元，用于当所述第一个数据对应的到期时间晚于所述系统的当前时间时，睡眠至所述第一个数据对应的到期时间，再对所述第一个数据的特征信息进行修改。
9.如权利要求7所述的数据处理装置，其特征在于，所述时间间隔T小于或等于最小的数据有效期，其中，所述数据有效期T有效＝te-tc，te为所述数据的到期时间，tc为所述数据的产生时间。
10.如权利要求7所述的数据处理装置，其特征在于，所述遍历模块包括：
计划任务单元，用于通过系统的cron服务，每隔预设的时间间隔T启动计划任务；
数据遍历单元，用于遍历目标位置中的数据并获取到期时间早于t1的数据。
11.如权利要求7所述的数据处理装置，其特征在于，所述数据处理装置还包括：
接收模块，用于接收客户端发送的对所述数据的特征信息进行查询的请求；
反馈模块，用于将所述数据当前的特征信息反馈给所述客户端，以使所述客户端显示所述特征信息。
12.如权利要求7所述的数据处理装置，其特征在于，所述特征信息包括状态信息和数据内容。
13.一种数据处理系统，其特征在于，包括客户端和服务器端；
所述服务器端配置有如权利要求7至12任一项所述的数据处理装置。
CN201510776848.8A 2015-11-13 2015-11-13 一种数据处理方法、装置和系统 Active CN105450737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510776848.8A CN105450737B (zh) 2015-11-13 2015-11-13 一种数据处理方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510776848.8A CN105450737B (zh) 2015-11-13 2015-11-13 一种数据处理方法、装置和系统

Publications (2)

Publication Number Publication Date
CN105450737A CN105450737A (zh) 2016-03-30
CN105450737B true CN105450737B (zh) 2019-02-12

Family

ID=55560503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510776848.8A Active CN105450737B (zh) 2015-11-13 2015-11-13 一种数据处理方法、装置和系统

Country Status (1)

Country Link
CN (1) CN105450737B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201432B (zh) * 2016-07-19 2019-08-06 网易（杭州）网络有限公司 目标对象的信息的处理方法和装置
CN109508843B (zh) * 2017-09-14 2023-06-02 阿里巴巴集团控股有限公司 一种智能服务实现方法及装置
CN109471794A (zh) * 2018-10-08 2019-03-15 深圳市广和通无线股份有限公司 软件测试方法、装置、计算机设备和可读存储介质
US20220004337A1 (en) * 2020-07-06 2022-01-06 Micron Technology, Inc. Command prioritization in a command queue

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129393A (zh) * 2011-03-09 2011-07-20 南京恩瑞特实业有限公司 通用定时任务管理的实现方法
CN103020304A (zh) * 2012-12-31 2013-04-03 中国工商银行股份有限公司 一种数据处理方法及设备
CN103365708A (zh) * 2012-04-06 2013-10-23 阿里巴巴集团控股有限公司 任务调度方法和装置
CN104951852A (zh) * 2014-03-24 2015-09-30 阿里巴巴集团控股有限公司 周期性订单信息的处理方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129393A (zh) * 2011-03-09 2011-07-20 南京恩瑞特实业有限公司 通用定时任务管理的实现方法
CN103365708A (zh) * 2012-04-06 2013-10-23 阿里巴巴集团控股有限公司 任务调度方法和装置
CN103020304A (zh) * 2012-12-31 2013-04-03 中国工商银行股份有限公司 一种数据处理方法及设备
CN104951852A (zh) * 2014-03-24 2015-09-30 阿里巴巴集团控股有限公司 周期性订单信息的处理方法及系统

Also Published As

Publication number Publication date
CN105450737A (zh) 2016-03-30

Similar Documents

Publication Publication Date Title
CN101567013B (zh) 一种etl调度的实现方法及装置
CN101542445B (zh) 零单点故障负载平衡器的设备及方法
CN106302596B (zh) 一种服务发现的方法和装置
CN105450737B (zh) 一种数据处理方法、装置和系统
US20100223446A1 (en) Contextual tracing
US20160306618A1 (en) Managing a software-patch submission queue
CN106126410B (zh) 代码冲突的提示方法及装置
JP2019500680A (ja) データ処理方法及び装置
US20130254376A1 (en) Dynamic control over tracing of messages received by a message broker
CN109656690A (zh) 调度系统、方法和存储介质
US20140201762A1 (en) Event handling system and method
US8914798B2 (en) Production control for service level agreements
CN104182683A (zh) 一种联机事务的监控方法、装置及系统
CN105808619A (zh) 基于影响分析的任务重做的方法、影响分析计算装置及一键重置装置
CN104182283B (zh) 一种任务同步方法
CN103218449B (zh) 报表日间操作异步处理方法与系统
CN113157426B (zh) 一种任务调度方法、系统、设备及存储介质
CN111245917B (zh) 一种基于katalon的工单录入装置及其实现方法
CN102521043B (zh) 一种任务处理方法及应用系统
CN105320523B (zh) 一种数据处理方法和装置
US10740085B2 (en) Webserver interface for deployment management tool
CN112162964B (zh) 一种自适应数据同步方法、装置、计算机设备及存储介质
CN115643255A (zh) 一种视频传输方法、装置、设备及存储介质
CN109981521B (zh) 报文关联方法、报文关联装置及报文关联系统
CN109783217B (zh) 停机时段的确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant