CN111782440B - 一种数据处理方法、装置及电子设备 - Google Patents
一种数据处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111782440B CN111782440B CN202010620843.7A CN202010620843A CN111782440B CN 111782440 B CN111782440 B CN 111782440B CN 202010620843 A CN202010620843 A CN 202010620843A CN 111782440 B CN111782440 B CN 111782440B
- Authority
- CN
- China
- Prior art keywords
- data
- processing
- processing operation
- type
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 381
- 238000000034 method Methods 0.000 claims abstract description 89
- 230000008569 process Effects 0.000 claims abstract description 71
- 238000011084 recovery Methods 0.000 claims abstract description 16
- 238000004891 communication Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 abstract description 4
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 17
- 239000010931 gold Substances 0.000 description 17
- 229910052737 gold Inorganic materials 0.000 description 17
- 230000005856 abnormality Effects 0.000 description 12
- 238000011112 process operation Methods 0.000 description 7
- 101100521345 Mus musculus Prop1 gene Proteins 0.000 description 3
- 108700017836 Prophet of Pit-1 Proteins 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明实施例提供了一种数据处理方法、装置及电子设备，包括：针对每一目标数据类型，在首次执行目标数据类型对应的目标处理操作之前，对目标处理操作首次待进行处理的数据进行备份，并且在执行任一处理操作过程中出现错误时，基于已备份的数据进行数据恢复，以及在各个处理操作均被执行完毕后，删除已备份的数据，由于通过备份处理操作流中处理操作所操作的每一目标数据类型的数据，当在执行任一处理操作过程中出现错误时，都可以基于已备份的数据进行数据恢复，且只有在处理操作流中的各个处理操作均被执行完毕后，才删除已备份的数据，使得即使在数据处理过程中出现错误，也不会造成数据异常，从而降低了数据异常出现的概率。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种数据处理方法、装置及电子设备。
背景技术
随着计算机技术的发展，应用程序的功能越来越丰富，这样与用户操作应用程序相关的数据越来越多，例如，用户操作应用程序而产生的日志数据、应用程序与服务器之间的交互数据等。
另外，在应用程序功能越来越丰富的同时，用户操作应用程序的过程中或者应用程序对应的服务端对用户操作应用程序产生的数据进行处理的过程中，出现故障的概率也随之增高。这样在与用户操作应用程序相关的数据越来越多的情况下，上述数据出现异常的概率增高。
发明内容
本发明实施例的目的在于提供一种数据处理方法，以避免数据出现异常。具体技术方案如下：
本发明实施例提供一种数据处理方法，包括：
接收数据处理请求；
开启针对所述数据处理请求的处理操作流，对所述数据处理请求所请求处理的数据进行处理，并针对每一目标数据类型，在首次执行目标数据类型对应的目标处理操作之前，对所述目标处理操作首次待进行处理的数据进行备份，其中，所述目标数据类型为所述数据处理请求所请求处理的数据的类型，所述目标处理操作为：对目标数据类型的数据进行修改的处理操作，所述处理操作流为处理操作的集合；
在执行任一处理操作过程中出现错误时，基于已备份的数据进行数据恢复，并终止对所述数据处理请求所请求处理的数据进行处理，并删除已备份的数据；
在所述处理操作流中的各个处理操作均被执行完毕后，删除已备份的数据。
进一步的，所述方法还包括：
缓存执行每一处理操作过程中生成的中间数据；
在所述处理操作流中的各个处理操作均被执行完毕后，按照各中间数据的类型，对各中间数据进行处理。
进一步的，所述中间数据的类型包括以下类型中的至少一个：日志类型、消息类型和回调事件触发通知类型；
所述在所述处理操作流中的各个处理操作均被执行完毕后，按照各中间数据的类型，对各中间数据进行处理，包括：
在所述处理操作流中的各个处理操作均被执行完毕后，执行以下步骤中的至少一个：
将日志类型的中间数据写入日志；
将消息类型的中间数据发送至客户端；
发送回调事件触发通知类型的中间数据。
进一步的，所述开启针对所述数据处理请求的处理操作流，对所述数据处理请求所请求处理的数据进行处理，包括：
在用于响应数据处理请求的进程中开启针对所述数据处理请求的处理操作流，对所述数据处理请求所请求处理的数据进行处理。
本发明实施例还提供一种数据处理装置，所述装置包括：
请求接收模块，用于接收数据处理请求；
请求处理模块，用于开启针对所述数据处理请求的处理操作流，对所述数据处理请求所请求处理的数据进行处理，并针对每一目标数据类型，在首次执行目标数据类型对应的目标处理操作之前，对所述目标处理操作首次待进行处理的数据进行备份，其中，所述目标数据类型为所述数据处理请求所请求处理的数据的类型，所述目标处理操作为：对目标数据类型的数据进行修改的处理操作，所述处理操作流为处理操作的集合；
数据恢复模块，用于在执行任一处理操作过程中出现错误时，基于已备份的数据进行数据恢复，并终止对所述数据处理请求所请求处理的数据进行处理，并删除已备份的数据；
数据删除模块，用于在所述处理操作流中的各个处理操作均被执行完毕后，删除已备份的数据。
进一步的，所述装置还包括：
数据缓存模块，用于缓存执行每一处理操作过程中生成的中间数据；
数据处理模块，用于在所述处理操作流中的各个处理操作均被执行完毕后，按照各中间数据的类型，对各中间数据进行处理。
进一步的，所述中间数据的类型包括以下类型中的至少一个：日志类型、消息类型和回调事件触发通知类型；
所述数据处理模块，至少包括以下模块中的至少一个：
日志写入子模块，用于在所述处理操作流中的各个处理操作均被执行完毕后，将日志类型的中间数据写入日志；
消息发送子模块，用于在所述处理操作流中的各个处理操作均被执行完毕后，将消息类型的中间数据发送至客户端；
通知发送子模块，用于在所述处理操作流中的各个处理操作均被执行完毕后，发送回调事件触发通知类型的中间数据。
进一步的，所述请求处理模块，包括：
操作流开启子模块，用于在用于响应数据处理请求的进程中开启针对所述数据处理请求的处理操作流，对所述数据处理请求所请求处理的数据进行处理。
本发明实施例还提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一数据处理方法的步骤。
本发明实施还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一数据处理方法的步骤。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一数据处理方法。
本发明实施例提供的一种数据处理方法、装置及电子设备，通过备份处理操作流中处理操作所操作的每一目标数据类型的数据，当在执行任一处理操作过程中出现错误时，都可以基于已备份的数据进行数据恢复，且只有在处理操作流中的各个处理操作均被执行完毕后，才删除已备份的数据，使得即使在数据处理过程中出现错误，也不会造成数据异常，从而降低了数据异常出现的概率。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明一个实施例提供的数据处理方法的流程图；
图2为本发明一个实施例提供的中间数据处理方法的流程图；
图3为本发明一个实施例提供的处理操作流执行流程图；
图4为本发明一个实施例提供的数据处理装置的结构示意图；
图5为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为了给出降低数据异常出现的概率的实现方案，本发明实施例提供了一种数据处理方法、装置及电子设备，以下结合说明书附图对本发明的实施例进行说明。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的一个实施例中，提供一种数据处理方法，如图1所示，该方法包括以下步骤：
S101：接收数据处理请求。
S102：开启针对数据处理请求的处理操作流，对数据处理请求所请求处理的数据进行处理，并针对每一目标数据类型，在首次执行目标数据类型对应的目标处理操作之前，对目标处理操作首次待进行处理的数据进行备份，其中，目标数据类型为数据处理请求所请求处理的数据的类型，目标处理操作为：对目标数据类型的数据进行修改的处理操作，处理操作流为处理操作的集合。
S103：在执行任一处理操作过程中出现错误时，基于已备份的数据进行数据恢复，并终止对数据处理请求所请求处理的数据进行处理，并删除已备份的数据。
S104：在处理操作流中的各个处理操作均被执行完毕后，删除已备份的数据。
本发明实施例提供的如图1所示的数据处理方法中，由于可以通过备份处理操作流中处理操作所操作的每一目标数据类型的数据，当在执行任一处理操作过程中出现错误时，都可以基于已备份的数据进行数据恢复，且只有在处理操作流中的各个处理操作均被执行完毕后，才删除已备份的数据，使得即使在数据处理过程中出现错误，也不会造成数据异常，从而降低了数据异常出现的概率。
为了更清楚的阐述本发明的技术方案，下面对本发明实施例提供的如图1所示的数据处理方法进行详细描述。
本发明实施例所提供的数据处理方法可以应用于客户端或服务器，当应用于客户端时，客户端接收到的用户作指令，即可视为本发明实施例所提及的数据处理请求。当应用于服务器时，服务器可以与多台安装有应用程序的客户端进行连接，当客户端执行操作后，向服务器发送数据处理请求。服务器接收到客户端发送的数据处理请求后，进行数据处理。为了描述方便，下面仅以应用于服务器为例，对本发明实施例进行阐述。
针对上述步骤S101，上述数据处理请求可以为客户端根据用户对应用程序的操作箱服务器发送的，数据处理请求中携带有指示服务器进行数据处理所需的必要数据。例如，用于指示处理操作流的数据、用于指示需要进行处理数据的数据等。其中，处理操作流为处理操作的集合，可选的，每种类型的处理操作流所包含的处理操作可以为预设的。
示例性的，当应用程序为游戏程序时，数据处理请求可以为购买游戏道具的请求，其至少包含指示用户金币余额、用户所需购买道具的数据，如可以为待操作的数据类型，既至少包含有金币类型标识、道具类型标识，还应当包含指示购买道具所需执行的操作的处理操作流标识。
针对上述步骤S102，当服务器接收到数据处理请求后，可以先开启针对数据处理请求的处理操作流，对数据处理请求所请求处理的数据进行处理。
在一个实施例中，在用于响应数据处理请求的进程中开启针对数据处理请求的处理操作流，对数据处理请求所请求处理的数据进行处理。
可选的，上述进程可以为Erlang(爱尔兰)进程，由于Erlang进程非常轻量级，所以可以同时开启很多个进程，具有高并发特性，在对于游戏等应用程序时，服务器可以为每一个用户都开启一个Erlang进程。此时，数据处理请求还可以携带有用户标识，当接收到数据处理请求后，可以基于预先建立的用户标识和进程关联关系，确定与数据处理请求所携带的用户标识存在关联关系的进程，进而在所确定进程中开启针对数据处理请求的处理操作流，并对数据处理请求所请求处理的数据进行处理。
进一步的，在按照处理操作流所包含的处理操作进行处理的过程中，可以针对每一目标数据类型，在首次执行目标数据类型对应的目标处理操作之前，对目标处理操作首次待进行处理的数据进行备份。
在一个实施例中，可以使用在开启针对数据处理请求的处理操作流时所创建的数据备份列表，并使用数据备份列表对数据进行备份。可选的，数据备份列表在进程字典中创建。
上述目标数据类型可以为数据处理请求所请求处理的数据的类型，如，当应用程序为游戏时，数据处理请求所请求的数据的类型可以为道具类型、金币类型、等级类型、经验类型等，当应用程序为购物应用，数据处理请求所请求的数据的类型可以为商品类型、余额类型等。
在一个实施例中，数据处理请求中可以携带有待处理数据类型，如在购买道具的请求中，请求中可以携带有金币类型和道具类型的数据，此时，上述目标数据类型可以为数据处理请求中携带的每一个待处理数据类型。
或者，每一个处理操作流中包含的处理操作所处理的数据的类型是确定的，此时，目标数据类型为每一个处理操作所需处理的数据的类型，如在购买道具操作流中，包含有金币扣除操作和道具添加操作，其中，金币扣除操作所需处理的数据的类型为金币类型，道具添加操作所需处理的数据的类型为道具类型。
针对上述步骤S103，执行任一处理操作过程中出现错误，可以基于已备份的数据进行数据恢复，可选的，可以回写数据备份列表中已备份的数据。
在一个实施例中，由于执行处理操作过程中出现错误，因此，为了避免数据出现异常，则可以进一步的取消本次数据处理，既终止对数据处理请求所请求处理的数据进行处理，并删除已备份的数据。使得数据恢复至原始状态，避免了数据异常。
针对上述步骤S104，为了确保在出现错误后能够对数据进行有效的恢复，可以在按照处理操作流进行数据处理的整个过程，维持备份数据，直至处理操作流中的各个处理操作均被执行完毕，在本次处理操作流并不需要再继续进行数据处理，既在本次数据处理中不会再出现处理错误时，才删除已备份的数据，可选的，删除数据备份列表。
为了更清楚的阐述方案，以下简单举例进行说明：
在一个处理操作流中，包含有处理操作1、处理操作2和处理操作3，其中，处理操作1对数据A进行处理，得到数据B，处理操作2对数据B进行处理，得到数据C，数据操作3对数据D进行处理，得到处理数据E。
上述过程中，由于数据B是处理操作1对数据A进行处理的得到的，数据C是处理操作2对数据B进行处理的得到的，因此，数据A、数据B和数据C的数据类型可以是相同的，如数据A为：金币100，数据B为：金币50，数据C为：金币20。数据D可以和数据A、数据B和数据C的数据类型不同，同理数据D和数据E的数据类型相同，如数据D为：道具1数量：1，数据E可以为：道具1数量：2。
在上述执行处理操作1至处理操作3的过程中，由于处理操作1和处理操作3是首次执行金币类型和道具类型的处理操作，因此，在执行处理操作1之前需要对数据A进行备份，在执行处理操作3之前，需要对数据D进行备份。
当在执行处理操作1至处理操作3的过程中出现错误时，可以通过已备份的数据进行数据恢复，如在执行数据2的过程中，已备份数据包含有数据A，当在执行数据2的过程中出现错误时，可以使用数据A进行数据恢复，如：将金币50恢复为金币100。又如，在执行数据3的过程中，已备份数据包含有数据A和数据D，在执行数据3的过程中出现错误时，可以使用数据A和数据D进行数据恢复，如：将金币20恢复为金币100，将到道具1数量恢复为1。
进一步的，当在执行处理操作1至处理操作3的过程中出现错误时，终止对数据处理请求所请求处理的数据进行处理，并删除已备份的数据。
当处理操作1至处理操作3均被执行完毕后，则删除已备份的数据A和数据D，此时金币数量为金币20，道具1的数量为2。
在开启针对数据处理请求的处理操作流，对数据处理请求所请求处理的数据进行处理之后，在本发明的一个实施例中，还提供一种中间数据处理方法，如图2所示，该方法包括以下步骤：
S201：缓存执行每一处理操作过程中生成的中间数据。
本步骤中，中间数据的类型包括以下类型中的至少一个：日志类型、消息类型和回调事件触发通知类型。
可选的，日志类型的中间数据可以缓存在预先创建的日志列表中，消息类型的中间数据可以缓存在预先创建的消息列表中，回调事件触发通知类型的中间数据可以缓存在预先创建的回调事件触发通知列表中。
S202：在处理操作流中的各个处理操作均被执行完毕后，按照各中间数据的类型，对各中间数据进行处理。
本步骤中，为了避免出现异常，可以在在处理操作流中的各个处理操作均被执行完毕后，按照各中间数据的类型，对各中间数据进行处理。
示例性的，在执行处理操作1时生成中间数据1，需要发送至客户端，则先不发送，而知等处理操作流中所有的处理操作均被处理完毕后，再将中间数据1发送至客户端。
在一个实施例中，当中间数据的类型包括以下类型中的至少一个：日志类型、消息类型和回调事件触发通知类型时。在处理操作流中的各个处理操作均被执行完毕后，可以执行以下步骤中的至少一个：
步骤1：将日志类型的中间数据写入日志。
步骤2：将消息类型的中间数据发送至客户端。
步骤3：发送回调事件触发通知类型的中间数据。
S203：在执行任一处理操作过程中出现错误时，删除所缓存的中间数据。
本步骤中，为了避免出现异常，在执行任一处理操作过程中出现错误时，删除所缓存的中间数据，如删除缓存的日志、消息和回调事件通知。从而避免对出现错误的处理过程产生的日志、消息和回调事件通知进行处理。
本发明实施例提供的如图2所示的中间数据处理方法中，由于在数据处理的过程中先每一处理操作过程中生成的中间数据，并只在处理操作流中的各个处理操作均被执行完毕后，按照各中间数据的类型，对各中间数据进行处理，从而可以避免出现诸如日志错误、显示异常等问题。
在一个实施例中，删除日志列表、消息列表和回调事件触发通知列表。
可以通过备份处理操作流中处理操作所操作的每一目标数据类型的数据，当在执行任一处理操作过程中出现错误时，都可以基于已备份的数据进行数据恢复，且只有在处理操作流中的各个处理操作均被执行完毕后，才删除已备份的数据，使得即使在数据处理过程中出现错误，也不会造成数据异常，从而降低了数据异常出现的概率。
为了更清楚阐述本发明技术方案，下面结合本发明实施例提供的如图3所示的处理操作流执行流程图进行说明：
在本发明实施例提供的处理操作流执行流程图中，每个节点表示一个操作步骤，实线箭头表示成功执行后的流向，虚线表示执行出现错误后的流向。
本实施例中，处理操作流包含处理操作1和处理操作2两个处理操作，首先执行开启处理操作流，此时，可以在进程字典中新建数据备份列表、日志列表、消息列表和通知列表。
在一个实施例中，在开启处理操作流之前还可以先判断当前进程中是否正在执行其他处理操作流，可选的，可以通过检测进程字典中是否存在数据备份列表的方式来判断当前进程中是否正在执行其他处理操作流。若进程字典中已存在数据备份列表，则说明当前进程中正在执行其他处理操作流，则表示当前嵌套异常，不执行开启处理操作流步骤，若进程字典中不存在数据备份列表，则说明当前进程中未执行其他处理操作流，则可以执行开启处理操作流步骤。
开启处理操作流后，则可以执行处理操作1，在处理操作1对数据修改执行则可以先对数据进行备份，既执行备份和修改数据步骤，当在执行备份和修改数据的过程中生成了日志数据、触发事件通知和客户端消息时，则可以分别执行记录日志数据和触发事件通知、以及记录客户端消息步骤，执行完毕后，开始执行处理操作2，由于处理操作2和处理操作1类似，不再进行赘述。当处理操作2整个流程执行完毕后，则表示处理操作流执行完毕，进而可以分别执行删除备份数据、记录日志并触发回调，以及发送客户端消息的步骤直至结束。
在一个实施例中，在开始执行处理操作1至处理操作流执行完毕之前，当任一步骤执行出现错误后，则通过备份的数据进行数据恢复，数据恢复完成后，结束执行处理操作流。
基于同一发明构思，根据本发明实施例提供的数据处理方法，本发明实施例还提供了一种数据处理装置，如图4所示，该装置包括：
请求接收模块401，用于接收数据处理请求；
请求处理模块402，用于开启针对数据处理请求的处理操作流，对数据处理请求所请求处理的数据进行处理，并针对每一目标数据类型，在首次执行目标数据类型对应的目标处理操作之前，对目标处理操作首次待进行处理的数据进行备份，其中，目标数据类型为数据处理请求所请求处理的数据的类型，目标处理操作为：对目标数据类型的数据进行修改的处理操作，处理操作流为处理操作的集合；
数据恢复模块403，用于在执行任一处理操作过程中出现错误时，基于已备份的数据进行数据恢复，并终止对数据处理请求所请求处理的数据进行处理，并删除已备份的数据；
数据删除模块404，用于在处理操作流中的各个处理操作均被执行完毕后，删除已备份的数据。
进一步的，装置还包括：
数据缓存模块，用于缓存执行每一处理操作过程中生成的中间数据；
数据处理模块，用于在处理操作流中的各个处理操作均被执行完毕后，按照各中间数据的类型，对各中间数据进行处理。
进一步的，中间数据的类型包括以下类型中的至少一个：日志类型、消息类型和回调事件触发通知类型；
数据处理模块，至少包括以下模块中的至少一个：
日志写入子模块，用于在处理操作流中的各个处理操作均被执行完毕后，将日志类型的中间数据写入日志；
消息发送子模块，用于在处理操作流中的各个处理操作均被执行完毕后，将消息类型的中间数据发送至客户端；
通知发送子模块，用于在处理操作流中的各个处理操作均被执行完毕后，发送回调事件触发通知类型的中间数据。
进一步的，请求处理模块，包括：
操作流开启子模块，用于在用于响应数据处理请求的进程中开启针对数据处理请求的处理操作流，对数据处理请求所请求处理的数据进行处理。
本发明实施例提供的如图4所示的数据处理装置，由于可以通过备份处理操作流中处理操作所操作的每一目标数据类型的数据，当在执行任一处理操作过程中出现错误时，都可以基于已备份的数据进行数据恢复，且只有在处理操作流中的各个处理操作均被执行完毕后，才删除已备份的数据，使得即使在数据处理过程中出现错误，也不会造成数据异常，从而降低了数据异常出现的概率。
本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
接收数据处理请求；
开启针对所述数据处理请求的处理操作流，对所述数据处理请求所请求处理的数据进行处理，并针对每一目标数据类型，在首次执行目标数据类型对应的目标处理操作之前，对所述目标处理操作首次待进行处理的数据进行备份，其中，所述目标数据类型为所述数据处理请求所请求处理的数据的类型，所述目标处理操作为：对目标数据类型的数据进行修改的处理操作，所述处理操作流为处理操作的集合；
在执行任一处理操作过程中出现错误时，基于已备份的数据进行数据恢复，并终止对所述数据处理请求所请求处理的数据进行处理，并删除已备份的数据；
在所述处理操作流中的各个处理操作均被执行完毕后，删除已备份的数据。
本发明实施例提供的如图5所示的电子设备，由于可以通过备份处理操作流中处理操作所操作的每一目标数据类型的数据，当在执行任一处理操作过程中出现错误时，都可以基于已备份的数据进行数据恢复，且只有在处理操作流中的各个处理操作均被执行完毕后，才删除已备份的数据，使得即使在数据处理过程中出现错误，也不会造成数据异常，从而降低了数据异常出现的概率。
需要说明的是，上述电子设备实现数据处理方法的其他实施例，与前述方法实施例部分提及的滤波方法相同，在此不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一数据处理方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一数据处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质、计算机程序产品而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (6)
1.一种数据处理方法，其特征在于，包括：
接收数据处理请求；
开启针对所述数据处理请求的处理操作流，对所述数据处理请求所请求处理的数据进行处理，并针对每一目标数据类型，在首次执行目标数据类型对应的目标处理操作之前，对所述目标处理操作首次待进行处理的数据进行备份，其中，所述目标数据类型为所述数据处理请求所请求处理的数据的类型，所述目标处理操作为：对目标数据类型的数据进行修改的处理操作，所述处理操作流为处理操作的集合；
在执行任一处理操作过程中出现错误时，基于已备份的数据进行数据恢复，并终止对所述数据处理请求所请求处理的数据进行处理，并删除已备份的数据；
在所述处理操作流中的各个处理操作均被执行完毕后，删除已备份的数据；
所述方法还包括：
缓存执行每一处理操作过程中生成的中间数据；
在所述处理操作流中的各个处理操作均被执行完毕后，按照各中间数据的类型，对各中间数据进行处理；
所述中间数据的类型包括以下类型中的至少一个：日志类型、消息类型和回调事件触发通知类型；所述在所述处理操作流中的各个处理操作均被执行完毕后，按照各中间数据的类型，对各中间数据进行处理，包括：
在所述处理操作流中的各个处理操作均被执行完毕后，执行以下步骤中的至少一个：
将日志类型的中间数据写入日志；
将消息类型的中间数据发送至客户端；
发送回调事件触发通知类型的中间数据。
2.根据权利要求1所述的方法，其特征在于，所述开启针对所述数据处理请求的处理操作流，对所述数据处理请求所请求处理的数据进行处理，包括：
在用于响应数据处理请求的进程中开启针对所述数据处理请求的处理操作流，对所述数据处理请求所请求处理的数据进行处理。
3.一种数据处理装置，其特征在于，包括：
请求接收模块，用于接收数据处理请求；
请求处理模块，用于开启针对所述数据处理请求的处理操作流，对所述数据处理请求所请求处理的数据进行处理，并针对每一目标数据类型，在首次执行目标数据类型对应的目标处理操作之前，对所述目标处理操作首次待进行处理的数据进行备份，其中，所述目标数据类型为所述数据处理请求所请求处理的数据的类型，所述目标处理操作为：对目标数据类型的数据进行修改的处理操作，所述处理操作流为处理操作的集合；
数据恢复模块，用于在执行任一处理操作过程中出现错误时，基于已备份的数据进行数据恢复，并终止对所述数据处理请求所请求处理的数据进行处理，并删除已备份的数据；
数据删除模块，用于在所述处理操作流中的各个处理操作均被执行完毕后，删除已备份的数据；
所述装置还包括：
数据缓存模块，用于缓存执行每一处理操作过程中生成的中间数据；
数据处理模块，用于在所述处理操作流中的各个处理操作均被执行完毕后，按照各中间数据的类型，对各中间数据进行处理；
所述中间数据的类型包括以下类型中的至少一个：日志类型、消息类型和回调事件触发通知类型；
所述数据处理模块，至少包括以下模块中的至少一个：
日志写入子模块，用于在所述处理操作流中的各个处理操作均被执行完毕后，将日志类型的中间数据写入日志；
消息发送子模块，用于在所述处理操作流中的各个处理操作均被执行完毕后，将消息类型的中间数据发送至客户端；
通知发送子模块，用于在所述处理操作流中的各个处理操作均被执行完毕后，发送回调事件触发通知类型的中间数据。
4.根据权利要求3所述的装置，其特征在于，所述请求处理模块，包括：
操作流开启子模块，用于在用于响应数据处理请求的进程中开启针对所述数据处理请求的处理操作流，对所述数据处理请求所请求处理的数据进行处理。
5.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-2任一所述的方法步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现实现权利要求1-2任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010620843.7A CN111782440B (zh) | 2020-06-30 | 2020-06-30 | 一种数据处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010620843.7A CN111782440B (zh) | 2020-06-30 | 2020-06-30 | 一种数据处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111782440A CN111782440A (zh) | 2020-10-16 |
| CN111782440B true CN111782440B (zh) | 2024-03-08 |
Family
ID=72760044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010620843.7A Active CN111782440B (zh) | 2020-06-30 | 2020-06-30 | 一种数据处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111782440B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112675546A (zh) * | 2020-12-22 | 2021-04-20 | 北京像素软件科技股份有限公司 | 游戏辅助维护方法、装置、电子设备和可读存储介质 |
| CN112799884B (zh) * | 2021-04-14 | 2021-08-03 | 北京八角科技有限责任公司 | 网络数据处理系统异常退出后的自动恢复方法、装置和存储介质 |
| CN115378557B (zh) * | 2022-10-25 | 2023-02-17 | 成都星联芯通科技有限公司 | 热备实现方法、装置、系统、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101178678A (zh) * | 2007-12-06 | 2008-05-14 | 福建星网锐捷网络有限公司 | 一种flash的写操作处理方法、系统及设备 |
| CN103095759A (zh) * | 2011-11-02 | 2013-05-08 | 华为技术有限公司 | 恢复资源环境的方法及设备 |
| CN104866388A (zh) * | 2014-02-24 | 2015-08-26 | 腾讯科技（北京）有限公司 | 数据处理方法及装置 |
| CN108241557A (zh) * | 2016-12-26 | 2018-07-03 | 航天信息股份有限公司 | Hdfs中数据备份的方法 |
| CN109189613A (zh) * | 2018-09-20 | 2019-01-11 | 快云信息科技有限公司 | 一种数据库数据恢复方法及相关装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4476683B2 (ja) * | 2004-04-28 | 2010-06-09 | 株式会社日立製作所 | データ処理システム |
| US7594138B2 (en) * | 2007-01-31 | 2009-09-22 | International Business Machines Corporation | System and method of error recovery for backup applications |
| US8380678B2 (en) * | 2009-11-24 | 2013-02-19 | Symantec Corporation | Tracking files which have been processed by a backup or a restore operation |
-
2020
- 2020-06-30 CN CN202010620843.7A patent/CN111782440B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101178678A (zh) * | 2007-12-06 | 2008-05-14 | 福建星网锐捷网络有限公司 | 一种flash的写操作处理方法、系统及设备 |
| CN103095759A (zh) * | 2011-11-02 | 2013-05-08 | 华为技术有限公司 | 恢复资源环境的方法及设备 |
| CN104866388A (zh) * | 2014-02-24 | 2015-08-26 | 腾讯科技（北京）有限公司 | 数据处理方法及装置 |
| CN108241557A (zh) * | 2016-12-26 | 2018-07-03 | 航天信息股份有限公司 | Hdfs中数据备份的方法 |
| CN109189613A (zh) * | 2018-09-20 | 2019-01-11 | 快云信息科技有限公司 | 一种数据库数据恢复方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111782440A (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111782440B (zh) | 一种数据处理方法、装置及电子设备 | |
| CN109783014B (zh) | 一种存储数据的方法及装置 | |
| CN111277639A (zh) | 一种保持数据一致性的方法和装置 | |
| CN112115049B (zh) | 应用程序测试方法、装置、设备和计算机可读存储介质 | |
| US10613922B2 (en) | Synchronously generating diagnostic data | |
| CN105045617A (zh) | 一种Android系统的应用恢复方法及系统 | |
| CN107368330B (zh) | 客户端补丁修复方法、装置和系统 | |
| CN110069217B (zh) | 一种数据存储方法及装置 | |
| CN109462507B (zh) | 配置更新方法、装置、系统及电子设备 | |
| CN109508249B (zh) | 崩溃处理方法、装置及电子设备 | |
| CN112835885A (zh) | 一种分布式表格存储的处理方法、装置及系统 | |
| CN112261164B (zh) | 一种逻辑时钟同步方法、装置及一种中心授时集群 | |
| CN111367720A (zh) | 数据保护方法、装置、电子设备及计算机可读存储介质 | |
| CN111159160A (zh) | 一种版本回滚方法、装置、电子设备及存储介质 | |
| CN112822248A (zh) | 一种ota升级方法、装置、可读介质及电子设备 | |
| CN112947948B (zh) | 应用服务的部署方法及装置 | |
| CN111639089B (zh) | 事务处理方法、装置、电子设备和计算机可读存储介质 | |
| CN112527521B (zh) | 消息处理方法及设备 | |
| CN113176967B (zh) | 数据的处理方法及装置、电子设备和计算机可读存储介质 | |
| CN113138881B (zh) | 分布式文件系统备份方法、装置和系统 | |
| CN115271501A (zh) | 一种处理订单的方法、装置、存储介质及电子设备 | |
| CN116204235A (zh) | 一种bios降级的处理方法、装置、设备及可读介质 | |
| CN110795211A (zh) | 升级虚拟机配置的方法、装置、电子设备及可读存储介质 | |
| CN113961639A (zh) | 一种分布式事务处理方法、终端及计算机可读存储介质 | |
| CN116069363A (zh) | 基本输入输出系统升级方法、装置、电子设备及可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |