CN112799884B - 网络数据处理系统异常退出后的自动恢复方法、装置和存储介质 - Google Patents
网络数据处理系统异常退出后的自动恢复方法、装置和存储介质 Download PDFInfo
- Publication number
- CN112799884B CN112799884B CN202110397448.1A CN202110397448A CN112799884B CN 112799884 B CN112799884 B CN 112799884B CN 202110397448 A CN202110397448 A CN 202110397448A CN 112799884 B CN112799884 B CN 112799884B
- Authority
- CN
- China
- Prior art keywords
- data
- abnormal
- cache
- processed
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 121
- 238000012545 processing Methods 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000011084 recovery Methods 0.000 title claims abstract description 45
- 230000008569 process Effects 0.000 claims description 20
- 238000012423 maintenance Methods 0.000 claims description 16
- 230000005856 abnormality Effects 0.000 claims description 15
- 238000011835 investigation Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1438—Restarting or rejuvenating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Retry When Errors Occur (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例涉及大数据处理中程序异常退出后的自动恢复，公开了一种网络数据处理系统异常退出后的自动恢复方法、装置和存储介质。正常处理数据模式下每个数据处理线程缓存当前处理的结构化数据文件路径和当前处理的结构化数据标识，处理完后，缓存信息被清除；若处理当前数据时发生捕捉不到的异常而退出，初次重新启动把异常数据缓存保存到历史异常缓存中，清除异常数据缓存；进入异常排查模式，若处理完成的当前结构化数据文件缓存在异常缓存信息中，则清除相应文件的异常缓存信息；在所有的异常缓存文件都处理完成后，退出异常排查模式，进入所述正常处理数据模式，实现了网络数据处理系统程序异常退出后的自动恢复。
Description
技术领域
本发明实施例涉及大数据处理中程序异常退出后的自动恢复技术领域，特别涉及网络数据处理系统异常退出后的自动恢复方法、装置和存储介质。
背景技术
网络数据处理系统的数据分为结构化数据和实体数据，通常一条数据记录包含一条结构化数据和一个实体文件（实体文件可能没有）。一个时间段（例如30秒）生成的结构化数据保存在同一个文件中，每条记录单独一行，实体文件单独保存，位置记录在结构化数据文件中。网络数据处理系统以结构化数据文件为单位处理数据，每次处理一条结构化数据及其实体数据。网络数据处理系统可以同时开启多个线程，并行处理数据。在处理数据的过程中，系统会因为处理某条数据时发生捕捉不到的异常而退出。网络数据处理系统自动重启后，需要感知上次发生的异常，剔除异常数据，然后正常处理后面的数据。本发明提出一种实现上述异常退出后自动恢复的方法。
发明内容
本发明实施方式的目的在于提供一种网络数据处理系统异常退出后的自动恢复方法、装置和存储介质，能够实现上述异常退出后自动恢复。
一方面，一种网络数据处理系统异常退出后的自动恢复方法，包括：
正常处理数据模式下，每个数据处理线程缓存当前处理的结构化数据文件路径和当前处理的结构化数据标识，在当前结构化数据和结构化数据文件处理完后，缓存信息被清除；
在处理数据的过程中，若处理当前数据时发生捕捉不到的异常而退出，初次重新启动后，若缓存中有残存的上次处理的缓存信息，则把残存的上次处理的缓存信息缓存为异常缓存信息，并把残存的上次处理的缓存信息清除；
进入异常排查模式，若处理完成的当前结构化数据文件缓存在异常缓存信息中，则清除相应文件的异常缓存信息；
在所有的异常缓存文件都处理完成后，退出异常排查模式，进入所述正常处理数据模式。
进一步可选的，在异常排查模式时，采用单线程正常处理数据。
进一步可选的，还包括：
再次重新启动后，检查缓存中的数据处理缓存，若发现缓存有一条数据，且异常缓存信息不为空，进入恢复阶段，数据处理缓存中的结构化数据文件和结构化数据标识正是发生异常的数据，备份相应条目数据，并清除结构化数据文件中的相应条目数据，清除所有缓存，进入正常处理数据模式。
进一步可选的，在异常排查模式中，若处理当前数据时发生捕捉不到的异常而退出，将导致程序退出的结构化数据文件以及相应文件中导致异常的记录保存在数据处理缓存中，编辑导致程序退出的结构化数据文件，备份导致异常的记录及实体文件，并在结构化数据文件中删除该相应条目记录并保存，然后删除所有缓存，并正常处理数据模式。
进一步可选的，初次重新启动、再次重新启动由守护进程完成。
进一步可选的，还包括：
响应退出消息，在退出消息处理中清除数据处理缓存。
另一方面，一种网络数据处理系统异常退出后的自动恢复装置，包括：
正常处理数据模块，每个数据处理线程缓存当前处理的结构化数据文件路径和当前处理的结构化数据标识，在当前结构化数据和结构化数据文件处理完后，缓存信息被清除；
异常维护模块，在处理数据的过程中，若处理当前数据时发生捕捉不到的异常而退出，初次重新启动后，若缓存中有残存的上次处理的缓存信息，则把残存的上次处理的缓存信息缓存为异常缓存信息，并把残存的上次处理的缓存信息清除；
异常排查模块，若处理完成的当前结构化数据文件缓存在异常缓存信息中，则清除相应文件的异常缓存信息，在所有的异常缓存文件都处理完成后，退出异常排查模式，进入所述正常处理数据模式。
再一方面，一种终端/电子设备/服务器，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的网络数据处理系统异常退出后的自动恢复方法。
又一方面，一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的网络数据处理系统异常退出后的自动恢复方法。
本发明实施例提供的网络数据处理系统异常退出后的自动恢复方法、装置和存储介质，正常处理数据模式下，每个数据处理线程缓存当前处理的结构化数据文件路径和当前处理的结构化数据标识，在当前结构化数据和结构化数据文件处理完后，缓存信息被清除；若处理当前数据时发生捕捉不到的异常而退出，初次重新启动后，把异常数据缓存保存到历史异常缓存中，清除异常数据缓存；进入异常排查模式，若处理完成的当前结构化数据文件缓存在异常缓存信息中，则清除相应文件的异常缓存信息；在所有的异常缓存文件都处理完成后，退出异常排查模式，进入所述正常处理数据模式。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的一种网络数据处理系统异常退出后的自动恢复方法的流程图；
图2是本发明实施例提供的另一种网络数据处理系统异常退出后的自动恢复方法的流程图；
图3是本发明实施例提供的又一种网络数据处理系统异常退出后的自动恢复方法的流程图；
图4是本发明实施例提供的一种网络数据处理系统异常退出后的自动恢复装置的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施方式涉及一种网络数据处理系统异常退出后的自动恢复方法。其流程如图1所示，具体如下：
101、正常处理数据模式下，每个数据处理线程缓存当前处理的结构化数据文件路径和当前处理的结构化数据标识，在当前结构化数据和结构化数据文件处理完后，缓存信息被清除；
102、在处理数据的过程中，若处理当前数据时发生捕捉不到的异常而退出，初次重新启动后，若缓存中有残存的上次处理的缓存信息，则把残存的上次处理的缓存信息缓存为异常缓存信息，并把残存的上次处理的缓存信息清除；
103、进入异常排查模式，若处理完成的当前结构化数据文件缓存在异常缓存信息中，则清除相应文件的异常缓存信息；
104、在所有的异常缓存文件都处理完成后，退出异常排查模式，进入所述正常处理数据模式。
本实施例提供的网络数据处理系统异常退出后的自动恢复方法，正常处理数据模式下，每个数据处理线程缓存当前处理的结构化数据文件路径和当前处理的结构化数据标识，在当前结构化数据和结构化数据文件处理完后，缓存信息被清除；若处理当前数据时发生捕捉不到的异常而退出，初次重新启动后，把异常数据缓存保存到历史异常缓存中，清除异常数据缓存；进入异常排查模式，若处理完成的当前结构化数据文件缓存在异常缓存信息中，则清除相应文件的异常缓存信息；在所有的异常缓存文件都处理完成后，退出异常排查模式，进入所述正常处理数据模式。
作为上述实施例的改进，本发明实施例提供另一网络数据处理系统异常退出后的自动恢复方法，处理包含结构化数据和实体数据的程序发生捕捉不到的异常，导致程序退出，本发明可以使程序处理异常数据继续正常运行。数据处理中缓存结构化数据文件信息和当前处理的结构化数据标识；如图2、图3所示所示，包括：
在异常排查模式时，采用单线程正常处理数据。
201、正常处理数据模式下，每个数据处理线程缓存当前处理的结构化数据文件路径和当前处理的结构化数据标识，在当前结构化数据和结构化数据文件处理完后，缓存信息被清除；
202、在处理数据的过程中，若处理当前数据时发生捕捉不到的异常而退出，初次重新启动后，若缓存中有残存的上次处理的缓存信息，则把残存的上次处理的缓存信息缓存为异常缓存信息，并把残存的上次处理的缓存信息清除；
203、进入异常排查模式，若处理完成的当前结构化数据文件缓存在异常缓存信息中，则清除相应文件的异常缓存信息；
在异常排查模式中，若处理当前数据时发生捕捉不到的异常而退出，将导致程序退出的结构化数据文件以及相应文件中导致异常的记录保存在数据处理缓存中，编辑导致程序退出的结构化数据文件，备份导致异常的记录及实体文件，并在结构化数据文件中删除该相应条目记录并保存，然后删除所有缓存，并正常处理数据模式。
204、在所有的异常缓存文件都处理完成后，退出异常排查模式，进入所述正常处理数据模式。
205、再次重新启动后，检查缓存中的数据处理缓存，若发现缓存有一条数据，且异常缓存信息不为空，进入恢复阶段，数据处理缓存中的结构化数据文件和结构化数据标识正是发生异常的数据，备份相应条目数据，并清除结构化数据文件中的相应条目数据，清除所有缓存，进入正常处理数据模式。
其中，初次重新启动、再次重新启动由守护进程完成。
206、响应退出消息，在退出消息处理中清除数据处理缓存。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
为了便于读者理解，下面对上述方法中所涉及的数据结构及功能进行详细说明：
1，数据
数据不断生成，生成的数据保存在按时间生成的目录下，隔一段时间生成一个目录。数据由结构化数据和实体数据组成。一个时间段内生成的结构化数据保存在一个结构化文件中，因为大小限制，也可能生成多个结构化文件。实体文件另外保存。结构化数据文件内按时间顺序保存了多个结构化记录，每个记录由标识，也记录了实体文件的位置。
2，数据处理
数据处理由多个线程执行，每个线程单独处理一个结构化文件及其关联的实体文件。按照从老到新的顺序处理按时间生成的目录。数据处理过程中，会因为各种原因导致程序发生不能捕获的异常并退出。
3，守护
程序有守护进程，当程序退出时守护进程会把它重新拉起。
4，缓存
缓存独立于数据处理程序，不会因为数据处理程序异常退出而退出。
数据处理线程把当前处理的结构化数据文件以及当前处理的结构化数据的标识保存到缓存中。这样当数据处理程序异常退出，并被守护重新拉起时，会获取到程序退出前每个线程正在处理的数据的信息。
数据处理线程处理完一个结构化数据文件会把自己的缓存删除。
5，异常退出后，程序重新启动时的处理
异常重启后，程序初始化时获取异常退出前正在处理数据的缓存信息。程序会把这些缓存信息保存到缓存的别的地方，称为历史异常缓存。然后把原来的缓存删除。
之后，系统进入维护模式，数据处理单线程运行。
6，维护模式处理数据，排查异常
单线程运行的数据处理与多线程模式是类似的，只是多了一个对异常缓存的处理。就是如果处理完一个结构化数据文件，如果该文件缓存在历史异常缓存中，需要把该文件的历史异常缓存删除掉。如果所有的历史异常缓存都清理了，说明上次导致程序异常退出的数据这次在维护模式下都正常处理了。这时系统退出维护模式，以正常模式处理数据。
7，恢复阶段，清理数据
维护模式运行时，数据处理有可能再次异常退出。
程序被拉起来后，初始化程序获取缓存信息，这时候数据处理缓存中只有一个缓存，另外历史异常缓存不为空。初始化程序判断出程序发生了异常退出，并且是在维护模式异常退出的，导致程序退出的结构化文件以及该文件中导致异常的记录就保存在数据处理缓存中。初始化程序编辑该异常结构化文件，备份导致异常的记录及实体文件，并在结构化文件中删除该条记录并保存，然后删除所有缓存，并正常启动程序。
8，特殊情况下的异常清理
系统响应退出消息（类似Linux的kill -15），在退出消息处理中清除数据处理缓存，可以保证特殊情况下运行程序以正常模式启动。
本实施例提供的网络数据处理系统异常退出后的自动恢复方法，初次异常重启后，把异常数据缓存保存到历史异常缓存中，清除异常数据缓存，然后以维护模式运行；维护模式以单线程运行；维护模式处理过与历史异常缓存中相同的结构化文件，清除该条历史异常缓存；当所有历史异常缓存都清除后，系统退出维护模式，然后以正常模式运行；系统重启后，通过异常数据缓存只有一条和历史异常缓存不为空，判断系统处于数据恢复阶段；数据恢复阶段，通过异常数据缓存找到异常结构化类文件和该文件中发生异常的记录；数据恢复阶段，编辑异常结构化文件，删除发生异常的记录；然后系统以正常模式运行；提供必要时，手动清除数据异常缓存的机制。
本发明实施例提供一种网络数据处理系统异常退出后的自动恢复装置，如图4所示，包括：
正常处理数据模块401，每个数据处理线程缓存当前处理的结构化数据文件路径和当前处理的结构化数据标识，在当前结构化数据和结构化数据文件处理完后，缓存信息被清除；
异常维护模块402，在处理数据的过程中，若处理当前数据时发生捕捉不到的异常而退出，初次重新启动后，若缓存中有残存的上次处理的缓存信息，则把残存的上次处理的缓存信息缓存为异常缓存信息，并把残存的上次处理的缓存信息清除；
异常排查模块403，若处理完成的当前结构化数据文件缓存在异常缓存信息中，则清除相应文件的异常缓存信息，在所有的异常缓存文件都处理完成后，退出异常排查模式，进入所述正常处理数据模式。
本实施例提供的网络数据处理系统异常退出后的自动恢复装置，正常处理数据模块301每个数据处理线程缓存当前处理的结构化数据文件路径和当前处理的结构化数据标识，在当前结构化数据和结构化数据文件处理完后，缓存信息被清除；异常维护模块302若处理当前数据时发生捕捉不到的异常而退出，初次重新启动后，把异常数据缓存保存到历史异常缓存中，清除异常数据缓存；进入异常排查模式，异常排查模块303若处理完成的当前结构化数据文件缓存在异常缓存信息中，则清除相应文件的异常缓存信息；在所有的异常缓存文件都处理完成后，退出异常排查模式，进入所述正常处理数据模式。
本发明实施例还提供一种终端/电子设备/服务器，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的网络数据处理系统异常退出后的自动恢复方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明实施例还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的网络数据处理系统异常退出后的自动恢复方法。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
由于第二实施方式与本实施方式相互对应，因此本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，在第二实施方式中所能达到的技术效果在本实施方式中也同样可以实现，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。
本发明第六实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (7)
1.一种网络数据处理系统异常退出后的自动恢复方法，其特征在于，包括：正常处理数据模式下，每个数据处理线程缓存当前处理的结构化数据文件路径和当前处理的结构化数据标识，在当前结构化数据和结构化数据文件处理完后，缓存信息被清除；在处理数据的过程中，若处理当前数据时发生捕捉不到的异常而退出，初次重新启动后，若缓存中有残存的上次处理的缓存信息，则把残存的上次处理的缓存信息缓存为异常缓存信息，并把残存的上次处理的缓存信息清除；进入异常排查模式，若处理完成的当前结构化数据文件缓存在异常缓存信息中，则清除相应文件的异常缓存信息；在所有的异常缓存文件都处理完成后，退出异常排查模式，进入所述正常处理数据模式；
再次重新启动后，检查缓存中的数据处理缓存，若发现缓存有一条数据，且异常缓存信息不为空，进入恢复阶段，数据处理缓存中的结构化数据文件和结构化数据标识正是发生异常的数据，备份相应条目数据，并清除结构化数据文件中的相应条目数据，清除所有缓存，进入正常处理数据模式；
在异常排查模式中，若处理当前数据时发生捕捉不到的异常而退出，将导致程序退出的结构化数据文件以及相应文件中导致异常的记录保存在数据处理缓存中，编辑导致程序退出的结构化数据文件，备份导致异常的记录及实体文件，并在结构化数据文件中删除该相应条目数据并保存，然后删除所有缓存，并正常处理数据模式。
2.根据权利要求1所述的网络数据处理系统异常退出后的自动恢复方法，其特征在于，在异常排查模式时，采用单线程正常处理数据。
3.根据权利要求1-2任一项所述的网络数据处理系统异常退出后的自动恢复方法，其特征在于，初次重新启动、再次重新启动由守护进程完成。
4.根据权利要求1-2任一项所述的网络数据处理系统异常退出后的自动恢复方法，其特征在于，还包括：响应退出消息，在退出消息处理中清除数据处理缓存。
5.一种网络数据处理系统异常退出后的自动恢复装置，其特征在于，包括：正常处理数据模块，每个数据处理线程缓存当前处理的结构化数据文件路径和当前处理的结构化数据标识，在当前结构化数据和结构化数据文件处理完后，缓存信息被清除；异常维护模块，在处理数据的过程中，若处理当前数据时发生捕捉不到的异常而退出，初次重新启动后，若缓存中有残存的上次处理的缓存信息，则把残存的上次处理的缓存信息缓存为异常缓存信息，并把残存的上次处理的缓存信息清除；异常排查模块，若处理完成的当前结构化数据文件缓存在异常缓存信息中，则清除相应文件的异常缓存信息，在所有的异常缓存文件都处理完成后，退出异常排查模式，进入正常处理数据模式；
再次重新启动后，检查缓存中的数据处理缓存，若发现缓存有一条数据，且异常缓存信息不为空，进入恢复阶段，数据处理缓存中的结构化数据文件和结构化数据标识正是发生异常的数据，备份相应条目数据，并清除结构化数据文件中的相应条目数据，清除所有缓存，进入正常处理数据模式；
在异常排查模式中，若处理当前数据时发生捕捉不到的异常而退出，将导致程序退出的结构化数据文件以及相应文件中导致异常的记录保存在数据处理缓存中，编辑导致程序退出的结构化数据文件，备份导致异常的记录及实体文件，并在结构化数据文件中删除该相应条目数据并保存，然后删除所有缓存，并正常处理数据模式。
6.一种电子设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至4中任一所述的网络数据处理系统异常退出后的自动恢复方法。
7.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的网络数据处理系统异常退出后的自动恢复方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110397448.1A CN112799884B (zh) | 2021-04-14 | 2021-04-14 | 网络数据处理系统异常退出后的自动恢复方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110397448.1A CN112799884B (zh) | 2021-04-14 | 2021-04-14 | 网络数据处理系统异常退出后的自动恢复方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112799884A CN112799884A (zh) | 2021-05-14 |
| CN112799884B true CN112799884B (zh) | 2021-08-03 |
Family
ID=75817086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110397448.1A Active CN112799884B (zh) | 2021-04-14 | 2021-04-14 | 网络数据处理系统异常退出后的自动恢复方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112799884B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102004780A (zh) * | 2010-11-23 | 2011-04-06 | 中兴通讯股份有限公司 | 一种数据同步方法及装置 |
| CN105589764A (zh) * | 2015-12-10 | 2016-05-18 | 杭州华三通信技术有限公司 | Cpu异常处理方法及装置 |
| CN109522177A (zh) * | 2017-09-20 | 2019-03-26 | 阿里巴巴集团控股有限公司 | 一种任务日志处理系统、方法以及装置 |
| CN109918231A (zh) * | 2019-02-28 | 2019-06-21 | 上海达梦数据库有限公司 | 数据重整的异常修复方法、装置、设备和存储介质 |
| CN111782440A (zh) * | 2020-06-30 | 2020-10-16 | 北京奇艺世纪科技有限公司 | 一种数据处理方法、装置及电子设备 |
| CN112416705A (zh) * | 2020-11-11 | 2021-02-26 | 北京五八信息技术有限公司 | 一种异常信息的处理方法和装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9459972B2 (en) * | 2014-06-20 | 2016-10-04 | International Business Machines Corporation | Alternative port error recovery with limited system impact |
| CN104182182B (zh) * | 2014-08-18 | 2017-04-12 | 四川航天系统工程研究所 | 智能终端及智能终端的数据备份方法 |
| CN109992448B (zh) * | 2017-12-31 | 2021-08-06 | 中国移动通信集团山西有限公司 | 文件变化增量备份方法、装置、设备及介质 |
| CN110908838B (zh) * | 2019-11-19 | 2022-09-02 | 杭州安恒信息技术股份有限公司 | 一种数据处理方法、装置及电子设备和存储介质 |
-
2021
- 2021-04-14 CN CN202110397448.1A patent/CN112799884B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102004780A (zh) * | 2010-11-23 | 2011-04-06 | 中兴通讯股份有限公司 | 一种数据同步方法及装置 |
| CN105589764A (zh) * | 2015-12-10 | 2016-05-18 | 杭州华三通信技术有限公司 | Cpu异常处理方法及装置 |
| CN109522177A (zh) * | 2017-09-20 | 2019-03-26 | 阿里巴巴集团控股有限公司 | 一种任务日志处理系统、方法以及装置 |
| CN109918231A (zh) * | 2019-02-28 | 2019-06-21 | 上海达梦数据库有限公司 | 数据重整的异常修复方法、装置、设备和存储介质 |
| CN111782440A (zh) * | 2020-06-30 | 2020-10-16 | 北京奇艺世纪科技有限公司 | 一种数据处理方法、装置及电子设备 |
| CN112416705A (zh) * | 2020-11-11 | 2021-02-26 | 北京五八信息技术有限公司 | 一种异常信息的处理方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 分布式数据处理系统中配置及任务管理模块的设计与实现;彭旭宇;《万方平台》;20160603;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112799884A (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11397648B2 (en) | Virtual machine recovery method and virtual machine management device | |
| CN103761165B (zh) | 日志备份方法及装置 | |
| US6754842B2 (en) | Facilitating a restart operation within a data processing system | |
| JP2009015476A (ja) | Ｃｄｐリモート構成におけるジャーナル管理方法 | |
| CN103902399A (zh) | 软件系统修复处理方法及装置 | |
| CN113722155A (zh) | 一种分布式文件系统内数据备份及修复方法及相关组件 | |
| CN110109772B (zh) | 一种cpu的重启方法、通信设备及可读存储介质 | |
| CN112579356A (zh) | 一种故障处理方法及服务器 | |
| CN111444039B (zh) | 缓存数据回退方法以及缓存数据回退装置 | |
| EP0409604A2 (en) | Processing method by which continuous operation of communication control program is obtained | |
| CN112799884B (zh) | 网络数据处理系统异常退出后的自动恢复方法、装置和存储介质 | |
| CN117130871B (zh) | 数据库日志的并行回放方法及装置、非易失性存储介质 | |
| CN117828132A (zh) | 一种数据库实时日志混合存储方法及系统 | |
| CN111949449A (zh) | 固件恢复方法、装置、系统、计算机设备和存储介质 | |
| CN116974818A (zh) | 一种具备模块状态恢复功能的系统及方法、设备及介质 | |
| JP3551079B2 (ja) | 修正ロードモジュール置換後の復旧方法ならびに装置 | |
| CN115268785A (zh) | 一种应用于分布式存储系统的管理方法、装置及存储介质 | |
| CN109324834A (zh) | 一种分布式存储服务器自动重启的系统及方法 | |
| CN117785546A (zh) | 数据库备份的方法、系统和计算设备集群 | |
| CN114490196A (zh) | 数据库切换方法、系统、设备及介质 | |
| EP1349067A2 (en) | Document management system and method with fault recovery | |
| CN112711376B (zh) | 对象存储系统中对象主副本文件的确定方法及装置 | |
| CN111930707A (zh) | 一种windows云迁移的盘符修正方法及系统 | |
| KR0154479B1 (ko) | 전전자 교환기에서의 프로그램 관리 장치 및 그 방법 | |
| CN111324488B (zh) | 一种程序备份处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |