CN113672558B - 一种基于soa的档案管理方法 - Google Patents
一种基于soa的档案管理方法 Download PDFInfo
- Publication number
- CN113672558B CN113672558B CN202110999711.4A CN202110999711A CN113672558B CN 113672558 B CN113672558 B CN 113672558B CN 202110999711 A CN202110999711 A CN 202110999711A CN 113672558 B CN113672558 B CN 113672558B
- Authority
- CN
- China
- Prior art keywords
- data
- service
- archive data
- archive
- storage space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/44—Program or device authentication
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种基于SOA的档案管理方法,该基于SOA的档案管理方法包括:对于从服务提供者获取的要写入到第一存储空间的档案数据,从档案数据中提取档案数据的关键信息,其中,关键信息用于恢复档案数据;将该关键信息和该档案数据的操作信息发送至服务消费者的第二存储空间;以及根据操作信息在第二存储空间的数据对象中对关键信息进行处理,其中,操作信息用于指示要对关键信息进行处理的操作。利用根据本公开实施例的基于SOA的档案管理方法,对于要保存的档案数据能够同步存储该档案数据的关键信息,以用于档案数据的备份与恢复,备份存储量小,不存在备份时间窗,灵活性强,能够实现异常档案数据的恢复。
Description
技术领域
本公开的一些实施例涉及一种基于SOA的档案管理方法。
背景技术
文件系统用于对文件存储设备的存储空间进行组织和分配,负责文件存储并对存入的文件进行保护和检索。档案数据是访问文件系统的关键数据。当档案数据受到损坏时,需要尽可能地将其恢复出来,以保证对于文件系统中的数据的正常访问。
SOA是面向服务架构(Service Oriented Architecture)的简写,它是应用企业现存的软件体系,整合并构建起的系统架构,SOA可以将设计的不能独立分割的功能单元(服务)通过标准化服务合约进行关联,实现服务之间的信息关联和数据交互。SOA遵循是一种抽象的、高内聚低耦合的架构设计思想;从业务需求层面来看,以服务为切入点,不同的服务实现业务独立,模块之间的接口遵循统一规范,实现低成本的重构和重组。SOA的核心设计思想是将业务逻辑进行拆分成相互独立、松耦合的粗粒度业务模块即服务,一个服务本质上就是一个接口,其主要任务是完成特定的业务需求、业务相关的数据处理。
发明内容
本公开的一些实施例提供了一种基于SOA的档案管理方法、装置、设备和可读存储介质,以用于实现对于档案数据的备份。
根据本公开的一方面,提供了一种基于SOA的档案管理方法,包括:对于从服务提供者获取的要写入到第一存储空间的档案数据,从档案数据中提取档案数据的关键信息,其中,关键信息用于恢复档案数据;将该关键信息和档案数据的操作信息发送至服务消费者的第二存储空间;以及根据操作信息在第二存储空间的数据对象中对关键信息进行处理,其中,操作信息用于指示要对关键信息进行处理的操作。
根据本公开的一些实施例,关键信息包括以下中的至少一种:档案数据所对应的对象的类型、档案数据所对应的对象的索引节点、档案数据所对应的对象的名称、档案数据所对应的对象的父目录的索引节点。
根据本公开的一些实施例,在第二存储空间的数据对象中对关键信息进行处理包括:识别操作信息所指示的操作;以及根据所指示的操作,在第二存储空间的数据对象中对关键信息进行处理,其中,操作包括创建、删除、移动或重命名。
根据本公开的一些实施例,第二存储空间的数据对象用于存储与档案数据相关联的信息并表示为特定数据对象,其中,在所指示的操作为创建的情况下,处理包括:将关键信息写入到特定数据对象中;在所指示的操作为删除的情况下,处理包括:从特定数据对象中删除关键信息;以及在所指示的操作为移动或重命名的情况下,处理包括:在特定数据对象中查找档案数据所对应的对象的索引节点,并基于关键信息对特定数据对象中查找到的数据进行更新。
根据本公开的一些实施例,该基于SOA的档案管理方法还包括:将第二存储空间的数据对象中的关键信息与第一存储空间中的档案数据进行比较,以确定是否需要对第一存储空间中的档案数据进行恢复;在确定需要恢复的情况下,根据第二存储空间的数据对象中的关键信息来恢复第一存储空间的档案数据。
根据本公开的一些实施例,根据第二存储空间的数据对象中的关键信息来恢复第一存储空间的档案数据包括:确定要恢复的档案数据所对应的对象是文件还是目录;在要恢复的档案数据所对应的对象是文件的情况下,扫描文件所对应的数据对象,并根据文件所对应的数据对象的大小计算文件的大小,和根据文件所对应的数据对象的属性信息恢复文件的属性信息;以及在要恢复的档案数据所对应的对象是目录的情况下,根据目录所对应的数据对象的属性信息恢复目录的属性信息。
根据本公开的另一方面,还提供了一种档案数据处理装置,包括:档案数据同步单元,配置成对于从服务提供者获取的要写入到第一存储空间的档案数据,从档案数据中提取档案数据的关键信息,并将该关键信息和档案数据的操作信息发送至服务消费者的第二存储空间,其中,关键信息用于恢复档案数据;以及处理单元,配置成根据操作信息在第二存储空间的数据对象中对关键信息进行处理,其中,操作信息用于指示要对关键信息进行处理的操作。
根据本公开的一些实施例,关键信息包括以下中的至少一种:档案数据所对应的对象的类型、档案数据所对应的对象的索引节点、档案数据所对应的对象的名称、档案数据所对应的对象的父目录的索引节点。
根据本公开的一些实施例,处理单元对关键信息进行处理包括:识别操作信息所指示的操作;以及根据所指示的操作,在第二存储空间的数据对象中对关键信息进行处理,其中,操作包括创建、删除、移动或重命名。
根据本公开的一些实施例,数据对象用于存储与档案数据相关联的信息并表示为特定数据对象,其中,在所指示的操作为创建的情况下,处理单元配置成将关键信息写入到特定数据对象中;在所指示的操作为删除的情况下,处理单元配置成从特定数据对象中删除关键信息;以及在所指示的操作为移动或重命名的情况下,处理单元配置成在特定数据对象中查找档案数据所对应的对象的索引节点,并基于关键信息对特定数据对象中查找到的数据进行更新。
根据本公开的一些实施例,该档案数据处理装置还包括扫描和恢复单元,配置成:将第二存储空间的数据对象中的关键信息与第一存储空间中的档案数据进行比较,以确定是否需要对第一存储空间中的档案数据进行恢复;在确定需要恢复的情况下,根据第二存储空间的数据对象中的关键信息来恢复第一存储空间的档案数据。
根据本公开的一些实施例,扫描和恢复单元恢复第一存储空间的档案数据包括:确定要恢复的档案数据所对应的对象是文件还是目录;在要恢复的档案数据所对应的对象是文件的情况下,扫描文件所对应的数据对象,并根据文件所对应的数据对象的大小计算文件的大小,和根据文件所对应的数据对象的属性信息恢复文件的属性信息;以及在要恢复的档案数据所对应的对象是目录的情况下,根据目录所对应的数据对象的属性信息恢复目录的属性信息。
根据本公开的一些实施例,第一存储空间为用于存储档案数据的档案数据服务器,第二存储空间为用于存储文件数据的数据对象服务器。
根据本公开的又一方面,还提供了一种档案数据处理设备,包括:处理器;和存储器,其中,存储器中存储有计算机可读代码,计算机可读代码在由处理器运行时,执行如上所述的基于SOA的档案管理方法。
根据本公开的又一方面,还提供了一种非暂时性计算机可读存储介质,其上存储有指令,指令在被处理器执行时,使得处理器执行如上所述的基于SOA的档案管理方法。
利用本公开实施例提供的基于SOA的档案管理方法,能够提取并存储档案数据的关键信息,以在有需要的情况下通过档案数据的关键信息来恢复档案数据。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本公开实施例的示例应用场景示意图;
图2示出了根据本公开实施例的基于SOA的档案管理方法的示意性流程图;
图3示出了根据本公开实施例的关键信息处理的流程图;
图4示出了根据本公开实施例的操作信息和关键信息的列表;
图5示出了根据本公开实施例的档案数据恢复流程图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本公开一部分的实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
此外,如本公开和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。
文件系统中通常包括数据和档案数据,其中,档案数据是用于描述数据的数据(data about data),主要描述数据属性的信息,用来支持例如指示存储位置、历史数据、资源查找、文件记录等功能,由此档案数据是访问文件系统的关键数据。档案数据所描述的对象可以是文件,也可以是目录,其中,目录用于描述文件系统中的文件的组织形式,诸如树状数据结构。
作为文件系统中的关键数据,当档案数据受到损坏时,需要尽可能地将其恢复出来,以保证对于文件系统中的数据的正常访问。相关技术中,是将文件系统中的档案数据备份到其他的存储设备上,当文件系统中的档案数据诸如由于受到损坏等原因而无法访问时,可以从备份设备上将档案数据恢复到文件系统中,以保证文件系统的正常读写功能。但是,这种备份的方式具有数据存储上的时间延迟,即存在备份时间窗,这使得难以恢复损坏前一段时间内的档案数据,并且备份的档案数据需要额外的备份设备进行存储,这增加了文件系统的管理和维护成本。此外,这种整体备份档案数据的方式在恢复档案数据时只能进行全量恢复,即恢复全部的档案数据。即使只有少量档案数据受到损坏,也需要把所有的档案数据都恢复出来,由此难以满足只恢复部分档案数据的需求。
根据本公开的一些实施例,提供了一种基于SOA的档案管理方法,用于在文件系统中提取并存储档案数据的关键信息,以在有需要的情况下通过档案数据的关键信息来恢复档案数据,根据本公开实施例的基于SOA的档案管理方法,无需额外的备份设备,且只与档案数据一起同步保存档案数据的关键信息,备份存储量小,不存在备份时间窗,并且灵活性强,能够针对各关键信息中的内容来实现异常档案数据的恢复。例如,利用根据本公开实施例提供的基于SOA的档案管理方法能够只针对其中受损(或者称为异常)的那部分档案数据进行恢复,而并不是在部分档案数据受损的情况下恢复全部的档案数据。
图1示出了根据本公开实施例的示例应用场景示意图,其中示意性地示出了一种分布式文件系统,可以理解的是,根据本公开实施例的方法的应用并不限于此,其可以应用于各类实现数据存储的文件系统中。分布式文件系统(Distributed File System,DFS)表示文件系统管理的物理存储资源不一定直接连接在本地设备上,而是可以通过网络与设备相连,或者是多个不同的逻辑磁盘分区组合在一起而形成的完整的有层次的文件系统。DFS为分布在网络上任意位置的资源提供一个逻辑上的树形文件系统结构,从而使得用户设备访问分布在网络上的共享文件更加简便。
如图1所示,分布式文件存储系统101例如可以包括一个或多个用于存储数据和档案数据的服务器,在图1中示出为服务器101-1至101-3。通过数据通道,多个客户端设备(图1中示出为设备102-105)与文件存储系统101之间可以实现数据交互。
在分布式文件系统中,存储有大量的数据和档案数据,利用根据本公开实施例的基于SOA的档案管理方法,能够针对档案数据提取其关键信息并进行存储,这样,当文件系统的档案数据出现丢失时,通过扫描文件系统的数据对象中保存的档案数据的关键信息可以将丢失的档案数据恢复出来。
为了说明根据本公开实施例的基于SOA的档案管理方法,提供图2,用于示出根据本公开实施例的基于SOA的档案管理方法的示意性流程图。以下将结合图2来描述根据本公开实施例的基于SOA的档案管理方法的实现过程。
如图2所示,首先,在步骤S101,对于从服务提供者获取的要写入到第一存储空间的档案数据,从档案数据中提取档案数据的关键信息。作为示例,第一存储空间可以是用于存储档案数据的存储空间,例如可以表示为档案数据存储区或者实现为档案数据服务器。即,第一存储空间可以是专用于存储档案数据的存储区域。作为示例,可以将档案数据写入到第一存储空间的数据对象内,其中,数据对象可以理解为一种复合信息表示,其中封装数据内容。
SOA架构的核心思想就是面向服务的设计思想,因此对基于SOA的油田区块产量运行动态分析系统进行设计时,服务的设计是至关重要的,所以在本系统设计时服务应遵循以下设计原则:
(1)标准化服务合约原则
标准化服务合约原则是面向服务的首要原则,服务通过合约来表达自己的目标和能力。服务合约包含WSDL、XML Schema和WS-Policy定义的描述文档,用来约束不同的服务,提高数据和功能的一致性。
(2)服务松耦合
耦合性指两个系统或事物之间的关联性和依赖性。两个系统之间的依赖性越强,则说明这两个系统的耦合性越高,根据SOA的思想,要始终减少服务合约、服务实现、服务消费者之间的相互依赖,从而减少系统之间的依赖性,避免其中一个系统故障影响其他系统。
(3)服务可重用性
服务的可重用性指对构件规则简单地改动使服务可以重用,由业务模型来决定,因此在设计服务的可重用性时,应注重各个业务模型之间的关系,使设计的服务发挥最大价值,以减少调用服务时的开发成本。
(4)服务可发现性
服务可以被发现重用,已经存在的服务如果不能被发现,则需要重新设计相同的服务,最终造成服务的冗余,服务的可发现性避免建立冗余的服务或者执行冗繁的逻辑服务。
(5)服务的无状态性
无状态服务指资源通过URI来指定,服务内部变量值的存储。如果一个服务的确无状态,那么就能调用服务的任何方法或引用该服务的任何属性,而且只要传递相同的参数,该服务就能以相同的方式正常运行。
为各种服务建立一种简单有效的API统一管理。API网关通过将系统的内部架构进行封装来为客户端使用提供特定的API,通过协议转换负责统一接入将请求的地址协议转换成内部接口协议找到对应的服务。主要负责监控、验证中心、缓存、请求管理等。客户端发送请求到负载均衡,负载均衡轮询到不同的网关上,网关首先进行权限认证分配到权限认证服务,再进行检测服务,根据不同的请求,发送到不同的服务上进行运行,当请求数量很大时,网关将请求先进行缓存对请求先进行管理,等待一定的时间再发送到不同的服务上。
发送HTTP请求首先到达DNS服务器上,DNS均衡负载到Ngnix上,Nginx转发到网关层,到达这层后可以做身份认证,监控,流控等策略,下来由API网关把请求再负载到不同的WebAPI网关,之后有WebAPI进入各个服务中完成服务内部的调用。
将用户的请求平摊分配到多个服务上进行运行,本系统使用Nginx服务器来实现均衡负载,当用户进入系统进行访问时,负载均衡Nginx根据用户请求将不同的任务分配到不同的网关服务器中,当用户进入系统访问产量运行分析内容请求数量比较大时,也可以在这层加入服务熔断、流控等配置策略,也可以采用服务集群方式,通过网关轮询、随机、权重等策略将请求分配到不同服务中,以此来提高用户的访问速度和服务器的响应速度,避免网络拥塞和服务宕机达到不可控状态,提高系统高可用的性能。
系统中使用的负载均衡算法是轮询法,即将用户的请求按照请求顺序轮流分配给每个服务器,平等地对待后端的每一台服务器,达到高质量的网络访问效果,减轻单一服务的压力,进而提高更可靠的用户体验。
Web服务层包含系统的所有服务,基于SOA的思想就是拆分成单个的服务,根据系统设计原则,对系统中的服务进行设计主要包含监控服务,认证中心、系统服务、动态分析服务、网关服务、代码生成服务等服务。
监测服务主要采用SpringBootAdmin组件对系统全局进行监测,监测系统当前的应用状态、内存、线程、堆栈、日志等相关信息,主要目的在服务出现问题或者快要出现问题时能够准确快速地发现以减小影响范围。认证中心采用SpringSecurityOauth2组件实现系统权限控制,与身份认证原理相同,用来判断登录用户是否合法。常用的身份认证方式是系统通过校验用户的用户名和口令,与系统中存储的该用户的用户名和口令对比是否一致,来判断用户身份是否正确。代码生成服务主要采用Java+Freemarker模板技术,达到动态生成代码功能,项目中的数据管理模块的代码大部分都是重复的,该功能模块主要是对数据的管理,而这些功能实现代码基本都是类似的,开发人员将这些功能自己去实现,浪费精力降低效率。代码生成服务便可以解决这些问题,直接生成代码,提高开发效率。动态分析服务主要负责产量数据模块、产量运行和动态分析模块数据的操作,实现油田井组、区块、单井等数据可视化展示,支持多维度检索,动态分析井组数据,为决策人员提供数据可视化辅助;服务之间调用关系如:服务A想调用B服务,则通过RPC远程过程调用,通过Fegin组件发送HTTP请求去Nacos注册中心查找具体服务,调用数据库、处理结果集返回至A服务、A服务调用完毕,将结果响应给浏览器、前台JS解析数据、进行页面渲染。
采用MVC三层架构设计理念,分别为视图层、控制层、业务持久层。视图层通过前端技术进行数据可视化动态展现,负责用户交互场景的实现,并将交互请求发送至控制层。控制层负责接收客户端请求,向客户端响应结果,并调用业务层;持久层负责进行具体业务处理,逻辑判断,调用SQL语句,并将数据处理结果返回给控制层,控制层再将返回结果转为JSON数据响应给Web浏览器,前端通过获取响应结果,解析数据并动态渲染页面,从而达到一个完整的交互过程。系统整体的Web服务工作流程为:当启动各个服务时,服务会将自己注册到配置中心,并拉取Nacos中通用及具体的服务配置文件。当用户发送一个HTTP请求时,首先到达Nginx负载均衡然后找到具体的网关,网关通过路由匹配与过滤,调用Nacos,从中获取服务注册地址,然后根据具体服务的地址及端口号请求Web服务,进行处理业务逻辑、调用数据库,处理结果集。服务内部转发流程:如果在具体服务(称A)想调用B服务,则通过RPC(远程过程调用),通过Fegin组件发送HTTP请求(同理去Nacos注册中心查找具体服务),调用数据库、处理结果集返回至A服务、A服务调用完毕,将结果响应给浏览器、前台JS解析数据、进行页面渲染。由于网关服务为系统唯一入口,可在此运用Sentinel进行监听具体请求、进行服务降级、熔断、流控等处理,可搭配Nacos作为Sentine持久化配置策略,达到服务配置持久化到数据库中。
根据本公开的一些实施例,对于将要写入到第一存储空间(诸如档案数据服务器)内的档案数据,可以提取该档案数据的关键信息。根据本公开的一些实施例,该档案数据的关键信息可以是能够表征该档案数据的关键数据,例如,能够基于其恢复档案数据的信息可以称为该档案数据的关键信息。例如,在档案数据受损或崩溃的情况下,能够基于该提取出来的关键信息来恢复档案数据的属性,以保证文件系统中所有已经被恢复出来的档案数据可以被正常访问,其所对应的数据也能被正常读写,从而保证文件系统的数据稳定性以及安全性。
根据本公开的一些实施例,关键信息可以包括以下中的至少一种:档案数据所对应的对象的类型、档案数据所对应的对象的索引节点、档案数据所对应的对象的名称、档案数据所对应的对象的父目录的索引节点。其中,档案数据所对应的对象(或者称为档案数据所描述的对象)可以是文件也可以是目录。目录用于描述文件系统中的文件的组织形式,诸如树状数据结构。可以理解的是,关键信息中的档案数据所对应的对象的类型可以理解为指示该对象的类型的信息,例如,在对象为目录的情况下,该指示信息可以对应于字符d,在对象为文件的情况下,该指示信息可以对应于字符f。此外,在文件系统中,每个文件或目录都具有与其对应的索引节点,以作为该对象的标识,文件系统通过查找索引节点来访问与该索引节点所对应的数据。
作为一个示例,在档案数据所对应的对象为目录的情况下,该档案数据的关键信息可以包括指示该档案数据所对应的对象的类型为目录的信息,例如字符d,关键信息还可以包括档案数据所对应的目录的索引节点(例如表示为inode_ID)、档案数据所对应的目录的名称(例如表示为name)、档案数据所对应的目录的父目录的索引节点(例如表示为parent_inode_ID)。
作为另一示例,在档案数据所对应的对象为文件的情况下,该档案数据的关键信息可以包括指示该档案数据所对应的对象的类型为文件的信息,例如字符f,关键信息还可以包括档案数据所对应的文件的索引节点(例如表示为inode_ID)、档案数据所对应的文件的名称(例如表示为name)、档案数据所对应的文件的父目录的索引节点(例如表示为parent_inode_ID)。
接着,如图2所示,在步骤S102,将档案数据的操作信息和关键信息发送至服务消费者的第二存储空间。以及,在步骤S103,根据该操作信息在第二存储空间的数据对象中对关键信息进行处理。
根据本公开的一些实施例,操作信息用于指示要对关键信息进行处理的操作。例如,该操作可以是与档案数据的改变相关的操作,作为示例,操作可以包括创建、删除、移动或重命名。关于针对关键信息的处理将在下面结合图3-图4进行描述。
根据本公开的一些实施例,第二存储空间可以是用于存储数据的存储空间,例如可以表示为数据存储区或者实现为数据对象服务器。即,第二存储空间可以是专用于存储数据的存储区域。根据本公开的一些实施例,可以在文件系统中的数据对象服务器中设置用于存储档案数据的关键信息的数据对象,该数据对象可以称为特定数据对象。相对于档案数据来讲,第二存储空间可以用于存储档案数据所对应的对象的具体数据内容,第一存储空间可以用于存储档案数据。例如,第一存储空间和第二存储空间可以为同一硬件设备上的不同空间分区,也可以为不同硬件设备上的存储空间,本公开的实施例对此不作限制。
根据本公开的一些实施例的处理方法,将提取得到的档案数据的关键信息存储在第二存储空间中的特定数据对象中,以用于实现对于第一存储空间中的档案数据的恢复。相比于通常的基于额外的备份设备的实现方式,根据本公开实施例的基于SOA的档案管理方法不需要借助于额外的备份设备,而是将与档案数据相关联的关键信息存储在文件系统的数据对象服务器中,并且只同步地保存档案数据的关键信息,备份数据量小,不存在备份时间窗,此外,还能够针对各关键信息中的内容(例如,基于对象的索引节点)来实现针对异常档案数据的恢复,具有较强的灵活性,例如,只针对其中受损的那部分档案数据进行恢复。
进一步地,根据本公开的一些实施例,在第二存储空间的数据对象中对关键信息进行处理(即步骤S103)可以包括:识别操作信息所指示的操作,以及根据所指示的操作,在第二存储空间的数据对象中对关键信息进行处理。例如,该操作信息可以通过操作码(例如,op)来指示操作的类型。作为示例,对应于创建操作的操作码可以表示为字符C,对应于删除操作的操作码可以表示为字符D,对应于移动或重命名操作的操作码可以表示为字符U。
根据本公开的一些实施例,在所指示的操作为创建的情况下,该处理可以包括:将关键信息写入到特定数据对象中;在所指示的操作为删除的情况下,该处理可以包括:从特定数据对象中删除关键信息;以及在所指示的操作为移动或重命名的情况下,该处理可以包括:在特定数据对象中查找档案数据所对应的对象的索引节点,并基于关键信息对特定数据对象中查找到的数据进行更新。
为了说明对关键信息进行的处理,提供图3-图4,其中,图3示出了根据本公开实施例的关键信息处理的流程图,图4示出了根据本公开实施例的操作信息和关键信息的列表。
如图3所示,首先可以提取操作信息所指示的操作码,然后判断操作码的类型。操作码可以表示为图4中的第1列(op),其例如可以对应于创建、删除、移动或重命名这几种操作类型,并分别表示为字符C、字符D和字符U。
如图3所示,在确定操作为创建的情况下,可以将如图4中第2-5列所示出的各项关键信息写入到第二存储空间的特定数据对象中。在图4中,第1列(op)表示操作码,第2列(inode_ID)表示对象的索引节点,第3列(name)表示对象的名称,第4列(type)表示对象的类型,以及第5列(parent_inode_ID)表示父目录的索引节点。
例如,在确定操作为删除的情况下,可以依据如图4中第2列所示出的inode_ID来在特定数据对象中找到之前存储的、与该inode_ID对应的关键信息,并将其从特定数据对象中删除。又例如,在确定操作为移动或重命名的情况下,可以依据如图4中第2列所示出的inode_ID来在特定数据对象中找到之前存储的、与该inode_ID对应的关键信息,然后进行针对该关键信息的数据更新,例如,更新可以是修改名称(name)或者修改父目录的索引节点(parent_inode_ID)。
按照以上结合图3-图4所示的处理过程,能够实现在第二存储空间中对档案数据的关键信息的同步更新,针对第一存储空间中新创建的档案数据,同步地在第二存储空间的特定数据对象中存储其关键信息,在移动或重命名该档案数据的情况下,也进行相应地更新,此外,在删除了该档案数据的情况下,也相应地删除特定数据对象中的关键信息,从而保证档案数据与档案数据的关键信息的同步处理,以使得在某些档案数据出现损坏或无法访问的情况下,可以从特定数据对象中进行检索并恢复相应的档案数据。
根据本公开的一些实施例,基于SOA的档案管理方法可以包括档案数据恢复过程,其中,该恢复过程包括:将第二存储空间的数据对象中的关键信息与第一存储空间中的档案数据进行比较,以确定是否需要对第一存储空间中的档案数据进行恢复;在确定需要恢复的情况下,根据第二存储空间的数据对象中的关键信息来恢复第一存储空间的档案数据。
具体的,在图5中示出了根据本公开实施例的档案数据恢复流程图,首先,可以逐条地读取第二存储空间的特定数据对象中的关键信息,其中,特定数据对象中关键信息的存储形式可以参考图4。
接着,将读取的关键信息与第一存储空间中的档案数据进行比较,以确定是否需要对第一存储空间中的档案数据进行恢复,例如,如果这个档案数据的信息存在于第一存储空间中则表示不对其进行恢复,在这种情况下可以读取第二存储空间的特定数据对象中的下一条关键信息,并针对该关键信息进行比较。例如,如果这个档案数据的信息不存在于第一存储空间中(即,该档案数据不可访问)则表示需要对其进行恢复。
如图5所示,恢复第一存储空间的档案数据可以包括判断要恢复的档案数据所对应的对象是文件还是目录。例如,在要恢复的档案数据所对应的对象是文件的情况下,扫描该文件所对应的数据对象,即存储该关键信息的数据对象的大小(size),并根据文件所对应的数据对象的大小来计算文件的大小。进一步地,根据文件所对应的数据对象的属性信息恢复文件的属性信息。又例如,在要恢复的档案数据所对应的对象是目录的情况下,根据目录所对应的数据对象的属性信息恢复目录的属性信息。
本领域技术人员能够理解,本公开所披露的内容可以出现多种变型和改进。例如,以上所描述的各种设备或组件可以通过硬件实现,也可以通过软件、固件、或者三者中的一些或全部的组合实现。
本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是,前面或后面的步骤不一定按照顺序来精确的进行。相反,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过计算机程序来指令相关硬件完成,程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的各模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义,这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解,诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。
以上是对本公开的说明,而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例,但本领域技术人员将容易地理解,在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此,所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解,上面是对本公开的说明,而不应被认为是限于所公开的特定实施例,并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
Claims (3)
1.一种基于SOA的档案管理方法,其特征在于,包含服务提供者、服务注册中心、服务消费者三个基本组成部分,三者之间通过发布、查找、绑定操作来完成相互通信,
所述服务提供者提供的“服务”是一个封装了具体业务功能的主要部分,服务的设计遵循高内聚低耦合的原则,服务提供者将规范的接口暴露出来,并在服务注册中心将其服务注册;
所述服务注册中心为服务提供者根据服务信息,发布自己的服务,服务注册中心通过服务提供者发布的服务,将其集成到服务注册中心;
所述服务消费者从服务注册中心发现服务提供者的注册地址,并采用接口开发的思想,
通过发现的地址调用服务提供者的接口;
所述方法包括:
对于从服务提供者获取的要写入到第一存储空间的档案数据,从所述档案数据中提取所述档案数据的关键信息,其中,所述关键信息用于恢复所述档案数据;将所述关键信息和所述档案数据的操作信息发送至服务消费者的第二存储空间;以及
根据所述操作信息在所述第二存储空间的数据对象中通过服务注册中心对所述关键信息进行处理,其中,所述操作信息用于指示要通过服务注册中心对所述关键信息进行处理的操作;
所述关键信息包括以下中的至少一种:所述档案数据所对应的对象的类型、所述档案数据所对应的对象的索引节点、所述档案数据所对应的对象的名称、所述档案数据所对应的对象的父目录的索引节点;
将所述第二存储空间的数据对象中的关键信息与所述第一存储空间中的档案数据进行比较,以确定是否需要对所述第一存储空间中的档案数据进行恢复;
在确定需要恢复的情况下,根据所述第二存储空间的数据对象中的关键信息来恢复所述第一存储空间的档案数据;
所述根据所述第二存储空间的数据对象中的关键信息来恢复所述第一存储空间的档案数据包括:
确定所述要恢复的档案数据所对应的对象是文件还是目录;
在所述要恢复的档案数据所对应的对象是文件的情况下,扫描所述文件所对应的数据对象,并根据所述文件所对应的数据对象的大小计算所述文件的大小,和根据所述文件所对应的数据对象的属性信息恢复所述文件的属性信息;以及
在所述要恢复的档案数据所对应的对象是目录的情况下,根据所述目录所对应的数据对象的属性信息恢复所述目录的属性信息。
2.根据权利要求1所述的方法,其特征在于,所述在所述第二存储空间的数据对象中通过服务注册中心对所述关键信息进行处理包括:
识别所述操作信息所指示的操作;以及
根据所述所指示的操作,在所述第二存储空间的数据对象中通过服务注册中心对所述关键信息进行处理,其中,所述操作包括创建、删除、移动或重命名。
3.根据权利要求2所述的方法,其特征在于,所述第二存储空间的数据对象用于存储与档案数据相关联的信息并表示为特定数据对象,其中,
在所述所指示的操作为创建的情况下,所述处理包括:将所述关键信息写入到所述特定数据对象中;
在所述所指示的操作为删除的情况下,所述处理包括:从所述特定数据对象中删除所述关键信息;以及
在所述所指示的操作为移动或重命名的情况下,所述处理包括:在所述特定数据对象中查找所述档案数据所对应的对象的索引节点,并基于所述关键信息对所述特定数据对象中查找到的数据进行更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110999711.4A CN113672558B (zh) | 2021-08-29 | 2021-08-29 | 一种基于soa的档案管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110999711.4A CN113672558B (zh) | 2021-08-29 | 2021-08-29 | 一种基于soa的档案管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113672558A CN113672558A (zh) | 2021-11-19 |
CN113672558B true CN113672558B (zh) | 2023-08-29 |
Family
ID=78547370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110999711.4A Active CN113672558B (zh) | 2021-08-29 | 2021-08-29 | 一种基于soa的档案管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113672558B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101118506A (zh) * | 2006-07-31 | 2008-02-06 | 英业达股份有限公司 | 档案系统的备份与恢复方法 |
CN103026355A (zh) * | 2010-03-18 | 2013-04-03 | 诺宝公司 | 数据库管理系统 |
CN108197260A (zh) * | 2017-12-30 | 2018-06-22 | 南京陶特思软件科技有限公司 | 一种文档管理系统 |
CN110688348A (zh) * | 2019-10-09 | 2020-01-14 | 李智鹏 | 档案管理系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080040388A1 (en) * | 2006-08-04 | 2008-02-14 | Jonah Petri | Methods and systems for tracking document lineage |
US8316064B2 (en) * | 2008-08-25 | 2012-11-20 | Emc Corporation | Method and apparatus for managing data objects of a data storage system |
JP5735124B2 (ja) * | 2011-10-28 | 2015-06-17 | 株式会社日立製作所 | ストレージシステム、及びオブジェクト管理方法 |
-
2021
- 2021-08-29 CN CN202110999711.4A patent/CN113672558B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101118506A (zh) * | 2006-07-31 | 2008-02-06 | 英业达股份有限公司 | 档案系统的备份与恢复方法 |
CN103026355A (zh) * | 2010-03-18 | 2013-04-03 | 诺宝公司 | 数据库管理系统 |
CN108197260A (zh) * | 2017-12-30 | 2018-06-22 | 南京陶特思软件科技有限公司 | 一种文档管理系统 |
CN110688348A (zh) * | 2019-10-09 | 2020-01-14 | 李智鹏 | 档案管理系统 |
Non-Patent Citations (1)
Title |
---|
当前档案数字化管理的优势与弊端;石夏;城建档案(第8期);37-38 * |
Also Published As
Publication number | Publication date |
---|---|
CN113672558A (zh) | 2021-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11086531B2 (en) | Scaling events for hosting hierarchical data structures | |
US11860895B2 (en) | Selectively replicating changes to hierarchial data structures | |
US20220043830A1 (en) | Versioned hierarchical data structures in a distributed data store | |
US20190081876A1 (en) | Real time anomaly detection for data streams | |
US10929247B2 (en) | Automatic creation of application-centric extended metadata for a storage appliance | |
CA2923068C (en) | Method and system for metadata synchronization | |
US8548957B2 (en) | Method and system for recovering missing information at a computing device using a distributed virtual file system | |
US8489676B1 (en) | Technique for implementing seamless shortcuts in sharepoint | |
EP3803591A1 (en) | Managing hosted resources across different virtualization platforms | |
US10338958B1 (en) | Stream adapter for batch-oriented processing frameworks | |
CN108959385B (zh) | 数据库部署方法、装置、计算机设备和存储介质 | |
US11080253B1 (en) | Dynamic splitting of contentious index data pages | |
US8024712B1 (en) | Collecting application logs | |
US10860604B1 (en) | Scalable tracking for database udpates according to a secondary index | |
CN112968960A (zh) | 一种基于开源组件的微服务架构 | |
CN107710164B (zh) | 作为一种服务的灾难恢复 | |
US11341000B2 (en) | Capturing and restoring persistent state of complex applications | |
US10262024B1 (en) | Providing consistent access to data objects transcending storage limitations in a non-relational data store | |
US20170091209A1 (en) | System that maintains objects created and modified within designated directories on a per-client basis in a network filesystem | |
US11831485B2 (en) | Providing selective peer-to-peer monitoring using MBeans | |
US10545829B2 (en) | Using file system extended attributes to recover databases in hierarchical file systems | |
US10963479B1 (en) | Hosting version controlled extract, transform, load (ETL) code | |
CN113672558B (zh) | 一种基于soa的档案管理方法 | |
US11757703B1 (en) | Access requests processing and failover handling across multiple fault tolerance zones | |
US20180004767A1 (en) | REST APIs for Data Services |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Room 769, building 2, East Ring Road, Yanqing Park, Zhongguancun, Yanqing District, Beijing 102101 Applicant after: ZHONGDUN innovative digital technology (Beijing) Co.,Ltd. Address before: Room 769, building 2, East Ring Road, Yanqing Park, Zhongguancun, Yanqing District, Beijing 102101 Applicant before: ZHONGDUN innovation archives management (Beijing) Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |