CN117707857A - 芯片研发数据备份方法、装置、计算机设备和存储介质 - Google Patents
芯片研发数据备份方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117707857A CN117707857A CN202410167065.9A CN202410167065A CN117707857A CN 117707857 A CN117707857 A CN 117707857A CN 202410167065 A CN202410167065 A CN 202410167065A CN 117707857 A CN117707857 A CN 117707857A
- Authority
- CN
- China
- Prior art keywords
- data
- backup
- backed
- user
- white list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012827 research and development Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000011161 development Methods 0.000 claims description 34
- 230000000903 blocking effect Effects 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 20
- 238000012216 screening Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种芯片研发数据备份方法、装置、计算机设备和存储介质。方法包括:获取位于待备份的源数据目录下的待备份芯片研发数据,以及各待备份芯片研发数据关联的元数据信息;按照用户信息表征的用户,对各待备份芯片研发数据进行分组处理,得到各用户分别对应的待备份数据;针对各待备份数据,获取各用户分别对应的白名单备份策略以及黑名单备份策略,并基于各待备份数据的元数据信息,获取与白名单备份策略相匹配的第一待备份数据,以及与黑名单备份策略相匹配的第二待备份数据;对第一待备份数据进行数据备份处理,以及取消对第二待备份数据的数据备份处理。采用本方法能够减少备份数据的数据量,进而提高芯片研发数据的备份效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种芯片研发数据备份方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展,出现了一种针对集成电路芯片进行研发设计的技术,并且在集成电路芯片研发设计过程中,通常需要对研发过程中重要数据进行备份,以避免数据丢失或硬件损坏的风险。
传统技术中,对芯片研发数据的备份通常是采用对指定的整个数据目录进行周期性的整体打包备份或差异增量备份的方式实现。
然而,芯片研发数据有诸如数据量大、临时数据多、数据变化快、数据格式复杂、路径信息多变等特点,如果通过上述备份方法实现备份,会将大量临时无用数据备份,不仅浪费空间增加成本,同时也会大大降低数据备份和还原效率,另外由于数据量加大,备份时间长,很难保证备份数据在时间上的一致性。因此,现有的芯片研发数据的备份效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高芯片研发数据备份效率的芯片研发数据备份方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种芯片研发数据备份方法,包括:
获取位于待备份的源数据目录下的待备份芯片研发数据,以及各所述待备份芯片研发数据关联的元数据信息;所述元数据信息中包含用户信息;
按照所述用户信息表征的用户,对各所述待备份芯片研发数据进行分组处理,得到各用户分别对应的待备份数据;
针对各待备份数据,获取各所述用户分别对应的白名单备份策略以及黑名单备份策略,并基于各所述待备份数据的元数据信息,从各所述待备份数据中,获取与所述白名单备份策略相匹配的第一待备份数据,以及与所述黑名单备份策略相匹配的第二待备份数据;
对所述第一待备份数据进行数据备份处理,以及取消对所述第二待备份数据的数据备份处理。
在其中一个实施例中,所述获取各所述用户分别对应的白名单备份策略以及黑名单备份策略,包括:获取预先针对所述源数据目录配置的备份策略;所述备份策略中包含有针对不同用户集合分别配置的用户集合白名单备份策略与用户集合黑名单备份策略;获取当前用户,以及所述当前用户所属的目标用户集合;所述当前用户为各所述用户中的任意一个;将针对所述目标用户集合配置的用户集合白名单备份策略与用户集合黑名单备份策略,作为所述当前用户对应的白名单备份策略以及黑名单备份策略。
在其中一个实施例中,所述备份策略中还包含有针对特殊用户配置的用户白名单备份策略与用户黑名单备份策略;所述将针对所述目标用户集合配置的用户集合白名单备份策略与用户集合黑名单备份策略,作为所述当前用户对应的白名单备份策略以及黑名单备份策略,包括:在所述当前用户不属于所述特殊用户的情况下,将针对所述目标用户集合配置的用户集合白名单备份策略与用户集合黑名单备份策略,作为所述当前用户对应的白名单备份策略以及黑名单备份策略;所述方法还包括:在所述当前用户属于所述特殊用户的情况下,将针对所述当前用户配置的用户白名单备份策略与用户黑名单备份策略,作为所述当前用户对应的白名单备份策略以及黑名单备份策略。
在其中一个实施例中,所述备份策略中还预先配置有备份数据分块阈值;所述对所述第一待备份数据进行数据备份处理,包括:获取所述当前用户对应的第一待备份数据的数据容量;在所述数据容量大于所述备份数据分块阈值的情况下,按照所述备份数据分块阈值对所述第一待备份数据进行分块处理,得到所述第一待备份数据对应的多个数据分块;对各所述数据分块进行备份处理。
在其中一个实施例中,所述基于各所述待备份数据的元数据信息,从各所述待备份数据中,获取与所述白名单备份策略相匹配的第一待备份数据,以及与所述黑名单备份策略相匹配的第二待备份数据,包括:获取当前待备份数据,所述当前待备份数据为当前用户对应的待备份数据中的任意一个;所述当前用户为各所述用户中的任意一个;在所述当前待备份数据对应的元数据信息,满足所述当前用户对应的白名单备份策略,且不满足所述当前用户对应的黑名单备份策略,将所述当前待备份数据作为第一待备份数据;在所述当前待备份数据对应的元数据信息,满足所述当前用户对应的黑名单备份策略,且不满足所述当前用户对应的白名单备份策略,将所述当前待备份数据作为第二待备份数据。
在其中一个实施例中,所述获取当前待备份数据之后,还包括:获取预先针对所述源数据目录配置的备份策略;所述备份策略中还配置有所述当前用户对应的白名单备份策略的白名单备份优先级,以及所述当前用户对应的黑名单备份策略的黑名单备份优先级;在所述当前待备份数据对应的元数据信息,同时满足所述当前用户对应的白名单备份策略,以及所述当前用户对应的黑名单备份策略的情况下,比对所述白名单备份优先级与所述黑名单备份优先级;若所述白名单备份优先级大于所述黑名单备份优先级,则将所述当前待备份数据作为第一待备份数据;若所述白名单备份优先级小于所述黑名单备份优先级的,则将所述当前待备份数据作为第二待备份数据。
在其中一个实施例中,所述备份策略中还配置有灰度数据备份策略;所述获取当前待备份数据之后,还包括:在所述当前待备份数据对应的元数据信息,既不满足所述当前用户对应的白名单备份策略,又不满足所述当前用户对应的黑名单备份策略的情况下,将所述当前待备份数据作为灰度数据;所述对所述第一待备份数据进行数据备份处理,以及取消对第二待备份数据的数据备份处理,包括:在所述灰度数据备份策略表征对灰度数据进行备份的情况下,对所述第一待备份数据以及所述灰度数据进行数据备份处理,以及取消对所述第二待备份数据的数据备份处理;在所述灰度数据备份策略表征不对灰度数据进行备份的情况下,对所述第一待备份数据进行数据备份处理,以及取消对所述第二待备份数据以及所述灰度数据的数据备份处理。
在其中一个实施例中,所述获取各所述用户分别对应的白名单备份策略以及黑名单备份策略,包括:从预先针对所述源数据目录配置的备份策略中,获取当前用户对应的初始白名单备份策略以及初始黑名单备份策略;所述当前用户为各所述用户中的任意一个;所述初始白名单备份策略为所述备份策略中预先完整配置的白名单备份策略,所述初始黑名单备份策略为所述备份策略中预先完整配置的黑名单备份策略;从所述备份策略中,获取待定白名单备份策略,以及待定黑名单备份策略;所述待定白名单备份策略为所述备份策略中未预先完整配置的白名单备份策略,所述待定黑名单备份策略为所述备份策略中未预先完整配置的黑名单备份策略;根据所述待备份芯片研发数据关联的元数据信息,以及所述待定白名单备份策略与所述待定黑名单备份策略,获取目标白名单备份策略以及目标黑名单备份策略;将所述当前用户对应的初始白名单备份策略以及目标白名单备份策略,作为所述当前用户对应的白名单备份策略,以及将所述当前用户对应的初始黑名单备份策略以及目标黑名单备份策略,作为所述当前用户对应的黑名单备份策略。
在其中一个实施例中,所述获取位于待备份的源数据目录下的待备份芯片研发数据,包括:获取预先针对所述源数据目录配置的备份策略,并从所述备份策略中获取预先配置的备份周期;在当前时间满足与所述备份周期相匹配的备份时间的情况下,获取所述源数据目录对应的快照数据;将所述快照数据作为所述待备份芯片研发数据。
第二方面,本申请还提供了一种芯片研发数据备份装置,包括:
芯片数据获取模块,用于获取位于待备份的源数据目录下的待备份芯片研发数据,以及各所述待备份芯片研发数据关联的元数据信息;所述元数据信息中包含用户信息;
待备份数据获取模块,用于照所述用户信息表征的用户,对各所述待备份芯片研发数据进行分组处理,得到各用户分别对应的待备份数据;
黑白名单筛选模块,用于针对各待备份数据,获取各所述用户分别对应的白名单备份策略以及黑名单备份策略,并基于各所述待备份数据的元数据信息,从各所述待备份数据中,获取与所述白名单备份策略相匹配的第一待备份数据,以及与所述黑名单备份策略相匹配的第二待备份数据;
数据备份模块,用于对所述第一待备份数据进行数据备份处理,以及取消对所述第二待备份数据的数据备份处理。
第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行如第一方面任一项实施例所述方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项实施例所述方法的步骤。
第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面任一项实施例所述方法的步骤。
上述芯片研发数据备份方法、装置、计算机设备、存储介质和计算机程序产品,通过获取位于待备份的源数据目录下的待备份芯片研发数据,以及各待备份芯片研发数据关联的元数据信息;元数据信息中包含用户信息;按照用户信息表征的用户,对各待备份芯片研发数据进行分组处理,得到各用户分别对应的待备份数据;针对各待备份数据,获取各用户分别对应的白名单备份策略以及黑名单备份策略,并基于各待备份数据的元数据信息,从各待备份数据中,获取与白名单备份策略相匹配的第一待备份数据,以及与黑名单备份策略相匹配的第二待备份数据;对第一待备份数据进行数据备份处理,以及取消对第二待备份数据的数据备份处理。本申请通过得到需要备份的源数据目录下的芯片研发数据的元数据信息,从而根据元数据信息中包含的用户信息,对芯片研发数据进行分组,得到每个用户对应的待备份数据,并且可以基于每个用户分别对应的白名单备份策略以及黑名单备份策略,从待备份数据中得到白名单备份策略匹配的第一待备份数据,以及和黑名单备份策略匹配的第二待备份数据,从而只对第一待备份数据进行备份,同时取消对第二待备份数据进行数据备份,通过该方式实现了可以基于不同用户的白名单备份策略以及黑名单备份策略,来确定不同用户需要备份的芯片研发数据,从而可以减少备份数据的数据量,进而提高芯片研发数据的备份效率。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中芯片研发数据备份方法的流程示意图;
图2为一个实施例中获取用户对应的黑白名单备份策略的流程示意图;
图3为一个实施例中获取第一与第二待备份数据的流程示意图;
图4为另一个实施例中获取第一与第二待备份数据的流程示意图;
图5为另一个实施例中获取用户对应的黑白名单备份策略的流程示意图;
图6为一个实施例中芯片研发数据精简备份系统的架构示意图;
图7为一个实施例中芯片研发数据精简备份方法的流程示意图;
图8为一个实施例中芯片研发数据备份装置的结构框图;
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种芯片研发数据备份方法,本实施例以该方法应用于服务器进行举例说明,可以理解的是,该方法也可以应用于终端,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
步骤S101,获取位于待备份的源数据目录下的待备份芯片研发数据,以及各待备份芯片研发数据关联的元数据信息;元数据信息中包含用户信息。
待备份的源数据目录指的是需要进行芯片研发数据备份的数据目录,该数据目录可以由用户预先指定,待备份芯片研发数据指的是在源数据目录下需要进行备份的芯片研发数据,而元数据信息则是用于描述上述芯片研发数据的信息,例如上述芯片研发数据的数据大小、数据路径、对应的用户信息,以及芯片研发数据最近的访问时间等等。具体来说,在需要进行针对某个源数据目录下的芯片研发数据备份时,服务器可以先得到在待备份的源数据目录下需要备份的芯片研发数据,作为待备份芯片研发数据,并且还可以得到上述待备份芯片研发数据分别关联的元数据信息。
步骤S102,按照用户信息表征的用户,对各待备份芯片研发数据进行分组处理,得到各用户分别对应的待备份数据。
待备份数据则指的是每个用户分别对应的待备份芯片研发数据,由于待备份芯片研发数据所关联的元数据信息中,都记载有该待备份芯片研发数据对应的用户信息,因此,服务器可以根据上述用户信息,对待备份芯片研发数据按照用户进行分组,从而得到每个用户分别对应的待备份数据。
例如,待备份芯片研发数据包含研发数据A、研发数据B和研发数据C,并且研发数据A和C关联的元数据信息中包含的用户信息为用户信息A,而研发数据B关联的元数据信息中包含的用户信息为用户信息B,那么服务器则可以将研发数据A和C分为同一组,作为用户A的待备份数据,同时将研发数据B分为另一组,作为用户B的待备份数据。
步骤S103,针对各待备份数据,获取各用户分别对应的白名单备份策略以及黑名单备份策略,并基于各待备份数据的元数据信息,从各待备份数据中,获取与白名单备份策略相匹配的第一待备份数据,以及与黑名单备份策略相匹配的第二待备份数据;
步骤S104,对第一待备份数据进行数据备份处理,以及取消对第二待备份数据的数据备份处理。
白名单备份策略指的是数据备份的白名单策略,如果某个数据满足白名单备份策略,则表明其属于需要进行备份的研发数据,同理,黑名单备份策略则是数据备份的黑名单策略,如果某个数据满足黑名单备份策略,则表明其属于不需要备份的研发数据。而第一待备份数据指的是各个用户对应的待备份数据中,满足该用户相应白名单备份策略,即需要备份的待备份数据,第二待备份数据指的是各个用户对应的待备份数据中,满足该用户相应黑名单备份策略,即不需要备份的待备份数据。
具体来说,服务器得到每个用户对应的待备份数据后,则可基于各个待备份数据所对应用户的白名单备份策略以及黑名单备份策略,以及上述待备份数据的元数据信息,来判断各个待备份数据是否和白名单备份策略,或者黑名单备份策略匹配。如果和白名单备份策略匹配,则将其作为第一待备份数据进行备份,而如果和黑名单备份策略相匹配,则将其作为第二待备份数据,并且不进行备份。
例如,对于研发数据A、研发数据B和研发数据C,由于研发数据A和C都对应用户A,因此服务器得到研发数据A和C后,则可以基于研发数据A和C所关联的元数据信息,来判断其是否满足用户A的白名单备份策略或者黑名单备份策略,假如研发数据A满足用户A的白名单备份策略,并且研发数据C满足用户A的黑名单备份策略,则对研发数据A进行数据备份处理,而不对研发数据C进行数据备份处理。同理研发数据B对应用户B,则可以根据研发数据B关联的元数据信息,判断其是否满足用户B的白名单备份策略或者黑名单备份策略,如果满足用户B的白名单备份策略,也将其进行备份处理。
上述芯片研发数据备份方法中,通过获取位于待备份的源数据目录下的待备份芯片研发数据,以及各待备份芯片研发数据关联的元数据信息;元数据信息中包含用户信息;按照用户信息表征的用户,对各待备份芯片研发数据进行分组处理,得到各用户分别对应的待备份数据;针对各待备份数据,获取各用户分别对应的白名单备份策略以及黑名单备份策略,并基于各待备份数据的元数据信息,从各待备份数据中,获取与白名单备份策略相匹配的第一待备份数据,以及与黑名单备份策略相匹配的第二待备份数据;对第一待备份数据进行数据备份处理,以及取消对第二待备份数据的数据备份处理。本申请通过得到需要备份的源数据目录下的芯片研发数据的元数据信息,从而根据元数据信息中包含的用户信息,对芯片研发数据进行分组,得到每个用户对应的待备份数据,并且可以基于每个用户分别对应的白名单备份策略以及黑名单备份策略,从待备份数据中得到白名单备份策略匹配的第一待备份数据,以及和黑名单备份策略匹配的第二待备份数据,从而只对第一待备份数据进行备份,同时取消对第二待备份数据进行数据备份,通过该方式实现了可以基于不同用户的白名单备份策略以及黑名单备份策略,来确定不同用户需要备份的芯片研发数据,从而可以减少备份数据的数据量,进而提高芯片研发数据的备份效率。
在一个实施例中,如图2所示,步骤S103可以进一步包括:
步骤S201,获取预先针对源数据目录配置的备份策略;备份策略中包含有针对不同用户集合分别配置的用户集合白名单备份策略与用户集合黑名单备份策略。
备份策略指的是用于表征芯片研发数据备份方式的策略,该备份策略可以由芯片研发用户预先配置得到,具体来说,芯片研发用户可以根据芯片研发需要,针对各个用于存储芯片研发数据的源数据目录,分别配置相应的备份策略。其中上述备份策略中可以包含有用户集合白名单备份策略,以及用户集合黑名单备份策略。其中,用户集合白名单备份策略是针对某个用户集合设置的白名单备份策略,而用户集合黑名单备份策略是针对某个用户集合设置的黑名单备份策略,该用户集合可以是同一个研发部门的研发用户集合。
具体来说,服务器可以先根据针对源数据目录预先配置的备份策略,来得到上述备份策略中包含的不同用户集合的用户集合白名单备份策略与用户集合黑名单备份策略。
步骤S202,获取当前用户,以及当前用户所属的目标用户集合;当前用户为各用户中的任意一个;
步骤S203,将针对目标用户集合配置的用户集合白名单备份策略与用户集合黑名单备份策略,作为当前用户对应的白名单备份策略以及黑名单备份策略。
当前用户可以指的是各个用户中的任意一个,例如可以是用户A也可以是用户B,而目标用户集合则指的是当前用户所属的用户集合,本实施例中,服务器可以将当前用户所属目标用户集合对应的用户集合白名单备份策略与用户集合黑名单备份策略,分别作为该当前用户对应的白名单备份策略以及黑名单备份策略。例如,用户A所属的用户集合为用户集合A,那么服务器则可以将用户集合A配置的用户集合白名单备份策略与用户集合黑名单备份策略,作为用户A对应的白名单备份策略以及黑名单备份策略,由于用户集合可以包含多个用户,通过该方式,可以同时对多个用户的白名单备份策略以及黑名单备份策略进行配置,从而提高白名单备份策略以及黑名单备份策略的配置效率。
本实施例中,可以通过在备份策略中针对不同用户集合配置相应的用户集合白名单备份策略与用户集合黑名单备份策略,从而在实现备份时即刻根据用户所属用户集合来确定相应的白名单备份策略以及黑名单备份策略,通过该方式可以同时对多个用户的白名单备份策略以及黑名单备份策略进行配置,从而提高白名单备份策略以及黑名单备份策略的配置效率。
进一步地,备份策略中还包含有针对特殊用户配置的用户白名单备份策略与用户黑名单备份策略;步骤S203可以进一步包括:在当前用户不属于特殊用户的情况下,将针对目标用户集合配置的用户集合白名单备份策略与用户集合黑名单备份策略,作为当前用户对应的白名单备份策略以及黑名单备份策略;芯片研发数据备份方法,还可以包括:在当前用户属于特殊用户的情况下,将针对当前用户配置的用户白名单备份策略与用户黑名单备份策略,作为当前用户对应的白名单备份策略以及黑名单备份策略。
本实施例中,备份策略还可以包含有针对特殊用户,即某些特定用户专门配置的白名单备份策略与黑名单备份策略,即用户白名单备份策略与用户黑名单备份策略,上述白名单备份策略与黑名单备份策略只适用于特定用户。因此,服务器在确定当前用户对应的白名单备份策略以及黑名单备份策略时,可以先判断该当前用户是否为特殊用户,如果不是特殊用户,服务器则可以将目标用户集合配置的用户集合白名单备份策略与用户集合黑名单备份策略,作为当前用户对应的白名单备份策略以及黑名单备份策略,而如果是特殊用户,则可以将针对当前用户配置的用户白名单备份策略与用户黑名单备份策略,作为当前用户对应的白名单备份策略以及黑名单备份策略。
本实施例中,还可以在备份策略中配置针对特殊用户的白名单备份策略与黑名单备份策略,从而可以同时兼顾大众备份需求以及特殊用户的特殊备份需求,通过该方式可以进一步提高芯片研发数据备份的智能性。
进一步地,备份策略中还预先配置有备份数据分块阈值;步骤S104可以进一步包括:获取当前用户对应的第一待备份数据的数据容量;在数据容量大于备份数据分块阈值的情况下,按照备份数据分块阈值对第一待备份数据进行分块处理,得到第一待备份数据对应的多个数据分块;对各数据分块进行备份处理。
备份数据分块阈值指的是在进行数据备份时最大数据块对应的阈值,本实施例中,如果某个用户的第一待备份数据的数据容量过大,则需要对该用户的第一待备份数据进行数据分块。具体来说,如果当前用户对应的第一待备份数据的数据容量,要超过设定的最大备份数据分块阈值,在这种情况下,服务器则可以按照上述备份数据分块阈值,来对第一待备份数据进行分块处理,得到多个数据分块后,再分别对多个数据分块进行备份。而如果第一待备份数据的数据容量,未超过设定的最大备份数据分块阈值,则可以直接对第一待备份数据进行备份处理。
例如,备份数据分块阈值为2GB,如果当前用户对应的第一待备份数据的数据容量为3GB,那么服务器则可以先将第一待备份数据进行数据分块,分成2GB的数据分块以及1GB的数据分块,再分别对2GB的数据分块以及1GB的数据分块进行数据备份,而如果当前用户对应的第一待备份数据的数据容量为1GB,没达到备份数据分块阈值,则直接对其进行备份处理。
本实施例中,还可以通过在备份策略中配置备份数据分块阈值,从而在第一待备份数据的数据容量过大时,可以先进行数据分块,并分别对各个数据分块进行备份,通过该方式可以实现大容量数据的并行备份,从而提高数据备份的效率。
在一个实施例中,如图3所示,步骤S103可以进一步包括:
步骤S301,获取当前待备份数据,当前待备份数据为当前用户对应的待备份数据中的任意一个;当前用户为各用户中的任意一个。
当前待备份数据指的是任意一个待备份数据,即任意一个当前用户对应的待备份数据中的任意一个。本实施例中,服务器可以将各个待备份数据分别作为当前待备份数据,从而判断各个当前待备份数据属于白名单备份策略相匹配的第一待备份数据,还是属于黑名单备份策略相匹配的第二待备份数据。
步骤S302,在当前待备份数据对应的元数据信息,满足当前用户对应的白名单备份策略,且不满足当前用户对应的黑名单备份策略,将当前待备份数据作为第一待备份数据。
之后,服务器则可以根据当前待备份数据对应的元数据信息,来判断其是否满足当前用户对应的黑白名单备份策略,例如白名单备份策略为某个特定路径,如果当前待备份数据的元数据信息中记录有上述特定数据,服务器则可以将其确定为与白名单备份策略匹配。
具体来说,如果服务器根据当前待备份数据对应的元数据信息,判断出元数据信息满足白名单备份策略,即当前待备份数据与白名单备份策略匹配,同时确定出元数据信息不满足黑名单备份策略,即当前待备份数据与黑名单备份策略不匹配,那么服务器则可以将当前待备份数据作为第一待备份数据。
步骤S303,在当前待备份数据对应的元数据信息,满足当前用户对应的黑名单备份策略,且不满足当前用户对应的白名单备份策略,将当前待备份数据作为第二待备份数据。
同理,如果服务器根据当前待备份数据对应的元数据信息,判断出元数据信息满足黑名单备份策略,即当前待备份数据与黑名单备份策略匹配,同时确定出元数据信息不满足白名单备份策略,即当前待备份数据与摆名单备份策略不匹配,那么服务器则可以将当前待备份数据作为第二待备份数据。
本实施例中,服务器可以基于每一个当前待备份数据对应的元数据信息,来判断其是否与当前用户对应的黑白名单备份策略匹配,通过该方式可以进一步提高待备份数据的筛选效率。
另外,如图4所示,步骤S301之后,还可以包括:
步骤S401,获取预先针对源数据目录配置的备份策略;备份策略中还配置有当前用户对应的白名单备份策略的白名单备份优先级,以及当前用户对应的黑名单备份策略的黑名单备份优先级。
本实施例中,预先针对源数据目录配置的备份策略,还可以配置有每一个当前用户对应的白名单备份策略的白名单备份优先级,以及黑名单备份策略的黑名单备份优先级,该优先级可以表征黑白名单备份策略之间的优先度,并且白名单备份优先级与黑名单备份优先级一般是不同的优先级。具体来说,芯片研发用户配置针对当前用户的黑白名单备份策略时,还可以分别配置上述黑白名单备份策略对应的优先级。
步骤S402,在当前待备份数据对应的元数据信息,同时满足当前用户对应的白名单备份策略,以及当前用户对应的黑名单备份策略的情况下,比对白名单备份优先级与黑名单备份优先级。
之后,如果当前用户的某个当前待备份数据对应的元数据信息,同时与当前用户对应的白名单备份策略以及黑名单备份策略匹配,服务器则可以比对当前用户对应的白名单备份策略的白名单备份优先级,以及当前用户对应的黑名单备份策略的黑名单备份优先级。
步骤S403,若白名单备份优先级大于黑名单备份优先级,则将当前待备份数据作为第一待备份数据;
步骤S404,若白名单备份优先级小于黑名单备份优先级的,则将当前待备份数据作为第二待备份数据。
如果比对结果表征白名单备份优先级大于黑名单备份优先级,那么白名单备份策略的优先级更大,那么服务器则可以将将当前待备份数据作为第一待备份数据,同理如果比对结果表征白名单备份优先级小于黑名单备份优先级,那么黑名单备份策略的优先级更大,那么服务器则可以将将当前待备份数据作为第二待备份数据。
本实施例中,还可以在备份策略中分别配置黑白名单备份策略的备份优先级,从而可以在待备份数据同时匹配黑白名单备份策略时,根据上述优先级来判断是否对待备份数据进行备份,通过该方式,可以在黑白名单备份策略冲突时,也可以实现芯片研发数据备份,从而进一步提高芯片研发数据备份的通用性。
另外,备份策略中还配置有灰度数据备份策略;步骤S301之后,还可以包括:在当前待备份数据对应的元数据信息,既不满足当前用户对应的白名单备份策略,又不满足当前用户对应的黑名单备份策略的情况下,将当前待备份数据作为灰度数据;步骤S104可以进一步包括:在灰度数据备份策略表征对灰度数据进行备份的情况下,对第一待备份数据以及灰度数据进行数据备份处理,以及取消对第二待备份数据的数据备份处理;在灰度数据备份策略表征不对灰度数据进行备份的情况下,对第一待备份数据进行数据备份处理,以及取消对第二待备份数据以及灰度数据的数据备份处理。
本实施例中,备份策略中还配置有灰度数据备份策略,该备份策略主要是用于针对无法归入黑白名单备份策略的芯片研发数据,提供一种备份处理的方式。具体来说,如果当前待备份数据对应的元数据信息,同时不满足当前用户的黑白名单备份策略,即表明当前待备份数据同时不匹配当前用户的黑白名单备份策略的情况下,服务器则可以将当前待备份数据作为灰度数据。
之后,在进行数据备份时,灰度数据备份策略表征需要对灰度数据进行备份,那么备份的待备份数据则可以包括与白名单备份策略相匹配的第一待备份数据,以及灰度数据,而不对与黑名单备份策略相匹配的第二待备份数据进行备份。同理,如果灰度数据备份策略表征不需要对灰度数据进行备份,那么备份的待备份数据则可以只包括与白名单备份策略相匹配的第一待备份数据而不对与黑名单备份策略相匹配的第二待备份数据以及灰度数据进行备份。
本实施例中,还可以在备份策略中提供针对灰度数据的备份策略,从而不需要用户非常准确的知道黑白名单的设置,也可以实现针对用户不确定的灰度数据进行数据备份过程,通过该方式可以进一步提高芯片研发数据备份的智能性。
在一个实施例中,如图5所示,步骤S103可以进一步包括:
步骤S501,从预先针对源数据目录配置的备份策略中,获取当前用户对应的初始白名单备份策略以及初始黑名单备份策略;当前用户为各用户中的任意一个;初始白名单备份策略为备份策略中预先完整配置的白名单备份策略,初始黑名单备份策略为备份策略中预先完整配置的黑名单备份策略;
步骤S502,从备份策略中,获取待定白名单备份策略,以及待定黑名单备份策略;待定白名单备份策略为备份策略中未预先完整配置的白名单备份策略,待定黑名单备份策略为备份策略中未预先完整配置的黑名单备份策略。
其中,初始白名单备份策略以及初始黑名单备份策略指的是预先完整配置的白名单备份策略与黑名单备份策略,而待定白名单备份策略以及待定黑名单备份策略则指的是未预先完整配置的白名单备份策略与黑名单备份策略。以某个白名单备份策略是对应于一个文件路径的备份策略为例,如果某个白名单备份策略中,该文件路径是一个完整的文件路径,那么该白名单备份策略则可以作为初始白名单备份策略,而如果某个白名单备份策略中,由于用户无法得知完整的文件路径,因此只包含部分文件路径,那么在这种情况下,该白名单备份策略即为未预先完整配置的白名单备份策略,即待定白名单备份策略。
具体来说,服务器可以先从针对源数据目录配置的备份策略中,确定出与当前用户对应的,预先完整配置的初始白名单备份策略以及初始黑名单备份策略,以及未预先完整配置的待定白名单备份策略与待定黑名单备份策略。
步骤S503,根据待备份芯片研发数据关联的元数据信息,以及待定白名单备份策略与待定黑名单备份策略,获取目标白名单备份策略以及目标黑名单备份策略。
目标白名单备份策略以及目标黑名单备份策略则是补充完善后的待定白名单备份策略与待定黑名单备份策略,本实施例中,在得到待备份芯片研发数据关联的元数据信息则可以利用元数据信息,来完善待定白名单备份策略与待定黑名单备份策略,从而得到目标白名单备份策略以及目标黑名单备份策略。
例如,某个待定白名单备份策略为:未知路径-路径A-路径B-未知路径,可见在这个策略中,路径并未完全确定,因此需要补足,如果某个元数据信息中包含的路径信息为:路径C-路径A-路径B-路径D,与上述待定白名单备份策略相匹配,因此则可以利用上述元数据信息完善待定白名单备份策略,即生成路径C-路径A-路径B-路径D的白名单备份策略,作为目标白名单备份策略。
步骤S504,将当前用户对应的初始白名单备份策略以及目标白名单备份策略,作为当前用户对应的白名单备份策略,以及将当前用户对应的初始黑名单备份策略以及目标黑名单备份策略,作为当前用户对应的黑名单备份策略。
最后,服务器则可以将当前用户对应的初始白名单备份策略以及目标白名单备份策略进行整合,得到当前用户对应的白名单备份策略,同时可以将当前用户对应的初始黑名单备份策略以及目标黑名单备份策略进行整合,得到当前用户对应的黑名单备份策略。
本实施例中,还可以预先配置待定黑白名单备份策略,从而在无法具体明确黑白名单备份策略的情况下,也可以通过特定规则设置黑白名单备份策略,通过该方式可以进一步提高黑白名单备份策略设置的智能性。
在一个实施例中,步骤S101可以进一步包括:获取预先针对源数据目录配置的备份策略,并从备份策略中获取预先配置的备份周期;在当前时间满足与备份周期相匹配的备份时间的情况下,获取源数据目录对应的快照数据;将快照数据作为待备份芯片研发数据。
本实施例中,为源数据目录配置的备份策略中,还可以配置有备份周期,该备份周期可以指的是进行芯片研发数据备份的周期,例如可以是1天或者1小时等等,而备份时间则指的是与备份周期相匹配的时间,例如备份周期是1天,那么备份时间则可以是每天的零点时刻,快照数据则是在备份时间源数据目录下的芯片研发数据。
具体来说,服务器可以预先获取配置的备份周期,并监听当前时间是否满足和备份周期相匹配的备份时间,如果满足,服务器则可以获取源数据目录对应的快照数据,并将该快照数据,作为需要备份的芯片研发数据,
本实施例中,还可以通过在备份策略中配置备份周期,从而在前时间满足与备份周期相匹配的备份时间时,可以将快照数据作为待备份芯片研发数据,通过该方式可以提高数据备份的准确性。
在一个实施例中,还提供了一种芯片研发数据精简备份系统、装置、方法,针对芯片行业前端、后端、定制电路等不同部门或项目的数据特点,制定对应的黑白名单策略,依据黑白名单策略对项目数据最近一次的快照数据进行筛选和备份,在保证数据在时间上保持一致性的同时,可大幅度的降低需要备份的数据量,进而减少备份空间的占用,提升备份效率;同时系统具有友好的备份状态监控和历史状态查询页面及管理员配置页面,方便管理和用户查看。其中,系统架构可如图6所示,具体可通过以下步骤实现备份:
1、备份策略配置。
每一个备份策略需要对如下内容进行配置设定:
源数据路径、部门、黑名单及对应的优先级、白名单及对应的优先级、特殊黑白名单设置、是否对灰度数据进行备份、特殊用户黑白名单设置、加密算法、备份数据目录、数据分块阈值、保留几份历史数据、备份周期、关键字。
其中:
(1)源数据路径:需要备份的数据目录,为一个绝对路径。
(2)部门:部门名称,所属本部门的所有用户的数据都将依照该策略进行备份。
(3)黑名单及对应的优先级:为多个字段、每个字段为一个黑名单信息和其对应的优先级,黑名单为确定不需要备份的数据,可为目录名称、文件类型名称、文件名称和如上3种信息的正则表达式。优先级为一个正整数,数值越大级别越高,在对数据进行筛选时将以黑白名单的优先级顺序进行判定,当黑白名单的优先级相同时,白名单优先。当一条数据已经判定为黑名单数据或白名单数据后,不再进行后续的规则匹配。
(4)白名单及对应的优先级:和黑名单设置方法相同,白名单为明确需要备份的数据,可为目录名称、文件类型名称、文件名称和如上3种信息的正则表达式。
(5)特殊黑白名单设置:特殊情况下,无法预先确定一些黑白名单数据的具体路径且无法用正则表表达式表示,只能根据一些既定的规则和实际的元数据信息经过分析处理后才能确定的黑白名单的具体路径。该字段就是对这些黑白名单的规则进行设置,包括:黑名单的既定规则和优先及;白名单的既定规则和优先级。
(6)、特殊用户黑白名单配置:对一些特殊用户的黑白名单进行配置,包括用户名称和(3)、(4)、(5)字段设置。当对某个用户进行单独的黑白名单配置后,系统对该用户的数据进行备份时将依据该字段的黑白名单设置对数据进行过滤。没有进行特殊用户黑白名单配置的用户将依据部门黑白名单对其备份数据进行过滤。
(7)是否对灰度数据进行备份:是或否,灰度数据是指经过黑白名单规则判定后既不是黑名单数据也不是白名单数据的数据,如该值设置是,灰度数将和白名单数据一起备份,反之则不备份。
(8)加密算法:具体的算法名称或为空。为空时将不对备份数据进行加密,反之将按设置的加密算法对备份数据进行加密,支持国密。
(9)备份数据目录:存放打包、压缩、加密后的备份数据的目录(一般要求和源数据不在同一个存储上)。
(10)数据分块阈值:以GB为单位,系统默认以用户为单位进行数据打包、压缩和加密处理,当用户需要备份的数据总量大于数据分块阈值时,将按数据分块阈值拆分该用户的元数据为多个元数据组,再以组为单位进行备份处理。
(11)保留几份历史数据:保留最近多少次的备份数据。
(12)备份周期:设置多长时间备份一次数据或者备份任务启动时间。
(13)策略关键字:设置本备份策略的关键字,如备份策略对应的设计阶段、基于的EDA工具链等信息,可用与区分不同的备份策略,备份策略查询、模板查询等。
2、根据设计流程配置备份策略:
(1)具体的备份策略需要根据源数据对应的设计阶段和Flow基于的工具链来确定,不同设计阶段需要备份的数据不同,同一阶段基于不同的工具链使需要备份的数据也不同。例如基于设置阶段确定黑白名单的数据类型,可如下表1所示:
表1 黑白名单数据设置规则表
(2)再根据不同设计阶段使用的工具链来确定黑白名单中具体的数据格式,具体的黑白名单设置,需要有不同用户共同讨论决定,同时确定后的黑白名单需要经过反向验证后方可正式使用。
(3)已经经过验证的备份策略配置可作为以后同类数据备份策略的模板使用,以减少配置时间。
3、系统执行
系统启动后将实时对所有的备份策略进行监控,当检测到某个备份策略的备份任务需要启动时,将开启对应的数据备份流程。其中,系统启动进行芯片研发数据精简备份工作过程可如图7所示,可包括以下步骤:
启动性能监控模块,监控服务器的io情况。
扫描源数据目录最近一次快照的所有数据信息,获取每个数据文件的用户信息、绝对路径信息、大小信息等数据的元数据(针对特定的存储,可采用定制的工具换取源数据信息进行加速)。
特殊黑白名单预处理,根据特殊黑白名单规则和上述步骤中获得的元数据,进行分析处理得到特殊黑白名单对应的常规黑白名单数据格。并将处理得到的黑白名单设定和备份策略中设置的常规黑白名单进行整合得到本次本分所要使用的黑白名单规则。如果特殊用户黑白名单设置中含有特殊黑白名单字段,则对应用户的最终黑白名单也需要经过相应的预处理过程。
按用户对元数据进行分组,每个用户的数据的元数据为一组。
根据黑白名单规则对元数据进行过滤,得到每个用户的需要备份的白(当设置备份灰数据时:白+灰)名单数据的元数据信息。如果用户属于特殊用户,则按其单独配置的黑白名单规则进行过滤,反之,则按用户所属的部门的黑白名单规则进行过滤。
基于用户对筛选出来的元数据进行统计分析,如用户需要备份的数据总量大于数据分块阈值时,将元数据按数据分块阈值拆分该用户的多个元数据组,组名为用户名称+序号。若用户需要备份的数据总量小于数据分块阈值,则其需要备份的数据到元数据为单独一组,组名为用户名称。
按组为单位对数据进行备份处理并实时更新每个用户数据备份的进度信息:以原数据组为单位对数据进行打包、压缩、加密(可选),备份完成的数据(以组名为文件文成)存放至备份数据目录。
将性能监控信息和备份进度信息在Web界面实时更新展示。
通过本实施例,可以在保证数据在时间上保持一致性的同时,可大幅度的降低需要备份的数据量,进而减少备份空间的占用,提升备份效率;同时系统具有友好的备份状态监控和历史状态查询页面及管理员配置页面,方便管理和用户查看。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的芯片研发数据备份方法的芯片研发数据备份装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个芯片研发数据备份装置实施例中的具体限定可以参见上文中对于芯片研发数据备份方法的限定,在此不再赘述。
在一个实施例中,如图8所示,提供了一种芯片研发数据备份装置,包括:芯片数据获取模块801、待备份数据获取模块802、黑白名单筛选模块803和数据备份模块804,其中:
芯片数据获取模块801,用于获取位于待备份的源数据目录下的待备份芯片研发数据,以及各待备份芯片研发数据关联的元数据信息;元数据信息中包含用户信息;
待备份数据获取模块802,用于按照用户信息表征的用户,对各待备份芯片研发数据进行分组处理,得到各用户分别对应的待备份数据;
黑白名单筛选模块803,用于针对各待备份数据,获取各用户分别对应的白名单备份策略以及黑名单备份策略,并基于各待备份数据的元数据信息,从各待备份数据中,获取与白名单备份策略相匹配的第一待备份数据,以及与黑名单备份策略相匹配的第二待备份数据;
数据备份模块804,用于对第一待备份数据进行数据备份处理,以及取消对第二待备份数据的数据备份处理。
在一个实施例中,黑白名单筛选模块803,进一步用于获取预先针对源数据目录配置的备份策略;备份策略中包含有针对不同用户集合分别配置的用户集合白名单备份策略与用户集合黑名单备份策略;获取当前用户,以及当前用户所属的目标用户集合;当前用户为各用户中的任意一个;将针对目标用户集合配置的用户集合白名单备份策略与用户集合黑名单备份策略,作为当前用户对应的白名单备份策略以及黑名单备份策略。
在一个实施例中,备份策略中还包含有针对特殊用户配置的用户白名单备份策略与用户黑名单备份策略;黑白名单筛选模块803,进一步用于在当前用户不属于特殊用户的情况下,将针对目标用户集合配置的用户集合白名单备份策略与用户集合黑名单备份策略,作为当前用户对应的白名单备份策略以及黑名单备份策略;在当前用户属于特殊用户的情况下,将针对当前用户配置的用户白名单备份策略与用户黑名单备份策略,作为当前用户对应的白名单备份策略以及黑名单备份策略。
在一个实施例中,备份策略中还预先配置有备份数据分块阈值;数据备份模块804,进一步用于获取当前用户对应的第一待备份数据的数据容量;在数据容量大于备份数据分块阈值的情况下,按照备份数据分块阈值对第一待备份数据进行分块处理,得到第一待备份数据对应的多个数据分块;对各数据分块进行备份处理。
在一个实施例中,黑白名单筛选模块803,进一步用于获取当前待备份数据,当前待备份数据为当前用户对应的待备份数据中的任意一个;当前用户为各用户中的任意一个;在当前待备份数据对应的元数据信息,满足当前用户对应的白名单备份策略,且不满足当前用户对应的黑名单备份策略,将当前待备份数据作为第一待备份数据;在当前待备份数据对应的元数据信息,满足当前用户对应的黑名单备份策略,且不满足当前用户对应的白名单备份策略,将当前待备份数据作为第二待备份数据。
在一个实施例中,黑白名单筛选模块803,还用于获取预先针对源数据目录配置的备份策略;备份策略中还配置有当前用户对应的白名单备份策略的白名单备份优先级,以及当前用户对应的黑名单备份策略的黑名单备份优先级;在当前待备份数据对应的元数据信息,同时满足当前用户对应的白名单备份策略,以及当前用户对应的黑名单备份策略的情况下,比对白名单备份优先级与黑名单备份优先级;若白名单备份优先级大于黑名单备份优先级,则将当前待备份数据作为第一待备份数据;若白名单备份优先级小于黑名单备份优先级的,则将当前待备份数据作为第二待备份数据。
在一个实施例中,备份策略中还配置有灰度数据备份策略;黑白名单筛选模块803,还用于在当前待备份数据对应的元数据信息,既不满足当前用户对应的白名单备份策略,又不满足当前用户对应的黑名单备份策略的情况下,将当前待备份数据作为灰度数据;数据备份模块804,进一步用于在灰度数据备份策略表征对灰度数据进行备份的情况下,对第一待备份数据以及灰度数据进行数据备份处理,以及取消对第二待备份数据的数据备份处理;在灰度数据备份策略表征不对灰度数据进行备份的情况下,对第一待备份数据进行数据备份处理,以及取消对第二待备份数据以及灰度数据的数据备份处理。
在一个实施例中,黑白名单筛选模块803,进一步用于从预先针对源数据目录配置的备份策略中,获取当前用户对应的初始白名单备份策略以及初始黑名单备份策略;当前用户为各用户中的任意一个;初始白名单备份策略为备份策略中预先完整配置的白名单备份策略,初始黑名单备份策略为备份策略中预先完整配置的黑名单备份策略;从备份策略中,获取待定白名单备份策略,以及待定黑名单备份策略;待定白名单备份策略为备份策略中未预先完整配置的白名单备份策略,待定黑名单备份策略为备份策略中未预先完整配置的黑名单备份策略;根据待备份芯片研发数据关联的元数据信息,以及待定白名单备份策略与待定黑名单备份策略,获取目标白名单备份策略以及目标黑名单备份策略;将当前用户对应的初始白名单备份策略以及目标白名单备份策略,作为当前用户对应的白名单备份策略,以及将当前用户对应的初始黑名单备份策略以及目标黑名单备份策略,作为当前用户对应的黑名单备份策略。
在一个实施例中,芯片数据获取模块801,进一步用于获取预先针对源数据目录配置的备份策略,并从备份策略中获取预先配置的备份周期;在当前时间满足与备份周期相匹配的备份时间的情况下,获取源数据目录对应的快照数据;将快照数据作为待备份芯片研发数据。
上述芯片研发数据备份装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待备份芯片研发数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种芯片研发数据备份方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (12)
1.一种芯片研发数据备份方法,其特征在于,所述方法包括:
获取位于待备份的源数据目录下的待备份芯片研发数据,以及各所述待备份芯片研发数据关联的元数据信息;所述元数据信息中包含用户信息;
按照所述用户信息表征的用户,对各所述待备份芯片研发数据进行分组处理,得到各用户分别对应的待备份数据;
针对各待备份数据,获取各所述用户分别对应的白名单备份策略以及黑名单备份策略,并基于各所述待备份数据的元数据信息,从各所述待备份数据中,获取与所述白名单备份策略相匹配的第一待备份数据,以及与所述黑名单备份策略相匹配的第二待备份数据;
对所述第一待备份数据进行数据备份处理,以及取消对所述第二待备份数据的数据备份处理。
2.根据权利要求1所述的方法,其特征在于,所述获取各所述用户分别对应的白名单备份策略以及黑名单备份策略,包括:
获取预先针对所述源数据目录配置的备份策略;所述备份策略中包含有针对不同用户集合分别配置的用户集合白名单备份策略与用户集合黑名单备份策略;
获取当前用户,以及所述当前用户所属的目标用户集合;所述当前用户为各所述用户中的任意一个;
将针对所述目标用户集合配置的用户集合白名单备份策略与用户集合黑名单备份策略,作为所述当前用户对应的白名单备份策略以及黑名单备份策略。
3.根据权利要求2所述的方法,其特征在于,所述备份策略中还包含有针对特殊用户配置的用户白名单备份策略与用户黑名单备份策略;
所述将针对所述目标用户集合配置的用户集合白名单备份策略与用户集合黑名单备份策略,作为所述当前用户对应的白名单备份策略以及黑名单备份策略,包括:
在所述当前用户不属于所述特殊用户的情况下,将针对所述目标用户集合配置的用户集合白名单备份策略与用户集合黑名单备份策略,作为所述当前用户对应的白名单备份策略以及黑名单备份策略;
所述方法还包括:
在所述当前用户属于所述特殊用户的情况下,将针对所述当前用户配置的用户白名单备份策略与用户黑名单备份策略,作为所述当前用户对应的白名单备份策略以及黑名单备份策略。
4.根据权利要求3所述的方法,其特征在于,所述备份策略中还预先配置有备份数据分块阈值;
所述对所述第一待备份数据进行数据备份处理,包括:
获取所述当前用户对应的第一待备份数据的数据容量;
在所述数据容量大于所述备份数据分块阈值的情况下,按照所述备份数据分块阈值对所述第一待备份数据进行分块处理,得到所述第一待备份数据对应的多个数据分块;
对各所述数据分块进行备份处理。
5.根据权利要求1所述的方法,其特征在于,所述基于各所述待备份数据的元数据信息,从各所述待备份数据中,获取与所述白名单备份策略相匹配的第一待备份数据,以及与所述黑名单备份策略相匹配的第二待备份数据,包括:
获取当前待备份数据,所述当前待备份数据为当前用户对应的待备份数据中的任意一个;所述当前用户为各所述用户中的任意一个;
在所述当前待备份数据对应的元数据信息,满足所述当前用户对应的白名单备份策略,且不满足所述当前用户对应的黑名单备份策略,将所述当前待备份数据作为第一待备份数据;
在所述当前待备份数据对应的元数据信息,满足所述当前用户对应的黑名单备份策略,且不满足所述当前用户对应的白名单备份策略,将所述当前待备份数据作为第二待备份数据。
6.根据权利要求5所述的方法,其特征在于,所述获取当前待备份数据之后,还包括:
获取预先针对所述源数据目录配置的备份策略;所述备份策略中还配置有所述当前用户对应的白名单备份策略的白名单备份优先级,以及所述当前用户对应的黑名单备份策略的黑名单备份优先级;
在所述当前待备份数据对应的元数据信息,同时满足所述当前用户对应的白名单备份策略,以及所述当前用户对应的黑名单备份策略的情况下,比对所述白名单备份优先级与所述黑名单备份优先级;
若所述白名单备份优先级大于所述黑名单备份优先级,则将所述当前待备份数据作为第一待备份数据;
若所述白名单备份优先级小于所述黑名单备份优先级,则将所述当前待备份数据作为第二待备份数据。
7.根据权利要求5所述的方法,其特征在于,所述备份策略中还配置有灰度数据备份策略;
所述获取当前待备份数据之后,还包括:
在所述当前待备份数据对应的元数据信息,既不满足所述当前用户对应的白名单备份策略,又不满足所述当前用户对应的黑名单备份策略的情况下,将所述当前待备份数据作为灰度数据;
所述对所述第一待备份数据进行数据备份处理,以及取消对所述第二待备份数据的数据备份处理,包括:
在所述灰度数据备份策略表征对灰度数据进行备份的情况下,对所述第一待备份数据以及所述灰度数据进行数据备份处理,以及取消对所述第二待备份数据的数据备份处理;
在所述灰度数据备份策略表征不对灰度数据进行备份的情况下,对所述第一待备份数据进行数据备份处理,以及取消对所述第二待备份数据以及所述灰度数据的数据备份处理。
8.根据权利要求1所述的方法,其特征在于,所述获取各所述用户分别对应的白名单备份策略以及黑名单备份策略,包括:
从预先针对所述源数据目录配置的备份策略中,获取当前用户对应的初始白名单备份策略以及初始黑名单备份策略;所述当前用户为各所述用户中的任意一个;所述初始白名单备份策略为所述备份策略中预先完整配置的白名单备份策略,所述初始黑名单备份策略为所述备份策略中预先完整配置的黑名单备份策略;
从所述备份策略中,获取待定白名单备份策略,以及待定黑名单备份策略;所述待定白名单备份策略为所述备份策略中未预先完整配置的白名单备份策略,所述待定黑名单备份策略为所述备份策略中未预先完整配置的黑名单备份策略;
根据所述待备份芯片研发数据关联的元数据信息,以及所述待定白名单备份策略与所述待定黑名单备份策略,获取目标白名单备份策略以及目标黑名单备份策略;
将所述当前用户对应的初始白名单备份策略以及目标白名单备份策略,作为所述当前用户对应的白名单备份策略,以及将所述当前用户对应的初始黑名单备份策略以及目标黑名单备份策略,作为所述当前用户对应的黑名单备份策略。
9.根据权利要求1所述的方法,其特征在于,所述获取位于待备份的源数据目录下的待备份芯片研发数据,包括:
获取预先针对所述源数据目录配置的备份策略,并从所述备份策略中获取预先配置的备份周期;
在当前时间满足与所述备份周期相匹配的备份时间的情况下,获取所述源数据目录对应的快照数据;
将所述快照数据作为所述待备份芯片研发数据。
10.一种芯片研发数据备份装置,其特征在于,所述装置包括:
芯片数据获取模块,用于获取位于待备份的源数据目录下的待备份芯片研发数据,以及各所述待备份芯片研发数据关联的元数据信息;所述元数据信息中包含用户信息;
待备份数据获取模块,用于按照所述用户信息表征的用户,对各所述待备份芯片研发数据进行分组处理,得到各用户分别对应的待备份数据;
黑白名单筛选模块,用于针对各待备份数据,获取各所述用户分别对应的白名单备份策略以及黑名单备份策略,并基于各所述待备份数据的元数据信息,从各所述待备份数据中,获取与所述白名单备份策略相匹配的第一待备份数据,以及与所述黑名单备份策略相匹配的第二待备份数据;
数据备份模块,用于对所述第一待备份数据进行数据备份处理,以及取消对所述第二待备份数据的数据备份处理。
11.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410167065.9A CN117707857B (zh) | 2024-02-06 | 2024-02-06 | 芯片研发数据备份方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410167065.9A CN117707857B (zh) | 2024-02-06 | 2024-02-06 | 芯片研发数据备份方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117707857A true CN117707857A (zh) | 2024-03-15 |
CN117707857B CN117707857B (zh) | 2024-05-24 |
Family
ID=90150180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410167065.9A Active CN117707857B (zh) | 2024-02-06 | 2024-02-06 | 芯片研发数据备份方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117707857B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120239804A1 (en) * | 2009-11-26 | 2012-09-20 | Chengdu Huawei Symantec Technologies Co., Ltd | Method, device and system for backup |
CN112000514A (zh) * | 2020-05-28 | 2020-11-27 | 苏州浪潮智能科技有限公司 | 一种存储设备存储用户数据用数据备份推荐方法及系统 |
CN114090336A (zh) * | 2021-10-29 | 2022-02-25 | 珠海大横琴科技发展有限公司 | 一种数据备份的方法和装置 |
WO2024001279A1 (zh) * | 2022-06-28 | 2024-01-04 | 华为技术有限公司 | 一种备份方法及装置 |
-
2024
- 2024-02-06 CN CN202410167065.9A patent/CN117707857B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120239804A1 (en) * | 2009-11-26 | 2012-09-20 | Chengdu Huawei Symantec Technologies Co., Ltd | Method, device and system for backup |
CN112000514A (zh) * | 2020-05-28 | 2020-11-27 | 苏州浪潮智能科技有限公司 | 一种存储设备存储用户数据用数据备份推荐方法及系统 |
CN114090336A (zh) * | 2021-10-29 | 2022-02-25 | 珠海大横琴科技发展有限公司 | 一种数据备份的方法和装置 |
WO2024001279A1 (zh) * | 2022-06-28 | 2024-01-04 | 华为技术有限公司 | 一种备份方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN117707857B (zh) | 2024-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8504528B2 (en) | Duplicate backup data identification and consolidation | |
WO2019211657A1 (en) | A secure deduplicating distributed data storage system | |
CN115660711A (zh) | 用户id生成方法、装置、电子设备及可读存储介质 | |
CN113468118B (zh) | 一种基于区块链的文件增量存储方法、装置及存储介质 | |
CN108363727B (zh) | 一种基于zfs文件系统的数据存储方法及装置 | |
CN117707857B (zh) | 芯片研发数据备份方法、装置、计算机设备和存储介质 | |
CN116719799A (zh) | 环保数据治理方法、装置、计算机设备和存储介质 | |
CN115858322A (zh) | 日志数据处理方法、装置和计算机设备 | |
CN115858471A (zh) | 业务数据变更记录方法、装置、计算机设备及介质 | |
CN114513498B (zh) | 文件传输校验方法、装置、计算机设备和存储介质 | |
US9734195B1 (en) | Automated data flow tracking | |
CN112035471B (zh) | 一种事务处理方法及计算机设备 | |
US20220245097A1 (en) | Hashing with differing hash size and compression size | |
CN113157414A (zh) | 任务处理方法、装置、非易失性存储介质及处理器 | |
CN117435135B (zh) | 关于重复数据删除的存储空间回收的方法、装置和系统 | |
US11604698B2 (en) | Method and process for automatic determination of file/object value using meta-information | |
CN115328892B (zh) | 一种业务表单数据结构处理方法、系统、电子设备及介质 | |
CN114238258B (zh) | 数据库数据处理方法、装置、计算机设备、存储介质 | |
CN117539690B (zh) | 多磁盘数据的合并恢复方法、装置、设备、介质和产品 | |
US11138275B1 (en) | Systems and methods for filter conversion | |
US20220245104A1 (en) | Hashing for deduplication through skipping selected data | |
CN117312283A (zh) | 分库分表的数据校验方法、装置、计算机设备和存储介质 | |
CN118152823A (zh) | 用户聚类方法、系统、计算机设备和存储介质 | |
CN116028448A (zh) | 电子文件的识别码确定方法、装置、设备和存储介质 | |
CN117349862A (zh) | 账户权限设置方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |