CN113641449B - 镜像下载控制方法及装置、设备和存储介质 - Google Patents

Abstract

本发明实施例提供一种镜像下载控制方法及装置、设备和存储介质，该方法包括在进入data分区的镜像下载阶段前，擦除磁盘中用于存储F2FS元数据的相应区域；在所述data分区的镜像下载阶段中执行以下操作：确定待下载数据中的有效数据信息，并将所述有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域。通过上述方案，可以实现下载前根据F2FS数据结构判断所需擦除数据大小，并不需要对全盘进行擦除，在下载中对数据类型进行判断，仅下载满足有效数据判断条件的部分，针对不同的场景需求，在下载前可以选择通过resize、MKFS或配置等大小sparse镜像的方式使得镜像适应完整data分区大小。

Description

镜像下载控制方法及装置、设备和存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种镜像下载控制方法及装置、设备和存储介质。

背景技术

现有方案中，一般的镜像下载方式包括：

第一下载方式：下载阶段先下载一个较小的镜像，在首次开机时通过resize操作将小镜像扩充至适应完整data分区大小。采用该第一下载方式下载时，虽然整体耗时较短，但是存在一定风险，具体地，若在开机resize期间异常断电，可能会导致无法开机的情况。并且，若用户要求使用谷歌原生镜像的版本时，无法在开机阶段添加resize功能。

第二下载方式：(2)在下载阶段进行resize操作，以将小镜像扩充至适应完整data分区大小。采用该第二下载方式下载时，虽然解决了第一下载方式中存在的开机resize期间异常断电导致无法开机的问题，但是由于该阶段是通过直接调用block层接口进行下载，且随着data分区大小的增加，所需下载数据成正相关增长，故耗时较长。

发明内容

本发明实施例提供一种镜像下载控制方法及装置、设备和存储介质，通过该方法下载前根据F2FS数据结构判断所需擦除数据大小，并不需要对全盘进行擦除，在下载中对数据类型进行判断，仅下载满足有效数据判断条件的部分，针对不同的场景需求，在下载前可以选择通过resize、MKFS或配置等大小sparse镜像的方式使得镜像适应完整data分区大小。

第一方面，本发明实施例提供一种镜像下载控制方法，包括：在进入data分区的镜像下载阶段前，擦除磁盘中用于存储F2FS元数据的相应区域；在所述data分区的镜像下载阶段中执行以下操作：确定待下载数据中的有效数据信息，并将所述有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域。

进一步地，所述擦除用于存储F2FS元数据的相应区域内数据包括：根据F2FS数据结构信息确定需要擦除数据大小，并擦除所述磁盘中用于存储F2FS元数据的相应区域中相应大小的数据；其中所述需要擦除数据大小与所述data分区的大小正相关。

进一步地，所述确定待下载数据中的有效数据信息，并将所述有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域包括：下载预置大小的第一镜像到内存中；将内存中所述第一镜像扩充至所述data分区的大小以得到适应所述data分区的大小的第二镜像；根据所述第二镜像中的超级块的信息确定所述第二镜像中元数据各区域的基地址；根据所述第二镜像中元数据各区域的基地址和所述第二镜像中SIT区域数据和NAT区域数据确定第二镜像中元数据各区域的有效数据以及所述有效数据的大小；以及将所确定的所述有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域。

进一步地，所述确定待下载数据中的有效数据信息，并将所述有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域包括：调用格式化工具对磁盘中用于存储F2FS元数据的SB区域和CP区域进行初始化操作；将根目录写入数据区，并将超级块和CP的数据写入相应区域；以及并更新磁盘中元数据区中NAT、SIT以及SSA区域。

进一步地，在所述擦除磁盘中用于存储F2FS元数据的相应区域之前，还包括：根据所述data分区的大小生成第三镜像。该第三镜像为与data分区大小相等的sparse镜像。

进一步地，所述确定待下载数据中的有效数据信息，并将所述有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域包括：遍历所述第三镜像中各个区块的标签以根据所述区块的标签筛选出有效数据，并根据所述有效信息的将筛选出的所述有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域。

进一步地，所述根据所述区块的标签筛选出有效数据包括：确定所述区块的标签是否为RAW，若为RAW则该区块存储的数据为有效数据；其中，若当前述区块的标签不为RAW，则在累计偏移量后，确定位置相邻的下一区块的标签是否为RAW。

第二方面，本申请实施例还提供一种镜像下载控制装置，包括：处理器和存储器，所述存储器用于存储至少一条指令，所述指令由所述处理器加载并执行时以实现第一方面的镜像下载控制方法。其中，第二方面提供镜像下载控制装置可以为一种芯片或芯片模组。

第三方面，本申请实施例还提供一种设备，该设备包括第二方面提供的镜像下载控制装置。

第四方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面提供的镜像下载控制方法。

通过上述技术方案，可以在下载前根据F2FS数据结构判断所需擦除数据大小，并不需要对全盘进行擦除，在下载中对数据类型进行判断，仅下载满足有效数据判断条件的部分，针对不同的场景需求，在下载前可以选择通过resize、MKFS或配置等大小sparse镜像的方式使得镜像适应完整data分区大小。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一个实施例提供的一种镜像下载控制方法流程图；

图2为本申请再一个实施例提供的一种镜像下载控制方法的流程图；

图3a为本申请一个实施例提供的F2FS数据结构示意图；

图3b为本申请一个实施例提供的resize前后镜像的对比图；

图4为本申请再一个实施例提供的一种镜像下载控制方法的流程图；

图5为本申请再一个实施例提供的一种镜像下载控制方法的流程图；

图6为本申请再一个实施例提供的一种镜像下载控制装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本申请一个实施例提供的一种镜像下载控制方法的流程图，如图1所示，该镜像下载控制方法包括以下步骤：

步骤101：在进入data分区的镜像下载阶段前，擦除磁盘中用于存储F2FS元数据的相应区域。

步骤102：确定待下载数据中的有效数据信息，并将所述有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域。

图1所示实施例提供的镜像下载控制方法具体可以为基于F2FS(Flash FriendlyFile System)文件系统的data分区的镜像下载流程的优化方法。其中，该F2FS文件系统是专门为基于NAND的存储设备设计的新型开源flash文件系统。该data分区为用于存储用户数据的分区，通常是设备中空间最大的分区。该镜像用于保存预制数据的IMG格式文件。

在步骤101的具体实施中，根据F2FS数据结构信息确定需要擦除数据大小，并擦除所述磁盘中用于存储F2FS元数据的相应区域中相应大小的数据，其中所述需要擦除数据大小与所述data分区的大小正相关。在其中一种实施方式中，可以通过查表的方式确定目标data分区所需要擦除数据的大小。

表一

Date分区大小	CP(seg)	SIT(seg)	NAT(seg)	SSA(seg)	MetaData
						512MB	2	2	2	1	14MB
16GB	2	2	36	16	112MB
						64GB	2	4	118	64	376MB
128GB	2	6	116	128	504MB
						256GB	2	10	112	256	760MB

F2FS文件系统包含数据区与元数据区域，图表中提供了不同data分区大小对应的元数据(Metadata)大小，其中CP、SIT、NAT、SSA分别为元数据的各个区域，seg为该区域数据大小计量单位(1seg＝2MB)。

由于F2FS本身的读写特性，在下载前需要保证磁盘上存储元数据的部分已进行擦除，并相比于现有技术中全盘擦除，本申请实施例进队磁盘上前1％的数据进行擦除操作，即可实现下载前擦除磁盘上存储元数据的相应区域。

举例来说，若data分区大小为128GB，则在下载镜像前，需要擦除的数据大小为504MB，其中，该需要擦除的504MB包括CP区域中的2seg、SIT区域的6seg、NAT区域的116seg以及SSA区域的128seg。

在步骤102的具体实施中，需要确定待下载数据中的有效数据信息，并将所述有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域。关于上述步骤102，本申请实施例提供不同实施方式，其中一种实施方式可以包括图2所示实施例提供的步骤201～步骤205，具体步骤如下：

步骤201：下载预置大小的第一镜像到内存中。

步骤202：将内存中所述第一镜像扩充至所述data分区的大小以得到适应所述data分区的大小的第二镜像。

步骤203：根据所述第二镜像中的超级块的信息确定所述第二镜像中元数据各区域的基地址。

步骤204：根据所述第二镜像中元数据各区域的基地址和所述第二镜像中SIT区域数据和NAT区域数据确定第二镜像中元数据各区域的有效数据以及所述有效数据的大小。

步骤205：将所确定的所述有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域。

在步骤201的具体实施中，可以在完成步骤101的擦除操作后，先下载一个较小的RAW格式的原始镜像，即，第一镜像(例如空间大小为64MB的data分区镜像)到内存中，并不写入到磁盘中。

在步骤202的具体实施中，可以通过resize操作将第一镜像的空间大小扩充至data分区的大小，进而得到使用data分区空间大小的第二镜像。

具体地，以原始镜像为64MB为例进行说明，如图3a所示，原始镜像在未进行resize操作前，由于元数据(meta)的限制，有部分区域无法使用，即，图3a所述的区域33当前不可用，并且数据区32仅示意元数据决定的可用空间，实际并无有效数据。然而在通过resize操作，根据全盘大小修改元数据部分使得图3a所述的区域33可以使用，进而得到元数据区31'和数据区32'。上述元数据扩充的操作在内存中执行，后续需将相应数据写入磁盘中。

图3a为本申请一个实施例提供的F2FS数据结构示意图，如图3a所示，数据区32前的部分为元数据区31，除SB区域31a、CP区域31b以外，元数据区中其他区域有一部分为全0填充。对于没有预置用户数据的F2FS镜像，除SB区域31a、CP区域31b以外，元数据区中其他区域填0的比例较高，根据试验数据该填0比例可达到99％以上。在下载阶段若进行无差别下载，则会浪费较多的时间在下载填0数据上。

在步骤203的具体实施中，为克服现有技术中镜像下载周期长的问题，可以在获取到上述第二镜像后，可以从第二镜像的超级块(Super Block，SB)中读取出元数据中各区域的基地址。

在步骤204的具体实施中，可以根据读取到的基地址、第二镜像中SIT区域数据和NAT区域数据确定第二镜像中元数据各区域的有效数据以及所述有效数据的大小。

在步骤205的具体实施中，可以根据步骤204所确定的各区域的有效数据以及相应有效数据的大小将该有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域。

需要说明的是，图2所示实施例提供的镜像下载控制方法适用于需要预置数据的情况，进而可以通过resize操作保证预置数据完整写回磁盘中。

图4为本申请另一个实施例提供的镜像下载控制方法的流程图，如图4所示，执行步骤101后还可以通过以下步骤实现镜像下载控制：

步骤401：调用格式化工具对磁盘中用于存储F2FS元数据的SB区域和CP区域进行初始化操作。

步骤402：将根目录写入数据区，并将超级块和CP的数据写入相应区域。

步骤403：并更新磁盘中元数据区中NAT、SIT以及SSA区域。

在步骤401的具体实施中，具体可以调用格式化工具(MKFS)直接生成元数据并写回磁盘中，由于MKFS过程中对SIT区域和NAT区域的初始化等同于擦0操作，由于在步骤101中已完成对该SIT区域和NAT区域的擦0操作，为避免冗余，因此可以跳过对SIT区域和NAT区域的初始化操作。

在步骤402的具体实施中，可以将根目录(root dir)写入数据区，并将超级块和CP的数据写入相应区域，即，仅保留CP区域和SB区域的更新。

在步骤403的具体实施中，在完成步骤402后可以进一步更新元数据区的后续流程。

具体地，上述初始化流程包括如下操作：

1、调用格式化工具写入SB和CP区域数据。

2、跳过格式化工具写入SIT、NAT部分。

3、调用格式化工具原生接口写入根目录信息，更新NAT、SIT、SSA区域。

需要说明的是，图4所示实施例提供的镜像下载控制方法适用于无预置数据的情况，相比于图2所示实施例中通过调用resize操作的方式效率更高。

图5为本申请再一个实施例提供的镜像下载控制方法的流程图，如图5所示，在执行步骤101前还可以执行步骤S1，并在执行步骤101后还可以通过以下步骤实现镜像下载控制：

S1：根据所述data分区的大小生成第三镜像。

在步骤S1的具体实施中，可以根据data分区的大小生成对应的Sparse格式镜像(第三镜像)。

步骤501：遍历所述第三镜像中各个区块的标签以根据所述区块的标签筛选出有效数据，若为有效数据则执行步骤502，若非有效数据则执行步骤503。

步骤502：根据所述有效信息的将筛选出的所述有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域。

步骤503：累计偏移量，且对相应数据不执行下载操作。

在步骤501的具体实施中，在完成步骤101后，下载步骤S1中所生成的Sparse格式镜像，由于sparse镜像不同区块有不同的标签，进而可以在sparse镜像解压下载的过程中通过判断区块的标签是否为RAW以筛选出有效数据，若标签为RAW(即该标签指示相应数据为有效数据)则执行步骤502，若标签不为RAW，则执行步骤503。

其中，Sparse格式的镜像中记录着数据类型的标签及数据起始地址，sparse镜像的解压操作为根据标签类型及地址信息将指定类型信息写至指定位置的过程，标签作用如下：

1.有效数据：解压过程判断到有效数据标签的时，会将sparse格式中存储的有效数据写至指定地址范围内

2.零填充：解压过程中判断到零填充标签时，会将指定地址范围内的内容全部填充为0，故该部分数据无需保存在sparse镜像内存

3.其他标签：解压过程中判断到其他标签时，跳过该段地址范围，不做任何操作

由于提前对磁盘进行了擦除操作，故填充部分也可以当作其他标签跳过处理，零填充的占比如前文，达到90％以上，故通过此方式可以节约大量下载时间

在步骤502的具体实施中，将筛选出来的标签为RAW的有效数据写入至磁盘中相应区域。

在步骤503的具体实施中，对标签为RAW对应类型的区域进行偏移量计算，不执行写入操作。

需要说明的是，本申请图5所示实施例提供的镜像下载控制方法过程简单，仅利用sparse镜像在下载过程中的解压操作即可实现，同时可以满足存在预置数据的情况。

图6为本申请再一个实施例提供的镜像下载控制装置的结构示意图，如图6所示，该装置可以包括处理器601和存储器602，所述存储器602用于存储至少一条指令，所述指令由所述处理器601加载并执行时以实现图1、图2、图4、图5所示的任一实施例提供的镜像下载控制方法。

在一种实施方式中，图6所示实施例提供的镜像下载控制装置可以为一种芯片或芯片模组。

本申请再一个实施例还提供一种设备，还设备可以包括图6所示实施例提供的镜像下载控制装置。需要说明的是，本发明实施例中所涉及的设备可以包括但不限于个人计算机(Personal Computer，PC)、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)、手机、穿戴式设备等。

本申请再一个实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现图1、图2、图4、图5所示的任一实施例提供的镜像下载控制方法。

可以理解的是，所述应用可以是安装在终端上的应用程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本发明实施例对此不进行限定。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种镜像下载控制方法，其特征在于，所述方法包括：

在进入data分区的镜像下载阶段前，擦除磁盘中用于存储F2FS元数据的相应区域；

在所述data分区的镜像下载阶段中执行以下操作：

确定待下载数据中的有效数据信息，并将所述有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域；

其中，所述擦除用于存储F2FS元数据的相应区域内数据包括：

根据F2FS数据结构信息确定需要擦除数据大小，并擦除所述磁盘中用于存储F2FS元数据的相应区域中相应大小的数据；

其中所述需要擦除数据大小与所述data分区的大小正相关。

2.根据权利要求1所述的方法，其特征在于，所述确定待下载数据中的有效数据信息，并将所述有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域包括：

下载预置大小的第一镜像到内存中；

将内存中所述第一镜像扩充至所述data分区的大小以得到适应所述data分区的大小的第二镜像；

根据所述第二镜像中的超级块的信息确定所述第二镜像中元数据各区域的基地址；

根据所述第二镜像中元数据各区域的基地址和所述第二镜像中SIT区域数据和NAT区域数据确定第二镜像中元数据各区域的有效数据以及所述有效数据的大小；以及

将所确定的所述有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域。

3.根据权利要求1所述的方法，其特征在于，所述确定待下载数据中的有效数据信息，并将所述有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域包括：

调用格式化工具对磁盘中用于存储F2FS元数据的SB区域和CP区域进行初始化操作；

将根目录写入数据区，并将超级块和CP的数据写入相应区域；以及

并更新磁盘中元数据区中NAT、SIT以及SSA区域。

4.根据权利要求1所述的方法，其特征在于，在所述擦除磁盘中用于存储F2FS元数据的相应区域之前，还包括：

根据所述data分区的大小生成第三镜像。

5.根据权利要求4所述的方法，其特征在于，所述确定待下载数据中的有效数据信息，并将所述有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域包括：

遍历所述第三镜像中各个区块的标签以根据所述区块的标签筛选出有效数据，并根据所述有效数据信息的将筛选出的所述有效数据写入至所述磁盘中用于存储F2FS元数据的相应区域。

6.根据权利要求5所述的方法，其特征在于，所述根据所述区块的标签筛选出有效数据包括：

确定所述区块的标签是否为RAW，若为RAW则该区块存储的数据为有效数据；

其中，若当前述区块的标签不为RAW，则在累计偏移量后，确定位置相邻的下一区块的标签是否为RAW。

7.一种镜像下载控制装置，其特征在于，所述装置包括：

处理器和存储器，所述存储器用于存储至少一条指令，所述指令由所述处理器加载并执行时以实现如权利要求1-6中任意一项所述的镜像下载控制方法。

8.一种电子设备，其特征在于，所述电子设备包括权利要求7所述的镜像下载控制装置。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任意一项所述的镜像下载控制方法。

Images