CN102136296B

CN102136296B - 一种NAND Flash存储芯片的元数据格式识别方法

Info

Publication number: CN102136296B
Application number: CN 201110041808
Authority: CN
Inventors: 李元章; 谭毓安; 张丽; 张雪兰; 张全新; 马忠梅
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2011-02-21
Filing date: 2011-02-21
Publication date: 2013-08-21
Anticipated expiration: 2031-02-21
Also published as: CN102136296A

Abstract

本发明涉及一种NAND Flash存储芯片的元数据格式识别方法，首先辨别物理镜像中元数据区和有效数据区的排布规则，然后随机生成一些数据文件存储到芯片上，分别获取芯片的物理镜像文件和逻辑镜像文件；根据相同数据段的MD5值相等的原则查找每一个逻辑页所对应的物理页，记录对应的元数据；按照一定的规律分析出元数据中的逻辑地址字段和ECC校验码字段。本发明可以在未知手机内置芯片的元数据格式及其含义的基础上，正确识别出芯片物理镜像的数据排布规律并解释其关键元数据的字段位置及其含义，从而利用现有的手机取证工具分析出那些删除或隐藏的犯罪证据。

Description

一种NAND Flash存储芯片的元数据格式识别方法

技术领域

本发明涉及一种手机芯片数据识别方法，特别涉及一种用于识别手机NAND Flash存储芯片中元数据格式的方法，用于手机取证技术领域。

背景技术

随着移动通信技术的不断发展以及提供的服务水平和服务种类的不断提高,手机日益成为人们工作生活中不可或缺的联系工具。与此同时，利用手机进行诈骗、售假、造谣等违法犯罪活动也日益猖撅。手机取证正是打击这类犯罪的一个有效手段。

手机功能的增强使得手机内置存储芯片的容量不断增大，因此NAND Flash芯片逐渐成为手机内主要的非易失性存储器件。NAND Flash中存储手机的固件信息和短信、通话记录、多媒体等用户数据，是手机取证的主要对象。

目前手机内置NAND Flash芯片中取证数据获取的主要方式有两种，一种是通过USB接口的数据线与PC机相连获取芯片的逻辑镜像（比如FAT文件系统数据），另一种是利用底层芯片访问技术获取其物理镜像（即NAND Flash内的原始二进制数据）。但那些被删除数据和被犯罪分子故意隐藏数据不能通过逻辑镜像的方式获得，使手机取证的效果大大折扣，因此对物理镜像的分析研究成为手机取证的研究热点。

与磁盘的存储布局不同，NAND Flash以页为单位读取数据，以块为单位擦除数据。为了模拟磁盘以扇区为单位的存储形式，NAND Flash页被划分成多个扇区，每个扇区大小是512+16字节，其中512字节存储有效数据，16字节存储坏块信息、ECC校验数据和逻辑地址信息等存储管理数据，又叫带外数据或元数据，存储元数据的区域叫spare area。现在主流芯片的页大小是512+16字节或2048+64字节，即包含1个或4个扇区，对应的物理镜像格式如图1。图1(a)中，页大小为528字节，图1（b）中，页大小为2112字节。

物理镜像必须转换为逻辑镜像（即文件系统映像）后，才能获取到手机所使用的各种数据文件。Spare area中的元数据决定了逻辑镜像和物理镜像的对应关系。NAND Flash芯片中元数据格式由手机操作系统的底层软件代码所使用，不同手机所使用的元数据格式存在很大的差异。因此，获取NAND Flash芯片的元数据位置和格式，成为对物理镜像进行取证分析的关键问题。而现有技术中，缺乏成熟的可用于识别手机NAND Flash芯片存储结构和元数据格式的方法。

发明内容

本发明的目的是为解决在未知手机NAND Flash芯片内元数据格式及其含义的情况下，难以对手机物理镜像进行取证分析的问题，提出一种识别Flash芯片存储结构和元数据格式的方法。

本发明提供了一种NAND Flash存储芯片的元数据格式识别方法，包括以下步骤：

一、首先辨别物理镜像中元数据区和有效数据区的排布规则：由于目前手机内置NAND Flash芯片的主流存储结构是每512/2048字节有效数据和16/64字节元数据相间分布，则区分物理镜像中有效数据区和元数据区排布规则的步骤是：

（1）以可读方式打开物理镜像文件；

（2）读指针定位到物理镜像的第512字节处，读取16字节数据；统计16字节数据的取值，统计连续多个字节取值等于0xFF的字节个数n，并记录这些字节的位置范围；

（3）若n大于等于设定的门限值min则读指针跳过后续的512字节，再读取16字节数据，继续统计连续多个字节取值等于0xFF的字节个数n并判断n是否大于等于min，同样记录下这些0xFF值的位置范围；若n大于等于min并且连续0xFF值的位置范围相同则重复本操作，直到重复次数达到3次为止；在此过程中若有1次判断结果为否，则说明物理镜像的数据排布方式不是512+16字节的形式，于是操作跳转到步骤（4）；否则说明物理镜像是512+16字节的数据排列格式，即该nand flash芯片的页大小是512+16字节；

（4）读指针定位到物理镜像的第2048字节处，读取64字节数据；统计64字节数据的取值，统计连续多个字节取值等于0xFF的字节个数n，并记录这些字节的位置范围；

（5）若n大于等于设定的门限值min2，则读指针跳过后续的2048字节，再读取64字节数据，继续统计连续多个字节取值等于0xFF的字节个数n并判断n是否大于等于min2，同样记录下这些0xFF值的位置范围；若n大于等于min2并且连续0xFF值的位置范围相同则重复本操作，直到重复次数达到3次为止；在此过程中若有1次判断结果为否，则说明物理镜像的数据排布方式既不是512+16字节的形式也不是2048+64字节的形式；否则说明物理镜像是2048+64字节的数据排列格式，即该NAND Flash芯片的页大小是2048+64字节。

二、在确定NAND Flash芯片数据排布格式的基础上，识别16/64字节中逻辑地址字段和校验码字段的位置：

为了满足手机取证过程中保护数字证据的操作原则，需要把取证目标手机相同型号的另外一个手机作为识别其NAND Flash芯片元数据格式的参考手机，识别16/64字节中逻辑地址字段和校验码字段位置的具体步骤是：

（1）随机生成一些数据文件存储到参考手机的内置NAND Flash芯片上，数据文件大小尽可能占满NAND Flash的存储空间；

（2）分别获取NAND Flash芯片的物理镜像文件和逻辑镜像文件；

（3）根据步骤一确定的NAND Flash数据排布格式，计算物理镜像文件每528/2112字节数据中前512/2048字节的MD5哈希值，记录下物理页号及其对应的MD5值；

（4）根据步骤一确定的NAND Flash数据排布格式，计算逻辑镜像文件每512/2048字节数据的MD5哈希值，记录下逻辑页号及其对应的MD5值；

（5）按照逻辑页号由小到大的顺序，根据相同数据段的MD5值相等的原则查找每一个逻辑页所对应的物理页，记录下逻辑页号、物理页号及对应的sparearea内容即16/64字节元数据的内容；

（6）按照逻辑页号由小到大的顺序，选择spare area内容中有规律逐一递增的字段即为逻辑地址字段；NAND Flash写操作的特性使得同一逻辑页可以对应多个物理页，在识别spare area内逻辑地址字段位置的过程中，需每个逻辑页选择一个对应的物理页spare area内容；

（7）分析同一逻辑页所对应的多个物理页的spare area内容，选择那些对应位置上内容相同的随机数字段即为ECC校验码字段。

有益效果：

采用本发明方法可以在未知手机内置NAND Flash芯片的元数据格式及其含义的基础上，正确识别出NAND Flash芯片物理镜像的数据排布规律并解释其spare area内一些关键元数据的字段位置及其含义。利用这些信息，可以从物理镜像中翻译出NAND Flash芯片数据在不同时刻的逻辑镜像，从而利用现有的手机取证工具分析出那些删除或隐藏的犯罪证据。本发明方法通用性强，既增加了手机取证可研究对象的范围又扩展了手机取证内容的深度，具有极大的实用价值。

附图说明

图1为主流NAND Flash芯片的物理镜像数据排布格式；其中(a)为物理页大小为528字节的数据排布格式，（b）为物理页大小为2112字节的数据排布格式；

图2为本发明所述方法的流程图；

图3为识别物理镜像数据排布格式的程序流程图；

图4为基于MD5值查找逻辑页和物理页对应关系的程序流程图。

图5为实施例中逻辑页号、物理页号和相应spare area内容的对应关系截图；

图6为spare area内容中分析获得的逻辑地址字段和ECC校验码字段。

具体实施方式

下面结合附图详细说明本发明的优选实施方式。本发明不仅限于以下实例，凡是利用本发明的设计思路都进入本发明的保护范围之内。

本实施方式实现了一种NAND Flash存储芯片的元数据格式识别方法，如图2所示，包括以下步骤：

一、首先辨别物理镜像中元数据区和有效数据区的排布规则；

该步骤的流程图如图3所示。在该步骤的实现中，设定的门限值min为4，min2为20。

二、在确定NAND Flash芯片数据排布格式的基础上，识别16/64字节中逻辑地址字段和校验码字段的位置。该步骤中基于MD5值查找逻辑页和物理页对应关系的程序流程图如图4所示。

在本实施方式中选用的识别逻辑地址字段的字段分析方法如下：

（1）统计spare area内每个字节的取值范围及每个取值的个数，例如统计第1个字节取值等于0的个数，等于1的个数，等于2的个数……等于255的个数；统计第2个字节取值等于0的个数，等于1的个数，等于2的个数……等于255的个数，依次类推。找出取值均匀分布的字段位置，比如第1字节取值范围从0到255并且每个值的个数大致相同，第2个字节取值范围从0到127且每个值的个数也大致相同。

（2）针对每个取值均匀的字节，按照逻辑页号由小到大的顺序，计算逻辑页号相差为d（推荐d的取值为1、256、256*256）所对应的两个物理页spare area内该字节的取值之差，如果该差值不变则说明该字节属于逻辑地址字段部分。例如由上步得知第1、2、4、5字节是取值均匀分布的字节，分别选取逻辑页号为0、d、2d、3d、4d所对应的物理页spare area的第1字节内容，其值分别u1、u2、u3、u4、u5。若u2-u1=u3-u2=u4-u3=u5-u4=1，则可认定第1字节即属于逻辑地址字段的一部分；若上述的连续等式不成立，则继续对spare area的第2、4、5字节重复上述操作即可找出逻辑地址的所有字段。

在本实施方式中选用的识别ECC校验码字段的字段分析方法如下：

找出同一逻辑页号对应的多个物理页的spare area内容中取值非0x00和非0xff并且长度大于3的连续多字节位置，逐字节作异或操作，在结果为0的字段中选择那些取值均匀分布的字节，并从中去除已经识别的逻辑地址字段，剩下的长度大于等于3的连续多字节即是ECC校验码字段。

为详细说明本发明，下面以philips x800手机为例，具体说明本实施方式的实施过程。

实施例

取证目标机是philips x800手机A。为了满足目标机上取证数据的不可更改原则，找来另一个同款手机B作为参考手机。

利用数据线将Philips x800手机B连接到PC机上，电脑识别出可移动存储设备I，该设备已用空间5.4M，可用空间42.5M。使用Winhex15.2的文件生成功能创建4个随机数据文件，总大小为42M。将数据文件存储到可移动设备I上，即手机B内置的NAND Flash上。再利用Winhex15.2的磁盘克隆工具生成NAND Flash的逻辑镜像文件philips-x800-logical。之后用手机维修工具（妙手Box）获取手机B的物理镜像文件philips-x800-physical.bin。

以可读方式打开物理镜像文件philips-x800-physical.bin，读指针先定位到物理镜像的第512字节处，读取16字节数据（读指针后移16个字节），其内容为0xFFFFFFFFFFFFFFFF00000000FFFFFBFF；统计连续0xFF值的个数有8个（大于4），位置在第1字节和第8字节之间；读指针跳过后续的512字节定位在第1040字节处，再读取16字节数据，其内容为0xFFFFFFFFFFFFFFFF0F01F00EFFFFFA0F，继续统计连续0xFF值的个数也有8个（大于4），位置同样在第1字节和第8字节之间；以此类推，读指针分别定位到第1568字节、第2096字节时，统计得到的连续0xFF值个数和位置与前面相同，由此可知philips x800型号手机的内置NAND Flash芯片的数据排布格式是512+16字节的形式，即页大小是512+16字节。

之后确定16字节的spare area内逻辑地址字段和ECC校验码字段的位置。先以512字节（扇区大小=页大小）为单位计算逻辑镜像文件philips-x800-logical中每个逻辑页的md5哈希值，记录下逻辑页号及其对应的md5值生成logical.txt文件；同样以512字节为单位计算物理镜像文件philips-x800-physical.bin中每个物理页的md5哈希值并记录下物理页号及其对应的md5值生成phsical.txt文件；然后从第0个逻辑页号开始，依次根据每个逻辑页的md5值在phsical.txt文件中查找具有相同md5值的物理页号n，并将读指针定位到物理镜像文件philips-x800-physical.bin的第528*n+512字节处，读取随后的16字节内容（即spare area），接着把该逻辑页号、对应的物理页号及其16字节spare area内容记录到文件result.txt中，如图5。接下来开始分析spare area内的逻辑地址字段和ECC校验码字段。

首先统计spare area内每个字节（从第1字节到第16字节）的取值范围及每个取值的个数，结果如表1。从中找出取值均匀分布的字段如第1～4字节、第9～16字节。

然后以可读方式打开result.txt文件，依次针对第1～4字节和第9～16字节，计算相邻两个逻辑页（页号相差1）所对应物理页spare area内容的上述字节取值之差。结果发现第13字节的取值之差恒等于1，说明该字节是逻辑地址的低位字段。由此推测第14字节可能是逻辑地址的高位字段，因此对第14字节，计算每隔256个逻辑页（页号相差256）所对应物理页spare area内容的取值之差，发现其差值恒等于1，证明该推测是正确的。继续沿用该推测，对第15字节，计算每隔256*256个逻辑页（页号相差256*256）所对应物理页spare area内容的取值之差，发现其差值也恒等于1，说明此字节是逻辑地址的更高位字段。由于Philips x800手机B的逻辑镜像文件philips-x800-logical只有98304个扇区（即逻辑页），所需逻辑地址17位，小于3个字节（每字节8位），因此断定该手机spare area内的逻辑地址字段占用第13～15字节，如图6中粗方框所示。

最后分析文件result.txt后发现，第1个逻辑页对应于两个物理页，其sparearea内容分别是0x2503250300fffffffffffd1002000000和0x250325030ffffffffffffd1002000000，其中取值为非0x00和非0xff并且长度大于3的连续多字节位置是第1～5字节和第11～13字节，将这些字节内容进行异或操作，结果为0的字节是第1～4字节和第11～13字节，其中第13字节属于逻辑地址字段，则剩余长度大于3的连续字节是第1～4字节，说明这4个字节即是ECC校验码字段，如图6细方框所示。

Claims

1.一种NAND Flash存储芯片的元数据格式识别方法，其特征在于，包括以下步骤：

（1）以可读方式打开物理镜像文件；

2.根据权利要求1所述的NAND Flash存储芯片的元数据格式识别方法，其特征在于，所述门限值min为4，min2为20。

3.根据权利要求1所述的NAND Flash存储芯片的元数据格式识别方法，其特征在于，所述识别逻辑地址字段的字段分析方法为：

（1）统计spare area内每个字节的取值范围及每个取值的个数，找出取值均匀分布的字段位置；

（2）针对每个取值均匀分布的字节，按照逻辑页号由小到大的顺序，计算逻辑页号相差为d的物理页spare area内该字节的取值之差，如果该差值不变则说明该字节属于逻辑地址字段部分。

4.根据权利要求3所述的NAND Flash存储芯片的元数据格式识别方法，其特征在于，d的取值为1或256或256*256。

5.根据权利要求1-4任一项所述的NAND Flash存储芯片的元数据格式识别方法，其特征在于，所述识别ECC校验码字段的字段分析方法为：找出同一逻辑页号对应的多个物理页的spare area内容中取值非0x00和非0xff并且长度大于3的连续多字节位置，逐字节作异或操作，在结果为0的字段中选择那些取值均匀分布的字节，并从中去除已经识别的逻辑地址字段，剩下的长度大于等于3的连续多字节即是ECC校验码字段。