CN113704180B - 一种基于嵌入式设备固件文件信息特征库的无损化固件提取方法 - Google Patents

Abstract

本发明涉及嵌入式设备固件信息提取技术领域，公开了一种基于嵌入式设备固件文件信息特征库的无损化固件提取方法，包括：建立固件文件特征信息库、特征信息库的识别和提取、特征信息库的调用、以及固件镜像文件解压缩和无损固件文件系统提取，本发明基于特征数据库匹配方式，不仅可以快速查询特定固件的格式及相关特征信息，而且可以识别和判断固件版本一致性问题，提高固件比对效率；同时解决了非标准压缩算法固件镜像文件的解压问题，提高了固件镜像文件提取的成功率；而且基于固件文件特征信息数据库，通过其中存储的特定固件地址偏移量，精确DUMP内存分段中存储的数据，实现无损化提取的目的。

Description

一种基于嵌入式设备固件文件信息特征库的无损化固件提取 方法

技术领域

本发明涉及嵌入式设备固件信息提取技术领域，具体为一种基于嵌入式设备固件文件信息特征库的无损化固件提取方法。

背景技术

目前大多数核心嵌入式设备都是由国外企业设计和生产，掌握着核心设备的关键技术，并且对于这些核心网络设备的资料是不公开的。随着恶意软件和计算机病毒的泛滥，嵌入式设备在完成自身功能之外很有可能还隐藏着其他功能，如密码收集、数据解密、内网渗透等，所以必须有针对性地进行恶意代码的检测和识别。历届国际顶级安全会议上公布的底层固件和硬件方面存在的安全隐患和漏洞越来越多，影响和涉及范围也越来越大。对不同的嵌入式设备也有不同的逆向分析方法，其中就包含网络路由设备中的后门分析。嵌入式设备固件中主要包含着操作系统与一些应用程序等文件，由于任何一种操作系统软件在设计上都不可能做到尽善尽美。嵌入式设备只要有操作系统存在，一些缺陷和漏洞就会不可避免的存在，这使得嵌入式设备操作系统中普遍隐藏着恶意功能。

5G、物联网、工业互联网、智能制造、智能家居…当下信息技术几大热门领域，都在显著扩大固件安全这个攻击面。

固件本身有一定的封闭性，加上嵌入式系统的飞速发展，网络设备的安全变的越来越敏感。比如，目前常用的网络交换机、路由器、加密网关、防火墙等日益普及，如果这些网络设备出现安全漏洞，这不仅威胁到用户的隐私，而且严重威胁到国家安全。对于物联网实验室来说，对设备中运行的固件进行一致性与安全性评估是一项极其重要的工作内容。

国内外对于嵌入式固件的提取近几年并没有较大突破，且研究较为分散，某些研究人员针对特定单一嵌入式设备提取了特征用以分析之用，但对于特定行业下多样化的嵌入式设备，则没有可借鉴和可利用的特征信息库。

传统固件提取多基于第三方工具，此类技术对于采用标准化压缩方式的固件镜像提取有一定的效果，但对于特定行业采用定制化的嵌入式系统和非标准压缩方式的固件镜像提取存在以下缺陷：无法识别嵌入式固件镜像文件格式；无法对非标准方式压缩的固件镜像进行解压；无法完整提取出固件镜像中的根文件系统。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于嵌入式设备固件文件信息特征库的无损化固件提取方法，具备可以调用嵌入式设备固件特征数据库匹配方式，提高固件比对效率；且可以对非标准方式压缩的固件镜像进行解压，提高固件镜像文件提取的成功率；还可以无损化提取固件镜像中的根文件系统的优点。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种基于嵌入式设备固件文件信息特征库的无损化固件提取方法，建立固件文件特征信息库，即对于不同固件类型，将多种架构平台下的固件设备特征类型的特征值以及利用第三方工初步解析得到的固件格式类型统计作为构建特征值数据表的原始数据，并存储到预先建立的特征库中。

优选的，所述特征值包含特征字段起始偏移量、字段长度、字段值、字段表示含义，通过特征字段的起始偏移量及字段长度能够确定特征字段，且数据地址偏移量是从固件镜像中提取出根文件系统的关键。

优选的，所述特征库针对嵌入式固件的压缩格式的多样性，增加一个压缩格式类型；特征库还存储固件镜像文件的哈希信息，用以对在用设备中的固件一致性进行验证，确保固件的安全性。

优选的，所述固件文件信息特征库以自定义linux magic文件形式存在，即magic.mgc文件，一个文件即为一个库。一个库文件可包含一个或多个不同固件镜像文件的基本特征信息。

优选的，所述方法还包括固件镜像文件识别和提取

S1.通过识别固件二进制镜像文件的魔法数(magic)，精确判断固件镜像文件的格式；通过对比库中特征信息，直接扫描文件的内存镜像；

S2.对于提取固件镜像中的文件系统，主要过程是：

1).magic_load从指定文件加载magic签名数据库，结合调用工具把多个magic签名文件组合到一个临时文件中用于加载；

2).magic_open创建并返回一个magic_cookie指针；

3).magic_buffer读取buffer中指定长度的数据并与magic签名数据库进行对比，返回对比结果描述。

4).magic_close关闭magic签名数据库并释放所有使用过的资源。

优选的，所述方法还包括支持使用python-magic和第三方工具方式调用。

通过收集的固件信息特征，在magic文件中添加自定义固件特征信息：

(1)python-magic调用

(2)第三方工具调用

(3)直接查询该库中关键字获得相关固件特征信息，依据该库中储存的固件文件偏移地址DUMP出根文件系统。

优选的，所述方法还包括固件镜像文件解压缩：对采用非标准压缩算法生成的固件二进制文件，通过对固件镜像文件中根文件系统的起始地址，结合数据库中存储的内存地址偏移量，进而从文件内存镜像中无损dump出该固件镜像，最终还原出固件的文件系统。

优选的，所述方法还包括无损固件文件系统提取:

a.通过研究不同固件镜像文件的特征，获得固件文件的magic，确定固件文件的真正格式；

b.再依据固件文件的头部特征，建立固件文件头部特征的映射关系，识别出文件采用的压缩算法；

c.对于标准压缩算法可直接采用相应工具对固件镜像文件进行解压，从而提取出固件中的文件；

d.对其他采用非标准压缩算法生成的固件二进制文件，通过对固件二进制文件的地址偏移量进行分析，确定根文件系统在内存镜像中的起始地址，无损的dump出该固件的二进制文件。

根据权利要求1所述的一种基于嵌入式设备固件文件信息特征库的无损化固件提取装置，包括：

固件文件特征信息库模块：用于将多种架构平台下的固件设备特征类型的特征值以及利用第三方工初步解析得到的固件格式类型统计作为构建特征值数据表的原始数据存储起来。

识别和提取模块：用于识别固件二进制镜像文件的魔法数(magic)，精确判断固件镜像文件的格式，并且通过对比库中特征信息，直接扫描文件的内存镜像。

调用模块：用于调用所需要的固件特征信息。

固件镜像文件解压缩模块：通过对固件镜像文件中根文件系统的起始地址，结合数据库中存储的内存地址偏移量，进而从文件内存镜像中无损dump出该固件镜像，用于还原出固件的文件系统。

无损固件文件系统提取模块:用于无损的dump出该固件的二进制文件。

(三)有益效果

与现有技术相比，本发明提供了一种基于嵌入式设备固件文件信息特征库的无损化固件提取方法，实现了嵌入式设备固件在文件无损化提取方面的创新，具备以下有益效果：

(一)基于调用嵌入式设备固件特征数据库匹配方式，提高固件比对效率

基于特征数据库匹配方式，不仅可以快速查询特定固件的格式及相关特征信息，而且可以识别和判断固件版本一致性问题，提高固件比对效率；

(二)对非标准压缩算法不敏感

解决了非标准压缩算法固件镜像文件的解压问题，直接由内存镜像DUMP出数据，提高了固件镜像文件提取的成功率；

(三)无损化提取固件镜像中的根文件系统

基于固件文件特征信息数据库，通过其中存储的特定固件地址偏移量，精确DUMP内存分段中存储的数据，还原出其中的根文件系统，实现无损化提取的目的。

附图说明

图1传统方法下的文件识别及固件根文件系统的提取流程；

图2传统方法提取固件根文件系统基本原理；

图3为本发明中无损固件提取流程图；

图4某设备固件文件信息；

图5提取固件文件真实镜像；

图6提取出的根文件系统。

具体实施方式

为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种基于嵌入式设备固件文件信息特征库的无损化固件提取方法做进一步详细的描述。

请参阅图1-6，近一步说明本发明的内容：

传统固件提取方式技术原理:嵌入式设备固件一般是以bin格式存在的二进制镜像文件，内部包含着大量的二进制流数据，固件头的数据信息始终是处在二进制数据流的初始部分，以偏移量的不同组合方式表示着嵌入式设备固件的相关特征信息并占据一定的起始位。特征字段组成不同的组合表示成该固件设备类型的处理器平台架构、内核版本、根文件系统格式等特征字段信息。

设备固件格式的解析主要是分析这些二进制数据流以偏移量的不同组合方式所表示的特征字符的含义。但是，由于嵌入式设备固件格式的类型种类繁多，并且固件中的特征字段组合是杂乱无序的，没有固定的规律可循，单纯依靠传统单一的反汇编解析或者暴力解析都无法满足多样格式类型的需求，也无法做到新的类型格式兼容，可扩展性也较差。

为了能够解决多硬件平台以及多样格式类型的瓶颈，提出利用嵌入式设备固件的二进制数据流分离产生的组合特征值数据，用来解析识别固件文件的相关信息，通过特征字段的特征值匹配预先建立好的特征数据库的方式匹配得到固件的基本信息。

建立嵌入式设备固件特征字段匹配数据库是进行解析固件格式的前提，利用逆向识别分析技术，剥离出固件的特征字段生成特征值。不同固件类型的对于该值有不同的定义，将多种架构平台下的固件设备特征类型的特征值收集起来以及利用第三方工初步解析得到的固件格式类型统计作为构建特征值数据表的原始数据，并存储到预先建立的特征库中。构建特征库的另外一个优势是兼顾到了固件多硬件平台的特性和更加方便特征值扩展。

特征值包含特征字段起始偏移量、字段长度、字段值、字段表示含义，通过特征字段的起始偏移量及字段长度能够确定特征字段，尤其重要的是，数据地址偏移量是从固件镜像中提取出根文件系统的关键。

针对嵌入式固件的压缩格式的多样性，该库另增加一个压缩格式类型，这样的目的是为了在固件的识别解析过程中针对不同的操作系统类型得知其采用的压缩格式，并利用适当的解析工具对固件镜像文件进行更深入的解析。常见的嵌入式设备固件镜像文件压缩格式有CPIO、Ar、Tar、GZip、LZxxx、RPM/DEB等。常见的根文件系统格式有YAFFS、JFFS2、SquashFS、CramFS、ROMMFS、xFAT、EXT2等。

该库还存储了固件镜像文件的哈希信息，用以对在用设备中的固件一致性进行验证，确保固件的安全性。

以上特征集成于固件文件信息特征库，该库以自定义linuxmagic文件形式存在，即magic.mgc文件，一个文件即为一个库。一个库文件可包含一个或多个不同固件镜像文件的基本特征信息，支持使用python-magic和第三方工具方式调用。

该文件的源文件在centos7.0的路径为/usr/share/misc，经过file命令编译为magic.mgc。

通过收集的固件信息特征(以某网络设备为例)，在magic文件中添加自定义的固件特征信息：

该库的调用方式极为灵活，主要调用方式有以下几种：

(1)python-magic调用，查询压缩格式用例为：

import magic

file_type＝magic.from_buffer(open("file_types/.bin",'rb').read(2048))#1

#or

file_type＝magic.from_file("file_types/.bin",mime＝True)#2

f＝magic.Magic(uncompress＝True)

ff＝f.from_file('file_types/.bin')#3

print(file_type,ff)#xz compressed data,last modified:Tue Dec 10 08:46:57 2020,from linux

(2)第三方工具调用(以binwalk为例)

binwalk-m./magic.mgc firmware.bin

(3)直接查询该库中关键字获得相关固件特征信息，依据该库中储存的固件文件偏移地址DUMP出根文件系统。

识别固件镜像文件格式及类型，是提取固件二进制镜像中的根文件系统的前提条件，传统文件格式的识别，是通过类似于file命令方式识别文件类型，但file命令占用了太多的磁盘来读写I/O，读写过程是从文件的第一个字节开始，且只能把磁盘上的一个文件识别成一种文件格式，所以会占用很多磁盘空间来保存文件。

对文件的识别流程如图1所示：

如正常识别出包含根文件系统的固件镜像文件，则可以选择相应解压算法提取出固件镜像文件中的根文件系统。依赖此方法提取固件镜象中的根文件系统的基本原理如图2所示：

该方法下使用file命令对固件镜像进行格式识别，就需要逐字节把固件镜像分割成多个文件，文件的读写I/O效率极低，进入固件提取过程时，因I/O读写产生的错误会被带入临时文件中，在重组临时文件时，有可能带来文件无法正确识别或提取的文件系统损坏等问题。

该方法另一个主要缺陷是，因为缺少特征信息库支持，所以无法识别绝大多数嵌入式设备固件镜像文件的格式等信息。

本发明：一种基于嵌入式设备固件文件信息特征库的无损化固件提取技术

关键技术主要有以下两点：

1)固件镜像文件识别：建立固件文件特征信息库，通过识别固件二进制镜像文件的魔法数(magic)，精确判断固件镜像文件的格式；固件文件特征信息库为固件文件系统提取提供了较好的解决方案。通过对比库中特征信息，可以直接扫描文件的内存镜像，不仅提高提取效率，且不会对提取的固件镜像文件系统造成任何破坏；对于已自定义的固件文件特征，具有较高的识别准确性。

对于提取固件镜像中的文件系统，主要过程是：

a)magic_load从指定文件加载magic签名数据库，结合调用工具把多个magic签名文件组合到一个临时文件中用于加载；

b)magic_open创建并返回一个magic_cookie指针；

c)magic_buffer读取buffer中指定长度的数据并与magic签名数据库进行对比，返回对比结果描述。

d)magic_close关闭magic签名数据库并释放所有使用过的资源。

2)固件镜像文件解压缩：对采用非标准压缩算法生成的固件二进制文件，则通过对固件镜像文件中根文件系统的起始地址，结合数据库中存储的内存地址偏移量，进而从文件内存镜像中无损dump出该固件镜像，最终还原出固件的文件系统。固件无损提取流程图如图3所示：

无损固件文件系统提取实现

在实际嵌入式固件研究中，通常针对固件解析研究的第一步就是使用通用工具，从要解析的固件设备文件中解析出尽量多的信息。此外，对固件解压得到根文件系统文件也是必不可少的。

通过研究不同固件镜像文件的特征，获得固件文件的magic，确定固件文件的真正格式；再依据固件文件的头部特征，建立固件文件头部特征的映射关系，识别出文件采用的压缩算法；对于标准压缩算法可直接采用相应工具对固件镜像文件进行解压，从而提取出固件中的文件；对其他采用非标准压缩算法生成的固件二进制文件，通过对固件二进制文件的地址偏移量进行分析，确定根文件系统在内存镜像中的起始地址，无损的dump出该固件的二进制文件。

采用第三方工具调用固件信息特征库方式，以某通用网络设备固件镜像为例进行文件系统的识别，如图4所示：

由此可知，该文件包含了squashfs小端系统，压缩算法为XZ，文件系统起始地址为0x162F51(即magic值)开始到其后的7132962个字节(实际有效为7197026个字节)，只需要dump出此内存映射范围的内容，就可以获得实际的二进制镜像文件，如图5所示：

如图6所示，该技术可完整无损提取出固件镜像文件中的根文件系统。

可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (5)

1.一种基于嵌入式设备固件文件信息特征库的无损化固件提取方法，其特征在于：建立固件文件特征信息库，即对于不同固件类型，将多种架构平台下的固件设备特征类型的特征值以及利用第三方工具初步解析得到的固件格式类型统计作为构建特征值数据表的原始数据，并存储到预先建立的特征库中；

所述特征值包含特征字段的起始偏移量、字段长度、字段值、字段表示含义，通过特征字段的起始偏移量及字段长度能够确定特征字段；

所述固件文件信息特征库以自定义linux magic文件形式存在，即magic.mgc文件，一个文件即为一个库，一个库文件可包含一个或多个不同固件镜像文件的基本特征信息；

所述方法还包括固件镜像文件解压缩：对采用非标准压缩算法生成的二进制的固件文件，通过对固件镜像文件中根文件系统的起始地址，结合数据库中存储的内存地址偏移量，进而从文件内存镜像中无损dump出该固件镜像，最终还原出固件的文件系统；

所述方法还包括无损固件文件系统提取:

a.通过研究不同固件镜像文件的特征，获得固件文件的magic，确定固件文件的真正格式；

b.再依据固件文件的头部特征，建立固件文件头部特征的映射关系，识别出文件采用的压缩算法；

c.对于标准压缩算法可直接采用相应工具对固件镜像文件进行解压，从而提取出固件中的文件；

d.对其他采用非标准压缩算法生成的二进制的固件文件，通过对二进制的固件文件的地址偏移量进行分析，确定根文件系统在内存镜像中的起始地址，无损的dump出该固件的二进制文件。

2.根据权利要求1所述的一种基于嵌入式设备固件文件信息特征库的无损化固件提取方法，其特征在于：所述特征库针对嵌入式固件的压缩格式的多样性，增加一个压缩格式类型；特征库还存储固件镜像文件的哈希信息，用以对在用设备中的固件一致性进行验证，确保固件的安全性。

3.根据权利要求1所述的一种基于嵌入式设备固件文件信息特征库的无损化固件提取方法，其特征在于：所述方法还包括固件镜像文件识别和提取：

S1.通过识别二进制的固件镜像文件的魔法数(magic)，精确判断固件镜像文件的格式；

通过对比库中特征信息，直接扫描文件的内存镜像；

S2.对于提取固件镜像中的文件系统，主要过程是：

1).magic_load从指定文件加载magic签名数据库，结合调用工具把多个magic签名文件组合到一个临时文件中用于加载；

2).magic_open创建并返回一个magic_cookie指针；

3).magic_buffer读取buffer中指定长度的数据并与magic签名数据库进行对比，返回对比结果描述；

4).magic_close关闭magic签名数据库并释放所有使用过的资源。

4.根据权利要求1所述的一种基于嵌入式设备固件文件信息特征库的无损化固件提取方法，其特征在于：所述方法还包括支持使用python-magic和第三方工具方式调用；

通过收集的固件信息特征，在magic文件中添加自定义固件特征信息：

(1)python-magic调用；

(2)第三方工具调用；

(3)直接查询该库中关键字获得相关固件特征信息，依据该库中储存的固件文件偏移地址DUMP出根文件系统。

5.根据权利要求1所述的一种基于嵌入式设备固件文件信息特征库的无损化固件提取装置，包括：

固件文件特征信息库模块：用于将多种架构平台下的固件设备特征类型的特征值以及利用第三方工具初步解析得到的固件格式类型统计作为构建特征值数据表的原始数据存储起来；

识别和提取模块：用于识别二进制的固件镜像文件的魔法数(magic)，精确判断固件镜像文件的格式，并且通过对比固件文件特征信息中特征信息，直接扫描文件的内存镜像；

调用模块：用于调用所需要的固件特征信息；

固件镜像文件解压缩模块：通过对固件镜像文件中根文件系统的起始地址，结合数据库中存储的内存地址偏移量，进而从文件内存镜像中无损dump出该固件镜像，用于还原出固件的文件系统。