CN104715070A - 一种大图像文件及生成和读取方法 - Google Patents

Abstract

本发明公开了一种大图像文件，所述大图像文件由2部分组成，第一部分头文件由5个区间组成：第一区间记录大图像文件后缀信息，即存储该大图像文件中的原始图像文件的类型信息；第二区间记录每个图像文件所占用磁盘空间；第三区间表示大图像文件最多能存储的图像文件数量；第四区间表示大图像文件已经存储的图像文件数量；第五区间为系统预留空间；第二部分图像文件集合由多个图像文件组成，每个图像文件都占据头文件第二区间所设定的空间大小，每个图像文件由5个区间组成：第六区间表示文件序号，；第七区间表示图像文件存储的时间；第八区间存储原始图像文件的尺寸大小；第九区间存储原始图像文件；第十区间是缺省填充值。

Description

一种大图像文件及生成和读取方法

技术领域

本发明属于大数据图像分析技术领域，更具体地，涉及一种大图像文件及生成和读取方法。

背景技术

在智能交通领域，前端设备所采集的图像是海量的，需要对这些海量图像信息进行传输、汇总、存储和分析。因此采用hadoop技术来解决这些问题，然而，在Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)中，每个文件需要占用不低于64M的磁盘空间，若卡口采用高清设备拍摄道路过往的车辆所产生的图像尺寸最大不超过2M。当这些图像文件保存到HDFS中，会出现2M的图像将占用64M的磁盘空间。这将造成磁盘空间的浪费，在对图像分析处理的时候，导致服务器内存利用率比较低。若把多个图像文件压缩后，存储到HDFS中，能解决磁盘利用率低的问题，但是在对图像分析计算的时候，每次都需要对文件解压后才能进行分析和计算；若仅仅想查看压缩的单个图像文件，也需要对图像解压，会增加服务器cpu负荷，降低服务器内存消耗。

发明内容

为了解决使用hadoop技术处理海量图像文件时磁盘利用率低，cpu负荷高，服务器内存占用大的问题，本发明提出了一种大图像文件及其生成和读取方法。

为了实现上述目的，按照本发明的一个方面，提供了一种大图像文件，所述大图像文件由2部分组成，第一部分是头文件，第二部分是图像文件集合，其中第一部分头文件由5个区间组成：第一区间记录大图像文件后缀信息，即存储该大图像文件中的原始图像文件的类型信息；第二区间记录每个图像文件所占用磁盘空间；第三区间表示大图像文件最多能存储的图像文件数量；第四区间表示大图像文件已经存储的图像文件数量；第五区间为系统预留空间；第二部分图像文件集合由多个图像文件组成，每个图像文件都占据头文件第二区间所设定的空间大小，每个图像文件由5个区间组成：第六区间表示文件序号，；第七区间表示图像文件存储的时间；第八区间存储原始图像文件的尺寸大小；第九区间存储原始图像文件；第十区间是缺省填充值。

本发明的一个实施例中，所述大图像文件大于或等于64M。

本发明的一个实施例中，所述第一区间记录的大图像文件后缀信息为bjpg、bjpeg、bgif、bpng或bbmp。

本发明的一个实施例中，所述第一区间占位10字节。

本发明的一个实施例中，所述第三区间的缺省值是100。

本发明的一个实施例中，所述第二区间的值是2048。

本发明的一个实施例中，所述第五区间占位10字节。

本发明的一个实施例中，所述第十区间缺省值为0。

按照本发明的另一方面，还提供了一种上述大图像文件的生成方法，包括：

将多个同类型的原始图像文件加载到内存中，并获得这些原始图像文件的最大尺寸、数量和类型；

根据原始图像文件的最大尺寸、数量和类型，创建大图像文件的头文件；

根据原始图像文件创建大图像文件的图像文件集合；

在内存中合并大图像文件的头文件和图像文件集合，并写入磁盘。

按照本发明的另一方面，还提供了一种上述大图像文件的读取方法，包括：

根据大图像文件名读取大图像文件，并加载到内存中；

判断需要读取的原始图像文件序号与大图像文件中所容量最大图像文件数量的大小，若原始图像文件序号大于图片数，则返回原始图像文件不存在的信息，结束图像读取；否则根据头文件中规定的原始图像文件的尺寸大小和需要读取的原始图像文件序号计算偏移量；

读取偏移量位置处的原始图像文件，并判断读取的原始图像文件序号与需读取原始图像文件序号是否相同，若不相同，则返回原始图像文件不存在的信息，结束图像读取；若相同，则根据图像尺寸读取原始图像文件。

与现有技术相比，本发明具有如下有益效果：

(1)提高图片文件在HDFS文件系统中磁盘空间的利用率，从3％提高到99.9％(0.1％是新增头文件的占用空间)

(2)提高从HDFS文件系统中获取图像文件速度，对比图像压缩存储，不需要对图像集合解压缩，只需要大图像文件名和索引，就能快速获取图像信息。

(3)在HDFS文件系统中，大图像格式适合对同类型小图像文件进行聚合后，统一进行运算，分析和处理。在非HDFS文件系统中，大图像文件格式也适合用同一的算法批量快速地进行分析。

(4)同时进一步推广，本发明方案也适合对其他非图像的同类型文件进行统一存储，运算，分析和处理。

附图说明

图1是本发明中大图像文件格式的示意图；

图2是本发明中大图像文件创建的流程图；

图3是本发明中在大图像文件中读取图像文件流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

为了解决使用hadoop技术处理海量图像文件时磁盘利用率低，cpu负荷高，服务器内存占用大的问题，本发明提出了一种大图像文件格式，通过借助大图像文件这个中间文件，来存储、分析和处理海量图像文件。这个大图像文件的原理是把多个同类型的原始图像文件通过一定规则合成一个大尺寸的文件格式，借助这个大文件格式，把对海量原始图像文件的批量存储、分析和处理，转换为对这个大图像文件的存储、分析和处理。

这种大图像文件的格式如附图1所示。文件格式后缀为：bjpg、bjpeg、bgif、bpng或bbmp，具体依赖于其所包含的单个原始图像文件格式。以前端卡口设备产生的图像文件为例，其图像格式是jpg格式，若大图像文件都是包含这种卡口设备产生的图像文件信息，则大图像格式的后缀为bjpg。

所述大图像文件由2部分组成，第一部分是头文件，第二部分是图像文件集合。

第一部分头文件由5个区间组成，如图1所示的1，2，3，4，5区间。其中，第一区间记录大图像文件后缀信息，即存储该大图像文件中的原始图像文件的类型信息，例如bjpg等字符信息，占10个字节长度。第二区间记录每个图像文件所占用磁盘空间，例如若其值是2048，表示每个图像文件占用2048字节空间，这个区间占位10字节。第三区间表示大图像文件最多能存储的图像文件数量，缺省是100，该区间占位5字节长度。第四区间表示大图像文件已经存储的图像文件数量，该区间占位5字节长度。第五区间为系统预留空间，占位10字节长度。

第二部分图像文件集合由多个图像文件组成，每个图像文件都占据头文件第二区间所设定的空间大小。每个图像文件由5个区间组成，其格式如图1中6，7，8，9，10所示。第六区间表示文件序号，从1开始，若是第一个文件，则该区间存储1，该区间占位5字节，若这个区间值为0，则表示无文件存在。第七区间表示图像文件存储的时间，占位10字节。第八区间存储原始图像文件的尺寸大小，占位5字节。第九区间存储原始图像文件。第十区间是缺省填充值，缺省值为0。这样多个固定区间的图像文件组合成大图像文件。

本发明中大图像文件是在多个同类型图像文件的基础上创建的，创建大图像文件的流程如图2所示。首先将多个同类型的原始图像文件加载到内存中，并获得这些原始图像文件的最大尺寸、数量和类型。根据原始图像文件的最大尺寸、数量和类型，创建大图像文件的头文件，注意头文件中第二区间值等于原始图像的最大尺寸加40个字节。然后再根据原始图像文件创建大图像文件的图像文件集合。最后在内存中合并大图像文件的头文件和图像文件集合，最后写入磁盘，完成了由多个原始图像文件到大图像文件的创建。

从大图像文件中读取单个原始图像文件是进行图像分析，处理和计算的前提，其读取流程如图3所示。首先根据大图像文件名读取大图像文件，并加载到内存中，然后判断需要读取的原始图像文件序号与大图像文件中所容量最大图像文件数量的大小，若原始图像文件序号大于图片数，则返回原始图像文件不存在的信息，结束图像读取；反之，则根据头文件中规定的原始图像文件的尺寸大小和需要读取的原始图像文件序号计算偏移量。读取偏移量位置处的原始图像文件，并判断读取的原始图像文件序号与需读取原始图像文件序号是否相同，若不相同，则返回原始图像文件不存在的信息，结束图像读取。若相同，则根据图像尺寸读取原始图像文件。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种大图像文件，其特征在于，所述大图像文件由2部分组成，第一部分是头文件，第二部分是图像文件集合，其中第一部分头文件由5个区间组成：第一区间记录大图像文件后缀信息，即存储该大图像文件中的原始图像文件的类型信息；第二区间记录每个图像文件所占用磁盘空间；第三区间表示大图像文件最多能存储的图像文件数量；第四区间表示大图像文件已经存储的图像文件数量；第五区间为系统预留空间；第二部分图像文件集合由多个图像文件组成，每个图像文件都占据头文件第二区间所设定的空间大小，每个图像文件由5个区间组成：第六区间表示文件序号，；第七区间表示图像文件存储的时间；第八区间存储原始图像文件的尺寸大小；第九区间存储原始图像文件；第十区间是缺省填充值。

2.如权利要求1所述的大图像文件，其特征在于，所述大图像文件大于或等于64M。

3.如权利要求1或2所述的大图像文件，其特征在于，所述第一区间记录的大图像文件后缀信息为bjpg、bjpeg、bgif、bpng或bbmp。

4.如权利要求1或2所述的大图像文件，其特征在于，所述第一区间占位10字节。

5.如权利要求1或2所述的大图像文件，其特征在于，所述第三区间的缺省值是100。

6.如权利要求1或2所述的大图像文件，其特征在于，所述第二区间的值是2048。

7.如权利要求1或2所述的大图像文件，其特征在于，所述第五区间占位10字节。

8.如权利要求1或2所述的大图像文件，其特征在于，所述第十区间缺省值为0。

9.如权利要求1-8任一项所述大图像文件的生成方法，其特征在于，包括：

将多个同类型的原始图像文件加载到内存中，并获得这些原始图像文件的最大尺寸、数量和类型；

根据原始图像文件的最大尺寸、数量和类型，创建大图像文件的头文件；

根据原始图像文件创建大图像文件的图像文件集合；

在内存中合并大图像文件的头文件和图像文件集合，并写入磁盘。

10.如权利要求1-8任一项所述大图像文件的读取方法，其特征在于，包括：

根据大图像文件名读取大图像文件，并加载到内存中；

判断需要读取的原始图像文件序号与大图像文件中所容量最大图像文件数量的大小，若原始图像文件序号大于图片数，则返回原始图像文件不存在的信息，结束图像读取；否则根据头文件中规定的原始图像文件的尺寸大小和需要读取的原始图像文件序号计算偏移量；

读取偏移量位置处的原始图像文件，并判断读取的原始图像文件序号与需读取原始图像文件序号是否相同，若不相同，则返回原始图像文件不存在的信息，结束图像读取；若相同，则根据图像尺寸读取原始图像文件。