CN103559000A - 一种面向质量的海量影像数据迁移方法和系统 - Google Patents

Abstract

本发明提供了一种面向质量的海量影像数据迁移方法和系统，方法包括：将多个影像数据保存在共享存储区；通过每个影像数据的拍摄质量确定其摄影质量等级，同时通过影像数据的处理过程确定其产品处理等级；选择所述摄影质量等级和所述产品处理等级同时满足阈值的影像数据存储至工作存储区；在所述工作存储区中，选择最优的影像数据，存储至产品存储区；在所述产品存储区中，选择并保存最优的影像数据；使用所述产品存储区中的影像数据，提供访问。本发明提供了一种面向质量的海量影像数据迁移系统。面对海量数据，每次处理操作时，提高了处理效率。

Description

一种面向质量的海量影像数据迁移方法和系统

技术领域

本发明涉及数据迁移领域，具体而言，涉及一种面向质量的海量影像数据迁移方法和系统。

背景技术

海量数据也可称为大数据(Big data)，在面对这样的海量数据处理时，通常需要很多台计算机同时工作，在远远超出用户可接受的时间内对海量数据进行操作。

例如：摄像头拍摄的历史图像，遥感卫星拍摄的影像等，这些数据随着时间的积累，会存在重复数据或一些失效的数据，这些数据中，有的数据在每次访问中都没有被调取，有的数据可能会因为不符合要求而从未被访问。这些影像数据的存放，在后续的处理中，效率很低。

发明内容

本发明旨在提供一种面向质量的海量影像数据迁移方法，以解决上述海量数据访问速度慢，处理效率低的问题。

本发明提供一种面向质量的海量影像数据迁移方法，包括：将多个影像数据保存在共享存储区；通过每个影像数据的拍摄质量确定其摄影质量等级，同时通过影像数据的处理过程确定其产品处理等级；选择所述摄影质量等级和所述产品处理等级同时满足阈值的影像数据存储至工作存储区；在所述工作存储区中，如果同一对象存在多次拍摄的多个影像数据，则根据拍摄时间、摄影质量等级和产品质量等级，则选择最优的影像数据，存储至产品存储区；在所述产品存储区中，如果同一对象存在多次拍摄的多个影像数据，则根据拍摄时间、摄影质量等级和产品质量等级，则选择并保存最优的影像数据；使用所述产品存储区中的影像数据，提供访问。

优选地，将不符合阈值或非最优的影像数据，存储至离线存储区。

优选地，根据时间间隔或每个存储区的存储容量触发所述选择影像数据的操作。

优选地，还包括：在操作当前影像数据之前，通过建立对应所述当前影像数据的标签防止操作冲突。

优选地，所述建立对应所述当前影像数据的标签防止操作冲突包括：在操作当前影像数据之前，判断其所在目录下，是否存在同名的空文件；如果存在，则停止操作；如果不存在，则创建与其同名的空文件，并操作该影像数据；在操作结束后，删除创建的所述同名的空文件。

优选地，所述通过每个影像数据的拍摄质量确定其摄影质量等级包括：访问每个影像数据作为拍摄质量的属性，所述属性至少包括以下之一：分辨率、大小、像素数量、颜色、色调、饱和度、对比度和亮度；按照设定的属性区间与摄影质量等级的对应关系，确定每个影像数据的摄影质量等级；所述通过影像数据的处理过程确定其产品处理等级包括：确定所述处理过程的操作，所述操作包括以下之一：图像变换、编解码、增强、复原、分割、操作时间；按照设定的操作的数量与产品处理等级的对应关系，确定每个影像数据的产品处理等级。

本发明的实施例还提供一种面向质量的海量影像数据迁移系统，包括：共享读写模块，用于将多个影像数据保存在共享存储区；等级模块，用于通过每个影像数据的拍摄质量确定其摄影质量等级，同时通过影像数据的处理过程确定其产品处理等级；工作存储模块，用于选择所述摄影质量等级和所述产品处理等级同时满足阈值的影像数据存储至工作存储区；工作区筛选模块，用于在所述工作存储区中，如果同一对象存在多次拍摄的多个影像数据，则根据拍摄时间、摄影质量等级和产品质量等级，则选择最优的影像数据，存储至产品存储区；产品区筛选模块，用于在所述产品存储区中，如果同一对象存在多次拍摄的多个影像数据，则根据拍摄时间、摄影质量等级和产品质量等级，则选择并保存最优的影像数据；输出模块，用于使用所述产品存储区中的影像数据，提供访问。

优选地，还包括：离线存储模块，用于将不符合阈值或非最优的影像数据，存储至离线存储区。

优选地，还包括，触发模块，用于根据时间间隔或每个存储区的存储容量触发所述选择影像数据的操作。

优选地，还包括：防冲突模块，用于在操作当前影像数据之前，通过建立对应所述当前影像数据的标签防止操作冲突。

通过上述步骤，根据图像的产品处理等级和拍摄质量等级，将海量数据的图像不断筛选，从而得到最适合提供服务的图像，解决了现有技术中，面对海量数据，每次处理操作时，效率低的问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了实施例的流程图；

图2示出了另一个实施例的流程图；

图3示出了面向质量的海量影像数据迁移的体系结构图；

图4示出了是面向质量的海量影像数据迁移的总体流程图；

图5示出了系统实施例的模块架构图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。

S11：将多个影像数据保存在共享存储区；

S12：通过每个影像数据的拍摄质量确定其摄影质量等级，同时通过影像数据的处理过程确定其产品处理等级；

S13：选择所述摄影质量等级和所述产品处理等级同时满足阈值的影像数据存储至工作存储区；

S14：在所述工作存储区中，如果同一对象存在多次拍摄的多个影像数据，则根据拍摄时间、摄影质量等级和产品质量等级，则选择最优的影像数据，存储至产品存储区；

S15：在所述产品存储区中，如果同一对象存在多次拍摄的多个影像数据，则根据拍摄时间、摄影质量等级和产品质量等级，则选择并保存最优的影像数据；

S16：使用所述产品存储区中的影像数据，提供访问。

通过上述步骤，根据图像的产品处理等级和拍摄质量等级，将海量数据的图像不断筛选，从而得到最适合提供服务的图像，解决了现有技术中，面对海量数据，每次处理操作时，效率低的问题。

本发明的方法，按照以下3个方面筛查图像：

(1)按质量初步筛选：按照二维质量要素(摄影质量等级和产品处理等级)进行判定摄影质量等级和产品处理等级，摒弃质量有问题的数据，将质量等级特别差，基本不能提供服务的数据直接迁移到离线存储或直接删除。

(2)按质量比较选优：同级(摄影质量等级或产品处理等级)质量比较选优，相同产品等级的数据，筛选出质量等级高的数据提供服务，将质量等级低的数据迁移到离线存储。

(3)按质量精选存优：从摄影质量等级、产品处理等级这两个维度进行质量精选存优，即当存在同次摄影的多份影像数据时，将同次摄影的低级影像数据迁移到离线存储中；当存在2份以上相同数据类型的影像数据，保留质量级别较高的数据；当质量级别相同时，保存摄影时间较近的数据。

下面通过详细的一个实施例说明具体的迁移过程，本发明的方法将海量数据进行多次筛选，以遥感卫星数据为例，针对同一对象拍摄的遥感图像，需要拍摄多次，这样会形成海量数据，例如地图、大气、星空等，这些图像数据在使用时，数据量较大，如果采用本发明的方法，会提高使用过程中的处理效率。通过本发明的方法处理的过程参见图2，包括：

S21：在共享存储区中，判断影像数据的等级；

摄影质量等级是根据遥感摄影时产生质量属性，对影像质量进行分级判定的；访问每个影像数据作为拍摄质量的属性，所述属性至少包括以下之一：分辨率、大小、像素数量、颜色、色调、饱和度、对比度和亮度；还可包括遮挡物(云量等)、像素完整性(误码等)等；

按照设定的属性区间与摄影质量等级的对应关系，确定每个影像数据的摄影质量等级；质量等级高的数据质量比质量等级低的数据质量好；

所述通过影像数据的处理过程确定其产品处理等级包括：

确定所述处理过程的操作，所述操作包括以下之一：图像变换、编解码、增强、复原、分割、操作时间；

按照设定的操作的数量与产品处理等级的对应关系，确定每个影像数据的产品处理等级。

上述这些等级，可根据数据的使用需求自行设定，如果需要较好效果的输出图像，则可调高等级对应的参数。

共享存储区用于存放外部系统存入的未经任何判定的初始数据。工作存储区用于存放经过初步筛拣，并且符合时效性要求，近期进入系统的数据。持久存储区用于存放质量最好的、高级别的、服务需求量最大的数据。离线存储区用离线介质存放质量特别差、基本不用于服务的数据。该结构依赖数据迁移技术来确保质量好的数据优先存储在服务能力强的存储介质上。这样就大大提高数据获取服务效率。

S22：根据摄像质量等级、和图像处理后的产品处理等级判断是否满足，如果满足，则执行S23，如果不满足，则执行S27，将影像数据存储至离线存储区。

选择所述摄影质量等级和所述产品处理等级同时满足阈值的影像数据存储至工作存储区；

数据初步筛拣对共享存储区中的数据进行预判，将质量特别差、基本不能用于服务的数据直接迁移到离线存储中，同时将其他数据迁移到工作存储区中。

S23：将满足等级要求的影像数据存储到工作存储区。

S24：在工作存储区中，对同级的影像数据进行比较；根据比较结果执行S25，选出最优的影像数据存储到产品存储区；或S27；

在所述工作存储区中，如果同一对象存在多次拍摄的多个影像数据，则根据拍摄时间、摄影质量等级和产品质量等级，则选择最优的影像数据，存储至产品存储区；

例如，对于卫星或监控的影像数据，可能在同一时刻，存在多份多次对同一对象拍摄的多个影像，则可根据则根据拍摄时间、摄影质量等级和产品质量等级，则选择最优的影像数据，存储至产品存储区；

S25：将选出最优的影像数据存储至产品存储区；

数据比较选优根据时序或S24中的等级比较规则，选择高等级或时间最近的影像数据，将数据从工作存储区迁移到产品存储区，在此过程中，如果有产品等级高的数据迁移到产品存储区，则将产品存储区中对应的低级的产品迁移到离线存储中。

S26：在产品存储区中判断是否存在最优的影像数据，如果有，则执行S25，否则执行S27。

数据精选存优是对产品存储区中的数据进行精选整理，保留摄影质量等级和产品处理等级最优的数据以持久提供服务。在影像地理范围等条件一致的情况，当存在同次摄影的多份影像数据时，即相同的摄影质量等级，将同次摄影的产品处理等级影像数据迁移到离线存储中；当存在2份(含)以上相同数据类型的影像数据，即相同的产品质量等级，保留摄影质量等级较高的数据。当然也可两个等级同事考虑，也可只比较其一。

通过以上实施步骤，运用面向质量的海量影像数据迁移方法，可实现一个面向质量的海量数据迁移系统，解决目前现有的海量影像数据生命周期管理问题，提高影像产品数据的使用服务价值。

上述每个存储区中，对影像数据进行操作的同时，可能该影像数据正在被其他进程占用，如访问，复制、剪切等，为避免操作冲突，在操作当前影像数据之前，通过建立对应所述当前影像数据的标签防止操作冲突。

包括：

在操作当前影像数据之前，判断其所在目录下，是否存在同名的空文件；

如果存在，则停止操作；

如果不存在，则创建与其同名的空文件，并操作该影像数据；在操作结束后，删除创建的所述同名的空文件。

由于数据在各个存储区之间的迁移都涉及到数据在原有存储位置上的删除操作，因此可能会与其它数据访问者，比如数据输出等，产生访问冲突。设计一套透明的数据迁移访问隔离接口。该接口主要是通过对数据产品打标签、删除标签的方式来隔离外部服务进程对正在迁移的数据文件的访问，避免其它数据访问者同时对同一数据文件进行读取访问操作时可能导致的数据错误。

打标签是在与数据文件同级的目录下，创建一个空文件，其名称以数据文件名称开头。删除标签就是删除之前打标签时创建的空文件。当数据迁移服务准备对一个数据文件进行迁移操作时，首先判断该数据文件是否已经被其他数据访问者打上了标签，如果该文件没有被打上标签，则进行迁移操作；如果已经被打上了标签，则表明有后台进程正在使用该数据文件，数据迁移就暂不对该数据文件进行迁移操作，待下次迁移的时候再重复上述操作。

基于以上逻辑设计实现访问接口提供各数据访问者使用，确保来各个访问者对数据访问透明，彼此不产生冲突。

优选地，上述各个存储区的迁移操作过程，并非实时进行，根据时间间隔或每个存储区的存储容量触发所述选择影像数据的操作。包括：

迁移任务的生成有两种方式，一种是通过定时管理触发，一种是通过空间管理触发。定时管理根据需要设定触发器，并捕获触发器消息，在特定时间触发迁移任务，将触发消息发给任务控制模块。空间管理对各个磁盘阵列存储容量进行监控分析，当剩余存储容量告警时则将磁盘空间信息发给任务控制模块，产生迁移任务。

迁移任务控制

任务控制在收到消息后，构建迁移任务队列，调度迁移任务并发执行，并且对迁移任务执行过程进行控制。任务控制会根据收到的消息分别调度数据初拣任务(共享存储区至工作存储区筛选)、数据选优任务(工作存储区至产品存储区筛选)以及数据精选任务(产品存储区自身筛选)等迁移任务。

例如，即将进行初拣任务，而产品存储区的存储容量已经饱满，则将数据精选的优先级调高，执行精选任务。

上面详细说明了本发明方法的工作流程，本发明方法的工作流程的过程，还可参见图3、图4所示的示意图，

图3是本发明的体系结构图，系统包括海量影像数据分级存储管理结构、数据迁移控制、数据迁移处理、以及数据迁移访问隔离接口。

图4是本发明整体体系的架构流程。

本发明还提供一种面向质量的海量影像数据迁移系统，包括：

共享区读写模块，用于将多个影像数据保存在共享存储区；

等级模块，用于通过每个影像数据的拍摄质量确定其摄影质量等级，同时通过影像数据的处理过程确定其产品处理等级；

工作区存储模块，用于选择所述摄影质量等级和所述产品处理等级同时满足阈值的影像数据存储至工作存储区；

工作区筛选模块，用于在所述工作存储区中，如果同一对象存在多次拍摄的多个影像数据，则根据拍摄时间、摄影质量等级和产品质量等级，则选择最优的影像数据，存储至产品存储区；

产品区筛选模块，用于在所述产品存储区中，如果同一对象存在多次拍摄的多个影像数据，则根据拍摄时间、摄影质量等级和产品质量等级，则选择并保存最优的影像数据；

输出模块，用于使用所述产品存储区中的影像数据，提供访问。

优选地，还包括：离线存储模块，用于将不符合阈值或非最优的影像数据，存储至离线存储区。

优选地，还包括，触发模块，用于根据时间间隔或每个存储区的存储容量触发所述选择影像数据的操作。

优选地，还包括：防冲突模块，用于在操作当前影像数据之前，通过建立对应所述当前影像数据的标签防止操作冲突。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向质量的海量影像数据迁移方法，其特征在于，包括：

将多个影像数据保存在共享存储区；

通过每个影像数据的拍摄质量确定其摄影质量等级，同时通过影像数据的处理过程确定其产品处理等级；

选择所述摄影质量等级和所述产品处理等级同时满足阈值的影像数据存储至工作存储区；

在所述工作存储区中，如果同一对象存在多次拍摄的多个影像数据，则根据拍摄时间、摄影质量等级和产品质量等级，则选择最优的影像数据，存储至产品存储区；

在所述产品存储区中，如果同一对象存在多次拍摄的多个影像数据，则根据拍摄时间、摄影质量等级和产品质量等级，则选择并保存最优的影像数据；

使用所述产品存储区中的影像数据，提供访问。

2.根据权利要求1所述的方法，其特征在于，将不符合阈值或非最优的影像数据，存储至离线存储区。

3.根据权利要求1所述的方法，其特征在于，根据时间间隔或每个存储区的存储容量触发所述选择影像数据的操作。

4.根据权利要求1所述的方法，其特征在于，还包括：在操作当前影像数据之前，通过建立对应所述当前影像数据的标签防止操作冲突。

5.根据权利要求4所述的方法，其特征在于，所述建立对应所述当前影像数据的标签防止操作冲突包括：

在操作当前影像数据之前，判断其所在目录下，是否存在同名的空文件；

如果存在，则停止操作；

如果不存在，则创建与其同名的空文件，并操作该影像数据；在操作结束后，删除创建的所述同名的空文件。

6.根据权利要求1所述的方法，其特征在于，所述通过每个影像数据的拍摄质量确定其摄影质量等级包括：

访问每个影像数据作为拍摄质量的属性，所述属性至少包括以下之一：分辨率、大小、像素数量、颜色、色调、饱和度、对比度和亮度；

按照设定的属性区间与摄影质量等级的对应关系，确定每个影像数据的摄影质量等级；

所述通过影像数据的处理过程确定其产品处理等级包括：

确定所述处理过程的操作，所述操作包括以下之一：图像变换、编解码、增强、复原、分割、操作时间；

按照设定的操作的数量与产品处理等级的对应关系，确定每个影像数据的产品处理等级。

7.一种面向质量的海量影像数据迁移系统，其特征在于，包括：

共享读写模块，用于将多个影像数据保存在共享存储区；

等级模块，用于通过每个影像数据的拍摄质量确定其摄影质量等级，同时通过影像数据的处理过程确定其产品处理等级；

工作存储模块，用于选择所述摄影质量等级和所述产品处理等级同时满足阈值的影像数据存储至工作存储区；

工作区筛选模块，用于在所述工作存储区中，如果同一对象存在多次拍摄的多个影像数据，则根据拍摄时间、摄影质量等级和产品质量等级，则选择最优的影像数据，存储至产品存储区；

产品区筛选模块，用于在所述产品存储区中，如果同一对象存在多次拍摄的多个影像数据，则根据拍摄时间、摄影质量等级和产品质量等级，则选择并保存最优的影像数据；

输出模块，用于使用所述产品存储区中的影像数据，提供访问。

8.根据权利要求7所述的系统，其特征在于，还包括：离线存储模块，用于将不符合阈值或非最优的影像数据，存储至离线存储区。

9.根据权利要求7所述的系统，其特征在于，还包括，触发模块，用于根据时间间隔或每个存储区的存储容量触发所述选择影像数据的操作。

10.根据权利要求7所述的方法，其特征在于，还包括：防冲突模块，用于在操作当前影像数据之前，通过建立对应所述当前影像数据的标签防止操作冲突。

Images