CN110309155A - 基于数据库技术和分层数据的图像数据管理系统及方法 - Google Patents

Abstract

本发明公开了一种基于数据库技术和分层数据的图像数据管理系统及方法，结合数据库技术和分层数据格式，解决了当前图像数据管理中存在的效率不高和安全系数低的问题，开发支持多种元数据、检索方便、灵活直观的图像数据管理系统。本发明使用数据库表单元存储元数据，检索方便、灵活直观，且支持多种数据格式。本发明使用分层数据格式存储文件数据，用户不可通过操作系统直接访问查看数据，分层数据结构存储大量图像数据后，通常非常庞大，难以被直接拷贝或删除，降低了数据加密的成本，也降低了数据泄露、误删的风险。本发明的分层数据格式中，可同时对多种数据进行存储，扩展性极强，使数据更为简练，增强了系统数据管理的能力。

Description

基于数据库技术和分层数据的图像数据管理系统及方法

技术领域

本发明属于数据管理技术领域，具体涉及一种基于数据库技术和分层数据的图像数据管理系统及方法的设计。

背景技术

目前普通的数据管理系统中，对于图像数据的存储方式有以下两种：

1、在关系型或非关系型数据库中以二进制格式、位图格式或XML格式等存储图像数据。

2、结合数据库和文件管理系统，在数据库中存储图像路径，读取文件时，查询路径并在文件系统中调用图像。

其中，方法1由于图像数据大，数据库表体积极具增强，降低了查询速度，方法2直接在操作系统的文件系统中存储图像，容易出现图像丢失，或因文件夹名称更改导致路径无效的情况，对于所有用户，数据直接可见可拷贝，保密性能低下。使用纯文件系统或分层数据格式管理图像时，由于缺少灵活直观的图像管理工具，使得查询浏览不方便，用户无法进行自由的复合条件检索。此外，由于缺少规范化的图像元数据，用户无法了解图像规格、拍摄地点、拍摄时间以及历史处理记录等信息，显然不利于数据共享。

发明内容

本发明的目的是结合数据库技术和分层数据格式，提出一种基于数据库技术和分层数据的图像数据管理系统及方法，解决当前图像数据管理中存在的效率不高和安全系数低的问题，开发支持多种元数据、检索方便、灵活直观的图像数据管理系统，广泛适用于无人机侦测数据管理、电网巡检数据管理、地理遥感数据管理、深度学习大数据管理、医学图像数据管理等应用场景，也可扩展到文档的管理与应用。

本发明的技术方案为：一种基于数据库技术和分层数据的图像数据管理系统，包括用户端设备、数据查询模块、数据操作模块以及数据存储模块，用户端设备分别通过数据查询模块及数据操作模块与数据存储模块连接；用户端设备用于向用户提供可视化的数据查询及数据操作结果；数据查询模块用于对数据存储模块中的图像数据进行查询；数据操作模块用于对数据存储模块中的图像数据进行存储、删除或修改操作；数据存储模块包括数据库表单元和分层数据文件存储单元，数据库表单元用于存储图像数据的元数据信息以及图像在分层数据文件中的定位信息，分层数据文件存储单元用于存储图像的分层数据文件信息。

优选地，分层数据文件存储单元采用数据组和数据集的方式对图像进行分层，每个数据组包括多个数据集。

优选地，数据集中存储图像的二进制数据。

优选地，数据库表单元还用于存储分层数据文件的结构信息以及映射标志。

优选地，数据查询模块对数据存储模块中的图像数据进行查询时，分为一次查询和二次查询；一次查询根据数据库表单元中的元数据自由组合查询条件进行检索，返回该元数据的所有相关信息；二次查询根据一次查询结果中的分层数据文件定位信息进行查询，在分层数据文件中，调用图像文件，并在用户端设备进行可视化显示。

优选地，数据操作模块通过建立保护机制对图像数据进行存储、删除或修改操作，保护机制具体为：对数据库表单元存储的信息和分层数据文件构建一一对应的映射关系，将存储、删除或修改数据库表单元信息和分层数据文件设置为原子操作。

本发明还提供了一种基于数据库技术和分层数据的图像数据管理方法，包括以下步骤：

S1、构建数据库表单元和分层数据文件存储单元，对图像数据进行分层存储。

S2、对存储的图像数据进行一次查询和二次查询，并将查询得到的图像文件在用户端设备进行可视化显示。

S3、根据用户需求删除存储的图像数据。

进一步地，步骤S1包括以下分步骤：

S11、设计元数据内容并构建数据库表单元，并在数据库表单元中存储元数据。

S12、根据图像数据的形式设计分层数据文件的分层方式。

S13、分配分层数据文件中的存储位置和数据集名称，并将图像数据存储在分层数据文件中，在数据库表单元中设置图像在分层数据文件中的定位信息。

S14、构建分层数据文件存储单元，将分层数据文件存储在分层数据文件存储单元中。

S15、将数据库表单元中的映射标志设置为真。

进一步地，步骤S2包括以下分步骤：

S21、对存储的图像数据进行一次查询：根据数据库表单元中的元数据自由组合查询条件进行检索，得到该元数据的所有相关信息，并将元数据的相关信息在用户端设备进行可视化显示。

S22、对存储的图像数据进行二次查询：根据一次查询结果中的分层数据文件定位信息进行查询，在分层数据文件中，调用图像文件，并在用户端设备进行可视化显示。

进一步地，步骤S3包括以下分步骤：

S31、根据图像在分层数据文件中的定位信息删除分层数据文件中的图像信息。

S32、将数据库表单元中的映射标志设置为假。

S33、删除数据库表单元中的元数据。

本发明的有益效果是：

(1)本发明使用数据库表单元存储元数据，检索方便、灵活直观，且支持多种数据格式。

(2)本发明使用分层数据格式存储文件数据，用户不可通过操作系统直接访问查看数据，分层数据结构存储大量图像数据后，通常非常庞大，难以被直接拷贝或删除，降低了数据加密的成本，也降低了数据泄露、误删的风险。

(3)本发明的分层数据格式中，可同时对多种数据进行存储，扩展性极强，例如深度学习系统中的图像数据、标签数据、识别结果数据等，使数据更为简练，增强了系统数据管理的能力。

附图说明

图1所示为本发明实施例一提供的基于数据库技术和分层数据的图像数据管理系统框图。

图2所示为本发明实施例二提供的基于数据库技术和分层数据的图像数据管理方法流程图。

图3所示为本发明实施例二提供的步骤S1的分步骤流程图。

图4所示为本发明实施例二提供的步骤S2的分步骤流程图。

图5所示为本发明实施例二提供的步骤S3的分步骤流程图。

具体实施方式

现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。

实施例一：

本发明实施例提供了一种基于数据库技术和分层数据的图像数据管理系统，如图1所示，包括用户端设备、数据查询模块、数据操作模块以及数据存储模块，用户端设备分别通过数据查询模块及数据操作模块与数据存储模块连接。

其中，用户端设备用于向用户提供可视化的数据查询及数据操作结果；数据查询模块用于对数据存储模块中的图像数据进行查询；数据操作模块用于对数据存储模块中的图像数据进行存储、删除或修改操作；数据存储模块包括数据库表单元和分层数据文件存储单元，数据库表单元用于存储图像数据的元数据信息以及图像在分层数据文件中的定位信息，分层数据文件存储单元用于存储图像的分层数据文件信息。

数据库表单元中的元数据可根据数据背景条件进行设计，本发明实施例中，以无人机侦察数据为例，其元数据主要包含：载机经纬度、载机高度、载机航向角、载机俯仰角、载机横滚角等载机信息，以及图像中心经纬度、成像距离、载荷工作模式、图像类型等图像相关信息。在电网巡检数据中，元数据可以包括：巡检地点、巡检时间、巡检机器人状态、巡检设备信息、巡检设备状态等。在深度学习的大数据管理中，元数据可以包括：图像来源、图像拍摄时间、图像拍摄地点、图像目标类型、图像目标型号、图像标记信息、模型识别结果等。元数据设计越详细，越有利于后续的分析工作，用户也可根据元数据灵活组合查询条件，检索数据。

本发明实施例中，数据库表单元中还存储有分层数据文件的结构信息以及映射标志。其中分层数据文件的结构信息包括图像数据存储路径、数据组名称和数据集名称等。映射标志用于标识分层数据文件中是否存储有元数据对应映射的图像数据，若有则映射标志设置为真，否则映射标志设置为假。

分层数据文件存储单元采用数据组和数据集的方式对图像进行分层，每个数据组包括多个数据集，数据集中存储图像的二进制数据。在分层数据文件中，可以分组存储图像数据、视频数据、XML文件、文档数据等二进制文件。分层数据主要有HDF5、HDF4等格式：可以分层分组直接存储二进制数据，支持该文件的结构元数据，可根据组名或数据集名快速调用数据，且支持文件的无限扩展。以HDF5文件为示例，针对无人机载侦察数据，可以根据载荷类型分组，分为SAR组、CCD组、光电组等，每个组内的数据，可以直接根据组名和数据库中该条数据的ID号命名，例如sar1，sar2等；针对深度学习大数据处理数据，可分为训练组、验证组、测试组等；也可以分出原始数据组、处理结果组等，在原始数据中存储图像文件，在处理结果中存储XML描述文件。把所有数据集中在一个HDF5中，可以解决深度学习中数据混乱的问题。

数据查询模块对数据存储模块中的图像数据进行查询时，分为一次查询和二次查询；一次查询根据数据库表单元中的元数据自由组合查询条件进行检索，返回该元数据的所有相关信息；二次查询根据一次查询结果中的分层数据文件定位信息进行查询，在分层数据文件中，调用图像文件，并在用户端设备进行可视化显示。

数据操作模块通过建立保护机制对图像数据进行存储、删除或修改操作，保护机制具体为：对数据库表单元存储的信息和分层数据文件构建一一对应的映射关系，将存储、删除或修改数据库表单元信息和分层数据文件设置为原子操作。这样用户便不能直接修改分层数据文件，只能通过同时存储、删除、修改数据库表单元信息和分层数据文件信息，降低了数据泄露、误删的风险。

本发明实施例中，数据库表单元存储的信息和分层数据文件的映射关系具体为：在存储图像数据时，数据库表单元中每存储一条记录，会分配相应的分层数据文件中的定位信息，并将该条记录的图像数据存入分层数据文件中，同时在数据库表单元中把映射标志设置为真，数据库表单元中映射标志为真的记录不能被直接删除，保证了分层数据文件中的所有数据都对应一条数据库表单元中的记录。

本发明实施例中，保护机制具体可以应用于以下三种情形：

(1)情形1：从图像数据管理系统中选择数据进行删除时，首先根据数据库表单元中图像数据在分层数据文件中的定位信息，同时删除分层数据文件中的内容，修改数据库表单元中的映射标志为假，然后删除数据库表单元中的记录。

(2)情形2：用户直接操作数据库表单元删除信息时，设置数据库表单元的触发器，在用户运行delete命令时，触发响应，判断该条信息的映射标志是否为真，即判断要删除的数据和分层数据是否存在映射关系，若存在则退出删除操作。

(3)情形3：当用户试图直接删除分层数据文件时，分层数据结构对于普通用户来说是黑盒结构，对用户来说，数据内容不直接可见，不允许直接操作，分层数据文件体积通常很大，在执行拷贝删除等操作时存在困难。此外也可以对分层数据文件进行加密操作或添加监视程序服务，普通用户完全不可见，不可删，从而实现保护效果。

实施例二：

本发明实施例提供了一种基于数据库技术和分层数据的图像数据管理方法，如图2所示，包括以下步骤S1～S3：

S1、构建数据库表单元和分层数据文件存储单元，对图像数据进行分层存储。

如图3所示，步骤S1包括以下分步骤S11～S15：

S11、设计元数据内容并构建数据库表单元，并在数据库表单元中存储元数据。

根据系统需求、图像信息的背景环境以及使用场景中的查询条件，设计元数据内容，并在数据库中建表，构建数据库表单元，数据库表单元中还应包含：图像数据存储路径、数据组名称、数据集名称等分层数据文件中的结构信息以及映射标志信息。

本发明实施例中，数据库表单元中优先存储元数据信息。

S12、根据图像数据的形式设计分层数据文件的分层方式。

例如根据数据来源分组、根据数据获取时间分组、根据数据地点分组、根据数据处理方式分组等。本发明实施例中也可不分组，所有数据存为同一层级。

S13、分配分层数据文件中的存储位置和数据集名称，并将图像数据存储在分层数据文件中，在数据库表单元中设置图像在分层数据文件中的定位信息。

本发明实施例中，根据元数据信息，以及该条图像数据在数据库中分配的主键ID等，分配该条图像数据在分层数据文件中的存储位置，并按照一定算法来生成数据集名称，如可根据时间来生成名称：“201905011201”，根据数据来源加ID号的方式生成名称：如“Canon0006”，并将该条数据在分层数据文件中的结构信息存入数据库表单元。

S14、构建分层数据文件存储单元，将分层数据文件存储在分层数据文件存储单元中。

S15、将数据库表单元中的映射标志设置为真。

S2、对存储的图像数据进行一次查询和二次查询，并将查询得到的图像文件在用户端设备进行可视化显示。

如图4所示，步骤S2包括以下分步骤S21～S22：

S21、对存储的图像数据进行一次查询：根据数据库表单元中的元数据自由组合查询条件进行检索，得到该元数据的所有相关信息，并将元数据的相关信息在用户端设备进行可视化显示。

本发明实施例中，用户可根据元数据信息自由组合查询条件，如时间在“2019-6-1”到“2019-6-5”之间，图像中心经度大120度等。

S22、对存储的图像数据进行二次查询：根据一次查询结果中的分层数据文件定位信息进行查询，在分层数据文件中，调用图像文件，并在用户端设备进行可视化显示。

本发明实施例中，用户可对调用得到的图像文件进一步操作或处理。二次查询只可查看单条数据，也可一次对多条数据进行显示或批处理。

S3、根据用户需求删除存储的图像数据。

如图5所示，步骤S3包括以下分步骤S31～S33：

S31、根据图像在分层数据文件中的定位信息删除分层数据文件中的图像信息。

S32、将数据库表单元中的映射标志设置为假。

S33、删除数据库表单元中的元数据。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.基于数据库技术和分层数据的图像数据管理系统，其特征在于，包括用户端设备、数据查询模块、数据操作模块以及数据存储模块，所述用户端设备分别通过数据查询模块及数据操作模块与数据存储模块连接；

所述用户端设备用于向用户提供可视化的数据查询及数据操作结果；

所述数据查询模块用于对数据存储模块中的图像数据进行查询；

所述数据操作模块用于对数据存储模块中的图像数据进行存储、删除或修改操作；

所述数据存储模块包括数据库表单元和分层数据文件存储单元，所述数据库表单元用于存储图像数据的元数据信息以及图像在分层数据文件中的定位信息，所述分层数据文件存储单元用于存储图像的分层数据文件信息。

2.根据权利要求1所述的图像数据管理系统，其特征在于，所述分层数据文件存储单元采用数据组和数据集的方式对图像进行分层，每个所述数据组包括多个数据集。

3.根据权利要求2所述的图像数据管理系统，其特征在于，所述数据集中存储图像的二进制数据。

4.根据权利要求1所述的图像数据管理系统，其特征在于，所述数据库表单元还用于存储分层数据文件的结构信息以及映射标志。

5.根据权利要求1所述的图像数据管理系统，其特征在于，所述数据查询模块对数据存储模块中的图像数据进行查询时，分为一次查询和二次查询；

所述一次查询根据数据库表单元中的元数据自由组合查询条件进行检索，返回该元数据的所有相关信息；

所述二次查询根据一次查询结果中的分层数据文件定位信息进行查询，在分层数据文件中，调用图像文件，并在用户端设备进行可视化显示。

6.根据权利要求1所述的图像数据管理系统，其特征在于，所述数据操作模块通过建立保护机制对图像数据进行存储、删除或修改操作，所述保护机制具体为：

对数据库表单元存储的信息和分层数据文件构建一一对应的映射关系，将存储、删除或修改数据库表单元信息和分层数据文件设置为原子操作。

7.基于数据库技术和分层数据的图像数据管理方法，其特征在于，包括以下步骤：

S1、构建数据库表单元和分层数据文件存储单元，对图像数据进行分层存储；

S2、对存储的图像数据进行一次查询和二次查询，并将查询得到的图像文件在用户端设备进行可视化显示；

S3、根据用户需求删除存储的图像数据。

8.根据权利要求7所述的图像数据管理方法，其特征在于，所述步骤S1包括以下分步骤：

S11、设计元数据内容并构建数据库表单元，并在数据库表单元中存储元数据；

S12、根据图像数据的形式设计分层数据文件的分层方式；

S13、分配分层数据文件中的存储位置和数据集名称，并将图像数据存储在分层数据文件中，在数据库表单元中设置图像在分层数据文件中的定位信息；

S14、构建分层数据文件存储单元，将分层数据文件存储在分层数据文件存储单元中；

S15、将数据库表单元中的映射标志设置为真。

9.根据权利要求8所述的图像数据管理方法，其特征在于，所述步骤S2包括以下分步骤：

S21、对存储的图像数据进行一次查询：根据数据库表单元中的元数据自由组合查询条件进行检索，得到该元数据的所有相关信息，并将元数据的相关信息在用户端设备进行可视化显示；

S22、对存储的图像数据进行二次查询：根据一次查询结果中的分层数据文件定位信息进行查询，在分层数据文件中，调用图像文件，并在用户端设备进行可视化显示。

10.根据权利要求9所述的图像数据管理方法，其特征在于，所述步骤S3包括以下分步骤：

S31、根据图像在分层数据文件中的定位信息删除分层数据文件中的图像信息；

S32、将数据库表单元中的映射标志设置为假；

S33、删除数据库表单元中的元数据。