CN106528739A - 一种数码印染图像素材大数据仓库的建立方法 - Google Patents

Abstract

本发明公开了一种数码印染图像素材大数据仓库的建立方法。该方法根据图像素材的特征设计了独特的存储模型和分布式存储架构，是一种新型的大数据仓库。该方法抽取在设计图像中的各种素材，然后根据素材的大小、色彩、内容等特征进行分类存储，并建立针对素材的多维度分布式索引来加速素材的检索。此外，仓库还对素材的元数据进行跟踪管理，用户通过素材的编辑、组合产生的新素材也将存储在仓库中，作为衍生素材供设计师使用。该素材大数据仓库能极大降低设计师的工作负载，提高他们的设计能力。

Description

一种数码印染图像素材大数据仓库的建立方法

技术领域

本发明涉及分布式存储、并行计算、数据库、图像识别领域，特别是涉及到分布式存储领域。

背景技术

数码印染的发展解决了传统印染高能耗、高库存等缺点，支持柔性定制生产。目前在数码印染制造过程中，代价最高、耗时最长的是设计师的设计成本。设计师需要构思主题、搜集或者绘制素材、进行构图创作，最后在进行色彩的调控，整个过程中素材搜集和构图是最花时间的，分别占到总设计时间的40％。如何解决这两个问题，是数码印染能够真正流行并替代传统印染的关键。

传统的素材搜集是通过通用搜索引擎如谷歌、百度等提供的图像搜索进行的，效率低下而且很难找到符合设计师理念的合适的素材。另一方面，每一个设计师的从业过程中创作出来了大量的素材，这些素材流失在过去的设计稿件中，无法被分享和复用。如果能够构建一个大数据平台支持素材的高效存储和查询，为设计师进行定制化服务，能极大提高其工作效率。但是目前的通用大数据技术如Hadoop、MapReduce、Spark、NoSQL系统等并不能直接用于素材存储，必须根据素材的特征来建立新的大数据仓库。

发明内容

本发明的目的在于提供一个数码印染图像素材大数据仓库的建立方法。本发明建立的数码印染的图像素材大数据仓库为花型设计师提供了海量的素材和多种素材编辑方法，提高其设计花型的效率。本发明其实是通过多个模块的建立构建一个数码印染图像素材大数据仓库；所述的模块分别为：素材存储模块、素材元数据模块和素材查询接口模块；具体实现过程如下：

步骤1.建立素材存储模块：

1-1.部署支持大量小文件的分布式文件单元，该单元在上层采用对等网络的拓扑结构来维护文件的元数据，因此元数据信息分布在多个文件节点，不存在单个节点的负载过重问题，从而能够支持百万级的文件/对象，适合进行大量图片素材的存储；

1-2.在分布式文件单元之上部署对象存储单元，该单元包括一个键值对存储系统和一个基于Json格式的分布式数据库；每一个素材都被键值对系统赋予一个唯一的标志，然后素材的相关图片存储在键值对系统中；素材相关联的其它属性存储在分布式数据库中，所述的其它属性包括大小、色彩、sift特征；

1-3.在分布式文件单元之上建立分布式索引，该分布式索引包含一个分布式R树索引和一个基于LSH索引；每一个素材均生成一个bounding box，同一幅图中抽取的素材根据位置关系和其bounding box，建立一颗R树索引；针对每一个素材的sift特征向量，通过LSH将高维向量转变为一维的哈希值，然后哈希值排序后索引在一棵分布式B树索引上，以支持基于图像素材内容的模糊查询；

1-4.在分布式索引和分布式对象存储单元之上建立一个统一的素材存储模型，该模型定义了素材的基本属性，以及素材之间的操作元语；所述的基本属性包括形状、色彩、dpi；

所述的操作元语包括放大、缩小、旋转、分割、合并；

步骤2.建立素材元数据模块；

该模块主要用于对素材的元数据进行管理，跟踪素材的编辑和衍化以及新素材的产生，具体过程如下：

2-1.通过缩放、旋转和修改色彩能够互相转化的图像素材在本仓库中称之为等价素材，利用图像匹配算法将图像Ⅰ进行缩放、旋转和修改色彩后能够得到和图像Ⅱ一致的图像，则两个图片为等价素材，图像匹配算法每次选择最能降低两个图像差值的操作，以完成快速判断素材是否等价的算法；

2-2.通过分割、合并、模糊化、清晰化的操作产生的新素材称之为原有素材的衍生素材，在对图片素材Ⅰ进行编辑的时候，算法记录每一次操作产生的新素材，并标记为了原有素材的衍生素材，如此能够通过衍生关系形成了素材树形扩展模型；

2-3.在步骤2-1和2-2的基础上建立素材元数据模块，该模块记录素材的编辑衍化关系；对于用户对每一个素材的操作，模块都记录操作的详细信息，该信息存储在分布式日志数据库中；对于每一个操作后所对应的新素材，模块分为实例化素材和非实例化素材，前者模块将存储新素材，后者模块仅存储其操作的序列号；模块根据素材之间的等价关系和衍生关系，建立了一个完整的素材关系图谱，并建立倒排索引方便在图谱上进行搜索；

步骤3.建立素材查询接口模块；

该模块主要用于为上层应用提供统一的素材查询接口，包括可视化接口和查询语言接口；该模块的步骤如下：

3-1.基于Json的描述性查询语言，系统提供特定的查询语言允许用户使用Json对需要的素材的特征进行描述，然后系统将调用步骤1和步骤2的接口，搜索所有符合用户需求的素材，并对素材按照关联程度进行排序；

3-2.采用web界面的可视化查询接口，提供多种可视化工具，允许用户上传图片，然后搜索和该图片内容相近的素材；支持用户根据素材的种类浏览素材，根据素材的衍生关系浏览相关素材；提供素材抽取工具，允许用户上传图片并抓取其中的可用素材，在素材大数据仓库中保存为新的素材。

本发明有益效果如下：

本发明解决了数码印染设计师无法快速找到合乎其设计理念的设计素材的问题。基于大数据技术，本发明建立了素材大数据仓库，支持百万级别以上的素材的管理和搜索。本发明创新的采用了元数据管理技术，对素材的衍化进行跟踪，建立衍化的层次体系，方便设计师进行素材的修改、融合和再创造，极大的丰富了素材的种类和内容。

附图说明

图1是本发明实施步骤流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，一个数码印染图像素材大数据仓库的建立方法。具体而言，是通过多个模块的建立构建一个数码印染图像素材大数据仓库；所述的模块分别为：素材存储模块、素材元数据模块和素材查询接口模块；

步骤1.建立素材存储模块：

1-1.部署支持大量小文件的分布式文件单元，该单元在上层采用对等网络的拓扑结构来维护文件的元数据，因此元数据信息分布在多个文件节点，不存在单个节点的负载过重问题，从而能够支持百万级的文件/对象，适合进行大量图片素材的存储。

1-2.在分布式文件单元之上部署对象存储单元，该单元包括一个键值对存储系统和一个基于Json格式的分布式数据库；每一个素材都被键值对系统赋予一个唯一的标志，然后素材的相关图片存储在键值对系统中；素材相关联的其它属性存储在分布式数据库中，所述的其它属性包括大小、色彩、sift特征等。

1-3.在分布式文件单元之上建立分布式索引，该分布式索引包含一个分布式R树索引和一个基于LSH(位置敏感哈希)索引；每一个素材均生成一个bounding box(边缘方形)，同一幅图中抽取的素材根据位置关系和其bounding box，建立一颗R树索引；针对每一个素材的sift特征向量，通过LSH将高维向量转变为一维的哈希值，然后哈希值排序后索引在一棵分布式B树索引上，以支持基于图像素材内容的模糊查询。

1-4.在分布式索引和分布式对象存储单元之上建立一个统一的素材存储模型，该模型定义了素材的基本属性，以及素材之间的操作元语；所述的基本属性包括形状、色彩、dpi；所述的操作元语包括放大、缩小、旋转、分割、合并。

步骤2.建立素材元数据模块；

该模块主要用于对素材的元数据进行管理，跟踪素材的编辑和衍化以及新素材的产生，具体过程如下：

2-1.通过缩放、旋转和修改色彩能够互相转化的图像素材在本仓库中称之为等价素材，利用图像匹配算法将图像Ⅰ进行缩放、旋转和修改色彩后能够得到和图像Ⅱ一致的图像，则两个图片为等价素材，图像匹配算法每次选择最能降低两个图像差值的操作，以完成快速判断素材是否等价的算法。

2-2.通过分割、合并、模糊化、清晰化的操作产生的新素材称之为原有素材的衍生素材，在对图片素材Ⅰ进行编辑的时候，算法记录每一次操作产生的新素材，并标记为了原有素材的衍生素材，如此能够通过衍生关系形成了素材树形扩展模型。

2-3.在步骤2-1和2-2的基础上建立素材元数据模块，该模块记录素材的编辑衍化关系；对于用户对每一个素材的操作，模块都记录操作的详细信息，该信息存储在分布式日志数据库中；对于每一个操作后所对应的新素材，模块分为实例化素材(用户真实产生的)和非实例化素材(用户仅是预览并没有存储的)，前者模块将存储新素材，后者模块仅存储其操作的序列号；模块根据素材之间的等价关系和衍生关系，建立了一个完整的素材关系图谱，并建立倒排索引方便在图谱上进行搜索。

步骤3.建立素材查询接口模块；

该模块主要用于为上层应用提供统一的素材查询接口，包括可视化接口和查询语言接口。该模块的步骤如下：

3-1.基于Json的描述性查询语言，系统提供特定的查询语言允许用户使用Json对需要的素材的特征进行描述，然后系统将调用步骤1和步骤2的接口，搜索所有符合用户需求的素材，并对素材按照关联程度进行排序。

3-2.采用web界面的可视化查询接口，提供多种可视化工具，允许用户上传图片，然后搜索和该图片内容相近的素材；支持用户根据素材的种类浏览素材，根据素材的衍生关系浏览相关素材；提供素材抽取工具，允许用户上传图片并抓取其中的可用素材，在素材大数据仓库中保存为新的素材。

Claims (1)

1.一个数码印染图像素材大数据仓库的建立方法，其特征在于是通过多个模块的建立构建一个数码印染图像素材大数据仓库；所述的模块分别为：素材存储模块、素材元数据模块和素材查询接口模块；

步骤1.建立素材存储模块：

1-1.部署支持大量小文件的分布式文件单元，该单元在上层采用对等网络的拓扑结构来维护文件的元数据，因此元数据信息分布在多个文件节点，不存在单个节点的负载过重问题，从而能够支持百万级的文件/对象，适合进行大量图片素材的存储；

1-2.在分布式文件单元之上部署对象存储单元，该单元包括一个键值对存储系统和一个基于Json格式的分布式数据库；每一个素材都被键值对系统赋予一个唯一的标志，然后素材的相关图片存储在键值对系统中；素材相关联的其它属性存储在分布式数据库中，所述的其它属性包括大小、色彩、sift特征；

1-3.在分布式文件单元之上建立分布式索引，该分布式索引包含一个分布式R树索引和一个基于LSH索引；每一个素材均生成一个bounding box，同一幅图中抽取的素材根据位置关系和其bounding box，建立一颗R树索引；针对每一个素材的sift特征向量，通过LSH将高维向量转变为一维的哈希值，然后哈希值排序后索引在一棵分布式B树索引上，以支持基于图像素材内容的模糊查询；

1-4.在分布式索引和分布式对象存储单元之上建立一个统一的素材存储模型，该模型定义了素材的基本属性，以及素材之间的操作元语；所述的基本属性包括形状、色彩、dpi；

所述的操作元语包括放大、缩小、旋转、分割、合并；

步骤2.建立素材元数据模块；

该模块主要用于对素材的元数据进行管理，跟踪素材的编辑和衍化以及新素材的产生，具体过程如下：

2-1.通过缩放、旋转和修改色彩能够互相转化的图像素材在本仓库中称之为等价素材，利用图像匹配算法将图像Ⅰ进行缩放、旋转和修改色彩后能够得到和图像Ⅱ一致的图像，则两个图片为等价素材，图像匹配算法每次选择最能降低两个图像差值的操作，以完成快速判断素材是否等价的算法；

2-2.通过分割、合并、模糊化、清晰化的操作产生的新素材称之为原有素材的衍生素材，在对图片素材Ⅰ进行编辑的时候，算法记录每一次操作产生的新素材，并标记为了原有素材的衍生素材，如此能够通过衍生关系形成了素材树形扩展模型；

2-3.在步骤2-1和2-2的基础上建立素材元数据模块，该模块记录素材的编辑衍化关系；对于用户对每一个素材的操作，模块都记录操作的详细信息，该信息存储在分布式日志数据库中；对于每一个操作后所对应的新素材，模块分为实例化素材和非实例化素材，前者模块将存储新素材，后者模块仅存储其操作的序列号；模块根据素材之间的等价关系和衍生关系，建立了一个完整的素材关系图谱，并建立倒排索引方便在图谱上进行搜索；

步骤3.建立素材查询接口模块；

该模块主要用于为上层应用提供统一的素材查询接口，包括可视化接口和查询语言接口；该模块的步骤如下：

3-1.基于Json的描述性查询语言，系统提供特定的查询语言允许用户使用Json对需要的素材的特征进行描述，然后系统将调用步骤1和步骤2的接口，搜索所有符合用户需求的素材，并对素材按照关联程度进行排序；

3-2.采用web界面的可视化查询接口，提供多种可视化工具，允许用户上传图片，然后搜索和该图片内容相近的素材；支持用户根据素材的种类浏览素材，根据素材的衍生关系浏览相关素材；提供素材抽取工具，允许用户上传图片并抓取其中的可用素材，在素材大数据仓库中保存为新的素材。