CN113239995A - 一种图层的解析方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图层的解析方法、系统和计算机存储介质。方法包括：获取输入的层级数据，对层级数据进行图层解析，得到包含所有图层的图层集合；处理所有图层，判定每个图层对应的名称类别；解析每个图层，获取该图层的属性信息；对每个图层标注属性标签，构建素材库。本发明解决了手工解析类psd层级结构数据操作费时费力的问题，极大解放了设计师和数据处理人员。

Description

一种图层的解析方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机视觉图像的技术领域，涉及一种图层的解析方法、装置、计算机设备和存储介质，特别涉及类psd图层结构的智能化解析方法。

背景技术

伴随着banner(即展示图像，也称作：横幅广告或图像广告)建库规模的扩大和数据处理的需要，对外部数据的检索入库和智能化解析也变得越来越重要，设计师在进行创作的时候也会进行大量的调研获取设计灵感和素材，高质量的素材会为智能设计提供源源不断的动力，以往通过手工入库素材的方式，通常需要消耗大量的人力和时间，而智能解析方法可以快速的解析素材，获取属性信息，实现入库。设计师设计的psd/psb/sketch等结构化图层数据往往命名不规范，很难通过名称获取图层有效信息，也对后续图层智能化合成产生了严重的影响。智能解析算法利用psd等数据层级结构特点，组合智能图像分析算法，对图层进行分类解析，产生符合规范有效的名称以及属性识别。设计师设计的一套完整的模板通常会包含诸多设计元素以及与之匹配的设计风格，问题的难点在于设计语言的语义信息如何转换成机器语言从而让其可分。

现有的解析技术存在诸多问题，其各自存在一定的应用场景的局限性。

(1)设计师和数据处理人员利用photoshop等软件对图层对应的名称进行手动改名解析，费时费力，由于单个psd图层结构可能上百，非常考验设计师和数据处理人员的审核能力，效率低下且耗时耗力，对人工打标提出极大的要求。利用部分软件对应的接口进行批量重命名，图层命名往往没有太大意义，仅仅只是进行索引和累计，后续仍然无法从图层名称中获取到图层有效信息，应用场景极为局限。

(2)从类psd图层中提取出的图层属性信息有限，无法获取banner和图层层级的语义信息，类似于品类、风格、调性等标签需要人工标注，不仅效率低下，且由于多人标注作业，标准不能够很好的统一，对素材的利用不充分和容易对部分属性信息产生误判。

发明内容

为了解决上述问题，将设计师和数据处理人员从手动解析中释放出来，更有效的解析出psd等层级结构的图层语义信息，本发明提出了一种图层的解析方法、装置、计算机设备和存储介质，包括：

一种图层的解析方法，该方法包括：

获取输入的层级数据，对层级数据进行图层解析，得到包含所有图层的图层集合；

处理所有图层，判定每个图层对应的名称类别；

解析每个图层，获取该图层的属性信息；

对每个图层标注属性标签，构建素材库。

在一个实施例中，判定每个图层对应的名称类别包括：

预处理所有图层，获取文字图层以及图层的先验信息，先验信息包括图层位置信息、临近图层关系以及图层先后顺序；

对所有图层进行第一判定，通过第一判定得到商品图层和背景图层，输出商品图层和背景图层对应的名称；

对剩余图层进行第二判定，判定剩余图层的名称类别，输出剩余图层对应的名称。

在一个实施例中，第二判定后还包括第三判定，第三判定用于判定剩余图层中的具有相似特征和/或组合结构的图层的名称类别。

在一个实施例中，第一判定进一步包括：

获取每个图层的图层位置信息的图层坐标，筛选图层坐标不小于展示图像坐标的图层；

对该图层进行像素填充，在该图层上裁剪与展示图像重叠部分，检测图层裁剪后的剩余部分是否等于填充像素；

确定不等于填充像素的图层为背景图层。

在一个实施例中，背景图层的类别进一步判定为简单背景或复杂背景。

在一个实施例中，属性信息包括展示图像层级属性信息和图层层级属性信息，其中，展示图像层级属性信息包括风格、调性、品类、场景和/或特征属性，图层层级属性包括颜色、使用位置、实体类型、实体子类和/或风格和品类。

在一个实施例中，解析每个图层，获取该图层的属性信息之前还包括模型训练，建立属性识别模型，属性识别模型包括单标签模型和多标签模型，对属性信息中的风格和品类进行多标签识别，剩余属性信息采用单标签训练。

一种图层的解析装置，该装置包括：

解析模块，用于获取输入的层级数据，对层级数据进行图层解析，得到包含所有图层的图层集合；

重命名模块，用于处理所有图层，判定每个图层对应的名称类别；

属性识别模块，用于解析每个图层，获取该图层的属性信息；

输出模块，用于对每个图层标注属性标签，构建素材库。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

本发明的图层的解析方法、装置、计算机设备和存储介质，解决了手工解析类psd层级结构数据操作费时费力的问题，极大解放了设计师和数据处理人员。

附图说明

图1为一个实施例中一种图层的解析方法步骤示意图；

图2为一个实施例中一种图层的解析方法的整体流程示意图；

图3为一个实施例中一种图层的解析装置的结构框图；

图4为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的图层的解析方法，具有深度学习、图像分类、图层结构解析以及重命名等技术，在一个实施例中，如图1-图4所示，包括以下步骤：

S100，获取输入的层级数据，对层级数据进行图层解析，得到包含所有图层的图层集合。

在本实施例中，对输入的的层级数据进行图层解析，将层级结构进行分解变成图层集合。

具体地，获取输入的类psd层级数据，由于类psd层级数据是树状结构数据，可能包括组中套组的情况，为了更好服务于图层智能化解析，首先将层级结构进行分解变成图层集合。对输入的类psd层级数据进行图层解析，利用psd_tools等工具将层级数据解析成图层集合。

S200，处理所有图层，判定每个图层对应的名称类别。

在本实施例中，对于步骤S100解析得到的图层集合，将集合中的每个图层都进行名称类别的判定，进行图层重命名。

步骤S200进一步包括图层的层次化判定，包含如下步骤.

S210，预处理所有图层，获取文字图层以及图层的先验信息，先验信息包括图层位置信息、临近图层关系以及图层先后顺序。

具体地，在图层数据预处理阶段，psd层级的banner数据往往包含很多不同类型图层，psd_tools等层级结构python解析库能够解析出大部分图层设计的属性信息，例如文字类的图层类型是type，图片的图层类型是pixel，形状的图层类型是shape等，类psd层级数据结构在设计中往往包括很多的不同类型的图层，通过psd_tools可以获取图层的bbox(可见图层的最小外接坐标)、blend_mode(混合模式)，effects(图层样式)，图层名称，宽高等信息以及composite(多图合成png)等操作。

利用type类型首先预判定文字所在图层，获取文字图层的外接矩形等位置信息，并且获取图层坐标信息做先验判定条件，在后续的层次化判定中提供分类类别之外的组合逻辑信息。其中，获取到的先验信息包括图层坐标信息、相临近图层之间的关系以及图层先后顺序。

S220，对所有图层进行第一判定，通过第一判定得到商品图层和背景图层，输出商品图层和背景图层对应的名称。

具体地，在第一判定阶段，目的是要获取banner中商品图层和背景图层，背景图层是具有明显位置特征的，在本实施例中，利用组合逻辑判定背景的大类，利用智能分类算法判定背景的具体类别。商品图层采用智能分类算法判定，当获取到这两个图层的信息时，即结束第一判定。

在一个实施例中，对于背景图层的判定，利用从S210中解析获取到的每个图层的图层坐标信息，若图层的坐标大于等于banner宽高，则可能为背景，据此筛选图层坐标不小于展示图像坐标的图层。

将该图层在转成RGB时，会对alpha通道进行像素填充，在该图层上裁剪与展示图像重叠部分，即剪裁契合banner宽高重叠部分，检测图层裁剪后的剩余部分是否等于填充像素，确定不等于填充像素的图层为背景图层。具体地，对裁剪下来的图层的四角边和中心区域进行像素为5*5的检测是否等于填充像素，若不等则为背景图层。

在一个实施例中，背景图层的类别进一步判定为简单背景或复杂背景。具体地，对判定为背景图层的进行细分，可用分类器判定其是否为-a-1(简单背景)或者-a-2(复杂背景)。

获取到商品图层和背景图层信息后，结束第一判定，输出商品图层和背景图层对应的名称，在psd的图层name中进行修改。

S230，对剩余图层进行第二判定，判定剩余图层的名称类别，输出剩余图层对应的名称。

具体地，在第二判定阶段对剩余的图层名称进行判定，首先将图层输入智能分类算法，组合S210获取到的图层坐标信息、S220判定的背景图层和商品图层信息以及S210的先验信息，对剩余图层的名称类别进行判定。组合逻辑包括图层iou判定、图层之间的欧式距离判定、图层在banner占比等。第二判定输出剩余图层对应的名称，并将更改的名称写入图层name。

在一个实施例中，步骤S200还包括：

S240，第三判定，用于判定剩余图层中的具有相似特征和/或组合结构的图层的名称类别。

具体地，由于psd素材可能包含上百图层，部分图层在先验信息之外可能在视觉上具有相似的特征，或者部分图层本身就是一个组合结构，因此在第一判定和第二判定阶段后，会将其分在一个类别中，因此需要再进行第三判定在后处理阶段再做进一步细分。优选地，三行文案中存在主/副/行动词等类会在第三判定中细化。其中组合逻辑可为：先判定mc-cde图层和所有的text图层之间的iou占比，mc-cde图层的中心点是否落在text图层之中以及mc-cde图层的中心点和text图层的中心点之间的欧式距离，进而去判定绑定关系。

在一个实施例中，步骤S200在进行层次化判定之前还包括模型选择步骤。

具体地，将步骤S100得到的图层数据转成pil格式的RGBA图片，模型和组合化逻辑通过对RGBA图片的判定从而得到图层有效的语义信息，将其分类成预定义的类别。使用迁移学习思路，利用预训练的VGG提取图片特征，在利用重训练之后的单层全连接层做分类器进行类别判定。优选地，利用迁移学习的方案，利用在Imagenet上预训练的VGG模型做特征提取，输入图像转成RGB并且大小调整为224x224，对训练数据进行归一化，经32倍下采样后得到7x7的特征向量，设计单层全连接层做分类器，7x7的特征向量和单层全连接之间设计一个dropout(p＝0.5)。损失函数选择binary_crossentropy，优化器选择adam，lr为3e-4，batch_size为20，训练100个epoch。其中，训练数据为设计师已打好标准标签的psd解析获取的图层信息，在训练数据时为了保证所有图像被改变大小时形态不发生变化，选择对原始数据进行填充，并且进行数据增强。

S300，解析每个图层，获取该图层的属性信息。

属性信息包括展示图像层级属性信息和图层层级属性信息，其中，展示图像层级属性信息包括风格、调性、品类、场景和/或特征属性，图层层级属性包括颜色、使用位置、实体类型、实体子类和/或风格和品类。由于属性识别信息量更丰富，因此在算法上对图层层级的风格和品类信息做多标签识别，对剩余包括调性、颜色、实体子类等采用单标签训练。

具体地，解析每个图层得到对应的RGBA格式图片，选定res2net50模型做基础结构，对res2net50的首层cnn进行调整，输入变成四通道，首层cnn的初始化[0:3]权重依然采用conv1.0.weights(conv1.0.weights即为res2net首层conv的权重，其权重只有三维，因此重新第一维权重为Aphla通道赋初始值)，[3:4]权重采用conv1.0.weights[0:1]，剩余层采用在Imagenet预训练权重。进行调整之后输入四通道图进行训练，损失函数选用CrossEntropyloss，优化器选用Adam，多标签中损失函数选择BCEWithLogitsloss。在模型的选定上分为单标签模型和多标签模型，单标签模型即为二/多分类，主要输出一个标签，多标签为单一图层可能对应多种语义信息，因此输出多个场景下其能使用的标签和概率值。通过将RGBA图片输入类别判定算法中，得到属性信息。

优选地，标签体系为：

#图层层级标签：

实体标签＝{'是实体','非实体'}。

实体子类标签＝{'动物','装饰','食物','家用物品','景观','其他','植物'}。

表现形式标签＝{'多个聚集','多个分散','单个'}。

品类标签＝{"衣帽服饰","美妆","3C数码","家电","节日","家居厨卫","母婴","食品酒水","汽车","通用"}。

风格标签＝{"浪漫","温馨","简约","热闹","清凉","中式复古","科技炫酷","卡通活泼","商务奢华","通用"}。

#psd层级标签：

品类标签＝{"厨卫","服饰鞋帽","家电","家居","美妆","母婴","汽车","食品酒水","3c数码"}。

场景标签＝{"618","端午节","儿童节","父亲节","国庆节","劳动节","母亲节","其他","七夕情人节","圣诞节","淘宝双1112","元旦春节","中秋节"}。

背景标签＝{'多色','其他','照片','单色'}。

风格标签＝{'促销/热闹','简约/文艺','可爱/活泼','科技/炫酷','前卫/新锐','其他/补充','商务/奢华'}。

S400，对每个图层标注属性标签，构建素材库。

在本实施例中，通过步骤S100-S300的智能解析，经过图层类型识别、图层属性识别，对每个图层标注属性标签，并单独入库使用，通过修改类psd结构的素材图层名称，获取格式化、标准命名的psd结构数据。

上述实施例结合图像分类和图层解析技术，对psd等图层结构数据可实现自动化图层重命名，素材的风格调性、品类、颜色、用途、使用位置、实体类型等多种属性识别入库。通过智能解析提取模板中有价值的信息，为布局排版、颜色搭配、素材搭配提供学习素材。一套完整的模板经过图层类型识别以及单图层的属性识别，从而将一个完整的模板庖丁解牛，图层可以作为素材单独使用，其解析出的结果转换为专有数据结构，既可以作为精致模板、也可以作为素材库在系统里无缝衔接。

应该理解的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，附图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图3所示，提供了应用上述方法的图层的解析装置，包括：解析模块100、重命名模块200、属性识别模块300和输出模块400。其中：

解析模块100，用于获取输入的层级数据，对层级数据进行图层解析，得到包含所有图层的图层集合；

重命名模块200，用于处理所有图层，判定每个图层对应的名称类别；

属性识别模块300，用于解析每个图层，获取该图层的属性信息；

输出模块400，用于对每个图层标注属性标签，构建素材库。

关于图层的解析装置的具体限定可以参见上文中对于解析方法的限定，在此不再赘述。上述系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是数据管理服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的数据源终端通过网络连接通信，以接收数据源终端上传的数据。该计算机程序被处理器执行时以实现图层的解析方法。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述图层的解析方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本发明公开了一种图层的解析方法、系统、计算机设备和存储介质。仅需要输入类psd的层级结构数据，即可实现对素材的自动解析。利用psd_tools等解析工具对psd等层级结构进行图层解析，得到各个图层的集合，利用图像分类技术和组合逻辑实现对不同层命名以及属性的判定。同时允许用户对智能解析的结果进行微编辑。利用CNN进行特征提取，组合模板结构中获取的属性结构信息，设计出一套行之有效的识别逻辑，最终识别出素材的风格调性、品类、颜色、用途、使用位置、实体类型等多种属性，为后续的素材使用创作提供了海量数据支持。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图层的解析方法，其特征在于，所述方法包括：

获取输入的层级数据，对所述层级数据进行图层解析，得到包含所有图层的图层集合；

处理所述所有图层，判定每个图层对应的名称类别；

解析每个图层，获取该图层的属性信息；

对每个所述图层标注属性标签，构建素材库。

2.根据权利要求1所述的方法，其特征在于，所述判定每个图层对应的名称类别包括：

预处理所述所有图层，获取文字图层以及图层的先验信息，所述先验信息包括图层位置信息、临近图层关系以及图层先后顺序；

对所述所有图层进行第一判定，通过所述第一判定得到商品图层和背景图层，输出商品图层和背景图层对应的名称；

对剩余图层进行第二判定，判定所述剩余图层的名称类别，输出所述剩余图层对应的名称。

3.根据权利要求2所述的方法，其特征在于，所述第二判定后还包括第三判定，所述第三判定用于判定所述剩余图层中的具有相似特征和/或组合结构的图层的名称类别。

4.根据权利要求2所述的方法，其特征在于，所述第一判定进一步包括：

获取每个图层的图层位置信息的图层坐标，筛选图层坐标不小于展示图像坐标的图层；

对该图层进行像素填充，在该图层上裁剪与展示图像重叠部分，检测图层裁剪后的剩余部分是否等于填充像素；

确定不等于填充像素的图层为背景图层。

5.根据权利要求4所述的方法，其特征在于，所述背景图层的类别进一步判定为简单背景或复杂背景。

6.根据权利要求1所述的方法，其特征在于，所述属性信息包括展示图像层级属性信息和图层层级属性信息，其中，所述展示图像层级属性信息包括风格、调性、品类、场景和/或特征属性，所述图层层级属性包括颜色、使用位置、实体类型、实体子类和/或风格和品类。

7.根据权利要求6所述的方法，其特征在于，所述解析每个图层，获取该图层的属性信息之前还包括模型训练，建立属性识别模型，所述属性识别模型包括单标签模型和多标签模型，对所述属性信息中的风格和品类进行多标签识别，剩余属性信息采用单标签训练。

8.一种图层的解析装置，其特征在于，所述装置包括：

解析模块，用于获取输入的层级数据，对所述层级数据进行图层解析，得到包含所有图层的图层集合；

重命名模块，用于处理所述所有图层，判定每个图层对应的名称类别；

属性识别模块，用于解析每个图层，获取该图层的属性信息；

输出模块，用于对每个所述图层标注属性标签，构建素材库。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现权利要求1至7中任一项的方法的步骤。

Images