CN113762260A - 一种版面图片的处理方法、装置、设备及存储介质 - Google Patents

一种版面图片的处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113762260A
CN113762260A CN202010943122.XA CN202010943122A CN113762260A CN 113762260 A CN113762260 A CN 113762260A CN 202010943122 A CN202010943122 A CN 202010943122A CN 113762260 A CN113762260 A CN 113762260A
Authority
CN
China
Prior art keywords
segmentation
text
layout
layout picture
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010943122.XA
Other languages
English (en)
Inventor
王晓燕
郑志彤
戴钰桀
桂创华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202010943122.XA priority Critical patent/CN113762260A/zh
Publication of CN113762260A publication Critical patent/CN113762260A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种版面图片的处理方法、装置、设备及存储介质，其中该方法包括：将版面图片输入预先训练的分割模型，基于分割模型对版面图片进行区域分割，以及在分割区域包含表格区域时，对表格区域进行直线消除后进行文本分割，输出版面图片最终分割得到的元素位置和元素分割图；将属于文本类型的元素分割图进行文字识别，得到文本内容；按预设展示方式，对版面图片的元素位置、除文本类型外的元素分割图和文本内容进行展示。实现了基于一个分割模型的端到端的版面图片分割处理，与传统方案相比，减少了多模型间数据传输的手动操作，提高了版面图片的处理效率。

Description

一种版面图片的处理方法、装置、设备及存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种版面图片的处理方法、装置、设备及存储介质。
背景技术
目前，电商商品详情页的版面图片包含有丰富的内容，例如包含商品主体的图像区域、表格区域和文字介绍区域等多种元素内容。通过自动挖掘商品详情页的版面信息，分析视觉上优质或者商品销售量高的版面图片，能够对提取商品信息、自动设计商品详情页的版面图片具有重要意义。
现有技术中，版面图片的处理方法通常为，先使用版面识别模型识别版面图片各区域及其位置关系，然后使用直线检测模型对识别的表格区域进行直线检测，使用光学字符识别(Optical Character Recognition，OCR)模型对表格区域和文字介绍区域进行文字检测识别。
在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：上述使用三种模型来对版面图片进行处理的方案，处理效率较低。
发明内容
本发明实施例提供一种版面图片的处理方法、装置、设备及存储介质，实现了端对端的版面图片处理，提高了版面图片的处理效率。
第一方面，本发明实施例提供了一种版面图片的处理方法，包括：
将版面图片输入预先训练的分割模型，基于所述分割模型对所述版面图片进行区域分割，以及在分割区域包含表格区域时，对所述表格区域进行直线消除后进行文本分割，输出所述版面图片最终分割得到的元素位置和元素分割图；
将属于文本类型的元素分割图进行文字识别，得到文本内容；
按预设展示方式，对所述版面图片的元素位置、除文本类型外的元素分割图和所述文本内容进行展示。
第二方面，本发明实施例提供了一种版面图片的处理装置，包括：
版面分割模块，用于将版面图片输入预先训练的分割模型，基于所述分割模型对所述版面图片进行区域分割，以及在分割区域包含表格区域时，对所述表格区域进行直线消除后进行文本分割，输出所述版面图片最终分割得到的元素位置和元素分割图；
文字识别模块，用于将属于文本类型的元素分割图进行文字识别，得到文本内容；
结果展示模块，用于按预设展示方式，对所述版面图片的元素位置、除文本类型外的元素分割图和所述文本内容进行展示。
第三方面，本发明实施例提供了一种终端设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的版面图片的处理方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的版面图片的处理方法。
本发明实施例提供的一种版面图片的处理方法、装置、设备及存储介质，将版面图片输入预先训练的分割模型，基于分割模型对版面图片进行区域分割，以及在分割区域包含表格区域时，对表格区域进行直线消除后进行文本分割，输出版面图片的元素位置和元素分割图；将属于文本类型的元素分割图进行文字识别，得到文本内容；按预设展示方式，对版面图片的元素位置、除文本类型外的元素分割图和所述文本内容进行展示。实现了基于一个分割模型的端到端的版面图片分割处理，与传统方案相比，减少了多模型间数据传输的手动操作，提高了版面图片的处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例一提供的一种版面图片的处理方法流程图；
图2示出了本发明实施例一提供的一种版面图片的处理方法中模型处理流程图；
图3示出了本发明实施例一提供的一种版面图片的处理方法中分割模型的处理流程图；
图4示出了本发明实施例三提供的一种版面图片的处理方法流程图；
图5示出了本发明实施例三提供的一种版面图片的处理方法中版面结果输出示意图；
图6示出了本发明实施例四提供的一种版面图片的处理装置结构示意图；
图7示出了本发明实施例五提供的一种终端设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。
实施例一
图1示出了本发明实施例一提供的一种版面图片的处理方法流程图，本发明实施例提供的版面图片的处理方法可适用于版面图片的处理的情况，例如对电商商品详情页的版面图片进行版面信息分析和挖掘的情况。该方法可由版面图片的处理装置来执行，该装置采用软件和/或硬件的方式实现，优选是配置于电子设备中，例如配置于计算机中。如图1所示，本发明实施例中提供的版面图片的处理方法，包括如下步骤：
S110、将版面图片输入预先训练的分割模型，基于分割模型对版面图片进行区域分割，以及在分割区域包含表格区域时，对表格区域进行直线消除后进行文本分割，输出版面图片最终分割得到的元素位置和元素分割图。
本发明实施例中，版面图片包括但不限于书籍、海报、杂志刊物或网页的版面图片，且版面图片中可承载不同类型的元素信息，例如文本、图像和表格等。通过预先端到端的深度学习训练，可得到分割模型。基于预先训练的分割模型，可根据元素信息的类型将输入的版面图片进行区域分割，并可在分割区域包含表格区域时，对表格区域进行直线消除后进行文本分割，可输出最终分割得到的元素分割图和元素位置等信息。其中，元素位置信息包括但不限于元素分割图的位置信息，以及版面图片中元素信息的位置信息等，且元素信息的位置信息包括但不限于表格线的位置信息和文本行的位置信息等。
与传统使用三种模型来对版面图片进行处理的方案相比，本实施例基于一个端到端的分割模型，实现自动对版面图片进行各元素的分割处理，减少了多模型之间数据传输所需的手动操作，提高了版面图片的处理效率。
S120、将属于文本类型的元素分割图进行文字识别，得到文本内容。
本实施例中，分割模型在输出元素分割图的同时，还可以输出各元素分割图的类型。其中，可将元素分割图中承载的元素信息的类型，作为元素分割图的类型，例如元素分割图中元素信息的类型为图像，则元素分割图的类型为图像类型。若分割模型输出的元素分割图中包含文本类型的元素分割图，则可以将属于文本类型的元素分割图进行文字识别。
在一种具体的实施方式中，可通过基于OCR的文字识别模型对文本类型的元素分割图进行识别。其中，文字识别模型例如是高效准确的场景文本检测算法(An Efficientand Accuracy Scene Text Detector，EAST算法)+卷积循环神经网络(ConvolutionalRecurrent Neural Network，CRNN)，或者是基于渐进尺度扩展网络的形状鲁棒文本检测(Shape Robust Text Detection with Progressive Scale Expansion Network，PSENet)方法+CRNN，又或是EAST算法+具有灵活矫正功能的注意力场景文本识别器(AnAttentional Scene Text Recognizer with Flexible Rectification，ASTER)，还可以是CRNN+卷积递归神经网络(Convolutional Recurrent Neural Network，CTC)等模型，在此不做穷举。
通过识别文本类型的元素分割图上的文字，能够实现版本图片上文本的提取和挖掘。当版本图片为商品详情页的版本图片时，有利于实现挖掘热销商品的卖点的文字介绍，对生成有商品特性的卖点文案，以及根据卖点文案生成其他商品的版面图片有着重要的指导意义。
S130、按预设展示方式，对版面图片的元素位置、除文本类型外的元素分割图和文本内容进行展示。
本实施例中，在处理得到版面图片的元素位置、除文本类型外的元素分割图和文本内容时，可针对处理结果进行展示。
其中，预设展示方式例如可以是大纲模式的列表展示方式，具体可以是根据元素位置，将除文本类型外的元素分割图和文本内容区分为主干条目和分支条目，各分支条目可根据主干条目的展示/隐藏控件进行展示和隐藏。这样的展示方式可以使用户更加清晰的了解版面结构，便于快速查找相应版面结构的内容。
此外，预设展示方式还可以还原为可编辑的原始版面展示方式，具体可以是利用界面渲染算法，根据元素位置、除文本类型外的元素分割图和文本内容对界面进行渲染，以还原原始版面的结构和内容。这样的展示方式可以更直观的展示版面处理结果，便于用户直接进行版面编辑，并直观了解到编辑效果。
图2示出了本发明实施例一提供的一种版面图片的处理方法中模型处理流程图。可选的，分割模型包括语义分割分支网络，直线检测分支网络和文本检测分支网络；相应的，参见图2，基于分割模型对版面图片进行区域分割，以及在分割区域包含表格区域时，对表格区域进行直线消除后进行文本分割，输出版面图片最终分割得到的元素位置和元素分割图，包括：
S111、将版面图片输入语义分割分支网络，基于语义分割分支网络对版面图片进行区域分割，输出下述至少一种区域分割图：图像区域分割图、表格区域分割图和文字区域分割图。
本实施例中，语义分割分支网络例如可以是端到端的神经网络，例如U-net或Deeplab v1-v3等分割网络。利用语义分割分支网络可以提取像素级版面分割信息，即判断每个像素所属区域的类型，并根据属于相同区域类型的像素确定区域分割图。
在语义分割分支网络完成图像区域、表格区域和文字区域分割时，可针对不同区域进行不同的处理操作，具体可以是，将图像区域分割图及其位置信息直接输出，将表格区域分割图输入直线检测分支网络，将文字区域分割图输入文本检测分支网络，以进行表格直线检测和文本检测。从而可以实现基于一个分割模型输出版面图片的元素位置和元素分割图，提高了版面图片的处理效率。
S112、在分割区域包含表格区域时，将表格区域分割图输入直线检测分支网络，基于直线检测分支网络输出表格直线的位置信息。
本实施例中，直线检测分支网络例如可以是通过深度学习训练得到的神经网络，利用直线检测分支网络能够直接分割出表格直线，并可以输出表格直线的位置信息。其中，表格直线的位置信息例如可以是表格直线的分割图的位置信息。通过分割出表格中的直线，以及获取直线的位置信息，可有助于进行恢复原始版面的展示操作。
S113、基于表格直线的位置信息，对表格区域图像进行直线消除。
本实施例中，具体可以是利用表格区域分割图减去表格直线的分割图，以实现对表格直线进行直线消除。
现有表格区域中表格线之间的文字通常较小，排列密集。对表格区域进行文本检测时，可能会出现文本检测框将两个或多个小格子的文本检测到一个文本框中的情况，即文本检测框跨表格直线的情况，这就会导致裁剪出的文本分割图中包含竖线或横线，容易对文字识别结果产生影响。通过抑制表格区域的直线，有助于提升表格区域的文字的识别准确率。
示例性的，假设包含有笔记本参数的表格中，存在相邻的列字段“刷新率和色域”，且两个列字段的字段数据可分别为60HZ，72％NTSC。利用传统识别方法，对表格进行文字识别时，容易识别为“60HZ|72％NTSC”。若先对表格区域图像进行直线消除，再进行文字识别，则识别结果为“60HZ 72％NTSC”，从而提高了表格区域的文字识别精度。
S114、将消除直线的表格区域分割图和文字区域分割图，输入文本检测分支网络，基于文本检测分支网络输出文本检测框的位置信息和文本分割图。
本实施例中，对将消除直线的表格区域分割图和文字区域分割图输入文本检测分支网络的时序没有严格的限制，可以是将消除直线的表格区域分割图和文字区域分割图同时输入文本检测分支网络，也可以是在步骤S111之后先将文字区域分割图输入文本检测分支网络，在步骤S113之后再将消除直线的表格区域分割图输入文本检测分支网络。
文本检测分支网络可综合表格区域分割图和文字区域分割图，进行文字检测。其中，文本检测分支网络能够对文本进行更为精细的分割，得到文本分割图，还能够回归出文本分割图的文本检测框，并输出文本检测框各角点的像素坐标。
其中，当文本为规则文本时，文本检测框可以为矩形框，此时文本检测框的位置信息可以只包括对顶角的角点的像素坐标，例如矩形框左上角和右下角的像素坐标，或者矩形框左下角和右上角的像素坐标。当文本为不规则文本时，文本检测框可以为不规则的多边形边框，此时文本检测框的位置信息需要包括各角点的像素坐标。
S115、将图像区域分割图和文本分割图作为元素分割图进行输出，将图像区域分割图的位置信息、表格直线的位置信息和文本检测框的位置信息作为元素位置进行输出。其中，通过输出元素位置和元素分割图，有利于输出对输出结果进行结构化展示。
进一步的，基于文本检测分支网络输出文本检测框的位置信息和文本分割图，包括：基于文本检测分支网络，根据表格直线的位置信息获取消除直线的表格区域分割图的文本检测框；确定文本检测框的坐标，将坐标作为文本检测框的位置信息进行输出；对文本检测框内的文本进行分割，得到文本分割图并输出。
其中，在对消除直线的表格区域分割图进行文本分割时，可首先根据表格直线围成的区域对文本进行分割，进而可回归文本分割图的文本检测框，从而避免了文本检测框跨表格直线的情况。
图3示出了本发明实施例一提供的一种版面图片的处理方法中分割模型的处理流程图。
参见图3，版面图片为钻戒商品的详情页的版面图片；从输入版面图片到输出图像区域分割图(斜线填充的区域分割图)、表格区域分割图(点填充的区域分割图)、文字区域分割图(网格线填充的区域分割图)之间的流程部分，皆由语义分割分支网络完成；从输入表格区域分割图到输出表格直线的位置信息之间的流程部分，皆由直线检测分支网络完成；从输入消除直线的表格区域分割图和文字区域分割图，到输出文本分割图和文本检测框的位置信息之间的露出部分，皆由文本检测分支网络完成。
再参见图3，语义分割分支网络为包含有立体金字塔池化(Atrous SpatialPyramid Pooling，APSS)的deeplab v3卷积神经网络，并且可将其主干网络替换成精度更高的ResnetST中的分散注意力网络(Split-Attention Network)。在语义分割分支网络处理流程中，Conv1+Pool1为卷积加池化处理；Output stride为输出步长，且对于Block1-Block4的输出步长分别设置为了4、8、16和16；Rate为采样率；Concat+1*1Conv1用于实现数据拼接和卷积；Upsampling Segmentation为上采样分割。通过语义分割分支网络可以输出像素属于各区域分割图的概率矩阵，并计算有监督分割误差。其中，可将图像区域分割图及其位置信息直接输出，将表格区域分割图和文字区域分割图分别传递到后面的分支网络进行分别处理。
又参见图3，直线检测分支网络为U-net分割网络，其主干网络也采用精度较高的ResnetST网络。通过直线检测分支网络，可输出构成表格直线的概率矩阵和表格直线的分割图，并计算有监督分割误差。利用表格区域分割图减去表格直线的分割图，可以得到表格区域消除直线后的分割图，也就是剩余文字部分。
又参见图3，文本检测分支网络同样可以为U型网络(U-shape)，文本检测分支网络可综合考虑小感受野和大感受野的文本特征，根据输入的纯文本的区域分割图，输出文本检测框的坐标、概率矩阵和文本分割图，并计算有监督分割误差。其中，文本分割图为在文字区域分割图和表格区域分割图的基础上，对文本更精细的分割输出；其中可利用Opencv获取每个文本分割图的最小外接框，即可得到文本检测框和文本检测框坐标。
基于图3所示的分割模型，能够完成由版面图片输入，到图像区域分割图及其位置信息、表格直线的位置信息、文本分割图和文本检测框的位置信息输出的流程，处理效率高。
本发明实施例提供的一种版面图片的处理方法，将版面图片输入预先训练的分割模型，基于分割模型输出版面图片的元素位置和元素分割图；将属于文本类型的元素分割图进行文字识别，得到文本内容；按预设展示方式，对版面图片的元素位置、除文本类型外的元素分割图和文本内容进行展示。实现了基于一个分割模型的端到端的版面图片分割处理，与传统方案相比，减少了多模型间数据传输的手动操作，提高了版面图片的处理效率。
实施例二
本实施例在上述实施例基础上，对分割模型的训练方式进行了优化，通过分割模型中分支网络间进行损失函数互传，能够提高处理精度。本实施例与上述实施例提出的版面图片的处理方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例。
可选的，分割模型的训练方式，包括：将分割模型的至少一个分支网络训练至收敛；将至少一个分支网络的误差进行反向传播，得到分割模型的总误差，并以总误差小于预设阈值为目标，对分割模型进行训练。
本实施例中，由于分割模型包含的分支网络较多，可针对每个分支网络先训练收敛，再整体端到端微调，以完成分割模型的训练。其中，端到端微调具体可以是，设计采用反向传播(Back Propagation，BP)的训练方式，将误差(即损失函数Loss)反向传播，以对分割模型的网络参数迭代更新。处理模型训练过程中，通过分支网络进行损失函数互传，可提高模型处理精度。
进一步的，将至少一个分支网络的误差进行反向传播，得到分割模型的总误差，包括：
将语义分割分支网络误差、直线检测分支网络误差、文本检测分支网络的文本检测框的位置信息的检测误差，以及文本检测分支网络的文本分割误差，分别与对应的预设常数系数相乘，并将乘积和作为分割模型的总误差。
在一些具体的实施方式中，可基于下述公式计算分割模型的总误差：
Loss＝Lossseg+αLossline+βLossdet+γLosstextseg；
其中，α表示第一预设常数；β表示第二预设常数；γ表示第三预设常数；Lossseg表示语义分割分支网络误差；Lossline表示直线检测分支网络误差；Lossdet表示文本检测分支网络的文本检测框的位置信息的检测误差；Losstextseg表示文本检测分支网络的文本分割误差；Loss表示分割模型的总误差。
其中，四部分的误差可根据实际应用场景，采用不同的误差计算方式进行计算。其中，四部分误差的系数可以以语义分割分支网络误差为基准进行设置，可将语义分割分支网络误差的系数设置为1，将剩余三部分误差的系数根据经验值或实验值设置为α、β和γ，且α、β和γ为大于0的常数。其中，文本检测分支网络的误差等于Lossdet加Losstextseg的和。
在一种实施方式中，Lossseg可以采用Dice Loss的计算方式，且计算公式可如下所示：
Figure BDA0002674335860000131
其中，n表示分割出的区域分割图的个数；i表示第i个区域分割图；D(Si,Gi)表示第i个区域分割图的Dice Loss，具体公式可如下所示：
Figure BDA0002674335860000132
其中，x和y分别表示第i个区域分割图的像素横坐标和纵坐标；Si表示第i个区域分割图的预测分类结果，Gi表示第i个区域分割图的实际分类结果。
在一种实施方式中，Lossline和Losstextseg可以采用类别均衡的交叉熵差分割误差Cross-Entropy Loss的计算方式，以Lossline为例，计算公式可如下所示：
Lossline＝balanced-xent(Y,Y*)
＝-aY*logY-(1-a)(1-Y*)log(1-Y)
其中，Y表示预测的概率矩阵，Y*表示实际值，a表示反例样本数量占总样本数量的比例，且
Figure BDA0002674335860000133
在一种实施方式中，Lossdet可以采用EAST算法中QUAD Loss的计算方式，具体计算文本检测框坐标的检测误差，可采用smoothed-L1 Loss，计算方式可下所示：
Figure BDA0002674335860000141
Figure BDA0002674335860000142
其中，
Figure BDA0002674335860000143
为文本检测框i条边中最短边的长度；CQ为文本检测框的角点坐标，由于文本行角度不固定，CQ可为4个角点的坐标，具体可表示为CQ＝{x1,y1,x2,y2,x3,y3,x4,y4}；Q为预测值，Q*为实际值；
Figure BDA0002674335860000144
是具有不同顶点顺序的Q*的等价四边形的集合。
本发明实施例在上述实施例基础上，对分割模型的训练方式进行了优化，通过分割模型中分支网络间进行损失函数互传，能够提高处理精度。此外，本发明实施例与上述实施例提出的版面图片的处理方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，且本实施例与上述实施例具有相同的有益效果。
实施例三
本实施例在上述实施例基础上，在对元素位置、元素分割图和文本内容进行展示之后，能够对元素位置和元素分割图进一步进行操作，可实现对元素分割图和/或文字内容进行提取、对元素位置、元素分割图和/或文本内容进行编辑，以及根据元素位置、元素分割图和文本内容重新生成版面图片等操作等，对提取商品信息和自动设计商品详情页的版面图片具有重要意义。本实施例与上述实施例提出的版面图片的处理方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例。
图4示出了本发明实施例三提供的一种版面图片的处理方法流程图。参见图4，本发明实施例中提供的版面图片的处理方法，包括如下步骤：
S410、将版面图片输入预先训练的分割模型，基于分割模型对版面图片进行区域分割，以及在分割区域包含表格区域时，对表格区域进行直线消除后进行文本分割，输出版面图片最终分割得到的元素位置和元素分割图。
S420、将属于文本类型的元素分割图进行文字识别，得到文本内容。
S430、按预设展示方式，对版面图片的元素位置、除文本类型外的元素分割图和文本内容进行展示。
可选的，按预设展示方式，对版面图片的元素位置、除文本类型外的元素分割图和文本内容进行展示，包括：在展示界面中，基于预设格式的位置标识框对版面图片的元素位置进行标识，以及将除文本类型外的元素分割图和文本内容呈现在对应的位置标识框中。
本实施例中，预设格式的位置标识框，例如为用不同颜色、线型或效果等格式生成的标识框，该标识框可用于对版面图片中的不同元素位置进行区分标识，例如对图像区域分割图的位置用橘色框进行标识，对表格直线的位置用绿色框进行标识等等。其中，可将标识框中设置图像控件或文本控件，以在图像控件中添加元素分割图，在文本控件中添加文本内容，从而实现将除文本类型外的元素分割图和文本内容呈现在对应的位置标识框中。
通过利用界面渲染算法将元素位置的位置标识框、元素分割图和文本内容渲染在展示界面中，以还原原始版面结构和内容，使用户能够更直观的展示版面处理结果；并且界面渲染的内容为可编辑的，从而便于用户直接进行版面编辑，并直观了解到编辑效果。
示例性的，图5示出了本发明实施例三提供的一种版面图片的处理方法中版面结果输出示意图。参见图5，版面图片为钻戒商品的详情页的版面图片；虚线格式的位置标识框用于对图像区域分割图的位置进行标识，实线格式的位置标识框用于对表格直线的位置进行标识，点划线格式的位置标识框用于对文本检测框的位置信息标识；在虚线格式的位置标识框中可呈现钻戒的图像区域分割图，在点划线格式的位置标识框中可呈现文本内容，从而能够实现恢复原始版面的结构和内容。
S440、响应于版面操作指令，对版面图片的元素位置、除文本类型外的元素分割图和/或文本内容进行操作。
本实施例中，版面操作指令包括下述至少一种：内容提取指令、编辑指令和版面图片生成指令。此外，版面操作指令还可以包含其他用于版面操作的指令，并不限于上述指令。
在接收到内容提取指令时，可以对图像区域分割图或文本内容进行提取。
其中，编辑指令可以包括移动、替换、新增和删除等指令；在接收到移动指令时，可以对位置标识框进行移动，且位置标识框内呈现的内容可跟随移动；在接收到替换指令时，可以对图像区域分割图或文本内容进行替换；在接收到新增指令时，可以新增位置标识框，以及为位置标识框添加元素分割图或文本内容；在接收到新增指令时，可以删除位置标识框，且位置标识框内呈现的内容可跟随删除，或者可删除位置标识框中的元素分割图或文本内容。
在对展示的版面进行编辑后，还可以根据接收的版面图片生成指令，利用编辑完毕的展示界面生成新的版面图片。
示例性的，当版面图片为电商商品详情网页的版面图片时，通过提取指令可提取热销商品的卖点的文字介绍，对生成有商品特性的卖点文案有着重要的指导意义；通过编辑指令编辑展示界面，有利于在自动设计商品详情页图片时，按照优质排版的设计，替换新的商品图像、表格和文字参数；通过版面图片生成指令，能够利用编辑完毕的展示界面生成新的商品的版面图片，以减少设计耗费的人力时间成本。
本发明实施例在上述实施例基础上，在对元素位置、元素分割图和文本内容进行展示之后，能够对元素位置和元素分割图进一步进行操作，可实现对元素分割图和/或文字内容进行提取、对元素位置、元素分割图和/或文本内容进行编辑，以及根据元素位置、元素分割图和文本内容重新生成版面图片等操作等，对提取商品信息和自动设计商品详情页的版面图片具有重要意义。此外，本发明实施例与上述实施例提出的版面图片的处理方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，且本实施例与上述实施例具有相同的有益效果。
实施例四
图6示出了本发明实施例四提供的一种版面图片的处理装置结构示意图，本发明实施例可适用于版面图片的处理的情况，例如对电商商品详情页的版面图片进行版面信息分析和挖掘的情况。通过本发明提供的版面图片的处理装置可实现上述实施例提供的版面图片的处理方法。
如图6所示，本发明实施例中版面图片的处理装置，包括：
版面分割模块610，用于将版面图片输入预先训练的分割模型，基于分割模型对版面图片进行区域分割，以及在分割区域包含表格区域时，对表格区域进行直线消除后进行文本分割，输出版面图片最终分割得到的元素位置和元素分割图；
文字识别模块620，用于将属于文本类型的元素分割图进行文字识别，得到文本内容；
结果展示模块630，用于按预设展示方式，对版面图片的元素位置、除文本类型外的元素分割图和文本内容进行展示。
可选的，分割模型包括语义分割分支网络，直线检测分支网络和文本检测分支网络；
相应的，版面分割模块，包括：
区域分割子模块，用于将版面图片输入语义分割分支网络，基于语义分割分支网络对版面图片进行区域分割，输出下述至少一种区域分割图：图像区域分割图、表格区域分割图和文字区域分割图；
直线检测子模块，用于在分割区域包含表格区域时，将表格区域分割图输入直线检测分支网络，基于直线检测分支网络输出表格直线的位置信息；
直线消除子模块，用以基于表格直线的位置信息，对表格区域图像进行直线消除；
文本分割子模块，用于将消除直线的表格区域分割图和文字区域分割图，输入文本检测分支网络，基于文本检测分支网络输出文本检测框的位置信息和文本分割图；
输出子模块，用于将图像区域分割图和文本分割图作为元素分割图进行输出，将图像区域分割图的位置信息、表格直线的位置信息和文本检测框的位置信息作为元素位置进行输出。
可选的，文本分割子模块，具体用于：基于文本检测分支网络，根据表格直线的位置信息获取消除直线的表格区域分割图的文本检测框；确定文本检测框的坐标，将坐标作为文本检测框的位置信息进行输出；对文本检测框内的文本进行分割，得到文本分割图并输出。
可选的，版面图片的处理装置，还包括：
模型训练模块，用于将分割模型的至少一个分支网络训练至收敛；将至少一个分支网络的误差进行反向传播，得到分割模型的总误差，并以总误差小于预设阈值为目标，对分割模型进行训练。
可选的，模型训练模块，包括：
误差计算单元，用以将语义分割分支网络误差、直线检测分支网络误差、文本检测分支网络的文本检测框的位置信息的检测误差，以及文本检测分支网络的文本分割误差，分别与对应的预设常数系数相乘，并将乘积和作为分割模型的总误差。
可选的，结果展示模块，具体用于：在展示界面中，基于预设格式的位置标识框对版面图片的元素位置进行标识，以及将除文本类型外的元素分割图和文本内容呈现在对应的位置标识框中。
可选的，版面图片的处理装置，还包括：
结果操作模块，用以响应于版面操作指令，对版面图片的元素位置、除文本类型外的元素分割图和/或文本内容进行操作；其中，版面操作指令包括下述至少一种：内容提取指令、编辑指令和版面图片生成指令。
本发明实施例提供的版面图片的处理装置，与上述实施例提供的版面图片的处理方法属于同一发明构思，未在本发明实施例中详尽描述的技术细节可参见上述实施例，并且本发明实施例与上述实施例具有相同的有益效果。
实施例五
图7示出了本发明实施例五提供的一种终端设备的硬件结构示意图。本发明实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，终端设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(Read-Only Memory，ROM)702中的程序或者从存储装置708加载到随机访问存储器(Random Access Memory，RAM)703中的程序而执行各种适当的动作和处理。在RAM703中，还存储有终端设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许终端设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的终端设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM 702被安装。在该计算机程序被处理装置701执行时，执行本发明实施例提供的版面图片的处理方法中限定的上述功能。
本发明实施例提供的终端与上述实施例提供的版面图片的处理方法属于同一发明构思，未在本发明实施例中详尽描述的技术细节可参见上述实施例，并且本发明实施例与上述实施例具有相同的有益效果。
实施例六
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的版面图片的处理方法。
需要说明的是，本发明实施例上述的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)或闪存(FLASH)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读存储介质可以是上述终端设备中所包含的，也可以是单独存在，而未装配入该终端设备中的。
上述终端设备存储承载有一个或者多个程序，当上述一个或者多个程序被该终端设备执行时，使得该终端设备：
将版面图片输入预先训练的分割模型，基于分割模型对版面图片进行区域分割，以及在分割区域包含表格区域时，对表格区域进行直线消除后进行文本分割，输出版面图片最终分割得到的元素位置和元素分割图；将属于文本类型的元素分割图进行文字识别，得到文本内容；按预设展示方式，对版面图片的元素位置、除文本类型外的元素分割图和文本内容进行展示。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范样式的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种版面图片的处理方法，其特征在于，包括：
将版面图片输入预先训练的分割模型，基于所述分割模型对所述版面图片进行区域分割，以及在分割区域包含表格区域时，对所述表格区域进行直线消除后进行文本分割，输出所述版面图片最终分割得到的元素位置和元素分割图；
将属于文本类型的元素分割图进行文字识别，得到文本内容；
按预设展示方式，对所述版面图片的元素位置、除文本类型外的元素分割图和所述文本内容进行展示。
2.根据权利要求1所述的方法，其特征在于，所述分割模型包括语义分割分支网络，直线检测分支网络和文本检测分支网络；
相应的，所述基于所述分割模型对所述版面图片进行区域分割，以及在分割区域包含表格区域时，对所述表格区域进行直线消除后进行文本分割，输出所述版面图片最终分割得到的元素位置和元素分割图，包括：
将所述版面图片输入所述语义分割分支网络，基于所述语义分割分支网络对所述版面图片进行区域分割，输出下述至少一种区域分割图：图像区域分割图、表格区域分割图和文字区域分割图；
在分割区域包含表格区域时，将所述表格区域分割图输入所述直线检测分支网络，基于所述直线检测分支网络输出表格直线的位置信息；
基于所述表格直线的位置信息，对所述表格区域图像进行直线消除；
将消除直线的表格区域分割图和文字区域分割图，输入所述文本检测分支网络，基于所述文本检测分支网络输出文本检测框的位置信息和文本分割图；
将所述图像区域分割图和所述文本分割图作为元素分割图进行输出，将所述图像区域分割图的位置信息、所述表格直线的位置信息和所述文本检测框的位置信息作为元素位置进行输出。
3.根据权利要求2所述的方法，其特征在于，所述基于所述文本检测分支网络输出文本检测框的位置信息和文本分割图，包括：
基于所述文本检测分支网络，根据表格直线的位置信息获取消除直线的表格区域分割图的文本检测框；
确定所述文本检测框的坐标，将所述坐标作为文本检测框的位置信息进行输出；
对所述文本检测框内的文本进行分割，得到文本分割图并输出。
4.根据权利要求1所述的方法，其特征在于，所述分割模型的训练方式，包括：
将所述分割模型的至少一个分支网络训练至收敛；
将所述至少一个分支网络的误差进行反向传播，得到所述分割模型的总误差，并以所述总误差小于预设阈值为目标，对所述分割模型进行训练。
5.根据权利要求4中所述的方法，其特征在于，所述将所述至少一个分支网络的误差进行反向传播，得到所述分割模型的总误差，包括：
将语义分割分支网络误差、直线检测分支网络误差、文本检测分支网络的文本检测框的位置信息的检测误差，以及文本检测分支网络的文本分割误差，分别与对应的预设常数系数相乘，并将乘积和作为所述分割模型的总误差。
6.根据权利要求1所述的方法，其特征在于，所述按预设展示方式，对所述版面图片的元素位置、除文本类型外的元素分割图和所述文本内容进行展示，包括：
在展示界面中，基于预设格式的位置标识框对所述版面图片的元素位置进行标识，以及将所述除文本类型外的元素分割图和所述文本内容呈现在对应的位置标识框中。
7.根据权利要求1-6中任一项所述的方法，其特征在于，还包括：
响应于版面操作指令，对所述版面图片的元素位置、除文本类型外的元素分割图和/或文本内容进行操作；其中，所述版面操作指令包括下述至少一种：内容提取指令、编辑指令和版面图片生成指令。
8.一种版面图片的处理装置，其特征在于，包括：
版面分割模块，用于将版面图片输入预先训练的分割模型，基于所述分割模型对所述版面图片进行区域分割，以及在分割区域包含表格区域时，对所述表格区域进行直线消除后进行文本分割，输出所述版面图片最终分割得到的元素位置和元素分割图；
文字识别模块，用于将属于文本类型的元素分割图进行文字识别，得到文本内容；
结果展示模块，用于按预设展示方式，对所述版面图片的元素位置、除文本类型外的元素分割图和所述文本内容进行展示。
9.一种终端设备，其特征在于，所述终端包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的版面图片的处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的版面图片的处理方法。
CN202010943122.XA 2020-09-09 2020-09-09 一种版面图片的处理方法、装置、设备及存储介质 Pending CN113762260A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010943122.XA CN113762260A (zh) 2020-09-09 2020-09-09 一种版面图片的处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010943122.XA CN113762260A (zh) 2020-09-09 2020-09-09 一种版面图片的处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113762260A true CN113762260A (zh) 2021-12-07

Family

ID=78785728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010943122.XA Pending CN113762260A (zh) 2020-09-09 2020-09-09 一种版面图片的处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113762260A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206321A (zh) * 2023-04-25 2023-06-02 荣耀终端有限公司 一种表格识别方法、电子设备、存储介质及程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206321A (zh) * 2023-04-25 2023-06-02 荣耀终端有限公司 一种表格识别方法、电子设备、存储介质及程序产品

Similar Documents

Publication Publication Date Title
CN109688463B (zh) 一种剪辑视频生成方法、装置、终端设备及存储介质
CN112528977B (zh) 目标检测方法、装置、电子设备和存储介质
US20230394671A1 (en) Image segmentation method and apparatus, and device, and storage medium
CN110298851B (zh) 人体分割神经网络的训练方法及设备
CN111381909A (zh) 一种页面展示方法、装置、终端设备及存储介质
CN111399956A (zh) 应用于显示设备的内容展示方法、装置和电子设备
CN109710865B (zh) 开放式自动布局方法、装置、电子设备和存储介质
CN110796664B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110310293B (zh) 人体图像分割方法及设备
CN110263301B (zh) 用于确定文字的颜色的方法和装置
CN111680491A (zh) 文档信息的抽取方法、装置和电子设备
CN113762260A (zh) 一种版面图片的处理方法、装置、设备及存储介质
CN110197459B (zh) 图像风格化生成方法、装置及电子设备
CN109871465B (zh) 一种时间轴计算方法、装置、电子设备及存储介质
CN113780294B (zh) 文本字符分割的方法和装置
CN111696041B (zh) 图像处理方法、装置及电子设备
CN113255812B (zh) 视频边框检测方法、装置和电子设备
CN114155545A (zh) 表格识别方法、装置、可读介质及电子设备
CN113961280B (zh) 视图的展示方法、装置、电子设备及计算机可读存储介质
CN114786069A (zh) 视频生成方法、装置、介质及电子设备
CN114399696A (zh) 一种目标检测方法、装置、存储介质及电子设备
CN114422698A (zh) 视频生成方法、装置、设备及存储介质
CN115393472B (zh) 画布处理方法、装置、电子设备、可读介质和程序产品
CN110633595A (zh) 一种利用双线性插值的目标检测方法和装置
CN114066721B (zh) 显示方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination