CN112507931A - 一种基于深度学习的信息图表序列检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的信息图表序列检测方法及系统，该方法步骤包括：获取信息图表以及信息图表中所有元素的元素类型和元素属性；根据信息图表中的元素，获取包含不同元素的截图；根据信息图表中的元素、包含不同元素的截图，训练识别信息图表中信息块的深度卷积网络；根据信息图表、信息图表中的元素、包含不同元素的截图和训练后的深度卷积网络，确定待识别信息图表中的信息块；根据待识别信息图表中的信息块识别结果，确定待识别信息图表中的信息序列。本发明对于信息图表的信息序列识别具有较高的准确性和鲁棒性。

Description

一种基于深度学习的信息图表序列检测方法及系统

技术领域

本发明涉及信息图表序列检测技术领域，具体涉及一种基于深度学习的信息图表序列检测方法及系统。

背景技术

随着科技的发展，办公软件越来越成为人们工作生活的重要组成部分。信息图表是办公软件的重要组成部分，用户将需要展示数据、知识等信息制作成信息图表，可以在投影仪或者计算机上进行演示。

为信息图表添加统一美观的装饰性元素，可以降低观众从信息图表中获取信息的难度。然而，对于没有充足的设计知识的信息图表制作者来说，为信息图表设计和添加统一美观的装饰性元素，是非常耗费时间和精力的。

许多信息图表的设计软件(如WPS Office、Microsoft PowerPoint)拥有大量由专业设计师完成的信息图表模板，信息图表的模板套用可以自动将用户的输入信息填入合适的信息图表模板中。要完成这个工作，需要设计模型识别信息图表模板和信息图表草稿的信息序列部分，并为信息序列中的每个元素确定信息块和逻辑次序。在此基础上，确定模板和用户草稿中的元素和信息块的匹配关系，即可完成信息图表的模板套用。

然而，现有技术在识别信息图表中的信息序列时，没有考虑信息块的识别；也没有考虑信息序列和信息块之间的逻辑关系，导致在信息图表套用中，出现套用效果较差的问题。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种基于深度学习的信息图表序列检测方法及系统，本发明利用深度卷积网络提取待识别信息图表中的信息块的特征，利用特定元素类型的元素作为信息块的种子元素集合来确定信息序列，对于信息图表的信息块识别具有较高的准确性，对于信息图表的信息序列识别具有较好的鲁棒性。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种基于深度学习的信息图表序列检测方法，包括下述步骤：

获取信息图表以及信息图表中所有元素的元素类型和元素属性；

根据信息图表中的元素，获取包括不同元素的截图，将信息图表中的所有元素两两组合后，与对应的截图框组合成为信息图表三元组集合；

根据信息图表中的元素、包括不同元素的截图，训练识别信息图表中信息块的深度卷积网络；

根据信息图表中的元素、包括不同元素的截图和训练后的深度卷积网络，确定待识别信息图表中的信息块；

根据待识别信息图表中的信息块识别结果，确定待识别信息图表中的信息序列。

作为优选的技术方案，所述元素类型包括：信息文本、信息注解图标、信息注解标题、信息注解文本、信息注解标记、信息标记、信息主体、信息图表标题、信息图表副标题、信息图表文本和信息图表装饰。

作为优选的技术方案，所述元素属性包括元素位置框，其定义为描述元素的位置和大小的一个四元组(x,y,w,h)，分别代表元素框左上角距离信息图表左上角的水平距离和距离信息图表左上角的垂直距离，元素方框的宽、高。

作为优选的技术方案，所述将信息图表中的所有元素两两组合后，与对应的截图框组合成为信息图表三元组集合，具体步骤包括：

将信息图表中的所有元素两两组合，得到元素组合的集合T_tuple＝{(e_i,e_j)},e_i,e_j∈E′，E′为当前信息图表内的所有元素；

根据元素组合中两个元素的元素位置框，在信息图表中选取一个将两个元素包含进去的截图框p_ij＝(x_p,y_p,w_p,h_p)，选取方式如下：

x_p＝min(x_i,x_j)

y_p＝min(y_i,y_j)

w_p＝max(x_i,x_j)-min(x_i,x_j)

h_p＝max(y_i,y_j)-min(y_i,y_j)

其中，x_i，y_i为元素e_i的元素框左上角距离信息图表左上角的水平距离和距离信息图表左上角的垂直距离，x_j，y_j为元素e_j的元素框左上角距离信息图表左上角的水平距离和距离信息图表左上角的垂直距离；

将信息图表中的所有的元素组合及其对应的截图框组合成为信息图表三元组集合T_triplet＝{(e_i,e_j,p_ij)}。

作为优选的技术方案，所述训练识别信息图表中信息块的深度卷积网络，具体步骤包括：

根据信息图表三元组集合，对于集合中的每一个元素截图，由人工标注截图中所包括的两个元素是否属于同一个信息块，将截图和信息块标签组成一个数据标签对，使用数据标签对训练深度卷积网络模型。

作为优选的技术方案，所述确定待识别信息图表中的信息块，具体步骤包括：

获取待识别信息图表中的信息图表三元组集合，表示为：T′_triplet＝{(e′_i,e′_j,p′_ij)}，使用训练后的深度卷积网络，根据信息图表三元组集合中的每一个三元组(e′_i,e′_j,p′_ij)中的元素截图p′_ij，预测元素截图p′_ij所包含的元素e′_i、e′_j是否属于相同的信息块；

将当前信息图表中所有的信息块预测结果和对应的信息元素组合组成信息块三元组的集合T′_block＝{(e′_i,e′_j,t′_ij)}，其中，t′_ij代表e′_i和e′_j是否属于同一个信息块。

作为优选的技术方案，所述根据待识别信息图表中的信息块识别结果，确定待识别信息图表中的信息序列，具体步骤包括：

从待识别信息图表中选择一种特定元素类型的元素，构成种子元素集合，集合中的每个元素分别属于各不相同的一个信息块；

遍历种子元素集合中的每个元素e，从信息块三元组的集合T′_block＝{(e′_i,e′_j,t′_ij)}中找出模型预测和e属于同一个信息块的所有其他元素，将这些元素确定为与元素e属于相同的信息块；

遍历完成后，得到信息图表的信息块集合，信息块集合的形式化表达为：B＝{s₁,...,s_k}(k≥2)，其中s_k＝{e₁,...,e_t}(t≥1)，其中e_t为信息图表中的元素；

遍历信息块集合中的每个信息块s_k，对信息块s_k中所有元素的中心点取均值，得到信息块s_k的中心点；

对信息块的中心点进行升序排序，根据排序值，确定每个信息块的排序序号。

作为优选的技术方案，所述对信息块s_k中所有元素的中心点取均值，具体计算公式为：

所述排序值计算公式为：

其中，x_i为信息块s_k中第i个元素的元素框左上角距离信息图表左上角的水平距离，w_i为信息块s_k中第i个元素的元素框宽；y_i为信息块s_k中第i个元素的元素框左上角距离信息图表左上角的垂直距离，h_i为信息块s_k中第i个元素的元素框高。

作为优选的技术方案，所述信息块中的元素类型包含信息文本、信息注解图标、信息注解标题和信息注解文本四种元素类型。

本发明还提供一种基于深度学习的信息图表序列检测系统，包括：元素信息获取模块、信息图表三元组集合构建模块、深度卷积网络训练模块、信息块确定模块和信息序列确定模块；

所述元素信息获取模块用于获取信息图表以及信息图表中所有元素的元素类型和元素属性；

所述信息图表三元组集合构建模块用于根据信息图表中的元素，获取包括不同元素的截图，将信息图表中的所有元素两两组合后，与对应的截图框组合成为信息图表三元组集合；

所述深度卷积网络训练模块用于根据信息图表中的元素、包括不同元素的截图，训练识别信息图表中信息块的深度卷积网络；

所述信息块确定模块用于根据信息图表中的元素、包括不同元素的截图和训练后的深度卷积网络，确定待识别信息图表中的信息块；

所述信息序列确定模块用于根据待识别信息图表中的信息块识别结果，确定待识别信息图表中的信息序列。

本发明与现有技术相比，具有如下优点和有益效果：

本发明对于信息图标的信息块识别具有较高的准确性，对于信息图表中的信息序列识别具有较好的鲁棒性，解决了现有技术在识别信息图表的信息序列时，没有充分考虑信息块的识别，也没有考虑信息序列和信息块之间的结构关系，导致信息图表的信息序列识别效果较差的问题。

附图说明

图1为本发明基于深度学习的信息图表序列检测方法的流程示意图；

图2为本发明信息图表和信息序列、信息块、元素之间的层级关系示意图；

图3为本发明信息图表标题、信息标记、信息主体、信息文本、信息注解文本元素的示意图；

图4为本发明信息图表文本、信息图表装饰、信息注解图标、信息注解标题元素的示意图；

图5为本发明信息注解标记元素的示意图；

图6为本发明深度卷积网络的模型结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

如图1所示，本实施例提供一种基于深度学习的信息图表序列检测方法，包括下述步骤：

S1：获取信息图表以及信息图表中所有元素的元素类型和元素属性；

信息序列的定义为：信息图表中用于传递信息的信息块的有序序列，信息块的序列顺序代表信息图表中传递的信息的先后顺序。

信息图表的定义为：信息图表是用于展示信息、数据、知识等的视觉可视化图表，它使用文本传达信息，并广泛利用静态的图形元素、动态的元素动画以及装饰性元素，帮助观众快速理解图表中的信息、数据和知识。所述元素的定义为：元素是指放置在信息图表中的具有形状的、可填充内容(如文本、图片)的对象，是信息图表中的基本对象；

具体地，信息图表中的元素类型包括：信息文本、信息注解图标、信息注解标题、信息注解文本、信息注解标记、信息标记、信息主体、信息图表标题、信息图表副标题、信息图表文本、信息图表装饰；

元素属性包括：元素位置框，其定义为描述元素的位置和大小的一个四元组(x,y,w,h)，分别代表元素框左上角距离信息图表左上角的水平距离和距离信息图表左上角的垂直距离，元素方框的宽、高。本实施例中的信息图表的元素示例如图2中的信息图表元素4a所示，该元素的x为16.92厘米，y为12.69厘米，w为4.62厘米，h为3.12厘米。

信息图表标题的定义为：一张信息图表的标题，用于概括描述一张信息图表的主要内容。本实施例中的信息图表标题元素示例如图3中的信息图表标题1a所示；

信息标记的定义为：一种装饰性元素，用于标记特定的信息。本实施例中的信息标记元素示例如图3中的信息标记元素2a所示；

信息主体的定义为：表明信息的逻辑顺序或整体结构的装饰性元素。本实施例中的信息主体元素示例如图3中的信息主体元素3a所示；

信息块的定义为：一个信息块由若干元素(一个或者多个，且至少包含一个元素)集合而成，独立表达信息序列中的一个信息；信息块中的元素类型只包括信息文本、信息注解图标、信息注解标题、信息注解文本四种，其他元素类型的元素不包括在信息块中。

信息文本定义为：信息块中字数较少的文本，用于提示当前信息块相对于整个信息图表的关系(如当前信息块的顺序、重要性等)，信息文本是信息块内的元素；本实施例中的信息文本元素示例如图3中的信息文本元素4a所示；

信息注解文本的定义为：信息块中的文本，表明了信息图表中的一个信息的主要内容，信息注解文本是信息块内的元素；本实施例中的信息注解文本元素示例如图3中的信息注解文本元素5a所示；

信息图表副标题的定义为：一张信息图表的副标题，用于辅助信息图表标题，概括一张信息图表的主要内容。本实施例中的信息图表副标题元素示例如图3中的信息图表副标题6a所示；

信息图表文本的定义为：一张信息图表中的非信息块形式的表达信息的文本。本实施例中的信息图表文本元素示例如图4中的信息图表文本1a所示；

信息图表装饰的定义为：一张信息图表中的与信息无关的装饰性元素。本实施例中的信息图表装饰元素示例如图4中的信息图表装饰2a所示；

信息注解图标定义为：信息块中的图标或图片，用于表达信息图表中的一个信息的部分内容，信息注解图标是信息块内的元素；本实施例中的信息注解图标元素示例如图4中的信息注解图标元素3a所示；

信息注解标题的定义为：信息块中的标题，表明了信息图表中的一个信息的内容概要，信息注解标题是信息块内的元素；本实施例中的信息注解标题元素示例如图4中的信息注解标题元素4a所示；

信息注解标记的定义为：作为背景装饰信息块的装饰性元素(不属于信息块)，用于将信息注解标题、信息注解文本和信息注解图标在视觉上组合成一个整体。本实施例中的信息注解标记元素示例如图5中的信息注解标记元素1a所示；

S2：根据信息图表中的元素，获取包含不同元素的截图；

将信息图表中的所有元素两两组合，得到元素组合的集合T_tuple＝{(e_i,e_j)},e_i,e_j∈E′，E′为当前信息图表内的所有元素；

根据元素组合中两个元素的元素位置框，在信息图表中选取一个可以将两个元素包含进去的截图框p_ij＝(x_p,y_p,w_p,h_p)，选取方式如下：

x_p＝min(x_i,x_j)

y_p＝min(y_i,y_j)

w_p＝max(x_i,x_j)-min(x_i,x_j)

h_p＝max(y_i,y_j)-min(y_i,y_j)

其中，x_i，y_i为元素e_i的元素框左上角距离信息图表左上角的水平距离和距离信息图表左上角的垂直距离，x_j，y_j为元素e_j的元素框左上角距离信息图表左上角的水平距离和距离信息图表左上角的垂直距离。

将信息图表中的所有的元素组合及其对应的截图框组合成为信息图表三元组集合T_triplet＝{(e_i,e_j,p_ij)}。

本实施例中，信息图表元素截图示例如图6所示，根据信息图表元素5a和信息图表元素6a得到信息图表截图1a，信息图表截图1a的截图框中，x_p为12.89厘米，y_p为0.47厘米，w_p为4.34厘米，h_p为12.41厘米。

S3：根据信息图表中的元素、包含不同元素的截图，训练识别信息图表中信息块的深度卷积网络；

具体地，根据步骤S2所述的方法，获得的信息图表三元组集合T_triplet＝{(e_i,e_j,p_ij)}，对于集合中的每一个元素截图p_ij，由人工标注截图中所包括的两个元素是否属于同一个信息块(属于同一个信息块标为1，不属于同一个信息块标为0)，将截图和信息块标签组成一个数据标签对<元素截图p_ij，信息块标签>，使用数据标签对训练深度卷积网络模型。

本实施例中，深度卷积网络模型示例如图6卷积神经网络3a所示，优选地，深度卷积网络模型采用一个深度金字塔网络，模型接收如图6所示的信息图表截图1a，获得多个层级的特征表示，由多层级的特征表示，得到预测结果如图6信息块识别结果4a所示，模型根据信息块标签和预测结果的差异进行训练。

S4：根据信息图表中的元素、包含不同元素的截图和训练后的深度卷积网络，确定待识别信息图表中的信息块；

具体地，根据步骤(2)取得待识别信息图表中的信息图表三元组集合T′_triplet＝{(e′_i,e′_j,p_i′_j)}，使用训练后的深度卷积网络，根据信息图表三元组集合中的每一个三元组(e′_i,e′_j,p′_ij)中的元素截图p′_ij，预测元素截图p′_ij所包含的元素e′_i、e′_j是否属于相同的信息块；

将当前信息图表中所有的信息块预测结果和对应的信息元素组合组成信息块三元组的集合T′_block＝{(e′_i,e′_j,t′_ij)}，其中，t′_ij代表e′_i和e′_j是否属于同一个信息块。

S5：根据待识别信息图表中的信息块识别结果，确定待识别信息图表中的信息序列。

具体地，从待识别信息图表中选择一种特定元素类型的元素(较优地，选择的元素类型为信息注解文本)，构成种子元素集合，集合中的每个元素分别属于各不相同的一个信息块；

遍历种子元素集合中的每个元素e，从信息块三元组的集合T′_block＝{(e′_i,e′_j,t′_ij)}中找出模型预测和e属于同一个信息块的所有其他元素，将这些元素确定为与元素e属于相同的信息块。遍历完成后，得到信息图表的信息块集合，信息块集合的形式化表达为：B＝{s₁,...,s_k}(k≥2)，其中s_k＝{e₁,...,e_t}(t≥1)，其中e_t为信息图表中的元素。

遍历信息块集合中的每个信息块s_k，对信息块s_k中所有元素的中心点取均值，得到信息块s_k的中心点，其计算公式为：

其中，x_i为信息块s_k中第i个元素的元素框左上角距离信息图表左上角的水平距离，w_i为信息块s_k中第i个元素的元素框宽；y_i为信息块s_k中第i个元素的元素框左上角距离信息图表左上角的垂直距离，h_i为信息块s_k中第i个元素的元素框高。

对信息块的中心点进行升序排序，根据排序值，确定每个信息块的排序序号。排序值的计算公式为：

本实施例还提供一种基于深度学习的信息图表序列检测系统，包括：元素信息获取模块、信息图表三元组集合构建模块、深度卷积网络训练模块、信息块确定模块和信息序列确定模块；

在本实施例中，元素信息获取模块用于获取信息图表以及信息图表中所有元素的元素类型和元素属性；

在本实施例中，信息图表三元组集合构建模块用于根据信息图表中的元素，获取包括不同元素的截图，将信息图表中的所有元素两两组合后，与对应的截图框组合成为信息图表三元组集合；

在本实施例中，深度卷积网络训练模块用于根据信息图表中的元素、包括不同元素的截图，训练识别信息图表中信息块的深度卷积网络；

在本实施例中，信息块确定模块用于根据信息图表中的元素、包括不同元素的截图和训练后的深度卷积网络，确定待识别信息图表中的信息块；

在本实施例中，信息序列确定模块用于根据待识别信息图表中的信息块识别结果，确定待识别信息图表中的信息序列。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的信息图表序列检测方法，其特征在于，包括下述步骤：

获取信息图表以及信息图表中所有元素的元素类型和元素属性；

根据信息图表中的元素，获取包括不同元素的截图，将信息图表中的所有元素两两组合后，与对应的截图框组合成为信息图表三元组集合；

根据信息图表中的元素、包括不同元素的截图，训练识别信息图表中信息块的深度卷积网络；

根据信息图表中的元素、包括不同元素的截图和训练后的深度卷积网络，确定待识别信息图表中的信息块；

根据待识别信息图表中的信息块识别结果，确定待识别信息图表中的信息序列。

2.根据权利要求1所述的基于深度学习的信息图表序列检测方法，其特征在于，所述元素类型包括：信息文本、信息注解图标、信息注解标题、信息注解文本、信息注解标记、信息标记、信息主体、信息图表标题、信息图表副标题、信息图表文本和信息图表装饰。

3.根据权利要求1所述的基于深度学习的信息图表序列检测方法，其特征在于，所述元素属性包括元素位置框，其定义为描述元素的位置和大小的一个四元组(x,y,w,h)，分别代表元素框左上角距离信息图表左上角的水平距离和距离信息图表左上角的垂直距离，元素方框的宽、高。

4.根据权利要求1所述的基于深度学习的信息图表序列检测方法，其特征在于，所述将信息图表中的所有元素两两组合后，与对应的截图框组合成为信息图表三元组集合，具体步骤包括：

将信息图表中的所有元素两两组合，得到元素组合的集合T_tuple＝{(e_i,e_j)},e_i,e_j∈E′，E′为当前信息图表内的所有元素；

根据元素组合中两个元素的元素位置框，在信息图表中选取一个将两个元素包含进去的截图框p_ij＝(x_p,y_p,w_p,h_p)，选取方式如下：

x_p＝min(x_i,x_j)

y_p＝min(y_i,y_j)

w_p＝max(x_i,x_j)-min(x_i,x_j)

h_p＝max(y_i,y_j)-min(y_i,y_j)

其中，x_i，y_i为元素e_i的元素框左上角距离信息图表左上角的水平距离和距离信息图表左上角的垂直距离，x_j，y_j为元素e_j的元素框左上角距离信息图表左上角的水平距离和距离信息图表左上角的垂直距离；

将信息图表中的所有的元素组合及其对应的截图框组合成为信息图表三元组集合T_triplet＝{(e_i,e_j,p_ij)}。

5.根据权利要求1所述的基于深度学习的信息图表序列检测方法，其特征在于，所述训练识别信息图表中信息块的深度卷积网络，具体步骤包括：

根据信息图表三元组集合，对于集合中的每一个元素截图，由人工标注截图中所包括的两个元素是否属于同一个信息块，将截图和信息块标签组成一个数据标签对，使用数据标签对训练深度卷积网络模型。

6.根据权利要求1所述的基于深度学习的信息图表序列检测方法，其特征在于，所述确定待识别信息图表中的信息块，具体步骤包括：

获取待识别信息图表中的信息图表三元组集合，表示为：T′_triplet＝{(e′_i,e′_j,p′_ij)}，使用训练后的深度卷积网络，根据信息图表三元组集合中的每一个三元组(e′_i,e′_j,p′_ij)中的元素截图p′_ij，预测元素截图p′_ij所包含的元素e′_i、e′_j是否属于相同的信息块；

将当前信息图表中所有的信息块预测结果和对应的信息元素组合组成信息块三元组的集合T′_block＝{(e′_i,e′_j,t′_ij)}，其中，t′_ij代表e′_i和e′_j是否属于同一个信息块。

7.根据权利要求1所述的基于深度学习的信息图表序列检测方法，其特征在于，所述根据待识别信息图表中的信息块识别结果，确定待识别信息图表中的信息序列，具体步骤包括：

从待识别信息图表中选择一种特定元素类型的元素，构成种子元素集合，集合中的每个元素分别属于各不相同的一个信息块；

遍历种子元素集合中的每个元素e，从信息块三元组的集合T′_block＝{(e′_i,e′_j,t′_ij)}中找出模型预测和e属于同一个信息块的所有其他元素，将这些元素确定为与元素e属于相同的信息块；

遍历完成后，得到信息图表的信息块集合，信息块集合的形式化表达为：B＝{s₁,...,s_k}(k≥2)，其中s_k＝{e₁,...,e_t}(t≥1)，其中e_t为信息图表中的元素；

遍历信息块集合中的每个信息块s_k，对信息块s_k中所有元素的中心点取均值，得到信息块s_k的中心点；

对信息块的中心点进行升序排序，根据排序值，确定每个信息块的排序序号。

8.根据权利要求7所述的基于深度学习的信息图表序列检测方法，其特征在于，所述对信息块s_k中所有元素的中心点取均值，具体计算公式为：

所述排序值计算公式为：

其中，x_i为信息块s_k中第i个元素的元素框左上角距离信息图表左上角的水平距离，w_i为信息块s_k中第i个元素的元素框宽；y_i为信息块s_k中第i个元素的元素框左上角距离信息图表左上角的垂直距离，h_i为信息块s_k中第i个元素的元素框高。

9.根据权利要求1所述的基于深度学习的信息图表序列检测方法，其特征在于，所述信息块中的元素类型包含信息文本、信息注解图标、信息注解标题和信息注解文本四种元素类型。

10.一种基于深度学习的信息图表序列检测系统，其特征在于，包括：元素信息获取模块、信息图表三元组集合构建模块、深度卷积网络训练模块、信息块确定模块和信息序列确定模块；

所述元素信息获取模块用于获取信息图表以及信息图表中所有元素的元素类型和元素属性；

所述信息图表三元组集合构建模块用于根据信息图表中的元素，获取包括不同元素的截图，将信息图表中的所有元素两两组合后，与对应的截图框组合成为信息图表三元组集合；

所述深度卷积网络训练模块用于根据信息图表中的元素、包括不同元素的截图，训练识别信息图表中信息块的深度卷积网络；

所述信息块确定模块用于根据信息图表中的元素、包括不同元素的截图和训练后的深度卷积网络，确定待识别信息图表中的信息块；

所述信息序列确定模块用于根据待识别信息图表中的信息块识别结果，确定待识别信息图表中的信息序列。

Images