CN111444776A - 用于解析流程图的方法、装置、存储介质及计算机设备 - Google Patents

Abstract

本发明提出一种用于解析流程图的方法、装置、存储介质及计算机设备，该方法包括获取流程图；识别流程图内各元素的元素信息；根据元素信息从多个元素中识别出箭头元素；根据箭头元素的元素信息，结合其它元素的元素信息解析流程图，箭头元素和其它元素共同组成多个元素。通过本发明能够有效地解析识别图文信息中流程图所呈现的数据内容，具有较好的解析识别效果。

Description

用于解析流程图的方法、装置、存储介质及计算机设备

技术领域

本发明涉及人工智能技术领域，尤其涉及一种用于解析流程图的方法、装置、存储介质及计算机设备。

背景技术

随着人工智能技术的不断发展，采用机器理解图文信息成为现实，在一些应用场景下，通常需要对于许多行业中的工具书籍的图文信息进行数据内容的解析和管理。

相关技术中，通常采用NLP(Natural Language Processing，自然语言处理)技术可以对图文信息进行数据内容的解析和管理，从而辅助用户理解工其中的数据内容。

这些方式下，不能够解析识别图文信息中流程图所呈现的数据内容。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种用于解析流程图的方法、装置、存储介质及计算机设备，能够有效地解析识别图文信息中流程图所呈现的数据内容，具有较好的解析识别效果。

本发明第一方面实施例提出的用于解析流程图的方法，包括：获取流程图；识别所述流程图内各元素的元素信息；根据所述元素信息从多个元素中识别出箭头元素；根据所述箭头元素的元素信息，结合其它元素的元素信息解析所述流程图，所述箭头元素和所述其它元素共同组成所述多个元素。

本发明第一方面实施例提出的用于解析流程图的方法，通过获取流程图，在识别流程图内各元素的元素信息，并根据元素信息从多个元素中识别出箭头元素，以及根据箭头元素的元素信息，结合其它元素的元素信息解析流程图，箭头元素和其它元素共同组成多个元素，能够有效地解析识别图文信息中流程图所呈现的数据内容，具有较好的解析识别效果。

本发明第二方面实施例提出的用于解析流程图的装置，包括：获取模块，用于获取流程图；第一识别模块，用于识别所述流程图内各元素的元素信息；第二识别模块，用于根据所述元素信息从多个元素中识别出箭头元素；解析模块，用于根据所述箭头元素的元素信息，结合其它元素的元素信息解析所述流程图，所述箭头元素和所述其它元素共同组成所述多个元素。

本发明第二方面实施例提出的用于解析流程图的装置，通过获取流程图，在识别流程图内各元素的元素信息，并根据元素信息从多个元素中识别出箭头元素，以及根据箭头元素的元素信息，结合其它元素的元素信息解析流程图，箭头元素和其它元素共同组成多个元素，能够有效地解析识别图文信息中流程图所呈现的数据内容，具有较好的解析识别效果。

本发明第三方面实施例提出的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面实施例提出的用于解析流程图的方法。

本发明第三方面实施例提出的计算机可读存储介质，通过获取流程图，在识别流程图内各元素的元素信息，并根据元素信息从多个元素中识别出箭头元素，以及根据箭头元素的元素信息，结合其它元素的元素信息解析流程图，箭头元素和其它元素共同组成多个元素，能够有效地解析识别图文信息中流程图所呈现的数据内容，具有较好的解析识别效果。

本发明第四方面实施例提出的计算机设备，包括壳体、处理器、存储器、电路板和电源电路，其中，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为所述计算机设备的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行：获取流程图；识别所述流程图内各元素的元素信息；根据所述元素信息从多个元素中识别出箭头元素；根据所述箭头元素的元素信息，结合其它元素的元素信息解析所述流程图，所述箭头元素和所述其它元素共同组成所述多个元素。

本发明第四方面实施例提出的计算机设备，通过获取流程图，在识别流程图内各元素的元素信息，并根据元素信息从多个元素中识别出箭头元素，以及根据箭头元素的元素信息，结合其它元素的元素信息解析流程图，箭头元素和其它元素共同组成多个元素，能够有效地解析识别图文信息中流程图所呈现的数据内容，具有较好的解析识别效果。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一实施例提出的用于解析流程图的方法的流程示意图；

图2为本发明实施例流程图中的元素示意图；

图3是本发明另一实施例提出的用于解析流程图的方法的流程示意图；

图4a为本发明一实施例中滑动核的滑动示意图；

图4b为本发明一实施例中滑动核的滑动示意图；

图4c为本发明一实施例中滑动核的滑动示意图；

图4d为本发明一实施例中滑动核的滑动示意图；

图5是本发明一实施例提出的用于解析流程图的装置的结构示意图；

图6是本发明另一实施例提出的用于解析流程图的装置的结构示意图；

图7是本发明一实施例提出的计算机设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

图1是本发明一实施例提出的用于解析流程图的方法的流程示意图。

本实施例以该用于解析流程图的方法被配置为用于解析流程图的装置中来举例说明。

本实施例中用于解析流程图的方法可以被配置在用于解析流程图的装置中，用于解析流程图的装置可以设置在服务器中，或者也可以设置在电子设备中，本发明实施例对此不作限制。

本实施例以用于解析流程图的方法被配置在电子设备中为例。

其中，电子设备例如智能手机、平板电脑、个人数字助理、电子书等具有各种操作系统的硬件设备。

需要说明的是，本发明实施例的执行主体，在硬件上可以例如为电子设备中的中央处理器(Central Processing Unit，CPU)，在软件上可以例如为电子设备中的图文信息解析类的服务，对此不作限制。

参见图1，该方法包括：

S101：获取流程图。

其中，该流程图即为待解析的流程图，该流程图可以预先以图片形式存储在电子设备中，在执行用于解析流程图的方法时，可以直接从电子设备中调用该流程图。

当然，该流程图也可以为待解析数据内容的图书文本中的流程图，在执行用于解析流程图的方法时，由电子设备中图文信息解析类的服务扫描待解析数据内容的图书文本，从而从中识别出流程图，对此不作限制。

其中流程图的格式可以例如为Webp格式、BMP格式、PCX格式、TIF格式、JPEG格式、RAW格式、AI格式等，对此不作限制。

S102：识别流程图内各元素的元素信息。

其中，元素信息可以例如包括各元素的位置和类别，该位置可以为元素相对于流程图内的基准位置的一个相对位置，可以采用坐标的形式表示该位置，该类别可以具体用于描述元素属于的类别，类别例如，过程类别、可选过程类别、文档类别、决策类别、数据类别以及箭头类别等。

相对应地，可以根据各元素的类别命名相应的元素，过程类别的元素可以被称为过程元素、可选过程类别的元素可以被称为可选过程元素、文档类别的元素可以被称为文档元素、决策类别的元素可以被称为决策元素、数据类别的元素可以被称为数据元素，以及箭头类别的元素可以被称为箭头元素，对此不作限制。

作为一种示例，参见图2，图2为本发明实施例流程图中的元素示意图。流程图中包括有8种类别的元素，也即类别1-类别8，其中类别1-类别3可以被称为过程类别，类别4可以被称为文档类别，类别5可以被称为可选过程类别，类别6和7可以被称为数据类别，类别8可以被称为箭头类别，各类别元素的元素信息还相对应地，具有输入内容和/或输出内容，例如前述的类别1具有输出内容(是指该类别1的元素向下一个类别2的元素输出内容)，类别2具有输入内容和输出内容(是指该类别2的元素向下一个类别2的元素输出内容，同时该类别2的元素接收类别1的元素的输出内容，类别1的元素的输出内容，对应于类别2的元素的输入内容)，以此类推，该示例仅作为一种对流程图中元素及元素信息的解释，不能认为是对流程图中元素及元素信息的限制。

在具体执行的过程中，可以采用图像识别算法识别流程图内各元素的图像特征，或者，采用计算机视觉中的目标检测算法识别流程图内各元素的图像特征，并根据该图像特征结合设定的规则对各元素进行归类，例如设定的规则可以为图像特征与相应的元素类别之间的对应关系，并识别各元素的中心点在流程图中的位置作为该元素的位置，将所得到的类别和位置作为该元素的元素信息，对此不作限制。

当然，也可以采用其它任意可能的方法识别流程图内各元素的图像特征，并基于所识别的图像特征确定各元素的元素信息。

可以理解的是，由于流程图表征的数据内容较为丰富，通常一个流程图内可能包含多种类别的元素，并且，元素之间的元素信息各不相同。

在具体执行过程中，当采用上述方式识别流程图内各元素的元素信息之后，还可以将元素的标识(可以根据各元素的类别命名相应的元素，从而将各元素的命名作为标识)和对应的元素信息以一定的数据结构进行存储，该数据结构可以用于呈现元素的标识、类别、元素的位置(位置例如为相对于一个直角坐标系的横坐标和纵坐标，并且基于该位置可以确定元素所占据区域的宽度和高度，对此不作限制)，通过以数据结构的形式对流程图中各元素以及对应的元素信息进行存储，能够有效地辅助后续流程图的解析，便于电子设备高效地识别并记录流程图中所包含元素的情况，提升方法的执行效率。

数据结构例如数组，[类别N，横坐标x，纵坐标y，宽w，高h]，在存储时，将各元素对应的数组存储至电子设备中，并记为K_n，其中，n为元素的索引，n取值为大于或者等于1的正整数，一并参见上述图2，若检测到的元素的类别为类别1，则记录K₁＝[类别1，横坐标x₁，纵坐标y₁，宽w₁，高h₁]，若检测到的元素类别为类别2-类别4，则记录K_i，i取值为2、3、4，K_i＝[类别i，横坐标x_i，纵坐标y_i，宽w_i，高h_i,输入内容S]，若检测到的元素类别为类别5，记录K₅＝[类别5，横坐标x₅，纵坐标y₅，宽w₅，高h₅,输入内容S,输出内容S₆，输出内容S₇]，其中，S₆、S₇为元素K₆、元素K₇的元素信息。

由上述可见，当元素的类别为图2所示中的类别5时，记录的输入内容为类别6元素的元素信息，和类别7元素的元素信息，类别6和类别7为数据类别，则可以相应地将输出内容S₆记录为元素6的数据内容，将输出内容S₇记录为元素7的数据内容，对此不作限制。

S103：根据元素信息从多个元素中识别出箭头元素。

在上述识别了流程图中各元素的元素信息之后，可以根据元素信息从多个元素中识别出箭头元素，从而辅助后续对流程图的解析识别。

可选地，可以将所述多个元素中类别为箭头类别的元素作为所述箭头元素，一并参见上述的图2，图2中类别8的即为箭头类别，通过将所述多个元素中类别为箭头类别的元素作为所述箭头元素，可以快速地识别出流程图中的箭头元素，并且，由于箭头元素结合其它元素的元素信息描述了流程图内数据流转信息，从而通过首先识别出箭头元素的元素信息辅助对流程图的解析识别，使得解析识别效果更为精准，准确地提取出流程图内数据流转信息，从而使得有效地解析识别图文信息中流程图所呈现的数据内容。

S104：根据箭头元素的元素信息，结合其它元素的元素信息解析流程图，箭头元素和其它元素共同组成多个元素。

可以理解的是，根据流程图的特征，通常由若干个箭头元素与其它类别的元素相连接，并采用箭头元素的箭头标识出流程图内数据流转信息，从而可以实现根据箭头元素的元素信息，结合其它元素的元素信息即高效地解析流程图。

在具体执行的过程中，可以将箭头元素的元素信息和其它元素的元素信息输入一个预训练的模型中，解析该预训练的模型的输出从而得到流程图解析的结果，该解析的结果具体为流程图内的数据内容，或者也可以采用其它任意可能的方式结合箭头元素的元素信息和其它元素的元素信息解析流程图，对此不作限制。

而本发明实施例中，则是根据所述箭头元素的元素信息结合所述其它元素的输入内容和/或输出内容，以及所述其它元素的位置和类别从所述其它元素中识别出第一元素，所述第一元素为与所述箭头元素存在关联关系的其它元素，并获取所述箭头元素的元素信息和所述第一元素的元素信息的关联关系，以及识别所述第一元素描述的文本内容，采用所述关联关系以及所述文本内容解析所述流程图，由于是首先从其它元素中识别出与所述箭头元素存在关联关系的其它元素，并形成所述箭头元素的元素信息和所述第一元素的元素信息的关联关系，采用该关联关系解析流程图，能够实现基于数据顺序流转的角度解析流程图，能够厘清流程图内的数据流转情况，提升流程图解析的全面性，且基于存在关联关系的第一元素的角度触发解析流程图，使得解析过程更为高效便捷。

作为一种示例，一并参见上述图2，箭头元素为类别8指示的元素，与类别8的箭头元素存在关联关系的元素可以为：类别5指示的元素，类别7指示的元素，以及类别2指示的元素，由此可知，流程图中不同的箭头元素对应的第一元素的数量为多个，多个第一元素可以形成第一元素集合，并且，不同的箭头元素的第一元素结合可以具有或者不具有交集，对此不作限制。

进一步地，在上述示例中确定了与类别8的箭头元素存在关联关系的元素可以为：类别5指示的元素，类别7指示的元素，以及类别2指示的元素之后，可以形成这些元素之间的关联关系，该关联关系可以用于描述这些元素所显示的数据内容，以及数据流转的情况等，对此不作限制。

本实施例中，通过获取流程图，在识别流程图内各元素的元素信息，并根据元素信息从多个元素中识别出箭头元素，以及根据箭头元素的元素信息，结合其它元素的元素信息解析流程图，箭头元素和其它元素共同组成多个元素，能够有效地解析识别图文信息中流程图所呈现的数据内容，具有较好的解析识别效果。

图3是本发明另一实施例提出的用于解析流程图的方法的流程图。

S301：获取流程图。

S302：识别流程图内各元素的元素信息。

S303：根据元素信息从多个元素中识别出箭头元素。

S301-S303的描述可以具体参见上述实施例，在此不再赘述。

S304：根据箭头元素的元素信息结合其它元素的输入内容和/或输出内容，以及其它元素的位置和类别从其它元素中识别出第一元素，第一元素为与箭头元素存在关联关系的其它元素。

本发明实施例中，可以控制滑动核在所述流程图内，以所述箭头元素的位置为起点滑动，并识别所述滑动核在滑动过程中所框出的满足第一设定条件的目标元素，所述目标元素属于所述其它元素，以及结合所述目标元素的输入内容和/或输出内容，以及所述目标元素的位置和类别从所述目标元素中识别出至少一个的第一元素，实现从多个其它元素中识别出了与箭头元素存在关联关系第一元素，由于与箭头元素相关的关联关系能够较好地表征出流程图的信息，因此，通过识别了第一元素，能够有效地辅助后续流程图的解析。

其中，第一设定条件可以是预先设定的，可以由电子设备的出厂程序预先设定，或者，也可以由流程图解析的实际应用需求进行动态设定，对此不作限制。

本发明实施例中，满足第一设定条件的目标元素例如为：经过滑动核核内中心点的像素所属的元素，并且，满足方向筛选条件的像素所属的元素。

其中，方向筛选条件例如为：当滑动核向上滑动时，则确定滑动核向上滑动时经过核内中心点的像素为满足方向筛选条件的像素，以此类推，当滑动核向下滑动时，则确定滑动核向下滑动时经过核内中心点的像素为满足方向筛选条件的像素，当滑动核向左滑动时，则确定滑动核向左滑动时经过核内中心点的像素为满足方向筛选条件的像素，当滑动核向右滑动时，则确定滑动核向右滑动时经过核内中心点的像素为满足方向筛选条件的像素。

上述在控制滑动核在所述流程图内，以所述箭头元素的位置为起点滑动时，可以是确定所述箭头元素的子类别，并根据所述子类别确定所述滑动核的滑动方向，以及控制所述滑动核在所述流程图内，以所述箭头元素的位置为起点并沿着所述滑动方向滑动，能够精准地识别出最为适配的滑动方向，从而辅助后续对第一元素的识别。

上述在根据所述子类别确定所述滑动核的滑动方向，可以是根据所述子类别确定所述箭头元素的箭头指向，并将与所述箭头指向相反的方向作为所述滑动核的滑动方向，能够实现与箭头元素的子类别对应的方向进行滑动，保障了对与箭头元素存在关联关系的第一元素识别准确性。

作为一种示例，参见图4a、4b、4c、4d，其中，G为滑动核的中心点，位于正方形的几何中心位置，图4a为本发明一实施例中滑动核的滑动示意图，图4b为本发明一实施例中滑动核的滑动示意图，图4c为本发明一实施例中滑动核的滑动示意图，图4d为本发明一实施例中滑动核的滑动示意图，其中，在检测到方向向下的箭头元素时，滑动核向上滑动；在检测到方向向上的箭头元素时，滑动核向下滑动；在检测到方向向左的箭头元素时，滑动核向右滑动；在检测到方向向右的箭头元素时，滑动核向左滑动。

上述在控制所述滑动核在所述流程图内，以所述箭头元素的位置为起点并沿着所述滑动方向滑动至少两次，直至满足停止滑动条件，有效提升流程图解析方法的完备性，使得流程图解析方法的应用更为适用，提升用户使用体验度。

可选地，所述停止滑动条件为：

所述滑动核在所述流程图内滑动一定的距离后，所述滑动核能够接触目标类别的元素，且，所述滑动核最近一次的滑动方向与所述目标类别的元素的接触边缘相互垂直，则确定满足所述停止滑动条件；或者，

所述滑动核在所述流程图内滑动一定的距离后，所述滑动核未能接触所述目标类别的元素，则确定满足所述停止滑动条件，合理地设定了滑动核停止滑动的时机，有效地辅助流程图解析方法的实际应用。

其中，一并参见上述图2，目标类别为上述图2中类别2、类别3，以及类别4指示的类别。

作为一种示例，一并参见上述图2，在检测到类别2，或者，类别3，或者，类别4，并且滑动核与类别2，或者，类别3，或者，类别4的元素的情况符合上述停止滑动条件所描述的情况时，则控制滑动核停止滑动，还可以触发后续步骤，例如，当所述滑动核能够接触目标类别的元素，且，所述滑动核最近一次的滑动方向与所述目标类别的元素的接触边缘相互垂直，则将该滑动核接触到的目标元素的类别记录在与滑动核一开始接触的类别处，而若滑动核未能接触所述目标类别的元素，则将该滑动支路取消。

上述在控制所述滑动核在初始滑动时，以设定距离滑动；控制所述滑动核在再次滑动时，以更新的距离滑动，能够使得滑动核的滑动更为有效地辅助流程图的解析，使得滑动核的应用结合效果更佳，使得滑动核的控制更为灵活。

可选地，上述设定距离和更新的距离确定的规则可以示例如下：

所述滑动核的形状为正方形，所述设定距离等于所述正方形的边长的一半；

在再次滑动确定更新的距离时，可以判断在所述再次滑动时，上次滑动后的滑动核内部所述目标元素的分布情况是否满足第二设定条件；若满足所述第二设定条件，则将所述更新的距离确定为所述设定距离；若不满足所述第二设定条件，则将所述更新的距离确定为所述上次滑动后经过所述滑动核中心点的元素的长度值，能够有效地确定出最相适配的滑动距离，从而辅助识别出与箭头元素存在关联关系的第一元素。

其中，第二设定条件可以是预先设定的，可以由电子设备的出厂程序预先设定，也可以由流程图解析的实际应用需求进行动态设定，对此不作限制。

本发明实施例中，第二设定条件例如为：根据目标元素在滑动核内的分布情况，在目标元素的元素长度(或者宽度)占据滑动核内对应方向上的全部像素时，确定目标元素的分布情况满足第二设定条件，而在目标元素的元素长度(或者宽度)占据滑动核内像素的一部分时，则确定目标元素的分布情况不满足第二设定条件。

S305：获取箭头元素的元素信息和第一元素的元素信息的关联关系。

作为一种示例，当第一元素为过程类别的元素时，则其与箭头元素的关联关系可以为顺序连接的关系，该顺序连接的关系可以是一种时间上的先后顺序，当第一元素为决策类别的元素时，则其与箭头元素的关联关系可以为选择关系，选择关系即，该决策类别的元素可能对应有两个或者多个元素，其中，不同元素的决策选取具体根据流程图所表征的含义确定。

通过获取箭头元素的元素信息和第一元素的元素信息的关联关系，能够采用元素信息之间的关联关系描述对应元素之间的相关情况，使得流程图的解析以元素信息之间的关联关系为基础，由此能够有效地辅助后续流程图的解析。

S306：识别第一元素描述的文本内容。

在具体执行的过程中，可以通过ORC(Optical Character Recognition光学字符识别)文字识别技术，可以识别出第一元素中描述的文本内容，当采用ORC文字识别技术时，通常可以采用扫描仪或数码相机，扫描第一元素对应的图片中的字符，并通过检测暗、亮的模式确定其形状，从而根据字符识别方法将第一元素对应图片中的字符翻译成计算机文字从而得到文本内容，对此不作限制。

S307：采用关联关系以及文本内容解析流程图。

在上述采用元素信息之间的关联关系描述对应元素之间的相关情况之后，还通过识别第一元素描述的文本内容，由此，可以将元素信息之间的关联关系与第一元素描述的文本内容相结合，共同解析流程图，使得流程图的解析更为全面，能够获取结构层面和内容层面的解析结果，有效提升解析效果和解析全面性，提升用户使用体验度，并扩展了流程图解析方法的应用领域。

本实施例中，通过获取流程图，在识别流程图内各元素的元素信息，根据元素信息从多个元素中识别出箭头元素，能够有效地解析识别图文信息中流程图所呈现的数据内容，具有较好的解析识别效果。通过根据箭头元素的元素信息结合其它元素的输入内容和/或输出内容，以及其它元素的位置和类别从其它元素中识别出第一元素，第一元素为与箭头元素存在关联关系的其它元素，由于与箭头元素相关的关联关系能够较好地表征出流程图的信息，因此，通过识别了第一元素，能够有效地辅助后续流程图的解析。通过获取箭头元素的元素信息和第一元素的元素信息的关联关系，能够采用元素信息之间的关联关系描述对应元素之间的相关情况，使得流程图的解析以元素信息之间的关联关系为基础，由此能够有效地辅助后续流程图的解析。通过识别第一元素描述的文本内容，并采用关联关系以及文本内容解析流程图，能够获取结构层面和内容层面的解析结果，有效提升解析效果和解析全面性，提升用户使用体验度，并扩展了流程图解析方法的应用领域。

图5是本发明一实施例提出的用于解析流程图的装置的结构示意图。

参见图5，装置500，包括：

获取模块501，用于获取流程图；

第一识别模块502，用于识别流程图内各元素的元素信息；

第二识别模块503，用于根据元素信息从多个元素中识别出箭头元素；

解析模块504，用于根据箭头元素的元素信息，结合其它元素的元素信息解析流程图，箭头元素和其它元素共同组成多个元素。

可选地，一些实施例中，第一识别模块502，具体用于：

识别各元素的位置和类别，并将位置和类别作为元素信息；

第二识别模块503，具体用于：

将多个元素中类别为箭头类别的元素作为箭头元素。

可选地，一些实施例中，参加图6，元素信息还包括：输入内容和/或输出内容，解析模块504，包括：

第一识别子模块5041，用于根据箭头元素的元素信息结合其它元素的输入内容和/或输出内容，以及其它元素的位置和类别从其它元素中识别出第一元素，第一元素为与箭头元素存在关联关系的其它元素；

获取子模块5042，用于获取箭头元素的元素信息和第一元素的元素信息的关联关系；

第二识别子模块5043，用于识别第一元素描述的文本内容；

解析子模块5044，用于采用关联关系以及文本内容解析流程图。

可选地，一些实施例中，参见图6，第一识别子模5041，包括：

控制单元50411，用于控制滑动核在流程图内，以箭头元素的位置为起点滑动；

第一识别单元50412，用于识别滑动核在滑动过程中所框出的满足第一设定条件的目标元素，目标元素属于其它元素；

第二识别单元50413，用于结合目标元素的输入内容和/或输出内容，以及目标元素的位置和类别从目标元素中识别出至少一个的第一元素。

可选地，一些实施例中，参见图6，控制单50411，具体用于：

确定箭头元素的子类别；

根据子类别确定滑动核的滑动方向；

控制滑动核在流程图内，以箭头元素的位置为起点并沿着滑动方向滑动。

可选地，一些实施例中，参见图6，控制单元50411，还用于：

根据子类别确定箭头元素的箭头指向；

将与箭头指向相反的方向作为滑动核的滑动方向。

可选地，一些实施例中，参见图6，控制单元50411，用于：

控制滑动核在流程图内，以箭头元素的位置为起点并沿着滑动方向滑动至少两次，直至满足停止滑动条件。

可选地，一些实施例中，参见图6，控制单元50411，还用于：

控制滑动核在初始滑动时，以设定距离滑动；

控制滑动核在再次滑动时，以更新的距离滑动。

可选地，一些实施例中，参见图6，滑动核的形状为正方形，设定距离等于正方形的边长的一半。

可选地，一些实施例中，参见图6，控制单元50411，还用于：

判断在再次滑动时，上次滑动后的滑动核内部目标元素的分布情况是否满足第二设定条件；

若满足第二设定条件，则将更新的距离确定为设定距离；

若不满足第二设定条件，则将更新的距离确定为上次滑动后经过滑动核中心点的元素的长度值。

可选地，一些实施例中，参见图6，停止滑动条件为：

滑动核在流程图内滑动一定的距离后，滑动核能够接触目标类别的元素，且，滑动核最近一次的滑动方向与目标类别的元素的接触边缘相互垂直，则确定满足停止滑动条件；或者，

滑动核在流程图内滑动一定的距离后，滑动核未能接触目标类别的元素，则确定满足停止滑动条件。

需要说明的是，前述图1-图4实施例中对用于解析流程图的方法实施例的解释说明也适用于该实施例的用于解析流程图的装置500，其实现原理类似，此处不再赘述

本实施例中，通过获取流程图，在识别流程图内各元素的元素信息，并根据元素信息从多个元素中识别出箭头元素，以及根据箭头元素的元素信息，结合其它元素的元素信息解析流程图，箭头元素和其它元素共同组成多个元素，能够有效地解析识别图文信息中流程图所呈现的数据内容，具有较好的解析识别效果。

图7是本发明一实施例提出的计算机设备的结构示意图。

参见图7，本实施例的计算机设备70包括：壳体701、处理器702、存储器703、电路板704、电源电路705，电路板704安置在壳体701围成的空间内部，处理器702、存储器703设置在电路板704上；电源电路705，用于为计算机设备70各个电路或器件供电；存储器703用于存储可执行程序代码；其中，处理器702通过读取存储器703中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行：

获取流程图；

识别流程图内各元素的元素信息；

根据元素信息从多个元素中识别出箭头元素；

根据箭头元素的元素信息，结合其它元素的元素信息解析流程图，箭头元素和其它元素共同组成多个元素。

需要说明的是，前述图1-图4实施例中对用于解析流程图的方法实施例的解释说明也适用于该实施例的计算机设备70，其实现原理类似，此处不再赘述。

本实施例中，通过获取流程图，在识别流程图内各元素的元素信息，并根据元素信息从多个元素中识别出箭头元素，以及根据箭头元素的元素信息，结合其它元素的元素信息解析流程图，箭头元素和其它元素共同组成多个元素，能够有效地解析识别图文信息中流程图所呈现的数据内容，具有较好的解析识别效果。

为了实现上述实施例，本发明实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法实施例的用于解析流程图的方法。

本实施例中，通过获取流程图，在识别流程图内各元素的元素信息，并根据元素信息从多个元素中识别出箭头元素，以及根据箭头元素的元素信息，结合其它元素的元素信息解析流程图，箭头元素和其它元素共同组成多个元素，能够有效地解析识别图文信息中流程图所呈现的数据内容，具有较好的解析识别效果。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (24)

1.一种用于解析流程图的方法，其特征在于，所述方法包括：

获取流程图；

识别所述流程图内各元素的元素信息；

根据所述元素信息从多个元素中识别出箭头元素；

根据所述箭头元素的元素信息，结合其它元素的元素信息解析所述流程图，所述箭头元素和所述其它元素共同组成所述多个元素。

2.如权利要求1所述的用于解析流程图的方法，其特征在于，所述识别所述流程图内各元素的元素信息，包括：

识别所述各元素的位置和类别，并将所述位置和类别作为所述元素信息；

所述根据所述元素信息从多个元素中识别出箭头元素，包括：

将所述多个元素中类别为箭头类别的元素作为所述箭头元素。

3.如权利要求2所述的用于解析流程图的方法，其特征在于，所述元素信息还包括：输入内容和/或输出内容，所述根据所述箭头元素的元素信息，结合其它元素的元素信息解析所述流程图，包括：

根据所述箭头元素的元素信息结合所述其它元素的输入内容和/或输出内容，以及所述其它元素的位置和类别从所述其它元素中识别出第一元素，所述第一元素为与所述箭头元素存在关联关系的其它元素；

获取所述箭头元素的元素信息和所述第一元素的元素信息的关联关系；

识别所述第一元素描述的文本内容；

采用所述关联关系以及所述文本内容解析所述流程图。

4.如权利要求3所述的用于解析流程图的方法，其特征在于，所述根据所述箭头元素的元素信息结合所述其它元素的输入内容和/或输出内容，以及所述其它元素的位置和类别从所述其它元素中识别出第一元素，包括：

控制滑动核在所述流程图内，以所述箭头元素的位置为起点滑动；

识别所述滑动核在滑动过程中所框出的满足第一设定条件的目标元素，所述目标元素属于所述其它元素；

结合所述目标元素的输入内容和/或输出内容，以及所述目标元素的位置和类别从所述目标元素中识别出至少一个的第一元素。

5.如权利要求4所述的用于解析流程图的方法，其特征在于，所述控制滑动核在所述流程图内，以所述箭头元素的位置为起点滑动，包括：

确定所述箭头元素的子类别；

根据所述子类别确定所述滑动核的滑动方向；

控制所述滑动核在所述流程图内，以所述箭头元素的位置为起点并沿着所述滑动方向滑动。

6.如权利要求5所述的用于解析流程图的方法，其特征在于，所述根据所述子类别确定所述滑动核的滑动方向，包括：

根据所述子类别确定所述箭头元素的箭头指向；

将与所述箭头指向相反的方向作为所述滑动核的滑动方向。

7.如权利要求5所述的用于解析流程图的方法，其特征在于，所述控制所述滑动核在所述流程图内，以所述箭头元素的位置为起点并沿着所述滑动方向滑动，包括：

控制所述滑动核在所述流程图内，以所述箭头元素的位置为起点并沿着所述滑动方向滑动至少两次，直至满足停止滑动条件。

8.如权利要求7所述的用于解析流程图的方法，其特征在于，其中，

控制所述滑动核在初始滑动时，以设定距离滑动；

控制所述滑动核在再次滑动时，以更新的距离滑动。

9.如权利要求8所述的用于解析流程图的方法，其特征在于，所述滑动核的形状为正方形，所述设定距离等于所述正方形的边长的一半。

10.如权利要求8所述的用于解析流程图的方法，其特征在于，所述控制所述滑动核在再次滑动时，以更新的距离滑动，包括：

判断在所述再次滑动时，上次滑动后的滑动核内部所述目标元素的分布情况是否满足第二设定条件；

若满足所述第二设定条件，则将所述更新的距离确定为所述设定距离；

若不满足所述第二设定条件，则将所述更新的距离确定为所述上次滑动后经过所述滑动核中心点的元素的长度值。

11.如权利要求7所述的用于解析流程图的方法，其特征在于，所述停止滑动条件为：

所述滑动核在所述流程图内滑动一定的距离后，所述滑动核能够接触目标类别的元素，且，所述滑动核最近一次的滑动方向与所述目标类别的元素的接触边缘相互垂直，则确定满足所述停止滑动条件；或者，

所述滑动核在所述流程图内滑动一定的距离后，所述滑动核未能接触所述目标类别的元素，则确定满足所述停止滑动条件。

12.一种用于解析流程图的装置，其特征在于，所述装置包括：

获取模块，用于获取流程图；

第一识别模块，用于识别所述流程图内各元素的元素信息；

第二识别模块，用于根据所述元素信息从多个元素中识别出箭头元素；

解析模块，用于根据所述箭头元素的元素信息，结合其它元素的元素信息解析所述流程图，所述箭头元素和所述其它元素共同组成所述多个元素。

13.如权利要求12所述的用于解析流程图的装置，其特征在于，所述第一识别模块，具体用于：

识别所述各元素的位置和类别，并将所述位置和类别作为所述元素信息；

所述第二识别模块，具体用于：

将所述多个元素中类别为箭头类别的元素作为所述箭头元素。

14.如权利要求13所述的用于解析流程图的装置，其特征在于，所述元素信息还包括：输入内容和/或输出内容，所述解析模块，包括：

第一识别子模块，用于根据所述箭头元素的元素信息结合所述其它元素的输入内容和/或输出内容，以及所述其它元素的位置和类别从所述其它元素中识别出第一元素，所述第一元素为与所述箭头元素存在关联关系的其它元素；

获取子模块，用于获取所述箭头元素的元素信息和所述第一元素的元素信息的关联关系；

第二识别子模块，用于识别所述第一元素描述的文本内容；

解析子模块，用于采用所述关联关系以及所述文本内容解析所述流程图。

15.如权利要求14所述的用于解析流程图的装置，其特征在于，所述第一识别子模块，包括：

控制单元，用于控制滑动核在所述流程图内，以所述箭头元素的位置为起点滑动；

第一识别单元，用于识别所述滑动核在滑动过程中所框出的满足第一设定条件的目标元素，所述目标元素属于所述其它元素；

第二识别单元，用于结合所述目标元素的输入内容和/或输出内容，以及所述目标元素的位置和类别从所述目标元素中识别出至少一个的第一元素。

16.如权利要求15所述的用于解析流程图的装置，其特征在于，所述控制单元，具体用于：

确定所述箭头元素的子类别；

根据所述子类别确定所述滑动核的滑动方向；

控制所述滑动核在所述流程图内，以所述箭头元素的位置为起点并沿着所述滑动方向滑动。

17.如权利要求16所述的用于解析流程图的装置，其特征在于，所述控制单元，还用于：

根据所述子类别确定所述箭头元素的箭头指向；

将与所述箭头指向相反的方向作为所述滑动核的滑动方向。

18.如权利要求16所述的用于解析流程图的装置，其特征在于，所述控制单元，具体用于：

控制所述滑动核在所述流程图内，以所述箭头元素的位置为起点并沿着所述滑动方向滑动至少两次，直至满足停止滑动条件。

19.如权利要求18所述的用于解析流程图的装置，其特征在于，所述控制单元，还用于：

控制所述滑动核在初始滑动时，以设定距离滑动；

控制所述滑动核在再次滑动时，以更新的距离滑动。

20.如权利要求19所述的用于解析流程图的装置，其特征在于，所述滑动核的形状为正方形，所述设定距离等于所述正方形的边长的一半。

21.如权利要求19所述的用于解析流程图的装置，其特征在于，所述控制单元，还用于：

判断在所述再次滑动时，上次滑动后的滑动核内部所述目标元素的分布情况是否满足第二设定条件；

若满足所述第二设定条件，则将所述更新的距离确定为所述设定距离；

若不满足所述第二设定条件，则将所述更新的距离确定为所述上次滑动后经过所述滑动核中心点的元素的长度值。

22.如权利要求18所述的用于解析流程图的装置，其特征在于，所述停止滑动条件为：

所述滑动核在所述流程图内滑动一定的距离后，所述滑动核能够接触目标类别的元素，且，所述滑动核最近一次的滑动方向与所述目标类别的元素的接触边缘相互垂直，则确定满足所述停止滑动条件；或者，

所述滑动核在所述流程图内滑动一定的距离后，所述滑动核未能接触所述目标类别的元素，则确定满足所述停止滑动条件。

23.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11任一项所述的用于解析流程图的方法。

24.一种计算机设备，包括壳体、处理器、存储器、电路板和电源电路，其中，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为所述计算机设备的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行：

获取流程图；

识别所述流程图内各元素的元素信息；

根据所述元素信息从多个元素中识别出箭头元素；

根据所述箭头元素的元素信息，结合其它元素的元素信息解析所述流程图，所述箭头元素和所述其它元素共同组成所述多个元素。

Images