CN109389050B - 一种流程图连接关系识别方法 - Google Patents

Abstract

本发明提出了一种流程图连接关系识别方法，其技术特征在于：首先依据流程图中连接线的局部特征形式地定义角点分类；其次针对流程图图元间连接规范定义连接关系的角点组合规则；然后提取并识别流程图像中连接关系上的角点，并基于角点组合识别连接关系；最后将识别结果以文本形式输出。本发明基于角点特征识别流程图像中的连接关系，为准确识别流程图结构提供了新技术支撑。

Description

一种流程图连接关系识别方法

技术领域

本发明属于图像识别技术领域，特别涉及一种流程图连接关系识别方法。

背景技术

现有计算机信息检索系统主要采用基于文本匹配的检索技术，但化工、制药、机械、信息技术等领域中的文档往往还包含大量流程图像，这些图像蕴含丰富的信息，对于检索和查新至关重要。

流程图可以直观地描述一个工作过程的具体步骤，具有重要的语义。目前对于流程图连接关系的识别主要基于直线的提取来识别，但过度依赖图像轮廓特征很难理解图像语义。由于流程图像特征和语义之间存在着明显的语义鸿沟，这种“鸿沟”主要体现在流程图中连接关系的多样使得结构的一种语义有多种表现形式，为了尽能地缩小语义鸿沟对流程图像检索的影响，需要一种新的流程图结构中连接关系识别方法。

发明内容

本发明的目的在于提供一种流程图连接关系的识别方法，首先将与连接线相关的角点进行分类定义，然后对然后针对图元之间的连接规范与逻辑定义角点连接组合规则；最后基于角点连接组合规则设计连接关系识别算法，实现流程图中连接关系的识别，识别结果以文本形式输出。

为了实现上述目的，本发明采用的技术方案是：

一种流程图连接关系的识别方法步骤包括：

S1分类定义连接线相关角点；

S2定义连接关系角点组合规则；

S3提取并识别输入流程图中与连接关系相关的角点，具体步骤如下：

S31流程图像预处理及结构层提取；

对原始流程图像进行二值化、降噪处理，通过连通域提取方法进行图文分割得到原始流程图像中结构层，对提取的流程图结构进行单像素化处理。

S32流程图像角点检测；

通过CSS算法利用曲率检测出与直线型元素相关的角点，过滤掉曲线型结构元素上的圆角点和虚假角点。

不同尺度σ下的曲率计算公式为：

其中t是弧长参数，σ是尺度参数，

分别为曲线l上一点的坐标x(t)和y(t)与一维高斯核函数g(μ，σ)的一阶导数和二阶导数的卷积；

圆角点判定方法为：

其中u为候选角点的位置参数，K(u)是候选角点的曲率，T(u)为与角点支持域自适应的动态局部阈值，与候选角点u处的局部平均曲率成正比，当R_c＝1时表示角点为圆角点,给予滤除。

其中C_c为需要判定的候选角点，∠C_c为角点C_c的角，θ_obtuse为真角点的最大钝角值，θ_obtuse的经验取值为162°，当C_c>θ_obtuse时，C_c为虚假角点。

通过Harris算法检测与曲线型元素相关的角点，首先求输入图像I对应的x和y轴方向的一阶偏导I_x和I_y，利用高斯核G_x,y对其平滑，并构造自相关矩阵M，

其中，

是卷积算子。通过自相关矩阵的特征值α、β(α≥β)来构造角点响应R并判决角点，R＝αβ-k(α+β)²，其中，k(k＝0.04)是错误角点响应抑制常数。

采用距离筛选法对检测出的冗余角点进行筛选。计算指定范围内所有点之间的欧式距离，在欧几里得空间中，如点x＝(x₁,…,x_n)和y＝(y₁,…,y_n)之间的距离为：

当角点间的距离小于指定阈值时，可删掉其中之一以减少冗余。

S33流程图角点的分类；

得到步骤S32中角点的邻域特征并进行角点分类器的训练，对流程图中角点进行分类：

以检测到的每个角点为中心截取41×41像素的角点邻域图像，提取角点邻域图像的网格特征和外围特征并将角点样本分类标注；

使用支持向量机SVM分类器训练样本集，采用径向基核函数(Radial BasisFunction,RBF)作为SVM分类核函数；利用MATLAB中的LIBSVM工具箱来实现SVM多分类，引入惩罚因子c对其进行惩罚，通过参数调优设置惩罚因子c，使得数据在高维特征空间中的线性可分度最大。

采用K-折交叉验证(K-fold CrossValidation，K-CV)将原始数据分成均分为K组，将每个子集数据分别做一次验证集，其余的K-1组子集数据作为训练集，用这K个模型最终验证集的分类准确率的平均数作为此K-CV下分类器的性能指标。

S4基于角点组合识别流程图连接关系；

S5输出描述图元间连接关系的文本信息。

与现有技术相比，本发明从角点这一直观稳定的局部特征去分析流程图结构中的连接关系，通过角点组合来描述图元之间存在的连接关系，减少了识别的工作量，为流程图连接关系的识别提供了新的思路。

附图说明

图1是本发明的流程示意图。

图2是本发明流程S2组合规则示意图。

图3是本发明流程S2连接关系举例示意图。

图4是本发明流程S3角点检测的结果。

图5是本发明流程S3中实验获取得到的角点示意图。

图6是本发明流程S5连接关系识别结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施例、附图对本发明作进一步描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的识别方法的步骤包括：

S1分类定义连接线相关角点

S2定义连接关系角点组合规则

S3提取并识别输入流程图中与连接关系相关的角点

S4基于角点组合识别流程图连接关系

S5输出描述图元间连接关系的文本信息

其中步骤S1包括：

将流程图中与连接线相关的角点分为三类：

一是位于图元与连接线相接处的连接型角点①型，包括

等10种类型；

二是位于连接线与连接线相接处的连接型角点②型，包括

等4种类型；

三是连接线折线处的独立型角点③型，包括

等4种类型。

上述角点按形态具体命名如下：

Rb：

(Rb-1)、

(Rb-2)、

(Rb-3)、

(Rb-4)、

(Rb-5)、

(Rb-6)

Db：

(Db-1)、

(Db-2)、

(Db-3)、

(Db-4)

R：

(R-1)、

(R-2)、

(R-3)、

(R-4)

将角点中连接线部分称为角点连接线，角点连接线具有不同的输入/输出语义和流向。例如，对于①型角点

短竖线为角点连接线，可能代表向角点输入或从角点输出，方向分别为向上(up)和向下(down)；对于②型

长竖线与短横线均为角点连接线，短竖线表示输入，方向为向右(right)、而长竖线则表示输出，方向可能为向上(up)或向下(down)；对于③型角点

横线和竖线均为角点连接线，分别表示输入或输出，如可能横线表示输入，方向为向左(left)，则竖线表示输出，方向为向下(down)；或竖线表示输入，方向为向上(up)，则横线表示输出，方向为向右(right)。

根据角点连接线表示的输入/输出语义以及流向，对角点归类如下。

当竖向角点连接线表示输出(Out)时角点归类如下：

down：①

②

③

up：①

②

③

当横向角点连接线表示输出(Out)时，角点归类如下：

right：①

②

③

left：①

②

③

当竖向角点连接线表示输入(In)时角点归类如下：

down：①

②

③

up：①

②

③

当横向角点连接线表示输入(In)时角点归类如下：

right：①

②

③

left：①

②

③

步骤S2包括：

总结流程图绘制规范如下：

(1)流程图的流程方向由高至低、由左至右。

(2)使用统一的标记符号，图形尽可能简单，文字描述简洁。

(3)一个矩形符号(执行框)一般应为一件独立的动作或事件。

(4)流程图以开始符号开始，且在图中只能出现一次；以结束符号结束，但结束符号次数不限。

(5)一个菱形符号(判断框)有一个入口，至少两个出口，结合连接线上文本标注有且仅有一个出口被激活。

(6)路径符号尽量避免交叉，以连接线合并形式减少线路的数量。

(7)相同流程图符号大小尽量一致。

(8)同一路径符号之指示箭头应只有一个。

(9)若有条件判断符，需检查回馈校正流程是否有遗漏，以避免悬而未决状况，反馈的流程要形成闭环。

(10)尽最大的可能便于读者阅读。

在以上先验知识的分析基础上，结合角点类型定义连接关系的角点组合规则。

角点组合与图元连接之间的映射关系主要依据角点所属的图元编号。将所有角点图元编号这一属性值初始化为0，表示无所属图元。对于①型角点，图元编号即为所连接的图元编号；对于②型角点和③型角点图元编号为0。角点组合中起始和结束角点所属的图元即为当前连接关系连接的一对图元。

角点组合中起始和结束角点所属的图元即为连接关系所连接的一对图元。构成连接关系的角点组合{C₁,C₂,…,C_n}须满足如下规则。

规则1：起始角点为C₁为①型角点，中间角点C₂～C_n-1为②或③型角点或不存在，结束角点C_n为①型角点。

规则2：设起始角点的角点连接线语义为输出，结束角点得角点连接线语义为输入，则连接关系上相邻角点C_i,C_j须满足下述Out-In关系，即相邻角点得的角点连接线的输入输出语义及走向必须匹配，即：

<C_i,C_j>:＝Out(C_i)∧In(C_j)∧(OutTrend(C_i)＝InTrend(C_j))，down,up,right,left∈trend。

规则3：满足Out-In关系的两个角点之间的连接线必须真实存在于流程图像之中。验证方法是，根据已知两角点坐标，计算角点之间的距离D_ij，通过两个角点的坐标位置确定一段直线区间W，然后统计图像中在W区间内目标像素的累积长度或高度D'_ij，最后判断

是否存在区间内，若存在则存在条件成立，否则不成立。D_ij、D'_ij如下式所示：

D'_ij＝∑p(x,y),p(x,y)∈W，其中，

流程图图元之间连接关系如图3中的三条连接关系示例。

图3中L1，L2，L3为图元之间连接线关系示例。首先通过角点组合识别图元后，将其角点进行所属图元标号，然后选定起始角点，寻找符合要求的角点组合，最后由角点组合与图元连接之间的映射关系得出图元的连接关系，其角点组合以及与图元映射关系语法描述如下：

L1：Rb-1，Rb-2；→(1，2)

L2：Db-4，R-2，Rb-2；→(3，4)

L3：Rb-1，R-4，Rb-4；→(5，6)

L1的角点组合中起始和结束角点均为①型角点，所属图元标号为已被识别的图元标号，通过映射关系得出L1为图元1与图元2之间的连接；L2的角点组合中首先是①型起始角点，然后根据角点连接线的走向寻找到②型角点，②型角点为中间角点，无所属图元，仅作为寻找结束角点的“纽带”，接着根据走向寻找到①型角点，确定其所属图元，通过映射关系得出L2为图元3与图元4之间的连接；L3中根据①型起始角点走向找到③型转折角点，继续寻找得到②型角点，其输出连接线有两种可能，按照每种走向寻找与之可连接的角点进而得到所属图元标号，其中向上走向的图元和相关角点已经被识别，不再参与计算，向下走向找到①型角点以及所属图元6，因此L3表示图元5分别与图元6的连接。

步骤S3包括：

S31流程图像预处理及结构层提取；

对原始流程图像进行二值化、降噪处理，通过连通域提取方法进行图文分割得到原始流程图像中结构层，对提取的流程图结构进行单像素化处理。

S32流程图像角点检测；

将流程图中结构元素分为直线型和曲线型结构元素，采用曲率尺度空间(Curvature Scale Space，CSS)和Harris结合的角点检测方案进行角点检测。

采用CSS算法利用曲率检测出与直线型元素相关的角点，过滤掉曲线型结构元素上的圆角点和虚假角点。

不同尺度σ下的曲率计算公式为：

其中t是弧长参数，σ是尺度参数，

分别为曲线l上一点的坐标x(t)和y(t)与一维高斯核函数g(μ，σ)的一阶导数和二阶导数的卷积；

圆角点判定方法为：

其中u为候选角点的位置参数，K(u)是候选角点的曲率，T(u)为与角点支持域自适应的动态局部阈值，与候选角点u处的局部平均曲率成正比，当R_c＝1时表示角点为圆角点,给予滤除。

其中C_c为需要判定的候选角点，∠C_c为角点C_c的角，θ_obtuse为真角点的最大钝角值，θ_obtuse的经验取值为162°，当C_c>θ_obtuse时，C_c为虚假角点。

对采用CSS算法检测得到的角点进行边界搜索并剪裁掉边界包围的区域，得到曲线型结构元素所在的区域，然后采用Harris角点检测算法对该区域进行再次检测，得到曲线型结构元素上的角点。

通过Harris算法检测与曲线型元素相关的角点，首先求输入图像I对应的x和y轴方向的一阶偏导I_x和I_y，利用高斯核G_x,y对其平滑，并构造自相关矩阵M，

其中，

是卷积算子。通过自相关矩阵的特征值α、β(α≥β)来构造角点响应R并判决角点，R＝αβ-k(α+β)²，其中，k(k＝0.04)是错误角点响应抑制常数。

采用距离筛选法对检测出的冗余角点进行筛选。计算指定范围内所有点之间的欧式距离，在欧几里得空间中，如点x＝(x₁,…,x_n)和y＝(y₁,…,y_n)之间的距离为：

当角点间的距离小于指定阈值时，可删掉其中之一以减少冗余。

图4中(a)为流程图原图，(b)为实验中结合CSS和Harris方法的角点检测与筛选结果。

S33流程图角点的分类；

得到步骤S32中角点的邻域特征并进行角点分类器的训练，对流程图中角点进行分类：

以检测到的每个角点为中心截取41×41像素的角点邻域图像，提取角点邻域图像的网格特征和外围特征并将角点样本分类标注；

使用支持向量机SVM分类器训练样本集，采用径向基核函数(Radial BasisFunction,RBF)作为SVM分类核函数；利用MATLAB中的LIBSVM工具箱来实现SVM多分类，引入惩罚因子c对其进行惩罚，通过参数调优设置惩罚因子c，使得数据在高维特征空间中的线性可分度最大。

采用K-折交叉验证(K-fold CrossValidation，K-CV)将原始数据分成均分为K组，将每个子集数据分别做一次验证集，其余的K-1组子集数据作为训练集，用这K个模型最终验证集的分类准确率的平均数作为此K-CV下分类器的性能指标。

图5为对流程图中角点进行分类标注后获取到的角点种类。从实验流程图中截取2600张角点作为角点样本，采用LIBSVM进行角点的多分类，对于SVM参数的优化，最终统计其中与连接线相关的角点的分类准确率。其中，分类结果如表2所示。

表2角点分类结果

步骤S4包括：

图元间的连接关系根据角点输出走向去寻找角点组合，通过起始和结束角点所属图元映射图元之间的连接关系，连接关系的识别算法如下。

输入：流程图像以及角点集合，集合中包括角点类型，位置以及所属图元标号

输出：描述图元间连接关系的文本信息

S41判断角点集合中①型角点个数是否大于1，若大于1，则寻找连接关系角点集合为空的①型角点作为起始角点，存入以该角点为起点的连接关系角点集合中，进入S42；否则，不存在连接关系，退出。

S42选择最后加入连接关系角点集合中的角点作为当前角点，根据当前角点的输出方向寻找与之连接的角点，若找到候选角点且候选角点与当前角点满足Out-In规则且共线，则进行S43；若否，则证明当前角点没有可连接的角点，退出当前遍历。

S43，判断候选角点的类型，若候选角点为②型角点或③型角点，则将该角点加入连接关系角点集合，返回S42；若候选角点为①型角点，则将该角点作为结束角点加入连接关系的角点集合，输出起始角点和结束角点所属的图元标号，返回S41。

步骤S5包括：

图5是实施例流程图识别结果形式化描述。图中RELATION代表指定图元所属标号构成连接关系，TEXT代表连接关系的文本信息。对于连接关系上的文本信息的识别，需定位到每组构成连接关系的角点组合附近区域，根据定位的区域采用现已成熟的OCR技术，对流程图中文本内容识别，提取文字即可。

例如：执行活动A与执行活动B通过一条直线相连的简单连接关系，可以描述为<

(A)、

(B)>的角点组合。表示属于A图元上的角点

与B图元上的角点

之间有连接线相连，构成了图元A和B的连接关系。最终的文本信息为：

RELATION＝＝＝＝TEXT＝＝＝＝

[A,B]‘’

以上表示A与B之间有连接线，连接线上无文本标注。A与B相连这一语义描述可以有多种形式的连接情况，语义结果与流程图结构之间不可逆，一种连接关系对应一个描述结果，一个描述结果可以对应多种连接关系。

Claims (8)

1.一种流程图连接关系识别方法，其特征在于，包括如下步骤：

S1分类定义连接线相关角点，将流程图中与连接线相关的角点分为三类：

一是位于图元与连接线相接处的连接型角点①型，包括

共10种类型；

二是位于连接线与连接线相接处的连接型角点②型，包括

共4种类型；

三是连接线折线处的独立型角点③型，包括

共4种类型；

以Rb表示直线与矩形或圆角矩形连接处的角点；Db表示菱形相关的角点；R表示仅与矩形相关的角点；则上述角点按形态具体命名如下：

Rb：

Db：

R：

将角点中连接线部分称为角点连接线，角点连接线具有不同的输入/输出语义和流向，根据角点连接线表示的输入/输出语义以及流向，对角点归类如下：

当竖向角点连接线表示输出(Out)时：

向下(down)：①

②

③

向上(up)：①

②

③

当横向角点连接线表示输出(Out)时：

向右(right)：①

②

③

向左(left)：①

②

③

当竖向角点连接线表示输入(In)时：

向下(down)：①

②

③

向上(up)：①

②

③

当横向角点连接线表示输入(In)时：

向右(right)：①

②

③

向左(left)：①

②

③

S2结合先验知识和流程图中图元之间的连接逻辑，定义连接关系角点组合规则，具体如下：

角点组合与连接线之间的映射关系主要依据角点所属的图元编号，①型角点的图元编号即为所连接的图元编号；②型和③型角点图元编号为0，表示无所属图元；

角点组合中起始和结束角点所属的图元即为连接关系所连接的一对图元，构成连接关系的角点组合{C₁,C₂,…,C_n}须满足如下规则：

规则1：起始角点为C₁为①型角点，中间角点C₂～C_n-1为②或③型角点或不存在，结束角点C_n为①型角点；

规则2：设起始角点的角点连接线语义为输出，结束角点的角点连接线语义为输入，则连接关系上相邻角点C_i,C_j须满足下述Out-In关系，即相邻角点得的角点连接线的输入输出语义及走向必须匹配，即：

<C_i,C_j>:＝Out(C_i)∧In(C_j)∧(OutTrend(C_i)＝InTrend(C_j))，down,up,right,left∈trend；

规则3：满足Out-In关系的两个角点之间的连接线必须真实存在于流程图像之中；

其中，n是构成连接关系的角点的个数，OutTrend(Ci)表示Ci角点的输出端角点连接线的走向；InTrend(Cj)表示Cj角点的输入端角点连接线的走向，Trend是四个走向构成的集合；

S3提取并识别输入流程图中与连接关系相关的角点；

S4基于角点组合识别流程图连接关系；

S5输出描述图元间连接关系的文本信息。

2.根据权利要求1所述流程图连接关系识别方法，其特征在于，所述规则3的验证方法是，根据已知两角点坐标，计算角点之间的距离D_ij，通过两个角点的坐标位置确定一段直线区间W，然后统计图像中在W区间内目标像素的累积长度或高度D'_ij，最后判断

是否存在于区间内，若存在则存在条件成立，否则不成立，D_ij、D'_ij如下式所示：

D′_ij＝Σp(x，y)，p(x，y)∈W，其中，

3.根据权利要求1所述流程图连接关系识别方法，其特征在于，所述步骤S3中提取并识别输入流程图中与连接关系相关的角点，具体如下：

流程图结构中，结合包括点、交叉点以及拐点在内的关键局部信息，采用经典的Harris和CSS角点检测算法进行定位，并采用基于SVM的分类器对角点进行分类，执行步骤如下：

S31流程图像预处理及结构层提取；

S32流程图像角点检测；

S33流程图连接关系角点分类。

4.根据权利要求3所述流程图连接关系识别方法，其特征在于，所述步骤S31中，对原始流程图像进行二值化、降噪处理，通过连通域提取方法进行图文分割得到原始流程图像中结构层，对提取的流程图结构进行单像素化处理。

5.根据权利要求3所述流程图连接关系识别方法，其特征在于，所述步骤S32中，通过CSS算法利用曲率检测出与直线型元素相关的角点，过滤掉曲线型结构元素上的圆角点和虚假角点，其中不同尺度σ下的曲率计算公式为：

其中t是弧长参数，σ是尺度参数，

分别为曲线l上一点的坐标x(t)和y(t)与一维高斯核函数g(μ,σ)的一阶导数和二阶导数的卷积；

圆角点判定方法为：

其中u为候选角点的位置参数，K(u)是候选角点的曲率，T(u)为与角点支持域自适应的动态局部阈值，与候选角点u处的局部平均曲率成正比，当R_c＝1时表示角点为圆角点,给予滤除；

其中C_c为需要判定的候选角点，∠C_c为角点C_c的角，θ_obtuse为真角点的最大钝角值，θ_obtuse的经验取值为162°，当C_c>θ_obtuse时，C_c为虚假角点；

通过Harris算法检测与曲线型元素相关的角点，首先求输入图像I对应的x和y轴方向的一阶偏导I_x和I_y，利用高斯核G_x,y对其平滑，并构造自相关矩阵M，

其中，

是卷积算子，通过自相关矩阵的特征值α、β(α≥β)来构造角点响应R并判决角点，R＝αβ-k(α+β)²，其中，k(k＝0.04)是错误角点响应抑制常数；

采用距离筛选法对检测出的冗余角点进行筛选，计算指定范围内所有点之间的欧式距离，在欧几里得空间中，点x＝(x₁,…,x_n)和y＝(y₁,…,y_n)之间的距离为：

当角点间的距离小于指定阈值时，删掉其中之一以减少冗余。

6.根据权利要求3所述流程图连接关系识别方法，其特征在于，所述步骤S33中，得到步骤S32中角点的邻域特征并进行角点分类器的训练，对流程图中角点进行分类：

以检测到的每个角点为中心截取41×41像素的角点邻域图像，提取角点邻域图像的网格特征和外围特征并将角点样本分类标注；

使用支持向量机SVM分类器训练样本集，采用径向基核函数(Radial Basis Function,RBF)作为SVM分类核函数；利用MATLAB中的LIBSVM工具箱来实现SVM多分类，引入惩罚因子c对其进行惩罚，通过参数调优设置惩罚因子c，使得数据在高维特征空间中的线性可分度最大；

采用K-折交叉验证(K-fold CrossValidation，K-CV)将原始数据分成均分为K组，将每个子集数据分别做一次验证集，其余的K-1组子集数据作为训练集，用这K个模型最终验证集的分类准确率的平均数作为此K-CV下分类器的性能指标。

7.根据权利要求3所述流程图连接关系识别方法，其特征在于，所述步骤S4中识别流程图连接关系，具体如下：

输入：流程图像以及S4中得到的角点集合，集合中包括角点类型，位置以及所属图元标号；

输出：描述图元间连接关系的文本信息；

S41判断角点集合中①型角点个数是否大于1，若大于1，则寻找连接关系角点集合为空的①型角点作为起始角点，存入以该角点为起点的连接关系角点集合中，进入S42；否则，不存在连接关系，退出；

S42选择最后加入连接关系角点集合中的角点作为当前角点，根据当前角点的输出方向寻找与之连接的角点，若找到候选角点且候选角点与当前角点满足Out-In规则且共线，则进行S43；若否，则证明当前角点没有可连接的角点，退出当前遍历；

S43，判断候选角点的类型，若候选角点为②型角点或③型角点，则将该角点加入连接关系角点集合，返回S42；若候选角点为①型角点，则将该角点作为结束角点加入连接关系的角点集合，输出起始角点和结束角点所属的图元标号，返回S41。

8.根据权利要求7所述流程图连接关系识别方法，其特征在于，所述步骤S5中，输出描述图元间连接关系的文本描述，具体如下：

对流程图中角点信息按照图像从上到下，从左右的顺序进行遍历，基于连接关系识别算法对得到的角点及角点组合进行判断，将识别的连接关系以文本形式描述。

Images