CN112580452A

CN112580452A - 故障树的处理方法、装置、计算机可读存储介质以及处理器

Info

Publication number: CN112580452A
Application number: CN202011418686.8A
Authority: CN
Inventors: 苑世娇
Original assignee: Beijing Minglue Zhaohui Technology Co Ltd
Current assignee: Beijing Minglue Zhaohui Technology Co Ltd
Priority date: 2020-12-07
Filing date: 2020-12-07
Publication date: 2021-03-30

Abstract

本申请提供了一种故障树的处理方法、装置、计算机可读存储介质以及处理器。该方法包括：对故障树进行分层解析，得到线框图、连接线图、框内文字图和标题文字图，其中，线框图为仅包括线框的图，连接线图为仅包括连接线的图，标题文字图为仅包括标题文字的图，框内文字图为仅包括框内文字的图，框内文字为位于线框内的文字；识别线框图中的线框的形状，得到线框的形状；确定连接线所连接的线框，得到对应的连接关系；识别框内文字和标题文字，得到识别结果；将线框的形状、连接关系以及识别结果转化为结构化数据，并进行存储。该方法解决了现有技术中的故障树只有图片格式，不利于检索的问题。

Description

故障树的处理方法、装置、计算机可读存储介质以及处理器

技术领域

本申请涉及图片处理领域，具体而言，涉及一种故障树的处理方法、装置、计算机可读存储介质以及处理器。

背景技术

故障树是定性描述故障因果关系的树状流程图，主要在安全工程领域用来分析系统失效原因。故障树往往以图片格式插入到文本中，但是图片格式的故障树不利于信息检索。

因此，亟需一种方便检索的故障树。

技术的背景技术的理解，因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。

发明内容

本申请的主要目的在于提供一种故障树的处理方法、装置、计算机可读存储介质以及处理器，以解决现有技术中的图片格式的故障树不方便检索的的问题。

根据本发明实施例的一个方面，提供了一种故障树的处理方法，包括：对故障树进行分层解析，得到线框图、连接线图、框内文字图和标题文字图，其中，所述线框图为仅包括线框的图，所述连接线图为仅包括连接线的图，所述标题文字图为仅包括标题文字的图，所述框内文字图为仅包括框内文字的图，所述框内文字为位于所述线框内的文字；识别所述线框图中的所述线框的形状，得到所述线框的形状；确定所述连接线和对应连接的所述线框，得到对应的连接关系；识别所述框内文字和所述标题文字，得到识别结果；将所述线框的形状、所述连接关系以及所述识别结果转化为结构化数据，并进行存储。

可选地，对故障树进行分层解析，得到线框图、连接线图、框内文字图和标题文字图，包括：将所述故障树的图转化为灰度图；将所述灰度图进行二值化，得到二值化的故障树图；对所述二值化的故障树图进行图文分割，得到图形图和文字图，所述图形图包括所述线框和所述连接线，所述文字图包括所述框内文字和所述标题文字；对所述图形图中的所述连接线和所述线框进行分割，得到所述线框图和所述连接线图；从所述文字图中提取所述标题文字，得到所述标题文字图和所述框内文字图。

可选地，对所述二值化的故障树图进行图文分割，得到图形图和文字图，包括：确定所述图文分割的分割条件；根据所述分割条件，确定满足所述分割条件的区域为文字区域，且将所述文字区域的像素值设定为1，剩余的区域的像素值设定为0，得到所述图形图，确定不满足所述分割条件的区域为所述线框和所述连接线所在的区域，且将所不满足所述分割条件的区域的像素值设定为1，剩余的区域的像素值设定为0，得到所述文字图。

可选地，确定所述图文分割的分割条件，包括：获取所述故障树的各连通域表示形式，所述表示形式包括表征所述故障树的连通域的边界框的高和宽的信息；根据所述故障树的连通域表示形式，计算各所述连通域的边界框的面积；确定第一面积和第二面积，其中，所述第一面积为出现概率最大的所述边界框的面积，所述第二面积为所述边界框的平均面积；根据所述第一面积和所述第二面积，确定所述边界框的面积阈值以及所述边界框的高宽阈值，所述高宽阈值等于所述面积阈值的平方根；根据所述面积阈值和所述高宽阈值确定所述分割条件，所述分割条件包括：所述边界框的面积小于所述面积阈值、所述边界框的宽小于所述高宽阈值，所述边界框的高小于所述高宽阈值、所述边界框的高与宽的比值大于预定参数的倒数小于所述预定参数，所述预定参数为所述线框的宽高比的超参数。

可选地，对所述图形图中的所述连接线和所述线框进行分割，得到所述线框图和所述连接线图，包括：对所述图形图进行连通域分析，得到多个第一子连通域，所述第一子连通域为所述图形图的连通域；确定面积最大的所述第一子连通域为外围背景，且设定所述外围背景的像素值为0；确定所述第一子连通域的凸性，所述凸性为所述第一子连通域的面积与所述第一子连通域中可填充的最大凸多边形的面积；设定所述凸性小于凸性阈值的所述第一子连通域的像素值为0，设定所述凸性大于或者等于所述凸性阈值的所述第一子连通域的像素值为1，得到所述线框图；根据所述线框图和所述图形图，确定所述连接线图。

可选地，从所述文字图中提取所述标题文字，得到所述标题文字图和所述框内文字图，包括：将所述文字图中的预定区域的像素值设定为1，得到所述标题文字图，所述预定区域为所述线框图中像素值为1的区域；根据所述标题文字图和所述文字图，确定所述框内文字图。

可选地，识别所述线框图中的所述线框的形状，得到所述线框的形状，包括：获取分类器模型；截取所述线框图中的各所述线框的位置图；根据所述位置图，进行特征提取，并将所述特征输入到所述分类器模型中，得到所述线框的形状。

可选地，确定所述连接线和对应连接的所述线框，得到对应的连接关系，包括：第一分析步骤；对所述线框图进行连通域分析，得到多个第二子连通域和每个所述第二子连通域的中心点的坐标；第二分析步骤；对所述连接线图进行连通域分析，得到各所述连接线的像素位置；添加步骤，从所述连接线图中提取一个所述连接线，并根据对应的像素位置，将所述连接线添加到所述线框图中，得到添加图；第三分析步骤，对所述添加图进行连通域分析，得到多个第三子连通域和每个所述第三子连通域的中心点的坐标；对比步骤；对比每个所述第二子连通域的中心点的坐标和每个所述第三子连通域的中心点的坐标，确定变化连通域，得到一个所述连接关系，所述变化连通域为包括所述连接线和对应连接的所述线框的所述第三子连通域，且所述变化连通域为与所述第二子连通域的中心点不同的所述第三子连通域；依次重复执行所述第一分析步骤、所述第二分析步骤、所述添加步骤、所述第三分析步骤以及所述对比步骤至少一次，直到得到所有的所述连接关系。

根据本发明实施例的另一方面，还提供了一种故障树的处理装置，包括：解析单元，用于对故障树进行分层解析，得到线框图、连接线图、框内文字图和标题文字图，其中，所述线框图为仅包括线框的图，所述连接线图为仅包括连接线的图，所述标题文字图为仅包括标题文字的图，所述框内文字图为仅包括框内文字的图，所述框内文字为位于所述线框内的文字；第一识别单元，用于识别所述线框图中的所述线框的形状，得到所述线框的形状；确定单元，用于确定所述连接线和对应连接的所述线框，得到对应的连接关系；第二识别单元，用于识别所述框内文字和所述标题文字，得到识别结果；转化和存储单元，用于将所述线框的形状、所述连接关系以及所述识别结果转化为结构化数据，并进行存储。

根据本发明实施例的再一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行任意一种所述的方法。

根据本发明实施例的又一方面，还提供了一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行任意一种所述的方法。

在本发明实施例中，上述的方法中，首先，将图片格式的故障树进行分层解析，得到线框图、连接线图、框内文字图和标题文字图；然后，再对线框图、连接线图、框内文字图和标题文字图进行处理，得到线框的形状、连接线和线框的连接关系以及文字识别的结果；最后，将这些得到的结果转换为结构化数据。该方法中，通过将图片格式的故障树转化为结构化数据，后续可以直接对结构化的数据进行检索，解决了现有技术中的故障树只有图片格式，不利于检索的问题。并且，结构化数据方便存储也方便录入知识图谱中。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了根据本申请的故障树的处理方法的实施例的流程示意图；以及

图2示出了一种故障树的示意图；

图3至图7示出了对图2的故障树处理后得到的多个图；

图8示出了根据本申请的故障树的处理装置的实施例的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

正如背景技术中所说的，现有技术中的的图片格式的故障树不方便检索，为了解决上述问题，本申请的一种典型的实施方式中，提供了一种故障树的处理方法。

根据本申请的实施例，提供了一种故障树的处理方法。

图1是根据本申请实施例的故障树的处理方法的流程图。如图1所示，该方法包括以下步骤：

步骤S101，对故障树进行分层解析，得到线框图、连接线图、框内文字图和标题文字图，其中，上述线框图为仅包括线框的图，上述连接线图为仅包括连接线的图，上述标题文字图为仅包括标题文字的图，上述框内文字图为仅包括框内文字的图，上述框内文字为位于上述线框内的文字，例如，将图2的故障树分层解析，得到图5的线框图、图6的连接线图以及图7的标题文字图；

步骤S102，识别上述线框图中的上述线框的形状，得到上述线框的形状；

步骤S103，确定上述连接线和对应连接的上述线框，得到对应的连接关系，即故障信息传递关系；

步骤S104，将上述线框的形状、上述连接关系以及上述识别结果转化为结构化数据，并进行存储。

上述的方法中，首先，将图片格式的故障树进行分层解析，得到线框图、连接线图、框内文字图和标题文字图；然后，再对线框图、连接线图、框内文字图和标题文字图进行处理，得到线框的形状、连接线和线框的连接关系以及文字识别的结果；最后，将这些得到的结果转换为结构化数据。该方法中，通过将图片格式的故障树转化为结构化数据，后续可以直接对结构化的数据进行检索，解决了现有技术中的故障树只有图片格式，不利于检索的问题。并且，结构化数据方便存储也方便录入知识图谱中。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

为了得到更为准确的线框图、连接线图、框内文字图和标题文字图，本申请的一种实施例中，对故障树进行分层解析，得到线框图、连接线图、框内文字图和标题文字图，包括：将上述故障树的图转化为灰度图；将上述灰度图进行二值化，得到二值化的故障树图；对上述二值化的故障树图进行图文分割，得到图形图和文字图，以图2的故障树为例，得到图3的图形图和图4的文字图，上述图形图包括上述线框和上述连接线，上述文字图包括上述框内文字和上述标题文字；对上述图形图中的上述连接线和上述线框进行分割，得到上述线框图和上述连接线图，以图2的故障树为例，得到图5的图形图和图6的文字图；从上述文字图中提取上述标题文字，得到上述标题文字图和上述框内文字图。

本申请的另一种实施例中，对上述二值化的故障树图进行图文分割，得到图形图和文字图，包括：确定上述图文分割的分割条件；根据上述分割条件，确定满足上述分割条件的区域为文字区域，且将上述文字区域的像素值设定为1，剩余的区域的像素值设定为0，得到上述图形图，确定不满足上述分割条件的区域为上述线框和上述连接线所在的区域，且将所不满足上述分割条件的区域的像素值设定为1，剩余的区域的像素值设定为0，得到上述文字图。该实施例可以得到更为准确的文字图和图形图。

本申请的再一种实施例中，确定上述图文分割的分割条件，包括：获取上述故障树的各连通域表示形式，上述表示形式包括表征上述故障树的连通域的边界框的高和宽的信息；根据上述故障树的连通域表示形式，计算各上述连通域的边界框的面积；确定第一面积和第二面积，其中，上述第一面积为出现概率最大的上述边界框的面积，上述第二面积为上述边界框的平均面积；根据上述第一面积和上述第二面积，确定上述边界框的面积阈值以及上述边界框的高宽阈值，上述高宽阈值等于上述面积阈值的平方根；根据上述面积阈值和上述高宽阈值确定上述分割条件，上述分割条件包括：上述边界框的面积小于上述面积阈值、上述边界框的宽小于上述高宽阈值，上述边界框的高小于上述高宽阈值、上述边界框的高与宽的比值大于预定参数的倒数小于上述预定参数，上述预定参数为上述线框的宽高比的超参数，边界框是连通域的边界形成的。此处宽高比的超参数，约束了这个连通域的形状是接近正方形，还是长方形。

具体地，首先通过opencv下的connectedComponentsWithStats方法得到故障树图片的连通域表示形式。同时，不同连通区域会标注为不同的标签以及返回连通域边界框的左上角坐标和边界框的宽和高(width和height)。根据上述结果，计算每个连通区域的边界框的面积bbox_area：bbox_area＝width*height。然后，通过统计分析得到bbox_area出现概率最大的面积(第一面积)comment_area和平均面积average_area(第二面积)。最后，计算得到边界框面积阈值bbox_{area_th}和线框长宽阈值bbox_{size_th}，bbox_{area_th}＝area*max{camment_area，average_area}，

之后，设定一系列分割条件：

条件L₁：bbox_area＜bbox_{area_th}

条件L₂：1/lw_rate＜width/heigtd＜lw_rate

条件L₃：width＜bbox_{area_th}

条件L₄：height＜bbox_{area_th}

其中。lw_rate是关于故障树中线框的宽高比的超参数。

在确定了分割条件后，根据分割条件对故障树进行分割。由于文字的像素点数少，且文字的宽高既不会太大也不会太小。因此，当上述四个条件都满足时，即连通域面积、宽和高都小于对应的阈值，同时长宽比也介于阈值区间内，该区域被设定为文字区域。将满足上述4个条件的区域的像素值设定为1，即剩余的0像素位置为线框和线框之间的连接线，如图3所示。相反，当上述四个条件不同时满足时，即故障树中去除文字的部分，对应区域为线框以及线框之间的连接线。将不同时满足上述4个条件的区域的像素值设定为1，即剩余的0像素位置为文字，如图4所示。

为了得到更为准确的线框图和连接线图，本申请的再一种实施例中，对上述图形图中的上述连接线和上述线框进行分割，得到上述线框图和上述连接线图，包括：对上述图形图进行连通域分析，得到多个第一子连通域，上述第一子连通域为上述图形图的连通域；确定面积最大的上述第一子连通域为外围背景，且设定上述外围背景的像素值为0；确定上述第一子连通域的凸性，上述凸性为上述第一子连通域的面积与上述第一子连通域中可填充的最大凸多边形的面积的比值，当凸性为1时，即该连通域为凸多边形，当凸性小于1时，该连通域为凹多边形。且凸性越小，表示图形的凹的程度越严重；设定上述凸性小于凸性阈值的上述第一子连通域的像素值为0，设定上述凸性大于或者等于上述凸性阈值的上述第一子连通域的像素值为1，得到上述线框图；根据上述线框图和上述图形图，确定上述连接线图。

具体地，根据上述线框图和上述图形图，确定上述连接线图，可以通过多种方式实现，一种具体的实施例中，然后对图5和图3的像素分别反转，对反转后的图的对应像素做逻辑与运算，即可得到连接线所在位置的像素值为0，即可分离得到故障树中的连接线，如图6所示。

为了进一步高效准确地得到标题文字图和框内文字图，本申请的一种实施例中，从上述文字图中提取上述标题文字，得到上述标题文字图和上述框内文字图，包括：将上述文字图中的预定区域的像素值设定为1，得到上述标题文字图，上述预定区域为上述线框图中像素值为1的区域；根据上述标题文字图和上述文字图，确定上述框内文字图。具体地，图4为故障树所包含的全部文字，文字像素为0，背景像素为1。图5为故障树中的线框，线框覆盖区域为1，背景为0。文字分别为线框内部的文字以及处于边框外部的标题文字。因此，记录图5中像素值为1的位置，在图4中将上述位置的像素值置1，即可以得到标题文字图，如图7所示。

本申请的又一种实施例中，识别上述线框图中的上述线框的形状，得到上述线框的形状，包括：获取分类器模型；截取上述线框图中的各上述线框的位置图；根据上述位置图，进行特征提取，并将上述特征输入到上述分类器模型中，得到上述线框的形状。该实施例中，通过分类器模型，得到线框的形状，准确且高效。

实际应用过程中，一种具体的实施例中，首先，进行特征提取和训练分类模型，具体包括：

对上述图5中的图形元素划分为n×n的格子cell_i(i∈[1，n×n])，得到格子的宽w和高h；

计算每个格子中心点c_i到邻近像素点p的距离之和，其中

为中心点c_i的格子邻域集合，即中心点到c_i的距离小于l+w的全部格子；

将n×n个中心点的距离和归一化，形成特征向量V。

用opencv中的随机森林模型以上述特征向量为模型输入进行训练，得到分类模型。

后续，对线框进行连通域分析得到每个线框区域的边界框，通过边界框截取对应位置图片。然后进行特征提取，最后把特征输入到训练好的分类器模型中，获得线框的形状。

本申请的另一种实施例中，确定上述连接线和对应连接的上述线框，得到对应的连接关系，包括：第一分析步骤；对上述线框图进行连通域分析，得到多个第二子连通域和每个上述第二子连通域的中心点的坐标；第二分析步骤；对上述连接线图进行连通域分析，得到各上述连接线的像素位置；添加步骤，从上述连接线图中提取一个上述连接线，并根据对应的像素位置，将上述连接线添加到上述线框图中，得到添加图，线连接连接的两个线框以及该连接线会成为融合一个新的连通域，即后续的第三子连通域；第三分析步骤，对上述添加图进行连通域分析，得到多个第三子连通域和每个上述第三子连通域的中心点的坐标；对比步骤；对比每个上述第二子连通域的中心点的坐标和每个上述第三子连通域的中心点的坐标，确定变化连通域，得到一个上述连接关系，上述变化连通域为包括上述连接线和对应连接的上述线框的上述第三子连通域，且上述变化连通域为与上述第二子连通域的中心点不同的上述第三子连通域；依次重复执行上述第一分析步骤、上述第二分析步骤、上述添加步骤、上述第三分析步骤以及上述对比步骤至少一次，直到得到所有的上述连接关系。

当然，具体的应用中，可以采用任何可行的方法识别框内文字图中的框内文字和标题文字图中的标题文字，本领域技术人员可以根据实际情况选择合适的方法进行文字识别。一种具体的实施例中，通过OCR技术对两个图中的文字进行识别。为了能将文字匹配到对应的线框中，将图5中每个线框的边界框传给文字识别模块，然后提取对应位置的像素进行识别。

另外，本申请中的结构化数据中，包括边界位置数据、图形形状内容、内部文字内容、连接线的起始端图形、中止端图形以及标题文字内容。

本申请实施例还提供了一种故障树的处理装置，需要说明的是，本申请实施例的故障树的处理装置可以用于执行本申请实施例所提供的用于故障树的处理方法。以下对本申请实施例提供的故障树的处理装置进行介绍。

图8是根据本申请实施例的故障树的处理装置的示意图。如图8所示，该装置包括：

解析单元10，用于对故障树进行分层解析，得到线框图、连接线图、框内文字图和标题文字图，其中，上述线框图为仅包括线框的图，上述连接线图为仅包括连接线的图，上述标题文字图为仅包括标题文字的图，上述框内文字图为仅包括框内文字的图，上述框内文字为位于上述线框内的文字；

第一识别单元20，用于识别上述线框图中的上述线框的形状，得到上述线框的形状；

确定单元30，用于确定上述连接线和对应连接的上述线框，得到对应的连接关系；

第二识别单元40，用于识别上述框内文字和上述标题文字，得到识别结果；

转化和存储单元50，用于将上述线框的形状、上述连接关系以及上述识别结果转化为结构化数据，并进行存储。

上述的装置中，解析单元将图片格式的故障树进行分层解析，得到线框图、连接线图、框内文字图和标题文字图；第一识别单元、确定单元以及第二识别单元分别再对线框图、连接线图、框内文字图和标题文字图进行处理，得到线框的形状、连接线和线框的连接关系以及文字识别的结果；最后，将这些得到的结果转换为结构化数据。该装置中，通过将图片格式的故障树转化为结构化数据，后续可以直接对结构化的数据进行检索，解决了现有技术中的故障树只有图片格式，不利于检索的问题。并且，结构化数据方便存储也方便录入知识图谱中。

为了得到更为准确的线框图、连接线图、框内文字图和标题文字图，本申请的一种实施例中，解析单元包括转化模块、二值化模块、第一分割模块、第二分割模块以及提取模块：转化模块用于将上述故障树的图转化为灰度图；二值化模块用于将上述灰度图进行二值化，得到二值化的故障树图；第一分割模块用于对上述二值化的故障树图进行图文分割，得到图形图和文字图，以图2的故障树为例，得到图3的图形图和图4的文字图，上述图形图包括上述线框和上述连接线，上述文字图包括上述框内文字和上述标题文字；第二分割模块用于对上述图形图中的上述连接线和上述线框进行分割，得到上述线框图和上述连接线图，以图2的故障树为例，得到图5的图形图和图6的文字图；提取模块用于从上述文字图中提取上述标题文字，得到上述标题文字图和上述框内文字图。

本申请的另一种实施例中，第一分割模块包括第一确定子模块和第二确定子模块，其中，第一确定子模块用于确定上述图文分割的分割条件；第二确定子模块用于根据上述分割条件，确定满足上述分割条件的区域为文字区域，且将上述文字区域的像素值设定为1，剩余的区域的像素值设定为0，得到上述图形图，确定不满足上述分割条件的区域为上述线框和上述连接线所在的区域，且将所不满足上述分割条件的区域的像素值设定为1，剩余的区域的像素值设定为0，得到上述文字图。该实施例可以得到更为准确的文字图和图形图。

本申请的再一种实施例中，第一确定子模块还用于：获取上述故障树的各连通域表示形式，上述表示形式包括表征上述故障树的连通域的边界框的高和宽的信息；根据上述故障树的连通域表示形式，计算各上述连通域的边界框的面积；确定第一面积和第二面积，其中，上述第一面积为出现概率最大的上述边界框的面积，上述第二面积为上述边界框的平均面积；根据上述第一面积和上述第二面积，确定上述边界框的面积阈值以及上述边界框的高宽阈值，上述高宽阈值等于上述面积阈值的平方根；根据上述面积阈值和上述高宽阈值确定上述分割条件，上述分割条件包括：上述边界框的面积小于上述面积阈值、上述边界框的宽小于上述高宽阈值，上述边界框的高小于上述高宽阈值、上述边界框的高与宽的比值大于预定参数的倒数小于上述预定参数，上述预定参数为上述线框的宽高比的超参数。

具体地，首先通过opencv下的connectedComponentsWithStats方法得到故障树图片的连通域表示形式。同时，不同连通区域会标注为不同的标签以及返回连通域边界框的左上角坐标和边界框的宽和高(width和height)。根据上述结果，计算每个连通区域的边界框的面积bbox_area：bbox_area＝width*height。然后，通过统计分析得到bbox_area出现概率最大的面积(第一面积)comment_area和平均面积average_area(第二面积)。最后，计算得到边界框面积阈值bbox_{area_th}和线框长宽阈值bbox_{size_th}，bbox_{area_th}＝area*max{comment_area，average_area}，

之后，设定一系列分割条件：

条件L₁：bbox_area＜bbox_{area_th}

条件L₂：1/lw_rate＜width/height＜lw_rate

条件L₃：width＜bbox_{area_th}

条件L₄：height＜bbox_{area_th}

其中。lw_rate是关于故障树中线框的宽高比的超参数。

为了得到更为准确的线框图和连接线图，本申请的再一种实施例中，第二分割模块还用于：对上述图形图进行连通域分析，得到多个第一子连通域，上述第一子连通域为上述图形图的连通域；确定面积最大的上述第一子连通域为外围背景，且设定上述外围背景的像素值为0；确定上述第一子连通域的凸性，上述凸性为上述第一子连通域的面积与上述第一子连通域中可填充的最大凸多边形的面积的比值，当凸性为1时，即该连通域为凸多边形，当凸性小于1时，该连通域为凹多边形。且凸性越小，表示图形的凹的程度越严重；设定上述凸性小于凸性阈值的上述第一子连通域的像素值为0，设定上述凸性大于或者等于上述凸性阈值的上述第一子连通域的像素值为1，得到上述线框图；根据上述线框图和上述图形图，确定上述连接线图。

为了进一步高效准确地得到标题文字图和框内文字图，本申请的一种实施例中，提取模块用于：将上述文字图中的预定区域的像素值设定为1，得到上述标题文字图，上述预定区域为上述线框图中像素值为1的区域；根据上述标题文字图和上述文字图，确定上述框内文字图。具体地，图4为故障树所包含的全部文字，文字像素为0，背景像素为1。图5为故障树中的线框，线框覆盖区域为1，背景为0。文字分别为线框内部的文字以及处于边框外部的标题文字。因此，记录图5中像素值为1的位置，在图4中将上述位置的像素值置1，即可以得到标题文字图，如图7所示。

本申请的又一种实施例中，识别单元还用于：获取分类器模型；截取上述线框图中的各上述线框的位置图；根据上述位置图，进行特征提取，并将上述特征输入到上述分类器模型中，得到上述线框的形状。该实施例中，通过分类器模型，得到线框的形状，准确且高效。

计算每个格子中心点c_i到邻近像素点p的距离之和，其中

将n×n个中心点的距离和归一化，形成特征向量V。

本申请的另一种实施例中，确定单元还用于：第一分析步骤；对上述线框图进行连通域分析，得到多个第二子连通域和每个上述第二子连通域的中心点的坐标；第二分析步骤；对上述连接线图进行连通域分析，得到各上述连接线的像素位置；添加步骤，从上述连接线图中提取一个上述连接线，并根据对应的像素位置，将上述连接线添加到上述线框图中，得到添加图，线连接连接的两个线框以及该连接线会成为融合一个新的连通域，即后续的第三子连通域；第三分析步骤，对上述添加图进行连通域分析，得到多个第三子连通域和每个上述第三子连通域的中心点的坐标；对比步骤；对比每个上述第二子连通域的中心点的坐标和每个上述第三子连通域的中心点的坐标，确定变化连通域，得到一个上述连接关系，上述变化连通域为包括上述连接线和对应连接的上述线框的上述第三子连通域，且上述变化连通域为与上述第二子连通域的中心点不同的上述第三子连通域；依次重复执行上述第一分析步骤、上述第二分析步骤、上述添加步骤、上述第三分析步骤以及上述对比步骤至少一次，直到得到所有的上述连接关系。

当然，具体的应用中，可以采用任何可行的装置识别框内文字图中的框内文字和标题文字图中的标题文字，本领域技术人员可以根据实际情况选择合适的装置进行文字识别。一种具体的实施例中，通过OCR技术对两个图中的文字进行识别。为了能将文字匹配到对应的线框中，将图5中每个线框的边界框传给文字识别模块，然后提取对应位置的像素进行识别。

上述故障树的处理装置包括处理器和存储器，上述解析单元、第一识别单元、确定单元、第二识别单元、转化和存储单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来将故障树转化为结构化数据。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述故障树的处理方法。

本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述故障树的处理方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：

步骤S103，确定上述连接线和对应连接的上述线框，得到对应的连接关系；

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：

1)、本申请的方法中，首先，将图片格式的故障树进行分层解析，得到线框图、连接线图、框内文字图和标题文字图；然后，再对线框图、连接线图、框内文字图和标题文字图进行处理，得到线框的形状、连接线和线框的连接关系以及文字识别的结果；最后，将这些得到的结果转换为结构化数据。该方法中，通过将图片格式的故障树转化为结构化数据，后续可以直接对结构化的数据进行检索，解决了现有技术中的故障树只有图片格式，不利于检索的问题。并且，结构化数据方便存储也方便录入知识图谱中。

1)、本申请的装置中，解析单元将图片格式的故障树进行分层解析，得到线框图、连接线图、框内文字图和标题文字图；第一识别单元、确定单元以及第二识别单元分别再对线框图、连接线图、框内文字图和标题文字图进行处理，得到线框的形状、连接线和线框的连接关系以及文字识别的结果；最后，将这些得到的结果转换为结构化数据。该装置中，通过将图片格式的故障树转化为结构化数据，后续可以直接对结构化的数据进行检索，解决了现有技术中的故障树只有图片格式，不利于检索的问题。并且，结构化数据方便存储也方便录入知识图谱中。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种故障树的处理方法，其特征在于，包括：

对故障树进行分层解析，得到线框图、连接线图、框内文字图和标题文字图，其中，所述线框图为仅包括线框的图，所述连接线图为仅包括连接线的图，所述标题文字图为仅包括标题文字的图，所述框内文字图为仅包括框内文字的图，所述框内文字为位于所述线框内的文字；

识别所述线框图中的所述线框的形状，得到所述线框的形状；

确定所述连接线和对应连接的所述线框，得到对应的连接关系；

识别所述框内文字和所述标题文字，得到识别结果；

将所述线框的形状、所述连接关系以及所述识别结果转化为结构化数据，并进行存储。

2.根据权利要求1所述的方法，其特征在于，对故障树进行分层解析，得到线框图、连接线图、框内文字图和标题文字图，包括：

将所述故障树的图转化为灰度图；

将所述灰度图进行二值化，得到二值化的故障树图；

对所述二值化的故障树图进行图文分割，得到图形图和文字图，所述图形图包括所述线框和所述连接线，所述文字图包括所述框内文字和所述标题文字；

对所述图形图中的所述连接线和所述线框进行分割，得到所述线框图和所述连接线图；

从所述文字图中提取所述标题文字，得到所述标题文字图和所述框内文字图。

3.根据权利要求2所述的方法，其特征在于，对所述二值化的故障树图进行图文分割，得到图形图和文字图，包括：

确定所述图文分割的分割条件；

根据所述分割条件，确定满足所述分割条件的区域为文字区域，且将所述文字区域的像素值设定为1，剩余的区域的像素值设定为0，得到所述图形图，确定不满足所述分割条件的区域为所述线框和所述连接线所在的区域，且将所不满足所述分割条件的区域的像素值设定为1，剩余的区域的像素值设定为0，得到所述文字图。

4.根据权利要求3所述的方法，其特征在于，确定所述图文分割的分割条件，包括：

获取所述故障树的各连通域表示形式，所述表示形式包括表征所述故障树的连通域的边界框的高和宽的信息；

根据所述故障树的连通域表示形式，计算各所述连通域的边界框的面积；

确定第一面积和第二面积，其中，所述第一面积为出现概率最大的所述边界框的面积，所述第二面积为所述边界框的平均面积；

根据所述第一面积和所述第二面积，确定所述边界框的面积阈值以及所述边界框的高宽阈值，所述高宽阈值等于所述面积阈值的平方根；

根据所述面积阈值和所述高宽阈值确定所述分割条件，所述分割条件包括：所述边界框的面积小于所述面积阈值、所述边界框的宽小于所述高宽阈值，所述边界框的高小于所述高宽阈值、所述边界框的高与宽的比值大于预定参数的倒数小于所述预定参数，所述预定参数为所述线框的宽高比的超参数。

5.根据权利要求2所述的方法，其特征在于，对所述图形图中的所述连接线和所述线框进行分割，得到所述线框图和所述连接线图，包括：

对所述图形图进行连通域分析，得到多个第一子连通域，所述第一子连通域为所述图形图的连通域；

确定面积最大的所述第一子连通域为外围背景，且设定所述外围背景的像素值为0；

确定所述第一子连通域的凸性，所述凸性为所述第一子连通域的面积与所述第一子连通域中可填充的最大凸多边形的面积；

设定所述凸性小于凸性阈值的所述第一子连通域的像素值为0，设定所述凸性大于或者等于所述凸性阈值的所述第一子连通域的像素值为1，得到所述线框图；

根据所述线框图和所述图形图，确定所述连接线图。

6.根据权利要求2所述的方法，其特征在于，从所述文字图中提取所述标题文字，得到所述标题文字图和所述框内文字图，包括：

将所述文字图中的预定区域的像素值设定为1，得到所述标题文字图，所述预定区域为所述线框图中像素值为1的区域；

根据所述标题文字图和所述文字图，确定所述框内文字图。

7.根据权利要求1至6中任一项所述的方法，其特征在于，识别所述线框图中的所述线框的形状，得到所述线框的形状，包括：

获取分类器模型；

截取所述线框图中的各所述线框的位置图；

根据所述位置图，进行特征提取，并将所述特征输入到所述分类器模型中，得到所述线框的形状。

8.根据权利要求1至6中任一项所述的方法，其特征在于，确定所述连接线和对应连接的所述线框，得到对应的连接关系，包括：

第一分析步骤；对所述线框图进行连通域分析，得到多个第二子连通域和每个所述第二子连通域的中心点的坐标；

第二分析步骤；对所述连接线图进行连通域分析，得到各所述连接线的像素位置；

添加步骤，从所述连接线图中提取一个所述连接线，并根据对应的像素位置，将所述连接线添加到所述线框图中，得到添加图；

第三分析步骤，对所述添加图进行连通域分析，得到多个第三子连通域和每个所述第三子连通域的中心点的坐标；

对比步骤；对比每个所述第二子连通域的中心点的坐标和每个所述第三子连通域的中心点的坐标，确定变化连通域，得到一个所述连接关系，所述变化连通域为包括所述连接线和对应连接的所述线框的所述第三子连通域，且所述变化连通域为与所述第二子连通域的中心点不同的所述第三子连通域；

依次重复执行所述第一分析步骤、所述第二分析步骤、所述添加步骤、所述第三分析步骤以及所述对比步骤至少一次，直到得到所有的所述连接关系。

9.一种故障树的处理装置，其特征在于，包括：

解析单元，用于对故障树进行分层解析，得到线框图、连接线图、框内文字图和标题文字图，其中，所述线框图为仅包括线框的图，所述连接线图为仅包括连接线的图，所述标题文字图为仅包括标题文字的图，所述框内文字图为仅包括框内文字的图，所述框内文字为位于所述线框内的文字；

第一识别单元，用于识别所述线框图中的所述线框的形状，得到所述线框的形状；

确定单元，用于确定所述连接线和对应连接的所述线框，得到对应的连接关系；

第二识别单元，用于识别所述框内文字和所述标题文字，得到识别结果；

转化和存储单元，用于将所述线框的形状、所述连接关系以及所述识别结果转化为结构化数据，并进行存储。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1至8中任意一项所述的方法。

11.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至8中任意一项所述的方法。