CN112119397A - 使用机器学习的管道及仪表流程图信息的分类 - Google Patents

Abstract

公开了用于识别标准化系统图中的符号的图案的系统和方法。公开的实施方式获得或合成地生成包括多个训练图像的符号辨认训练数据集，基于符号辨认训练数据集来生成符号辨认模型，获得包括符号的图案的图像，基于由处理回路识别算法捕获的逻辑关系来将符号分组到处理回路中，将字符分类模型应用到图像轮廓以识别字符，并经由层次聚类将字符分组到位号中，并且将识别的位号、符号和识别的处理回路存储在关系型数据库中。

Description

使用机器学习的管道及仪表流程图信息的分类

相关申请的交叉引用

本申请要求于2018年4月5日提交的美国临时申请第62/653,193号的优先权，其每一个的内容以它们的整体通过引用被并入本文。

技术领域

本公开通常涉及图案辨认，并且更具体地，涉及使用机器学习技术来识别标准化系统图中符号的图案。

背景技术

管道及仪表流程图(“P&ID”)是示出工程处理流程连同用于实施那些处理流程的仪表的工程图。P&ID可以包括用来捕获与P&ID图有关的不同类型的设计信息(诸如安装信息、材料、序列信息、危险信息或其他信息)的位号(tag)或标注(label)。在许多情况下，提取、识别和归类与P&ID相关联的位号和标注，使得P&ID及其提供的信息可以在数据库系统内被访问和搜索是有用的。

当前P&ID编号的方法依赖于手动工作来识别P&ID位号并生成位号索引列表。例如，人工操作员可以视觉地检阅P&ID，以提取包括符号、位号及其组织的信息成分并将这些成分编目到数据库中。在一些示例中，光学字符识别(OCR)技术也可以被用于辅助该处理。然而，这些解决方案归根结底是低效且不准确的。这些解决方案既不成本有效也不鲁棒。

发明内容

为了克服现有的基于OCR和手动的归类解决方案的缺点，可以将机器学习模型应用到P&ID图以提取图形成分，诸如表示化学成分或物理成分的运输或者控制处理的符号和处理回路。本公开的一些实施例实施多层构架来识别表示装备的符号、表示装备之间的连接的示意线(例如，连接符线)以及编码上下文信息和/或各种设计规范的位号。该模型可以是机器学习算法，诸如卷积神经网络、决策树或如本领域已知的其他机器学习算法。训练数据可以是合成的或者收集自真实的先前编号的P&ID图。

本公开的一方面涉及被配置用于识别标准化系统图中的符号的系统。该系统可以包括由机器可读指令配置的一个或多个逻辑电路。(一个或多个)处理器可以被配置为获得包括多个训练图像的符号辨认训练数据集。(一个或多个)处理器可以被配置为基于该符号辨认训练数据集来生成符号辨认模型。(一个或多个)处理器可以被配置为获得包括符号的图案的图像。符号可以包括用于表示机械部件或电气部件的复杂几何形状。(一个或多个)处理器可以被配置为将符号辨认模型应用到几何形状，以辨认符号。(一个或多个)处理器可以被配置为将识别的符号存储在关系型数据库中。

本公开的另一方面涉及用于识别标准化系统图中的符号的图案的方法。该方法可以包括获得包括多个训练图像的符号分类训练数据集。该方法可以包括基于该符号分类训练数据集来生成符号分类模型。该方法可以包括获得包括符号的图案的图像。符号可以包括一个或多个轮廓。该方法可以包括基于轮廓的位置信息来将符号聚类到层次组中。该方法可以包括将符号分类模型应用到轮廓，以识别符号和层次组。该方法可以包括将识别的符号连同对应的层次组一起存储在关系型数据库中。

本公开的实施例提供用于通过利用基于机器学习的技术来将图像中诸如字母数字字符的形状或对象的图案进行分类的系统和方法。在一些实施例中，该方法可以包括生成字符分类训练数据，并基于该字符分类训练数据建立字符分类模型。该方法可以包括找到图像中的所有轮廓，将轮廓聚类，将字符分类模型应用到图像以将轮廓分类为目标字符或非字符，以及提取作为感兴趣的位号或标注的聚类的字符的组。

本文中公开的实施例可以包括用于将形状的图案分类为字符，并将字符分组到位号中的系统。例如，该系统可以包括数据存储库和字符分类逻辑电路。字符分类逻辑电路可以包括处理器以及其上嵌有计算机可执行指令的非瞬时性计算机可读介质，并且该计算机可执行指令可以被配置为使处理器生成字符分类训练数据，基于该字符分类训练数据建立字符分类模型，以及将字符分类模型应用到图像以将目标字符分类。在一些实施例中，该系统可以通过将图像轮廓相对于整个图像定位，基于字符分类模型来将轮廓标注为字符或非字符，并基于字符的位置信息将字符聚类到层次组中，来识别位号。该系统可以基于组内的字符的图案来从字符的组中提取位号或标注。

在所公开的技术的一些实施例中，位号提取处理可以包括识别图像内的一个或多个文本区域，该文本区域包括字符的组。可以使用文本区域识别模型来识别文本区域。在一些实施例中，文本区域识别模型可以包括机器学习算法。位号提取处理可以包括使用经训练的字符分类模型来扫描识别的文本区域，以将各个字符分类并且然后提取和/或存储识别的字符。

在参考附图(其全部形成本说明书的部分，附图中相同的附图标注表示在各种附图中对应的部件)来考虑以下说明书和所附权利要求书之后，本文中所公开的系统和/或方法的这些和其他目的、特征和特性，以及结构的有关元件的操作的方法和功能及部分的组合和制造的经济性将变得更加显而易见。然而，要清楚地理解的是，附图仅用于说明和描述的目的，并不旨在作为本发明的范围的限制。除上下文另有明确指示之外，如说明书和权利要求书中所使用的“一”、“一个”和“该”的单数形式包括复数指代。

附图说明

根据一个或多个各种实施例，参考以下附图来详细地描述本文中所公开的技术。附图仅出于说明的目的而提供，并且仅仅描绘所公开的技术的典型或示例实施例。提供这些附图以促进读者对所公开的技术的理解，并且这些附图不应被认为是对所公开的技术的广度、范围或适用性的限制。应注意的是，为了说明的清楚和容易，这些附图不必要按比例绘制。

图1示出了与本文中公开的实施例一致的，使用机器学习模型来辨认和归类基于字符的文档位号的示例计算机实施的方法。

图2A示出了与本文中公开的实施例一致的，用于字符分类模型的合成训练数据生成的示例处理。

图2B示出了如本文中公开的实施例所使用的示例感兴趣的字符和字体。

图2C示出了如本文中公开的实施例所使用的示例原型字符。

图2D示出了与本文中公开的实施例一致的，从原型创建的示例训练图像。

图3A示出了与本文中公开的实施例一致的，用于位号提取的示例处理。

图3B示出了如本文中公开的实施例中所使用的部分P&ID输入图像的示例。

图3C示出了如根据本文中公开的实施例来处理以识别空白分割的轮廓的图3B的示例输入图像。

图3D示出了如根据本文中公开的实施例来处理以将轮廓分类的图3B的示例输入图像。

图3E示出了如本文中公开的实施例所使用的，在每个空白分割的轮廓处被提取和分类为感兴趣字符的子图像块的示例。

图3F示出了如根据本文中公开的实施例来处理的图3B的示例输入图像。

图3G示出了如根据本文中公开的实施例来处理以将分类的字符分组的图3B的示例输入图像。

图3H示出了根据本文中公开的实施例，从图3B的示例输入图像提取的位号。

图4A示出了与本文中公开的实施例一致的，用于为文本区域识别生成训练数据的示例方法。

图4B示出了根据本文中公开的实施例，编程地创建的训练图像的示例。

图5示出了与本文中公开的实施例一致的，用于使用文本区域识别模型的位号提取的示例方法。

图6示出了根据一个或多个实施方式的，被配置为辨认标准化系统图中的位号、符号和处理回路的系统。

图7示出了根据一个或多个实施方式的，用于识别标准化系统图中的符号的图案的方法。

图8是描绘了符号、位号和处理回路的示例P&ID图。

图9A是示出了与本文中公开的实施例一致的，用于将文档内的学习的字符的图案归类的方法的流程图。

图9B是示出了与本文中公开的实施例一致的，用于将图像中的图案分类的方法的流程图的方法的流程图。

图9C示出了与本文中公开的实施例一致的示例二元图案。

图9D是示出了与本文中公开的实施例一致的，用于定位字符区域、将字符图案分类以及基于识别的字符区域的位置信息来将字符分组到位号组中的工作流程的流程图。

图9E描述了以上流程图的更具体的设计，并且包括与本文中公开的实施例一致的，实行用于字符分类模型的合成数据生成器的模块。

图10是示出了与本文中公开的实施例一致的，用于将学习的字符的图案归类的系统的图。

图11示出了可以用来实施所公开的技术的实施例的各种特征的示例计算系统。

附图不旨在是详尽的，也并不旨在将本发明限制于公开的精确形式。应理解的是，本发明可以在修改和变更的情况下被实践，并且所公开的技术仅由权利要求及其等同物来限制。

具体实施方式

本公开的实施例提供用于利用基于机器学习的技术来将符号和字符图案归类的系统和方法。通过这样做，感兴趣的数据和信息可以来源于文档、与文档相关联、被识别和归类(例如，在数据库中)。应注意的是，这些文档可以包括P&ID、图、蓝图或者包含可以被识别为符号、字符或字符串的信息的任何其它来源。识别的符号或位号可以被索引并被存储在数据库中，使得可以在数据库内容易地存储和搜索文档和对应的信息。

在一些示例中，图像中的符号可以被分组在一起，并使用基于机器学习的方法而被识别。通过示例的方式，机器学习提供强有力的手段来定位某些区域和辨认作为图像而提供的包含的上下文信息。基于机器学习的技术可以包括诸如卷积神经网络的深度学习处理。卷积神经网络是深度前馈人工神经网络的一类别，它分析训练数据集，以学习数据内的可观察的特征图案，并且然后可以将那些学习的图案应用到将来的数据集，并且如果确定必须要更新的模型，则可以基于新数据集来适应性地更新这些学习图案。

本文中公开的一些实施例可以并入用于在整个工作流程的不同子任务中进行图像辨认和图像分类两者的卷积神经网络算法的使用。例如，在一些示例中，卷积神经网络或者其他机器学习模型可以被用来分析P&ID图和辨认其中包含的符号图像。卷积神经网络或者其他机器学习模型也可以被实施来识别包含在P&ID图中的文本区域或字符。如本领域将理解的，基于不同任务的上下文，有关神经体系结构和训练处理的设计可以是不同的。

图1示出了基于机器学习的方法，该方法用于处理图像、辨认图像内的字符位号以及提取其中找到的字符位号并将找到的字符位号与原始图像相关联。将这种字符位号与原始图像相关联使得能够通过包含在每个图像中的位号来索引和搜索大型的图像的集。如所示的，该方法可以包括：生成训练数据集1100；生成学习模型1150，该学习模型1150学习从训练数据集1100辨认感兴趣的字符；以及实施位号提取处理1170，该位号提取处理1170出于索引的目的而从图像中识别感兴趣的位号。在一些示例中，训练数据集可以是合成的，因为它是通过如本文中所公开的自动化处理而生成的。位号提取处理1170可以包括第一位号提取流水线处理1175和/或第二位号提取流水线处理1180。

从P&ID图像提取位号的处理可以包括生成训练数据集1100。字符训练数据表1110可以包括供字符分类模型1155中使用的字符原型1105的扩展列表。文本区域训练数据表1125可以包括用于文本区域识别模型1160的字符原型1105的扩展列表。

通过手动方式来为上面提到的两个模型中的任一个获取足够的标注数据可能是耗时、不一致且汇总(assemble)成本高的。例如，使用现有的P&ID图作为训练集需要手动处理来标注图内的位号和对象，这需要手动劳动和时间，受限于现有P&ID数据的可用性，并且可能易于出现人为错误和误归类。相反，本文中公开的实施例提供用于生成合成P&ID训练数据的方法。合成训练数据集允许在创建广泛和完整的各种P&ID数据中的更高的灵活性，并且合成训练数据集可以通过创建合成数据的系统而被预标注。

仍然参考图1，该方法可以包括生成学习模型1150。例如，可以使用机器学习算法来配置学习模型，以从训练数据集1100学习以辨认感兴趣的字符。在一些示例中，学习模型可以包括字符分类模型1155。字符分类模型1155可以是机器学习模型，例如，卷积神经网络、支持向量机、梯度提升决策树、逻辑回归或其他机器学习模型。可以使用字符训练数据集1110来训练字符分类模型1155。在一些示例中，字符分类模型1155可以被训练，以辨认图像(例如，P&ID)中的字符。在一些示例中，字符分类模型1155可以被训练，以将一个或多个图像块分类为n个感兴趣的对象和/或字符之一。

在一些实施例中，学习模型包括文本区域识别模型1160。文本区域识别模型1160可以包括机器学习模型，例如，基于卷积神经网络的图像分割或者经训练以辨认给定图像中的文本区域的相似类型的模型。例如，可以使用合成的文本区域训练图像1130和/或手动注释的P&ID训练图像1135来训练文本区域识别模型。文本区域识别模型1160可被训练，以定位和识别一个或多个图像中的多个对象。

仍然参考图1，该方法可以包括位号提取处理1170，该位号提取处理1170可以包括一个或多个位号提取流水线处理。例如，一个位号提取流水线处理1175可以包括处理图像，以识别和定位空白分隔的轮廓。位号提取流水线处理1175还可以包括使用字符分类模型，例如经训练的字符分类模型1155，来将轮廓分类。在一些示例中，第一位号提取流水线处理1175可以包括将轮廓和/或字符分组到位号中。

在一些示例中，位号提取处理1170可以包括补充或替代的位号提取流水线处理1180。位号提取流水线处理1180可以包括应用文本区域识别模型，例如经训练的文本区域识别模型1160，来定位图像中以内的文本组，并且在一些示例中，定位图像内的文本区域内的文本组。在一些示例中，位号提取流水线处理1180可以包括扫描定位的文本区域，以识别其中所包含的各个字符。位号提取流水线处理1175和1180可以单独地操作，或者被组合以提高位号提取的准确性。

图2A至图2D示出了例如用于训练字符分类模型1155的合成训练数据生成处理的示例。图2A示出了被用来生成合成训练数据的处理的流程图。

参考图2A，用于生成合成训练数据的方法可以包括在1210，创建包括选择的要由字符分类模型1155辨认的字符和字体的原型源图像。用于生成合成训练数据的方法可以包括在1220，从一个或多个源图像提取原型字符。例如，从源图像提取原型字符的1220也可以包括标注和存储原型字符。在一些示例中，用于生成合成训练数据的方法可以包括使用原型字符，通过改变大小和位置、将原型字符组合到n元中、模糊和/或添加噪声来编程地创建用于训练字符分类模型1155的无限量的训练数据。

图2B示出了包括感兴趣的字符的图像1215的示例，因为有效的P&ID位号可能包含这些字符中的任何字符。它们以与P&ID图像中通常找到的那些字体类似的字体而呈现。相反，图2B也包括图像1216的示例，该图像1216包括在有效位号中所不允许因此是应当被分类为“丢弃”的字符的示例的字符。第一图像1215的字体和字符可以被字符分类模型分类为感兴趣的字符，然而第二图像1216的字符可以被分类为“丢弃”。类似于示例1215和1216的图像可以被用来构造原型字符图像的集，该原型字符图像的集随后可以被用来生成用于训练字符分类模型的训练图像。

图2C提供可以从原型源图像提取的原型图像1105的示例。图2D提供可以从原型图像编程地生成的训练图像1115的示例。使用本文中公开的方法来编程地生成合成字符分类训练数据使得能够创建用于训练字符分类模型1155将图像中的轮廓分类为感兴趣的字符的具有无限大小和变化的训练数据集。为了进一步改进模型准确性，字符分类训练数据可以包括原型字符的大小、位置、模糊和旋转中的变化，组合原型字符，以及噪声水平中的变化。

在一些实施例中，迭代地改进字符辨认模型可以包括使用任何误分类的轮廓子图像来扩充训练数据，重新训练字符辨认模型，以及例如使用手动证实或者使用证实数据集来编程地验证字符辨认模型的准确性。

图3A至图3H示出了可以在图1中描绘的第一位号提取流水线处理1175中实施的步骤的示例。参考图3A，第一位号提取流水线处理可以包括在步骤1310，输入P&ID图像。在一些示例中，P&ID图像可以作为电子文件输入，或者使用数码相机、扫描仪、数据存储库或其他电子输入方式输入。

方法1175可以包括在步骤1320，识别空白分割的轮廓。在一些示例中，方法1175可以包括在步骤1330，通过应用经训练的分类模型来将图像内的轮廓分类。在一些示例中，方法1175可以包括在步骤1340，将轮廓聚类到组中。例如，可以基于图像内识别的字符的位置以及彼此的邻近度来将识别的字符分层次地聚类。可以从得到的字符的聚类创建文本组。

在一些实施例中，方法1175可以包括在步骤1150，例如通过使用被用来完善文本组的各种试探法，来完善字符组。方法1175可以包括在步骤1360，提取和/或存储位号。

图3B示出了可以使用第一位号提取流水线处理1175来处理的示例输入P&ID子图像1315。

图3C示出了已经经历了识别空白分割的轮廓的处理1320的示例输入P&ID子图像1325。

图3D示出了已经经历了将轮廓分类的处理1330的示例输入P&ID子图像1335。

图3E示出了从示例输入P&ID图像提取的空白分割的轮廓的子图像的示例，其已经被字符分类模型1155分类为感兴趣的字符。

图3F示出了已经经历了基于图像内识别的字符的位置的识别的字符的层次聚类1340的示例输入P&ID图像1345。

图3G示出了已经经历了使用被用来完善在先前的步骤中创建的文本组的各种试探法的字符组的完善1350的示例输入P&ID图像。在一些示例中，该方法可以包括用于识别未分割轮廓和使用文本分类来确定字符串是否是位号的附加试探法。

图3H示出了可以被提取和/或被存储的，在步骤六1360中创建的位号的示例列表1365。

图4A和图4B示出了用于为文本识别模型1160生成合成训练数据的示例方法。图4A示出了被用来生成合成训练数据的示例处理的流程图。该方法可以包括在步骤1410，创建原型源图像以及在步骤1420，提取原型字符。在一些示例中，可以识别和提取原型字符。该方法可以包括通过将从随机的字符原型的组建立的随机且图案化的文本区域放置在背景图像(该背景图像还可以包含P&ID上常见的随机生成的线、符号、其他对象/噪声)上，来编程地创建多个训练图像(例如，无限数量的训练图像)。图4B示出了具有可以通过应用文本区域识别模型1160而识别的文本区域的训练图像1435的示例。

图5示出了第二位号提取流水线处理1180。如图5所示，方法1180可以包括接收作为输入的图像，例如P&ID。方法1180可以包括例如通过应用经训练的文本区域识别模型1160，识别图像中的文本区域。在一些示例中，方法1180可以包括在步骤1530，识别文本区域内的字符以及在步骤1540，提取和/或存储位号。第二位号提取流水线处理1180的实施例可以被应用到图3B至图3H中所示的示例输入图像和字符。

图6示出了根据一个或多个实施方式的，被配置用于识别标准化系统图中的包括符号、位号和处理回路的设计上下文的系统100。在一些实施方式中，系统100可以包括一个或多个服务器102。(一个或多个)服务器102可以根据客户端/服务器体系结构和/或其他体系结构被配置为与一个或多个客户端计算平台104通信。(一个或多个)客户端计算平台104可以被配置为经由(一个或多个)服务器102和/或根据对等体系结构和/或其他体系结构来与其他客户端计算平台通信。用户可以经由(一个或多个)客户端计算平台104来访问系统100。

(一个或多个)服务器102可以包括一个或多个处理器166以及具有嵌入其上的机器可读指令106的一个或多个非瞬时性存储器。在一些实施例中，处理器166以及具有嵌入其上的机器可读指令106的非瞬时性存储器可以形成逻辑电路。在一些示例中，(一个或多个)服务器102可以包括一个或多个逻辑电路。逻辑电路可以包括计算机程序模块。在一些示例中，(一个或多个)服务器102可以包括合成训练数据生成逻辑电路108、符号辨认逻辑电路110、图像获得逻辑电路112、符号存储逻辑电路118、原型符号生成逻辑电路120、阵列生成逻辑电路124、概率确定逻辑电路126、符号位置评估逻辑电路130、训练数据获得逻辑电路132、位号识别逻辑电路134、字符分类模型生成逻辑电路138、字符轮廓识别逻辑电路140、字符聚类逻辑电路142、字符分类模型应用逻辑电路144、图像分割逻辑电路148、处理回路识别逻辑电路150、连接符线识别逻辑电路154、连接符存储逻辑电路156、回路验证逻辑电路158、关系对应逻辑电路160以及/或者其他逻辑电路和/或指令模块中的一个或多个。

训练数据生成逻辑电路108可以被配置为获得包括多个训练图像的符号辨认训练数据集。训练数据可以包括多个图像(例如，从诸如P&ID图的标准化系统图裁剪的图像块)。在一些实施例中，可以合成地生成训练数据，以包括随不同的比例的研究的符号的集。在一些实施例中，可以从现有或先前编目的图像或数字化图像收集训练数据。可以手动检查训练数据以识别符号、位号和/或处理回路，并将训练数据录入到训练数据库中供机器学习模型使用，以与训练图像中的关于相同符号的模型的识别进行比较。

符号辨认逻辑电路110可以被配置为基于符号辨认训练数据集来生成符号辨认模型。符号分类模型可以包括机器学习算法，例如卷积神经网络、faster R-CNN、决策树或者如本领域已知的其他机器学习算法。

图像获得模块112可以被配置为获得包括符号的图案的图像。例如，符号可以对应于在P&ID图中表示的装备。符号可以是标准或自定义的工程符号。例如，符号可以表示储罐、阀门、管道、传感器、仪表或者如本领域已知的其他类型的装备和/或系统部件。

在P&ID或其他工程文档中，符号通常被显示为几何形状，表示功能部件。每个符号可以包括一个或多个轮廓。

符号位置评估逻辑电路130可以被配置为将符号辨认模型应用到包括多个几何形状的图像块，以识别有关的符号。

符号存储逻辑电路118可以被配置为将识别的符号连同由多个符号组成的对应的处理回路一起存储在关系型数据库中。识别的符号可能已经通过机器学习算法或者经由通过图形用户界面的手动识别而被识别。符号可以包括已经取得约定意义的任意标志(书写的、印刷的或以其他方式显示的)，根据一些实施方式，例如，作为与工程处理图相关联的行业标准或图例。关系型数据库可以是电子数据库。根据一些实施方式，关系型数据库可以包括其中的信息项之间的关系被明确地指定为可访问的属性的数据库。

原型符号生成逻辑电路120可以被配置为创建感兴趣的原型符号。感兴趣的原型符号可以包括效仿如P&ID图中所使用的标准或自定义的工程符号的形状或设计。通过非限制性的示例的方式，获得符号分类训练数据可以进一步包括修改感兴趣的原型符号的大小、平移、旋转或其他可能的变化。根据一些实施方式，可能的变化可以包括能够发生或存在的变化。变化可以是偏差。根据一些实施方式，变化可以包括脱离预期的事件。

原型符号存储模块122可以被配置为将感兴趣的原型符号作为用于编程地创建各种训练图像的模板存储在数据存储库中。数据存储库可以是数据库或物理存储设备，诸如磁存储装置或固态存储装置。数据存储库可以是本地、网络和/或基于云的数据存储设备。给定的模板可以是模型。根据一些实施方式，模板可以包括用于作出比较的模型或标准。

阵列生成逻辑电路124可以被配置为生成图像内的符号位置分区的第一阵列。阵列可以是布置。根据一些实施方式，阵列可以包括有序布置。阵列的示例可以包括库(bank)、列、矩阵、簇(panoply)、行、谱、表格和/或其他阵列中的一个或多个。

阵列生成逻辑电路124可以被配置为在第一阵列的符号位置分区包括感兴趣的符号的概率超过选择的阈值的情况下，生成包括所述符号位置分区的第二阵列。选择的阈值可以包括由用户通过图形用户界面选择的一个或多个概率。在一些示例中，阈值可以由用户调整或调节，以影响机器学习算法的准确性。例如，用户可以在验证步骤期间调节阈值，以确认P&ID图内的由模型识别的符号是准确的。可以使用图形用户界面来实行验证。概率可以是度量。根据一些实施方式，概率可以包括一些事件将发生的可能程度的度量；表明有利情况与可能的情况的总数的比率的数。概率的示例可以包括条件概率、典型代表(crosssection)、超过率、较大机会(fair chance)、机会渺茫(fat chance)、联合概率、风险、风险和/或其他概率中的一个或多个。

概率确定逻辑电路126可以被配置为使用符号辨认模型来确定第一阵列的符号位置分区包括感兴趣的符号的概率。

概率确定逻辑电路126可以被配置为通过评估有关的感兴趣的符号是否存在于任何相邻的符号位置分区中，来确定第一阵列的符号位置分区包括感兴趣的符号的概率。例如，相邻符号可以包括位于正被评估的感兴趣的符号旁边或附近的符号。根据一些实施方式，有关的符号可以被逻辑地或因果地连接，或者通过共享的特性被连接。概率确定逻辑电路126连同符号位置评估逻辑电路130可以被配置为辨认图像中的图案(例如，感兴趣的符号、轮廓的图案等)。

在一些示例中，符号位置评估逻辑电路130可以被配置为以按次序的顺序来评估符号位置分区。根据一些实施方式，按次序的顺序可以包括处于没有间隙的规律的连续中的顺序。

训练数据获得逻辑电路132可以被配置为通过将固定或随机的噪声图案应用到一个或多个图像来获得训练数据。

位号识别逻辑电路134可以被配置为基于字符聚类结果来识别标准化系统图位号，并将识别的标准化系统图位号连同对应的位置一起存储在关系型数据库中。标准化系统图位号可以包括P&ID位号。

字符分类模型生成逻辑电路136可以被配置为获得字符分类训练数据，并基于字符分类训练数据来生成字符分类模型。字符轮廓识别逻辑电路140可以被配置为识别图像内的字符轮廓。字符聚类逻辑电路142可以被配置为基于字符轮廓的位置信息来将字符聚类到字符层次组中。字符分类模型应用逻辑电路144可以被配置为将字符分类模型应用到字符轮廓，以识别字符。

关系型数据库可以是可从图形用户界面搜索的。图形用户界面可以是界面。根据一些实施方式，图形用户界面可以包括基于图形而非文本的用户界面；使用作为输入设备的鼠标以及键盘。

图像分割逻辑电路148可以被配置为分割图像，并将试探法应用到图像，以抑制非字符轮廓和识别字符轮廓。给定的试探法可以是规则。根据一些实施方式，试探法可以包括旨在提高解决一些问题的概率的常识规则。试探法的示例可以包括横向思维和/或其他试探法中的一个或多个。

处理回路识别逻辑电路150可以被配置为识别图像中与有关的符号的组对应的处理回路。配置的算法可以是可传递的，以识别多边形、无定形形状、开放形状或如本领域已知的其他图形结构。在一些示例中，符号辨认逻辑电路110可以被配置为识别图像内与已知属于处理回路的感兴趣的部件对应的第一感兴趣的符号。符号辨认逻辑电路110还可以被配置为识别耦接到第一连接符线的第二感兴趣的符号。

连接符线识别逻辑电路154可以被配置为识别从第一感兴趣的符号延伸的第一连接符线。连接符线识别逻辑电路154可以由处理回路识别逻辑电路150使用或者与处理回路识别逻辑电路150协同使用，以识别图像中的处理回路和/或其他几何形状。

连接符线识别模块154可以被配置为识别从第二感兴趣的符号延伸的第二连接符线。

连接符线识别电路154可以被配置为识别从对应的感兴趣的符号延伸的附加连接符线，直到端接连接符线被识别为耦接回到第一感兴趣的符号为止，使得识别的连接符线与对应的感兴趣的符号形成封闭回路。

连接符线识别逻辑电路154可以被配置为使用边缘检测处理，使用对图形的拓扑结构分析算法，或者使用如本领域已知的其他图案辨认算法来识别连接符线。

连接符存储逻辑电路156可以被配置为将识别的连接符连同对应的感兴趣的符号一起作为识别的处理回路存储在关系型数据库中。通过非限制性示例的方式，识别的处理回路可以编码化学处理、物理处理或控制处理。

物理处理可以包括由P&ID图中所描述的系统来实施的处理。例如，物理处理可以包括碳氢化合物提取、储存、提纯或者如本领域已知的其他类似处理。根据一些实施方式，物理处理可以包括持续现象或者由通过系列的状态的逐渐变化而标记的现象。回路验证逻辑电路158可以被配置为使用图形用户界面来验证识别的回路。关系对应逻辑电路160可以被配置为将对应的位号与对应的标准化系统图相关地一起存储在关系型数据库内。

在一些实施方式中，图像可以包括标准化系统图。在一些实施方式中，符号分类训练数据可以包括标准化系统图的集，该标准化系统图的集包括对应的符号和层次组的集，并使用图形用户界面来手动识别符号和层次组。

在一些实施方式中，(一个或多个)服务器102、(一个或多个)客户端计算平台104和/或外部资源162可以经由一个或多个电子通信链路可操作地链接。例如，这种电子通信链路可以至少部分经由诸如因特网和/或其他网络的网络来设立。要理解的是这不旨在是限制性的，并且本公开的范围包括其中(一个或多个)服务器102、(一个或多个)客户端计算平台104和/或外部资源162可以经由一些其他通信介质可操作地链接的实施方式。

给定的客户端计算平台104可以包括被配置为执行计算机程序模块的一个或多个处理器。计算机程序模块可以被配置为使与给定的客户端计算平台104相关联的专家或用户能够与系统100和/或外部资源162接口，以及/或者提供本文中归因于(一个或多个)客户端计算平台104的其他功能。通过非限制性示例的方式，给定的客户端计算平台104可以包括桌上型计算机、膝上型计算机、手持式计算机、平板计算平台、上网本、智能电话、游戏控制台和/或其他计算平台中的一个或多个。

外部资源162可以包括系统100以外的信息源、参与系统100的外部实体以及/或者其他资源。在一些实施方式中，本文中归因于外部资源162的一些或全部功能可以由包括在系统100中的资源来提供。

(一个或多个)服务器102可以包括电子存储装置164、一个或多个处理器166和/或其他部件。(一个或多个)服务器102可以包括通信线或端口，以使与网络和/或其他计算平台的交换信息可行。图1中(一个或多个)服务器102的例示不旨在是限制性的。(一个或多个)服务器102可以包括一起被操作以提供本文中归因于(一个或多个)服务器102的功能的多个硬件、软件和/或固件部件。例如，(一个或多个)服务器102可以由作为(一个或多个)服务器102的一起操作的计算平台的云来实施。

电子存储装置164可以包括电子地存储信息的非瞬时性存储介质。电子存储装置164的电子存储介质可以包括与(一个或多个)服务器102一体地提供(即，基本上不可移除的)的系统存储装置，以及/或者经由例如端口(例如，USB端口、火线端口等)或驱动(例如，盘驱动等)而可移除地连接到(一个或多个)服务器102的可移除存储装置中的一个或两者。电子存储装置164可以包括光可读存储介质(例如，光盘等)、磁可读存储介质(例如，磁带、磁硬驱动、软盘驱动等)、基于电荷的存储介质(例如，EEPROM、RAM等)、固态存储介质(例如，闪速驱动等)和/或其他电子可读存储介质中的一个或多个。电子存储装置164可以包括一个或多个虚拟存储资源(例如，云存储、虚拟专用网络和/或其他虚拟存储资源)。电子存储装置164可以存储软件算法、由(一个或多个)处理器166确定的信息、从(一个或多个)服务器102接收的信息、从(一个或多个)客户端计算平台104接收的信息以及/或者使(一个或多个)服务器102起本文中所述的作用的其他信息。

(一个或多个)处理器166可以被配置为在(一个或多个)服务器102中提供信息处理能力。如此，(一个或多个)处理器166可以包括数字处理器、模拟处理器、被设计来处理信息的数字电路、被设计来处理信息的模拟电路、状态机和/或用于电子地处理信息的其它机构中的一个或多个。尽管(一个或多个)处理器166在图1中被显示为单个实体，但这只是为了说明的目的。在一些实施方式中，(一个或多个)处理器166可以包括多个处理单元。这些处理单元可以物理地位于相同的设备内，或者(一个或多个)处理器166可以表示协同操作的多个设备的处理功能。(一个或多个)处理器166可以被配置为执行如逻辑电路108、110、112、118、120、124、126、130、132、134、138、140、142、144、148、150、154、156、158、160和/或其他模块所指示的机器可读指令。(一个或多个)处理器166可以被配置为通过软件；硬件；固件；软件、硬件和/或固件的一些组合；和/或用于配置(一个或多个)处理器166上的处理能力的其他机构，来执行与逻辑电路108、110、112、118、120、124、126、130、132、134、138、140、142、144、148、150、154、156、158、160和/或其他模块对应的模块。如本文中所使用的，术语“模块”可以指实行归因于该模块的功能的任何部件、逻辑电路或者部件或逻辑电路的集。这可以包括在处理器可读指令的执行期间的一个或多个物理处理器、处理器可读指令、电路、硬件、存储介质或任何其他部件。

应理解的是，尽管逻辑电路108、110、112、118、120、124、126、130、132、134、138、140、142、144、148、150、154、156、158和160在图1中被示出为实施在单个处理单元内，但在其中(一个或多个)处理器166包括多个处理单元的实施方式中，逻辑电路108、110、112、118、120、124、126、130、132、134、138、140、142、144、148、150、154、156、158和/或160中的一个或多个可以远离其他模块而实施。对由下面描述的不同逻辑电路108、110、112、118、120、124、126、130、132、134、138、140、142、144、148、150、154、156、158和/或160所提供的功能的描述是出于说明的目的，并且不旨在是限制性的，因为逻辑电路108、110、112、118、120、124、126、130、132、134、138、140、142、144、148、150、154、156、158和/或160中的任何一个都可以提供比所述的更多或更少的功能。例如，逻辑电路108、110、112、118、120、124、126、130、132、134、138、140、142、144、148、150、154、156、158和/或160中的一个或多个可以被消除，并且其功能的一些或全部可以由逻辑电路108、110、112、118、120、124、126、130、132、134、138、140、142、144、148、150、154、156、158和/或160中的其他逻辑电路提供。如另一示例，(一个或多个)处理器166可以被配置为执行一个或多个附加模块，该一个或多个附加模块可以实行以下归因于逻辑电路108、110、112、118、120、124、126、130、132、134、138、140、142、144、148、150、154、156、158和/或160之一的功能的一些或全部。

图7示出了根据一个或多个实施方式的，用于辨认标准化系统图中的符号的方法200。下面呈现的方法200的操作旨在是说明性的。在一些实施方式中，可以在具有未描述的一个或多个附加操作和/或在没有所讨论的操作中的一个或多个操作的情况下完成方法200。另外，图7中所示以及下面描述的方法200的操作的顺序不旨在是限制性的。

在一些实施方式中，可以将方法200实施在一个或多个处理设备(例如，数字处理器、模拟处理器、被设计来处理信息的数字电路、被设计来处理信息的模拟电路、状态机、一个或多个逻辑电路和/或用于电子地处理信息的其他机构)中。一个或多个处理设备可以包括响应于电子地存储在电子存储介质上的指令而执行方法200的操作的一些或全部的一个或多个设备。一个或多个处理设备可以包括通过硬件、固件和/或软件而配置的，被专门设计用于方法200的操作的一个或多个的执行的一个或多个设备。

操作202可以包括获得包括多个训练图像的符号辨认训练数据集。例如，获得可以包括生成符号辨认训练数据集、接收符号辨认训练数据集或者其任意组合。根据一个或多个实施方式，可以由机器可读指令配置的，包括与训练数据生成逻辑电路108相同或相似的逻辑电路的一个或多个硬件处理器来实行操作202。

操作204可以包括基于符号辨认训练数据集来生成符号辨认模型。操作204可以输出辨认的符号以及它们相对于整个图像的位置信息，该位置信息可以基于列和行信息而被表示为图形坐标。根据一个或多个实施方式，可以由机器可读指令配置的，包括与符号识别逻辑电路110相同或相似的模块的一个或多个硬件处理器来实行操作204。

在一些示例中，操作206可以包括获得包括符号的图案的图像。符号可以包括一个或多个轮廓。根据一个或多个实施方式，可以由机器可读指令配置的，包括与图像获得逻辑电路112相同或相似的逻辑电路的一个或多个硬件处理器来实行操作206。

操作208可以包括基于由连接识别试探法所捕获的，例如，如由处理回路识别逻辑电路150或连接符线识别逻辑电路154所生成或获得的处理、物理、逻辑或其他关系，来将符号聚类到处理回路或其他图形组中。

在一些实施例中，操作210可以包括将符号辨认模型应用到轮廓，以识别符号、处理回路和/或组。根据一个或多个实施方式，可以由机器可读指令配置的，包括与符号辨认逻辑电路110相同或相似的逻辑电路的一个或多个硬件处理器来实行操作210。

操作212可以包括将识别的符号，连同对应的处理组或者由遵循一些给定的关系(例如，电气或物理等)的多个符号组成的更通用的图形结构一起存储在关系型数据库中。根据一个或多个实施方式，可以由机器可读指令配置的，包括与符号存储逻辑电路118相同或相似的逻辑电路的一个或多个硬件处理器来实行操作212。

尽管已经出于说明的目的，基于目前认为是最实用和优选的实施方式详细地描述了本技术，但要理解的是这种细节仅仅用于该目的，并且本技术不限于所公开的实施方式，而是相反地，旨在覆盖在所附权利要求书的精神和范围内的修改和等效布置。例如，要理解的是，在可能的范围内，本技术预期可以将任何实施方式的一个或多个特征与任何其他实施方式的一个或多个特征组合。

图9A是示出了用于识别文档图像内的字符位号的基于机器学习的方法10的流程图。如图4A中所描绘的，方法10可以包括使用感兴趣的字符和字体的原型示例来编程地生成合成字符分类训练数据，以使模型能够学习将图像中的轮廓分类为感兴趣的字符，并将那些字符分组到位号中。

在一些示例中，可以通过在从数据存储库获得或由可编程合成训练数据生成方法创建的字符分类训练数据上训练卷积神经网络，来生成字符分类模型。通过示例的方式，字符分类训练数据可以包括传达关于包括在文档中的字符和位号的信息的原型字符的变化、原型字符的变化的组合。因此，字符分类训练数据然后可以被用来建立模型，以辨认在目标文档图像中找到的感兴趣的字符。

在一些示例中，该方法可以包括在步骤16，将字符分类模型应用到文档中的空白分割的轮廓。

该方法可以包括基于从层次聚类算法得到的字符组来构造位号。

图9B是示出了与本文中公开的实施例一致的，用于生成字符分类训练数据以建立字符分类模型的方法20的流程图。可以从在形状、比例、旋转、噪声水平等方面具有不同的随机变化的原型字符图像创建字符分类训练数据图像。该方法还可以将多个原型字符随机组合在一起，以创建二元或部分二元训练图像。在一些实施例中，可以收集许多感兴趣文档，并且包含在那些文档内的感兴趣的字符可以被手动识别并输入到数据库集合中。在一些实施例中，感兴趣的字符可以是手动生成的，或由计算机处理器自动生成的，或从数据存储设备获得的感兴趣的原型字符。

通过示例的方式，用于建立字符分类训练数据的方法20可以包括在步骤22，在数据存储库中创建不同字体的原型字符的集。在步骤24，可以将一个或多个原型字符放置在噪声背景图像以及保存的字符训练图像上。这些训练图像可以包括字符和/或非字符数据，并且可以以TIFF、JPEG、PNG或其他图像文件格式被保存。

在一些示例中，不感兴趣的字符可以作为要分类为丢弃或不感兴趣的形状的训练图像被保存在数据存储库上。例如，小写字符和某些符号(例如，“&”、“#”、“@”等)可以被包括为要分类为丢弃字符的训练示例。

在一些实施例中，训练图像可以包括原型字符的完整或部分的组合。通过示例的方式，感兴趣的原型字符可以包括诸如“A”、“B”、“C”、“D”、“E”、“F”、“G”、“H”、“I”、“J”、“K”、“L”、“M”、“N”、“O”、“P”、“Q”、“R”、“S”、“T”、“U”、“V”、“W”、“X”、“Y”、“Z”、“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”、“9”、“/”、“(”、“)”、“.”、“-”的字符。应注意的是，任意数量的原型字符或者跨许多字体的字符类型可以被使用或被实施为用于生成字符分类训练数据的建立块。可以通过对字符分类训练数据存储库内的字符进行删除、修改或添加来修改或改变被包括在字符分类训练数据内的字符的类别。可以通过创建具有指定字体的字符图像的集或者通过从真实P&ID图像裁剪字符图像来生成原型字符。

在一些实施例中，两个或多于两个的相邻字符(对于两个字符称为二元、对于三个字符称为三元或者对于n个字符称为n元)可以被用作字符分类训练数据。图9C示出了二元图案的几个示例。由于在P&ID或类似文档内字符经常跟随有其他字符的事实，所以在字符分类训练数据内使用完整或部分的n元作为训练图像可以提高图案辨认准确性。示例性方法可以包括通过并入与字符接触情况对应的二元来识别二元的第一个字符，以增强模型的分类性能。特别地，可以在辨认诸如破折号、句号、“I”等具有最小区别特性的特定字符中观察到准确性提高。这种描述最少的字符跟随有第二个字符的训练示例有助于字符分类模型学习将这种描述最少的字符分类。可以将相同的图案辨认方法应用到多个字符(即，对于三元情况的三个字符以及对于n元情况的n个字符)。

字符分类训练数据可以包括原型字符的序列，该原型字符的序列包括或者不包括n元。通过示例的方式，原型字符的序列可以是源于数据库中要分类的文档内的示例性的感兴趣的标注和位号(例如，XYZ-123)。

参考图9B，字符分类训练数据可以被用来创建如上所述的字符分类模型。通过示例的方式，可以多次迭代地或多批次地训练字符分类模型。在一些示例中，迭代的次数可以从用户界面获得。在一些示例中，迭代的次数可以基于满足阈值条件，例如，通过在字符分类模型被应用到单独的模型测试数据集(即，非训练数据)时，衡量该字符分类模型的准确性。可以通过将误分类的字符图像添加到训练数据集文件夹并重新训练字符分类模型，来更新字符分类模型。假定P&ID图像可能包含与原始字符分类训练数据不同的字体或样式的字符，该处理可以被用来随时间提高字符分类模型的准确性。

图10示出了示例P&ID图。如所示的，P&ID图包括表示使用连接符线而被关联在一起的装备的许多工程符号。连接符线可以描绘由符号表示的装备之间的连接方式，例如通过液压管道、电气连接方式或者其他关系。P&ID图也包括识别符号和连接符的位号。出于表明的目的，显示了P&ID图中的虚线框，以指示各种装备(例如，由系列的连接符和符号以及表示封闭或开放回路处理的连接符所表示的装备的组)之间的处理回路或者其他关系。

图9D示出了用于使用字符分类模型来辨认感兴趣的文档(例如，P&ID文档)内的字符的形状，将辨认的字符分组在一起，并从辨认的字符的组构造P&ID位号的方法40。因此，感兴趣的文档的内容可以被识别、与文档相关联，并且可以出于搜索的目的而被索引。

方法40可以包括识别感兴趣的文档内所有的空白分割的轮廓。试探法技术可以被设计为抑制非字符轮廓和调整不同比例的轮廓的大小。可以通过检测并分割图像内被空白围绕的所有连接的非空白像素来识别轮廓。在一些示例中，可以计算边界框，以通过对每个轮廓取最大和最小“x”和“y”值来定位字符。

步骤44描绘了使用字符分类模型来将识别的轮廓分类为感兴趣字符或不是感兴趣的字符的轮廓。在一些实施例中，如在步骤46至步骤47中所描绘的，分类的字符轮廓可以基于位置而被分组在一起，并被用来构建位号。识别的轮廓基于每个轮廓的位置信息而被分组。可以使用其他方法来将有关的轮廓分组。在生成与位号文本区域对应的轮廓组之后，设计各种试探法，以添加任何未辨认的字符、去除非字符、通过基于文档内各个定位区域中的字符大小和间距而进一步分开字符或合并字符来完善组。

图9E是示出了用于识别和分类图像中的字符以及从图像中提取位号的整体的基于机器学习的方法的流程图。如所示的，该方法包括经由字符原型来生成合成训练数据，使用合成训练数据来训练字符辨认模型，处理图像以提取文本和/或位号。该方法还可以包括迭代地改进字符辨认模型，例如，通过将任何误分类的字符并入到训练数据集中并更新机器学习模型。

在一些示例中，经由原型来生成合成训练数据包括创建计算机生成的原型字符(例如，使用数字存储的字体)。在一些实施例中，该方法可以包括使用手动选择的示例来扩充原型以及/或者通过算法地改变诸如比例、平移和/或旋转的参数来生成训练数据。该方法可以包括添加噪声。在一些实施例中，可以组合原型。

在一些实施例中，通过使用训练数据来训练字符辨认模型而生成分类模型。

在一些实施例中，处理图像以提取文本和/或位号可以包括使用空白分割来识别轮廓，使用经训练的分类模型来将轮廓子图像分类，以及将分类的轮廓汇总或分组。分层聚类可以被用来基于字符彼此的邻近度来将字符分组。可以应用各种试探法来完善文本组。在一些示例中，该方法可以包括用于识别未分割的轮廓以及使用文本分类来确定字符串是否是位号的附加试探法。处理图像以提取文本和/或位号可以包括提取用于可搜索性的字符串和/或位号，使得位号与对应的图像(例如，P&ID文档)相关联。

在一些实施例中，迭代地改进字符辨认模型可以包括使用任何误分类的轮廓子图像来扩充训练数据，重新训练字符识别模型，以及证实(例如，使用手动验证或者使用证实数据集的自动化)字符辨认模型的准确性。

图10是示出了用于将学习的字符的图案归类的系统的图。例如，用于学习字符的图案的系统1000可以包括一个或多个服务器1002、一个或多个客户端计算平台1004和可搜索数据库1020。可搜索数据库1020可以存储字符分类训练数据、字符训练模型和/或已经被检查过并基于对学习的字符的图案的识别而被归类的感兴趣的文档。

服务器1002可以包括一个或多个处理器1024以及具有计算机程序指令1005嵌入其上的一个或多个非瞬时性存储器。计算机程序指令可以包括机器学习部件1008和标注部件1010。服务器1002可以包括数据存储库1022。数据存储库1022可以包括数据库。

机器学习部件1008可以包括计算机程序指令，以使处理器1024实施用于将学习的字符的图案归类的方法。更具体地，机器学习部件1008可以使处理器1024将深度学习处理或卷积神经网络应用到数据存储库1022中的训练数据输入。例如，可以获得(source)并实施经训练的数据。(一个或多个)客户端计算平台1004可以包括桌上型计算机、膝上型计算机、平板计算机、手持式计算机、智能电话或者能够操作客户端界面的其他计算平台。

划线(score)/标注部件1010可以包括计算机程序指令，以使处理器1024实施用于识别字符的图案以及将图案与划线和对应的标注相关联的方法，实施如本文中关于图9D所述的用于构成位号的字符聚类算法。然后，使用列出的识别的位号而索引的文档可以被输入到P&ID可搜索数据库1020中。

如将理解的，可以使用具有存储在有形介质上的机器可执行指令的计算系统来实行如本文中所述的方法。指令是可执行的，以自主地或者在来自操作员的输入的辅助下实行该方法的各个部分。

本领域技术人员将理解的是，本文中所述的公开实施例仅通过实例的方式，并且将存在众多的变型。本发明只由涵盖本文中所述的实施例以及本领域技术人员所显而易见的变型的权利要求书所限定。另外，应理解的是，在本文中的任何一个实施例中所展示或描述的结构性特征或方法步骤也可以被用在其他实施例中。

如本文所使用的，术语逻辑电路和部件可以描述可以根据本文中公开的技术的一个或多个实施例而实行的功能的给定单元。如本文中所使用的，可以利用硬件、软件或其组合的任何形式来实施逻辑电路或部件。例如，可以实施一个或多个处理器、控制器、ASIC、PLA、PAL、CPLD、FPGA、逻辑部件、软件例程或其他机构来构成部件。在实施方式中，本文中描述的各种部件可以被实施为离散的部件，或者描述的功能和特征可以部分或全部地在一个或多个部件之间共享。换句话说，如本领域的普通技术人员在阅读本说明书之后将显而易见的，本文中描述的各种特征和功能可以被实施在任何给定的应用中，并且可以以各种组合和排列而被实施在一个或多个单独或共享的部件中。尽管各种特征或功能的元素可以被各自地描述或要求为单独的部件，但本领域的普通技术人员将理解，这些特征和功能可以在一个或多个公共软件和硬件元件之间共享，并且这种描述不应要求或暗示使用单独的硬件或软件部件来实施这种特征或功能。

在使用软件来全部或部分地实施部件、逻辑电路或本技术的部件的情况下，在一个实施例中，这些软件元素可以被实施，以与能够完成关于此而描述的功能的计算或逻辑电路一起操作。图11中展示了一个这种示例逻辑电路。就该示例逻辑电路11000而言描述了各种实施例。在阅读本说明书之后，对相关领域的技术人员来说，如何使用其他逻辑电路或体系结构来实施本技术将变得显而易见。

现在参考图11，计算系统11000可表示例如，在桌上型计算机、膝上型计算机和笔记本计算机；手持式计算设备(PDA、智能电话、蜂窝电话、掌上电脑等)；大型主机、超级计算机、工作站或服务器；或者如对给定的应用或环境可能期望或适当的任何其他类型的专用或通用计算设备内所找到的计算或处理能力。逻辑电路11000可以表示嵌入给定的设备内的或以其他方式对给定的设备可用的计算能力。例如，在其他电子设备，诸如例如数码相机、导航系统、蜂窝电话、便携式计算设备、调制解调器、路由器、WAP、终端和可能包括处理能力的一些形式的其他电子设备中，可以找到逻辑电路。

计算系统11000可以包括例如，一个或多个处理器、控制器、控制部件或者其他处理设备，诸如处理器11004。可以使用通用或专用处理部件，诸如例如微处理器、控制器或其他控制逻辑来实施处理器11004。在所示的示例中，处理器11004被连接到总线11002，尽管也可以使用任何通信介质来促进与逻辑电路11000的其他部件的交互或者来进行外部通信。

计算系统11000可以包括一个或多个存储器部件，本文中简单地称为主存储器11008。例如，优选地可以将随机存取存储器(RAM)或其他动态存储器用于存储信息和将由处理器11004执行的指令。在由处理器11004执行的指令的执行期间，可以将主存储器11008用于存储临时变量或其他中间信息。逻辑电路11000同样可以包括耦接到总线11002的用于存储用于处理器11004的静态信息和指令的只读存储器(“ROM”)或其他静态存储设备。

计算系统11000可以包括一个或多个各种形式的信息存储机构11010，它可以包括例如，介质驱动11012和存储单元接口11020。介质驱动11012可以包括驱动或其他机构以支持固定的或可移除的存储介质11014。例如，可以提供硬盘驱动、软盘驱动、磁带驱动、光盘驱动、CD或DVD驱动(R或RW)或者其他可移除或固定的介质驱动。因此，存储介质11014可以包括由介质驱动11012读取、写入或访问的例如，硬盘、软盘、磁带、盒式磁带、光盘、CD或DVD或者其他固定或可移除的介质。如这些示例所示，存储介质11014可以包括其中已经存储有计算机软件或数据的计算机可用存储介质。

在替代实施例中，信息存储机构11010可以包括用于允许将计算机程序或者其他指令或数据加载到逻辑电路11000中的其他类似工具。这种工具可以包括例如，固定或可移除的存储单元11022和接口11020。这种存储单元11022和接口11020的示例可以包括程序盒和盒式接口、可移除存储器(例如，闪存或其他可移除存储器部件)和存储器插槽、PCMCIA插槽和卡以及允许软件和数据从存储单元11022传输到逻辑电路11000的其他固定或可移除的存储单元11022和接口11020。

逻辑电路11000可以包括通信接口11024。通信接口11024可以被用来允许在逻辑电路11000和外部设备之间传输软件和数据。通信接口11024的示例可以包括调制解调器或软调制解调器、网络接口(诸如以太网、网络接口卡、WiMedia、IEEE 802.XX或其他接口)、通信端口(诸如例如，USB端口、IR端口、RS232端口

接口或其他端口)或者其他通信接口。经由通信接口11024传输的软件和数据通常可以被承载在信号上，该信号可以是电子的、电磁的(包括光的)或能够通过给定的通信接口11024交换的其他信号。可以经由通道11028来将这些信号提供到通信接口11024。该通道11028可以承载信号，并且可以使用有线或无线通信介质而被实施。通道的一些示例可以包括电话线、蜂窝链路、RF链路、光链路、网络接口、局域网或广域网以及其他有线或无线通信通道。

在本文件中，术语“计算机程序介质”和“计算机可用介质”被用来泛指诸如例如，存储器11008、存储单元11020、介质11014和通道11028的介质。这些和其他各种形式的计算机程序介质或计算机可用介质可以涉及将一个或多个指令的一个或多个序列承载到处理设备以供执行。包含在介质上的这种指令通常被称为“计算机程序代码”或“计算机程序产品”(它可以以计算机程序或其他分组的形式而被分组)。当被执行时，这种指令可以使逻辑电路11000能够实行如本文中讨论的所公开的技术的特征或功能。

尽管图11描绘了计算机网络，但是应当理解，本公开不限于使用计算机网络的操作，而是可以在任何合适的电子设备中实践本公开。因此，图11中所描绘的计算机网络仅出于说明的目的，并且因此不意味着在任何方面限制本公开。

尽管上面已经描述了所公开的技术的各种实施例，但是应当理解，它们已经通过示例而非限制的方式被呈现。同样，各种附图可以描绘所公开技术的示例体系结构或其他配置，这样做是为了辅助理解可以被包括在所公开的技术中的特征和功能。所公开的技术不限于所示的示例体系结构或配置，而是可以使用各种替代体系结构和配置来实施期望的特征。实际上，对本领域的技术人员来说，如何实施替代功能、逻辑或物理划分和配置来实现本文中所公开的技术的期望的特征将是显而易见的。此外，除本文中所描述的那些名称之外的众多不同的组成部件名称可以被应用到各种划分。

另外，关于流程图、操作描述和方法权利要求，除非上下文另有指示，否则本文中呈现的步骤的顺序不应强制要求要以相同的顺序来实施各种实施例，以实行叙述的功能。

尽管上面就各种示例性实施例和实施方式而言描述了所公开的技术，但应当理解的是，在各个实施例中的一个或多个实施例中所描述的各种特征、方面和功能并不会将它们的适用性限制在它们被描述的特定实施例，而是替代地可以单独地或者以各种组合而被应用到所公开的技术的其他实施例中的一个或多个实施例，无论是否描述了这种实施例，也无论这种特征是否是作为所描述的实施例的部分而呈现的。因此，本文中所公开的技术的广度和范围不应被上述示例性实施例中的任意实施例限制。

除非另有明确地陈述，否则本文件中所使用的术语和短语及其变型应被解释为开放式的而非限制性的。作为前述的示例：术语“包括”应被解读为“包括但不限于”等的含义；术语“示例”被用来提供讨论中的项目的示例性实例，而不是其穷尽或限制性清单；术语“一”或“一个”应被解读为“至少一个”、“一个或多个”等的含义；以及诸如“常规的”、“传统的”、“正常的”、“标准的”、“已知的”和类似含义的术语的形容词不应被解释为将所描述的项目限制于给定的时间段或者如给定的时间的可用的项目，而是替代地应被解读为涵盖现在或者在将来的任何时间可用或已知的常规、传统、正常或标准的技术。同样，在本文件提到对本领域普通技术人员而言将是显而易见或已知的技术的情况下，这种技术涵盖现在或者在将来的任何时间对本领域技术人员而言是显而易见或已知的那些技术。

在一些情况下，诸如“一个或多个”、“至少”、“但不限于”或其他类似短语的扩展词语和短语的存在不应被解读为在可能不存在这种扩展短语的情况下，想要或者要求的是较窄的情况的含义。术语“部件”的使用不意味作为该部件的部分所描述或要求保护的部件或功能全部被配置在公共封装中。实际上，部件的各种部件中的任何或全部，无论是控制逻辑还是其他部件，都可以被组合在单个封装中，或者被分开地保持并可以被分布在多个分组或封装中或跨多个位置而分布。

另外，本文中所阐述的各种实施例是依据示例性框图、流程图和其他图示来描述的。如本领域普通技术人员在阅读本文件之后将显而易见的，可以在不局限于所示示例的情况下实施所示实施例及其各种替代。例如，框图及其附随的描述不应被解释为强制要求特定的体系结构或配置。

Claims (50)

1.一种用于识别标准化系统图中的符号的图案的系统，所述系统包括：

一个或多个逻辑电路，所述一个或多个逻辑电路由机器可读指令配置为：

获得包括多个训练图像的符号辨认训练数据集，所述多个训练图像包括多个符号；

基于符号辨认训练数据集来生成符号辨认模型；

使用处理回路识别逻辑电路来确定所述多个符号的子集内的相邻符号之间的连接关系，并基于连接关系来分配逻辑描述符；

将所述多个符号的子集连同对应的逻辑描述符一起分组到一个或多个图形结构中；

使用符号辨认逻辑电路来识别所述多个符号的子集中的辨认的符号，以及

将辨认的符号连同对应的逻辑描述符一起存储在关系型数据库中。

2.如权利要求1所述的系统，其中，所述一个或多个逻辑电路由机器可读指令进一步配置为合成地生成训练数据集。

3.如权利要求1所述的系统，其中，所述一个或多个逻辑电路由机器可读指令进一步配置为：

创建感兴趣的原型符号；以及

将感兴趣的原型符号作为用于编程地创建各种训练图像的模板存储在数据存储库中。

4.如权利要求3所述的系统，其中，所述一个或多个逻辑电路由机器可读指令进一步配置为：

生成图像内的符号位置分区的第一阵列；

使用符号辨认模型来确定第一阵列的符号位置分区包括感兴趣的符号的概率；

在第一阵列的符号位置分区包括感兴趣的符号的概率超过选择的阈值的情况下，生成包括所述符号位置分区的第二阵列；

将图案辨认处理应用到第二阵列的符号位置分区，以识别对应的感兴趣的符号；以及

将对应的感兴趣的符号存储在关系型数据库中。

5.如权利要求4所述的系统，其中，所述一个或多个逻辑电路由机器可读指令进一步配置为：

通过评估有关的感兴趣的符号是否存在于任何相邻的符号位置分区中，来确定第一阵列的符号位置分区包括感兴趣的符号的概率。

6.如权利要求5所述的系统，其中，所述一个或多个逻辑电路由机器可读指令进一步配置为以按次序的顺序来评估符号位置分区。

7.如权利要求1所述的系统，其中，图像包括标准化系统图。

8.如权利要求1所述的系统，其中，符号分类训练数据包括标准化系统图的集，所述标准化系统图的集包括对应的符号和层次组的集，并使用图形用户界面来手动识别符号和层次组。

9.如权利要求8所述的系统，其中，获得符号分类训练数据进一步包括修改感兴趣的原型符号的大小、平移、旋转或其他可能的变化。

10.如权利要求8所述的系统，其中，所述一个或多个逻辑电路由机器可读指令进一步配置为通过将噪声图案应用到一个或多个图像来获得训练数据。

11.如权利要求10所述的系统，其中，所述一个或多个逻辑电路由机器可读指令进一步配置为从关系型数据库获得噪声图案。

12.如权利要求10所述的系统，其中，所述一个或多个逻辑电路由机器可读指令进一步配置为使用生成式对抗网络(GAN)来生成噪声图案。

13.如权利要求1所述的系统，其中，符号辨认模型包括机器学习算法。

14.如权利要求13所述的系统，其中，机器学习算法是用于图像辨认任务的基于卷积的神经网络或其变化。

15.如权利要求1所述的系统，其中，所述一个或多个逻辑电路由机器可读指令进一步配置为识别与符号对应的标准化系统图位号，并将识别的标准化系统图位号连同对应的符号一起存储在关系型数据库中。

16.如权利要求15所述的系统，其中，所述一个或多个逻辑电路由机器可读指令进一步配置为：

获得或合成地生成字符分类训练数据；

基于字符分类训练数据来生成字符分类模型；

识别和分类图像内的字符轮廓；

基于字符轮廓的位置信息来将字符聚类到字符层次聚类中；以及

将分组的字符作为位号或标注而存储在关系型数据库中。

17.如权利要求16所述的系统，其中，所述一个或多个逻辑电路由机器可读指令进一步配置为分割图像，并将试探法应用到图像，以抑制非字符轮廓并识别和分类字符轮廓。

18.如权利要求1所述的系统，其中，所述一个或多个逻辑电路由机器可读指令进一步配置为识别图像中与有关的符号的组对应的处理回路。

19.如权利要求18所述的系统，其中，所述一个或多个逻辑电路由机器可读指令进一步配置为：

识别图像内与已知属于处理回路的感兴趣的部件对应的第一感兴趣的符号；

以第一识别的符号作为起点来启动图形遍历处理：

识别从第一感兴趣的符号延伸的连接符线；

识别耦接到第一连接符线的第二感兴趣的符号；

识别从第二感兴趣的符号延伸的第二连接符线；以及

将识别的连接符和对应的感兴趣的符号一起存储在关系型数据库中。

20.如权利要求19所述的系统，其中，所述一个或多个逻辑电路由机器可读指令进一步配置为识别从对应的感兴趣的符号延伸的附加连接符线，直到端接连接符线被识别为耦接回到第一感兴趣的符号为止，使得识别的连接符线与对应的感兴趣的符号形成封闭回路。

21.如权利要求20所述的系统，其中，所述一个或多个逻辑电路由机器可读指令进一步配置为使用边缘检测处理来识别连接符线。

22.如权利要求20所述的系统，其中，所述一个或多个逻辑电路由机器可读指令进一步配置为使用图形用户界面来验证识别的回路。

23.如权利要求19所述的系统，其中，识别的处理回路编码化学处理、物理处理或控制处理。

24.如权利要求19所述的系统，其中，所述一个或多个逻辑电路由机器可读指令进一步配置为将对应的位号一起与对应的标准化系统图相关地存储在关系型数据库内。

25.如权利要求24所述的系统，其中，关系型数据库是可从图形用户界面搜索的。

26.一种用于识别标准化系统图中的符号的图案的方法，所述方法包括：

获得包括多个训练图像的符号辨认训练数据集，所述多个训练图像包括多个符号；

基于符号辨认训练数据集来生成符号辨认模型；

使用处理回路识别逻辑电路来确定所述多个符号的子集内的相邻符号之间的连接关系，并基于连接关系来分配逻辑描述符；

将所述多个符号的子集连同对应的逻辑描述符一起分组到一个或多个图形结构中；

使用符号辨认逻辑电路来识别所述多个符号的子集中的辨认的符号；以及

将辨认的符号连同对应的逻辑描述符一起存储在关系型数据库中。

27.如权利要求26所述的方法，进一步包括：合成地生成符号辨认训练集。

28.如权利要求27所述的方法，进一步包括：

创建感兴趣的原型符号；以及

将感兴趣的原型符号作为用于编程地创建各种训练图像的模板存储在数据存储库中。

29.如权利要求25所述的方法，进一步包括：

生成图像内的符号位置分区的第一阵列；

使用符号分类模型来确定第一阵列的符号位置分区包括感兴趣的符号的概率；

在第一阵列的符号位置分区包括感兴趣的符号的概率超过选择的阈值的情况下，生成包括所述符号位置分区的第二阵列；

将图案辨认处理应用到第二阵列的符号位置分区，以识别对应的感兴趣的符号；以及

将对应的感兴趣的符号存储在关系型数据库中。

30.如权利要求29所述的方法，进一步包括：

通过评估有关的感兴趣的符号是否存在于任何相邻的符号位置分区中，来确定第一阵列的符号位置分区包括感兴趣的符号的概率。

31.如权利要求28所述的方法，进一步包括：以按次序的顺序来评估符号位置分区。

32.如权利要求28所述的方法，其中，图像包括标准化系统图。

33.如权利要求28所述的方法，其中，符号辨认训练数据包括标准化系统图的集，所述标准化系统图的集包括对应的符号和层次组的集，并使用图形用户界面来手动识别符号和层次组。

34.如权利要求33所述的方法，其中，获得符号辨认训练数据进一步包括修改感兴趣的原型符号的大小、平移、旋转或其他可能的变化。

35.如权利要求33所述的方法，进一步包括：通过将噪声图案应用到一个或多个图像来获得训练数据。

36.如权利要求35所述的方法，进一步包括：从关系型数据库获得噪声图案。

37.如权利要求35所述的方法，进一步包括：使用生成式对抗网络(GAN)来生成噪声图案。

38.如权利要求26所述的方法，其中，符号辨认模型包括机器学习算法。

39.如权利要求38所述的方法，其中，机器学习算法是用于图像辨认任务的基于卷积的神经网络及其变化。

40.如权利要求26所述的方法，进一步包括：识别与符号对应的标准化系统图位号，并将识别的标准化系统图位号连同对应的符号一起存储在关系型数据库中。

41.如权利要求40所述的方法，进一步包括：

获得或合成地生成字符分类训练数据；

基于字符分类训练数据来生成字符分类模型；

识别图像内的字符轮廓；

基于字符轮廓的位置信息来将字符聚类到字符层次聚类中；

将字符分类模型应用到字符轮廓，以识别字符和字符层次聚类；以及

将识别的字符连同对应的字符层次聚类一起存储在关系型数据库中。

42.如权利要求41所述的方法，进一步包括：分割图像，并将试探法应用到图像，以抑制非字符轮廓和识别字符轮廓。

43.如权利要求26所述的方法，进一步包括：识别图像中与有关的符号的组对应的处理回路。

44.如权利要求43所述的方法，进一步包括：

识别图像内与已知属于处理回路的感兴趣的部件对应的第一感兴趣的符号；

以第一识别的符号作为起点来启动图形遍历处理：

识别从第一感兴趣的符号延伸的连接符线；

识别耦接到第一连接符线的第二感兴趣的符号；

识别从第二感兴趣的符号延伸的第二连接符线；以及

将识别的连接符和对应的感兴趣的符号一起存储在关系型数据库中。

45.如权利要求44所述的方法，进一步包括：识别从对应的感兴趣的符号延伸的附加连接符线，直到端接连接符线被识别为耦接回到第一感兴趣的符号为止，使得识别的连接符线与对应的感兴趣的符号形成封闭回路。

46.如权利要求43所述的方法，进一步包括：使用边缘检测处理来识别连接符线。

47.如权利要求46所述的方法，进一步包括：使用图形用户界面来验证识别的回路。

48.如权利要求44所述的方法，其中，识别的处理回路编码化学过程、物理过程或控制过程。

49.如权利要求44所述的方法，其中，将识别的处理回路、识别的感兴趣的符号以及对应的位号一起与对应的标准化系统图相关地存储在关系型数据库内。

50.如权利要求49所述的方法，其中，关系型数据库是可从图形用户界面搜索的。

Images