CN112528845A - 一种基于深度学习的物理电路图识别方法及其应用 - Google Patents

Abstract

本发明公开了一种基于深度学习的物理电路图识别方法及其应用，其通过获取待识别物理电路图的图像并对其进行图像增强处理；利用训练好的元器件识别神经网络模型对二值图像进行识别，以获取待识别物理电路图的所有元器件，其中，每个元器件对应一个标识ID和元件名称；生成与待识别物理电路图对应的Graph结构数据，Graph结构数据包括顶点集和边集，其中，顶点集为元器件连接线的交点集合，边集为顶点之间的连接线集合；对生成的Graph结构数据进行组件检测和Graph简化以输出关联后的组件序列，其中，关联后的组件序列包括组件连接类型和元器件ID，利用关联后的组件序列计算目标元器件的物理属性，以实现对电路图的所有电路元器件的分类识别，以及各元器件之间的连接关系抽取。

Description

一种基于深度学习的物理电路图识别方法及其应用

技术领域

本发明属于图像识别技术领域，具体涉及一种基于深度学习的物理电路图识别方法及 其应用。

背景技术

物理电路图识别是指的通过机器对电路习题图形中的关键信息进行提取从而进一步分 析图形中的知识属性。作为物理电路题自动解技术的重要前提，电路图识别的准确与否，直 接影响到后续推理解答的准确率。电路图识别技术的研究是电路分析领域与模式识别领域的 交叉方向。在近几十年的发展过程中来看，大多采用也也是计算机视觉领域中的图像识别方 法。早期是手工设计电路单元特征，机器学习领域的分类器，近些年由于深度学习算法的快 速发展，各种各样的卷积神经网络被大量运用图形识别任务上。

在深度学习方法被引入物理电路解答后，由深层神经网络的网络结构复杂、参数量大， 对运行设备也产生了一些新问题，目前大多的网络都运行在无高性能图形处理器的设备上 时，面临计算量过大导致处理器即使满载也无法快速迭代与运行，同时高耗电量与模型过大 对于设备的续航也提出了挑战。

目前专注习题图形的识别研究尚处于起步阶段，由于不同学科的习题配图形式各不相 同，其内在的知识结构往往也差别很大。在物理图文电路题的机器解答中，需要对习题中的 电路图形进行识别，包括对电路图的所有电路元器件的分类识别，以及各元器件之间的连接 关系抽取。面临的技术挑战表现在：(1)在元器件识别上，目前仍存在精度不高、算法规 模大等问题，难以在有限计算能力的设备上进行应用；(2)在元件的知识语义理解上，传 统的模式识别任务的输出无法直接参与知识计算，导致难以提取深层的知识语义。由此，导 致基于该技术构建的相关机器解答系统、智能导学系统等无法在移动智能终端上大规模应 用。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度学习的物理电路图识 别方法及其应用，可以实现对电路图的所有电路元器件的分类识别，以及各元器件之间的连 接关系抽取。

为实现上述目的，按照本发明的一个方面，提供了一种基于深度学习的物理电路图识别 方法，该方法包括：

获取待识别物理电路图的图像并对其进行图像增强处理；

利用训练好的元器件识别神经网络模型对二值图像进行识别，以获取待识别物理电路图 的所有元器件，其中，每个元器件对应一个标识ID和元件名称；

生成与待识别物理电路图对应的Graph结构数据，Graph结构数据包括顶点集和边集， 其中，顶点集为元器件连接线的交点集合，边集为顶点之间的连接线集合；

对生成的Graph结构数据进行组件检测和Graph简化以输出关联后的组件序列，其中， 关联后的组件序列包括组件连接类型和元器件ID，利用关联后的组件序列计算目标元器件的 物理属性。

作为本发明的进一步改进，图像增强过程包括：

色彩增强，对待识别物理电路图的图像进行直方图均衡化处理，基于对像素值统计分析 结果确定二值化阈值，通过二值化处理将待识别物理电路图的图像变为二值图像；

畸变矫正，对二值图像进行直线段检测，提取横向和纵向两个方向上的长线段簇，并分 别为两个方向上的长线段簇建立对应的直线方程，通过直线方程获取电路图畸变矫正参数， 以实现二值图像的径向畸变矫正。

作为本发明的进一步改进，元器件识别神经网络模型的训练过程包括：

通过多个物理电路图样本图像和元器件标准图像实现元器件识别神经网络模型的训练， 在训练过程中对元器件标准图像同样进行图像增强处理以提高图像识别的准确度，通过验证 集的验证结果调整神经网络模型的参数和判断神经网络模型是否训练好。

作为本发明的进一步改进，元器件识别神经网络模型的结构为基于通道分裂和通道重组 单元的图形识别网络，图形识别网络包括输入层、特征提取卷积网络和输出层，特征提取卷 积网络包括图像特征基本运算单元、池化层和特征张量输出层，特征张量输出层包括中等尺 寸输出通道和小尺寸输出通道。

作为本发明的进一步改进，元器件识别神经网络模型的损失函数为预测框坐标的误差 值、预测结果的置信度值和预测的分类结果计算误差的总和。

作为本发明的进一步改进，顶点集的生成过程为：

移除待识别物理电路图的图像中已识别的元器件，使用直线段检测算法获得每一条连接 线的起点和终点坐标，对直线段进行缺口检测并修复，统计所有与其他直线段存在交点的直 线段对应的终点，以形成所述顶点集。

作为本发明的进一步改进，边集的生成过程为：

边集E为边e_ij的集合，边e_ij的起点为v_i和终点v_j，v_i、v_j均来自顶点集V，通过直线段端点的连通性分析来确定边e_ij，将分布在该组直线段序列上的所有元件作为边e_ij的属性。

作为本发明的进一步改进，对生成的Graph结构数据进行组件检测和Graph简化以输出 关联后的组件序列包括：

遍历所有边，若检测到开关，需根据开关的状态确定该边是否处于连通状态，若开关处 于闭合状态，则从边属性中移除该开关，使该边处于连通状态；若开关处于断开状态，则将 该边从边集E中移出；

检测可计算组件时，首先进行串联单元检测，即遍历所有边，若该边不存在开关且属性 中存在多个元件，则标记该边构成一个串联单元；再进行并联单元检测，即再次遍历所有边， 将所有起点和终点相同，但包含不同属性的边组成一个集合，记录该集合为一个并联单元。

作为本发明的进一步改进，对生成的Graph结构数据进行组件检测和Graph简化以输出 关联后的组件序列还包括：

对简单路径检测中标记为串联单元的边，将该边上的多个元件替换为一个虚拟的复合元 件，使用该复合元件达标该边上的多个初始元件，并该复合元件更新到边集中；

对简单路径检测中标记为并联单元的边集，将该边集用一条新的复合边替换，该复合边 的属性为该边集属性的并集，并该复合边更新到边集中。

为实现上述目的，按照本发明的另一个方面，提供了一种计算机可读介质其存储有可由 终端设备执行的计算机程序，当该程序在终端设备上运行时，使得该终端设备执行上述方法 的步骤。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

本发明的一种基于深度学习的物理电路图识别方法及其应用，其通过对待识别电路图的 主要元器件进行检测及识别，再进一步地通过将待识别电路图表示为包括顶点集V和边集E 的Graph结构,在此基础上对其拓扑结构进行进一步的识别，将输出包含组件连接类型和元 件ID的组件，得到元件集合中不同元件相同属性之间的数学公式，从而可以利用关联后的 组件序列计算目标元器件的物理属性，如通过元件ID，获取题目文本中给定的元件属性值(如 电压、电流、阻值等)并带入该数学公式，从而得到题目解答所需的数学表达式。

本发明的一种基于深度学习的物理电路图识别方法及其应用，其通过物理电路图元器件 的快速识别，满足移动端轻量化部署需求，再通过物理电路图拓扑连接识别，为进一步提取 解题所需的电路关系提供依据，将初中阶段的常见电路图形作为研究对象，尝试设计基于深 度学习方法解决电路图形的快速自动检测与识别，同时也考虑轻量化部署的现实需求，应用 多种压缩策略进行轻量化改进，在不明显降低准却准确率的基础上，降低模型参数量，减少 对算力要求，改进设计了一套适用于面向移动终端的轻量化识别网络，可以极为轻松的移植 到当前的手机平板流行移动终端上，为机器解答技术在移动设备上部署提供技术解决思路， 拓宽了电路自动分析领域的应用场景，也为当前其他基于深度神经网络的移动学习应用轻量 化部署与推广。

附图说明

图1为本发明技术方案的一种基于深度学习的物理电路图识别方法的示意图；

图2为本发明技术方案的元器件类型的示意图；

图3为本发明技术方案的元器件识别神经网络模型的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发 明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用 于限定本发明。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲 突就可以相互组合。下面结合具体实施方式对本发明进一步详细说明。

在一个实施例中，如图1所示，提供了一种基于深度学习的物理电路图识别方法，具体 包括如下步骤：

获取待识别物理电路图的图像并对其进行图像增强处理，如通过移动相机或其他图像获 取设备拍摄得到相应的图像数据，图像增强处理的目的是为了减少后续电路图元器件识别过 程中的图像噪声，具体地，图像增强处理包括对识别物理电路图的图像的色彩增强及畸变矫 正，色彩增强即，首先对待识别图像进行直方图均衡化处理，基于对像素值统计分析结果确 定二值化阈值，通过二值化处理将待识别图像变为二值图像；畸变矫正的目的是为了消除图 像拍摄过程中所产生的径向畸变，首先对二值图像进行直线段检测，提取横向和纵向两个方 向上的长线段簇，并分别为两个方向上的长线段簇建立对应的直线方程。对于水平分布的标 准电路图来说，其在两个方向上的直线簇方程应该分别对应水平直线和垂直直线。基于该假 设，电路图横向上的直线簇方程对应水平直线，电路图纵向上的直线簇方程对应垂直直线， 通过直线方程获取电路图畸变矫正参数，以实现二值图像的径向畸变矫正。

利用训练好的元器件识别神经网络模型对二值图像进行识别，以获取待识别物理电路图 的所有元器件。图2为本发明技术方案的元器件类型的示意图，如图2所示，每个元器件对 应一个标识ID和元件名称，该ID由元器件识别统一分配，元件名称采用OCR技术直接从电 路图中获取，具体地，该元器件识别神经网络模型的训练过程包括，通过多个物理电路图样 本图像和元器件标准图像实现元器件识别神经网络模型的训练，优选的，在训练过程中对元 器件标准图像同样进行上述的图像增强处理，以提高图像识别的准确度，和常规神经网络训 练过程类似，通过验证集的验证结果调整神经网络模型的参数和判断神经网络模型是否训练 好。

图3为本发明技术方案的元器件识别神经网络模型的结构示意图。如图3所示，作为一 个优选的方案，为了解决深度神经网络在移动终端上的轻量化部署问题，基于网络轻量化策 略，在元器件识别神经网络结构上引入通道分裂与通道重组单元，代替了传统的特征卷积网 络，同时将多尺度输出改进为双尺度融合单输出，形成一套适用于移动终端的电路元器件图 形识别网络YSNet，从而极大提升了算法实时性。其中，YSnet的网络整体结构上采用卷积 特征提取层和多维度输出层的两步设计，但在特征提取部分，舍弃了含有大量运算的多层卷 积残差结构，设计了一个深度为25层的卷积网络，并命名为S-lite net，其卷积基本模块为 通道分裂单元与通道重组单元，其包括DBL层(图像特征基本运算单元)、Pooling层和 DB层，DBL模块包括卷积层(卷积核为3*3，步长为2)、归一化层、ReLU(激活函数) 层。DBL处理结果Pooling层，经过最大池化处理后输入DB层，由DB层实现不同尺度的特征张量输出。在输出层，针对小目标识别中的漏检问题，采用双尺度融合输出，强化中等尺寸与小尺寸通道并融合输出，降低图形目标漏检率。由于电路元器件在图形普遍占比较中 等，没有必要对大尺度与小尺寸输出进行特别关注，因此在输出网络部分，只保留两个尺度 输出和结构，并将13*13的特征输出进行上采样扩增至26*26，直接与输出进行通道连接。

作为另一个优选的方案，元器件识别神经网络模型选取交叉熵相加最为损失函数。具体 公式如下，其中该损失函数中，针对预测与实际标签的计算全部转为在特征图的高度、宽度 的偏移量，通过计算特征偏移量之差来导出损失值。其中包含三部分：第一部分是预测框坐 标，包括中心坐标与高宽两项误差；第二部是对置信度进行损失计算；第三部分是对于判定 类别计算损失。损失函数计算公式具体如下：

其中，

是预测框坐标的误差值，iouErr为预测结果的置信度值，clsErr为预 测的分类结果计算误差。

其中，

包括了边界框的中心点误差与高度、宽度误差，其具体计算表达式为：

预测结果的置信度值的计算式为：

预测的分类结果计算误差的计算式为：

其中，λ_coord是用于调节类别不平衡的超参数；S表示滑动网格的大小，S²表示取值为 n×n，n为网格大小；B表示预测框数量；

表示(i,j)处的预测框内有目标，其值为1，否则为0；(x_i，y_i)表示第i个预测框的中心坐标；

第i个预测框内目标的中心坐标；C_i为第i个预测框内含有目标物体的概率得分，

表示真实值；w,h表示预测框的宽度和高度；

表示预测框内目标的宽度和高度；

表示(i,j)处预测框内没有目标，其值为1，否则为0；p_i(c)表示第i个预测框对应的目标类别预测概率，

为第i个预测框对应的目标类别实际概率。

生成与待识别物理电路图对应的Graph结构数据，Graph结构数据包括顶点集V和边集 E，其生成过程包括：

计算顶点集V，基于元器件识别结果移除待识别物理电路图中所有已识别的元器件，此 时仅剩下连接线，使用直线段检测算法获得每一条连接线的起点和终点坐标。为了消除因移 除元器件带来的直线段缺口，首先进行缺口检测并修复。修复后的直线段端点分为两种类型： (1)类型1，是连接线的方向转折点(如连接线由水平方向转为垂直方向)；(2)类型2， 是连接线的交点。至此，统计所有属于类型2的直线段终点，这些终点构成Graph的顶点集 V；

计算边集E，定义边e_ij的起点为v_i和终点v_j，v_i、v_j均来自顶点集V，通过直线段端点的连通性分析来确定边e_ij，即从起点为v_i到终点v_j结束，搜索一条仅包含类型1端点直线段序列，从而得到边e_ij，将分布在该组直线段序列上的所有元件作为边e_ij的属性。

通过上述方式将待识别物理电路图表示为用顶点v_i∈V和边e_ij∈E表示的Graph结构， 将元器件连接线的交点作为顶点，将连接线作为边，由于元器件分布在连接线上，可以将元 器件作为边的属性，以便于将元器件识别结果引入后续的知识计算。

对生成的Graph结构数据进行组件检测和Graph简化以输出关联后的组件序列，其中， 关联后的组件序列包括组件连接类型和元器件ID，利用关联后的组件序列计算目标元器件的 物理属性。

其中，组件检测，即检测边e_ij是否包含状态组件和可计算组件。状态组件的检测方法为， 遍历所有边，若检测到开关，需根据开关的状态(根据图像识别出的开关断开/闭合状态或 者题目文本给定的断开/闭合信息)确定该边是否处于连通状态，若开关处于闭合状态，则 从边属性中移除该开关，使该边处于连通状态；若开关处于断开状态，则将该边从边集E中 移出。检测可计算组件时，首先进行串联单元检测，即遍历所有边，若该边不存在开关且属 性中存在多个元件，则标记该边构成一个串联单元；然后进行并联单元检测，即再次遍历所 有边，将所有起点和终点相同，但包含不同属性的边组成一个集合，记录该集合为一个并联 单元；

Graph简化，其目的是为了进一步检测Graph结构中嵌套的可计算组件。Graph简化分 为串联单元简化和并联单元简化。串联单元简化方法为，对简单路径检测中标记为串联单元 的边，将该边上的多个元件替换为一个虚拟的复合元件，使用该复合元件达标该边上的多个 初始元件，并该复合元件更新到边集中。并联单元简化方法为，对简单路径检测中标记为并 联单元的边集，将该边集用一条新的复合边替换，该复合边的属性为该边集属性的并集，并 该复合边更新到边集中。

通过Graph简化后的Graph结构需再次简单组件检测，构成一个处理回路，直到没有新 的简单组件可以检出，并且Graph简化时没有新的串联标记和并联标记，此时退出循环，进 入组件输出阶段。

组件输出，即将上述步骤的组件检测结果与原始电路图中的元器件建立关联，并输出关 联后的组件序列，每个组件包含组件连接类型和元件ID。其中，组件连接类型的取值范围 [1,2,3,4]，分别表示开关断开、开关闭合、串联和并联四种基本类型。每个元件对应一个 标识ID和元件名称，该ID由元器件识别统一分配，元件名称采用OCR技术直接从电路图中 获取。

所述组件序列表示为一个二元组序列，每个二元组表示为：

comp＝(connType,[e_{id_1},e_{id_2},…])，

其中，comp代表一个待输出组件，connType代表该组件连接类型，[e_{id_1},e_{id_2},…]为元件 集合。

进一步，根据每个二元组comp的连接类型connType，结合物理学定理、定律等，可得 到元件集合中不同元件相同属性之间的数学公式，从而可以利用待识别电路图的二元组 comp计算单个元器件的物理属性，以进行物理电路图求解为示例，通过元件ID，获取需要 求解的物理电路图题目文本中给定的元件属性值(如电压、电流、阻值等)并带入该数学公 式，从而得到题目解答所需的数学表达式。

本发明的上述系统的实现原理、技术效果与上述挖掘方法类似，此处不再赘述。

与上述挖掘方法相对应地，本发明还公开了一种计算机可读介质，其存储有可由终端设 备执行的计算机程序，当程序在终端设备上运行时，使得终端设备执行上述基于深度学习的 物理电路图识别方法的步骤。本领域普通技术人员可以理解实现上述实施例方法中的全部或 部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失 性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。 其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用， 均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器 (Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机 存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限， RAM可以是多种形式，比如静态随机存取存储器(Static Random AccessMemory，SRAM)或 动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

与上述挖掘方法相对应地，本发明还公开了一种终端设备，包括至少一个处理单元、以 及至少一个存储单元，其中，存储单元存储有计算机程序，当程序被处理单元执行时，使得 处理单元执行上述基于深度学习的物理电路图识别方法的步骤。该终端设备包括通过系统总 线连接的处理器、存储器和网络接口。其中，该终端设备的处理器用于提供计算和控制能力。 该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系 统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运 行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被 处理器执行时以实现上述基于深度学习的物理电路图识别方法。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本 发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发 明的保护范围之内。

Claims (10)

1.一种基于深度学习的物理电路图识别方法，其特征在于，该方法包括：

获取待识别物理电路图的图像并对其进行图像增强处理；

利用训练好的元器件识别神经网络模型对二值图像进行识别，以获取待识别物理电路图的所有元器件，其中，每个元器件对应一个标识ID和元件名称；

生成与待识别物理电路图对应的Graph结构数据，Graph结构数据包括顶点集和边集，其中，顶点集为元器件连接线的交点集合，边集为顶点之间的连接线集合；

对生成的Graph结构数据进行组件检测和Graph简化以输出关联后的组件序列，其中，关联后的组件序列包括组件连接类型和元器件ID，利用关联后的组件序列计算目标元器件的物理属性。

2.根据权利要求1所述的一种基于深度学习的物理电路图识别方法，其中，所述图像增强过程包括：

色彩增强，对待识别物理电路图的图像进行直方图均衡化处理，基于对像素值统计分析结果确定二值化阈值，通过二值化处理将待识别物理电路图的图像变为二值图像；

畸变矫正，对二值图像进行直线段检测，提取横向和纵向两个方向上的长线段簇，并分别为两个方向上的长线段簇建立对应的直线方程，通过直线方程获取电路图畸变矫正参数，以实现二值图像的径向畸变矫正。

3.根据权利要求1所述的一种基于深度学习的物理电路图识别方法，其中，所述元器件识别神经网络模型的训练过程包括：

通过多个物理电路图样本图像和元器件标准图像实现元器件识别神经网络模型的训练，在训练过程中对元器件标准图像同样进行图像增强处理以提高图像识别的准确度，通过验证集的验证结果调整神经网络模型的参数和判断神经网络模型是否训练好。

4.根据权利要求1所述的一种基于深度学习的物理电路图识别方法，其中，所述元器件识别神经网络模型的结构为基于通道分裂和通道重组单元的图形识别网络，所述图形识别网络包括输入层、特征提取卷积网络和输出层，所述特征提取卷积网络包括图像特征基本运算单元、池化层和特征张量输出层，所述特征张量输出层包括中等尺寸输出通道和小尺寸输出通道。

5.根据权利要求1所述的一种基于深度学习的物理电路图识别方法，其中，所述元器件识别神经网络模型的损失函数为预测框坐标的误差值、预测结果的置信度值和预测的分类结果计算误差的总和。

6.根据权利要求1所述的一种基于深度学习的物理电路图识别方法，其中，所述顶点集的生成过程为：

移除待识别物理电路图的图像中已识别的元器件，使用直线段检测算法获得每一条连接线的起点和终点坐标，对直线段进行缺口检测并修复，统计所有与其他直线段存在交点的直线段对应的终点，以形成所述顶点集。

7.根据权利要求6所述的一种基于深度学习的物理电路图识别方法，其中，所述边集的生成过程为：

边集E为边e_ij的集合，边e_ij的起点为v_i和终点v_j，v_i、v_j均来自顶点集V，通过直线段端点的连通性分析来确定边e_ij，将分布在该组直线段序列上的所有元件作为边e_ij的属性。

8.根据权利要求1所述的一种基于深度学习的物理电路图识别方法，其中，对生成的Graph结构数据进行组件检测和Graph简化以输出关联后的组件序列包括：

遍历所有边，若检测到开关，需根据开关的状态确定该边是否处于连通状态，若开关处于闭合状态，则从边属性中移除该开关，使该边处于连通状态；若开关处于断开状态，则将该边从边集E中移出；

检测可计算组件时，首先进行串联单元检测，即遍历所有边，若该边不存在开关且属性中存在多个元件，则标记该边构成一个串联单元；然后进行并联单元检测，即再次遍历所有边，将所有起点和终点相同，但包含不同属性的边组成一个集合，记录该集合为一个并联单元。

9.根据权利要求8所述的一种基于深度学习的物理电路图识别方法，其中，对生成的Graph结构数据进行组件检测和Graph简化以输出关联后的组件序列还包括：

对简单路径检测中标记为串联单元的边，将该边上的多个元件替换为一个虚拟的复合元件，使用该复合元件达标该边上的多个初始元件，并该复合元件更新到边集中；

对简单路径检测中标记为并联单元的边集，将该边集用一条新的复合边替换，该复合边的属性为该边集属性的并集，并该复合边更新到边集中。

10.一种计算机可读介质，其特征在于，其存储有可由终端设备执行的计算机程序，当所述程序在终端设备上运行时，使得所述终端设备执行权利要求1～9任一权利要求所述方法的步骤。

Images