CN114677586B - 一种物理电路实验自动识别方法 - Google Patents

一种物理电路实验自动识别方法 Download PDF

Info

Publication number
CN114677586B
CN114677586B CN202210251850.3A CN202210251850A CN114677586B CN 114677586 B CN114677586 B CN 114677586B CN 202210251850 A CN202210251850 A CN 202210251850A CN 114677586 B CN114677586 B CN 114677586B
Authority
CN
China
Prior art keywords
image
wire
component
state
components
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210251850.3A
Other languages
English (en)
Other versions
CN114677586A (zh
Inventor
刘烨
王洪章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210251850.3A priority Critical patent/CN114677586B/zh
Publication of CN114677586A publication Critical patent/CN114677586A/zh
Application granted granted Critical
Publication of CN114677586B publication Critical patent/CN114677586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种物理电路实验自动识别方法，该方法是深度卷积神经网络的基础上，利用目标检测技术得到的位置信息以及HSV阈值过滤方法得到的分割信息，通过对位置信息进行IoU计算、比较判断电路实验中元器件位置及其状态，再通过对分割信息做广度优先遍历确定元器件之间是否连接，进而画出连接电路的电路图，本发明能够用于中学物理电路实验分析、处理。

Description

一种物理电路实验自动识别方法
技术领域
本发明涉及计算机视觉及目标检测领域，具体涉及一种物理电路实验自动识别方法。
背景技术
目标检测是当下计算机视觉领域的一个重要研究方向，在城市安防监控、医疗、信息化教育等领域得到广泛应用。在物理电路实验中，老师通过人眼逐个验收实验无疑是耗时耗力且效率低下的。近年来，基于深度卷积神经网络的目标检测技术得到了快速发展，这使得基于图像的目标检测方法用于教育领域成为可能。为了减轻老师在实验教学中的负担，设计一种基于视觉的中学物理电路实验自动识别方法是很有必要的。
发明内容
本发明的目的：在于提供一种物理电路实验自动识别方法，基于深度卷积神经网络、HSV阈值过滤方法以及IoU交并比对比法，判断物理电路实验中各元器件位置、状态，以及各元器件的接线柱之间是否连接，进而画出电路图；
为实现以上功能，本发明设计一种物理电路实验自动识别方法，按预设周期执行步骤S1-S6，获得物理电路实验识别模型，然后应用物理电路实验识别模型，判断物理电路实验中各元器件位置、状态，以及各元器件的接线柱之间是否连接，进而获得电路图；
S1：以固定图像获取姿态，实时采集物理电路实验场景所对应的物体类图像和状态类图像，各物体类图像和状态类图像中包括各元器件、各元器件的接线柱、导线，格式为三通道RGB图像；
S2：分别以各物体类图像和各状态类图像为输入，基于深度学习检测算法，分别以各物体类图像中的各元器件位置、种类，以及各状态类图像中的元器件状态标签为输出，构建元器件检测模块；
S3：分别以各物体类图像和各状态类图像为输入，基于HSV阈值过滤方法，对各物体类图像和各状态类图像中的导线进行分割，以各物体类图像和各状态类图像分别所对应的导线与背景二值图为输出，构建导线与背景分割模块；
S4：以元器件检测模块输出的各物体类图像中的各元器件位置、种类，以及各状态类图像中的元器件状态标签为输入，基于IoU交并比对比法，将各物体类图像中的各元器件与各状态类图像中的元器件状态标签对应，以各元器件的位置、种类，各元器件分别所对应的状态为输出，构建元器件状态模块；
S5：以导线与背景分割模块输出的各导线与背景二值图为输入，针对各导线与背景二值图中的各元器件的接线柱，基于广度优先遍历法，判断两两接线柱之间是否通过导线连接，以各元器件的接线柱连接状态为输出，构建接线柱连接状态模块；
S6：基于元器件检测模块、元器件检测模块、导线与背景分割模块、元器件状态模块、接线柱连接状态模块，构建物理电路实验识别待训练模型，以各物体类图像和各状态类图像为输入对物理电路实验识别待训练模型进行训练，以元器件状态模块输出的各元器件的位置、种类，各元器件分别所对应的状态，以及接线柱连接状态模块输出的各元器件的接线柱连接状态为输出，构建物理电路实验识别模型，然后应用物理电路实验识别模型，获得电路图。
作为本发明的一种优选技术方案：元器件种类包括电源、电阻、灯泡、开关，各状态类图像中的元器件状态标签为开关闭合、开关打开、灯泡亮、灯泡灭。
作为本发明的一种优选技术方案：步骤S3中分别以各物体类图像和各状态类图像为输入，基于HSV阈值过滤方法，对各物体类图像和各状态类图像中的导线进行分割，以各物体类图像和各状态类图像分别所对应的导线与背景二值图为输出，构建导线与背景分割模块的具体步骤如下：
S31：分别将三通道RGB图像格式的各物体类图像和各状态类图像转换为对应的三通道HSV格式图像，其中三个通道分别为H、S、V；
S32：针对各三通道HSV格式图像，分别根据属于导线的各像素以及属于背景的各像素的像素值，对导线及背景进行分割，获得导线与背景二值图；
S33：通过对步骤S32所获得的各导线与背景二值图进行窗口大小为5的中值滤波处理，以获得优化后的各导线与背景二值图。
作为本发明的一种优选技术方案：所述步骤S4中以元器件检测模块输出的各物体类图像中的各元器件位置、种类，以及各状态类图像中的元器件状态标签为输入，基于IoU交并比对比法，将各物体类图像中的各元器件与各状态类图像中的元器件状态标签对应，以各元器件的位置、种类，各元器件分别所对应的状态为输出，构建元器件状态模块的具体步骤如下：
S41：分别计算各状态类图像中的各元器件与各物体类图像中的各元器件的IoU交并比，其中状态类图像中的元器件如下式：
s([xa1,ya1],[xa2,ya2])
式中，[xa1,ya1]为状态类图像中的元器件IoU矩形框的左上角坐标，[xa2,ya2]为状态类图像中的元器件IoU矩形框的右下角坐标；
物体类图像中的元器件如下式：
o([xb1,yb1],[xb2,yb2])
式中，[xb1,yb1]为物体类图像中的元器件IoU矩形框的左上角坐标，[xb2,yb2]为物体类图像中的元器件IoU矩形框的右下角坐标；
状态类图像中的元器件与物体类图像中的元器件的IoU交并比的计算方法如下式：
其中X1、Y1、sa、sb如下式：
X1＝max(xa1,xb1),Y1＝max(ya1,yb1)
X2＝min(xa2,xb2),Y2＝min(ya2,yb2)
sa＝(xa2-xa1)×(ya2-ya1)
sb＝(xb2-xb1)×(yb2-yb1)
S42：选取与状态类图像中的元器件IoU交并比最大的物体类图像中的元器件，将该状态类图像中的元器件状态标签与物体类图像中该元器件对应；
S43：重复步骤S41-S42，直至将各状态类图像中所有元器件状态标签与各物体类图像中的元器件一一对应。
作为本发明的一种优选技术方案：所述步骤S5中以导线与背景分割模块输出的各导线与背景二值图为输入，针对各导线与背景二值图中的各元器件的接线柱，基于广度优先遍历法，判断两两接线柱之间是否通过导线连接，以各元器件的接线柱连接状态为输出，构建接线柱连接状态模块的具体步骤如下：
S51:分别针对接线柱t1([x11,y11],[x12,y12])和接线柱t2([x21,y21],[x22,y22])，基于下式计算中心点，其中[x11,y11]为接线柱t1的IoU矩形框的左上角坐标，[x12,y12]为接线柱t1的IoU矩形框的右下角坐标，[x21,y21]为接线柱t2的IoU矩形框的左上角坐标，[x22,y22]为接线柱t2的IoU矩形框的右下角坐标，：
式中，i取值为1或2，i＝1时，x1、y1分别为接线柱t1的中心点c1在导线与背景二值图中的横坐标、纵坐标，i＝2时，x2、y2分别为接线柱t2的中心点c2在导线与背景二值图中的横坐标、纵坐标；
S52:在导线与背景二值图中分别以接线柱t1、t2的中心点c1、c2为圆心，分别以r1、r2为半径，寻找与中心点c1距离最近的导线像素位置cu1(xu1,yu1)，以及与中心点c2距离最近的导线像素位置cu2(xu2,yu2)，其中xu1、yu1分别为导线像素位置cu1在导线与背景二值图中的横坐标、纵坐标，xu2、yu2分别为导线像素位置cu2在导线与背景二值图中的横坐标、纵坐标，若圆内不存在属于导线的像素点，则将导线像素位置横坐标、纵坐标置为(-1,-1)，半径ri计算方法如下式：
式中，i取值为1或2。
S53:针对导线像素位置cu1，分别判断其上、下、左、右位置的像素点是否属于导线，并对导线像素位置cu1置0；
S54:针对导线像素位置cu1的上、下、左、右位置的像素点，若存在属于导线的像素点，则针对该像素点重复步骤S53，直至导线像素位置为cu2(xu2,yu2)；
S55：针对步骤S53中对导线像素位置的上、下、左、右位置的像素点是否属于导线的判断过程中，若导线像素位置cl(xl,yl)的上、下、左、右位置的像素点均不属于导线，则以导线像素位置cl(xl,yl)为圆心，以20个像素点为半径，寻找与中心点cl距离最近的导线像素位置cun(xun,yun)，其中xun、xl分别为导线像素位置cun、cl在导线与背景二值图中的横坐标，yun、yl分别为导线像素位置cun、cl在导线与背景二值图中的纵坐标；
S56：若步骤S55中以导线像素位置cl(xl,yl)为圆心，以20个像素点为半径所确定的圆内存在属于导线的像素点，则将cu1(xu1,yu1)更新为cun(xun,yun)，重复步骤S53，直至导线像素位置为cu2(xu2,yu2)，若圆内不存在属于导线的像素点，则判断两接线柱之间不连接。
有益效果：相对于现有技术，本发明的优点包括：
本发明设计了一种物理电路实验自动识别方法，获得物理电路实验识别模型，然后应用物理电路实验识别模型，判断物理电路实验中各元器件位置、状态，以及各元器件的接线柱之间是否连接，进而画出电路图，实现准确、高效地检验物理电学实验成果，减轻老师在实验教学中的负担。
附图说明
图1是根据本发明实施例提供的物理电路实验自动识别方法流程图；
图2是根据本发明实施例提供的物理电路实验场景图像；
图3是基于物理电路实验识别模型获得的电路图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
参照图1，本发明实施例提供的一种物理电路实验自动识别方法，按预设周期执行步骤S1-S6，获得物理电路实验识别模型，然后应用物理电路实验识别模型，判断物理电路实验中各元器件位置、状态，以及各元器件的接线柱之间是否连接，进而获得电路图；
S1：以固定图像获取姿态，实时采集物理电路实验场景所对应的物体类图像和状态类图像，各物体类图像和状态类图像中包括各元器件、各元器件的接线柱、导线，格式为三通道RGB图像。
S2：分别以各物体类图像和各状态类图像为输入，基于深度学习检测算法，分别以各物体类图像中的各元器件位置、种类，以及各状态类图像中的元器件状态标签为输出，构建元器件检测模块。
在一个实施例中，深度学习检测算法采用开源检测算法YOLOv5。
在一个实施例中，元器件种类包括电源、电阻、灯泡、开关，各状态类图像中的元器件状态标签为开关闭合、开关打开、灯泡亮、灯泡灭。
S3：分别以各物体类图像和各状态类图像为输入，基于HSV阈值过滤方法，对各物体类图像和各状态类图像中的导线进行分割，以各物体类图像和各状态类图像分别所对应的导线与背景二值图为输出，构建导线与背景分割模块。
步骤S3中构建导线与背景分割模块的具体步骤如下：
S31：分别将三通道RGB图像格式的各物体类图像和各状态类图像转换为对应的三通道HSV格式图像，其中三个通道分别为H、S、V；
S32：针对各三通道HSV格式图像，分别根据属于导线的各像素以及属于背景的各像素的像素值，对导线及背景进行分割，获得导线与背景二值图；在一个实施例中，导线颜色为蓝色，H、S、V三个通道的范围设置为：Hh＝144，Hl＝63，Sh＝244，Sl＝35，Vh＝123，Vl＝55，其中Hh为H通道上限值，Hl为H通道下限值，Sh为S通道上限值，Sl为S通道下限值，Vh为V通道上限值，Vl为V通道下限值，导线处像素值为255，非导线处像素值为0。
S33：通过对步骤S32所获得的各导线与背景二值图进行窗口大小为5的中值滤波处理，以获得优化后的各导线与背景二值图。
S4：以元器件检测模块输出的各物体类图像中的各元器件位置、种类，以及各状态类图像中的元器件状态标签为输入，基于IoU交并比对比法，将各物体类图像中的各元器件与各状态类图像中的元器件状态标签对应，以各元器件的位置、种类，各元器件分别所对应的状态为输出，构建元器件状态模块。
步骤S4中构建元器件状态模块的具体步骤如下：
S41：分别计算各状态类图像中的各元器件与各物体类图像中的各元器件的IoU交并比，其中状态类图像中的元器件如下式：
s([xa1,ya1],[xa2,ya2])
式中，[xa1,ya1]为状态类图像中的元器件IoU矩形框的左上角坐标，[xa2,ya2]为状态类图像中的元器件IoU矩形框的右下角坐标；
物体类图像中的元器件如下式：
o([xb1,yb1],[xb2,yb2])
式中，[xb1,yb1]为物体类图像中的元器件IoU矩形框的左上角坐标，[xb2,yb2]为物体类图像中的元器件IoU矩形框的右下角坐标；
状态类图像中的元器件与物体类图像中的元器件的IoU交并比的计算方法如下式：
其中X1、Y1、sa、sb如下式：
X1＝max(xa1,xb1),Y1＝max(ya1,yb1)
X2＝min(xa2,xb2),Y2＝min(ya2,yb2)
sa＝(xa2-xa1)×(ya2-ya1)
sb＝(xb2-xb1)×(yb2-yb1)
S42：选取与状态类图像中的元器件IoU交并比最大的物体类图像中的元器件，将该状态类图像中的元器件状态标签与物体类图像中该元器件对应；
S43：重复步骤S41-S42，直至将各状态类图像中所有元器件状态标签与各物体类图像中的元器件一一对应。
S5：以导线与背景分割模块输出的各导线与背景二值图为输入，针对各导线与背景二值图中的各元器件的接线柱，基于广度优先遍历法，判断两两接线柱之间是否通过导线连接，以各元器件的接线柱连接状态为输出，构建接线柱连接状态模块。
步骤S5中构建接线柱连接状态模块的具体步骤如下：
S51:分别针对接线柱t1([x11,y11],[x12,y12])和接线柱t2([x21,y21],[x22,y22])，基于下式计算中心点，其中[x11,y11]为接线柱t1的IoU矩形框的左上角坐标，[x12,y12]为接线柱t1的IoU矩形框的右下角坐标，[x21,y21]为接线柱t2的IoU矩形框的左上角坐标，[x22,y22]为接线柱t2的IoU矩形框的右下角坐标，：
式中，i取值为1或2，i＝1时，x1、y1分别为接线柱t1的中心点c1在导线与背景二值图中的横坐标、纵坐标，i＝2时，x2、y2分别为接线柱t2的中心点c2在导线与背景二值图中的横坐标、纵坐标；
S52:在导线与背景二值图中分别以接线柱t1、t2的中心点c1、c2为圆心，分别以r1、r2为半径，寻找与中心点c1距离最近的导线像素位置cu1(xu1,yu1)，以及与中心点c2距离最近的导线像素位置cu2(xu2,yu2)，其中xu1、yu1分别为导线像素位置cu1在导线与背景二值图中的横坐标、纵坐标，xu2、yu2分别为导线像素位置cu2在导线与背景二值图中的横坐标、纵坐标，若圆内不存在属于导线的像素点，则将导线像素位置横坐标、纵坐标置为(-1,-1)，半径ri计算方法如下式：
式中，i取值为1或2。
S53:针对导线像素位置cu1，分别判断其上、下、左、右位置的像素点是否属于导线，并对导线像素位置cu1置0；
S54:针对导线像素位置cu1的上、下、左、右位置的像素点，若存在属于导线的像素点，则针对该像素点重复步骤S53，直至导线像素位置为cu2(xu2,yu2)；
S55：针对步骤S53中对导线像素位置的上、下、左、右位置的像素点是否属于导线的判断过程中，若导线像素位置cl(xl,yl)的上、下、左、右位置的像素点均不属于导线，则以导线像素位置cl(xl,yl)为圆心，以20个像素点为半径，寻找与中心点cl距离最近的导线像素位置cun(xun,yun)，其中xun、xl分别为导线像素位置cun、cl在导线与背景二值图中的横坐标，yun、yl分别为导线像素位置cun、cl在导线与背景二值图中的纵坐标；
S56：若步骤S55中以导线像素位置cl(xl,yl)为圆心，以20个像素点为半径所确定的圆内存在属于导线的像素点，则将cu1(xu1,yu1)更新为cun(xun,yun)，重复步骤S53，直至导线像素位置为cu2(xu2,yu2)，若圆内不存在属于导线的像素点，则判断两接线柱之间不连接。
S6：基于元器件检测模块、元器件检测模块、导线与背景分割模块、元器件状态模块、接线柱连接状态模块，构建物理电路实验识别待训练模型，以各物体类图像和各状态类图像为输入对物理电路实验识别待训练模型进行训练，以元器件状态模块输出的各元器件的位置、种类，各元器件分别所对应的状态，以及接线柱连接状态模块输出的各元器件的接线柱连接状态为输出，构建物理电路实验识别模型，然后应用物理电路实验识别模型，获得电路图。
所述物理电路实验识别模型针对导线分割时可能出现部分断裂情况进行了优化，当导线分割断裂长度在20个像素点以内时可正常识别，本发明实施例提供的物理电路实验场景图像参照图2，图2中的导线人为擦除了一部分，基于物理电路实验识别模型获得的电路图参照图3，结果表明人为擦除部分导线之后物理电路实验识别模型依然能获得准确、完整的电路图。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (3)

1.一种物理电路实验自动识别方法，其特征在于，按预设周期执行步骤S1-S6，获得物理电路实验识别模型，然后应用物理电路实验识别模型，判断物理电路实验中各元器件位置、状态，以及各元器件的接线柱之间是否连接，进而获得电路图；
S1：以固定图像获取姿态，实时采集物理电路实验场景所对应的物体类图像和状态类图像，各物体类图像和状态类图像中包括各元器件、各元器件的接线柱、导线，格式为三通道RGB图像；
S2：分别以各物体类图像和各状态类图像为输入，基于深度学习检测算法，分别以各物体类图像中的各元器件位置、种类，以及各状态类图像中的元器件状态标签为输出，构建元器件检测模块；
S3：分别以各物体类图像和各状态类图像为输入，基于HSV阈值过滤方法，对各物体类图像和各状态类图像中的导线进行分割，以各物体类图像和各状态类图像分别所对应的导线与背景二值图为输出，构建导线与背景分割模块；
S4：以元器件检测模块输出的各物体类图像中的各元器件位置、种类，以及各状态类图像中的元器件状态标签为输入，基于IoU交并比对比法，将各物体类图像中的各元器件与各状态类图像中的元器件状态标签对应，以各元器件的位置、种类，各元器件分别所对应的状态为输出，构建元器件状态模块；
步骤S4的具体步骤如下：
S41：分别计算各状态类图像中的各元器件与各物体类图像中的各元器件的IoU交并比，其中状态类图像中的元器件如下式：
s([xa1,ya1],[xa2,ya2])
式中，[xa1,ya1]为状态类图像中的元器件IoU矩形框的左上角坐标，[xa2,ya2]为状态类图像中的元器件IoU矩形框的右下角坐标；
物体类图像中的元器件如下式：
o([xb1,yb1],[xb2,yb2])
式中，[xb1,yb1]为物体类图像中的元器件IoU矩形框的左上角坐标，[xb2,yb2]为物体类图像中的元器件IoU矩形框的右下角坐标；
状态类图像中的元器件与物体类图像中的元器件的IoU交并比的计算方法如下式：
其中X1、Y1、sa、sb如下式：
X1＝max(xa1,xb1),Y1＝max(ya1,yb1)
X2＝min(xa2,xb2),Y2＝min(ya2,yb2)
sa＝(xa2-xa1)×(ya2-ya1)
sb＝(xb2-xb1)×(yb2-yb1)
S42：选取与状态类图像中的元器件IoU交并比最大的物体类图像中的元器件，将该状态类图像中的元器件状态标签与物体类图像中该元器件对应；
S43：重复步骤S41-S42，直至将各状态类图像中所有元器件状态标签与各物体类图像中的元器件一一对应；
S5：以导线与背景分割模块输出的各导线与背景二值图为输入，针对各导线与背景二值图中的各元器件的接线柱，基于广度优先遍历法，判断两两接线柱之间是否通过导线连接，以各元器件的接线柱连接状态为输出，构建接线柱连接状态模块；
步骤S5的具体步骤如下：
S51:分别针对接线柱t1([x11,y11],[x12,y12])和接线柱t2([x21,y21],[x22,y22])，基于下式计算中心点，其中[x11,y11]为接线柱t1的IoU矩形框的左上角坐标，[x12,y12]为接线柱t1的IoU矩形框的右下角坐标，[x21,y21]为接线柱t2的IoU矩形框的左上角坐标，[x22,y22]为接线柱t2的IoU矩形框的右下角坐标，：
式中，i取值为1或2，i＝1时，x1、y1分别为接线柱t1的中心点c1在导线与背景二值图中的横坐标、纵坐标，i＝2时，x2、y2分别为接线柱t2的中心点c2在导线与背景二值图中的横坐标、纵坐标；
S52:在导线与背景二值图中分别以接线柱t1、t2的中心点c1、c2为圆心，分别以r1、r2为半径，寻找与中心点c1距离最近的导线像素位置cu1(xu1,yu1)，以及与中心点c2距离最近的导线像素位置cu2(xu2,yu2)，其中xu1、yu1分别为导线像素位置cu1在导线与背景二值图中的横坐标、纵坐标，xu2、yu2分别为导线像素位置cu2在导线与背景二值图中的横坐标、纵坐标，若圆内不存在属于导线的像素点，则将导线像素位置横坐标、纵坐标置为(-1,-1)，半径ri计算方法如下式：
式中，i取值为1或2；
S53:针对导线像素位置cu1，分别判断其上、下、左、右位置的像素点是否属于导线，并对导线像素位置cu1置0；
S54:针对导线像素位置cu1的上、下、左、右位置的像素点，若存在属于导线的像素点，则针对该像素点重复步骤S53，直至导线像素位置为cu2(xu2,yu2)；
S55：针对步骤S53中对导线像素位置的上、下、左、右位置的像素点是否属于导线的判断过程中，若导线像素位置cl(xl,yl)的上、下、左、右位置的像素点均不属于导线，则以导线像素位置cl(xl,yl)为圆心，以20个像素点为半径，寻找与中心点cl距离最近的导线像素位置cun(xun,yun)，其中xun、xl分别为导线像素位置cun、cl在导线与背景二值图中的横坐标，yun、yl分别为导线像素位置cun、cl在导线与背景二值图中的纵坐标；
S56：若步骤S55中以导线像素位置cl(xl,yl)为圆心，以20个像素点为半径所确定的圆内存在属于导线的像素点，则将cu1(xu1,yu1)更新为cun(xun,yun)，重复步骤S53，直至导线像素位置为cu2(xu2,yu2)，若圆内不存在属于导线的像素点，则判断两接线柱之间不连接；
S6：基于元器件检测模块、元器件检测模块、导线与背景分割模块、元器件状态模块、接线柱连接状态模块，构建物理电路实验识别待训练模型，以各物体类图像和各状态类图像为输入对物理电路实验识别待训练模型进行训练，以元器件状态模块输出的各元器件的位置、种类，各元器件分别所对应的状态，以及接线柱连接状态模块输出的各元器件的接线柱连接状态为输出，构建物理电路实验识别模型，然后应用物理电路实验识别模型，获得电路图。
2.如权利要求1所述的一种物理电路实验自动识别方法，其特征在于，元器件种类包括电源、电阻、灯泡、开关，各状态类图像中的元器件状态标签为开关闭合、开关打开、灯泡亮、灯泡灭。
3.如权利要求1所述的一种物理电路实验自动识别方法，其特征在于，步骤S3中分别以各物体类图像和各状态类图像为输入，基于HSV阈值过滤方法，对各物体类图像和各状态类图像中的导线进行分割，以各物体类图像和各状态类图像分别所对应的导线与背景二值图为输出，构建导线与背景分割模块的具体步骤如下：
S31：分别将三通道RGB图像格式的各物体类图像和各状态类图像转换为对应的三通道HSV格式图像，其中三个通道分别为H、S、V；
S32：针对各三通道HSV格式图像，分别根据属于导线的各像素以及属于背景的各像素的像素值，对导线及背景进行分割，获得导线与背景二值图；
S33：通过对步骤S32所获得的各导线与背景二值图进行窗口大小为5的中值滤波处理，以获得优化后的各导线与背景二值图。
CN202210251850.3A 2022-03-15 2022-03-15 一种物理电路实验自动识别方法 Active CN114677586B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210251850.3A CN114677586B (zh) 2022-03-15 2022-03-15 一种物理电路实验自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210251850.3A CN114677586B (zh) 2022-03-15 2022-03-15 一种物理电路实验自动识别方法

Publications (2)

Publication Number Publication Date
CN114677586A CN114677586A (zh) 2022-06-28
CN114677586B true CN114677586B (zh) 2024-04-05

Family

ID=82074930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210251850.3A Active CN114677586B (zh) 2022-03-15 2022-03-15 一种物理电路实验自动识别方法

Country Status (1)

Country Link
CN (1) CN114677586B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882520B (zh) * 2022-07-08 2022-11-11 成都西交智汇大数据科技有限公司 一种检测电路图的方法、系统、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018032631A1 (zh) * 2016-08-19 2018-02-22 上海葡萄纬度科技有限公司 一种教育玩具套件及其电路元件和电线的识别方法
CN111312023A (zh) * 2020-03-20 2020-06-19 上海中科教育装备集团有限公司 一种中学物理电路实验电路图自动绘制的装置及方法
CN111383505A (zh) * 2020-03-04 2020-07-07 南京大学 一种基于笔交互的电路教学系统及方法
CN113327240A (zh) * 2021-06-11 2021-08-31 国网上海市电力公司 一种基于视觉引导的搭线方法、系统及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018032631A1 (zh) * 2016-08-19 2018-02-22 上海葡萄纬度科技有限公司 一种教育玩具套件及其电路元件和电线的识别方法
CN111383505A (zh) * 2020-03-04 2020-07-07 南京大学 一种基于笔交互的电路教学系统及方法
CN111312023A (zh) * 2020-03-20 2020-06-19 上海中科教育装备集团有限公司 一种中学物理电路实验电路图自动绘制的装置及方法
CN113327240A (zh) * 2021-06-11 2021-08-31 国网上海市电力公司 一种基于视觉引导的搭线方法、系统及存储介质

Also Published As

Publication number Publication date
CN114677586A (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN109145759B (zh) 车辆属性识别方法、装置、服务器及存储介质
US10445602B2 (en) Apparatus and method for recognizing traffic signs
CN111860348A (zh) 基于深度学习的弱监督电力图纸ocr识别方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN109284738A (zh) 不规则人脸矫正方法和系统
CN114677586B (zh) 一种物理电路实验自动识别方法
CN112580657B (zh) 一种自学习字符识别方法
CN112733914B (zh) 一种基于支持向量机的水下目标视觉识别分类方法
CN112818853B (zh) 一种交通要素识别方法、装置、设备及储存介质
CN112149535A (zh) 一种结合SegNet和U-Net的车道线检测方法和装置
CN113723277B (zh) 一种融入多模态视觉信息的学习意图监测方法及系统
CN110659637A (zh) 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法
CN113065568A (zh) 目标检测、属性识别与跟踪方法及系统
Shah et al. Efficient portable camera based text to speech converter for blind person
CN113343927A (zh) 一种适用于面瘫患者的智能化人脸识别方法和系统
Choi et al. Illumination invariant lane color recognition by using road color reference & neural networks
CN111830051A (zh) 一种基于深度学习的变电站设备漏油检测方法及检测系统
CN109141457B (zh) 导航评估方法、装置、计算机设备和存储介质
CN116912872A (zh) 图纸识别方法、装置、设备及可读存储介质
CN113221870B (zh) 一种用于移动终端的ocr识别方法、装置、存储介质及设备
CN108549855A (zh) 面向智能家居场景的实时人形检测方法
CN114419529A (zh) 一种基于分布空间对齐的跨模态行人再识别方法及系统
CN114550143A (zh) 无人车行驶中的场景识别方法及装置
CN111428813A (zh) 一种基于深度学习的面板数字识别与按取方法
Pin et al. Object Intelligent Detection and Implementation Based on Neural Network and Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant