CN114581741A - 基于图像增强的断路器试验机器人接线定位方法及装置 - Google Patents

基于图像增强的断路器试验机器人接线定位方法及装置 Download PDF

Info

Publication number
CN114581741A
CN114581741A CN202210496088.5A CN202210496088A CN114581741A CN 114581741 A CN114581741 A CN 114581741A CN 202210496088 A CN202210496088 A CN 202210496088A CN 114581741 A CN114581741 A CN 114581741A
Authority
CN
China
Prior art keywords
coordinates
preset
training image
circuit breaker
imaging point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210496088.5A
Other languages
English (en)
Other versions
CN114581741B (zh
Inventor
王俊波
李新
刘崧
张殷
宋安琪
武利会
熊仕斌
蒋维
罗容波
李国伟
唐琪
范心明
董镝
陈志平
曾烨
吴小平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Foshan Power Supply Bureau of Guangdong Power Grid Corp
Original Assignee
Foshan Power Supply Bureau of Guangdong Power Grid Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Power Supply Bureau of Guangdong Power Grid Corp filed Critical Foshan Power Supply Bureau of Guangdong Power Grid Corp
Priority to CN202210496088.5A priority Critical patent/CN114581741B/zh
Publication of CN114581741A publication Critical patent/CN114581741A/zh
Application granted granted Critical
Publication of CN114581741B publication Critical patent/CN114581741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了基于图像增强的断路器试验机器人接线定位方法及装置，方法包括：以粘贴的方式根据预置背景切片对初始训练图像集进行图像增强操作，得到预置试验训练图像集；采用预置试验训练图像集训练预置YOLOv4检测模型，得到优化目标检测模型；通过优化目标检测模型对断路器试验的待测双目图像进行目标检测，得到目标检测框，目标检测框包括检测框坐标；根据目标检测框和检测框坐标计算断路器试验的双目摄像头的左成像点坐标和右成像点坐标；基于双目视觉定位原理，根据左成像点坐标和右成像点坐标计算接线机器人的目标动作点坐标。本申请能够解决现有技术缺乏准确率和抗干扰能力，无法满足断路器试验的可靠性需求的技术问题。

Description

基于图像增强的断路器试验机器人接线定位方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及基于图像增强的断路器试验机器人接线定位方法及装置。
背景技术
准确可靠的接线是断路器试验机器人实用化的关键技术之一，它要求机器人对断路器触头识别和定位的算法具有很强的泛化能力和很高的准确率，使之能在不同试验场所（背景）或人员走动等背景扰动影响下仍能准确可靠地进行试验线夹的抓取和断路器触头的接入。但是，现有的断路器试验机器人接线定位方法准确率和抗干扰能力较差，无法满足断路器试验的实际可靠性的需求。
发明内容
本申请提供了基于图像增强的断路器试验机器人接线定位方法及装置，用于解决现有技术缺乏准确率和抗干扰能力，无法满足断路器试验的可靠性需求的技术问题。
有鉴于此，本申请第一方面提供了基于图像增强的断路器试验机器人接线定位方法，包括：
以粘贴的方式根据预置背景切片对初始训练图像集进行图像增强操作，得到预置试验训练图像集；
采用所述预置试验训练图像集训练预置YOLOv4检测模型，得到优化目标检测模型；
通过所述优化目标检测模型对断路器试验的待测双目图像进行目标检测，得到目标检测框，所述目标检测框包括检测框坐标；
根据所述目标检测框和所述检测框坐标计算断路器试验的双目摄像头的左成像点坐标和右成像点坐标；
基于双目视觉定位原理，根据所述左成像点坐标和所述右成像点坐标计算接线机器人的目标动作点坐标。
优选地，所述以粘贴的方式根据预置背景切片对初始训练图像集进行图像增强操作，得到预置试验训练图像集，之前还包括：
对获取的断路器试验机器人接线的初始训练图像集中的目标触头进行标注处理，得到标签信息，标签信息包括标注框、框尺寸和框位置；
基于框尺寸和框位置在标注框的上面、下面、左面和右面分别获取预置背景切片。
优选地，所述以粘贴的方式根据预置背景切片对初始训练图像集进行图像增强操作，得到预置试验训练图像集，包括：
将初始训练图像集中的训练图像进行排序；
根据排序的顺序将当前训练图像对应的所述预置背景切片调整尺寸后粘贴在下一张训练图像对应的背景区域，得到预置试验训练图像集。
优选地，所述以粘贴的方式根据预置背景切片对初始训练图像集进行图像增强操作，得到预置试验训练图像集，包括：
将训练图像集中的训练图像进行排序；
根据排序的顺序将前预置数量的所述训练图像对应的所述预置背景切片分别进行上面、下面、左面和右面的背景拼接操作，得到拼接背景切片；
将所述拼接背景切片粘贴至当前训练图像的背景区域，得到预置试验训练图像集。
优选地，所述基于双目视觉定位原理，根据所述左成像点坐标和所述右成像点坐标计算接线机器人的目标动作点坐标，包括：
基于双目视觉定位原理构建坐标变换公式，所述坐标变换公式为：
Figure 113296DEST_PATH_IMAGE001
其中，
Figure 222197DEST_PATH_IMAGE002
、
Figure 426651DEST_PATH_IMAGE003
、
Figure 748042DEST_PATH_IMAGE004
为所述目标动作点坐标的值，
Figure 131007DEST_PATH_IMAGE005
、
Figure 909345DEST_PATH_IMAGE006
分别为左成像点坐标的横坐标值和右成像点坐标的横坐标值，
Figure 102560DEST_PATH_IMAGE007
为左成像点坐标的纵坐标，
Figure 729106DEST_PATH_IMAGE008
为左右双目摄像头之间的距离，
Figure 855325DEST_PATH_IMAGE009
为摄像头焦距；
根据所述左成像点坐标、所述右成像点坐标和所述坐标变换公式计算接线机器人的目标动作点坐标。
本申请第二方面提供了基于图像增强的断路器试验机器人接线定位装置，包括：
图像增强模块，用于以粘贴的方式根据预置背景切片对初始训练图像集进行图像增强操作，得到预置试验训练图像集；
模型训练模块，用于采用所述预置试验训练图像集训练预置YOLOv4检测模型，得到优化目标检测模型；
目标检测模块，用于通过所述优化目标检测模型对断路器试验的待测双目图像进行目标检测，得到目标检测框，所述目标检测框包括检测框坐标；
坐标计算模块，用于根据所述目标检测框和所述检测框坐标计算断路器试验的双目摄像头的左成像点坐标和右成像点坐标；
双目定位模块，用于基于双目视觉定位原理，根据所述左成像点坐标和所述右成像点坐标计算接线机器人的目标动作点坐标。
优选地，还包括：
标注模块，用于对获取的断路器试验机器人接线的初始训练图像集中的目标触头进行标注处理，得到标签信息，标签信息包括标注框、框尺寸和框位置；
切片模块，用于基于框尺寸和框位置在标注框的上面、下面、左面和右面分别获取预置背景切片。
优选地，所述图像增强模块，具体用于：
将初始训练图像集中的训练图像进行排序；
根据排序的顺序将当前训练图像对应的所述预置背景切片调整尺寸后粘贴在下一张训练图像对应的背景区域，得到预置试验训练图像集。
优选地，所述图像增强模块，具体用于：
将训练图像集中的训练图像进行排序；
根据排序的顺序将前预置数量的所述训练图像对应的所述预置背景切片分别进行上面、下面、左面和右面的背景拼接操作，得到拼接背景切片；
将所述拼接背景切片粘贴至当前训练图像的背景区域，得到预置试验训练图像集。
优选地，所述双目定位模块，具体用于：
基于双目视觉定位原理构建坐标变换公式，所述坐标变换公式为：
Figure 273406DEST_PATH_IMAGE001
其中，
Figure 219497DEST_PATH_IMAGE002
、
Figure 649734DEST_PATH_IMAGE003
、
Figure 364881DEST_PATH_IMAGE004
为所述目标动作点坐标的值，
Figure 845540DEST_PATH_IMAGE005
、
Figure 777462DEST_PATH_IMAGE006
分别为左成像点坐标的横坐标值和右成像点坐标的横坐标值，
Figure 244347DEST_PATH_IMAGE007
为左成像点坐标的纵坐标，
Figure 456410DEST_PATH_IMAGE008
为左右双目摄像头之间的距离，
Figure 91659DEST_PATH_IMAGE009
为摄像头焦距；
根据所述左成像点坐标、所述右成像点坐标和所述坐标变换公式计算接线机器人的目标动作点坐标。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请中，提供了基于图像增强的断路器试验机器人接线定位方法，包括：以粘贴的方式根据预置背景切片对初始训练图像集进行图像增强操作，得到预置试验训练图像集；采用预置试验训练图像集训练预置YOLOv4检测模型，得到优化目标检测模型；通过优化目标检测模型对断路器试验的待测双目图像进行目标检测，得到目标检测框，目标检测框包括检测框坐标；根据目标检测框和检测框坐标计算断路器试验的双目摄像头的左成像点坐标和右成像点坐标；基于双目视觉定位原理，根据左成像点坐标和右成像点坐标计算接线机器人的目标动作点坐标。
本申请提供的基于图像增强的断路器试验机器人接线定位方法，为了提升目标检测模型的准确率和抗干扰能力，对初始训练图像集进行背景增强操作，即通过粘贴不同的背景增加训练图像集的场景种类，基于此训练的模型的泛化能力更强，抗干扰能力和检测准确性更高；此外，还将目标检测算法与双目视觉定位技术结合，根据目标检测框的坐标信息计算双目摄像头的成像点坐标，进而求得机器人的目标动作点坐标；精准的计算方法确保了定位的可靠性，特定的图像增强方法提升了定位算法的抗干扰能力。因此，本申请能够解决现有技术缺乏准确率和抗干扰能力，无法满足断路器试验的可靠性需求的技术问题。
附图说明
图1为本申请实施例提供的基于图像增强的断路器试验机器人接线定位方法的流程示意图；
图2为本申请实施例提供的基于图像增强的断路器试验机器人接线定位装置的结构示意图；
图3为本申请实施例提供的预置背景切片抽取流程示意图一；
图4为本申请实施例提供的预置背景切片抽取流程示意图二；
图5为本申请实施例提供的基于YOLOv4的断路器触头目标检测模型框架示意图；
图6为本申请实施例提供的预置YOLOv4检测模型的训练流程示意图；
图7为本申请实施例提供的模型训练的损失函数随训练代数变化趋势；
图8为本申请实施例提供的模型训练的检测准确率随训练代数变化趋势；
图9为本申请实施例提供的增强图像的不同背景图像测试样本示例图；
图10为本申请实施例提供的双目视觉定位原理示意图；
图11为本申请实施例提供的断路器试验机器人接线系统硬件结构图；
图12为本申请实施例提供的断路器试验机器人接线测试现场示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请提供的基于图像增强的断路器试验机器人接线定位方法的实施例，包括：
步骤101、以粘贴的方式根据预置背景切片对初始训练图像集进行图像增强操作，得到预置试验训练图像集。
预置背景切片可以预先获取得到，例如在以往断路器试验的检测图像中进行背景抽取，只要避免前景提取即可。不限制背景切片的类别以及大小，可根据实际情况设置；将获取的预置背景切片随机或者按照一定规则粘贴在初始训练图像集的训练图像中，得到新增的训练图像，与初始训练图像集合在一起构成预置试验训练图像集，数据集的扩充有助于模型的训练，能够进一步提升模型的泛化能力。
实际上，断路器机器人试验接线要求目标检测模型在不同测试场所（背景）或人员走动等背景扰动下都具有很高的检测准确率，即目标检测模型应具足够的泛化能力。显然，只有通过尽可能涵盖不同的断路器触头前景和背景特征的大样本图像集训练断路器目标检测模型，才能保证模型具有足够的泛化能力。
进一步地，步骤101，之前还包括：
对获取的断路器试验机器人接线的初始训练图像集中的目标触头进行标注处理，得到标签信息，标签信息包括标注框、框尺寸和框位置；
基于框尺寸和框位置在标注框的上面、下面、左面和右面分别获取预置背景切片。
本实施例中的检测目标是断路器触头，将断路器触头用标注框标出，并给出标注框的尺寸和位置信息；此外，在模型训练过程中，标签信息还包括置信度。基于标注后的训练图像集训练目标检测模型，可以对模型的训练进行把控调整，从而提升模型的检测性能。
请参阅图3，标注框object的上面（top）、下面（bottom）、左面（left）和右面（right）均可以获取一个预置背景切片，可以分别表示为
Figure 513807DEST_PATH_IMAGE010
、
Figure 888508DEST_PATH_IMAGE011
、
Figure 312667DEST_PATH_IMAGE012
、
Figure 649977DEST_PATH_IMAGE013
；而标注框采用其左上角坐标
Figure 293841DEST_PATH_IMAGE014
和右下角坐标
Figure 368107DEST_PATH_IMAGE015
进行位置描述。
四个预置背景切片
Figure 145308DEST_PATH_IMAGE010
、
Figure 279617DEST_PATH_IMAGE011
、
Figure 145199DEST_PATH_IMAGE012
、
Figure 147790DEST_PATH_IMAGE013
的尺寸和位置是随机的，但是不能包含任何前景特征，即不可将标注框内的区域纳入预置背景切片中；量化描述就是
Figure 546541DEST_PATH_IMAGE010
的底部边界高于
Figure 710806DEST_PATH_IMAGE016
、
Figure 591912DEST_PATH_IMAGE011
的上部边界低于
Figure 742402DEST_PATH_IMAGE017
、
Figure 120294DEST_PATH_IMAGE012
的右侧边界小于
Figure 97870DEST_PATH_IMAGE018
、
Figure 702158DEST_PATH_IMAGE013
的左侧边界大于
Figure 46552DEST_PATH_IMAGE019
。按照描述的区域范围进行随机切片，将获取的四个切片抽出，即如图3左侧所示。
如图3所示，以粘贴的方式根据预置背景切片
Figure 652852DEST_PATH_IMAGE010
、
Figure 158919DEST_PATH_IMAGE011
、
Figure 250503DEST_PATH_IMAGE012
、
Figure 509840DEST_PATH_IMAGE013
对初始训练图像集进行图像增强操作，得到预置试验训练图像集；具体就是按照位置进行大小调整后的粘贴操作，从而得到新的训练图像。
进一步地，步骤101，包括：
将初始训练图像集中的训练图像进行排序；
根据排序的顺序将当前训练图像对应的预置背景切片调整尺寸后粘贴在下一张训练图像对应的背景区域，得到预置试验训练图像集。
具体的图像增强过程有所不同，本实施例提供的是顺序粘贴的方式，具体过程可以参阅图3，将当前训练图像的预置背景切片粘贴给下一张训练图像，形成新的训练图像，这样初始训练图像集可以被扩充一倍，增强的训练图像与初始训练图像一起构成预置试验训练图像集。
进一步地，步骤101，包括：
将训练图像集中的训练图像进行排序；
根据排序的顺序将前预置数量的训练图像对应的预置背景切片分别进行上面、下面、左面和右面的背景拼接操作，得到拼接背景切片；
将拼接背景切片粘贴至当前训练图像的背景区域，得到预置试验训练图像集。
本实施例给出了另外一种背景粘贴方式，请参阅图4，假设前预置数量的训练图像为3，当前训练图像为第4张图像，前面三张训练图像分别抽取各自对应的预置背景切片，然后将对应方位的切片拼接，即三张训练图像的上面（top）的切片
Figure 862323DEST_PATH_IMAGE020
、
Figure 414659DEST_PATH_IMAGE021
、
Figure 852593DEST_PATH_IMAGE022
进行拼接，得到上面的拼接背景切片；三张训练图像的下面（bottom）的切片
Figure 178270DEST_PATH_IMAGE023
、
Figure 995048DEST_PATH_IMAGE024
、
Figure 108497DEST_PATH_IMAGE025
进行拼接，得到下面的拼接背景切片；三张训练图像的左面（left）的切片
Figure 410559DEST_PATH_IMAGE026
、
Figure 775812DEST_PATH_IMAGE027
、
Figure 211210DEST_PATH_IMAGE028
进行拼接，得到左面的拼接背景切片；三张训练图像的右面（right）的切片
Figure 495561DEST_PATH_IMAGE029
、
Figure 517875DEST_PATH_IMAGE030
、
Figure 922705DEST_PATH_IMAGE031
进行拼接，得到右面的拼接背景切片。
四个方位的拼接背景切片按照第4张训练图像抽取切片后的背景缺口区域大小进行基本的尺寸调整，就可以粘贴切片形成新的背景区域，得到一种新的训练图像；而前面3张训练图像则还是可以采用上述依次粘贴背景的方式进行图像增强，在整体上形成一种综合增强方案。基于以上的背景粘贴方式也可以实现图像的增强，得到增强图像集。可以理解的是，以上仅为基于背景粘贴的图像增强示例，并不唯一限定。
可以理解的是，前预置数量的训练图像是相对当前训练图像而言，前预置数量可以根据实际需要设置，即可以是4、5，或者n，在此不作限定。
步骤102、采用预置试验训练图像集训练预置YOLOv4检测模型，得到优化目标检测模型。
预置YOLOv4检测模型的框架如图5所示，是基于双目摄像头的检测模型，且该模型主要包括特征网络、多尺度融合及非极大值抑制（NMS）；YOLOv4的特征网络为CSPDdarknet-53，由N个卷积块组成，每个卷积块包含卷积层（Conv）、归一化层（BN）和非线性激活层（Act）。特征网络抽取的图像纹理、颜色等特征是网络预测目标的重要依据；对特征网络输出的三种尺度的特征图进行多尺度融合，预测不同大小尺寸的目标；采用非极大值抑制（NMS）算法消除冗余的目标检测框，获取最佳目标检测框。
具体的模型训练过程请参阅图6，训练数据集的图像数据进行数据增强后，对目标触头检测模型进行预训练操作，得到预训练结果；根据预训练结果与训练数据集的标签信息计算损失，进而根据损失结果调整更新模型的权重，再判断模型是否训练达标，若是则可以得到优化触头检测模型。
考虑到本实施例是基于YOLOv4以及双目视觉定位的算法，整体的计算量可能较大，会在一定程度上延长推理时间，导致机器人的实际反应较慢，不能满足实况的试验需求。还可以对YOLOv4检测模型进行轻量化改进，例如将核心的特征网络采用轻量级网络架构代替，从模型参数上减少计算量；而训练图像的扩增也可以保证在模型轻量化的情况下，仍然具有较强的检测性能。轻量级神经网络可以选取Mobiledets、ShuffleNet、SqueezeNet等。需要说明的是，在改进过程中需要对替代网络架构进行必要调整，例如通道数量、参数形式或者特征图分支等，具体的不作限定，可以根据需要进行改进。
为了验证本实施例中的预置试验训练图像集对模型训练的优势，给出一个示例，在某一试验场所拍摄获取504张背景特征不足的断路器试验图像，采用背景数据增强方法对该图像背景进行扩充，得到背景特征足够的图像训练样本113400张；然后，分别在五种不同背景下各摄取6张断路器图像，共计30张，对每张断路器图像触头目标进行真实框的类别、尺寸和位置的标注，作为图像测试样本；接着，利用图像背景扩充训练样本（113400张）对断路器触头目标检测模型进行训练。每代训练后，就用训练的目标检测模型对图像测试样本进行预测，利用预测框和真实框信息，计算断路器触头的定位准确率；得到的损失函数和定位准确率随训练代数变化的趋势分别如图7、图8所示。
由图7可知，训练初期，模型对训练图像数据集背景的差异性适应较差，损失函数数值较大；随着训练代数增加，损失函数数值下降逐渐趋缓；训练至300代后，训练图像背景的差异性对损失函数数值的影响很小且收敛。
由图8可知，预测框的回归损失函数ciou-loss数值随着训练代数的增加而下降逐渐趋缓，定位准确率则逐渐提高；训练至300代后，模型输出的预测框位置和尺寸的准确率d-accuracy、c-accuracy均达到99.9%。综合以上可知，采用背景数据增强方法扩充得到的图像样本训练的断路器触头目标检测模型，不受测试样本背景的影响，具有很强的泛化能力和很高的准确率。
步骤103、通过优化目标检测模型对断路器试验的待测双目图像进行目标检测，得到目标检测框，目标检测框包括检测框坐标。
目标检测框除了包括具体的检测框坐标，还包括检测框尺寸，以及检测结果置信度。优化目标检测模型具有较强的泛化能力，能够适应待测双目图像的多种背景变化，保证目标检测卡的准确可靠性。请参阅图9，以图9中的（a）所示的某试验场所背景拍摄获取的训练图像为例，采用本申请实施例的背景数据增强方法对训练图像背景样本进行扩充；其中，图9中的（b）为试验场所改变的背景扰动，图9中的（c）为人员走动的背景扰动，图9中的（d）为外来物引起的背景扰动。以上述得到的增强图像对目标检测模型进行训练，优化断路器目标检测模型。根据测试过程中机器人接线出现的碰撞逼停和准确可靠接线次数计算机器人接线的准确率，具体请参阅表1。
表1断路器试验机器人接线准确率测试结果
Figure 104288DEST_PATH_IMAGE032
由表1给出的断路器试验机器人接线准确率测试结果可知，采用背景数据增强方法训练的优化断路器目标检测模型的准确率为98.8%，优于未进行背景扩充的模型。测试结果表明，在试验场所改变、人员走动等背景扰动影响时，断路器试验机器人仍能准确可靠接线，也表明采用背景数据增强方法训练的目标检测模型具有很强的泛化能力和很高的准确率。
步骤104、根据目标检测框和检测框坐标计算断路器试验的双目摄像头的左成像点坐标和右成像点坐标。
目标检测框的检测框坐标与双目摄像头之间存在几何关系，在摄像头确定，且检测框坐标以及尺寸明确的情况下，可以根据几何关系求得双目摄像头的两个成像点坐标，即左成像点坐标
Figure 434906DEST_PATH_IMAGE033
和右成像点坐标
Figure 974209DEST_PATH_IMAGE034
。
步骤105、基于双目视觉定位原理，根据左成像点坐标和右成像点坐标计算接线机器人的目标动作点坐标。
进一步地，步骤105，包括：
基于双目视觉定位原理构建坐标变换公式，坐标变换公式为：
Figure 540320DEST_PATH_IMAGE001
其中，
Figure 186196DEST_PATH_IMAGE002
、
Figure 189180DEST_PATH_IMAGE003
、
Figure 310720DEST_PATH_IMAGE004
为所述目标动作点坐标的值，
Figure 821467DEST_PATH_IMAGE005
、
Figure 85964DEST_PATH_IMAGE006
分别为左成像点坐标的横坐标值和右成像点坐标的横坐标值，
Figure 883019DEST_PATH_IMAGE007
为左成像点坐标的纵坐标，
Figure 367221DEST_PATH_IMAGE008
为左右双目摄像头之间的距离，
Figure 487903DEST_PATH_IMAGE009
为摄像头焦距；
根据左成像点坐标、右成像点坐标和坐标变换公式计算接线机器人的目标动作点坐标。请参阅图10，A、B即为左成像点坐标
Figure 498584DEST_PATH_IMAGE033
和右成像点坐标
Figure 341906DEST_PATH_IMAGE034
；双目摄像头Camera L和Camera R，其相机坐标系的原点和Z轴分别为
Figure 77519DEST_PATH_IMAGE035
、
Figure 789123DEST_PATH_IMAGE036
和光轴Z l 、Zr，两摄像头的X轴重合，Y轴垂直于图片向上；机器人的目标动作点为P，或者称为断路器触头外边缘点，其坐标为
Figure 529677DEST_PATH_IMAGE037
；采用上述公式即可计算得到目标动作点P的坐标值，实现机器人的精准定位，保障机器人接线的可靠性。
为了便于理解，本申请提供了具体的应用例，请参阅图11，提供一种基于设备的断路器试验机器人接线系统，主要由六轴机器人视觉定位抓取组件（含六轴机器人、电动爪与双目摄像头）、线仓单元（含接线线夹和线仓）以及真空断路器单元等组成；机器人接线系统的主要功能是实现接线线夹或插头的抓取、断路器触头插入和放置接线仓等试验过程中的接线（含拆线）动作。为保证机器人接线动作的准确可靠性，必须克服自身定位误差和外界干扰引起的误差（如温度和目标对象空间位置扰动），所以采用本实施例提供的方法，将双目视觉定位和深度学习目标检测技术引入断路器试验机器人接线系统，实现机器人接线定位。
其中，机器人中部署了本实施例中的算法，机器人的现场工作如图12所示，主要操作是将线夹插入断路器触头，抓取线夹等。
本申请实施例提供的基于图像增强的断路器试验机器人接线定位方法，为了提升目标检测模型的准确率和抗干扰能力，对初始训练图像集进行背景增强操作，即通过粘贴不同的背景增加训练图像集的场景种类，基于此训练的模型的泛化能力更强，抗干扰能力和检测准确性更高；此外，还将目标检测算法与双目视觉定位技术结合，根据目标检测框的坐标信息计算双目摄像头的成像点坐标，进而求得机器人的目标动作点坐标；精准的计算方法确保了定位的可靠性，特定的图像增强方法提升了定位算法的抗干扰能力。因此，本申请实施例能够解决现有技术缺乏准确率和抗干扰能力，无法满足断路器试验的可靠性需求的技术问题。
为了便于理解，请参阅图2，本申请提供了基于图像增强的断路器试验机器人接线定位装置的实施例，包括：
图像增强模块201，用于以粘贴的方式根据预置背景切片对初始训练图像集进行图像增强操作，得到预置试验训练图像集；
模型训练模块202，用于采用预置试验训练图像集训练预置YOLOv4检测模型，得到优化目标检测模型；
目标检测模块203，用于通过优化目标检测模型对断路器试验的待测双目图像进行目标检测，得到目标检测框，目标检测框包括检测框坐标；
坐标计算模块204，用于根据目标检测框和检测框坐标计算断路器试验的双目摄像头的左成像点坐标和右成像点坐标；
双目定位模块205，用于基于双目视觉定位原理，根据左成像点坐标和右成像点坐标计算接线机器人的目标动作点坐标。
进一步地，还包括：
标注模块206，用于对获取的断路器试验机器人接线的初始训练图像集中的目标触头进行标注处理，得到标签信息，标签信息包括标注框、框尺寸和框位置；
切片模块207，用于基于框尺寸和框位置在标注框的上面、下面、左面和右面分别获取预置背景切片。
进一步地，图像增强模块201，具体用于：
将初始训练图像集中的训练图像进行排序；
根据排序的顺序将当前训练图像对应的预置背景切片调整尺寸后粘贴在下一张训练图像对应的背景区域，得到预置试验训练图像集。
进一步地，图像增强模块201，具体用于：
将训练图像集中的训练图像进行排序；
根据排序的顺序将前预置数量的训练图像对应的预置背景切片分别进行上面、下面、左面和右面的背景拼接操作，得到拼接背景切片；
将拼接背景切片粘贴至当前训练图像的背景区域，得到预置试验训练图像集。
进一步地，双目定位模块205，具体用于：
基于双目视觉定位原理构建坐标变换公式，坐标变换公式为：
Figure 45365DEST_PATH_IMAGE001
其中，
Figure 363214DEST_PATH_IMAGE002
、
Figure 19454DEST_PATH_IMAGE003
、
Figure 113050DEST_PATH_IMAGE004
为所述目标动作点坐标的值，
Figure 422809DEST_PATH_IMAGE005
、
Figure 103320DEST_PATH_IMAGE006
分别为左成像点坐标的横坐标值和右成像点坐标的横坐标值，
Figure 156727DEST_PATH_IMAGE007
为左成像点坐标的纵坐标，
Figure 373338DEST_PATH_IMAGE008
为左右双目摄像头之间的距离，
Figure 729364DEST_PATH_IMAGE009
为摄像头焦距；
根据左成像点坐标、右成像点坐标和坐标变换公式计算接线机器人的目标动作点坐标。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文全称：Read-OnlyMemory，英文缩写：ROM）、随机存取存储器（英文全称：Random Access Memory，英文缩写：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.基于图像增强的断路器试验机器人接线定位方法，其特征在于，包括：
以粘贴的方式根据预置背景切片对初始训练图像集进行图像增强操作，得到预置试验训练图像集；
采用所述预置试验训练图像集训练预置YOLOv4检测模型，得到优化目标检测模型；
通过所述优化目标检测模型对断路器试验的待测双目图像进行目标检测，得到目标检测框，所述目标检测框包括检测框坐标；
根据所述目标检测框和所述检测框坐标计算断路器试验的双目摄像头的左成像点坐标和右成像点坐标；
基于双目视觉定位原理，根据所述左成像点坐标和所述右成像点坐标计算接线机器人的目标动作点坐标。
2.根据权利要求1所述的基于图像增强的断路器试验机器人接线定位方法，其特征在于，所述以粘贴的方式根据预置背景切片对初始训练图像集进行图像增强操作，得到预置试验训练图像集，之前还包括：
对获取的断路器试验机器人接线的初始训练图像集中的目标触头进行标注处理，得到标签信息，标签信息包括标注框、框尺寸和框位置；
基于框尺寸和框位置在标注框的上面、下面、左面和右面分别获取预置背景切片。
3.根据权利要求1所述的基于图像增强的断路器试验机器人接线定位方法，其特征在于，所述以粘贴的方式根据预置背景切片对初始训练图像集进行图像增强操作，得到预置试验训练图像集，包括：
将初始训练图像集中的训练图像进行排序；
根据排序的顺序将当前训练图像对应的所述预置背景切片调整尺寸后粘贴在下一张训练图像对应的背景区域，得到预置试验训练图像集。
4.根据权利要求1所述的基于图像增强的断路器试验机器人接线定位方法，其特征在于，所述以粘贴的方式根据预置背景切片对初始训练图像集进行图像增强操作，得到预置试验训练图像集，包括：
将训练图像集中的训练图像进行排序；
根据排序的顺序将前预置数量的所述训练图像对应的所述预置背景切片分别进行上面、下面、左面和右面的背景拼接操作，得到拼接背景切片；
将所述拼接背景切片粘贴至当前训练图像的背景区域，得到预置试验训练图像集。
5.根据权利要求1所述的基于图像增强的断路器试验机器人接线定位方法，其特征在于，所述基于双目视觉定位原理，根据所述左成像点坐标和所述右成像点坐标计算接线机器人的目标动作点坐标，包括：
基于双目视觉定位原理构建坐标变换公式，所述坐标变换公式为：
Figure 730309DEST_PATH_IMAGE001
其中，
Figure 36394DEST_PATH_IMAGE002
、
Figure 115209DEST_PATH_IMAGE003
、
Figure 285290DEST_PATH_IMAGE004
为所述目标动作点坐标的值，
Figure 56937DEST_PATH_IMAGE005
、
Figure 384407DEST_PATH_IMAGE006
分别为左成像点坐标的横坐标值和右成像点坐标的横坐标值，
Figure 345541DEST_PATH_IMAGE007
为左成像点坐标的纵坐标，
Figure 868663DEST_PATH_IMAGE008
为左右双目摄像头之间的距离，
Figure 686578DEST_PATH_IMAGE009
为摄像头焦距；
根据所述左成像点坐标、所述右成像点坐标和所述坐标变换公式计算接线机器人的目标动作点坐标。
6.基于图像增强的断路器试验机器人接线定位装置，其特征在于，包括：
图像增强模块，用于以粘贴的方式根据预置背景切片对初始训练图像集进行图像增强操作，得到预置试验训练图像集；
模型训练模块，用于采用所述预置试验训练图像集训练预置YOLOv4检测模型，得到优化目标检测模型；
目标检测模块，用于通过所述优化目标检测模型对断路器试验的待测双目图像进行目标检测，得到目标检测框，所述目标检测框包括检测框坐标；
坐标计算模块，用于根据所述目标检测框和所述检测框坐标计算断路器试验的双目摄像头的左成像点坐标和右成像点坐标；
双目定位模块，用于基于双目视觉定位原理，根据所述左成像点坐标和所述右成像点坐标计算接线机器人的目标动作点坐标。
7.根据权利要求6所述的基于图像增强的断路器试验机器人接线定位装置，其特征在于，还包括：
标注模块，用于对获取的断路器试验机器人接线的初始训练图像集中的目标触头进行标注处理，得到标签信息，标签信息包括标注框、框尺寸和框位置；
切片模块，用于基于框尺寸和框位置在标注框的上面、下面、左面和右面分别获取预置背景切片。
8.根据权利要求6所述的基于图像增强的断路器试验机器人接线定位装置，其特征在于，所述图像增强模块，具体用于：
将初始训练图像集中的训练图像进行排序；
根据排序的顺序将当前训练图像对应的所述预置背景切片调整尺寸后粘贴在下一张训练图像对应的背景区域，得到预置试验训练图像集。
9.根据权利要求6所述的基于图像增强的断路器试验机器人接线定位装置，其特征在于，所述图像增强模块，具体用于：
将训练图像集中的训练图像进行排序；
根据排序的顺序将前预置数量的所述训练图像对应的所述预置背景切片分别进行上面、下面、左面和右面的背景拼接操作，得到拼接背景切片；
将所述拼接背景切片粘贴至当前训练图像的背景区域，得到预置试验训练图像集。
10.根据权利要求6所述的基于图像增强的断路器试验机器人接线定位装置，其特征在于，所述双目定位模块，具体用于：
基于双目视觉定位原理构建坐标变换公式，所述坐标变换公式为：
Figure 124512DEST_PATH_IMAGE001
其中，
Figure 921961DEST_PATH_IMAGE002
、
Figure 394530DEST_PATH_IMAGE003
、
Figure 383346DEST_PATH_IMAGE004
为所述目标动作点坐标的值，
Figure 308577DEST_PATH_IMAGE005
、
Figure 110048DEST_PATH_IMAGE006
分别为左成像点坐标的横坐标值和右成像点坐标的横坐标值，
Figure 843649DEST_PATH_IMAGE007
为左成像点坐标的纵坐标，
Figure 128000DEST_PATH_IMAGE008
为左右双目摄像头之间的距离，
Figure 917358DEST_PATH_IMAGE009
为摄像头焦距；
根据所述左成像点坐标、所述右成像点坐标和所述坐标变换公式计算接线机器人的目标动作点坐标。
CN202210496088.5A 2022-05-09 2022-05-09 基于图像增强的断路器试验机器人接线定位方法及装置 Active CN114581741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210496088.5A CN114581741B (zh) 2022-05-09 2022-05-09 基于图像增强的断路器试验机器人接线定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210496088.5A CN114581741B (zh) 2022-05-09 2022-05-09 基于图像增强的断路器试验机器人接线定位方法及装置

Publications (2)

Publication Number Publication Date
CN114581741A true CN114581741A (zh) 2022-06-03
CN114581741B CN114581741B (zh) 2022-07-15

Family

ID=81769398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210496088.5A Active CN114581741B (zh) 2022-05-09 2022-05-09 基于图像增强的断路器试验机器人接线定位方法及装置

Country Status (1)

Country Link
CN (1) CN114581741B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106695883A (zh) * 2016-12-09 2017-05-24 南京理工大学 一种带电作业机器人真空断路器检测方法
CN108053449A (zh) * 2017-12-25 2018-05-18 北京工业大学 双目视觉系统的三维重建方法、装置及双目视觉系统
CN108537117A (zh) * 2018-03-06 2018-09-14 哈尔滨思派科技有限公司 一种基于深度学习的乘客检测方法和系统
US20200341469A1 (en) * 2017-04-07 2020-10-29 Nvidia Corporation Performing autonomous path navigation using deep neural networks
CN112379231A (zh) * 2020-11-12 2021-02-19 国网浙江省电力有限公司信息通信分公司 一种基于多光谱图像的设备检测方法及装置
CN113393442A (zh) * 2021-06-17 2021-09-14 东云睿连(武汉)计算技术有限公司 列车零部件异常检测方法、系统、电子设备及存储介质
CN113723189A (zh) * 2021-07-28 2021-11-30 广西大学 一种基于单阶红外图像目标检测的电力设备故障智能诊断方法
CN114004891A (zh) * 2021-11-04 2022-02-01 广东电网有限责任公司 一种基于目标追踪的配网线路巡检方法及相关装置
EP3971857A1 (en) * 2020-09-18 2022-03-23 Guident Ltd System & method for remote monitoring of a vehicle, robot or drone
CN114445706A (zh) * 2022-01-25 2022-05-06 南京工程学院 一种基于特征融合的输电线路目标检测与识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106695883A (zh) * 2016-12-09 2017-05-24 南京理工大学 一种带电作业机器人真空断路器检测方法
US20200341469A1 (en) * 2017-04-07 2020-10-29 Nvidia Corporation Performing autonomous path navigation using deep neural networks
CN108053449A (zh) * 2017-12-25 2018-05-18 北京工业大学 双目视觉系统的三维重建方法、装置及双目视觉系统
CN108537117A (zh) * 2018-03-06 2018-09-14 哈尔滨思派科技有限公司 一种基于深度学习的乘客检测方法和系统
EP3971857A1 (en) * 2020-09-18 2022-03-23 Guident Ltd System & method for remote monitoring of a vehicle, robot or drone
CN112379231A (zh) * 2020-11-12 2021-02-19 国网浙江省电力有限公司信息通信分公司 一种基于多光谱图像的设备检测方法及装置
CN113393442A (zh) * 2021-06-17 2021-09-14 东云睿连(武汉)计算技术有限公司 列车零部件异常检测方法、系统、电子设备及存储介质
CN113723189A (zh) * 2021-07-28 2021-11-30 广西大学 一种基于单阶红外图像目标检测的电力设备故障智能诊断方法
CN114004891A (zh) * 2021-11-04 2022-02-01 广东电网有限责任公司 一种基于目标追踪的配网线路巡检方法及相关装置
CN114445706A (zh) * 2022-01-25 2022-05-06 南京工程学院 一种基于特征融合的输电线路目标检测与识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAO WU等: "Item Ownership Relationship Semantic Learning Strategy for Personalized Service Robot", 《INTERNATIONAL JOURNAL OF AUTOMATION AND COMPUTING》 *
高春艳等: "一种基于YOLOv3的汽车底部危险目标检测算法", 《天津大学学报(自然科学与工程技术版)》 *

Also Published As

Publication number Publication date
CN114581741B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN111507958B (zh) 目标检测方法、检测模型的训练方法及电子设备
CN109658412B (zh) 一种面向拆垛分拣的包装箱快速识别分割方法
CN110826476A (zh) 识别目标物体的图像检测方法、装置、电子设备和存储介质
CN109658433B (zh) 图像背景建模和前景提取方法、装置和电子设备
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
EP4350619A1 (en) Battery cell squeeze damage detection method, apparatus and system
CN112528974B (zh) 测距方法、装置、电子设备及可读存储介质
CN113516146A (zh) 一种数据分类方法、计算机及可读存储介质
CN113888462A (zh) 一种裂纹识别方法、系统、可读介质及存储介质
CN115578585A (zh) 工业图像异常检测方法、系统、计算机设备和存储介质
CN114663382A (zh) 基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法
CN114581741B (zh) 基于图像增强的断路器试验机器人接线定位方法及装置
CN112419243A (zh) 一种基于红外图像分析的配电房设备故障识别方法
CN111093140A (zh) 检测麦克和听筒防尘网缺陷的方法、装置、设备及存储介质
CN111898622A (zh) 信息处理、信息显示与模型训练方法、系统及设备
CN116580330A (zh) 一种基于双流网络的机考异常行为检测方法
JP4796535B2 (ja) 画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラム
WO2022027816A1 (zh) 一种用于图像获取装置的检测方法及相关装置
CN113205505A (zh) 基于改进ResNeSt-RPN的绝缘子缺陷检测方法
CN112001247A (zh) 多目标检测方法、设备及存储装置
CN115063580A (zh) 一种基于断路器试验的目标检测方法及相关装置
CN114581740B (zh) 一种断路器试验图像增强方法、装置、设备及存储介质
CN117351022B (zh) 一种基于复杂环境下的输电线路绝缘子缺陷检测方法
CN116501176B (zh) 基于人工智能的用户动作识别方法及系统
CN118196294A (zh) 一种解决高电磁环境下成像质量下降的方法、介质及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240407

Address after: No.757 Dongfeng East Road, Yuexiu District, Guangzhou City, Guangdong Province 510000

Patentee after: GUANGDONG POWER GRID Co.,Ltd.

Country or region after: China

Patentee after: FOSHAN POWER SUPPLY BUREAU OF GUANGDONG POWER GRID Co.,Ltd.

Address before: 528000 No. 1 South Fenjiang Road, Chancheng District, Guangdong, Foshan

Patentee before: FOSHAN POWER SUPPLY BUREAU OF GUANGDONG POWER GRID Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right