CN111898575B - 一种基于Faster R-CNN检测器的栓母对自动组合方法 - Google Patents

一种基于Faster R-CNN检测器的栓母对自动组合方法 Download PDF

Info

Publication number
CN111898575B
CN111898575B CN202010783039.0A CN202010783039A CN111898575B CN 111898575 B CN111898575 B CN 111898575B CN 202010783039 A CN202010783039 A CN 202010783039A CN 111898575 B CN111898575 B CN 111898575B
Authority
CN
China
Prior art keywords
bolt
coordinates
nut
pair
vertexes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010783039.0A
Other languages
English (en)
Other versions
CN111898575A (zh
Inventor
赵振兵
聂礼强
赵砚青
罗旺
熊剑平
张万征
段记坤
孔英会
赵文清
翟永杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
North China Electric Power University
NARI Group Corp
Zhejiang Dahua Technology Co Ltd
Zhiyang Innovation Technology Co Ltd
Original Assignee
Shandong University
North China Electric Power University
NARI Group Corp
Zhejiang Dahua Technology Co Ltd
Zhiyang Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University, North China Electric Power University, NARI Group Corp, Zhejiang Dahua Technology Co Ltd, Zhiyang Innovation Technology Co Ltd filed Critical Shandong University
Priority to CN202010783039.0A priority Critical patent/CN111898575B/zh
Publication of CN111898575A publication Critical patent/CN111898575A/zh
Application granted granted Critical
Publication of CN111898575B publication Critical patent/CN111898575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16B—DEVICES FOR FASTENING OR SECURING CONSTRUCTIONAL ELEMENTS OR MACHINE PARTS TOGETHER, e.g. NAILS, BOLTS, CIRCLIPS, CLAMPS, CLIPS OR WEDGES; JOINTS OR JOINTING
    • F16B37/00—Nuts or like thread-engaging members
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于Faster R‑CNN检测器的栓母对自动组合方法，包括以下步骤：使用Faster R‑CNN检测器输出并保存螺栓、螺母类别和目标框坐标；基于目标框坐标，分别获得螺栓、螺母四个顶点坐标；根据自动组合规则，组合为栓母对，并计算栓母对区域四个顶点坐标；计算栓母对区域目标框，并对栓母对区域进行数据化处理。本发明提供的基于Faster R‑CNN检测器的栓母对自动组合方法，充分考虑螺栓和螺母关系，提出使用Faster R‑CNN检测并输出螺栓和螺母目标框坐标，结合螺栓和螺母的坐标有规则自动组合栓母对，高效完成栓母对的自动组合，弥补手动裁剪和非自动组合栓母对的不足。

Description

一种基于Faster R-CNN检测器的栓母对自动组合方法
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于Faster R-CNN检测器的栓母对自动组合方法。
背景技术
随着电网规模的不断增长，直升机、无人机巡线得到了广泛应用，产生的航拍图像数量剧增，其中，螺栓和螺母不仅数量众多和体积较小，而且广泛存于输电线路各个部件。由于输电线路螺栓缺陷引发的事故频频发生，而目前针对输电线路螺栓的研究仅限于螺栓自身的表面特征而忽略了螺栓与螺母整体的关联，且因为螺栓与螺母组成栓母对的数据紧缺，从而无法进行螺栓与螺母整体的关联的研究。因此，将螺栓螺母自动组合成栓母对并产生可供研究的栓母对数据集至关重要。
现有的栓母对自动组合的研究主要有以下两个难题：
(1)航拍图像中螺栓和螺母数量较多，不易精准的自动组合栓母对；
(2)航拍图像数量较多，不易大批量自动组合栓母对。
目前，栓母对自动组合的方法都是手动裁剪和非自动组合，这些方法效率低下且无法自动完成。
发明内容
本发明的目的是提供一种基于Faster R-CNN检测器的栓母对自动组合方法，充分考虑螺栓和螺母关系，提出使用Faster R-CNN检测并输出螺栓和螺母目标框坐标，结合螺栓和螺母的坐标有规则自动组合栓母对，高效完成栓母对的自动组合，弥补手动裁剪和非自动组合栓母对的不足。
为实现上述目的，本发明提供了如下方案：
一种基于Faster R-CNN检测器的栓母对自动组合方法，包括以下步骤：
S1，使用Faster R-CNN检测器输出并保存螺栓、螺母类别和目标框坐标；
S2，基于目标框坐标，分别获得螺栓、螺母四个顶点坐标；
S3，基于螺栓、螺母类别以及螺栓、螺母四个顶点坐标，根据自动组合规则，组合为栓母对，并计算栓母对区域四个顶点坐标；
S4，基于所述栓母对区域四个顶点坐标，计算栓母对区域目标框，并对栓母对区域进行数据化处理。
可选的，所述步骤S1中，使用FasterR-CNN检测器输出并保存螺栓、螺母类别和目标框坐标，具体包括：
使用Faster R-CNN检测器检测含有螺栓和螺母的电力图像数据集；
基于Faster R-CNN检测器的结果，确定螺栓、螺母类别与目标框坐标(X,Y,W,H)，输出并保存为TXT文件，所述TXT文件的格式为：图片名、类别、目标框坐标(X,Y,W,H)，所述目标框采用四维向量表示，(X,Y,W,H)分别表示目标框的中心点坐标、宽、高。
可选的，所述步骤S2中，基于目标框坐标，分别获得螺栓、螺母四个顶点坐标，具体包括：
读取TXT文件的图片名、类别、目标框坐标(X,Y,W,H)；
基于目标框坐标(X,Y,W,H)，利用目标框坐标和螺栓、螺母四个顶点坐标的关系公式，分别计算螺栓的四个顶点坐标(X1i,Y1i)，(X2i,Y2i)，(X3i,Y3i)，(X4i,Y4i)以及螺母的四个顶点坐标(X1j,Y1j)，(X2j,Y2j)，(X3j,Y3j)，(X4j,Y4j)，其中所述关系公式表示如下：
Figure BDA0002620932820000021
其中，i＝1,2,3,...,n；j＝1,2,3,...,m；n表示电力图像中所有螺栓的数量，m表示电力图像中所有螺母的数量；所述坐标(X1i,Y1i)，(X2i,Y2i)，(X3i,Y3i)，(X4i,Y4i)分别为螺栓i的左上角顶点坐标、右上角顶点坐标、左下角顶点坐标设为、右下角顶点坐标；所述坐标(X1j,Y1j)，(X2j,Y2j)，(X3j,Y3j)，(X4j,Y4j)分别为螺母j的左上角顶点坐标、右上角顶点坐标、左下角顶点坐标、右下角顶点坐标。
可选的，所述步骤S3中，基于螺栓、螺母类别以及螺栓、螺母四个顶点坐标，根据自动组合规则，组合为栓母对，并计算栓母对区域四个顶点坐标，具体包括：
所述自动组合规则包括七个自动组合规则，
第一个自动组合规则，
Figure BDA0002620932820000031
当螺栓、螺母四个顶点坐标符合公式(2)，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2i,Y2i)，(X3i,Y3i)，(X4i,Y4i))；
第二个自动组合规则，
Figure BDA0002620932820000032
当螺栓、螺母四个顶点坐标符合Y1j-Y3j>＝5*(Y3i-Y3j)和符合公式(3)时，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2j,Y2j)，(X3i,Y3j)，(X4i,Y4j))；
第三个自动组合规则，
Figure BDA0002620932820000033
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X2j-X2i)和符合公式(4)时，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2j,Y2i)，(X3i,Y3i)，(X4j,Y4i))；
第四个自动组合规则，
Figure BDA0002620932820000041
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X1i-X1j)和符合公式(5)时，则取栓母对区域四个顶点坐标为((X1j,Y1i)，(X2i,Y2i)，(X3j,Y3i)，(X4i,Y4i))；
第五个自动组合规则，
Figure BDA0002620932820000042
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X2j-X2i)和Y1j-Y3j>＝5*(Y3i-Y3j)和符合公式(6)时，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2j,Y2i)，(X3i,Y3j)，(X4j,Y4j))；
第六个自动组合规则，
Figure BDA0002620932820000043
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X1i-X1j)和Y1j-Y3j>＝5*(Y3i-Y3j)和符合公式(7)时，则取栓母对区域为((X1j,Y1i)，(X2i,Y2i)，(X3j,Y3j)，(X4i,Y4j))；
第七个自动组合规则，
Figure BDA0002620932820000044
当螺栓、螺母四个顶点坐标符合Y1j-Y3j>＝5*(Y3i-Y3j)和X2j-X1j>＝5*(X1i-X1j)+5*(X2j-X2i)和符合公式(8)时，则取栓母对区域四个顶点坐标为((X1j,Y1i)，(X2j,Y2i)，(X3j,Y3j)，(X4j,Y4j))；
通过上述七个规则将同一电力图像中内的螺栓i和螺母j自动组合为栓母对，并计算栓母对区域四个顶点坐标，其中，不符合自动组合规则，未组成栓母对的螺栓和螺母将自动丢弃。
可选的，所述步骤S4中，基于所述栓母对区域四个顶点坐标，计算栓母对区域目标框，并对栓母对区域进行数据化处理，具体包括：
将栓母对区域的左上角顶点坐标设为(X1,Y1)，右上角顶点坐标设为(X2,Y2)，左下角顶点坐标设为(X3,Y3)，右下角顶点坐标设为(X4,Y4)。将栓母对区域的目标框设为(X’,Y’,W’,H’)，
Figure BDA0002620932820000051
通过公式(9)，求得栓母对区域的目标框为(X’,Y’,W’,H’)；
将栓母对区域的名称和目标框(X’,Y’,W’,H’)保存为TXT文件，然后使用TXT转json的程序转变为json文件或使用TXT转xml的程序xml文件。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于Faster R-CNN检测器的栓母对自动组合方法，通过采用Faster R-CNN检测器检测螺栓和螺母输出目标框可以省去手动裁剪螺栓和螺母的工作，省时省力的完成大量繁琐的裁剪工作；并且通过利用螺栓和螺母的坐标自动组合规则，有规则的自动组合栓母对，可以精准且高效的完成栓母对组合，并且可以大批量的自动组合栓母对和快速生成栓母对数据集，解决现有方法中不易精准和大批量自动组合等问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例基于Faster R-CNN检测器的栓母对自动组合方法的流程图；
图2是自动组合栓母对规则的七种螺栓和螺母目标框位置示意图；
图3是自动组合栓母对前后螺栓螺母和栓母对数量对比图；
图4是自动组合栓母对的螺栓螺母和栓母对平均利用率图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于Faster R-CNN检测器的栓母对自动组合方法，充分考虑螺栓和螺母关系，提出使用Faster R-CNN检测并输出螺栓和螺母目标框坐标，结合螺栓和螺母的坐标有规则自动组合栓母对，高效完成栓母对的自动组合，弥补手动裁剪和非自动组合栓母对的不足。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供的基于Faster R-CNN检测器的栓母对自动组合方法，以下步骤：
S1，使用Faster R-CNN检测器输出并保存螺栓、螺母类别和目标框坐标；
S2，基于目标框坐标，分别获得螺栓、螺母四个顶点坐标；
S3，基于螺栓、螺母类别以及螺栓、螺母四个顶点坐标，根据自动组合规则，组合为栓母对，并计算栓母对区域四个顶点坐标；
S4，基于所述栓母对区域四个顶点坐标，计算栓母对区域目标框，并对栓母对区域进行数据化处理。
其中，所述步骤S1中，使用Faster R-CNN检测器输出并保存螺栓、螺母类别和目标框坐标，具体包括：
使用Faster R-CNN检测器检测含有螺栓和螺母的电力图像数据集；
基于Faster R-CNN检测器的结果，确定螺栓、螺母类别与目标框坐标(X,Y,W,H)，输出并保存为TXT文件，所述TXT文件的格式为：图片名、类别、目标框坐标(X,Y,W,H)，所述目标框采用四维向量表示，(X,Y,W,H)分别表示目标框的中心点坐标、宽、高。
所述步骤S2中，基于目标框坐标，分别获得螺栓、螺母四个顶点坐标，具体包括：
读取TXT文件的图片名、类别、目标框坐标(X,Y,W,H)；
基于目标框坐标(X,Y,W,H)，利用目标框坐标和螺栓、螺母四个顶点坐标的关系公式，分别计算螺栓的四个顶点坐标(X1i,Y1i)，(X2i,Y2i)，(X3i,Y3i)，(X4i,Y4i)以及螺母的四个顶点坐标(X1j,Y1j)，(X2j,Y2j)，(X3j,Y3j)，(X4j,Y4j)，其中所述关系公式表示如下：
Figure BDA0002620932820000071
其中，i＝1,2,3,...,n；j＝1,2,3,...,m；n表示电力图像中所有螺栓的数量，m表示电力图像中所有螺母的数量；所述坐标(X1i,Y1i)，(X2i,Y2i)，(X3i,Y3i)，(X4i,Y4i)分别为螺栓i的左上角顶点坐标、右上角顶点坐标、左下角顶点坐标设为、右下角顶点坐标；所述坐标(X1j,Y1j)，(X2j,Y2j)，(X3j,Y3j)，(X4j,Y4j)分别为螺母j的左上角顶点坐标、右上角顶点坐标、左下角顶点坐标、右下角顶点坐标。
所述步骤S3中，基于螺栓、螺母类别以及螺栓、螺母四个顶点坐标，根据自动组合规则，组合为栓母对，并计算栓母对区域四个顶点坐标，具体包括：
所述自动组合规则包括七个自动组合规则，
第一个自动组合规则，
Figure BDA0002620932820000081
当螺栓、螺母四个顶点坐标符合公式(2)，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2i,Y2i)，(X3i,Y3i)，(X4i,Y4i))；
第二个自动组合规则，
Figure BDA0002620932820000082
当螺栓、螺母四个顶点坐标符合Y1j-Y3j>＝5*(Y3i-Y3j)和符合公式(3)时，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2j,Y2j)，(X3i,Y3j)，(X4i,Y4j))；
第三个自动组合规则，
Figure BDA0002620932820000083
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X2j-X2i)和符合公式(4)时，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2j,Y2i)，(X3i,Y3i)，(X4j,Y4i))；
第四个自动组合规则，
Figure BDA0002620932820000084
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X1i-X1j)和符合公式(5)时，则取栓母对区域四个顶点坐标为((X1j,Y1i)，(X2i,Y2i)，(X3j,Y3i)，(X4i,Y4i))；
第五个自动组合规则，
Figure BDA0002620932820000091
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X2j-X2i)和Y1j-Y3j>＝5*(Y3i-Y3j)和符合公式(6)时，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2j,Y2i)，(X3i,Y3j)，(X4j,Y4j))；
第六个自动组合规则，
Figure BDA0002620932820000092
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X1i-X1j)和Y1j-Y3j>＝5*(Y3i-Y3j)和符合公式(7)时，则取栓母对区域为((X1j,Y1i)，(X2i,Y2i)，(X3j,Y3j)，(X4i,Y4j))；
第七个自动组合规则，
Figure BDA0002620932820000093
当螺栓、螺母四个顶点坐标符合Y1j-Y3j>＝5*(Y3i-Y3j)和X2j-X1j>＝5*(X1i-X1j)+5*(X2j-X2i)和符合公式(8)时，则取栓母对区域四个顶点坐标为((X1j,Y1i)，(X2j,Y2i)，(X3j,Y3j)，(X4j,Y4j))；
通过上述七个规则将同一电力图像中内的螺栓i和螺母j自动组合为栓母对，并计算栓母对区域四个顶点坐标，其中，不符合自动组合规则，未组成栓母对的螺栓和螺母将自动丢弃。如图2所示，自动组合栓母对规则的七种螺栓和螺母目标框位置示意图，其中大的目标框为螺栓目标框，小的目标框为螺栓目标框。
所述步骤S4中，基于所述栓母对区域四个顶点坐标，计算栓母对区域目标框，并对栓母对区域进行数据化处理，具体包括：
将栓母对区域的左上角顶点坐标设为(X1,Y1)，右上角顶点坐标设为(X2,Y2)，左下角顶点坐标设为(X3,Y3)，右下角顶点坐标设为(X4,Y4)。将栓母对区域的目标框设为(X’,Y’,W’,H’)，
Figure BDA0002620932820000101
通过公式(9)，求得栓母对区域的目标框为(X’,Y’,W’,H’)；
将栓母对区域的名称和目标框(X’,Y’,W’,H’)保存为TXT文件，然后使用TXT转json的程序转变为json文件或使用TXT转xml的程序xml文件。
其中json文件和xml文件的文件名为图片名，格式为：
……
{"categories":[bolt,Nut,Bolt and nut pair],"bboxes":[[X’,Y’,W’,H’]bolt,[X’,Y’,W’,H’]Nut,[X’,Y’,W’,H’]pair]}
……
通过以上步骤可将同一电力图像内多个螺栓和螺母精准的自动组合为多个栓母对也可同时快速高效的大批量自动组合多张图片并生成多对栓母对并生成栓母对数据集。
本发明采用Faster R-CNN检测器检测电力图像数据集输出并保存目标框坐标(X,Y,W,H)，然后利用目标框坐标和螺栓螺母四个顶点坐标的关系计算并保存螺栓螺母的类别与坐标，然后将螺栓螺母的类别与坐标有规则的自动组合为栓母对和计算栓母对区域四个顶点坐标，再通过栓母对区域四个顶点坐标与栓母对目标框坐标(X,Y,W,H)的关系计算栓母对区域目标框坐标(X’,Y’,W’,H’)，最后数据化栓母对区域。
在一具体实施例中，本发明通过Faster R-CNN检测器检测电力图像数据集，并使用本发明所提及的方法构建新的栓母对数据集，具体栓母对数据集数据如下：
通过Faster R-CNN检测器输出的螺栓的目标框的坐标共有1080个，螺母的目标框的坐标有1024个。而自动组合的栓母对数据集后剩余螺栓目标框的坐标1008个，剩余螺母目标框的坐标1008个，自动组合生成的栓母对有1008对和栓母对目标框的坐标1008个。如图3所示，图的左侧为Faster R-CNN检测器检测后的螺栓、螺母和栓母对数量分别为1080、1024和0，图的右侧为自动组合后的螺栓、螺母和栓母对数量都为1080。
其中，本发明为验证栓母对的高效性，设置平均利用率指标，如图4所示，其中：
螺栓平均利用率＝自动组合栓母对后的螺栓数量/自动组合栓母对前的螺栓数量＝93.33％；
螺母平均利用率＝自动组合栓母对后的螺母数量/自动组合栓母对前的螺母数量＝98.44％；
栓母对平均利用率＝栓母对数量*2/(自动组合栓母对前的螺栓数量+自动组合栓母对前的螺母数量)＝95.82％。
本发明提供的基于Faster R-CNN检测器的栓母对自动组合方法，通过采用FasterR-CNN检测器检测螺栓和螺母输出目标框可以省去手动裁剪螺栓和螺母的工作，省时省力的完成大量繁琐的裁剪工作；并且通过利用螺栓和螺母的坐标自动组合规则，有规则的自动组合栓母对，可以精准且高效的完成栓母对组合，并且可以大批量的自动组合栓母对和快速生成栓母对数据集，解决现有方法中不易精准和大批量自动组合等问题。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (1)

1.一种基于FasterR-CNN检测器的栓母对自动组合方法，其特征在于，包括以下步骤：
S1，使用FasterR-CNN检测器输出并保存螺栓、螺母类别和目标框坐标；
S2，基于目标框坐标，分别获得螺栓、螺母四个顶点坐标；
S3，基于螺栓、螺母类别以及螺栓、螺母四个顶点坐标，根据自动组合规则，组合为栓母对，并计算栓母对区域四个顶点坐标；
S4，基于所述栓母对区域四个顶点坐标，计算栓母对区域目标框，并对栓母对区域进行数据化处理；
其中，步骤S1中，使用FasterR-CNN检测器输出并保存螺栓、螺母类别和目标框坐标，包括：
使用FasterR-CNN检测器检测含有螺栓和螺母的电力图像数据集；
基于FasterR-CNN检测器的结果，确定螺栓、螺母类别与目标框坐标(X,Y,W,H)，输出并保存为TXT文件，所述TXT文件的格式为：图片名、类别、目标框坐标(X,Y,W,H)，所述目标框采用四维向量表示，(X,Y,W,H)分别表示目标框的中心点坐标、宽、高；
其中，步骤S2中，基于目标框坐标，分别获得螺栓、螺母四个顶点坐标，包括：
读取TXT文件的图片名、类别、目标框坐标(X,Y,W,H)；
基于目标框坐标(X,Y,W,H)，利用目标框坐标和螺栓、螺母四个顶点坐标的关系公式，分别计算螺母的四个顶点坐标(X1i,Y1i),(X2i,Y2i),(X3i,Y3i),(X4i,Y4i)以及螺栓的四个顶点坐标(X1j,Y1j),(X2j,Y2j),(X3j,Y3j),(X4j,Y4j)，其中所述关系公式表示如下：
Figure FDA0003766972330000011
其中，i＝1,2,3,...,n；j＝1,2,3,...,m；n表示电力图像中所有螺栓的数量，m表示电力图像中所有螺母的数量；所述坐标(X1i,Y1i),(X2i,Y2i),(X3i,Y3i),(X4i,Y4i)分别为螺母i的左上角顶点坐标、右上角顶点坐标、左下角顶点坐标、右下角顶点坐标；所述坐标(X1j,Y1j),(X2j,Y2j),(X3j,Y3j),(X4j,Y4j)分别为螺栓j的左上角顶点坐标、右上角顶点坐标、左下角顶点坐标、右下角顶点坐标；
其中，步骤S3中，基于螺栓、螺母类别以及螺栓、螺母四个顶点坐标，根据自动组合规则，组合为栓母对，并计算栓母对区域四个顶点坐标，包括：
所述自动组合规则包括七个自动组合规则，
第一个自动组合规则，
Figure FDA0003766972330000021
当螺栓、螺母四个顶点坐标符合公式(2)，则取栓母对区域四个顶点坐标为((X1i,Y1i),(X2i,Y2i),(X3i,Y3i),(X4i,Y4i))；
第二个自动组合规则，
Figure FDA0003766972330000022
当螺栓、螺母四个顶点坐标符合Y1j-Y3j＞＝5*(Y3i-Y3j)和符合公式(3)时，则取栓母对区域四个顶点坐标为((X1i,Y1i),(X2i,Y2i),(X3i,Y3j),(X4i,Y4j))；
第三个自动组合规则，
Figure FDA0003766972330000023
当螺栓、螺母四个顶点坐标符合X2j-X1i＞＝5*(X2j-X2i)和符合公式(4)时，则取栓母对区域四个顶点坐标为((X1i,Y1i),(X2j,Y2i),(X3i,Y3i),(X4j,Y4i))；
第四个自动组合规则，
Figure FDA0003766972330000031
当螺栓、螺母四个顶点坐标符合X2i-X1j＞＝5*(X1i-X1j)和符合公式(5)时，则取栓母对区域四个顶点坐标为((X1j,Y1i),(X2i,Y2i),(X3j,Y3i),(X4i,Y4i))；
第五个自动组合规则，
Figure FDA0003766972330000032
当螺栓、螺母四个顶点坐标符合X2j-X1i＞＝5*(X2j-X2i)和Y1i-Y3j＞＝5*(Y3i-Y3j)和符合公式(6)时，则取栓母对区域四个顶点坐标为((X1i,Y1i),(X2j,Y2i),(X3i,Y3j),(X4j,Y4j))；
第六个自动组合规则，
Figure FDA0003766972330000033
当螺栓、螺母四个顶点坐标符合X2i-X1j＞＝5*(X1i-X1j)和Y1i-Y3j＞＝5*(Y3i-Y3j)和符合公式(7)时，则取栓母对区域为((X1j,Y1i),(X2i,Y2i),(X3j,Y3j),(X4i,Y4j))；
第七个自动组合规则，
Figure FDA0003766972330000034
当螺栓、螺母四个顶点坐标符合Y1j-Y3i＞＝5*(Y3j-Y3i)和X2i-X1i＞＝5*(X1j-X1j)+5*(X2i-X2j)和符合公式(8)时，则取栓母对区域四个顶点坐标为((X1i,Y1j),(X2i,Y2j),(X3i,Y3i),(X4i,Y4i))；
通过上述七个规则将同一电力图像中内的螺栓i和螺母j自动组合为栓母对，并计算栓母对区域四个顶点坐标，其中，不符合自动组合规则，未组成栓母对的螺栓和螺母将自动丢弃；
其中，步骤S4中，基于所述栓母对区域四个顶点坐标，计算栓母对区域目标框，并对栓母对区域进行数据化处理，包括：
将栓母对区域的左上角顶点坐标设为(X1,Y1)，右上角顶点坐标设为(X2,Y2)，左下角顶点坐标设为(X3,Y3)，右下角顶点坐标设为(X4,Y4)；将栓母对区域的目标框设为(X′,Y′,W′,H′，
Figure FDA0003766972330000041
通过公式(9)，求得栓母对区域的目标框为(X',Y',W',H')；将栓母对区域的名称和目标框(X',Y',W',H')保存为TXT文件，然后使用TXT转json的程序转变为json文件或使用TXT转xml的程序转变为xml文件。
CN202010783039.0A 2020-08-06 2020-08-06 一种基于Faster R-CNN检测器的栓母对自动组合方法 Active CN111898575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010783039.0A CN111898575B (zh) 2020-08-06 2020-08-06 一种基于Faster R-CNN检测器的栓母对自动组合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010783039.0A CN111898575B (zh) 2020-08-06 2020-08-06 一种基于Faster R-CNN检测器的栓母对自动组合方法

Publications (2)

Publication Number Publication Date
CN111898575A CN111898575A (zh) 2020-11-06
CN111898575B true CN111898575B (zh) 2022-09-02

Family

ID=73246588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010783039.0A Active CN111898575B (zh) 2020-08-06 2020-08-06 一种基于Faster R-CNN检测器的栓母对自动组合方法

Country Status (1)

Country Link
CN (1) CN111898575B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5654618A (en) * 1993-09-13 1997-08-05 Dr. Johannes Heidenhain Gmbh Process for the two-dimensional determination of a work-area contour for lathes
CN107290344A (zh) * 2016-03-31 2017-10-24 成都交大光芒科技股份有限公司 一种斜撑端部的顶紧螺栓的缺陷检测方法
CN109190721A (zh) * 2018-09-13 2019-01-11 深圳增强现实技术有限公司 紧固件识别方法、系统及电子设备
CN109344753A (zh) * 2018-09-21 2019-02-15 福州大学 一种基于深度学习的航拍图像输电线路细小金具识别方法
CN109344885A (zh) * 2018-09-14 2019-02-15 深圳增强现实技术有限公司 深度学习识别系统、方法及电子设备
CN110232687A (zh) * 2019-06-21 2019-09-13 华北电力大学（保定） 一种电力巡检图像中带销螺栓缺陷的检测方法
CN110688944A (zh) * 2019-09-26 2020-01-14 西南交通大学 一种基于图像识别和机器学习的螺栓松弛监测方法
CN110910350A (zh) * 2019-10-30 2020-03-24 同济大学 一种用于风电塔筒的螺母松动检测方法
CN111080598A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种钩尾销安全吊的螺栓、螺母缺失检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5654618A (en) * 1993-09-13 1997-08-05 Dr. Johannes Heidenhain Gmbh Process for the two-dimensional determination of a work-area contour for lathes
CN107290344A (zh) * 2016-03-31 2017-10-24 成都交大光芒科技股份有限公司 一种斜撑端部的顶紧螺栓的缺陷检测方法
CN109190721A (zh) * 2018-09-13 2019-01-11 深圳增强现实技术有限公司 紧固件识别方法、系统及电子设备
CN109344885A (zh) * 2018-09-14 2019-02-15 深圳增强现实技术有限公司 深度学习识别系统、方法及电子设备
CN109344753A (zh) * 2018-09-21 2019-02-15 福州大学 一种基于深度学习的航拍图像输电线路细小金具识别方法
CN110232687A (zh) * 2019-06-21 2019-09-13 华北电力大学（保定） 一种电力巡检图像中带销螺栓缺陷的检测方法
CN110688944A (zh) * 2019-09-26 2020-01-14 西南交通大学 一种基于图像识别和机器学习的螺栓松弛监测方法
CN110910350A (zh) * 2019-10-30 2020-03-24 同济大学 一种用于风电塔筒的螺母松动检测方法
CN111080598A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种钩尾销安全吊的螺栓、螺母缺失检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于蚁群算法的汽缸螺纹连接质量选配优化研究;王鹏飞，胡小锋;《组合机床与自动化加工技术》;20200731;论文1-4页 *

Also Published As

Publication number Publication date
CN111898575A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN110827398B (zh) 基于深度神经网络的室内三维点云自动语义分割方法
CN111145174B (zh) 基于图像语义特征进行点云筛选的3d目标检测方法
CN104134234B (zh) 一种全自动的基于单幅图像的三维场景构建方法
CN104156536B (zh) 一种盾构机刀具磨损的可视化定量标定及分析方法
WO2021204026A1 (zh) 基于分布式系统的海量dem金字塔切片并行构建方法
CN108596062B (zh) 基于深度学习的人脸图片实时高光去除方法及装置
CN113093216A (zh) 一种激光雷达和相机融合的不规则物体测量方法
CN110660125B (zh) 用于电力配网系统的三维建模装置
CN103308000B (zh) 基于双目视觉的曲线物体测量方法
CN116052094B (zh) 一种船舶检测方法、系统及计算机存储介质
CN103985154A (zh) 一种基于全局线性方法的三维模型重建方法
CN116436973A (zh) 一种三维模型轻量化在线解析方法
CN103337073B (zh) 一种基于三维熵的二维图像阈值分割方法
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN111898575B (zh) 一种基于Faster R-CNN检测器的栓母对自动组合方法
WO2024169159A1 (zh) 一种基于投影的模型表面样条线生成方法
CN115171096A (zh) 一种基于rgb图像与激光点云融合的3d目标检测方法
CN113971809A (zh) 一种基于深度学习的文本识别方法、设备及存储介质
CN117745969A (zh) 建筑物的单体化方法、装置、及相关设备
CN116503575A (zh) 一种图形化生成高质量建筑模型的方法及电子设备
CN102324043B (zh) 基于dct的特征描述算子及优化空间量化的图像匹配方法
CN109583341A (zh) 对包含人像的图像的多人骨骼关键点检测方法及装置
CN116091709B (zh) 建筑物的三维重建方法、装置、电子设备和存储介质
CN117156282A (zh) 一种基于无人机航摄相片投影的全景图像生成方法及系统
CN116597117A (zh) 一种基于物体对称性的六面体网格生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhao Zhenbing

Inventor after: Zhai Yongjie

Inventor after: Nie Liqiang

Inventor after: Zhao Yanqing

Inventor after: Luo Wang

Inventor after: Xiong Jianping

Inventor after: Zhang Wanzheng

Inventor after: Duan Jikun

Inventor after: Kong Yinghui

Inventor after: Zhao Wenqing

Inventor before: Zhao Zhenbing

Inventor before: Duan Jikun

Inventor before: Kong Yinghui

Inventor before: Zhao Wenqing

Inventor before: Zhai Yongjie

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220215

Address after: 071003 Hebei province Baoding Yonghua No. 619 North Street

Applicant after: NORTH CHINA ELECTRIC POWER University (BAODING)

Applicant after: SHANDONG University

Applicant after: Zhiyang Innovation Technology Co.,Ltd.

Applicant after: NARI Group Corp.

Applicant after: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd.

Address before: 071000 619 Yonghua North Street, lotus pool, Baoding, Hebei

Applicant before: NORTH CHINA ELECTRIC POWER University (BAODING)

GR01 Patent grant
GR01 Patent grant