CN111898575A - 一种基于Faster R-CNN检测器的栓母对自动组合方法 - Google Patents
一种基于Faster R-CNN检测器的栓母对自动组合方法 Download PDFInfo
- Publication number
- CN111898575A CN111898575A CN202010783039.0A CN202010783039A CN111898575A CN 111898575 A CN111898575 A CN 111898575A CN 202010783039 A CN202010783039 A CN 202010783039A CN 111898575 A CN111898575 A CN 111898575A
- Authority
- CN
- China
- Prior art keywords
- bolt
- coordinates
- nut
- pair
- vertexes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 208000005189 Embolism Diseases 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16B—DEVICES FOR FASTENING OR SECURING CONSTRUCTIONAL ELEMENTS OR MACHINE PARTS TOGETHER, e.g. NAILS, BOLTS, CIRCLIPS, CLAMPS, CLIPS OR WEDGES; JOINTS OR JOINTING
- F16B37/00—Nuts or like thread-engaging members
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Mechanical Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于Faster R‑CNN检测器的栓母对自动组合方法，包括以下步骤：使用Faster R‑CNN检测器输出并保存螺栓、螺母类别和目标框坐标；基于目标框坐标，分别获得螺栓、螺母四个顶点坐标；根据自动组合规则，组合为栓母对，并计算栓母对区域四个顶点坐标；计算栓母对区域目标框，并对栓母对区域进行数据化处理。本发明提供的基于Faster R‑CNN检测器的栓母对自动组合方法，充分考虑螺栓和螺母关系，提出使用Faster R‑CNN检测并输出螺栓和螺母目标框坐标，结合螺栓和螺母的坐标有规则自动组合栓母对，高效完成栓母对的自动组合，弥补手动裁剪和非自动组合栓母对的不足。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于Faster R-CNN检测器的栓母对自动组合方法。
背景技术
随着电网规模的不断增长，直升机、无人机巡线得到了广泛应用，产生的航拍图像数量剧增，其中，螺栓和螺母不仅数量众多和体积较小，而且广泛存于输电线路各个部件。由于输电线路螺栓缺陷引发的事故频频发生，而目前针对输电线路螺栓的研究仅限于螺栓自身的表面特征而忽略了螺栓与螺母整体的关联，且因为螺栓与螺母组成栓母对的数据紧缺，从而无法进行螺栓与螺母整体的关联的研究。因此，将螺栓螺母自动组合成栓母对并产生可供研究的栓母对数据集至关重要。
现有的栓母对自动组合的研究主要有以下两个难题：
(1)航拍图像中螺栓和螺母数量较多，不易精准的自动组合栓母对；
(2)航拍图像数量较多，不易大批量自动组合栓母对。
目前，栓母对自动组合的方法都是手动裁剪和非自动组合，这些方法效率低下且无法自动完成。
发明内容
本发明的目的是提供一种基于Faster R-CNN检测器的栓母对自动组合方法，充分考虑螺栓和螺母关系，提出使用Faster R-CNN检测并输出螺栓和螺母目标框坐标，结合螺栓和螺母的坐标有规则自动组合栓母对，高效完成栓母对的自动组合，弥补手动裁剪和非自动组合栓母对的不足。
为实现上述目的，本发明提供了如下方案：
一种基于Faster R-CNN检测器的栓母对自动组合方法，包括以下步骤：
S1，使用Faster R-CNN检测器输出并保存螺栓、螺母类别和目标框坐标；
S2，基于目标框坐标，分别获得螺栓、螺母四个顶点坐标；
S3，基于螺栓、螺母类别以及螺栓、螺母四个顶点坐标，根据自动组合规则，组合为栓母对，并计算栓母对区域四个顶点坐标；
S4，基于所述栓母对区域四个顶点坐标，计算栓母对区域目标框，并对栓母对区域进行数据化处理。
可选的，所述步骤S1中，使用FasterR-CNN检测器输出并保存螺栓、螺母类别和目标框坐标，具体包括：
使用Faster R-CNN检测器检测含有螺栓和螺母的电力图像数据集；
基于Faster R-CNN检测器的结果，确定螺栓、螺母类别与目标框坐标(X,Y,W,H)，输出并保存为TXT文件，所述TXT文件的格式为：图片名、类别、目标框坐标(X,Y,W,H)，所述目标框采用四维向量表示，(X,Y,W,H)分别表示目标框的中心点坐标、宽、高。
可选的，所述步骤S2中，基于目标框坐标，分别获得螺栓、螺母四个顶点坐标，具体包括：
读取TXT文件的图片名、类别、目标框坐标(X,Y,W,H)；
基于目标框坐标(X,Y,W,H)，利用目标框坐标和螺栓、螺母四个顶点坐标的关系公式，分别计算螺栓的四个顶点坐标(X1i,Y1i)，(X2i,Y2i)，(X3i,Y3i)，(X4i,Y4i)以及螺母的四个顶点坐标(X1j,Y1j)，(X2j,Y2j)，(X3j,Y3j)，(X4j,Y4j)，其中所述关系公式表示如下：
其中，i＝1,2,3,...,n；j＝1,2,3,...,m；n表示电力图像中所有螺栓的数量，m表示电力图像中所有螺母的数量；所述坐标(X1i,Y1i)，(X2i,Y2i)，(X3i,Y3i)，(X4i,Y4i)分别为螺栓i的左上角顶点坐标、右上角顶点坐标、左下角顶点坐标设为、右下角顶点坐标；所述坐标(X1j,Y1j)，(X2j,Y2j)，(X3j,Y3j)，(X4j,Y4j)分别为螺母j的左上角顶点坐标、右上角顶点坐标、左下角顶点坐标、右下角顶点坐标。
可选的，所述步骤S3中，基于螺栓、螺母类别以及螺栓、螺母四个顶点坐标，根据自动组合规则，组合为栓母对，并计算栓母对区域四个顶点坐标，具体包括：
所述自动组合规则包括七个自动组合规则，
第一个自动组合规则，
当螺栓、螺母四个顶点坐标符合公式(2)，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2i,Y2i)，(X3i,Y3i)，(X4i,Y4i))；
第二个自动组合规则，
当螺栓、螺母四个顶点坐标符合Y1j-Y3j>＝5*(Y3i-Y3j)和符合公式(3)时，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2j,Y2j)，(X3i,Y3j)，(X4i,Y4j))；
第三个自动组合规则，
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X2j-X2i)和符合公式(4)时，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2j,Y2i)，(X3i,Y3i)，(X4j,Y4i))；
第四个自动组合规则，
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X1i-X1j)和符合公式(5)时，则取栓母对区域四个顶点坐标为((X1j,Y1i)，(X2i,Y2i)，(X3j,Y3i)，(X4i,Y4i))；
第五个自动组合规则，
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X2j-X2i)和Y1j-Y3j>＝5*(Y3i-Y3j)和符合公式(6)时，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2j,Y2i)，(X3i,Y3j)，(X4j,Y4j))；
第六个自动组合规则，
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X1i-X1j)和Y1j-Y3j>＝5*(Y3i-Y3j)和符合公式(7)时，则取栓母对区域为((X1j,Y1i)，(X2i,Y2i)，(X3j,Y3j)，(X4i,Y4j))；
第七个自动组合规则，
当螺栓、螺母四个顶点坐标符合Y1j-Y3j>＝5*(Y3i-Y3j)和X2j-X1j>＝5*(X1i-X1j)+5*(X2j-X2i)和符合公式(8)时，则取栓母对区域四个顶点坐标为((X1j,Y1i)，(X2j,Y2i)，(X3j,Y3j)，(X4j,Y4j))；
通过上述七个规则将同一电力图像中内的螺栓i和螺母j自动组合为栓母对，并计算栓母对区域四个顶点坐标，其中，不符合自动组合规则，未组成栓母对的螺栓和螺母将自动丢弃。
可选的，所述步骤S4中，基于所述栓母对区域四个顶点坐标，计算栓母对区域目标框，并对栓母对区域进行数据化处理，具体包括：
将栓母对区域的左上角顶点坐标设为(X1,Y1)，右上角顶点坐标设为(X2,Y2)，左下角顶点坐标设为(X3,Y3)，右下角顶点坐标设为(X4,Y4)。将栓母对区域的目标框设为(X’,Y’,W’,H’)，
通过公式(9)，求得栓母对区域的目标框为(X’,Y’,W’,H’)；
将栓母对区域的名称和目标框(X’,Y’,W’,H’)保存为TXT文件，然后使用TXT转json的程序转变为json文件或使用TXT转xml的程序xml文件。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于Faster R-CNN检测器的栓母对自动组合方法，通过采用Faster R-CNN检测器检测螺栓和螺母输出目标框可以省去手动裁剪螺栓和螺母的工作，省时省力的完成大量繁琐的裁剪工作；并且通过利用螺栓和螺母的坐标自动组合规则，有规则的自动组合栓母对，可以精准且高效的完成栓母对组合，并且可以大批量的自动组合栓母对和快速生成栓母对数据集，解决现有方法中不易精准和大批量自动组合等问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例基于Faster R-CNN检测器的栓母对自动组合方法的流程图；
图2是自动组合栓母对规则的七种螺栓和螺母目标框位置示意图；
图3是自动组合栓母对前后螺栓螺母和栓母对数量对比图；
图4是自动组合栓母对的螺栓螺母和栓母对平均利用率图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于Faster R-CNN检测器的栓母对自动组合方法，充分考虑螺栓和螺母关系，提出使用Faster R-CNN检测并输出螺栓和螺母目标框坐标，结合螺栓和螺母的坐标有规则自动组合栓母对，高效完成栓母对的自动组合，弥补手动裁剪和非自动组合栓母对的不足。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供的基于Faster R-CNN检测器的栓母对自动组合方法，以下步骤：
S1，使用Faster R-CNN检测器输出并保存螺栓、螺母类别和目标框坐标；
S2，基于目标框坐标，分别获得螺栓、螺母四个顶点坐标；
S3，基于螺栓、螺母类别以及螺栓、螺母四个顶点坐标，根据自动组合规则，组合为栓母对，并计算栓母对区域四个顶点坐标；
S4，基于所述栓母对区域四个顶点坐标，计算栓母对区域目标框，并对栓母对区域进行数据化处理。
其中，所述步骤S1中，使用Faster R-CNN检测器输出并保存螺栓、螺母类别和目标框坐标，具体包括：
使用Faster R-CNN检测器检测含有螺栓和螺母的电力图像数据集；
基于Faster R-CNN检测器的结果，确定螺栓、螺母类别与目标框坐标(X,Y,W,H)，输出并保存为TXT文件，所述TXT文件的格式为：图片名、类别、目标框坐标(X,Y,W,H)，所述目标框采用四维向量表示，(X,Y,W,H)分别表示目标框的中心点坐标、宽、高。
所述步骤S2中，基于目标框坐标，分别获得螺栓、螺母四个顶点坐标，具体包括：
读取TXT文件的图片名、类别、目标框坐标(X,Y,W,H)；
基于目标框坐标(X,Y,W,H)，利用目标框坐标和螺栓、螺母四个顶点坐标的关系公式，分别计算螺栓的四个顶点坐标(X1i,Y1i)，(X2i,Y2i)，(X3i,Y3i)，(X4i,Y4i)以及螺母的四个顶点坐标(X1j,Y1j)，(X2j,Y2j)，(X3j,Y3j)，(X4j,Y4j)，其中所述关系公式表示如下：
其中，i＝1,2,3,...,n；j＝1,2,3,...,m；n表示电力图像中所有螺栓的数量，m表示电力图像中所有螺母的数量；所述坐标(X1i,Y1i)，(X2i,Y2i)，(X3i,Y3i)，(X4i,Y4i)分别为螺栓i的左上角顶点坐标、右上角顶点坐标、左下角顶点坐标设为、右下角顶点坐标；所述坐标(X1j,Y1j)，(X2j,Y2j)，(X3j,Y3j)，(X4j,Y4j)分别为螺母j的左上角顶点坐标、右上角顶点坐标、左下角顶点坐标、右下角顶点坐标。
所述步骤S3中，基于螺栓、螺母类别以及螺栓、螺母四个顶点坐标，根据自动组合规则，组合为栓母对，并计算栓母对区域四个顶点坐标，具体包括：
所述自动组合规则包括七个自动组合规则，
第一个自动组合规则，
当螺栓、螺母四个顶点坐标符合公式(2)，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2i,Y2i)，(X3i,Y3i)，(X4i,Y4i))；
第二个自动组合规则，
当螺栓、螺母四个顶点坐标符合Y1j-Y3j>＝5*(Y3i-Y3j)和符合公式(3)时，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2j,Y2j)，(X3i,Y3j)，(X4i,Y4j))；
第三个自动组合规则，
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X2j-X2i)和符合公式(4)时，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2j,Y2i)，(X3i,Y3i)，(X4j,Y4i))；
第四个自动组合规则，
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X1i-X1j)和符合公式(5)时，则取栓母对区域四个顶点坐标为((X1j,Y1i)，(X2i,Y2i)，(X3j,Y3i)，(X4i,Y4i))；
第五个自动组合规则，
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X2j-X2i)和Y1j-Y3j>＝5*(Y3i-Y3j)和符合公式(6)时，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2j,Y2i)，(X3i,Y3j)，(X4j,Y4j))；
第六个自动组合规则，
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X1i-X1j)和Y1j-Y3j>＝5*(Y3i-Y3j)和符合公式(7)时，则取栓母对区域为((X1j,Y1i)，(X2i,Y2i)，(X3j,Y3j)，(X4i,Y4j))；
第七个自动组合规则，
当螺栓、螺母四个顶点坐标符合Y1j-Y3j>＝5*(Y3i-Y3j)和X2j-X1j>＝5*(X1i-X1j)+5*(X2j-X2i)和符合公式(8)时，则取栓母对区域四个顶点坐标为((X1j,Y1i)，(X2j,Y2i)，(X3j,Y3j)，(X4j,Y4j))；
通过上述七个规则将同一电力图像中内的螺栓i和螺母j自动组合为栓母对，并计算栓母对区域四个顶点坐标，其中，不符合自动组合规则，未组成栓母对的螺栓和螺母将自动丢弃。如图2所示，自动组合栓母对规则的七种螺栓和螺母目标框位置示意图，其中大的目标框为螺栓目标框，小的目标框为螺栓目标框。
所述步骤S4中，基于所述栓母对区域四个顶点坐标，计算栓母对区域目标框，并对栓母对区域进行数据化处理，具体包括：
将栓母对区域的左上角顶点坐标设为(X1,Y1)，右上角顶点坐标设为(X2,Y2)，左下角顶点坐标设为(X3,Y3)，右下角顶点坐标设为(X4,Y4)。将栓母对区域的目标框设为(X’,Y’,W’,H’)，
通过公式(9)，求得栓母对区域的目标框为(X’,Y’,W’,H’)；
将栓母对区域的名称和目标框(X’,Y’,W’,H’)保存为TXT文件，然后使用TXT转json的程序转变为json文件或使用TXT转xml的程序xml文件。
其中json文件和xml文件的文件名为图片名，格式为：
……
{"categories":[bolt,Nut,Bolt and nut pair],"bboxes":[[X’,Y’,W’,H’]bolt,[X’,Y’,W’,H’]Nut,[X’,Y’,W’,H’]pair]}
……
通过以上步骤可将同一电力图像内多个螺栓和螺母精准的自动组合为多个栓母对也可同时快速高效的大批量自动组合多张图片并生成多对栓母对并生成栓母对数据集。
本发明采用Faster R-CNN检测器检测电力图像数据集输出并保存目标框坐标(X,Y,W,H)，然后利用目标框坐标和螺栓螺母四个顶点坐标的关系计算并保存螺栓螺母的类别与坐标，然后将螺栓螺母的类别与坐标有规则的自动组合为栓母对和计算栓母对区域四个顶点坐标，再通过栓母对区域四个顶点坐标与栓母对目标框坐标(X,Y,W,H)的关系计算栓母对区域目标框坐标(X’,Y’,W’,H’)，最后数据化栓母对区域。
在一具体实施例中，本发明通过Faster R-CNN检测器检测电力图像数据集，并使用本发明所提及的方法构建新的栓母对数据集，具体栓母对数据集数据如下：
通过Faster R-CNN检测器输出的螺栓的目标框的坐标共有1080个，螺母的目标框的坐标有1024个。而自动组合的栓母对数据集后剩余螺栓目标框的坐标1008个，剩余螺母目标框的坐标1008个，自动组合生成的栓母对有1008对和栓母对目标框的坐标1008个。如图3所示，图的左侧为Faster R-CNN检测器检测后的螺栓、螺母和栓母对数量分别为1080、1024和0，图的右侧为自动组合后的螺栓、螺母和栓母对数量都为1080。
其中，本发明为验证栓母对的高效性，设置平均利用率指标，如图4所示，其中：
螺栓平均利用率＝自动组合栓母对后的螺栓数量/自动组合栓母对前的螺栓数量＝93.33％；
螺母平均利用率＝自动组合栓母对后的螺母数量/自动组合栓母对前的螺母数量＝98.44％；
栓母对平均利用率＝栓母对数量*2/(自动组合栓母对前的螺栓数量+自动组合栓母对前的螺母数量)＝95.82％。
本发明提供的基于Faster R-CNN检测器的栓母对自动组合方法，通过采用FasterR-CNN检测器检测螺栓和螺母输出目标框可以省去手动裁剪螺栓和螺母的工作，省时省力的完成大量繁琐的裁剪工作；并且通过利用螺栓和螺母的坐标自动组合规则，有规则的自动组合栓母对，可以精准且高效的完成栓母对组合，并且可以大批量的自动组合栓母对和快速生成栓母对数据集，解决现有方法中不易精准和大批量自动组合等问题。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (5)
1.一种基于Faster R-CNN检测器的栓母对自动组合方法，其特征在于，包括以下步骤：
S1，使用Faster R-CNN检测器输出并保存螺栓、螺母类别和目标框坐标；
S2，基于目标框坐标，分别获得螺栓、螺母四个顶点坐标；
S3，基于螺栓、螺母类别以及螺栓、螺母四个顶点坐标，根据自动组合规则，组合为栓母对，并计算栓母对区域四个顶点坐标；
S4，基于所述栓母对区域四个顶点坐标，计算栓母对区域目标框，并对栓母对区域进行数据化处理。
2.根据权利要求1所述的基于Faster R-CNN检测器的栓母对自动组合方法，其特征在于，所述步骤S1中，使用Faster R-CNN检测器输出并保存螺栓、螺母类别和目标框坐标，具体包括：
使用Faster R-CNN检测器检测含有螺栓和螺母的电力图像数据集；
基于Faster R-CNN检测器的结果，确定螺栓、螺母类别与目标框坐标(X,Y,W,H)，输出并保存为TXT文件，所述TXT文件的格式为：图片名、类别、目标框坐标(X,Y,W,H)，所述目标框采用四维向量表示，(X,Y,W,H)分别表示目标框的中心点坐标、宽、高。
3.根据权利要求2所述的基于Faster R-CNN检测器的栓母对自动组合方法，其特征在于，所述步骤S2中，基于目标框坐标，分别获得螺栓、螺母四个顶点坐标，具体包括：
读取TXT文件的图片名、类别、目标框坐标(X,Y,W,H)；
基于目标框坐标(X,Y,W,H)，利用目标框坐标和螺栓、螺母四个顶点坐标的关系公式，分别计算螺栓的四个顶点坐标(X1i,Y1i)，(X2i,Y2i)，(X3i,Y3i)，(X4i,Y4i)以及螺母的四个顶点坐标(X1j,Y1j)，(X2j,Y2j)，(X3j,Y3j)，(X4j,Y4j)，其中所述关系公式表示如下：
其中，i＝1,2,3,...,n；j＝1,2,3,...,m；n表示电力图像中所有螺栓的数量，m表示电力图像中所有螺母的数量；所述坐标(X1i,Y1i)，(X2i,Y2i)，(X3i,Y3i)，(X4i,Y4i)分别为螺栓i的左上角顶点坐标、右上角顶点坐标、左下角顶点坐标设为、右下角顶点坐标；所述坐标(X1j,Y1j)，(X2j,Y2j)，(X3j,Y3j)，(X4j,Y4j)分别为螺母j的左上角顶点坐标、右上角顶点坐标、左下角顶点坐标、右下角顶点坐标。
4.根据权利要求3所述的基于Faster R-CNN检测器的栓母对自动组合方法，其特征在于，所述步骤S3中，基于螺栓、螺母类别以及螺栓、螺母四个顶点坐标，根据自动组合规则，组合为栓母对，并计算栓母对区域四个顶点坐标，具体包括：
所述自动组合规则包括七个自动组合规则，
第一个自动组合规则，
当螺栓、螺母四个顶点坐标符合公式(2)，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2i,Y2i)，(X3i,Y3i)，(X4i,Y4i))；
第二个自动组合规则，
当螺栓、螺母四个顶点坐标符合Y1j-Y3j>＝5*(Y3i-Y3j)和符合公式(3)时，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2j,Y2j)，(X3i,Y3j)，(X4i,Y4j))；
第三个自动组合规则，
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X2j-X2i)和符合公式(4)时，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2j,Y2i)，(X3i,Y3i)，(X4j,Y4i))；
第四个自动组合规则，
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X1i-X1j)和符合公式(5)时，则取栓母对区域四个顶点坐标为((X1j,Y1i)，(X2i,Y2i)，(X3j,Y3i)，(X4i,Y4i))；
第五个自动组合规则，
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X2j-X2i)和Y1j-Y3j>＝5*(Y3i-Y3j)和符合公式(6)时，则取栓母对区域四个顶点坐标为((X1i,Y1i)，(X2j,Y2i)，(X3i,Y3j)，(X4j,Y4j))；
第六个自动组合规则，
当螺栓、螺母四个顶点坐标符合X2j-X1j>＝5*(X1i-X1j)和Y1j-Y3j>＝5*(Y3i-Y3j)和符合公式(7)时，则取栓母对区域为((X1j,Y1i)，(X2i,Y2i)，(X3j,Y3j)，(X4i,Y4j))；
第七个自动组合规则，
当螺栓、螺母四个顶点坐标符合Y1j-Y3j>＝5*(Y3i-Y3j)和X2j-X1j>＝5*(X1i-X1j)+5*(X2j-X2i)和符合公式(8)时，则取栓母对区域四个顶点坐标为((X1j,Y1i)，(X2j,Y2i)，(X3j,Y3j)，(X4j,Y4j))；
通过上述七个规则将同一电力图像中内的螺栓i和螺母j自动组合为栓母对，并计算栓母对区域四个顶点坐标，其中，不符合自动组合规则，未组成栓母对的螺栓和螺母将自动丢弃。
5.根据权利要求4所述的基于Faster R-CNN检测器的栓母对自动组合方法，其特征在于，所述步骤S4中，基于所述栓母对区域四个顶点坐标，计算栓母对区域目标框，并对栓母对区域进行数据化处理，具体包括：
将栓母对区域的左上角顶点坐标设为(X1,Y1)，右上角顶点坐标设为(X2,Y2)，左下角顶点坐标设为(X3,Y3)，右下角顶点坐标设为(X4,Y4)。将栓母对区域的目标框设为(X’,Y’,W’,H’)，
通过公式(9)，求得栓母对区域的目标框为(X’,Y’,W’,H’)；
将栓母对区域的名称和目标框(X’,Y’,W’,H’)保存为TXT文件，然后使用TXT转json的程序转变为json文件或使用TXT转xml的程序xml文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010783039.0A CN111898575B (zh) | 2020-08-06 | 2020-08-06 | 一种基于Faster R-CNN检测器的栓母对自动组合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010783039.0A CN111898575B (zh) | 2020-08-06 | 2020-08-06 | 一种基于Faster R-CNN检测器的栓母对自动组合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111898575A true CN111898575A (zh) | 2020-11-06 |
| CN111898575B CN111898575B (zh) | 2022-09-02 |
Family
ID=73246588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010783039.0A Active CN111898575B (zh) | 2020-08-06 | 2020-08-06 | 一种基于Faster R-CNN检测器的栓母对自动组合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111898575B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5654618A (en) * | 1993-09-13 | 1997-08-05 | Dr. Johannes Heidenhain Gmbh | Process for the two-dimensional determination of a work-area contour for lathes |
| CN107290344A (zh) * | 2016-03-31 | 2017-10-24 | 成都交大光芒科技股份有限公司 | 一种斜撑端部的顶紧螺栓的缺陷检测方法 |
| CN109190721A (zh) * | 2018-09-13 | 2019-01-11 | 深圳增强现实技术有限公司 | 紧固件识别方法、系统及电子设备 |
| CN109344885A (zh) * | 2018-09-14 | 2019-02-15 | 深圳增强现实技术有限公司 | 深度学习识别系统、方法及电子设备 |
| CN109344753A (zh) * | 2018-09-21 | 2019-02-15 | 福州大学 | 一种基于深度学习的航拍图像输电线路细小金具识别方法 |
| CN110232687A (zh) * | 2019-06-21 | 2019-09-13 | 华北电力大学（保定） | 一种电力巡检图像中带销螺栓缺陷的检测方法 |
| CN110688944A (zh) * | 2019-09-26 | 2020-01-14 | 西南交通大学 | 一种基于图像识别和机器学习的螺栓松弛监测方法 |
| CN110910350A (zh) * | 2019-10-30 | 2020-03-24 | 同济大学 | 一种用于风电塔筒的螺母松动检测方法 |
| CN111080598A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨市科佳通用机电股份有限公司 | 一种钩尾销安全吊的螺栓、螺母缺失检测方法 |
-
2020
- 2020-08-06 CN CN202010783039.0A patent/CN111898575B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5654618A (en) * | 1993-09-13 | 1997-08-05 | Dr. Johannes Heidenhain Gmbh | Process for the two-dimensional determination of a work-area contour for lathes |
| CN107290344A (zh) * | 2016-03-31 | 2017-10-24 | 成都交大光芒科技股份有限公司 | 一种斜撑端部的顶紧螺栓的缺陷检测方法 |
| CN109190721A (zh) * | 2018-09-13 | 2019-01-11 | 深圳增强现实技术有限公司 | 紧固件识别方法、系统及电子设备 |
| CN109344885A (zh) * | 2018-09-14 | 2019-02-15 | 深圳增强现实技术有限公司 | 深度学习识别系统、方法及电子设备 |
| CN109344753A (zh) * | 2018-09-21 | 2019-02-15 | 福州大学 | 一种基于深度学习的航拍图像输电线路细小金具识别方法 |
| CN110232687A (zh) * | 2019-06-21 | 2019-09-13 | 华北电力大学（保定） | 一种电力巡检图像中带销螺栓缺陷的检测方法 |
| CN110688944A (zh) * | 2019-09-26 | 2020-01-14 | 西南交通大学 | 一种基于图像识别和机器学习的螺栓松弛监测方法 |
| CN110910350A (zh) * | 2019-10-30 | 2020-03-24 | 同济大学 | 一种用于风电塔筒的螺母松动检测方法 |
| CN111080598A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨市科佳通用机电股份有限公司 | 一种钩尾销安全吊的螺栓、螺母缺失检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王鹏飞，胡小锋: "基于蚁群算法的汽缸螺纹连接质量选配优化研究", 《组合机床与自动化加工技术》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111898575B (zh) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827398B (zh) | 基于深度神经网络的室内三维点云自动语义分割方法 | |
| CN111879241B (zh) | 基于机器视觉的手机电池尺寸测量方法 | |
| CN104134234B (zh) | 一种全自动的基于单幅图像的三维场景构建方法 | |
| WO2021204026A1 (zh) | 基于分布式系统的海量dem金字塔切片并行构建方法 | |
| CN108596062B (zh) | 基于深度学习的人脸图片实时高光去除方法及装置 | |
| CN111582072A (zh) | 结合ResNet50+FPN+DCN的变电站图片鸟巢检测方法 | |
| CN110660125B (zh) | 用于电力配网系统的三维建模装置 | |
| CN103985154A (zh) | 一种基于全局线性方法的三维模型重建方法 | |
| CN116436973A (zh) | 一种三维模型轻量化在线解析方法 | |
| CN103337073B (zh) | 一种基于三维熵的二维图像阈值分割方法 | |
| CN113093216A (zh) | 一种激光雷达和相机融合的不规则物体测量方法 | |
| CN111898575B (zh) | 一种基于Faster R-CNN检测器的栓母对自动组合方法 | |
| CN106952342A (zh) | 基于重心Voronoi剖分的点云均一化方法 | |
| CN116052094A (zh) | 一种船舶检测方法、系统及计算机存储介质 | |
| CN113971809A (zh) | 一种基于深度学习的文本识别方法、设备及存储介质 | |
| CN109816781A (zh) | 一种基于图像细节和结构增强的多视图立体几何方法 | |
| CN102535690A (zh) | 一种建筑幕墙材料自动统计及编号方法 | |
| CN116091709B (zh) | 建筑物的三维重建方法、装置、电子设备和存储介质 | |
| CN113569194A (zh) | 用于目标检测的旋转矩形框表示及回归方法 | |
| WO2024001308A1 (zh) | 基于模板的红外热像分析报告的批量生成方法及装置 | |
| WO2021042549A1 (zh) | 图像mask的过滤方法、装置、系统及存储介质 | |
| CN109118565B (zh) | 一种顾及杆塔电力线遮挡的电力走廊三维模型纹理映射方法 | |
| CN110942102A (zh) | 一种概率松弛核线匹配方法及系统 | |
| CN112991455B (zh) | 一种点云与图片融合标注的方法及系统 | |
| CN115661398A (zh) | 一种用于实景三维模型的建筑物提取方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhao Zhenbing Inventor after: Zhai Yongjie Inventor after: Nie Liqiang Inventor after: Zhao Yanqing Inventor after: Luo Wang Inventor after: Xiong Jianping Inventor after: Zhang Wanzheng Inventor after: Duan Jikun Inventor after: Kong Yinghui Inventor after: Zhao Wenqing Inventor before: Zhao Zhenbing Inventor before: Duan Jikun Inventor before: Kong Yinghui Inventor before: Zhao Wenqing Inventor before: Zhai Yongjie |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220215 Address after: 071003 Hebei province Baoding Yonghua No. 619 North Street Applicant after: NORTH CHINA ELECTRIC POWER University (BAODING) Applicant after: SHANDONG University Applicant after: Zhiyang Innovation Technology Co.,Ltd. Applicant after: NARI Group Corp. Applicant after: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd. Address before: 071000 619 Yonghua North Street, lotus pool, Baoding, Hebei Applicant before: NORTH CHINA ELECTRIC POWER University (BAODING) |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |