CN116681660B - 一种目标对象缺陷检测方法、装置、电子设备及存储介质 - Google Patents

一种目标对象缺陷检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116681660B
CN116681660B CN202310581432.5A CN202310581432A CN116681660B CN 116681660 B CN116681660 B CN 116681660B CN 202310581432 A CN202310581432 A CN 202310581432A CN 116681660 B CN116681660 B CN 116681660B
Authority
CN
China
Prior art keywords
sub
objects
position information
image
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310581432.5A
Other languages
English (en)
Other versions
CN116681660A (zh
Inventor
刘畅
王宇庭
沈阳武
何立夫
张宸
任家朋
邝家月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Three Gorges Corp
Original Assignee
China Three Gorges Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges Corp filed Critical China Three Gorges Corp
Priority to CN202310581432.5A priority Critical patent/CN116681660B/zh
Publication of CN116681660A publication Critical patent/CN116681660A/zh
Application granted granted Critical
Publication of CN116681660B publication Critical patent/CN116681660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种螺栓缺陷检测方法、装置、电子设备及存储介质，其中，目标对象缺陷检测方法包括：分别获取目标对象对应的参考图像与待检测图像，以及参考图像中所有的子对象的位置信息，其中，目标对象包括多个子对象；对待检测图像中的每一子对象进行定位，得到所有的子对象的位置信息；基于参考图像中所有的子对象的位置信息与待检测图像中所有的子对象的位置信息，确定待检测图像中第一子对象是否存在第一预设类型的缺陷，第一子对象为目标对象中任一子对象。本发明可解决现有技术中利用学习好的分类器来判断螺栓是否松动，对仪器的精密度及算法要求很高，经济性与实用性较差，普及率较低的技术问题。

Description

一种目标对象缺陷检测方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种螺栓缺陷检测方法、装置、电子设备及存储介质。
背景技术
螺栓作为各种结构体最常用的紧固方式之一，对于大型结构体通常会以螺栓群的方式进行紧固，大量螺栓对同一个部位进行紧固。在螺栓使用过程中，不可避免会发生松动、脱落等问题。所以螺栓的安装状态直接结构体的稳定性和安全性。因此，需要对结构体上的螺栓安装状态进行检测。
随着计算机视觉技术的发展、特别是深度学习模型领域研究的不断深入，使得计算机视觉检测技术得以在螺栓安装状态检测领域应用，然而目前通过对螺栓进行图像处理，如灰度化，降噪，二值化，霍夫变换等，将得到的特征输入可学习的分类器进行学习，再利用学习好的分类器来判断螺栓是否松动，对仪器的精密度及算法要求很高，经济性与实用性较差，普及率较低。
发明内容
本申请提供了一种目标对象缺陷检测方法、装置、计算机设备及存储介质，来解决现有技术中利用学习好的分类器来判断螺栓是否松动，对仪器的精密度及算法要求很高，经济性与实用性较差，普及率较低的技术问题。
本发明第一方面提供了一种目标对象缺陷检测方法，包括：分别获取目标对象对应的参考图像与待检测图像，以及参考图像中所有的子对象的位置信息，其中，目标对象包括多个子对象；
对待检测图像中的每一子对象进行定位，得到所有的子对象的位置信息；
基于参考图像中所有的子对象的位置信息与待检测图像中所有的子对象的位置信息，确定待检测图像中第一子对象是否存在第一预设类型的缺陷，第一子对象为目标对象中任一子对象。
本发明实施例提供的目标对象缺陷检测方法，通过分别获取目标对象对应的参考图像与待检测图像，以及参考图像中所有的子对象的位置信息，对待检测图像中的每一子对象进行定位，得到所有的子对象的位置信息；然后基于参考图像中所有的子对象的位置信息与待检测图像中所有的子对象的位置信息，确定待检测图像中第一子对象是否存在第一预设类型的缺陷。一方面，参考图像具有参照性，通过将参考图像与待检测图像进行比对，可以确定待检测图像中目标对象的细微缺陷，进而提高目标对象缺陷检测精度；另一方面，相对于单纯直接通过对待检测图像进行检测，对仪器的精密度及算法要求降低，经济性与实用性更高，更易普及推广。
可选地，分别获取目标对象对应的参考图像与待检测图像之后，方法还包括：
对待检测图像中的每一子对象进行识别，确定待检测图像中是否存在与子对象对应的第二预设类型的缺陷。
可选地，对待检测图像中的每一子对象进行定位，得到所有的子对象的位置信息，包括：
利用预设目标检测模型对待检测图像中每一子对象进行定位，确定在预设第一坐标系中每一子对象的第一位置信息；
基于所有的子对象的第一位置信息，构建第二坐标系，其中，第二坐标系为非直角坐标系；
基于第二坐标系，确定每一子对象的第二位置信息，作为子对象的位置信息。
可选地，基于所有的子对象的第一位置信息，构建第二坐标系，包括：
基于所有的子对象的第一位置信息，确定最小矩形区域，其中，待检测图像中所有的子对象落入最小矩形区域中；
以最小矩形区域的相邻两条边分别作为第一基准线与第二基准线，分别获取所有的子对象到第一基准线的距离以及到第二基准线的距离；
确定到第一基准线的距离最小的两个子对象连接构成的直线的第一斜率；
基于第一斜率，调整第一基准线的第二斜率，直到第一斜率与第二斜率的差值小于第一预设阈值，得到第二坐标系的第一坐标轴；
确定到第二基准线的距离最小的两个子对象连接构成的直线的第三斜率；
基于第三斜率，调整第二基准线的第四斜率，直到第三斜率与第四斜率的差值小于第一预设阈值，得到第二坐标系的第二坐标轴；
基于第一坐标轴与第二坐标轴，构建第二坐标系。
可选地，基于第二坐标系，确定每一子对象的第二位置信息，作为子对象的位置信息，包括：
获取所有的子对象到第一坐标轴的距离以及获取所有的子对象到第二坐标轴的距离；
基于所有的子对象到第一坐标轴的距离以及到第二坐标轴的距离，确定每一子对象的第二位置信息，作为子对象的位置信息。
可选地，基于所有的子对象到第一坐标轴的距离以及到第二坐标轴的距离，确定每一子对象的第二位置信息，作为子对象的位置信息，包括：
基于所有的子对象分别到第一坐标轴的距离，对所有子对象进行分簇，获取第一分簇集合；以及，基于所有子对象到第二坐标轴的距离，对所有子对象进行分簇，获取第二分簇集合；
将第一分簇集合中每一簇所有子对象到第一坐标轴的距离的均值作为每一簇到第一坐标轴的距离；
基于第一分簇集合中每一簇到第一坐标轴的距离，对第一分簇集合中的簇进行排序，获取第一排序顺序；
将第二分簇集合中每一簇所有子对象到第二坐标轴的距离的均值作为每一簇到第二坐标轴的距离；
基于第二分簇集合中每一簇到第二坐标轴的距离，对第二分簇集合中的簇进行排序，获取第二排序顺序；
基于第一排序顺序和第二排序顺序，确定每一子对象的第二位置信息，作为子对象的位置信息。
本发明第二方面提供了一种目标对象缺陷检测的装置，包括：第一获取模块，用于分别获取目标对象对应的参考图像与待检测图像，以及参考图像中所有的子对象的位置信息，其中，目标对象包括多个子对象；
第一定位模块，用于对待检测图像中的每一子对象进行定位，得到所有的子对象的位置信息；
第一确定模块，用于基于参考图像中所有的子对象的位置信息与待检测图像中所有的子对象的位置信息，确定待检测图像中第一子对象是否存在第一预设类型的缺陷，第一子对象为目标对象中任一子对象。
本发明提供的目标对象缺陷检测装置中各部件所执行的功能均已在上述第一方面任一方法实施例中得以应用，因此这里不再赘述。
本发明第三方面提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述第一方面的目标对象缺陷检测方法的步骤。
本发明第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行如本发明第一方面提供的目标对象缺陷检测方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的目标对象缺陷检测方法流程示意图；
图2为本发明实施例提供的一种六边形螺栓角度定义示意图示意图；
图3为本发明实施例提供的一种目标对象缺陷检测装置结构示意图；
图4为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
针对背景技术中所提及的技术问题，本发明实施例提供了一种目标对象缺陷检测方法，如图1所示，该方法的步骤包括：
步骤S110，分别获取目标对象对应的参考图像与待检测图像，以及参考图像中所有的子对象的位置信息，其中，目标对象包括多个子对象。
示例性地，目标对象可以为螺栓群，但不限于螺栓群，本领域技术人员可以根据实际情况进行确定，此处不做限制。参考图像可以为目标对象在正常状态下的图像，参考图像中所有的子对象的位置信息可以预先采集确定并存储起来，后续直接调用使用即可。待检测图像可以为图像采集设备实时或者定时采集的目标区域的图像，用于检测目标区域中的目标对象是否有缺陷。参考图像中所有的子对象的位置信息可以为以参考图像左上角顶点为坐标原点，从坐标原点出发的两条边分别作为纵坐标轴与横坐标轴，确立的坐标系中的位置信息；或者，也可以为子对象在目标对象中的相对位置，此处不做限制，本领域技术人员可以根据实际情况进行确定。参考图像与待检测图像的获取可以通过但不限于图像采集器等设备，图像采集设备可以根据预置检测点逐一采集实时目标对象的待检测图像。作为一可选实施了，图像采集器可以选择带监控云台的图像采集器，监控云台具有可设置预置检测点、按预置监测点巡检、配置每个预置检测点的镜头焦距、数据上传等功能，避免一个目标对象配置一台图像采集器，浪费了硬件资源。
步骤S120，对待检测图像中的每一子对象进行定位，得到所有的子对象的位置信息。
示例性地，可以通过预设目标检测模型对待检测图像中的每一子对象进行识别与定位，得到所有的子对象的位置信息。具体地，以目标对象为螺栓群为例，则子对象为螺栓，利用目标检测模型，识别采集到的待检测图像中螺栓的位置，可以为每个螺栓输出一个目标检测框，达到定位作用。目标检测模型可以为YOLOv4，相比SSD、Faster RCNN、YOLOv1-YOLOv3等网络模型，YOLOv4不仅检测精度高，且检测速度块，进而降低检测时间。具体地，目标检测模型的构建以及螺栓定位的操作步骤如下：
获取图像数据集，其中，图像数据集中的图像中可以包含有正常螺栓、脱落螺栓以及严重纵向位移螺栓(显露螺柱)。利用图像标注工具对螺栓进行标注，如LabelImg标注工具，制作训练集以及测试集，目标检测模型主要识别三类目标：正常螺栓，脱落螺栓(具有孔洞特征)以及严重纵向位移螺栓(显露螺柱)。作为一可选实施了，三种类型目标一共可以标记1000个，来满足YOLOv4的训练以及测试需求，具体标记量本领域技术人员可以根据实际情况进行确定，此处不做限制。
需要说明的是，目标检测模型主要基于先验框anchor进行边界框的回归，需要在训练前确定好先验框的尺寸，贴合图像数据集的先验框会让训练变得更加容易，同时使得到的结果更加精准。本实施例中待检测的三个类别的目标框，尺度接近且占整幅图像的比例较小，而YOLOv4原始的anchor可实现对不同大小目标的检测，不适合当前目标大小接近的螺栓数据集，故本实施例中采用k-Means++聚类算法生成适合螺栓数据集的先验框。YOLOv4预设9个anchor，聚类的簇数设置为9，YOLOv4原始的anchor中，最大的宽高可达到[459，401]，主要针对较大目标的检测，对螺栓数据集进行聚类后，anchor尺度最大为[36，65]，更符合螺栓群数据中目标框的尺度特征。
利用标注好的图像数据集对目标检测模型进行训练，直到满足预设条件，得到目标检测模型。具体地，作为一可选实施方式，训练超参数为：batch size＝4，学习器为Adam，学习率learning_rate＝1e-4，训练轮次epoch＝200，损失函数使用的是Focal Loss损失函数，用平均精度均值MAP作为模型评价指标，训练达到最优时保存模型。
获取待检测图像，将待检测图像输入至利用上述目标检测模型构建方法构建好的目标检测模型，输出目标检测框。脱落螺栓和已经裸漏螺柱的纵向位移螺栓目标检测模型可直接检出。
步骤S130，基于参考图像中所有的子对象的位置信息与待检测图像中所有的子对象的位置信息，确定待检测图像中第一子对象是否存在第一预设类型的缺陷，第一子对象为目标对象中任一子对象。
示例性地，第一预设类型的缺陷可以根据目标对象的类型来确定。以目标对象为螺栓群为例，则子对象为螺栓，第一预设类型的缺陷可以包括但不限于螺栓脱落，螺栓纵向位移等，其中螺栓纵向位移可以包括螺栓严重纵向位移(显露螺柱)，螺栓松动(未显露螺栓)。具体地，若参考图像中有(2，1)这个位置，而待检测图像中没有，可以确定这个位置处的螺栓脱落。螺栓严重纵向位移(显露螺柱)，螺栓松动(未显露螺栓)这两种缺陷可以通过预设孪生神经网络来确定，具体地，将参考图像与待检测图像对应位置处的螺栓图像分别输入至孪生神经网络，孪生神经网络是一种对比两个输入相似度的网络，当螺栓发生纵向位移，如松动时，螺栓的角度会发生变化，对螺栓角度的定义如图2所示，不同角度的螺栓之间相似度较低，相同角度的螺栓之间相似度较高，依据孪生网络输出的相似度的值即可判断是否发生了松动。孪生神经网络输出二者的相似度，若相似度小于预设阈值，则可以确定螺栓发生纵向位移。作为一可选实施方式，孪生神经网络也可以直接输出螺栓发生松动的概率。本实施例中为使孪生神经网络发挥作用，可以制作了300对螺栓图像，其中角度一致和不一致的各占50％，利用ResNet18作为孪生网络的判别器，优化算法使用的是Adam，学习率为1e-3，batch size为4，训练200个批次，模型达到收敛。本实施例提供了一种针对螺栓群中螺栓的松动、纵向位移、脱落等缺陷检测的完整方案，可实现螺栓缺陷的自动化巡测，只需设置预设检测点，无需添加额外的标记线，从而避免由于标记线脱落、腐蚀等导致检测结果可靠性降低的风险，也无需在螺栓上安装额外的传感器，降低成本，同时避免了安装传感器困难的问题。
本发明实施例提供的目标对象缺陷检测方法，通过分别获取目标对象对应的参考图像与待检测图像，以及参考图像中所有的子对象的位置信息，对待检测图像中的每一子对象进行定位，得到所有的子对象的位置信息；然后基于参考图像中所有的子对象的位置信息与待检测图像中所有的子对象的位置信息，确定待检测图像中第一子对象是否存在第一预设类型的缺陷。一方面，参考图像具有参照性，通过将参考图像与待检测图像进行比对，可以确定待检测图像中目标对象的细微缺陷，进而提高目标对象缺陷检测精度；另一方面，相对于单纯直接通过对待检测图像进行检测，对仪器的精密度及算法要求降低，经济性与实用性更高，更易普及推广。
作为本发明一可选实施方式，步骤S120之后，还包括：
步骤S210，对待检测图像中的每一子对象进行识别，确定待检测图像中是否存在与子对象对应的第二预设类型的缺陷。
示例性地，第二预设类型的缺陷可以根据目标对象的类型来确定。以目标对象为螺栓群为例，则子对象为螺栓，第二预设类型的缺陷可以为螺栓脱落，螺栓严重纵向位移(显露螺柱)。具体地，可以利用预先训练好的目标检测模型对待检测图像中的每一子对象进行识别，确定待检测图像中是否存在与子对象对应的螺栓脱落，或者螺栓严重纵向位移(显露螺柱)缺陷。
本发明实施例提供的目标对象缺陷检测方法，对待检测图像中的每一子对象进行识别，能够对脱落以及严重纵向位移的螺栓进行检测，与基于参考图像中所有的子对象的位置信息与待检测图像中所有的子对象的位置信息，确定待检测图像中第一子对象是否存在脱落以及严重纵向位移的螺栓，形成相互验证，相互补充，提高目标对象缺陷检测的准确性与可靠性。
作为本发明一可选实施方式，步骤S120，包括：
步骤S310，利用预设目标检测模型对待检测图像中每一子对象进行定位，确定在预设第一坐标系中每一子对象的第一位置信息。
示例性地，待检测图像中每一子对象的第一位置信息可以为以待检测图像左上角顶点为坐标原点，从坐标原点出发的两条边分别作为纵坐标轴与横坐标轴，确立的第一坐标系中的位置信息。可以理解为第一位置信息为每一子对象在待检测图像中的绝对位置信息。
步骤S320，基于所有的子对象的第一位置信息，构建第二坐标系，其中，第二坐标系为非直角坐标系。
示例性地，可以通过如下步骤构建第二坐标系，具体地：
步骤S410，基于所有的子对象的第一位置信息，确定最小矩形区域，其中，待检测图像中所有的子对象落入最小矩形区域中。
示例性地，以目标对象为螺栓群为例，则子对象为螺栓。目标检测模型对输入的螺栓群图像进行目标检测得到每个螺栓的目标检测框后，输出螺栓群中每个螺栓位置信息：(x，y，w，h)，(x，y)表示目标检测模型输出的目标检测框左上角的绝对坐标，(w，h)分别表示检测框的宽与高。依据检测框的横纵坐标以及宽高，即可得到每个螺栓的中心点坐标(centerX，centerY)。对全部螺栓的检测框的宽高分别进行加权平均可以得到当前图像中螺栓的平均宽高avgW，avgH。依据螺栓中心点坐标，计算出螺栓群的最小外接矩形，作为本实施例的最小矩形区域，保证待检测图像中所有的子对象落入最小矩形区域中。可以对外接矩形修改，使其更贴近螺栓群的真实分布。避免由于螺栓群可能非矩形分布，或者由于采集角度的影响，最小外接矩形不能很好的贴合螺栓群的边缘，或者矩形的直角限制了对螺栓群整体角度的描述的风险。
步骤S420，以最小矩形区域的相邻两条边分别作为第一基准线与第二基准线，分别获取所有的子对象到第一基准线的距离以及到第二基准线的距离。
示例性地，以最小矩形区域的相邻两条边分别作为第一基准线与第二基准线，作为初始的两条基准线。需要说明的是，待检测图像中基准线以及子对象的位置信息的确定方法与参考图像中基准线以及子对象的位置信息的确定方法应当一致。
步骤S430，确定到第一基准线的距离最小的两个子对象连接构成的直线的第一斜率。
步骤S440，基于第一斜率，调整第一基准线的第二斜率，直到第一斜率与第二斜率的差值小于第一预设阈值，得到第二坐标系的第一坐标轴。
示例性地，确定到第一基准线最近的两个子对象所对应的中心点，基于此两点确定的直线，计算该条直线的第一斜率，并比较该直线的第一斜率和第一基准线的第二斜率。如果该条直线的第一斜率和第一基准线的第二斜率相差较大，差值大于第一预设阈值，则调整第一基准线的第二斜率，否则保持第二基准线的第二斜率不变，重复该过程直到第一斜率与第二斜率的差值小于第一预设阈值，得到第二坐标系的第一坐标轴，即可得到比较贴近螺栓群边缘的第一坐标轴。对于第一预设阈值的设置，本领域技术人员可以根据实际情况进行确定，此处不做限制。
步骤S450，确定到第二基准线的距离最小的两个子对象连接构成的直线的第三斜率。
步骤S460，基于第三斜率，调整第二基准线的第四斜率，直到第三斜率与第四斜率的差值小于第一预设阈值，得到第二坐标系的第二坐标轴。
本实施例中，步骤S450至步骤S460实施方式与步骤S430至步骤S440的实施方式类似，此处不在赘述。
步骤S470，基于第一坐标轴与第二坐标轴，构建第二坐标系。
示例性地，得到比较贴近目标对象边缘的两条不同方向的基准线后，将两条基准线分别作为第一坐标轴与第二坐标轴，构建第二坐标系，第二坐标系可以为非直角坐标系。
步骤S330，基于第二坐标系，确定每一子对象的第二位置信息，作为子对象的位置信息。
示例性地，将每一子对象在第二坐标系中的第二位置信息作为子对象的位置信息。
本发明实施例提供的目标对象缺陷检测方法，可对不规则螺栓群中的螺栓进行自适应定位，不受预置检测点位置偏移、预置检测点相机焦距抖动等因素影响，不要求两个坐标轴是水平和垂直的，也不需要两个坐标轴是互相垂直的，无需定义螺栓群的分布方式，如5×5，7×7，可自适应的识别分布，并更易准确确定出每个子对象在目标对象中的位置信息，从而提高目标对象缺陷检测的准确性。
作为本发明一可选实施方式，步骤S330，包括：
步骤S510，获取所有的子对象到第一坐标轴的距离以及获取所有的子对象到第二坐标轴的距离。
示例性地，确定第二坐标系后，计算出每个子对象检测框的中心点分别到第一坐标轴以及第二坐标轴的距离存放在数组DisX，DisY中。具体获取方式可参考现有成熟方案，此处不做限制，不再赘述。
步骤S520，基于所有的子对象到第一坐标轴的距离以及到第二坐标轴的距离，确定每一子对象的第二位置信息，作为子对象的位置信息。
示例性地，每一子对象的第二位置信息可以为相对于第二坐标系的绝对位置信息，具体地，若螺栓群中某一子对象到第一坐标轴的距离为2，到第二坐标轴的距离为1，则该子对象的第二位置信息可以为(1，2)；或者每一子对象的第二位置信息还可以为在螺栓群中的相对位置信息，具体地，若螺栓群中某一子对象在相对于第一坐标轴由近及远的第三行，在相对于第二坐标轴由近及远的第二行，则该子对象的第二位置信息可以为(3，2)。
本发明实施例提供的目标对象缺陷检测方法，基于螺栓群形状确定的第二坐标系不要求两个坐标轴是水平和垂直的，也不需要两个坐标轴是互相垂直的，更易准确标识螺栓群中螺栓的位置信息，从而提高目标对象缺陷检测的准确性。
作为本发明一可选实施方式，步骤S520，包括：
步骤S610，基于所有的子对象分别到第一坐标轴的距离，对所有子对象进行分簇，获取第一分簇集合；以及，基于所有子对象到第二坐标轴的距离，对所有子对象进行分簇，获取第二分簇集合。
示例性地，任意选取第一子对象与第二子对象，根据第一子对象到第一坐标轴的第一距离以及第二子对象到第一坐标轴的第二距离，确定第一差值，其中，第一子对象与第二子对象为所有的子对象中任意两个子对象。将第一差值与第一预设阈值进行比较，基于比较结果对第一子对象与第二子对象进行分簇，若第一差值小于第一预设阈值，将第一子对象与第二子对象分类到同一簇，将每一簇中所有的子对象到第一坐标轴的距离的均值作为当前簇到第一坐标轴的距离，并将每一簇作为新的子对象用于与未分簇的子对象进行比较，确定任一未分簇的子对象所属的簇；若第一差值大于第一预设阈值，将第一子对象与第二子对象分类到不同簇，将每一簇中所有的子对象到第一坐标轴的距离的均值作为当前簇到第一坐标轴的距离，并将每一簇作为新的子对象用于与未分簇的子对象进行比较，确定任一未分簇的子对象所属的簇。需要说明的是已经的分簇的子对象可以不再单独与未分簇的子对象进行比较，即未分簇的子对象可以仅与簇和未分簇的其他子对象进行比较。具体地，获取第三子对象到第一坐标轴的距离与所有簇以及所有其他未分簇的子对象到第一坐标轴的距离的差值中的最小值，若最小值大于第一预设阈值，增设新簇，将第三子对象分类到新簇；若最小值小于第一预设阈值，将第三子对象分类到距离最近的簇，并将每一簇中所有的子对象到第一坐标轴的距离的均值作为当前簇到第一坐标轴的距离；直到将所有的子对象分类到对应的簇，得到第一分簇集合，将每一簇中所有的子对象到第一坐标轴的距离的均值作为当前簇到第一坐标轴的距离。具体地，作为一可选实施例，以目标对象为螺栓群为例，利用基于中心点的改进K-Means聚类算法，计算出每个螺栓在整个螺栓群中的相对坐标，将第一坐标轴所在方向定位为X轴，第二坐标轴所在方向定位为Y轴，X轴方向的改进K-Means定位算法流程如下：
需要说明的是，第二分簇集合的确定与第一分簇集合的确定方式类似，第二分簇集合的分簇阈值可以为第二预设阈值，同理可以获取得到第二分簇集合，此处不再赘述。对第一预设阈值与第二预设阈值的设定，本领域技术人员可以根据实际情况进行确定，此处不做限制。
步骤S620，将第一分簇集合中每一簇所有子对象到第一坐标轴的距离的均值作为每一簇到第一坐标轴的距离。
步骤S630，基于第一分簇集合中每一簇到第一坐标轴的距离，对第一分簇集合中的簇进行排序，获取第一排序顺序。
示例性地，基于第一分簇集合中每一簇到第一坐标轴的距离，由小到大进行排序，获取第一排序顺序。具体地，如共分为五簇，分别为第一簇、第二簇、第三簇、第四簇、第五簇。
步骤S640，将第二分簇集合中每一簇所有子对象到第二坐标轴的距离的均值作为每一簇到第二坐标轴的距离。
步骤S650，基于第二分簇集合中每一簇到第二坐标轴的距离，对第二分簇集合中的簇进行排序，获取第二排序顺序
步骤S640至步骤S650的实施方式，与步骤S620与步骤S630的实施方式类似，此处不再赘述。
步骤S660，基于第一排序顺序和第二排序顺序，确定每一子对象的第二位置信息，作为子对象的位置信息。
示例性地，若某一子对象在第一分簇集合中的第二簇，在第二分簇集合中的第三簇，则该子对象的第二位置信息为(2，3)，则将(2，3)作为该子对象的位置信息。同理可以确定其他子对象地位置信息，此处不再赘述。基于第一排序顺序和第二排序顺序，确定每一子对象的第二位置信息，作为子对象的位置信息，得到的子对象的位置信息为子对象在目标对象中的相对位置，如在目标对象中的第几行第几列等。
本发明实施例提供的目标对象缺陷检测方法，一方面，通过分簇的方式确定目标对象中子对象的相对坐标，相对于绝对坐标，相对坐标只与目标对象中子对象本身的排布方式有关，避免了图像采集时镜头抖动、偏移等影响造成位置信息不准确，而导致参考图像与待检测图像中子对象对应错误，进而影响目标对象缺陷检测的准确性与可靠性。另一方面，通过比较待检测图像和参考图像中螺栓的相对位置，可以判断是否存在位移和脱落的缺陷；对于相对位置均存在的螺栓，仍可能发生了轻微位移，因此利用孪生神经网络的方法，对松动进行检测，不同角度的螺栓之间相似度较低，相同角度的螺栓之间相似度较高，依据孪生网络输出的相似度的值即可判断是否发生了松动。
图3为本发明一实施例提供的一种目标对象缺陷检测的装置，包括：
第一获取模块710，用于分别获取目标对象对应的参考图像与待检测图像，以及参考图像中所有的子对象的位置信息，其中，目标对象包括多个子对象。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
第一定位模块720，用于对待检测图像中的每一子对象进行定位，得到所有的子对象的位置信息。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
第一确定模块730，用于基于参考图像中所有的子对象的位置信息与待检测图像中所有的子对象的位置信息，确定待检测图像中第一子对象是否存在第一预设类型的缺陷，第一子对象为目标对象中任一子对象。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
作为本发明一可选实施装置，还包括：
第二确定模块，用于对待检测图像中的每一子对象进行识别，确定待检测图像中是否存在与子对象对应的第二预设类型的缺陷。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
作为本发明一可选实施装置，第一定位模块720，包括：
第三确定模块，用于利用预设目标检测模型对待检测图像中每一子对象进行定位，确定在预设第一坐标系中每一子对象的第一位置信息。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
第一构建模块，用于基于所有的子对象的第一位置信息，构建第二坐标系，其中，第二坐标系为非直角坐标系。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
第四确定模块，用于基于第二坐标系，确定每一子对象的第二位置信息，作为子对象的位置信息。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
作为本发明一可选实施装置，第一构建模块，包括：
第五确定模块，用于基于所有的子对象的第一位置信息，确定最小矩形区域，其中，待检测图像中所有的子对象落入最小矩形区域中。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
第二获取模块，用于以最小矩形区域的相邻两条边分别作为第一基准线与第二基准线，分别获取所有的子对象到第一基准线的距离以及到第二基准线的距离。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
第六确定模块，用于确定到第一基准线的距离最小的两个子对象连接构成的直线的第一斜率。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
第一调整模块，用于基于第一斜率，调整第一基准线的第二斜率，直到第一斜率与第二斜率的差值小于第一预设阈值，得到第二坐标系的第一坐标轴。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
第七确定模块，用于确定到第二基准线的距离最小的两个子对象连接构成的直线的第三斜率。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
第二调整模块，用于基于第三斜率，调整第二基准线的第四斜率，直到第三斜率与第四斜率的差值小于第一预设阈值，得到第二坐标系的第二坐标轴。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
第二构建模块，用于基于第一坐标轴与第二坐标轴，构建第二坐标系。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
作为本发明一可选实施装置，第四确定模块，包括：
第三获取模块，用于获取所有的子对象到第一坐标轴的距离以及获取所有的子对象到第二坐标轴的距离。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
第八确定模块，用于基于所有的子对象到第一坐标轴的距离以及到第二坐标轴的距离，确定每一子对象的第二位置信息，作为子对象的位置信息。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
作为本发明一可选实施装置，第八确定模块，包括：
第一分簇模块，用于基于所有的子对象分别到第一坐标轴的距离，对所有子对象进行分簇，获取第一分簇集合；以及，基于所有子对象到第二坐标轴的距离，对所有子对象进行分簇，获取第二分簇集合。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
第一计算模块，用于将第一分簇集合中每一簇所有子对象到第一坐标轴的距离的均值作为每一簇到第一坐标轴的距离。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
第一排序模块，用于基于第一分簇集合中每一簇到第一坐标轴的距离，对第一分簇集合中的簇进行排序，获取第一排序顺序。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
第二计算模块，用于将第二分簇集合中每一簇所有子对象到第二坐标轴的距离的均值作为每一簇到第二坐标轴的距离。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
第二排序模块，用于基于第二分簇集合中每一簇到第二坐标轴的距离，对第二分簇集合中的簇进行排序，获取第二排序顺序。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
第九确定模块，用于基于第一排序顺序和第二排序顺序，确定每一子对象的第二位置信息，作为子对象的位置信息。详细内容参见上述实施例中对应部分的描述，在此不再赘述。
本发明实施例提供了一种计算机设备，如图4所示，该设备包括一个或多个处理器3010以及存储器3020，存储器3020包括持久内存、易失内存和硬盘，图4中以一个处理器3010为例。该设备还可以包括：输入装置3030和输出装置3040。
处理器3010、存储器3020、输入装置3030和输出装置3040可以通过总线或者其他方式连接，图4中以通过总线连接为例。
处理器3010可以包括但不限于中央处理器(Central Processing Unit，CPU)、图形处理器(Graphic Processing Unit，GPU)。处理器3010还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器3020可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据目标对象缺陷检测装置的使用所创建的数据等。此外，存储器3020可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器3020可选包括相对于处理器3010远程设置的存储器，这些远程存储器可以通过网络连接至目标对象缺陷检测装置。输入装置3030可接收用户输入的计算请求(或其他数字或字符信息)，以及产生与目标对象缺陷检测装置有关的键信号输入。输出装置3040可包括显示屏等显示设备，用以输出计算结果。
本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的目标对象缺陷检测方法。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读存储介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RandomAccess Memory，RAM)，只读存储器(Read-Only Memory，ROM)，可擦除可编辑只读存储器(Erasable Programmable Read-Only Memory，EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(Compact Disc Read-Only Memory，CDROM)。另外，计算机可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(Programmable Gate Array，PGA)，现场可编程门阵列(Field Programmable Gate Array，FPGA)等。
在本说明书的描述中，参考术语“本实施例”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在本公开描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (8)

1.一种目标对象缺陷检测方法，其特征在于，包括：
分别获取目标对象对应的参考图像与待检测图像，以及所述参考图像中所有的子对象的位置信息，其中，所述目标对象包括多个子对象；
对所述待检测图像中的每一所述子对象进行定位，得到所有的所述子对象的位置信息；
基于所述参考图像中所有的子对象的位置信息与所述待检测图像中所有的所述子对象的位置信息，确定所述待检测图像中第一子对象是否存在第一预设类型的缺陷，所述第一子对象为所述目标对象中任一所述子对象；
其中，所述对所述待检测图像中的每一所述子对象进行定位，得到所有的所述子对象的位置信息，包括：
利用预设目标检测模型对所述待检测图像中每一所述子对象进行定位，确定在预设第一坐标系中每一所述子对象的第一位置信息，其中，所述目标检测模型为利用与螺栓数据集对应的先验框anchor进行训练后得到的YOLOv4模型，与所述螺栓数据集对应的先验框anchor为利用k Means++聚类算法聚类生成的先验框；
基于所有的所述子对象的第一位置信息，构建第二坐标系，其中，所述第二坐标系为非直角坐标系；
基于所述第二坐标系，确定每一所述子对象的第二位置信息，作为所述子对象的位置信息；
所述基于所有的所述子对象的第一位置信息，构建第二坐标系，包括：
基于所有的所述子对象的第一位置信息，确定最小矩形区域，其中，所述待检测图像中所有的所述子对象落入所述最小矩形区域；
以所述最小矩形区域的相邻两条边分别作为第一基准线与第二基准线，分别获取所有的所述子对象到所述第一基准线的距离以及到所述第二基准线的距离；
确定到所述第一基准线的距离最小的两个所述子对象连接构成的直线的第一斜率；
基于所述第一斜率，调整所述第一基准线的第二斜率，直到所述第一斜率与所述第二斜率的差值小于第一预设阈值，得到所述第二坐标系的第一坐标轴；
确定到所述第二基准线的距离最小的两个所述子对象连接构成的直线的第三斜率；
基于所述第三斜率，调整所述第二基准线的第四斜率，直到所述第三斜率与所述第四斜率的差值小于所述第一预设阈值，得到所述第二坐标系的第二坐标轴；
基于所述第一坐标轴与所述第二坐标轴，构建第二坐标系。
2.根据权利要求1所述的方法，其特征在于，所述分别获取目标对象对应的参考图像与待检测图像之后，所述方法还包括：
对所述待检测图像中的每一所述子对象进行识别，确定所述待检测图像中是否存在与子对象对应的第二预设类型的缺陷。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第二坐标系，确定每一所述子对象的第二位置信息，作为所述子对象的位置信息，包括：
获取所有的所述子对象到所述第一坐标轴的距离以及获取所有的所述子对象到所述第二坐标轴的距离；
基于所述所有的所述子对象到所述第一坐标轴的距离以及到所述第二坐标轴的距离，确定每一所述子对象的第二位置信息，作为所述子对象的位置信息。
4.根据权利要求3所述的方法，其特征在于，所述基于所述所有的所述子对象到所述第一坐标轴的距离以及到所述第二坐标轴的距离，确定每一所述子对象的第二位置信息，作为所述子对象的位置信息，包括：
基于所述所有的所述子对象分别到所述第一坐标轴的距离，对所有子对象进行分簇，获取第一分簇集合；以及，基于所有所述子对象到所述第二坐标轴的距离，对所有子对象进行分簇，获取第二分簇集合；
将所述第一分簇集合中每一簇所有子对象到所述第一坐标轴的距离的均值作为每一簇到所述第一坐标轴的距离；
基于所述第一分簇集合中每一簇到所述第一坐标轴的距离，对所述第一分簇集合中的簇进行排序，获取第一排序顺序；
将所述第二分簇集合中每一簇所有子对象到所述第二坐标轴的距离的均值作为每一簇到所述第二坐标轴的距离；
基于所述第二分簇集合中每一簇到所述第二坐标轴的距离，对所述第二分簇集合中的簇进行排序，获取第二排序顺序；
基于所述第一排序顺序和所述第二排序顺序，确定每一所述子对象的第二位置信息，作为所述子对象的位置信息。
5.一种目标对象缺陷检测装置，其特征在于，包括：
第一获取模块，用于分别获取目标对象对应的参考图像与待检测图像，以及所述参考图像中所有的子对象的位置信息，其中，所述目标对象包括多个子对象；
第一定位模块，用于对所述待检测图像中的每一所述子对象进行定位，得到所有的所述子对象的位置信息；
第一确定模块，用于基于所述参考图像中所有的子对象的位置信息与所述待检测图像中所有的所述子对象的位置信息，确定所述待检测图像中第一子对象是否存在第一预设类型的缺陷，所述第一子对象为所述目标对象中任一所述子对象；
第三确定模块，用于：利用预设目标检测模型对所述待检测图像中每一所述子对象进行定位，确定在预设第一坐标系中每一所述子对象的第一位置信息，其中，所述目标检测模型为利用与螺栓数据集对应的先验框anchor进行训练后得到的YOLOv4模型，与所述螺栓数据集对应的先验框anchor为利用kMeans++聚类算法生成的先验框；
第一构建模块，用于基于所有的所述子对象的第一位置信息，构建第二坐标系，其中，所述第二坐标系为非直角坐标系；
第四确定模块，用于基于所述第二坐标系，确定每一所述子对象的第二位置信息，作为所述子对象的位置信息；
其中，所述第一构建模块，包括：第五确定模块，用于基于所有的所述子对象的第一位置信息，确定最小矩形区域，其中，所述待检测图像中所有的所述子对象落入所述最小矩形区域中；
第二获取模块，用于以所述最小矩形区域的相邻两条边分别作为第一基准线与第二基准线，分别获取所有的所述子对象到所述第一基准线的距离以及到所述第二基准线的距离；
第六确定模块，用于确定到所述第一基准线的距离最小的两个所述子对象连接构成的直线的第一斜率；
第一调整模块，用于基于所述第一斜率，调整所述第一基准线的第二斜率，直到所述第一斜率与所述第二斜率的差值小于第一预设阈值，得到所述第二坐标系的第一坐标轴；
第七确定模块，用于确定到所述第二基准线的距离最小的两个所述子对象连接构成的直线的第三斜率；
第二调整模块，用于基于所述第三斜率，调整所述第二基准线的第四斜率，直到所述第三斜率与所述第四斜率的差值小于所述第一预设阈值，得到所述第二坐标系的第二坐标轴；
第二构建模块，用于基于所述第一坐标轴与所述第二坐标轴，构建第二坐标系。
6.根据权利要求5所述的装置，其特征在于，还包括：
第二确定模块，用于对所述待检测图像中的每一所述子对象进行识别，确定所述待检测图像中是否存在与子对象对应的第二预设类型的缺陷。
7.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一项所述的目标对象缺陷检测方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的目标对象缺陷检测方法的步骤。
CN202310581432.5A 2023-05-18 2023-05-18 一种目标对象缺陷检测方法、装置、电子设备及存储介质 Active CN116681660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310581432.5A CN116681660B (zh) 2023-05-18 2023-05-18 一种目标对象缺陷检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310581432.5A CN116681660B (zh) 2023-05-18 2023-05-18 一种目标对象缺陷检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116681660A CN116681660A (zh) 2023-09-01
CN116681660B true CN116681660B (zh) 2024-04-19

Family

ID=87782851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310581432.5A Active CN116681660B (zh) 2023-05-18 2023-05-18 一种目标对象缺陷检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116681660B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796186A (zh) * 2019-10-22 2020-02-14 华中科技大学无锡研究院 基于改进的YOLOv3网络的干湿垃圾识别分类方法
CN110910350A (zh) * 2019-10-30 2020-03-24 同济大学 一种用于风电塔筒的螺母松动检测方法
CN111178220A (zh) * 2019-12-24 2020-05-19 上海眼控科技股份有限公司 检测客车内的安全设施的方法、设备和存储介质
CN112419297A (zh) * 2020-12-04 2021-02-26 中冶建筑研究总院（深圳）有限公司 一种螺栓松动检测方法、装置、设备及存储介质
CN113553979A (zh) * 2021-07-30 2021-10-26 国电汉川发电有限公司 一种基于改进yolo v5的安全服检测方法和系统
CN114817850A (zh) * 2021-01-27 2022-07-29 华晨宝马汽车有限公司 用于螺栓拧紧数据的异常检测的方法和系统
CN114881989A (zh) * 2022-05-23 2022-08-09 国网智能电网研究院有限公司 基于小样本目标对象缺陷检测的方法、装置、电子设备
CN115147392A (zh) * 2022-07-20 2022-10-04 欧普瑞泰环境科技有限公司 一种基于改进YOLOv4的煤矸石检测方法和装置
WO2022217840A1 (zh) * 2021-04-15 2022-10-20 南京莱斯电子设备有限公司 一种复杂背景下高精度多目标跟踪方法
CN115410277A (zh) * 2022-08-31 2022-11-29 西北农林科技大学 一种基于双注意力机制的牛只行为识别方法
CN115601538A (zh) * 2022-10-25 2023-01-13 烟台艾睿光电科技有限公司（Cn） 目标检测方法及目标检测器、系统和介质
WO2023050810A1 (zh) * 2021-09-30 2023-04-06 上海商汤智能科技有限公司 一种目标检测的方法、装置、电子设备及存储介质、计算机程序产品
CN115937147A (zh) * 2022-12-09 2023-04-07 北京小米移动软件有限公司 缺陷检测参数的确定方法、装置、设备及存储介质
CN115994899A (zh) * 2023-01-13 2023-04-21 北京理工大学 一种螺栓松动检测方法、装置及检测设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230125477A1 (en) * 2021-10-26 2023-04-27 Nvidia Corporation Defect detection using one or more neural networks

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796186A (zh) * 2019-10-22 2020-02-14 华中科技大学无锡研究院 基于改进的YOLOv3网络的干湿垃圾识别分类方法
CN110910350A (zh) * 2019-10-30 2020-03-24 同济大学 一种用于风电塔筒的螺母松动检测方法
CN111178220A (zh) * 2019-12-24 2020-05-19 上海眼控科技股份有限公司 检测客车内的安全设施的方法、设备和存储介质
CN112419297A (zh) * 2020-12-04 2021-02-26 中冶建筑研究总院（深圳）有限公司 一种螺栓松动检测方法、装置、设备及存储介质
CN114817850A (zh) * 2021-01-27 2022-07-29 华晨宝马汽车有限公司 用于螺栓拧紧数据的异常检测的方法和系统
WO2022217840A1 (zh) * 2021-04-15 2022-10-20 南京莱斯电子设备有限公司 一种复杂背景下高精度多目标跟踪方法
CN113553979A (zh) * 2021-07-30 2021-10-26 国电汉川发电有限公司 一种基于改进yolo v5的安全服检测方法和系统
WO2023050810A1 (zh) * 2021-09-30 2023-04-06 上海商汤智能科技有限公司 一种目标检测的方法、装置、电子设备及存储介质、计算机程序产品
CN114881989A (zh) * 2022-05-23 2022-08-09 国网智能电网研究院有限公司 基于小样本目标对象缺陷检测的方法、装置、电子设备
CN115147392A (zh) * 2022-07-20 2022-10-04 欧普瑞泰环境科技有限公司 一种基于改进YOLOv4的煤矸石检测方法和装置
CN115410277A (zh) * 2022-08-31 2022-11-29 西北农林科技大学 一种基于双注意力机制的牛只行为识别方法
CN115601538A (zh) * 2022-10-25 2023-01-13 烟台艾睿光电科技有限公司（Cn） 目标检测方法及目标检测器、系统和介质
CN115937147A (zh) * 2022-12-09 2023-04-07 北京小米移动软件有限公司 缺陷检测参数的确定方法、装置、设备及存储介质
CN115994899A (zh) * 2023-01-13 2023-04-21 北京理工大学 一种螺栓松动检测方法、装置及检测设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的桥梁螺栓定位与缺陷检测;刘畅;《万方数据知识服务平台在线公开》;1-71 *

Also Published As

Publication number Publication date
CN116681660A (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN109087510B (zh) 交通监测方法及装置
KR102543952B1 (ko) 차선의 확정방법, 포지셔닝 정밀도의 평가방법, 장치, 기기 및 컴퓨터 프로그램
CN105701478A (zh) 杆状地物提取的方法和装置
CN113112480B (zh) 视频场景变换检测方法、存储介质和电子设备
CN102163333B (zh) 谱聚类的sar图像变化检测方法
CN113970734B (zh) 路侧多线激光雷达降雪噪点去除方法、装置及设备
CN110634137A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN115082444B (zh) 一种基于图像处理的铜管焊缝缺陷检测方法及系统
CN112762947A (zh) 地图数据校准方法、装置及计算机设备
CN112990151B (zh) 障碍物检测模块的精度检测方法和电子设备
CN112990034B (zh) 一种影像优先的交通标牌变化检测方法
CN117075097B (zh) 一种基于扩展目标簇划分的海事雷达目标跟踪方法及系统
CN112784494B (zh) 假阳性识别模型的训练方法、目标识别方法及装置
CN116681660B (zh) 一种目标对象缺陷检测方法、装置、电子设备及存储介质
CN114170188A (zh) 一种俯视图像的目标计数方法、系统及存储介质
CN112017213B (zh) 一种目标对象的位置更新方法及系统
CN113393442A (zh) 列车零部件异常检测方法、系统、电子设备及存储介质
US20230314169A1 (en) Method and apparatus for generating map data, and non-transitory computer-readable storage medium
CN114662600B (zh) 一种车道线的检测方法、装置和存储介质
CN116628531A (zh) 众包地图道路对象要素聚类方法、系统及存储介质
CN116977250A (zh) 一种工业零件的缺陷检测方法、装置和计算机设备
CN111986299A (zh) 点云数据处理方法、装置、设备及存储介质
US11398074B1 (en) Method and apparatus for identifying planes of objects in 3D scenes
CN115685127A (zh) 一种基于点云数据分析目标物沉降风险的方法及装置
CN113674358A (zh) 一种雷视设备的标定方法、装置、计算设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant