CN115439480B - 基于3d深度图像模板匹配的螺栓异常检测方法及系统 - Google Patents

基于3d深度图像模板匹配的螺栓异常检测方法及系统 Download PDF

Info

Publication number
CN115439480B
CN115439480B CN202211394810.0A CN202211394810A CN115439480B CN 115439480 B CN115439480 B CN 115439480B CN 202211394810 A CN202211394810 A CN 202211394810A CN 115439480 B CN115439480 B CN 115439480B
Authority
CN
China
Prior art keywords
point cloud
bolt
image
template
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211394810.0A
Other languages
English (en)
Other versions
CN115439480A (zh
Inventor
邓雪
张楠
彭恢全
卜显利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Yunda Technology Co Ltd
Original Assignee
Chengdu Yunda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Yunda Technology Co Ltd filed Critical Chengdu Yunda Technology Co Ltd
Priority to CN202211394810.0A priority Critical patent/CN115439480B/zh
Publication of CN115439480A publication Critical patent/CN115439480A/zh
Application granted granted Critical
Publication of CN115439480B publication Critical patent/CN115439480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于3D深度图像模板匹配的螺栓异常检测方法及系统，属于螺栓检测技术领域。所述螺栓异常检测方法包括：获取待测螺栓的3D点云图像；将所述3D点云图像与模板点云进行配准；将配准后的3D点云图像和模板点云转换为深度图像；测量3D点云图像对应的深度图像和模板点云对应的深度图像中的螺栓高度；根据测量得到的所述螺栓高度判断待测螺栓是否异常。本发明利用3D点云数据进行螺栓的异常检测，避免了利用2D图像配准时光照、污渍、锈渍等干扰导致误报和漏报的情况。

Description

基于3D深度图像模板匹配的螺栓异常检测方法及系统
技术领域
本发明属于螺栓检测技术领域，特别是涉及一种基于3D深度图像模板匹配的螺栓异常检测方法及系统。
背景技术
目前，基于3D点云进行螺栓检测的方法有以下几种：
（1）利用2D相机拍摄2D图像，利用3D相机拍摄3D图像，对2D图像和3D图像进行对齐；然后用标准2D图像与待测2D图像进行配准，并将配准后的2D图像映射到3D图像中提取螺栓的3D点云；计算螺栓的3D点云中螺栓上表面和下表面之间的高度差，从而判断螺栓是否松动。这种方法存在如下缺点：需要两个相机（2D相机和3D相机），增加了拍摄的复杂度；2D图像配准受光线、污渍、锈渍等干扰，匹配容易失败，进而造成后面3D测量不准确，造成误判。
（2）利用深度学习的目标检测网络找到2D图像中螺栓的位置，然后映射到3D点云中提取点云数据，再使用点云配准深度学习网络对点云进行配准，以此计算螺栓位移量，判定螺栓是否松动。这种方法利用深度学习检测螺栓，由于深度学习需要大量数据训练，在没有泛化的数据上容易造成漏报和误报，造成检测鲁棒性差；在3D点云配准中，也是利用深度学习网络，计算开销大，需要大量数据，前期不容易训练部署，不容易大面积推广。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于3D深度图像模板匹配的螺栓异常检测方法及系统。
本发明的目的是通过以下技术方案来实现的：
根据本发明的第一方面，基于3D深度图像模板匹配的螺栓异常检测方法，其特征在于，包括：
获取待测螺栓的3D点云图像；
将所述3D点云图像与模板点云进行配准；
将配准后的3D点云图像和模板点云转换为深度图像；
测量3D点云图像对应的深度图像和模板点云对应的深度图像中的螺栓高度；
根据测量得到的所述螺栓高度判断待测螺栓是否异常。
进一步地，所述待测螺栓的3D点云图像由设置于巡检机器人上的3D相机拍摄得到。
进一步地，将所述3D点云图像与模板点云进行配准，包括：
对所述3D点云图像进行直通滤波，滤除所述3D点云图像的xy平面内点云深度小于待测螺栓的最小深度的点云以及点云深度大于待测螺栓的最大深度的点云；
对直通滤波后的3D点云图像进行掩码提取；
将掩码提取后的3D点云图像与预设的模板点云进行配准。
进一步地，所述待测螺栓的3D点云图像由设置于巡检机器人上的3D相机拍摄得到；
对所述3D点云图像进行直通滤波时，利用巡检机器人的定位精度对所述3D点云图像进行直通滤波。
进一步地，进行掩码提取时，只提取3D点云图像中待测螺栓内的点云。
进一步地，将掩码提取后的3D点云图像与预设的模板点云进行配准，包括：
利用NDT算法进行3D点云图像与模板点云的第一次配准；
利用ICP算法进行3D点云图像与模板点云的第二次配准。
进一步地，将配准后的3D点云图像和模板点云转换为深度图像，包括：
利用所述3D相机的内参将配准后的3D点云图像映射为深度图像；
利用所述3D相机的内参将配准后的模板点云映射为深度图像。
进一步地，测量3D点云图像对应的深度图像和模板点云对应的深度图像中的螺栓高度，包括：
在所述模板点云对应的深度图像中标注螺栓位置；
在所述模板点云对应的深度图像中截取螺栓图像得到目标螺栓截图；
在所述3D点云图像对应的深度图像中截取螺栓图像得到待测螺栓截图；
测量目标螺栓截图和待测螺栓截图中的螺栓高度。
进一步地，根据测量得到的所述螺栓高度判断待测螺栓是否异常，包括：
判断3D点云图像对应的螺栓高度与目标点云对应的螺栓高度的差值是否大于阈值，若所述差值大于阈值，则待测螺栓异常。
根据本发明的第二方面，基于3D深度图像模板匹配的螺栓异常检测系统，其特征在于，包括：
点云获取模块，用于获取待测螺栓的3D点云图像；
配准模块，用于将所述3D点云图像与模板点云进行配准；
图像转换模块，用于将配准后的3D点云图像和模板点云转换为深度图像；
螺栓高度测量模块，用于测量3D点云图像对应的深度图像和模板点云对应的深度图像中的螺栓高度；
判断模块，用于根据测量得到的所述螺栓高度判断待测螺栓是否异常。
本发明的有益效果是：本发明进行螺栓的异常检测时只利用3D点云数据，具有采集简单等优点，同时避免了利用2D图像配准时光照、污渍、锈渍等干扰导致误报和漏报的情况。
附图说明
图1为本发明中螺栓异常检测方法的一个实施例的流程图；
图2为一个实施例中配准前的点云叠加示意图；
图3为一个实施例中配准后的点云叠加示意图；
图4为一个实施例中的待测深度图像；
图5为一个实施例中的模板深度图像；
图6为本发明中螺栓异常检测系统的一个实施例的示意图。
具体实施方式
下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1～图6，本发明提供一种基于3D深度图像模板匹配的螺栓异常检测方法及系统：
本发明的第一方面提供了一种基于3D深度图像模板匹配的螺栓异常检测方法，如图1所示，所述螺栓异常检测方法包括步骤S100～步骤S500，以下详细说明。
步骤S100.获取待测螺栓的3D点云图像。
在一些实施例中，所述待测螺栓的3D点云图像由设置于巡检机器人上的3D相机拍摄得到。该实施例中，利用巡检机器人搭载3D相机采集螺栓的3D点云图像来检测螺栓是否松动等，无需人工操作，提高了检测效率。例如，目前在国铁车辆整备检修过程中由人工检测车辆螺栓松动，存在效率低、劳动强度大等缺点，若采用本实施例的方法，利用机器人对车辆进行自动巡检，同时利用3D相机对待测螺栓进行拍摄形成有序的3D点云图像来检测螺栓是否异常，可以解决人工检测存在的缺点。
步骤S200.将所述3D点云图像与模板点云进行配准。
在一些实施例中，将所述3D点云图像与模板点云进行配准，包括：
步骤S210.对所述3D点云图像进行直通滤波，滤除所述3D点云图像的xy平面内点云深度小于待测螺栓的z轴方向最小坐标值以及点云深度大于待测螺栓的z轴方向最大坐标值的点云。即，对xy平面内所有点云，将
Figure DEST_PATH_IMAGE002
和
Figure DEST_PATH_IMAGE004
的点云全部过滤，其中，z为点云z轴坐标值，a为待测螺栓的点云最小坐标值，b为待测螺栓的点云最大坐标值。
在一个实施例中，所述待测螺栓的3D点云图像由设置于巡检机器人上的3D相机拍摄得到，此时利用巡检机器人的定位精度对所述3D点云图像进行直通滤波。具体的，根据巡检机器人位置在z轴方向的定位精度，经过多次实验，取包括完整部件的最大的坐标
Figure DEST_PATH_IMAGE006
和最小的坐标
Figure DEST_PATH_IMAGE008
，则有效点云坐标z的范围为
Figure DEST_PATH_IMAGE010
，滤波算法把点云中所有 z 坐标在
Figure DEST_PATH_IMAGE012
范围外的点全部过滤掉。直通滤波能够在点云大概范围已知的情况下，可以快速、粗略筛选出有效点云，从而提高后期点云配准时的鲁棒性和算法运行速度。
步骤S220.对直通滤波后的3D点云图像进行掩码提取。
在一些实施例中，进行掩码提取时，只提取3D点云图像中待测螺栓内的点云，从而提高掩码提取的速度，同时降低了无效点云的干扰。
步骤S230.将掩码提取后的3D点云图像与预设的模板点云进行配准。
在一个实施例中，将掩码提取后的3D点云图像与预设的模板点云进行配准，包括：利用NDT算法进行3D点云图像与模板点云的第一次配准；利用ICP算法进行3D点云图像与模板点云的第二次配准。
利用NDT算法进行3D点云图像与模板点云的第一次配准，包括：
步骤K01.将模板点云细分为均匀大小的体素栅格单元，并计算每个体素单元格的均值向量
Figure DEST_PATH_IMAGE014
和协方差矩阵Cov。均值向量
Figure DEST_PATH_IMAGE016
和协方差矩阵Cov的计算公式为：
Figure DEST_PATH_IMAGE018
式中，
Figure DEST_PATH_IMAGE020
为体素单元格中包括的坐标，Tr为矩阵转置。
步骤K02. 初始化变换参数
Figure DEST_PATH_IMAGE022
（先对参数赋予0值进行初始化），其中，
Figure DEST_PATH_IMAGE024
为3D点云图像相对于模板点云x方向的平移量，
Figure DEST_PATH_IMAGE026
为3D点云图像相对于模板点云y方向的平移量，
Figure DEST_PATH_IMAGE028
为3D点云图像相对于模板点云z方向的平移量，
Figure DEST_PATH_IMAGE030
为3D点云图像相对于模板点云绕x轴的旋转角度，
Figure DEST_PATH_IMAGE032
为3D点云图像相对于模板点云绕y轴的旋转角度，
Figure DEST_PATH_IMAGE034
为3D点云图像相对于模板点云绕z轴的旋转角度。
步骤K03.对于待测螺栓的3D点云图像，通过矩阵变换Ｔ的形式将其变换到模板点云的体素栅格单元中。
Figure DEST_PATH_IMAGE036
式中，
Figure DEST_PATH_IMAGE038
为3D点云图像的第i个坐标，
Figure DEST_PATH_IMAGE040
为转换后的点云坐标，p为变换参数，T为转换函数。
Figure DEST_PATH_IMAGE042
式中，x、y、z为转换前的点云坐标，
Figure DEST_PATH_IMAGE044
为转换后的点云坐标。
步骤K04.根据正态分布参数（每个单元格点的均值向量
Figure DEST_PATH_IMAGE046
和协方差矩阵Cov）,计算每个转换点的概率密度PDF(Xi)，如下：
Figure DEST_PATH_IMAGE048
式中，D代表维度。
步骤K05. NDT配准得到目标函数Score，目标函数Score由计算每个网格的概率密度累加求和得到：
Figure DEST_PATH_IMAGE050
步骤K06.根据牛顿优化算法对目标函数Score进行优化，即寻找变换参数
Figure DEST_PATH_IMAGE052
使得目标函数Score的值最大。
步骤K07.跳转到步骤K03继续执行，直到达到收敛条件为止。
利用ICP算法进行3D点云图像与模板点云的第二次配准，包括：
步骤K11.在输入点云模型中取点集
Figure DEST_PATH_IMAGE054
。
步骤K12.找出目标点云
Figure DEST_PATH_IMAGE056
中对应的最近点集
Figure DEST_PATH_IMAGE058
，如果最小距离
Figure DEST_PATH_IMAGE060
小于阈值，则为有效的点对，否则为无效点对。
步骤K13. 用奇异值分解的方式计算坐标变换中的旋转矩阵Ｒ，从而得到平移向量ｔ，使得目标函数的值最小：
Figure DEST_PATH_IMAGE062
。
步骤K14. 用求得的旋转矩阵Ｒ与平移矩阵ｔ对输入点云 模型的点集Ｙ进行变化，新点集记做
Figure DEST_PATH_IMAGE064
。
步骤K15. 利用新求出的点集
Figure DEST_PATH_IMAGE066
与对应点
Figure DEST_PATH_IMAGE068
的平均距离:
Figure DEST_PATH_IMAGE070
。
步骤K16. 若d小于给定的阈值或者迭代次数超过了最大迭代次数，则停止迭代，否则回到步骤K13继续迭代，直至满足收敛条件。
步骤S300.将配准后的3D点云图像和模板点云转换为深度图像。
在一些实施例中，将配准后的3D点云图像和模板点云转换为深度图像，包括：利用所述3D相机的内参将配准后的3D点云图像映射为深度图像；利用所述3D相机的内参将配准后的模板点云映射为深度图像。
在一个实施例中，将配准后的3D点云图像和模板点云转换为深度图像的公式为：
Figure DEST_PATH_IMAGE072
其中fx和fy为相机x方向和y方向的焦距，cx和cy为光心位置；
Figure DEST_PATH_IMAGE074
为点云坐标；
Figure DEST_PATH_IMAGE076
为图像坐标位置。灰度值采用深度值归一化。公式为：
Figure DEST_PATH_IMAGE078
其中g为对应位置的灰度值，
Figure DEST_PATH_IMAGE080
为z轴方向坐标值，
Figure DEST_PATH_IMAGE082
最小坐标值，
Figure DEST_PATH_IMAGE084
为最大坐标值。
步骤S400. 测量3D点云图像对应的深度图像和模板点云对应的深度图像中的螺栓高度。
在一些实施例中，测量3D点云图像对应的深度图像和模板点云对应的深度图像中的螺栓高度，包括：
S410.在所述模板点云对应的深度图像中标注螺栓位置。
S420.在所述模板点云对应的深度图像中截取螺栓图像得到目标螺栓截图。
S430.在所述3D点云图像对应的深度图像中截取螺栓图像得到待测螺栓截图。
S440.测量目标螺栓截图和待测螺栓截图中的螺栓高度。
所述螺栓高度的测量公式为：
Figure DEST_PATH_IMAGE086
。
步骤S500.根据测量得到的所述螺栓高度判断待测螺栓是否异常。
一般的，根据测量得到的所述螺栓高度判断待测螺栓是否异常，包括：判断3D点云图像对应的螺栓高度与目标点云对应的螺栓高度的差值是否大于阈值，若所述差值大于阈值，则待测螺栓异常。
图2～图5为利用本实施例方法进行螺栓异常检测的一个例子。利用机器人上的3D相机拍照得到3D点云图像，并对3D点云图像进行直通滤波和掩码滤波。然后将3D点云图像与模板点云进行配准，图2为配准前的点云叠加，图3为配准后的点云叠加。利用3D相机的内参将配准后的3D点云图像与模板点云映射为深度图像，3D点云图像对应的待测深度图像如图4所示，模板点云对应的模板深度图像如图5所示，图中的框为标定好的螺栓位置。对待测深度图像和模板深度图像中标注的螺栓位置进行灰度值的高度测量，然后进行比较，若高度差值大于阈值（如1mm），则认为判定为螺栓松动。
本发明的第二方面提供了一种基于3D深度图像模板匹配的螺栓异常检测系统，如图6所示，所述螺栓异常检测系统包括点云获取模块、配准模块、图像转换模块、螺栓高度测量模块和判断模块。
点云获取模块，用于获取待测螺栓的3D点云图像。本实施例中，所述点云获取模块可用于执行图1所示的步骤S100，关于所述点云获取模块的具体描述可参对所述步骤S100的描述。
配准模块，用于将所述3D点云图像与模板点云进行配准。本实施例中，所述配准模块可用于执行图1所示的步骤S200，关于所述配准模块的具体描述可参对所述步骤S200的描述。
图像转换模块，用于将配准后的3D点云图像和模板点云转换为深度图像。本实施例中，所述图像转换模块可用于执行图1所示的步骤S300，关于所述图像转换模块的具体描述可参对所述步骤S300的描述。
螺栓高度测量模块，用于测量3D点云图像对应的深度图像和模板点云对应的深度图像中的螺栓高度。本实施例中，所述螺栓高度测量模块可用于执行图1所示的步骤S500，关于所述螺栓高度测量模块的具体描述可参对所述步骤S400的描述。
判断模块，用于根据测量得到的所述螺栓高度判断待测螺栓是否异常。本实施例中，所述判断模块可用于执行图1所示的步骤S500，关于所述判断模块的具体描述可参对所述步骤S500的描述。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.基于3D深度图像模板匹配的螺栓异常检测方法，其特征在于，包括：
获取待测螺栓的3D点云图像；
将所述3D点云图像与模板点云进行配准；
将配准后的3D点云图像和模板点云转换为深度图像；
测量3D点云图像对应的深度图像和模板点云对应的深度图像中的螺栓高度；
根据测量得到的所述螺栓高度判断待测螺栓是否异常；
将所述3D点云图像与模板点云进行配准，包括：
对所述3D点云图像进行直通滤波，滤除所述3D点云图像的xy平面内点云深度小于待测螺栓的最小深度的点云以及点云深度大于待测螺栓的最大深度的点云；
对直通滤波后的3D点云图像进行掩码提取；
将掩码提取后的3D点云图像与预设的模板点云进行配准；
所述待测螺栓的3D点云图像由设置于巡检机器人上的3D相机拍摄得到；
对所述3D点云图像进行直通滤波时，利用巡检机器人的定位精度对所述3D点云图像进行直通滤波。
2.根据权利要求1所述的基于3D深度图像模板匹配的螺栓异常检测方法，其特征在于，所述待测螺栓的3D点云图像由设置于巡检机器人上的3D相机拍摄得到。
3.根据权利要求1所述的基于3D深度图像模板匹配的螺栓异常检测方法，其特征在于，进行掩码提取时，只提取3D点云图像中待测螺栓内的点云。
4.根据权利要求1所述的基于3D深度图像模板匹配的螺栓异常检测方法，其特征在于，将掩码提取后的3D点云图像与预设的模板点云进行配准，包括：
利用NDT算法进行3D点云图像与模板点云的第一次配准；
利用ICP算法进行3D点云图像与模板点云的第二次配准。
5.根据权利要求2所述的基于3D深度图像模板匹配的螺栓异常检测方法，其特征在于，将配准后的3D点云图像和模板点云转换为深度图像，包括：
利用所述3D相机的内参将配准后的3D点云图像映射为深度图像；
利用所述3D相机的内参将配准后的模板点云映射为深度图像。
6.根据权利要求1所述的基于3D深度图像模板匹配的螺栓异常检测方法，其特征在于，测量3D点云图像对应的深度图像和模板点云对应的深度图像中的螺栓高度，包括：
在所述模板点云对应的深度图像中标注螺栓位置；
在所述模板点云对应的深度图像中截取螺栓图像得到目标螺栓截图；
在所述3D点云图像对应的深度图像中截取螺栓图像得到待测螺栓截图；
测量目标螺栓截图和待测螺栓截图中的螺栓高度。
7.根据权利要求1所述的基于3D深度图像模板匹配的螺栓异常检测方法，其特征在于，根据测量得到的所述螺栓高度判断待测螺栓是否异常，包括：
判断3D点云图像对应的螺栓高度与目标点云对应的螺栓高度的差值是否大于阈值，若所述差值大于阈值，则待测螺栓异常。
8.基于3D深度图像模板匹配的螺栓异常检测系统，其特征在于，包括：
点云获取模块，用于获取待测螺栓的3D点云图像；
配准模块，用于将所述3D点云图像与模板点云进行配准；
图像转换模块，用于将配准后的3D点云图像和模板点云转换为深度图像；
螺栓高度测量模块，用于测量3D点云图像对应的深度图像和模板点云对应的深度图像中的螺栓高度；
判断模块，用于根据测量得到的所述螺栓高度判断待测螺栓是否异常；
将所述3D点云图像与模板点云进行配准，包括：
对所述3D点云图像进行直通滤波，滤除所述3D点云图像的xy平面内点云深度小于待测螺栓的最小深度的点云以及点云深度大于待测螺栓的最大深度的点云；
对直通滤波后的3D点云图像进行掩码提取；
将掩码提取后的3D点云图像与预设的模板点云进行配准；
所述待测螺栓的3D点云图像由设置于巡检机器人上的3D相机拍摄得到；
对所述3D点云图像进行直通滤波时，利用巡检机器人的定位精度对所述3D点云图像进行直通滤波。
CN202211394810.0A 2022-11-09 2022-11-09 基于3d深度图像模板匹配的螺栓异常检测方法及系统 Active CN115439480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211394810.0A CN115439480B (zh) 2022-11-09 2022-11-09 基于3d深度图像模板匹配的螺栓异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211394810.0A CN115439480B (zh) 2022-11-09 2022-11-09 基于3d深度图像模板匹配的螺栓异常检测方法及系统

Publications (2)

Publication Number Publication Date
CN115439480A CN115439480A (zh) 2022-12-06
CN115439480B true CN115439480B (zh) 2023-02-28

Family

ID=84252929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211394810.0A Active CN115439480B (zh) 2022-11-09 2022-11-09 基于3d深度图像模板匹配的螺栓异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN115439480B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246127A (zh) * 2019-06-17 2019-09-17 南京工程学院 基于深度相机的工件识别与定位方法和系统、分拣系统
CN110455188A (zh) * 2019-08-25 2019-11-15 大连理工大学 单轴平移台与结构光3d传感器联合测量标定方法
CN112017225A (zh) * 2020-08-04 2020-12-01 华东师范大学 一种基于点云配准的深度图像匹配方法
CN112991347A (zh) * 2021-05-20 2021-06-18 西南交通大学 一种基于三维的列车螺栓松动检测方法
CN113808112A (zh) * 2021-09-22 2021-12-17 北京京东乾石科技有限公司 轨道扣件检测方法、电子设备和计算机可读介质
CN114549389A (zh) * 2020-11-18 2022-05-27 北京格灵深瞳信息技术有限公司 轮对踏面检测方法、装置、系统、终端及存储介质
CN114612363A (zh) * 2020-11-23 2022-06-10 北京格灵深瞳信息技术有限公司 螺栓松动检测方法，装置，电子设备及存储介质
CN114612412A (zh) * 2022-03-07 2022-06-10 杭州自适应科技有限公司 三维点云数据的处理方法及其用途、电子设备、存储介质
CN115294527A (zh) * 2022-08-09 2022-11-04 中铁隧道局集团有限公司 一种基于计算机视觉的地铁隧道破损检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11015902B2 (en) * 2013-05-09 2021-05-25 Shooting Simulator, Llc System and method for marksmanship training
CN111414798B (zh) * 2019-02-03 2022-12-06 沈阳工业大学 基于rgb-d图像的头部姿态检测方法及系统
CN112465903A (zh) * 2020-12-21 2021-03-09 上海交通大学宁波人工智能研究院 一种基于深度学习点云匹配的6dof物体姿态估计方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246127A (zh) * 2019-06-17 2019-09-17 南京工程学院 基于深度相机的工件识别与定位方法和系统、分拣系统
CN110455188A (zh) * 2019-08-25 2019-11-15 大连理工大学 单轴平移台与结构光3d传感器联合测量标定方法
CN112017225A (zh) * 2020-08-04 2020-12-01 华东师范大学 一种基于点云配准的深度图像匹配方法
CN114549389A (zh) * 2020-11-18 2022-05-27 北京格灵深瞳信息技术有限公司 轮对踏面检测方法、装置、系统、终端及存储介质
CN114612363A (zh) * 2020-11-23 2022-06-10 北京格灵深瞳信息技术有限公司 螺栓松动检测方法，装置，电子设备及存储介质
CN112991347A (zh) * 2021-05-20 2021-06-18 西南交通大学 一种基于三维的列车螺栓松动检测方法
CN113808112A (zh) * 2021-09-22 2021-12-17 北京京东乾石科技有限公司 轨道扣件检测方法、电子设备和计算机可读介质
CN114612412A (zh) * 2022-03-07 2022-06-10 杭州自适应科技有限公司 三维点云数据的处理方法及其用途、电子设备、存储介质
CN115294527A (zh) * 2022-08-09 2022-11-04 中铁隧道局集团有限公司 一种基于计算机视觉的地铁隧道破损检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于线结构光的钢轨扣件紧固状态检测方法;王乐等;《激光与光电子学进展 》;20210825;第58卷(第16期);第399-407页 *

Also Published As

Publication number Publication date
CN115439480A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN115937204B (zh) 一种焊管生产质量检测方法
CN111369516B (zh) 基于红外图像识别的变压器套管发热缺陷检测方法
CN112037203A (zh) 基于复杂工件外轮廓配准的侧表面缺陷检测方法及系统
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
CN108492327B (zh) Aoi图像匹配方法、系统、可读存储介质及智能设备
CN105139384B (zh) 缺陷胶囊检测的方法和装置
CN109815822A (zh) 基于广义Hough变换的巡检图零部件目标识别方法
CN107292926A (zh) 基于多图像序列的巡检机器人运动轨迹直线度测量方法
CN111524193B (zh) 一种物体二维尺寸的测量方法及测量装置
CN115619738A (zh) 一种模组侧缝焊焊后检测方法
CN113624225A (zh) 一种用于发动机定位销安装的位姿解算方法
CN108109154A (zh) 一种工件的新型定位及数据获取方法
CN112102395A (zh) 一种基于机器视觉的自主巡检的方法
CN115439480B (zh) 基于3d深度图像模板匹配的螺栓异常检测方法及系统
CN113095447B (zh) 一种基于图像识别的检测方法及系统
CN116091488B (zh) 一种发动机摇摆试验的位移测试方法及位移测试系统
CN111815580B (zh) 一种图像边缘识别方法及小模数齿轮模数检测方法
CN116067290B (zh) 一种发动机静力试验的位移测试方法及位移测试系统
JP2010009236A (ja) 平面領域推定装置及びプログラム
CN114964032B (zh) 基于机器视觉的盲孔深度测量方法及装置
CN111473944B (zh) 观测流场中存在复杂壁面的piv数据修正方法、装置
CN113793321B (zh) 基于机器视觉的铸件表面缺陷动态检测方法及装置
CN114445636A (zh) 一种列车底部项点映射方法
Lin et al. X-ray imaging inspection system for blind holes in the intermediate layer of printed circuit boards with neural network identification
CN112816053A (zh) 一种船舶设备的非接触式振动信息检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant