CN112381791A - 一种基于3d点云的螺栓松动检测方法 - Google Patents
一种基于3d点云的螺栓松动检测方法 Download PDFInfo
- Publication number
- CN112381791A CN112381791A CN202011270900.XA CN202011270900A CN112381791A CN 112381791 A CN112381791 A CN 112381791A CN 202011270900 A CN202011270900 A CN 202011270900A CN 112381791 A CN112381791 A CN 112381791A
- Authority
- CN
- China
- Prior art keywords
- picture
- bolt
- tested
- position information
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000010586 diagram Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000009827 uniform distribution Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 12
- 238000007689 inspection Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001394244 Planea Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请提出一种基于3D点云的螺栓松动检测方法，属于铁路故障检测技术领域。通过获取螺栓松动检测订单请求；对包含螺栓位置信息的标准图片和待测试图片进行预处理，得到处理后的包含螺栓位置信息的标准图片和处理后的待测试图片；将处理后的包含螺栓位置信息的标准图片和处理后的待测试图片进行配准，得到待测试图片螺栓位置信息；根据待测图片螺栓位置信息，在处理后的待测试图片中对应的3D点云图片中裁剪出对应坐标位置的螺栓3D点云图；根据螺栓3D点云图，判断螺栓是否松动，并输出螺栓是否松动的结果。具有检测效率高，实时性好，节省人力成本的有益效果。
Description
技术领域
本申请涉及铁路故障检测技术领域，尤其涉及一种基于3D点云的螺栓松动检测方法。
背景技术
地铁点检大致分为列检、月检,、定修、架修和厂修这五种。列检也称为日检，就是每天都会进行的一项检查，主要检查轮对,弹簧,转向架,蓄电池等容易出现危及行车安全的各主要部件外观情况，并对危及行车安全的故障及时进行修理。在检查各个主要部件的时候，检查部件的螺栓是否发生松动都是必不可缺的步骤。
我国地铁里程世界第一，大量运行的地铁车辆每天产生的螺栓点检工作十分繁重。目前的人工点检方法是观察放松线是否发生转动再手工确认。工作繁琐，长期工作易产生疲劳并造成误检，留下安全隐患。
在现有技术中，一直采用人工巡检方法，容易受外界环境和巡检员自身客观因素的影响，且具有检测效率低下，实时性差，造成人力资源的浪费等诸多不足。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
本申请提供的技术方案如下：
一种基于3D点云的螺栓松动检测方法，包括：
获取螺栓松动检测订单请求，所述订单请求中包括包含螺栓位置信息的标准图片和待测试图片；
所述包含螺栓位置信息的标准图片包括2D图片和3D点云图片，所述待测试图片包括2D图片和3D点云图片；
对所述包含螺栓位置信息的标准图片和待测试图片进行预处理，得到处理后的包含螺栓位置信息的标准图片和处理后的待测试图片；
将所述处理后的包含螺栓位置信息的标准图片和处理后的待测试图片进行配准，得到待测试图片螺栓位置信息；
根据待测图片螺栓位置信息，在处理后的待测试图片中对应的3D点云图片中裁剪出对应坐标位置的螺栓3D点云图；
根据所述螺栓点3D云图，判断螺栓是否松动，并输出螺栓是否松动的结果。
进一步地，对所述包含螺栓位置信息的标准图片和待测试图片进行预处理，包括：
获取包含螺栓位置信息的标准图片和待测试图片的直方图信息，得到一个变化函数；
根据所述变化函数，将所述包含螺栓位置信息的标准图片和待测试图片的灰度分布进行近似均匀分布，得到处理后的包含螺栓位置信息的标准图片和处理后的待测试图片。
进一步地，将所述处理后的标准图片与所述处理后的待测试图片记性图像配准，采用基于ORB特征的GMS配准方法，对螺钉区域进行配准。
进一步地，在根据所述螺栓点云图，判断螺栓是否松动之前，还包括：
对所述螺栓点云图进行体素降采样和去除离群点操作。
进一步地，对所述螺栓点云图进行体素降采样，包括：
根据所述点云图的点云数据，分别计算X、Y以及Z方向上的最大值和最小值；
根据各个方向上的最大值和最小值，确定一个立方体状的初始体素。
进一步地，所述去除离群点操作为通过半径滤波移除离群点，以使没有达到要求的点云会被认为是离群点，被筛除掉。
进一步地，根据所述螺栓点云图，判断螺栓是否松动，并输出螺栓是否松动的结果，包括：
通过Ransac算法找出螺帽和基座平面，得到模板图和测试图对应的螺帽平面和底座平面；
计算模板图和测试图对应的螺帽面与底座面的距离；
如果模板图和测试图的距离差大于预设阈值，则认为螺栓发生松动；
输出判断结果。
进一步地，所述通过Ransac算法找出螺帽和基座平面，包括：
通过Ransac算法找出目标项点点云中重要程度排名前4的平面；
将4个平面两两组合得到6种组合；
分别计算6种组合的两平面间距离和夹角；
当所述组合的两平面间夹角大于预设角度时或当所述组合的两平面间距离不在预设范围之间时，剔除所述组合；
根据距离和重心间距离计算损失函数确定最佳平面组合。
进一步地，所述预设角度为10度，所述预设范围为1mm-60mm。
进一步地，所述预设阈值为0.4mm。
本申请提供的技术方案具有如下技术效果：
本申请通获取获取螺栓松动检测订单请求，订单请求中包括包含螺栓位置信息的标准图片和待测试图片；包含螺栓位置信息的标准图片包括2D图片和3D点云图片，待测试图片包括2D图片和3D点云图片；对包含螺栓位置信息的标准图片和待测试图片进行预处理，得到处理后的包含螺栓位置信息的标准图片和处理后的待测试图片；将处理后的包含螺栓位置信息的标准图片和处理后的待测试图片进行配准，得到待测试图片螺栓位置信息；根据待测图片螺栓位置信息，在处理后的待测试图片中对应的3D点云图片中裁剪出对应坐标位置的螺栓3D点云图；根据螺栓点3D云图，判断螺栓是否松动，并输出螺栓是否松动的结。具有检测效率高，实时性好，节省人力成本的有益效果。
本申请附加的各方面和优点将在下面的描述中部分给出，附加的各方面和优点部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请一个实施例提供的一种基于3D点云的螺栓松动检测方法流程示意图；
图2是本申请另一个实施例提供的一种基于3D点云的螺栓松动检测方法流程示意图；
图3是本申请实施例对原图进行图像预处理的效果图；
图4是本申请一个实施例提供的特征点匹配示意图；
图5是本申请一个实施例提供的一个标准图与测试图2D图像下裁剪后的示意图；
图6是本申请一个实施例提供的体素降采样流程示意图。
图7是本申请一个实施例所提供的目标项点2D图；
图8是本申请一个实施例所提供的目标项点3D俯视图；
图9是本申请一个实施例所提供一个目标项点的裁剪后的示意图；
图10是本申请一个实施例所提供的RadiusOutlierRemoval工作原理图；
图11是本申请另一个实施例所提供的一种基于3D点云的螺栓松动检测方法流程示意图；
图12是本申请一个实施例所提供的寻找目标项点的流程示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
如图1所示，为本申请一个实施例提供的一种基于3D点云的螺栓松动检测方法步骤流程图，包括：
步骤S101、获取螺栓松动检测订单请求，所述订单请求中包括包含螺栓位置信息的标准图片和待测试图片；所述包含螺栓位置信息的标准图片包括2D图片和3D点云图片，所述待测试图片包括2D图片和3D点云图片；
在一个实施例中，用户想测试螺栓是否松动，在待测试的位置，设置2D相机和3D相机。2D相机和3D相机共同采集相同位置区域的2D图片和3D点云图片，该位置区域中包括有若干螺栓。
步骤S102、对包含螺栓位置信息的标准图片和待测试图片进行预处理，得到处理后的包含螺栓位置信息的标准图片和处理后的待测试图片；
其中，对包含螺栓位置信息的标准图片和待测试图片进行预处理主要是对2D图片进行预处理，以提高图片质量，消除位移带来的干扰。
步骤S103、将处理后的包含螺栓位置信息的标准图片和处理后的待测试图片进行配准，得到待测试图片螺栓位置信息；
步骤S104、根据待测图片螺栓位置信息，在处理后的待测试图片中对应的3D点云图片中裁剪出对应坐标位置的螺栓3D点云图；
步骤S105、根据螺栓点3D云图，判断螺栓是否松动，并输出螺栓是否松动的结果。
本申请通获取获取螺栓松动检测订单请求，订单请求中包括包含螺栓位置信息的标准图片和待测试图片；包含螺栓位置信息的标准图片包括2D图片和3D点云图片，待测试图片包括2D图片和3D点云图片；对包含螺栓位置信息的标准图片和待测试图片进行预处理，得到处理后的包含螺栓位置信息的标准图片和处理后的待测试图片；将处理后的包含螺栓位置信息的标准图片和处理后的待测试图片进行配准，得到待测试图片螺栓位置信息；根据待测图片螺栓位置信息，在处理后的待测试图片中对应的3D点云图片中裁剪出对应坐标位置的螺栓3D点云图；根据螺栓点3D云图，判断螺栓是否松动，并输出螺栓是否松动的结。具有检测效率高，实时性好，节省人力成本的有益效果。
一些实施例中，对所述包含螺栓位置信息的标准图片和待测试图片进行预处理，包括以下步骤：
步骤201、获取包含螺栓位置信息的标准图片和待测试图片的直方图信息，得到一个变化函数；
步骤202、根据所述变化函数，将所述包含螺栓位置信息的标准图片和待测试图片的灰度分布进行近似均匀分布，得到处理后的包含螺栓位置信息的标准图片和处理后的待测试图片。
在实际操作中，由于拍摄环境，目标位置不同，采集到的图像质量不同。经典图像处理中，常用的图像处理方法有：直方图均衡化，图像锐化，Gamma亮度矫正等。经过实验，本申请采用直方图均衡化结合亮度矫正算法对图像进行预处理。
直方图均衡化是以图像的像素操作为基础，对图像的灰度进行变换，通常暗图像的直方图集中在灰度较低的一侧，而亮图像的直方图偏向于灰度较高的一侧，直方图均衡化算法通过输入图像的直方图信息，得到一个变化函数，利用该变化函数可以将输入图像的灰度分布近似均匀分布，使图像的细节更为丰富。
如图3所示为本申请所提供的一个实施例对原图进行图像预处理的效果图，图3中，左侧为待处理的原图，右侧为经过直方均衡化后的效果图。在具体实施的过程中，为了减少背景、反光区的影响，只对项点区域进行图像预处理。
一些实施例中，将所述处理后的标准图片与所述处理后的待测试图片记性图像配准，采用基于ORB特征的GMS配准方法，对螺钉区域进行配准。
常见的图像配准算法主要分为基于灰度信息和基于特征的算法。本申请采用基于特征点匹配的算法。常用的特征点提取算法包括SIFT，Harr，BRIEF，SURF，FAST，ORB等，目前也出现了一些基于卷积神经网络的配准方法。测试了多种配准方法后，本申请采用基于ORB特征的GMS配准方法，特征点匹配示意图如图4所示。
图4中，螺栓周围的特征点比较多，所以GMS在螺钉图像上的配准效果较好。为了进一步消除因反光区域特征太明显而产生的配准错误，采用只对螺钉区域(根据螺钉大小扩大出合适的大小)进行配准的策略。配准后根据模板图给出的信息分别框出并裁剪出模板图和测试图上项点区域。
为便于理解，图5为本申请还提供的一个标准图与测试图2D图像下裁剪后的示意图。
一些实施例中，在根据所述螺栓点云图，判断螺栓是否松动之前，还包括：对螺栓点云图进行体素降采样和去除离群点操作。
其中，对螺栓点云图进行体素降采样，包括以下步骤：
如图6所示，为本申请一个实施例所提供的体素降采样流程示意图。
步骤301、根据所述点云图的点云数据，分别计算X、Y以及Z方向上的最大值和最小值；
步骤302、根据各个方向上的最大值和最小值，确定一个立方体状的初始体素；
本申请还提供了一个目标项点的裁剪前后对照图；
其中，如图7所示，为本申请一个实施例所提供的目标项点2D图；
如图8所示，为本申请一个实施例所提供的目标项点3D俯视图；
如图9所示，为本申请一个实施例所提供一个目标项点的裁剪后的示意图。
需要说明的是，点云坐标系是三维坐标系(XYZ)，算法通过2D算法可以确定的XY平面上的项点区域坐标，在三维坐标系中将对应2D区域内Z轴方向全部点云信息裁出。
裁剪后的点云由于包含了Z轴方向的全部点云。所以会包含很多冗余信息，这些冗余信息会使算法处理速度减慢以及干扰算法计算产生误判。本申请的预处理方案使用open3D库对点云进行体素降采样和去除离群点操作。体素降采样分为点云体素化和降采样两个部分。
(1)点云体素化：根据输入的点云数据，分别计算出XYZ方向上的最大最小值，根据各个方向最大最小值可以确定一个立方体状的初始体素，初始体素中包含着所有点云；初始体素建立好后，对初始体素划分为更细的体素建立三维模型。存在点云位置的体素会被占用。划分的越细，体格越小，分辨率越高。
(2)体素降采样降采样：先声明一个表示降采样单位的变量voxel_size。每个呈占用状态的体素，通过以voxel_size为单位进行平均来精确地生成一个点。
本申请中，去除离群点操作为通过半径滤波移除离群点，以使没有达到要求的点云会被认为是离群点，被筛除掉。
在一个实施例里中，本申请通过RadiusOutlierRemoval即半径滤波移除离群点。半径滤波移除离群点的输入是目标点云、半径和最少点云数量。该离群算法会保证每一个点在输入半径内的近邻数量达到输入的最少点云数量。没有达到的要求的点云会被认为是离群点，被筛除掉。图10为本申请一个实施例所提供的RadiusOutlierRemoval工作原理图。
作为上述方法的进一步改进，如图11所示，为本申请一个实施例所提供的一种基于3D点云的螺栓松动检测方法流程示意图；
根据所述螺栓点云图，判断螺栓是否松动，并输出螺栓是否松动的结果，包括：
步骤401、通过Ransac算法找出螺帽和基座平面，得到模板图和测试图对应的螺帽平面和底座平面；
RANSAC是“RANdom SAmple Consensus(随机抽样一致)”的缩写。可以将一组数据通过反复迭代，分出“局内点”和“局外点”的算法。
RANSAC算法的输入是一组观测数据，一个可以解释或者适应于观测数据的参数化模型，一些可信的参数。RANSAC通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点，并用下述方法进行验证：
1)有一个模型适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出。
2)用(1)中得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点。
3)如果有足够多的点被归类为假设的局内点，那么估计的模型就足够合理。
4)然后，用所有假设的局内点去重新估计模型，因为它仅仅被初始的假设局内点估计过。
5)最后，通过估计局内点与模型的错误率来评估模型。
这个过程被重复执行固定的次数，每次产生的模型要么因为局内点太少而被舍弃，要么因为比现有的模型更好而被选用。
步骤402、计算模板图和测试图对应的螺帽面与底座面的距离；
步骤403、如果模板图和测试图的距离差大于预设阈值，则认为螺栓发生松动；
步骤404、输出判断结果。
一些实施例中，图12为本申请一个实施例所提供的寻找目标项点的流程示意图。
通过Ransac算法找出螺帽和基座平面，包括：
步骤401a、通过Ransac算法找出目标项点点云中重要程度排名前4的平面；
其中，使用Ransac算法寻找目标项点点云中重要程度排名前4的平面。重要程度的评价方式是平面含有点云的数量。
步骤401b、将4个平面两两组合得到6种组合；
计算筛选正确平面的指标：将4个平面两两组合可得到6种不重复的组合。分别计算6种组合的两平面间距离和夹角。
步骤401c、分别计算6种组合的两平面间距离和夹角；
步骤401d、当所述组合的两平面间夹角大于预设角度时或当所述组合的两平面间距离不在预设范围之间时，剔除所述组合。
步骤401e、根据距离和重心间距离计算损失函数挑选出最佳平面组合。
在一个实施例中，根据指标剔除不合格的平面组合：螺帽和底座的平面是近似平行的即小于预设角度，本申请中预设角度设置为10度，本领域技术人员可以根据实际情况进行设置，本申请对于预设角度不做具体限制。
螺帽和底座在一定的距离范围之内，本申请中预设距离范围为1mm-60mm。所以当两平面间夹角大于10度时，认为两平面不平行。或当两平面间距离不在1mm-60mm之间时，认为平面不合格。这两种情况的平面组合都会被算法从6个备用平面组合中剔除。
根据距离和重心间距离计算损失函数挑选出最佳平面组合：6个备用平面组合剔除不合格组合后，剩余部分计算cost，cost最小的组合被认为时最佳平面组合。
平面间损失计算公式：
以下为公式中变量说明，PlaneA：平面A的点云数量，PlaneB：平面B的点云数量，TP：平面B的点云数量，CDist_AB：平面AB的重心之间的距离。其中，1.5和0.01为系数。当两个平面点数越多，重心点间距离越近时，cost越小。
本申请通获取获取螺栓松动检测订单请求，订单请求中包括包含螺栓位置信息的标准图片和待测试图片；包含螺栓位置信息的标准图片包括2D图片和3D点云图片，待测试图片包括2D图片和3D点云图片；对包含螺栓位置信息的标准图片和待测试图片进行预处理，得到处理后的包含螺栓位置信息的标准图片和处理后的待测试图片；将处理后的包含螺栓位置信息的标准图片和处理后的待测试图片进行配准，得到待测试图片螺栓位置信息；根据待测图片螺栓位置信息，在处理后的待测试图片中对应的3D点云图片中裁剪出对应坐标位置的螺栓3D点云图；根据螺栓点3D云图，判断螺栓是否松动，并输出螺栓是否松动的结。本发明依赖性低，更灵活。3D算法计算时充分利用空间分布信息和深度信息，更加精准，与传统依靠观察防松线的方法相比依赖性低，更灵活。抗干扰能力强。点云数据采用红外线的发射和接收来实现测量，与传统拍摄方法相比，不受光源强弱的干扰。采集的数据更丰富。3D视觉测量可以测量与形状相关的特征，例如物体平直度、表面角度等。2D视觉只能测量单一平面上的信息。易于使用和维护。传统依靠防松线的算法，需要时刻保证放松线的清晰，本发明不需要维护防松线质量，也不需要人工逐一观察，节省了人力成本，更加方便。稳定性高，经过大量试验，本算法的误报率和漏报率极低符合实际应用要求。
可以理解的是，本实施例的装置、系统与上述方法实施例对应，具体内容可以参见方法实施例的相关描述，在此不再详细说明。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
可以理解的是，各个实施例中的具体数值只是一种示例，并不会对此进行限定。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGT)，现场可编程门阵列(FPGT)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于3D点云的螺栓松动检测方法，其特征在于，包括：
获取螺栓松动检测订单请求，所述订单请求中包括包含螺栓位置信息的标准图片和待测试图片；
所述包含螺栓位置信息的标准图片包括2D图片和3D点云图片，所述待测试图片包括2D图片和3D点云图片；
对所述包含螺栓位置信息的标准图片和待测试图片进行预处理，得到处理后的包含螺栓位置信息的标准图片和处理后的待测试图片；
将所述处理后的包含螺栓位置信息的标准图片和处理后的待测试图片进行配准，得到待测试图片螺栓位置信息；
根据待测图片螺栓位置信息，在处理后的待测试图片中对应的3D点云图片中裁剪出对应坐标位置的螺栓3D点云图；
根据所述螺栓点3D云图，判断螺栓是否松动，并输出螺栓是否松动的结果。
2.根据权利要求1所述的方法，其特征在于，对所述包含螺栓位置信息的标准图片和待测试图片进行预处理，包括：
获取包含螺栓位置信息的标准图片和待测试图片的直方图信息，得到一个变化函数；
根据所述变化函数，将所述包含螺栓位置信息的标准图片和待测试图片的灰度分布进行近似均匀分布，得到处理后的包含螺栓位置信息的标准图片和处理后的待测试图片。
3.根据权利要求1所述的方法，其特征在于，将所述处理后的标准图片与所述处理后的待测试图片进行图像配准，采用基于ORB特征的GMS配准方法，对螺钉区域进行配准。
4.根据权利要求1所述的方法，其特征在于，在根据所述螺栓点云图，判断螺栓是否松动之前，还包括：
对所述螺栓点云图进行体素降采样和去除离群点操作。
5.根据权利要求4所述的方法，其特征在于，对所述螺栓点云图进行体素降采样，包括：
根据所述点云图的点云数据，分别计算X、Y以及Z方向上的最大值和最小值；
根据各个方向上的最大值和最小值，确定一个立方体状的初始体素。
6.根据权利要求5所述的方法，其特征在于，所述去除离群点操作为通过半径滤波移除离群点，以使没有达到要求的点云会被认为是离群点，被筛除掉。
7.根据权利要求1所述的方法，其特征在于，根据所述螺栓点云图，判断螺栓是否松动，并输出螺栓是否松动的结果，包括：
通过Ransac算法找出螺帽和底座平面，得到模板图和测试图对应的螺帽平面和底座平面；
计算模板图和测试图对应的螺帽面与底座面的距离；
如果模板图和测试图的距离差大于预设阈值，则认为螺栓发生松动；
输出判断结果。
8.根据权利要求7所述的方法，其他特征在于，所述通过Ransac算法找出螺帽和底座平面，包括：
通过Ransac算法找出目标项点点云中重要程度排名前4的平面；
将4个平面两两组合得到6种组合；
分别计算6种组合的两平面间距离和夹角；
当所述组合的两平面间夹角大于预设角度时或当所述组合的两平面间距离不在预设范围之间时，剔除所述组合；
根据距离和重心间距离计算损失函数确定最佳平面组合。
9.根据权利要求8所述的方法，其特征在于，所述预设角度为10度，所述预设范围为1mm-60mm。
10.根据权利要求7所述的方法，其特征在于，所述预设阈值为0.4mm。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011270900.XA CN112381791A (zh) | 2020-11-13 | 2020-11-13 | 一种基于3d点云的螺栓松动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011270900.XA CN112381791A (zh) | 2020-11-13 | 2020-11-13 | 一种基于3d点云的螺栓松动检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112381791A true CN112381791A (zh) | 2021-02-19 |
Family
ID=74582582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011270900.XA Pending CN112381791A (zh) | 2020-11-13 | 2020-11-13 | 一种基于3d点云的螺栓松动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381791A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967257A (zh) * | 2021-03-11 | 2021-06-15 | 杭州申昊科技股份有限公司 | 一种基于视角转换的地铁螺帽松动检测方法 |
| CN112991347A (zh) * | 2021-05-20 | 2021-06-18 | 西南交通大学 | 一种基于三维的列车螺栓松动检测方法 |
| CN113639685A (zh) * | 2021-08-10 | 2021-11-12 | 杭州申昊科技股份有限公司 | 位移检测方法、装置、设备和存储介质 |
| CN113808096A (zh) * | 2021-09-14 | 2021-12-17 | 成都主导软件技术有限公司 | 一种非接触式的螺栓松动检测方法及其系统 |
| US11354814B2 (en) * | 2018-03-23 | 2022-06-07 | University Of Kansas | Vision-based fastener loosening detection |
| CN115861912A (zh) * | 2022-09-27 | 2023-03-28 | 北京京天威科技发展有限公司 | 一种螺栓松动状态检测系统和方法 |
| CN116067555A (zh) * | 2023-04-06 | 2023-05-05 | 西南交通大学 | 一种城市轨道交通用螺栓松动检测系统、方法及存储介质 |
| CN117168294A (zh) * | 2023-09-04 | 2023-12-05 | 大庆石油管理局有限公司 | 一种基于塔架式抽油机电机位移的螺丝松动报警装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009602A (zh) * | 2019-03-08 | 2019-07-12 | 唐山百川智能机器股份有限公司 | 紧固件防松标识的检测方法、系统存储介质及计算机设备 |
| CN110031476A (zh) * | 2019-03-27 | 2019-07-19 | 仲恺农业工程学院 | 一种大桥底座螺母螺杆松动或破裂的多目立体视觉检测装置与方法 |
| WO2019183475A1 (en) * | 2018-03-23 | 2019-09-26 | University Of Kansas | Vision-based fastener loosening detection |
| CN110688947A (zh) * | 2019-09-26 | 2020-01-14 | 西安知象光电科技有限公司 | 一种同步实现人脸三维点云特征点定位和人脸分割的方法 |
| CN111028220A (zh) * | 2019-12-11 | 2020-04-17 | 南京航空航天大学 | 一种点云铆钉齐平度自动检测方法 |
| CN111292294A (zh) * | 2020-01-20 | 2020-06-16 | 北京主导时代科技有限公司 | 一种库内车底部件异常检测方法及系统 |
| CN111289261A (zh) * | 2020-01-20 | 2020-06-16 | 成都主导科技有限责任公司 | 一种库内车底部件检测方法 |
| CN111457962A (zh) * | 2020-05-09 | 2020-07-28 | 同济大学 | 一种隧道内部病害的快速检测方法和检测装置 |
| CN111476767A (zh) * | 2020-04-02 | 2020-07-31 | 南昌工程学院 | 一种基于异源图像融合的高铁扣件缺陷识别方法 |
| CN111582285A (zh) * | 2020-04-28 | 2020-08-25 | 清华大学 | 点云图像的平面提取方法 |
-
2020
- 2020-11-13 CN CN202011270900.XA patent/CN112381791A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019183475A1 (en) * | 2018-03-23 | 2019-09-26 | University Of Kansas | Vision-based fastener loosening detection |
| CN110009602A (zh) * | 2019-03-08 | 2019-07-12 | 唐山百川智能机器股份有限公司 | 紧固件防松标识的检测方法、系统存储介质及计算机设备 |
| CN110031476A (zh) * | 2019-03-27 | 2019-07-19 | 仲恺农业工程学院 | 一种大桥底座螺母螺杆松动或破裂的多目立体视觉检测装置与方法 |
| CN110688947A (zh) * | 2019-09-26 | 2020-01-14 | 西安知象光电科技有限公司 | 一种同步实现人脸三维点云特征点定位和人脸分割的方法 |
| CN111028220A (zh) * | 2019-12-11 | 2020-04-17 | 南京航空航天大学 | 一种点云铆钉齐平度自动检测方法 |
| CN111292294A (zh) * | 2020-01-20 | 2020-06-16 | 北京主导时代科技有限公司 | 一种库内车底部件异常检测方法及系统 |
| CN111289261A (zh) * | 2020-01-20 | 2020-06-16 | 成都主导科技有限责任公司 | 一种库内车底部件检测方法 |
| CN111476767A (zh) * | 2020-04-02 | 2020-07-31 | 南昌工程学院 | 一种基于异源图像融合的高铁扣件缺陷识别方法 |
| CN111582285A (zh) * | 2020-04-28 | 2020-08-25 | 清华大学 | 点云图像的平面提取方法 |
| CN111457962A (zh) * | 2020-05-09 | 2020-07-28 | 同济大学 | 一种隧道内部病害的快速检测方法和检测装置 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11354814B2 (en) * | 2018-03-23 | 2022-06-07 | University Of Kansas | Vision-based fastener loosening detection |
| CN112967257A (zh) * | 2021-03-11 | 2021-06-15 | 杭州申昊科技股份有限公司 | 一种基于视角转换的地铁螺帽松动检测方法 |
| CN112991347A (zh) * | 2021-05-20 | 2021-06-18 | 西南交通大学 | 一种基于三维的列车螺栓松动检测方法 |
| CN113639685A (zh) * | 2021-08-10 | 2021-11-12 | 杭州申昊科技股份有限公司 | 位移检测方法、装置、设备和存储介质 |
| CN113639685B (zh) * | 2021-08-10 | 2023-10-03 | 杭州申昊科技股份有限公司 | 位移检测方法、装置、设备和存储介质 |
| CN113808096A (zh) * | 2021-09-14 | 2021-12-17 | 成都主导软件技术有限公司 | 一种非接触式的螺栓松动检测方法及其系统 |
| CN113808096B (zh) * | 2021-09-14 | 2024-01-30 | 成都主导软件技术有限公司 | 一种非接触式的螺栓松动检测方法及其系统 |
| CN115861912A (zh) * | 2022-09-27 | 2023-03-28 | 北京京天威科技发展有限公司 | 一种螺栓松动状态检测系统和方法 |
| CN116067555A (zh) * | 2023-04-06 | 2023-05-05 | 西南交通大学 | 一种城市轨道交通用螺栓松动检测系统、方法及存储介质 |
| CN116067555B (zh) * | 2023-04-06 | 2023-06-23 | 西南交通大学 | 一种城市轨道交通用螺栓松动检测系统、方法及存储介质 |
| CN117168294A (zh) * | 2023-09-04 | 2023-12-05 | 大庆石油管理局有限公司 | 一种基于塔架式抽油机电机位移的螺丝松动报警装置 |
| CN117168294B (zh) * | 2023-09-04 | 2024-04-30 | 大庆石油管理局有限公司 | 一种基于塔架式抽油机电机位移的螺丝松动报警装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112381791A (zh) | 一种基于3d点云的螺栓松动检测方法 | |
| CN109949305B (zh) | 产品表面缺陷检测方法、装置及计算机设备 | |
| CN109087274B (zh) | 基于多维融合及语义分割的电子器件缺陷检测方法及装置 | |
| TWI618161B (zh) | 使用設計資料於半導體晶圓上偵測重複缺陷之方法、系統及非暫時性電腦可讀媒體 | |
| US8275189B2 (en) | Defect inspection system | |
| CN115082464A (zh) | 除尘机焊接过程中焊缝数据的识别方法及系统 | |
| CN112581457A (zh) | 一种基于三维点云的管道内表面检测方法及装置 | |
| CN112669318B (zh) | 表面缺陷检测方法、装置、设备及存储介质 | |
| CN111709948B (zh) | 容器瑕疵检测方法和装置 | |
| CN105913415A (zh) | 一种具有广泛适应性的图像亚像素边缘提取方法 | |
| CN108257171A (zh) | 基于光视觉的汽车雷达装配孔径检测方法 | |
| CN112033965A (zh) | 基于差分图像分析的3d弧形表面缺陷检测方法 | |
| CN107004266A (zh) | 检测轮胎表面上缺陷的方法 | |
| CN109283182A (zh) | 一种电池焊点缺陷的检测方法、装置及系统 | |
| CN115471486A (zh) | 一种交换机接口完好性检测方法 | |
| CN114719749B (zh) | 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN112802022B (zh) | 智能检测缺陷玻璃图像的方法、电子设备以及存储介质 | |
| CN116883446B (zh) | 一种车载摄像头镜片碾磨程度实时监测系统 | |
| CN117274258A (zh) | 主板图像的缺陷检测方法、系统、设备及存储介质 | |
| CN115761257A (zh) | 基于计算机视觉技术的零部件角度检测方法及装置 | |
| CN114529543B (zh) | 一种航空发动机外周螺钉垫片的安装检测方法及装置 | |
| Li et al. | Vehicle seat detection based on improved RANSAC-SURF algorithm | |
| Chaudhary et al. | Measurement of the size and spacing of standard wire sieves using an image processing system and wavelet transform | |
| Sun et al. | Research on Both the Classification and Quality Control Methods of the Car Seat Backrest Based on Machine Vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |