CN116051540B - 基于点云模型的互感器接线端子定位位姿获取方法及系统 - Google Patents

基于点云模型的互感器接线端子定位位姿获取方法及系统 Download PDF

Info

Publication number
CN116051540B
CN116051540B CN202310200508.5A CN202310200508A CN116051540B CN 116051540 B CN116051540 B CN 116051540B CN 202310200508 A CN202310200508 A CN 202310200508A CN 116051540 B CN116051540 B CN 116051540B
Authority
CN
China
Prior art keywords
point cloud
normal vector
cloud model
surface area
bounding box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310200508.5A
Other languages
English (en)
Other versions
CN116051540A (zh
Inventor
赵云涛
黄杰
李维刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haizhimo 3d Technology Kunshan Co ltd
Wuhan University of Science and Engineering WUSE
Original Assignee
Haizhimo 3d Technology Kunshan Co ltd
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haizhimo 3d Technology Kunshan Co ltd, Wuhan University of Science and Engineering WUSE filed Critical Haizhimo 3d Technology Kunshan Co ltd
Priority to CN202310200508.5A priority Critical patent/CN116051540B/zh
Publication of CN116051540A publication Critical patent/CN116051540A/zh
Application granted granted Critical
Publication of CN116051540B publication Critical patent/CN116051540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于点云模型的互感器接线端子定位位姿获取方法及系统，该方法步骤包括：S1）采集数据并生成点云模型；S2）对点云模型进行预处理得到理想目标点云模型；S3）获取理想目标点云模型各个表面区域；S4）求解得到各个表面区域的法向量估计；S5）根据各个表面区域的法向量估计，确定接线端子包围盒主轴方向并生成接线端子最优包围盒；S6）计算接线端子最优包围盒在机器人基坐标系下的坐标姿态和中心点空间坐标，得到接线端子定位位姿。本发明能够有效地对不同情况下的接线端子进行定位位姿获取，能够满足各种定位要求，具有较高的精度和较好的鲁棒性。

Description

基于点云模型的互感器接线端子定位位姿获取方法及系统
技术领域
本发明涉及通信技术领域，具体涉及一种基于点云模型的互感器接线端子定位位姿获取方法及系统。
背景技术
目前，互感器是电力系统中担负测量、计量、保护等功能的电力设备，其接线端子作为重要的连接部分，长期暴露在复杂糟糕的室外环境中，非常容易发生损坏，更加需要定期的维护和检修。传统的检修方式主要以人工高空作业为主，不仅检修效率低下，还存在极大的安全隐患。如何实现针对互感器接线端子的自主识别定位，将在电网检修智能化和无人化过程中发挥重要的技术价值。
近些年，随着点云处理技术逐渐发展完善，3D视觉越来越多地被投入到实际应用中，相较于以往的2D图像处理技术可以获取更多关于目标的空间特征信息，尤其在工件定位领域，对于提升系统精度至关重要。在点云处理技术中，最小包围盒多应用于碰撞检测，目前的主流包围盒方法是使用主成分分析，根据点云数据，计算特征向量，以此作为主轴方向。但其只能采集到目标物体的部分表面点云数据，主成分分析会趋向数据最为分散的方向为主要成分，导致包围盒出现偏差。
发明内容
本发明的目的在于克服现有技术之缺陷，考虑到电网中大型接线端子为长方体的外形特征，本发明将包围盒方法进行改进，提出一种基于点云模型的互感器接线端子定位位姿获取方法及系统，该方法基于点云模型法向量估计方法，确定包围盒主轴方向，生成接线端子最优包围盒，进而获取接线端子定位位姿。本发明能够有效地对不同情况下的接线端子进行定位位姿获取，能够满足各种定位要求，具有较高的精度和较好的鲁棒性。
为了到达预期效果，本发明采用了以下技术方案：
本发明公开了一种基于点云模型的互感器接线端子定位位姿获取方法，包括：
S1）采集数据并生成点云模型；
S2）对点云模型进行预处理得到理想目标点云模型；
S3）获取理想目标点云模型各个表面区域；
S4）求解得到各个表面区域的法向量估计；
S5）根据各个表面区域的法向量估计，确定接线端子包围盒主轴方向并生成接线端子最优包围盒；
S6）计算接线端子最优包围盒在机器人基坐标系下的坐标姿态和中心点空间坐标，得到接线端子定位位姿。
进一步地，所述S1）具体包括：通过3D相机从多个角度采集点云数据并生成3D点云模型。
进一步地，所述S2）具体步骤包括：
S201）读取点云模型中的点云数据；
S202）通过体素滤波器对点云数据进行降采样；
S203）将降采样后的点云数据移至机器人坐标系下完成粗略分割；
S204）将粗略分割后的点云数据进行去噪得到理想目标点云模型。
进一步地，所述S3）具体包括：采用区域生长的聚类方式提取点云模型法线方向近似的各个表面区域。
进一步地，所述采用区域生长的聚类方式提取点云模型法线方向近似的各个表面区域，具体包括：
S301）依据点云模型中点的曲率值对点进行排序，选择曲率值最小的点作为初始种子点，将初始种子点加入种子点序列；
S302）搜索当前种子点的近域点；
S303）当近域点的法线与当前种子点的法线之间的夹角小于平滑阀值时，将当前种子点加入聚类区域；
S304）当近域点的曲率值小于曲率阈值时，将近域点加入种子点序列，并删除当前种子点；
S305）判断种子点序列是否为空，如果是，则判定聚类完成，提取得到点云模型法线方向近似的各个表面区域，否则执行S302）。
进一步地，所述S4）具体包括：通过球坐标系转换和最小二乘法求解得到各个表面区域的法向量估计。
进一步地，所述S5）具体包括：
S501）将各个表面区域的法向量估计反变换回直角坐标系；
S502）当两个表面区域法向量估计之间角度最接近
Figure SMS_1
时，将较小的表面区域的法向量估计映射到较大的表面区域的法向量估计所正交的平面并进行正交化；
S503）得到相互正交的三个法向量估计，且满足右手定则时，选择较大的表面区域的法向量估计作为接线端子主轴方向；
S504）根据接线端子包围盒主轴方向生成接线端子最优包围盒。
进一步地，所述S6）具体包括：通过空间仿射变换，计算接线端子最优包围盒在机器人基坐标系下的坐标姿态和中心点空间坐标，得到接线端子定位位姿。
进一步地，根据接线端子定位位姿，通过对X、Y、Z三轴进行以
Figure SMS_2
为单位的归一化旋转得到统一的接线端子包围盒的最终定位位姿。
本发明还公开了一种基于点云模型的互感器接线端子定位位姿获取系统，包括：
采集模块，用于采集数据；
模型生成模块，用于根据采集数据生成点云模型；
预处理模块，用于对点云模型进行预处理得到理想目标点云模型；
定位模块，用于获取理想目标点云模型各个表面区域；用于求解得到各个表面区域的法向量估计；用于根据各个表面区域的法向量估计，确定接线端子包围盒主轴方向并生成接线端子最优包围盒；用于计算接线端子最优包围盒在机器人基坐标系下的坐标姿态和中心点空间坐标，得到接线端子定位位姿。
与现有技术相比，本发明的有益效果是：本发明公开了一种基于点云模型的互感器接线端子定位位姿获取方法及系统，该方法步骤包括：S1）采集数据并生成点云模型；S2）对点云模型进行预处理得到理想目标点云模型；S3）获取理想目标点云模型各个表面区域；S4）求解得到各个表面区域的法向量估计；S5）根据各个表面区域的法向量估计，确定接线端子包围盒主轴方向并生成接线端子最优包围盒；S6）计算接线端子最优包围盒在机器人基坐标系下的坐标姿态和中心点空间坐标，得到接线端子定位位姿。考虑到电网中大型接线端子为长方体的外形特征，本发明将包围盒方法进行改进，提出一种基于点云模型的互感器接线端子定位位姿获取方法及系统，该方法基于点云模型法向量估计方法，确定包围盒主轴方向，生成接线端子最优包围盒，进而获取接线端子定位位姿。本发明能够有效地对不同情况下的接线端子进行定位位姿获取，能够满足各种定位要求，具有较高的精度和较好的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种基于点云模型的互感器接线端子定位位姿获取方法的流程图。
图2是本发明实施例提供的一种基于点云模型的互感器接线端子定位位姿获取方法的得到理想目标点云模型的流程图。
图3是本发明实施例提供的一种基于点云模型的互感器接线端子定位位姿获取方法的获取理想目标点云模型各个表面区域的流程图。
图4是本发明实施例提供的一种基于点云模型的互感器接线端子定位位姿获取方法的确定接线端子包围盒主轴方向并生成接线端子最优包围盒的流程图。
图5是本发明实施例提供的一种基于点云模型的互感器接线端子定位位姿获取方法的点云模型处理可视化结果示意图。
图6是本发明实施例提供的一种基于点云模型的互感器接线端子定位位姿获取方法的基于法向量估计得到的最优包围盒效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
参见图1至图6，本发明公开了一种基于点云模型的互感器接线端子定位位姿获取方法，包括：
S1）采集数据并生成点云模型；具体地，受设备条件、人员操作、被测物体表面材质及其所摆放空间的环境等多种因素的影响，采集到的初始点云数据不可避免的会出现离群点、噪声点和其他非目标点集，对点云的后续处理及其不利，会严重影响系统定位的精度。初始生成的点云模型比较粗糙，不够精确，噪音较多，需要进行处理后才能用于定位。
S2）对点云模型进行预处理得到理想目标点云模型；具体地，高精度的结构光相机所采集的初始点云数据大小往往高达几万甚至几十万点，如此庞大的数据量无论是对于坐标转换还是后续的其他处理都是非常不利的。为提高定位精度，需要对初始生成的点云模型进行预处理得到理想目标点云模型。
S3）获取理想目标点云模型各个表面区域；具体地，这里的各个表面区域指的是法线方向较为一致的近似的表面区域，这一步是为了后续得到法向量估计和包围盒。
S4）求解得到各个表面区域的法向量估计；具体地，表面法线作为点云的基本重要属性之一，具有刚体运动不变性，点云中每个点的法线方向和曲率值均不随物体的运动而改变。通过估算点云模型各个表面区域的法线进而得到法向量估计能够使法向量估计不随物体的运动而改变。
S5）根据各个表面区域的法向量估计，确定接线端子包围盒主轴方向并生成接线端子最优包围盒；具体地，通过对点云表面法线的处理来确定互感器接线端子包围盒的主轴方向，可以使得包围盒的主轴方向同样具有刚体运动不变的特性，特别是类长方物体表面法向量方向与理想包围盒主轴方向在很高程度上是相近的。
S6）计算接线端子最优包围盒在机器人基坐标系下的坐标姿态和中心点空间坐标，得到接线端子定位位姿。具体地，在端子定位测试平台上将目标接线端子以随机不同的姿态摆放在相机和机器人的工作区间以内，进而计算接线端子最优包围盒在机器人基坐标系下的坐标姿态和中心点空间坐标并得到接线端子定位位姿。
优选的实施例中，所述S1）具体包括：通过3D相机从多个角度采集点云数据并生成3D点云模型。在实际定位应用中，相较于以往的2D图像处理技术，3D视觉处理技术可以获取更多关于目标的空间特征信息，尤其在工件定位领域，对于提升系统精度至关重要。
优选的实施例中，所述S2）具体步骤包括：
S201）读取点云模型中的点云数据；
S202）通过体素滤波器对点云数据进行降采样；体素滤波器通过体素化网格方法，将体素内所有点用一个重心点表示，实现对初始点云数据的降采样，减少点云数量的同时，保持了点云的形状特征，并在一定程度上使得点云分布更均匀。
S203）将降采样后的点云数据移至机器人坐标系下完成粗略分割；根据手眼标定得到的转换矩阵和相机采样点位姿参数，将降采样后的点云数据移至机器人坐标系下完成粗略分割。具体地，综合考虑机器人的有效工作空间和点云分布情况，通过直通滤波器沿坐标轴设定作用范围，将限定范围外的点云全部移除，完成较为粗略的分割。但还存在部分离群点，生成包围盒时依然会因此受到影响。
S204）将粗略分割后的点云数据进行去噪得到理想目标点云模型。统计滤波器通过统计和计算输入数据中点与其相邻点之间的距离分布，能够较好的解决粗略分割后所遗留的问题，进一步地去除稀疏离群的噪声点，得到理想目标点云模型。滤波是进行点云分割、去噪和提高定位精度的关键步骤。
优选的实施例中，所述S3）具体包括：采用区域生长的聚类方式提取点云模型法线方向近似的各个表面区域。因为点云模型表面法线的向量集方向较为杂乱，并不是所有点的法线都适用于确定包围盒的主轴方向。因此，采用区域生长的聚类方式分离提取出法线方向较为一致的近似的表面区域，能够排除掉法线方向偏差较大的点。
优选的实施例中，所述采用区域生长的聚类方式提取点云模型法线方向近似的各个表面区域，具体包括：
S301）依据点云模型中点的曲率值对点进行排序，选择曲率值最小的点作为初始种子点，将初始种子点加入种子点序列；
S302）搜索当前种子点的近域点；
S303）当近域点的法线与当前种子点的法线之间的夹角小于平滑阀值时，将当前种子点加入聚类区域；
S304）当近域点的曲率值小于曲率阈值时，将近域点加入种子点序列，并删除当前种子点；
S305）判断种子点序列是否为空，如果是，则判定聚类完成，提取得到点云模型法线方向近似的各个表面区域，否则执行S302）。
首先依据点的曲率值对点进行排序，选择曲率值最小的点为初始种子点，设置一个空的种子点序列和一个空的聚类区域。选好初始种子后，将其加入到种子点序列中，并搜索当前种子点的近域点，比较每个近域点的法线与当前种子点的法线之间的夹角，小于平滑阀值的将当前种子点加入到当前聚类区域，然后检测每一个近域点的曲率值，将小于曲率阀值的近域点加入到种子点序列中，同时删除当前种子点。循环执行以上步骤，直到种子点序列为空，则判定聚类完成，即提取得到点云模型法线方向近似的各个表面区域。如图5所示。
优选的实施例中，所述S4）具体包括：通过球坐标系转换和最小二乘法求解得到各个表面区域的法向量估计。具体地，首先，每个表面区域点集的法线均为单位向量的数据形式，将其转换至球坐标系下进行计算。所采用的公式为：
Figure SMS_3
，
其中，
Figure SMS_4
为区域内点/>
Figure SMS_5
法线在球坐标系下的表示，/>
Figure SMS_6
为/>
Figure SMS_7
法线在直角坐标系下的单位向量表示，/>
Figure SMS_8
。
其次，在球坐标系下，任意两个单位向量的夹角
Figure SMS_9
与它们的末端距离L存在以下代换关系：/>
Figure SMS_10
。假设存在一个单位向量/>
Figure SMS_11
，在球坐标系下的表示为
Figure SMS_12
，使得区域内所有法线与/>
Figure SMS_13
的角度总误差最小，即代价函数/>
Figure SMS_14
取得最小值，则称/>
Figure SMS_15
为该区域法向量方向的最优表示，定义为法向量估计。
其中，
Figure SMS_16
。
对
Figure SMS_17
求/>
Figure SMS_18
和/>
Figure SMS_19
的偏导，即/>
Figure SMS_20
，解得
Figure SMS_21
。
优选的实施例中，所述S5）具体包括：
S501）将各个表面区域的法向量估计反变换回直角坐标系；具体地，将法向量估计
Figure SMS_22
反变换回直角坐标系所采用的公式为：/>
Figure SMS_23
，
其中，
Figure SMS_24
为法向量估计在直角坐标系下的表示。
S502）当两个表面区域法向量估计之间角度最接近
Figure SMS_25
时，将较小的表面区域的法向量估计映射到较大的表面区域的法向量估计所正交的平面并进行正交化；具体地，计算各个区域法向量估计之间角度与/>
Figure SMS_26
的差值：
Figure SMS_27
，
其中，
Figure SMS_28
分别为区域A和区域B的法向量估计，/>
Figure SMS_29
分别为区域A和区域B的面积大小。
当满足
Figure SMS_31
为最小值，即/>
Figure SMS_32
和/>
Figure SMS_34
之间夹角最接近/>
Figure SMS_36
时，取/>
Figure SMS_38
。选定
Figure SMS_41
作为主方向，将/>
Figure SMS_42
映射到/>
Figure SMS_30
所正交的平面，所采用的公式为：/>
Figure SMS_33
，其中，/>
Figure SMS_35
为/>
Figure SMS_37
到/>
Figure SMS_39
所正交的平面的映射，垂直于/>
Figure SMS_40
。
对
Figure SMS_43
进行正交化，得到/>
Figure SMS_44
相互正交，进行正交化所采用的公式为：/>
Figure SMS_45
。
S503）得到相互正交的三个法向量估计，且满足右手定则时，选择较大的表面区域的法向量估计作为接线端子主轴方向；
S504）根据接线端子包围盒主轴方向生成接线端子最优包围盒。具体地，求取包围盒的形心、长、宽、高等参数，进而生成最优包围盒。
优选的实施例中，所述S6）具体包括：通过空间仿射变换，计算接线端子最优包围盒在机器人基坐标系下的坐标姿态和中心点空间坐标，得到接线端子定位位姿。
优选的实施例中，根据接线端子定位位姿，通过对X、Y、Z三轴进行以
Figure SMS_46
为单位的归一化旋转得到统一的接线端子包围盒的最终定位位姿。最终定位位姿求取过程如下：
Figure SMS_47
；
其中，N为最优包围盒最终姿态相对于机器人基坐标系的旋转矩阵，
Figure SMS_48
为归一化旋转矩阵，/>
Figure SMS_49
为最优包围盒初始姿态相对于机器人基坐标系的旋转矩阵。
互感器接线端子的最终定位位姿Pose为：
Figure SMS_50
；
其中，
Figure SMS_51
为最优包围盒形心在机器人基坐标系下的空间坐标，
Figure SMS_52
为最优包围盒在机器人基坐标系下的空间旋转欧拉角，由旋转矩阵N变换得到。
为了检验定位方法的可行性和准确性，在接线端子定位测试平台上将目标端子以随机不同的姿态摆放在相机和机器人的工作区间以内。由3D相机从多个角度采集点云数据并生成3D点云模型，对不同位姿端子的点云进行预处理得到三组测试数据，如表1所示。
表1
测试1 测试2 测试3
偏差值/mm 0.62673 1.23170 1.26577
考虑到电网中大型接线端子为长方体的外形特征，本发明将包围盒方法进行改进，本发明基于点云模型法向量估计方法，确定包围盒主轴方向，生成接线端子最优包围盒，进而获取接线端子定位位姿。本发明能够有效地对不同情况下的接线端子进行定位位姿获取，能够满足各种定位要求，具有较高的精度和较好的鲁棒性。本发明的偏差控制在±1.5mm以内。
基于同一发明思路，本发明还公开了一种基于点云模型的互感器接线端子定位位姿获取系统，包括：
采集模块，用于采集数据；受设备条件、人员操作、被测物体表面材质及其所摆放空间的环境等多种因素的影响，采集到的初始点云数据不可避免的会出现离群点、噪声点和其他非目标点集，对点云的后续处理及其不利，会严重影响系统定位的精度。
模型生成模块，用于根据采集数据生成点云模型；初始生成的点云模型比较粗糙，不够精确，噪音较多，需要进行处理后才能用于定位。
预处理模块，用于对点云模型进行预处理得到理想目标点云模型；高精度的结构光相机所采集的初始点云数据大小往往高达几万甚至几十万点，如此庞大的数据量无论是对于坐标转换还是后续的其他处理都是非常不利的。为提高定位精度，需要对初始生成的点云模型进行预处理得到理想目标点云模型。
定位模块，用于获取理想目标点云模型各个表面区域；用于求解得到各个表面区域的法向量估计；用于根据各个表面区域的法向量估计，确定接线端子包围盒主轴方向并生成接线端子最优包围盒；用于计算接线端子最优包围盒在机器人基坐标系下的坐标姿态和中心点空间坐标，得到接线端子定位位姿。表面法线作为点云的基本重要属性之一，具有刚体运动不变性，点云中每个点的法线方向和曲率值均不随物体的运动而改变。包围盒的主轴同样具有刚体运动不变的特性，特别是类长方物体表面法向量方向与理想包围盒主轴方向很高程度上相近，可以通过对点云表面法线的处理来确定互感器接线端子包围盒的主轴方向。
优选的实施例中，通过3D相机从多个角度采集点云数据并生成3D点云模型。在实际定位应用中，相较于以往的2D图像处理技术，3D视觉处理技术可以获取更多关于目标的空间特征信息，尤其在工件定位领域，对于提升系统精度至关重要。
优选的实施例中，所述对点云模型进行预处理得到理想目标点云模型具体步骤包括：
S201）读取点云模型中的点云数据；
S202）通过体素滤波器对点云数据进行降采样；体素滤波器通过体素化网格方法，将体素内所有点用一个重心点表示，实现对初始点云数据的降采样，减少点云数量的同时，保持了点云的形状特征，并在一定程度上使得点云分布更均匀。
S203）将降采样后的点云数据移至机器人坐标系下完成粗略分割；根据手眼标定得到的转换矩阵和相机采样点位姿参数，将降采样后的点云数据移至机器人坐标系下完成粗略分割。具体地，综合考虑机器人的有效工作空间和点云分布情况，通过直通滤波器沿坐标轴设定作用范围，将限定范围外的点云全部移除，完成较为粗略的分割。但还存在部分离群点，生成包围盒时依然会因此受到影响。
S204）将粗略分割后的点云数据进行去噪得到理想目标点云模型。统计滤波器通过统计和计算输入数据中点与其相邻点之间的距离分布，能够较好的解决粗略分割后所遗留的问题，进一步地去除稀疏离群的噪声点，得到理想目标点云模型。滤波是进行点云分割、去噪和提高定位精度的关键步骤。
优选的实施例中，所述获取理想目标点云模型各个表面区域，具体包括：采用区域生长的聚类方式提取点云模型法线方向近似的各个表面区域。因为点云模型表面法线的向量集方向较为杂乱，并不是所有点的法线都适用于确定包围盒的主轴方向。因此，采用区域生长的聚类方式分离提取出法线方向较为一致的近似的表面区域，排除掉法线方向偏差较大的点。
优选的实施例中，所述采用区域生长的聚类方式提取点云模型法线方向近似的各个表面区域，具体包括：
S301）依据点云模型中点的曲率值对点进行排序，选择曲率值最小的点作为初始种子点，将初始种子点加入种子点序列；
S302）搜索当前种子点的近域点；
S303）当近域点的法线与当前种子点的法线之间的夹角小于平滑阀值时，将当前种子点加入聚类区域；
S304）当近域点的曲率值小于曲率阈值时，将近域点加入种子点序列，并删除当前种子点；
S305）判断种子点序列是否为空，如果是，则判定聚类完成，提取得到点云模型法线方向近似的各个表面区域，否则执行S302）。
首先依据点的曲率值对点进行排序，选择曲率值最小的点为初始种子点，设置一个空的种子点序列和一个空的聚类区域。选好初始种子后，将其加入到种子点序列中，并搜索当前种子点的近域点，比较每个近域点的法线与当前种子点的法线之间的夹角，小于平滑阀值的将当前种子点加入到当前聚类区域，然后检测每一个近域点的曲率值，将小于曲率阀值的近域点加入到种子点序列中，同时删除当前种子点。循环执行以上步骤，直到种子点序列为空，则判定聚类完成，即提取得到点云模型法线方向近似的各个表面区域。
优选的实施例中，所述求解得到各个表面区域的法向量估计，具体包括：通过球坐标系转换和最小二乘法求解得到各个表面区域的法向量估计。具体地，首先，每个表面区域点集的法线均为单位向量的数据形式，将其转换至球坐标系下进行计算。所采用的公式为：
Figure SMS_53
，
其中，
Figure SMS_54
为区域内点/>
Figure SMS_55
法线在球坐标系下的表示，/>
Figure SMS_56
为/>
Figure SMS_57
法线在直角坐标系下的单位向量表示，/>
Figure SMS_58
。
其次，在球坐标系下，任意两个单位向量的夹角
Figure SMS_59
与它们的末端距离L存在以下代换关系：/>
Figure SMS_60
。假设存在一个单位向量/>
Figure SMS_61
，在球坐标系下的表示为
Figure SMS_62
，使得区域内所有法线与/>
Figure SMS_63
的角度总误差最小，即代价函数/>
Figure SMS_64
取得最小值，则称/>
Figure SMS_65
为该区域法向量方向的最优表示，定义为法向量估计。
其中，
Figure SMS_66
。
对
Figure SMS_67
求/>
Figure SMS_68
和/>
Figure SMS_69
的偏导，即/>
Figure SMS_70
，解得
Figure SMS_71
。
优选的实施例中，所述根据各个表面区域的法向量估计，确定接线端子包围盒主轴方向并生成接线端子最优包围盒，具体包括：
S501）将各个表面区域的法向量估计反变换回直角坐标系；具体地，将法向量估计
Figure SMS_72
反变换回直角坐标系所采用的公式为：/>
Figure SMS_73
，
其中，
Figure SMS_74
为法向量估计在直角坐标系下的表示。
S502）当两个表面区域法向量估计之间角度最接近
Figure SMS_75
时，将较小的表面区域的法向量估计映射到较大的表面区域的法向量估计所正交的平面并进行正交化；具体地，计算各个区域法向量估计之间角度与/>
Figure SMS_76
的差值：
Figure SMS_77
，
其中
Figure SMS_78
分别为区域A和区域B的法向量估计，/>
Figure SMS_79
分别为区域A和区域B的面积大小。
当满足
Figure SMS_81
为最小值，即/>
Figure SMS_82
和/>
Figure SMS_84
之间夹角最接近/>
Figure SMS_87
时，取/>
Figure SMS_89
。选定
Figure SMS_91
作为主方向，将/>
Figure SMS_92
映射到/>
Figure SMS_80
所正交的平面，所采用的公式为：/>
Figure SMS_83
，其中，/>
Figure SMS_85
为/>
Figure SMS_86
到/>
Figure SMS_88
所正交的平面的映射，垂直于/>
Figure SMS_90
。
对
Figure SMS_93
进行正交化，得到/>
Figure SMS_94
相互正交，进行正交化所采用的公式为：/>
Figure SMS_95
。
S503）得到相互正交的三个法向量估计，且满足右手定则时，选择较大的表面区域的法向量估计作为接线端子主轴方向；
S504）根据接线端子包围盒主轴方向生成接线端子最优包围盒。具体地，求取包围盒的形心、长、宽、高等参数，进而生成最优包围盒。
优选的实施例中，所述计算接线端子最优包围盒在机器人基坐标系下的坐标姿态和中心点空间坐标，得到接线端子定位位姿，具体包括：通过空间仿射变换，计算接线端子最优包围盒在机器人基坐标系下的坐标姿态和中心点空间坐标，得到接线端子定位位姿。
优选的实施例中，根据接线端子定位位姿，通过对X、Y、Z三轴进行以
Figure SMS_96
为单位的归一化旋转得到统一的接线端子包围盒的最终定位位姿。最终定位位姿求取过程如下：
Figure SMS_97
；其中，N为最优包围盒最终姿态相对于机器人基坐标系的旋转矩阵，
Figure SMS_98
为归一化旋转矩阵，/>
Figure SMS_99
为最优包围盒初始姿态相对于机器人基坐标系的旋转矩阵。
互感器接线端子的最终定位位姿Pose为：
Figure SMS_100
；
其中，
Figure SMS_101
为最优包围盒形心在机器人基坐标系下的空间坐标，
Figure SMS_102
为最优包围盒在机器人基坐标系下的空间旋转欧拉角，由旋转矩阵N变换得到。
考虑到电网中大型接线端子为长方体的外形特征，本发明将包围盒方法进行改进，本发明基于点云模型法向量估计方法，确定包围盒主轴方向，生成接线端子最优包围盒，进而获取接线端子定位位姿。本发明能够有效地对不同情况下的接线端子进行定位位姿获取，能够满足各种定位要求，具有较高的精度和较好的鲁棒性。
基于同一发明思路，本发明还公开了一种电子设备，该电子设备可以包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的逻辑指令，以执行一种基于点云模型的互感器接线端子定位位姿获取的方法，该方法包括：S1）采集数据并生成点云模型；S2）对点云模型进行预处理得到理想目标点云模型；S3）获取理想目标点云模型各个表面区域；S4）求解得到各个表面区域的法向量估计；S5）根据各个表面区域的法向量估计，确定接线端子包围盒主轴方向并生成接线端子最优包围盒；S6）计算接线端子最优包围盒在机器人基坐标系下的坐标姿态和中心点空间坐标，得到接线端子定位位姿。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random AccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的一种基于点云模型的互感器接线端子定位位姿获取的方法，该方法包括：S1）采集数据并生成点云模型；S2）对点云模型进行预处理得到理想目标点云模型；S3）获取理想目标点云模型各个表面区域；S4）求解得到各个表面区域的法向量估计；S5）根据各个表面区域的法向量估计，确定接线端子包围盒主轴方向并生成接线端子最优包围盒；S6）计算接线端子最优包围盒在机器人基坐标系下的坐标姿态和中心点空间坐标，得到接线端子定位位姿。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的一种基于点云模型的互感器接线端子定位位姿获取的方法，该方法包括：S1）采集数据并生成点云模型；S2）对点云模型进行预处理得到理想目标点云模型；S3）获取理想目标点云模型各个表面区域；S4）求解得到各个表面区域的法向量估计；S5）根据各个表面区域的法向量估计，确定接线端子包围盒主轴方向并生成接线端子最优包围盒；S6）计算接线端子最优包围盒在机器人基坐标系下的坐标姿态和中心点空间坐标，得到接线端子定位位姿。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于点云模型的互感器接线端子定位位姿获取方法，其特征在于，包括：
S1）采集数据并生成点云模型；
S2）对点云模型进行预处理得到理想目标点云模型；
S3）获取理想目标点云模型各个表面区域；
S4）求解得到各个表面区域的法向量估计；
S5）根据各个表面区域的法向量估计，确定接线端子包围盒主轴方向并生成接线端子最优包围盒，具体包括：
S501）将各个表面区域的法向量估计反变换回空间直角坐标系；
S502）当两个表面区域法向量估计之间角度最接近
Figure QLYQS_1
时，取较大的表面区域的法向量估计为第一法向量，取较小的表面区域的法向量估计为第二法向量，将第二法向量映射到第一法向量所在表面区域拟合的平面并进行正交化，将正交化后的第二法向量乘以第一法向量得到第三法向量，对第一法向量、第二法向量和第三法向量进行交叉正交化运算；
S503）得到相互正交的三个法向量估计，且满足右手定则时，选择较大的表面区域的法向量估计作为接线端子位姿的主轴方向；
S504）根据接线端子包围盒主轴方向生成接线端子最优包围盒；
S6）计算接线端子最优包围盒在机器人基坐标系下的坐标姿态和中心点空间坐标，得到接线端子定位位姿。
2.如权利要求1所述的一种基于点云模型的互感器接线端子定位位姿获取方法，其特征在于，所述S1）具体包括：通过3D相机从多个角度采集点云数据并生成3D点云模型。
3.如权利要求1所述的一种基于点云模型的互感器接线端子定位位姿获取方法，其特征在于，所述S2）具体步骤包括：
S201）读取点云模型中的点云数据；
S202）通过体素滤波器对点云数据进行降采样；
S203）将降采样后的点云数据移至机器人坐标系下完成粗略分割；
S204）将粗略分割后的点云数据进行去噪得到理想目标点云模型。
4.如权利要求1所述的一种基于点云模型的互感器接线端子定位位姿获取方法，其特征在于，所述S3）具体包括：采用区域生长的聚类方式提取点云模型法线方向近似的各个表面区域。
5.如权利要求4所述的一种基于点云模型的互感器接线端子定位位姿获取方法，其特征在于，所述采用区域生长的聚类方式提取点云模型法线方向近似的各个表面区域，具体包括：
S301）依据点云模型中点的曲率值对点进行排序，选择曲率值最小的点作为初始种子点，将初始种子点加入种子点序列；
S302）搜索当前种子点的近域点；
S303）当近域点的法线与当前种子点的法线之间的夹角小于平滑阀值时，将当前种子点加入聚类区域；
S304）当近域点的曲率值小于曲率阈值时，将近域点加入种子点序列，并删除当前种子点；
S305）判断种子点序列是否为空，如果是，则判定聚类完成，提取得到点云模型法线方向近似的各个表面区域，否则执行S302）。
6.如权利要求1所述的一种基于点云模型的互感器接线端子定位位姿获取方法，其特征在于，所述S4）具体包括：通过球坐标系转换和最小二乘法求解得到各个表面区域的法向量估计。
7.如权利要求1所述的一种基于点云模型的互感器接线端子定位位姿获取方法，其特征在于，所述S6）具体包括：通过空间仿射变换，计算接线端子最优包围盒在机器人基坐标系下的坐标姿态和中心点空间坐标，得到接线端子定位位姿。
8.如权利要求7所述的一种基于点云模型的互感器接线端子定位位姿获取方法，其特征在于，根据接线端子定位位姿，通过对X、Y、Z三轴进行以
Figure QLYQS_2
为单位的归一化旋转得到统一的接线端子包围盒的最终定位位姿。
9.一种基于点云模型的互感器接线端子定位位姿获取系统，其特征在于，包括：
采集模块，用于采集数据；
模型生成模块，用于根据采集数据生成点云模型；
预处理模块，用于对点云模型进行预处理得到理想目标点云模型；
定位模块，用于获取理想目标点云模型各个表面区域；用于求解得到各个表面区域的法向量估计；用于根据各个表面区域的法向量估计，确定接线端子包围盒主轴方向并生成接线端子最优包围盒；用于计算接线端子最优包围盒在机器人基坐标系下的坐标姿态和中心点空间坐标，得到接线端子定位位姿；
所述根据各个表面区域的法向量估计，确定接线端子包围盒主轴方向并生成接线端子最优包围盒，具体包括：
S501）将各个表面区域的法向量估计反变换回空间直角坐标系；
S502）当两个表面区域法向量估计之间角度最接近
Figure QLYQS_3
时，取较大的表面区域的法向量估计为第一法向量，取较小的表面区域的法向量估计为第二法向量，将第二法向量映射到第一法向量所在表面区域拟合的平面并进行正交化，将正交化后的第二法向量乘以第一法向量得到第三法向量，对第一法向量、第二法向量和第三法向量进行交叉正交化运算；
S503）得到相互正交的三个法向量估计，且满足右手定则时，选择较大的表面区域的法向量估计作为接线端子位姿的主轴方向；
S504）根据接线端子包围盒主轴方向生成接线端子最优包围盒。
CN202310200508.5A 2023-03-06 2023-03-06 基于点云模型的互感器接线端子定位位姿获取方法及系统 Active CN116051540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310200508.5A CN116051540B (zh) 2023-03-06 2023-03-06 基于点云模型的互感器接线端子定位位姿获取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310200508.5A CN116051540B (zh) 2023-03-06 2023-03-06 基于点云模型的互感器接线端子定位位姿获取方法及系统

Publications (2)

Publication Number Publication Date
CN116051540A CN116051540A (zh) 2023-05-02
CN116051540B true CN116051540B (zh) 2023-07-14

Family

ID=86131558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310200508.5A Active CN116051540B (zh) 2023-03-06 2023-03-06 基于点云模型的互感器接线端子定位位姿获取方法及系统

Country Status (1)

Country Link
CN (1) CN116051540B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452648B (zh) * 2023-06-15 2023-09-22 武汉科技大学 一种基于法向量约束纠正的点云配准方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330819A (zh) * 2022-10-12 2022-11-11 杭州蓝芯科技有限公司 一种软包分割定位方法、工控机和机器人抓取系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376590A (zh) * 2014-11-18 2015-02-25 武汉海达数云技术有限公司 海量数据按圈索引空间显示方法
JP6725675B2 (ja) * 2016-10-07 2020-07-22 富士フイルム株式会社 自己位置推定装置、自己位置推定方法、プログラム、および画像処理装置
CN109447949A (zh) * 2018-09-29 2019-03-08 南京理工大学 基于巡检机器人的绝缘端子缺陷识别方法
CN110232741B (zh) * 2019-06-17 2022-11-25 腾讯科技（深圳）有限公司 多层包围盒确定方法、碰撞检测及运动控制方法与设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330819A (zh) * 2022-10-12 2022-11-11 杭州蓝芯科技有限公司 一种软包分割定位方法、工控机和机器人抓取系统

Also Published As

Publication number Publication date
CN116051540A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN110340891B (zh) 基于点云模板匹配技术的机械臂定位抓取系统及方法
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN107767453B (zh) 一种基于规则约束的建筑物lidar点云重构优化方法
CN112907735B (zh) 一种基于点云的柔性电缆识别与三维重建方法
CN107481274B (zh) 一种三维作物点云的鲁棒性重构方法
CN113077476B (zh) 一种高度测量方法、终端设备以及计算机存储介质
WO2021052283A1 (zh) 处理三维点云数据的方法和计算设备
CN110781937B (zh) 一种基于全局视角的点云特征提取方法
CN112669385A (zh) 基于三维点云特征的工业机器人工件识别与位姿估计方法
CN116051540B (zh) 基于点云模型的互感器接线端子定位位姿获取方法及系统
CN116309880A (zh) 基于三维重建的物体位姿确定方法、装置、设备及介质
CN112257722A (zh) 基于抗差非线性高斯-赫尔默特模型的点云拟合方法
CN110097598B (zh) 一种基于pvfh特征的三维物体位姿估计方法
CN115797418B (zh) 一种基于改进icp的复杂机械零件测量点云配准方法及系统
CN114677435A (zh) 一种点云全景融合要素提取方法和系统
CN110992422A (zh) 一种基于3d视觉的药盒姿态估计方法
Sveier et al. Object detection in point clouds using conformal geometric algebra
CN112508766B (zh) 一种基于点云和gpu技术的岩体结构面智能解译方法
Hou et al. Detection and localization of citrus fruit based on improved You Only Look Once v5s and binocular vision in the orchard
CN116844124A (zh) 三维目标检测框标注方法、装置、电子设备和存储介质
CN114066773B (zh) 一种基于点云特征与蒙特卡洛扩展法的动态物体去除
Yuan et al. 3D point cloud recognition of substation equipment based on plane detection
CN113111741A (zh) 一种基于三维特征点的装配状态识别方法
CN112365534B (zh) 一种基于单目相机三维重建的大型煤堆体积测量方法
Zhang et al. Object detection and grabbing based on machine vision for service robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant