CN117601129A - 面向飞机舱门装配的位姿调整系统及方法 - Google Patents
面向飞机舱门装配的位姿调整系统及方法 Download PDFInfo
- Publication number
- CN117601129A CN117601129A CN202311794344.XA CN202311794344A CN117601129A CN 117601129 A CN117601129 A CN 117601129A CN 202311794344 A CN202311794344 A CN 202311794344A CN 117601129 A CN117601129 A CN 117601129A
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- points
- cabin door
- neighborhood
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000005259 measurement Methods 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- CLOMYZFHNHFSIQ-UHFFFAOYSA-N clonixin Chemical compound CC1=C(Cl)C=CC=C1NC1=NC=CC=C1C(O)=O CLOMYZFHNHFSIQ-UHFFFAOYSA-N 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了面向飞机舱门装配的位姿调整系统、方法及装置，涉及自动化装配领域，包括图像采集模块、核心处理模块和调控装配模块，通过图像采集模块用于采集飞机舱门导轨与边框的图像，并通过核心处理模块进行分析，获取最佳抓取运动路径并生成机械臂姿态调整信号，从而对飞机舱门进行精准抓取和最佳装配，提高飞机舱门的装配协调准确度，有效提高舱门装配的高效性、便捷性及安全性，并且，通过结合法线夹角约束与半径领域点数约束算法在原点云中提取舱门或舱门边框的关键点，降低数据量且保留原点云的显著特征，并采用改进ICP配准算法对舱门装配位姿进行精确测算，提高了测算结果的准确性。
Description
技术领域
本发明涉及自动化装配领域，尤其涉及面向飞机舱门装配的位姿调整系统及方法。
背景技术
随着制造业智能化的快速发展，飞机舱门的装配逐步由人工装配向自动化升级，应用机器视觉技术并通过非接触测量手段，获取目标特征和丰富的环境数据，能够实时地对目标或环境的变化做出响应，通过机器视觉技术与机器人的集成，能够提高机器人对环境的感知和应变能力；
目前国产飞机舱门装配仍采用手工装配为主的作业模式，存在装配精度难以保证、质量一致性差、耗时长的问题，由于飞机舱门重量大，且需要舱门与机架之间达到高自由度与高精度的配合要求，而现有的位姿测量方法和测量手段难以满足装配过程中机器人的位姿调整，在应用机器人进行自动化装配飞机舱门时，机械臂末端夹具难以准确抓取舱门，以及通过视觉引导机器人位姿调整，并将舱门精准装配至飞机的机架上，存在飞机舱门的装配协调准确度低的缺陷；
针对上述的技术缺陷，现提出一种解决方案。
发明内容
本发明的目的在于：解决应用机器人进行自动化装配飞机舱门时，机械臂末端夹具难以准确抓取舱门，以及通过视觉引导机器人位姿调整，并将舱门精准装配至飞机的机架上的问题，以及解决飞机舱门的装配协调准确度低的缺陷，从而提高飞机舱门的装配协调准确度，有效提高舱门装配的高效性、便捷性及安全性。
为了实现上述目的，本发明采用了如下技术方案：
面向飞机舱门装配的位姿调整方法，包括以下步骤：
步骤一，图像采集模块用于采集飞机舱门图像并发送到核心处理模块；
步骤二，核心处理模块用于获取并分析飞机舱门图像：先对飞机舱门图像进行预处理，并结合三维卷积神经网络算法，规划生成最佳抓取运动路径；再通过基于点云场景分割与改进配准算法进行深度分析，生成并发送机械臂姿态调整信号到调控装配模块；
步骤三，调控装配模块用于对飞机舱门进行精准抓取和最佳装配。
进一步的，采集飞机舱门图像并进行预处理的具体过程为：
飞机舱门图像包括舱门导轨图像A和舱门边框图像B；
先通过对舱门导轨图像A进行三维重构，识别出舱门导轨的法向量，并计算相对于机器人基坐标系下的偏移姿态；
再通过对舱门边框图像B进行处理计算，获取机械臂抓取舱门的位姿，并根据三维卷积神经网络算法规划生成最佳的抓取运动路径。
进一步的，基于点云场景分割与改进配准算法进行深度分析的具体过程为：
s1：机器人触发工业3D相机采集机架舱门边框和导轨的点云数据，划分并标记目标区域，使用直通滤波器对目标区域点云的进行提取，获取直通滤波后的场景点云Q；
s2：使用统计滤波器剔除掉目标区域点云中的噪声点：通过对目标区域的场景点云Q中每个点进行邻域分析，获取场景滤波后的区域点云C；
s3：利用基于RANSAC聚类与欧式聚类相结合的分割算法，从区域点云C中提取机架舱门的边框点云；
s4：通过基于法线夹角与邻域数约束算法在原始点云中提取舱门边框的关键点；
s5：采用快速点特征直方图在物体与模板之间寻找相似特征几何描述，从而进行物体与模板之间的初级配准和初始位姿测算；
s6：采用改进ICP配准算法对舱门装配位姿进行精确测算。
进一步的，提取目标区域点云并进行邻域分析的具体过程为：
s2-1：设置目标区域的提取阈值，提取目标区域点云，获取直通滤波后的场景点云Q；
s2-2：预设并标记场景点云Q中第i个点的坐标为qi(xi，yi，zi)，预设第j(1＜＜j＜＜k)个近邻点的坐标为qj(xj，yj，zj)，则该点qi到其第j个近邻点qj之间的距离dij；
s2-3：通过场景点云Q中所有点到其各自k个邻域点的距离构成高斯分布这一规律，计算所有点与其邻域距离的均值μ与标准差σ；
s2-4：设置标准差倍数λ，得到置信度区间(μ-λ·σ，μ+λ·σ)；
s2-5：对场景点云Q中所有点到其k邻域距离与置信度区间进行阈值对比，若超出置信度区间则判定为噪声点并去除，进而获取场景滤波后的区域点云C。
进一步的，基于法线夹角与邻域数约束算法进行关键点提取过程如下：
s4-1：计算物体点云法线：法线计算采用主成分分析法，先构建KdTree搜索结构，预设对原始点云中任意一点p搜索其k个最近邻点，并构造协方差矩阵S，将协方差矩阵S进行奇异值分解，获取最小特征值对应的特征向量，并将其标记为p点法线；
s4-2：统计邻域夹角与邻域点个数：对原始点云中任意一点pi，预设半径R，统计点p在半径R的范围内邻域点的个数N，以及点p与其邻域点法线夹角之和θs；
s4-3：设置阈值筛选关键点：预设夹角阈值τθ1与邻域数阈值τN，邻域数阈值τN为原始点云中所有点在半径R范围内邻域数的均值的k倍，其中，k为预设倍数；
当点p与其邻域点法线夹角之和θs小于夹角阈值τθ1，且点p在半径R的范围内邻域点的个数N小于邻域数阈值τN时，则判定点p为关键点。
进一步的，采用快速点特征直方图进行初级配准和初始位姿测算的具体过程为：
快速点特征直方图FPFH是通过借助点云点ps～pt对之间的法线关系来计算3个角度变量，得到简化的特征直方图SPFH，再对任意一点p及其邻域点pi计算SPFH，并进行加权计算便可得到该点的FPFH特征。
进一步的，利用FPFH特征配准的初始位姿测算的具体过程如下：
s5-1：计算分割的物体点云与模板点云在关键点处的FPFH特征，在模板点云关键点中搜索与目标物体相似的关键点，形成对应点对；
s5-2：随机选取n组对应点对，设置对应点对的距离阈值τd1，则任一组对应点对之间的距离应大于阈值τd1；
s5-3：通过n组对应点对计算两片点云的刚体变换矩阵，将矩阵应用于物体点云并计算剩余对应点对之间的距离误差，设置距离误差的阈值τd2并进行阈值对比：若距离误差小于阈值τd2，则将该点判定为样本内点，进而统计样本内点的数量；
s5-4：重复上述步骤直到最大迭代次数，将样本内点数最多的刚体变换矩阵标记为初始位姿测算结果Trough，并将该结果应用于目标物体点云。
进一步的，改进的ICP算法是由传统IPC算法作出优化生成的，具体优化过程如下：
传统的ICP算法是采用源点云中的点与目标点云对应点之间的距离来构造目标函数，而改进的ICP算法则是采用源点云中的点到目标点云对应点所在切平面的距离来构造目标函数E(T)，改进的ICP算法通过法线夹角约束，将法线一致性标准引入到对应点测算过程当中，用于过滤错误的对应点对。
进一步的，基于改进ICP配准的精确位姿测算流程如下：
s6-1：初始对应点对测算：
将初始位姿变换后的物体点云标记为源点云，将制作的模板点云标记为目标点云；在源点云与目标点云中构造对应点对，并形成对应点对集合M、N；
s6-2：引入法线夹角约束用于筛选更新对应点集合：
设置法线夹角阈值τθ2，在对应点集合中，若任一个对应点对形成的法线夹角小于阈值τθ2，则保留该对应点对，反之则进行剔除，从而更新对应点集合M、N；
s6-3：采用更新的对应点集合M、N,计算变换矩阵ΔT：
s6-3-1：首先通过源点云对应点集合M与目标点云对应点集合N，构造协方差矩阵Tcov，并进行奇异值分解；
s6-3-2：进而通过奇异值分解的结果，计算得到第一次迭代的位姿变换矩阵ΔT1；
s6-4：利用位姿矩阵ΔT1更新源点云，并计算源点云与目标点云对应点之间的距离误差E(ΔT1)；
s6-5：重复步骤C3和C4进行迭代运算：将迭代次数标记为F，预设迭代次数最大值f以及距离误差阈值e，再进行阈值对比，生成迭代终止信号并停止迭代运算，进而获取物体位姿精确结果Tacc；
s6-6：通过物体位姿精确结果Tacc生成机械臂姿态调整信号。
面向飞机舱门装配的位姿调整系统，包括图像采集模块、核心处理模块和调控装配模块，图像采集模块、核心处理模块和调控装配模块之间信号连接。
面向飞机舱门装配的位姿调整装置，包括PLC，所述PLC通信连接有工业触摸屏和机器人控制器，所述机器人控制器通信连接有机械臂和视觉软件，所述机械臂包括末端夹具，所述视觉软件包括面向飞机舱门装配的位姿调整算法，且视觉软件通信连接有3D相机，所述3D相机固定安装在机械臂上。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明通过图像采集模块用于采集飞机舱门图像并通过核心处理模块进行分析，获取最佳抓取运动路径并生成机械臂姿态调整信号，其中，通过基于点云场景分割与改进配准算法调整机械臂姿态，从而对飞机舱门进行精准抓取和最佳装配，提高飞机舱门的装配协调准确度，有效提高舱门装配的高效性、便捷性及安全性；
2、本发明通过结合法线夹角约束与半径领域点数约束算法在原点云中提取舱门或舱门边框的关键点，不仅能够降低数据量，也保留了原点云的显著特征，并采用改进ICP配准算法对舱门装配位姿进行精确测算，提高了测算结果的准确性，其中，法线夹角约束有效的排除噪声点的干扰，过滤错误的对应点对，从而提高算法的准确性。
附图说明
图1示出了本发明的装置结构示意图；
图2示出了本发明的系统模块示意图；
图3示出了本发明的系统流程示意图；
图4示出了本发明的飞机舱门装配流程图；
图5示出了本发明的基于RANSAC聚类与欧式聚类相结合的分割算法流程图；
图6示出了本发明的关键点云提取示意图；
图7示出了本发明的SPFH特征变量构建图；
图8示出了本发明的夹角约束筛选对应点示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：
如图1-8所示，面向飞机舱门装配的位姿调整装置，包括PLC(可编程逻辑控制器)，PLC通信连接有工业触摸屏和机器人控制器，机器人控制器通信连接有机械臂和视觉软件，机械臂包括末端夹具，视觉软件包括面向飞机舱门装配的位姿调整算法，且视觉软件通信连接有3D相机，3D相机固定安装在机械臂上；
面向大飞机舱门装配的位姿调整系统，包括图像采集模块、核心处理模块和调控装配模块，图像采集模块、核心处理模块和调控装配模块之间信号连接；
工作步骤如下：
S1，图像采集模块用于采集飞机舱门图像并发送到核心处理模块；
A1：采集飞机舱门图像：飞机舱门图像包括舱门导轨图像A和舱门边框图像B；
其中，先系统上电，开启视觉软件，自动检测视觉软件与3D相机、视觉软件与机器人控制器、PLC与机器人的通讯连接状态；
再通过3D相机先采集机架舱门区域上下导轨的图像，并将其标记为舱门导轨图像A，再采集机架舱门边框区域的图像，并将其标记为舱门边框图像B；
S2，核心处理模块用于获取并分析飞机舱门图像：先对飞机舱门图像进行预处理，并结合三维卷积神经网络算法，规划生成最佳抓取运动路径；再通过基于点云场景分割与改进配准算法进行深度分析，生成并发送机械臂姿态调整信号到调控装配模块，具体过程如下：
S2-1，对飞机舱门图像进行预处理：
A2：先通过对舱门导轨图像A进行三维重构，识别出舱门导轨的法向量，并计算相对于机器人基坐标系下的偏移姿态；再通过对舱门边框图像B进行处理计算，获取机械臂抓取舱门的位姿，并根据三维卷积神经网络算法规划生成最佳的抓取运动路径：
A2-1：通过相机标定得到的内参矩阵实现重建飞机舱门、机身边框及导轨的三维点云，世界坐标点与图像点的映射关系为：
其中，u、v为图像坐标系下的任意坐标点，u0、v0为图像坐标系中心坐标，xw、yw、zw为世界坐标系下的三维坐标点，zc表示相机坐标系的z值，即目标到相机的距离。R为旋转矩阵，T为平移矩阵。
假设世界坐标系和相机坐标系重合，相机坐标系下的物体和世界坐标系下的物体具有同一深度，即zc＝zw，则图像点[u v]T与世界坐标点[xw yw zw]T可通过如下变换公式转化：
A2-2：三维卷积神经网络算法采用三维卷积算子，得到一个三阶张量的特征图，三维卷积神经网络的卷积层的第i层、第j个特征图的(x，y，z)位置的输出表达式为：
其中，f(·)为激活函数，本发明中使用ReLU激活函数，ReLU的主要优点为对所有大于零的输入都有固定的导数，加快了网络训练，K为上一层的特征图数量，Wi、Hi、Ci分别为卷积核的宽度、高度和光谱维深度，为第i层第j个卷积核与上一层第k个特征图像连接的卷积核在空间位置(w，h，c)处的值，/>为第i-1层输出的第k个特征图在空间位置(x+w，y+h，z+c)处的值，Cij为第i层第j个特征图所对应的偏置项；
S2-2，基于点云场景分割与改进配准算法进行深度分析：
B1：机器人触发工业3D相机采集机架舱门边框和导轨的点云数据，划分并标记目标区域，使用直通滤波器对目标区域点云的进行提取，获取直通滤波后的场景点云Q；
其中，提取目标区域点云的具体过程为：
提取目标区域点云：在使用直通滤波器时，设置相机采集的原始点云为p＝{p1，p2，…，pn}，根据机架舱门边框和导轨所在场景的大致位置，再设置目标区域的xyz方向提取的阈值，从而获取直通滤波后的场景点云Q＝{q1，q2，…，qm}；
B2：使用统计滤波器剔除掉目标区域点云中的噪声点、离群点：通过对目标区域的场景点云Q中每个点进行邻域分析，获取场景滤波后的区域点云C，具体过程为：
B2-1：预设并标记场景点云Q中第i个点的坐标为qi(xi，yi，zi)，则该点到其任意一个k近邻点距离为：
其中，dij表示为点云Q中第i个点到其第j(1＜＜j＜＜k)个近邻点的距离值；
B2-2：依据场景点云Q中所有点到其各自k个邻域点的距离构成高斯分布这一规律，计算所有点与其邻域距离的均值μ与标准差σ：
B2-3：设置标准差倍数λ，得到置信度区间(μ-λ·σ，μ+λ·σ)，对场景点云Q中所有点进行阈值对比，判定并去除噪声点，进而获取场景滤波后的区域点云C：
设置并标记判定点为α,若点α到其k邻域距离位于置信度区间之外，则判定该点α为噪声点，再对噪声点进行去除，进而获取场景滤波后的区域点云C＝{c1，c2，c3}；
B3：再利用基于RANSAC聚类与欧式聚类相结合的分割算法，从区域点云C中提取机架舱门的边框点云，参见图5，具体过程为：
首先测算获取区域点云C中存在的平面背景并加以剔除；
接着在剩余的点中以欧式距离为标准设置阈值进行聚类；
将得到的聚类点标记为目标物体点云；
B4：通过基于法线夹角与邻域数约束算法在原始点云中提取舱门或舱门边框的关键点，参见图6，关键点提取过程如下：
B4-1：计算物体点云法线：法线计算采用主成分分析(PCA)法，首先构建KdTree搜索结构，预设对原始点云中任意一点p搜索其k个最近邻点，并构造协方差矩阵S：
其中，为p点领域内坐标的均值，其计算方法为：
将协方差矩阵S进行奇异值分解，获取最小特征值对应的特征向量，并将其标记为p点法线；
B4-2：统计邻域夹角与邻域点个数：对原始点云中任意一点pi，预设半径R，统计点p在半径R的范围内邻域点的个数N，以及点p与其邻域点法线夹角之和θs：
其中，fp为p点法线，fpi为领域点pi法线；
B4-3：设置阈值筛选关键点：预设选取夹角阈值τθ1与邻域数阈值τN，当任意一点满足如下条件时，则判定其为关键点：
其中，邻域数阈值为原始点云中所有点在半径R范围内邻域数的均值的k倍，例如，本发明中k取0.2，如图6所示，图6c情况满足判定条件，故该点表示为关键点，图6a、6b情况下不满足所给定的判定条件，故判定为非关键点；通过筛选关键点不仅能够降低数据量，也保留了原点云的显著特征；
B5：采用快速点特征直方图(FPFH)在物体与模板之间寻找相似特征几何描述，从而进行物体与模板之间的初级配准和初始位姿测算；
B5-1：快速点特征直方图(FPFH)是由点特征直方图(FPH)改进而来，通过借助点云点ps～pt对之间的法线关系来计算3个角度变量，参见图7，得到简化的特征直方图(SPFH)：
其中，u＝ns，v＝(pt-ps)×u，w＝u×v，其中ns，nt分别为点对ps～pt的法向量；
对任意一点p及其邻域点pi计算SPFH，并进行加权计算便可得到该点的FPFH特征：
其中，wk为距离权重，即p点到其邻域点pi的欧式距离；
B5-2：利用FPFH特征配准的初始位姿测算的具体过程如下：
B5-201：计算分割的物体点云与模板点云在关键点处的FPFH特征，在模板点云关键点中搜索与目标物体相似的关键点，形成对应点对；
其中，对应点对的建立以FPFH的相似性为标准；
B5-202：随机选取n组对应点对，为保证对应点对的有效性，设置对应点对的阈值τd1，则任意对应点对之间的距离应大于阈值τd1；
B5-203：通过n组对应点对计算两片点云的刚体变换矩阵，将矩阵应用于物体点云并计算剩余对应点对之间的距离误差，设置距离误差的阈值τd2并进行阈值对比；
若距离误差小于阈值τd2，则将该点判定为样本内点，进而统计样本内点的数量；
B5-204：重复上述步骤直到最大迭代次数，将样本内点数最多的刚体变换矩阵标记为初始位姿测算结果Trough，并将该结果应用于目标物体点云；
B6：采用改进ICP配准算法对舱门装配位姿进行精确测算；
B6-1：改进的ICP算法是由传统IPC算法作出优化生成的，具体优化过程如下：
传统的ICP算法是采用源点云中的点与目标点云对应点之间的距离来构造目标函数，而改进的ICP算法则是采用源点云中的点到目标点云对应点所在切平面的距离来构造目标函数E(T)：
其中，T为位姿变换矩阵，pi、qi分别为源点云与目标点云的对应点，ni为目标点云中qi点法线；
改进的ICP算法通过法线夹角约束，将法线一致性标准引入到对应点测算过程当中，用于过滤错误的对应点对；
法线夹角反映了物体点云局部曲率变化情况，邻域点个数则反应了该点为真实有效点的概率；法线夹角约束是通过将法线一致性标准引入到对应点测算过程当中，能够有效的排除噪声点的干扰；
参见图8，(p1-q1)…(p5-q5)为源点云与目标点云中测算的5个对应点对，在没有引入法线夹角约束时,(p1-q1)，(p3-q3)是测算的错误对应点对；当进一步设置一个合适的对应点法线夹角阈值τθ2进行筛选过滤，对应点对(p1-q1)以及(p3-q3)形成的法线夹角θ1与θ3均会大于阈值τθ2，从而将错误的对应点有效地过滤，从而提高算法的准确性；
B6-2：基于改进ICP配准的精确位姿测算流程如下：
B6-201：初始对应点对测算，在源点云(应用初始位姿变换后的物体点云)与目标点云(制作的模板点云)中构造对应点对，并形成对应点对集合M、N：
设置对应点对的初始要求为欧氏距离最短：
f＝min(||pi-qi||2)
其中，pi、qi为任一个对应点对，其中pi为物体点云中一点，qi为模板点云中一点；
B6-202：引入法线夹角约束对对应点集合进行筛选更新：
设置法线夹角阈值τθ2，在对应点集合中，若任一个对应点对形成的法线夹角小于阈值τθ2，则保留该对应点对，反之则进行剔除，从而更新对应点集合M、N；
B6-203：采用更新的对应点集合M、N,计算变换矩阵ΔT：
B6-203-1：首先通过源点云对应点集合M与目标点云对应点集合N，构造协方差矩阵Tcov，并进行奇异值分解：
其中，分别为集合M、N的中心点，即/>
B6-203-2：进而通过奇异值分解的结果，计算得到第一次迭代的位姿变换矩阵ΔT1：
其中，ΔR1为3×3旋转矩阵，Δt1为3×1平移向量，其具体的计算公式为：
B6-204：利用位姿矩阵ΔT1更新物体点云，并计算物体点云与模板点云对应点之间的距离误差E(ΔT1)：
B6-205：重复步骤C3和C4进行迭代运算：将迭代次数标记为F，预设迭代次数最大值f以及距离误差阈值e，并进行阈值对比：
当迭代次数F达到迭代次数最大值f时，则生成迭代终止信号；
当距离误差E(ΔT1)小于距离误差阈值时，则生成迭代终止信号；
当生成迭代终止信号后，则停止迭代运算，进而获取物体位姿精确结果Tacc：
Tacc＝ΔTn·ΔTn-1…ΔT2·ΔT1·Trough其中，ΔT1～ΔTn分别为1～n次迭代的位姿测算矩阵；
B6-206：通过物体位姿精确结果Tacc生成并发送机械臂姿态调整信号到调控装配模块；
S3，调控装配模块对飞机舱门进行精准抓取和最佳装配；
机械臂通过最佳抓取运动路径自动抓取舱门，为保证舱门装配质量，再通过接收机械臂姿态调整信号来调整位姿，并将舱门移动到最佳装配位置，舱门的上下边缘与机身导轨保持平行，最后通过人工用螺栓将舱门固定在机身上。
综上，本发明通过图像采集模块用于采集飞机舱门导轨与边框的图像，并通过核心处理模块进行分析，获取最佳抓取运动路径并生成机械臂姿态调整信号，其中，通过基于点云场景分割与改进配准算法调整机械臂姿态，从而对飞机舱门进行精准抓取和最佳装配，提高飞机舱门的装配协调准确度，有效提高舱门装配的高效性、便捷性及安全性；
并且，本发明通过结合法线夹角约束与半径领域点数约束算法在原点云中提取舱门或舱门边框的关键点，不仅能够降低数据量，也保留了原点云的显著特征，并采用改进ICP配准算法对舱门装配位姿进行精确测算，提高了测算结果的准确性，其中，法线夹角约束有效的排除噪声点的干扰，过滤错误的对应点对，从而提高算法的准确性。
区间、阈值的大小的设定是为了便于比较，关于阈值的大小，取决于样本数据的多少及本领域技术人员对每一组样本数据设定基数数量；只要不影响参数与量化后数值的比例关系即可；
上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况进行设置。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (10)
1.面向飞机舱门装配的位姿调整方法，其特征在于：包括以下步骤：
步骤一，图像采集模块用于采集飞机舱门图像并发送到核心处理模块；
步骤二，核心处理模块用于获取并分析飞机舱门图像：先对飞机舱门图像进行预处理，并结合三维卷积神经网络算法，规划生成最佳抓取运动路径；再通过基于点云场景分割与改进配准算法进行深度分析，生成并发送机械臂姿态调整信号到调控装配模块；
步骤三，调控装配模块用于对飞机舱门进行精准抓取和最佳装配。
2.根据权利要求1的面向飞机舱门装配的位姿调整方法，其特征在于：采集飞机舱门图像并进行预处理的具体过程为：
飞机舱门图像包括舱门导轨图像A和舱门边框图像B；
先通过对舱门导轨图像A进行三维重构，识别出舱门导轨的法向量，并计算相对于机器人基坐标系下的偏移姿态；
再通过对舱门边框图像B进行处理计算，获取机械臂抓取舱门的位姿，并根据三维卷积神经网络算法规划生成最佳的抓取运动路径。
3.根据权利要求2的面向飞机舱门装配的位姿调整方法，其特征在于：基于点云场景分割与改进配准算法进行深度分析的具体过程为：
s1：机器人触发工业3D相机采集机架舱门边框和导轨的点云数据，划分并标记目标区域，使用直通滤波器对目标区域点云的进行提取，获取直通滤波后的场景点云Q；
s2：使用统计滤波器剔除掉目标区域点云中的噪声点：通过对目标区域的场景点云Q中每个点进行邻域分析，获取场景滤波后的区域点云C；
s3：利用基于RANSAC聚类与欧式聚类相结合的分割算法，从区域点云C中提取机架舱门的边框点云；
s4：通过基于法线夹角与邻域数约束算法在原始点云中提取舱门边框的关键点；
s5：采用快速点特征直方图在物体与模板之间寻找相似特征几何描述，从而进行物体与模板之间的初级配准和初始位姿测算；
s6：采用改进ICP配准算法对舱门装配位姿进行精确测算。
4.根据权利要求3的面向飞机舱门装配的位姿调整方法，其特征在于：提取目标区域点云并进行邻域分析的具体过程为：
s2-1：设置目标区域的提取阈值，提取目标区域点云，获取直通滤波后的场景点云Q；
s2-2：预设并标记场景点云Q中第i个点的坐标为qi(xi,yi,zi)，预设第j(1＜＜j＜＜k)个近邻点的坐标为qj(xj,yj,zj)，则该点qi到其第j个近邻点qj之间的距离dij；
s2-3：通过场景点云Q中所有点到其各自k个邻域点的距离构成高斯分布这一规律，计算所有点与其邻域距离的均值μ与标准差σ；
s2-4：设置标准差倍数λ，得到置信度区间(μ-λ·σ，μ+λ·σ)；
s2-5：对场景点云Q中所有点到其k邻域距离与置信度区间进行阈值对比，若超出置信度区间则判定为噪声点并去除，进而获取场景滤波后的区域点云C。
5.根据权利要求4的面向飞机舱门装配的位姿调整方法，其特征在于：基于法线夹角与邻域数约束算法进行关键点提取过程如下：
s4-1：计算物体点云法线：法线计算采用主成分分析法，先构建KdTree搜索结构，预设对原始点云中任意一点p搜索其k个最近邻点，并构造协方差矩阵S，将协方差矩阵S进行奇异值分解，获取最小特征值对应的特征向量，并将其标记为p点法线；
s4-2：统计邻域夹角与邻域点个数：对原始点云中任意一点pi，预设半径R，统计点p在半径R的范围内邻域点的个数N，以及点p与其邻域点法线夹角之和θs；
s4-3：设置阈值筛选关键点：预设夹角阈值τθ1与邻域数阈值τN，邻域数阈值τN为原始点云中所有点在半径R范围内邻域数的均值的k倍，其中，k为预设倍数；
当点p与其邻域点法线夹角之和θs小于夹角阈值τθ1，且点p在半径R的范围内邻域点的个数N小于邻域数阈值τN时，则判定点p为关键点。
6.根据权利要求5的面向飞机舱门装配的位姿调整方法，其特征在于：采用快速点特征直方图进行初级配准和初始位姿测算的具体过程为：
快速点特征直方图FPFH是通过借助点云点ps～pt对之间的法线关系来计算3个角度变量，得到简化的特征直方图SPFH，再对任意一点p及其邻域点pi计算SPFH，并进行加权计算便可得到该点的FPFH特征。
7.根据权利要求6的面向飞机舱门装配的位姿调整方法，其特征在于：利用FPFH特征配准的初始位姿测算的具体过程如下：
s5-1：计算分割的物体点云与模板点云在关键点处的FPFH特征，在模板点云关键点中搜索与目标物体相似的关键点，形成对应点对；
s5-2：随机选取n组对应点对，设置对应点对的距离阈值τd1，则任一组对应点对之间的距离应大于阈值τd1；
s5-3：通过n组对应点对计算两片点云的刚体变换矩阵，将矩阵应用于物体点云并计算剩余对应点对之间的距离误差，设置距离误差的阈值τd2并进行阈值对比：若距离误差小于阈值τd2，则将该点判定为样本内点，进而统计样本内点的数量；
s5-4：重复上述步骤直到最大迭代次数，将样本内点数最多的刚体变换矩阵标记为初始位姿测算结果Trough，并将该结果应用于目标物体点云。
8.根据权利要求7的面向飞机舱门装配的位姿调整方法，其特征在于：改进的ICP算法是由传统IPC算法作出优化生成的，具体优化过程如下：
传统的ICP算法是采用源点云中的点与目标点云对应点之间的距离来构造目标函数，而改进的ICP算法则是采用源点云中的点到目标点云对应点所在切平面的距离来构造目标函数E(T)，改进的ICP算法通过法线夹角约束，将法线一致性标准引入到对应点测算过程当中，用于过滤错误的对应点对。
9.根据权利要求8的面向飞机舱门装配的位姿调整方法，其特征在于：基于改进ICP配准的精确位姿测算流程如下：
s6-1：初始对应点对测算：
将初始位姿变换后的物体点云标记为源点云，将制作的模板点云标记为目标点云；在源点云与目标点云中构造对应点对，并形成对应点对集合M、N；
s6-2：引入法线夹角约束用于筛选更新对应点集合：
设置法线夹角阈值τθ2，在对应点集合中，若任一个对应点对形成的法线夹角小于阈值τθ2，则保留该对应点对，反之则进行剔除，从而更新对应点集合M、N；
s6-3：采用更新的对应点集合M、N,计算变换矩阵ΔT：
s6-3-1：首先通过源点云对应点集合M与目标点云对应点集合N，构造协方差矩阵Tcov，并进行奇异值分解；
s6-3-2：进而通过奇异值分解的结果，计算得到第一次迭代的位姿变换矩阵ΔT1；
s6-4：利用位姿矩阵ΔT1更新源点云，并计算源点云与目标点云对应点之间的距离误差E(ΔT1)；
s6-5：重复步骤C3和C4进行迭代运算：将迭代次数标记为F，预设迭代次数最大值f以及距离误差阈值e，再进行阈值对比，生成迭代终止信号并停止迭代运算，进而获取物体位姿精确结果Tacc；
s6-6：通过物体位姿精确结果Tacc生成机械臂姿态调整信号。
10.面向飞机舱门装配的位姿调整系统，其特征在于：包括图像采集模块、核心处理模块、调控装配模块和PLC，图像采集模块、核心处理模块和调控装配模块之间信号连接，所述PLC通信连接有工业触摸屏和机器人控制器，所述机器人控制器通信连接有机械臂和视觉软件，所述机械臂包括末端夹具，所述视觉软件包括面向飞机舱门装配的位姿调整算法，且视觉软件通信连接有3D相机，所述3D相机固定安装在机械臂上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311794344.XA CN117601129A (zh) | 2023-12-25 | 2023-12-25 | 面向飞机舱门装配的位姿调整系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311794344.XA CN117601129A (zh) | 2023-12-25 | 2023-12-25 | 面向飞机舱门装配的位姿调整系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117601129A true CN117601129A (zh) | 2024-02-27 |
Family
ID=89958011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311794344.XA Pending CN117601129A (zh) | 2023-12-25 | 2023-12-25 | 面向飞机舱门装配的位姿调整系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117601129A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008607A (zh) * | 2019-12-11 | 2020-04-14 | 南京航空航天大学 | 一种视觉伺服飞机舱门缝隙自动化激光扫描方法和系统 |
| CN111915677A (zh) * | 2020-07-08 | 2020-11-10 | 哈尔滨工程大学 | 一种基于三维点云特征的船舶位姿估计方法 |
| CN112070818A (zh) * | 2020-11-10 | 2020-12-11 | 纳博特南京科技有限公司 | 基于机器视觉的机器人无序抓取方法和系统及存储介质 |
| CN114743259A (zh) * | 2022-02-28 | 2022-07-12 | 华中科技大学 | 位姿估计方法、位姿估计系统、终端、存储介质及应用 |
| CN116543217A (zh) * | 2023-05-11 | 2023-08-04 | 湖南中南智能装备有限公司 | 一种结构相似的小目标分类识别与位姿估计方法 |
| CN116664889A (zh) * | 2023-04-28 | 2023-08-29 | 沈阳航空航天大学 | 飞机口盖类蒙皮修配余量确定方法 |
| CN116749198A (zh) * | 2023-07-31 | 2023-09-15 | 武汉惟景三维科技有限公司 | 一种基于双目立体视觉引导机械臂抓取方法 |
-
2023
- 2023-12-25 CN CN202311794344.XA patent/CN117601129A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008607A (zh) * | 2019-12-11 | 2020-04-14 | 南京航空航天大学 | 一种视觉伺服飞机舱门缝隙自动化激光扫描方法和系统 |
| CN111915677A (zh) * | 2020-07-08 | 2020-11-10 | 哈尔滨工程大学 | 一种基于三维点云特征的船舶位姿估计方法 |
| CN112070818A (zh) * | 2020-11-10 | 2020-12-11 | 纳博特南京科技有限公司 | 基于机器视觉的机器人无序抓取方法和系统及存储介质 |
| CN114743259A (zh) * | 2022-02-28 | 2022-07-12 | 华中科技大学 | 位姿估计方法、位姿估计系统、终端、存储介质及应用 |
| CN116664889A (zh) * | 2023-04-28 | 2023-08-29 | 沈阳航空航天大学 | 飞机口盖类蒙皮修配余量确定方法 |
| CN116543217A (zh) * | 2023-05-11 | 2023-08-04 | 湖南中南智能装备有限公司 | 一种结构相似的小目标分类识别与位姿估计方法 |
| CN116749198A (zh) * | 2023-07-31 | 2023-09-15 | 武汉惟景三维科技有限公司 | 一种基于双目立体视觉引导机械臂抓取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110223345B (zh) | 基于点云的配电线路作业对象位姿估计方法 | |
| CN111299815B (zh) | 一种用于低灰度橡胶垫视觉检测与激光切割轨迹规划方法 | |
| CN110909762B (zh) | 基于多传感器融合的机器人姿态识别方法及装置 | |
| CN110097053B (zh) | 一种基于改进Faster-RCNN的电力设备外观缺陷检测方法 | |
| CN108280856A (zh) | 基于混合信息输入网络模型的未知物体抓取位姿估计方法 | |
| CN110378325B (zh) | 一种机器人抓取过程中的目标位姿识别方法 | |
| CN109159113B (zh) | 一种基于视觉推理的机器人作业方法 | |
| WO2016201947A1 (zh) | 一种轮形铸造产品缺陷自动检测方法 | |
| CN113192112B (zh) | 一种基于学习采样的部分对应点云配准方法 | |
| CN110889091A (zh) | 基于温度敏感区间分段的机床热误差预测方法与系统 | |
| CN110598634B (zh) | 一种基于图例库的机房草图识别方法及其装置 | |
| CN116740044B (zh) | 基于视觉检测与控制的铜管铣面加工方法及系统 | |
| CN111681279A (zh) | 基于改进李群非线性优化的行车吊臂空间位姿测量方法 | |
| CN117601129A (zh) | 面向飞机舱门装配的位姿调整系统及方法 | |
| CN110640744A (zh) | 一种电机模糊控制的工业机器人 | |
| CN111008607B (zh) | 一种视觉伺服飞机舱门缝隙自动化激光扫描方法和系统 | |
| CN111191510B (zh) | 基于关系网络的复杂场景下遥感图像小样本目标识别方法 | |
| CN117237902A (zh) | 基于深度学习的机器人物体识别系统 | |
| CN117406027A (zh) | 一种配电网故障测距方法及其系统 | |
| CN117111545A (zh) | 一种基于线激光的蒙皮铣削路径实时规划方法 | |
| Yu et al. | Machine vision problem for fast recognition of surface defects of thermoelectric cooler components based on deep learning method | |
| CN110309528A (zh) | 一种基于机器学习的雷达方案设计方法 | |
| CN115761265A (zh) | 一种用于提取激光雷达点云中变电站设备的方法及装置 | |
| CN115457130A (zh) | 一种基于深度关键点回归的电动汽车充电口检测定位方法 | |
| CN112097673B (zh) | 车身部件虚拟匹配方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |