CN116690557A - 基于点云的仿人三维扫描运动控制方法及装置 - Google Patents

基于点云的仿人三维扫描运动控制方法及装置 Download PDF

Info

Publication number
CN116690557A
CN116690557A CN202310519734.XA CN202310519734A CN116690557A CN 116690557 A CN116690557 A CN 116690557A CN 202310519734 A CN202310519734 A CN 202310519734A CN 116690557 A CN116690557 A CN 116690557A
Authority
CN
China
Prior art keywords
track
curved surface
detected
motion control
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310519734.XA
Other languages
English (en)
Inventor
刘浩天
佟玉闯
商秀芹
钟成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Binzhou Weiqiao National Institute Of Advanced Technology
Institute of Automation of Chinese Academy of Science
Original Assignee
Binzhou Weiqiao National Institute Of Advanced Technology
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Binzhou Weiqiao National Institute Of Advanced Technology, Institute of Automation of Chinese Academy of Science filed Critical Binzhou Weiqiao National Institute Of Advanced Technology
Priority to CN202310519734.XA priority Critical patent/CN116690557A/zh
Publication of CN116690557A publication Critical patent/CN116690557A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供一种基于点云的仿人三维扫描运动控制方法和装置，该基于点云的仿人三维扫描运动控制方法包括：获取待检测对象的相机视点轨迹和机械臂末端执行器轨迹；基于相机视点轨迹和机械臂末端执行器轨迹得到轨迹曲面和轨迹曲面的变形能函数；基于变形能函数和距离偏差函数对轨迹曲面进行优化，得到待检测对象的运动规划轨迹曲线；将待检测对象的运动规划轨迹曲线输入至多目标运动控制模型进行求解，得到运动规划轨迹对应的机械臂运动控制最优解。本发明所述方法实现对多个部件或结构的连续扫描，提高了扫描的效率和准确率，能够满足复杂的工业环境和实际任务要求，且更适应多部件离散制造场景，具有广阔的工业应用前景和客观的经济效益。

Description

基于点云的仿人三维扫描运动控制方法及装置
技术领域
本发明涉及机器人控制技术领域，尤其涉及一种基于点云的仿人三维扫描运动控制方法及装置。
背景技术
工业表面质量检测是产品生产过程中的一个重要组成部分，工业机器人的高精度和高灵活性使其能够代替人类扫描产品，且在多个部件的离散制造过程中，通常需要对产品的多个部件或不同模型进行全面检测。
相关技术中，现有三维扫描设备是针对待检测对象某一个部件或结构进行扫描，扫描多个部件或结构时需要控制扫描设备执行多次不同的扫描任务，且扫描设备按照不同部件的不同轨迹分别扫描时的参数设置复杂，检测效率低，无法满足针对复杂结构的待检测对象的高效、准确的扫描需求。
发明内容
本发明提供一种基于点云的仿人三维扫描运动控制方法及装置，用以解决现有技术中的三维扫描设备无法对多个部件或结构连续扫描，单独扫描多个部件或结构时的参数设置复杂，检测效率低的缺陷，提高了对待检测对象进行整体扫描的效率和准确率。
本发明提供一种基于点云的仿人三维扫描运动控制方法，包括：
获取待检测对象的相机视点轨迹和机械臂末端执行器轨迹；
基于所述相机视点轨迹和所述机械臂末端执行器轨迹，得到轨迹曲面和所述轨迹曲面的变形能函数，所述变形能函数用于优化所述轨迹曲面的平滑性；
基于所述变形能函数和距离偏差函数对所述轨迹曲面进行优化，得到所述待检测对象的运动规划轨迹曲线，所述距离偏差函数用于减少所述轨迹曲面在优化过程中的偏离程度；
将所述待检测对象的运动规划轨迹曲线输入至多目标运动控制模型进行求解，得到所述运动规划轨迹对应的机械臂运动控制最优解，所述多目标运动控制模型基于对所述待检测对象的多个优化目标进行数学建模得到。
根据本发明提供的基于点云的仿人三维扫描运动控制方法，所述获取待检测对象的相机视点轨迹和机械臂末端执行器轨迹，包括：
基于所述待检测对象的三维点云得到初始视点；
基于最小二乘渐进迭代逼近算法和NURBS曲线对所述初始视点进行拟合，得到所述相机视点轨迹和机械臂末端执行器轨迹。
根据本发明提供的基于点云的仿人三维扫描运动控制方法，所述基于所述变形能函数和距离偏差函数对所述轨迹曲面进行优化，得到所述待检测对象的运动规划轨迹曲线，包括：
基于所述变形能函数和距离偏差函数得到优化函数；
采用逐次逼近法SAM对所述优化函数进行迭代优化，得到目标优化解；
将NURBS曲线中的多个新的控制点输入至目标优化函数，得到优化后的目标函数值，并在原目标函数值与所述优化后的目标函数值之间的差值小于迭代终止阈值时或迭代次数超过最大迭代次数的情况下，得到所述运动规划轨迹曲线，所述原目标函数值为控制点输入至所述优化函数计算得到。
根据本发明提供的基于点云的仿人三维扫描运动控制方法，所述得到轨迹曲面和所述轨迹曲面的变形能函数，包括：
将所述轨迹曲面输入至薄板能量模型，得到所述变形能函数。
根据本发明提供的基于点云的仿人三维扫描运动控制方法，所述将所述待检测对象的运动规划轨迹曲线输入至多目标运动控制模型进行求解，得到所述运动规划轨迹对应的机械臂运动控制最优解，包括：
将所述轨迹跟踪、所述姿态约束、所述物理约束和所述避障约束汇总为目标优化问题；
基于元启发式递归神经网络、天牛角搜索算法BAS和所述待检测对象的运动规划轨迹曲线对所述目标优化问题进行求解，得到所述运动规划轨迹对应的机械臂运动控制最优解。
根据本发明提供的基于点云的仿人三维扫描运动控制方法，所述姿态约束用于优化机械臂末端执行器方向和相机视场轴线方向；
所述避障约束基于人工多球体近似法求解机械臂与障碍物的球体中心距离关系实现；
所述物理约束用于对所述机械臂的关节角度和关节角速度进行约束。
本发明还提供一种基于点云的仿人三维扫描运动控制装置，包括：
获取模块，用于获取待检测对象的相机视点轨迹和机械臂末端执行器轨迹；
第一处理模块，用于基于所述相机视点轨迹和所述机械臂末端执行器轨迹得到轨迹曲面和所述轨迹曲面的变形能函数，所述变形能函数用于优化所述轨迹曲面的平滑性；
第二处理模块，用于基于所述变形能函数和距离偏差函数对所述轨迹曲面进行优化，得到所述待检测对象的运动规划轨迹曲线，所述距离偏差函数用于减少所述轨迹曲面在优化过程中的偏离程度；
第三处理模块，用于将所述待检测对象的运动规划轨迹曲线输入至多目标运动控制模型进行求解，得到所述运动规划轨迹对应的机械臂运动控制最优解，所述多目标运动控制模型基于对所述待检测对象的多个优化目标进行数学建模得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于点云的仿人三维扫描运动控制方法及装置。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于点云的仿人三维扫描运动控制方法及装置。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于点云的仿人三维扫描运动控制方法及装置。
本发明提供的基于点云的仿人三维扫描运动控制方法及装置，通过待检测对象的相机视点轨迹和机械臂末端执行器轨迹得到轨迹曲面和轨迹曲面的变形能函数，并利用变形能函数和预设的距离偏差函数对轨迹曲面进行优化，得到运动规划轨迹曲线，最后将待检测对象的运动规划轨迹曲线输入至多目标运动控制模型进行求解，得到运动规划轨迹对应的机械臂运动控制最优解，实现对多个部件或结构的连续扫描，提高了扫描的效率和准确率，能够满足复杂的工业环境和实际任务要求，且更适应多部件离散制造场景，具有广阔的工业应用前景和客观的经济效益。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于点云的仿人三维扫描运动控制方法的流程示意图；
图2是本发明提供的基于点云的轨迹生成示意图；
图3是本发明提供的BAORNN算法的结构示意图；
图4是本发明提供的姿态约束示意图；
图5是本发明提供的障碍物建模示意图；
图6是本发明提供的基于点云的仿人三维扫描运动控制装置的流程示意图；
图7是本发明提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图6描述本发明的基于点云的仿人三维扫描运动控制方法。
图1是是本发明提供的基于点云的仿人三维扫描运动控制方法的流程示意图，如图1所示，该基于点云的仿人三维扫描运动控制方法包括如下步骤：
步骤110、获取待检测对象的相机视点轨迹和机械臂末端执行器轨迹。
在该步骤中，待检测对象可以是包括多个部件的复杂结构，终端控制机械臂末端执行器对待检测对象进行全面扫描时，可以先利用待检测对象的三维点云生成初始视点，再根据初始视点规划相机视点轨迹和机械臂末端执行器轨迹。
在该实施例中，相机可以使工业相机或其他是用于设备扫描的相机。
在该实施例中，可以采用最小二乘渐进迭代逼近(Least-square Progressiveand Iterative Approximation，LSPIA)算法和非均匀有理样条(Non-Uniform RationalB-Splines，NURBS)曲线对初始视点进行拟合，以获取上述相机视点轨迹以及机械臂末端执行器轨迹。
步骤120、基于相机视点轨迹和机械臂末端执行器轨迹，得到轨迹曲面和轨迹曲面的变形能函数，变形能函数用于优化轨迹曲面的平滑性。
在该步骤中，相机视点轨迹对应曲线和机械臂末端执行器轨迹对应曲线经过参数同步化后，两条曲线之间的参数点之间具有一一对应关系。
在该步骤中，轨迹曲面的变形能函数可以将该轨迹曲面通过能量模型构建得到，变形能函数能够处理曲面模型的能量优化问题，保证轨迹曲面的平滑性。
在该实施例中，能量模型可以是薄板能量模型。
在该实施例中，可以借助终端的曲面模块将相机视点轨迹和机械臂末端执行器轨迹进行拟合，得到对应的轨迹曲面。
步骤130、基于变形能函数和距离偏差函数对轨迹曲面进行优化，得到待检测对象的运动规划轨迹曲线，距离偏差函数用于减少轨迹曲面在优化过程中的偏离程度。
在该实施例中，对轨迹曲面进行能量优化可以改善曲面的平滑性，但也增加了曲线上的点与期望位置间的距离，可以根据用户需求设置一个距离偏差函数，以防止平滑后的轨迹严重偏离初始路径点，具体为：对轨迹曲面的优化过程中加入距离偏差优化的步骤，防止其数值相差过大。
在该实施例中，为了防止其数值相差过大，可以对联合函数进行最大最小值归一化，得到一个既能提高曲线平滑性又能保证距离偏差的目标函数。
在该实施例中，在满足扫面设备对待检测物体100％覆盖扫描的前提下，可以对上述距离误差阈值适当调整，例如在优化时采用较大的距离误差阈值，拟合中采用的期望距离误差阈值保证了较好的拟合效果，优化中采用的最大距离误差阈值最大化曲线平滑性。
在该实施例中，利用目标函数对上述轨迹曲面的平滑程度和偏离程度进行优化后，得到待检测对象的运动规划轨迹曲线。
步骤140、将待检测对象的运动规划轨迹曲线输入至多目标运动控制模型进行求解，得到运动规划轨迹对应的机械臂运动控制最优解，多目标运动控制模型基于对所述待检测对象的多个优化目标进行数学建模得到。
在该步骤中，通过对机械臂轨迹跟踪控制在关节空间进行运动规划，以实现末端执行器沿指定轨迹的移动。
需要说明的是，机械臂的正向运动学实现了从关节空间到任务空间的非线性映射，通过设置机械臂的关节角满足逆向运动学以实现对其运动轨迹的跟踪控制；由于冗余机械臂逆向运动学存在多组解，可以将机械臂的建模为一个优化问题求解。
在该步骤中，待检测对象的多个优化目标可以是轨迹跟踪、姿态约束、物理约束和避障约束。
在该实施例中，姿态约束实现了仿人多维度灵巧观测，对实际末端执行器方向和相机视场轴线方向进行约束；避障约束通过采取保证机械臂与障碍物之间的最小距离大于距离阈值的策略实现；物理约束即由于机械臂的固有特性和工作环境的要求，关节角应得到约束，以确保解决方案位于关节的机械极限范围内，故对关节角度、关节角速度进行约束。
在该实施例中，通过对运动控制优化问题进行建模后，可以将轨迹跟踪、姿态约束、避障约束和物理约束汇总成一个优化问题，并对目标函数中的轨迹跟踪和姿态约束等条件进行最大最小值归一化处理。
在该实施例中，利用待检测对象的运动规划轨迹曲线对运动控制控制模型中的优化问题进行计算迭代求解，在满足迭代条件的情况下得到最优解，终端控制机械臂末端执行器按照最优解对应的规划路线对待检测物体进行扫描和检测。
本发明实施例的基于点云的仿人三维扫描运动控制方法，通过待检测对象的相机视点轨迹和机械臂末端执行器轨迹得到轨迹曲面和轨迹曲面的变形能函数，并利用变形能函数和预设的距离偏差函数对轨迹曲面进行优化，得到运动规划轨迹曲线，最后将待检测对象的运动规划轨迹曲线输入至多目标运动控制模型进行求解，得到运动规划轨迹对应的机械臂运动控制最优解，实现对多个部件或结构的连续扫描，提高了扫描的效率和准确率，能够满足复杂的工业环境和实际任务要求，且更适应多部件离散制造场景，具有广阔的工业应用前景和客观的经济效益。
在一些实施例中，获取待检测对象的相机视点轨迹和机械臂末端执行器轨迹，包括：基于待检测对象的三维点云得到初始视点；基于最小二乘渐进迭代逼近算法和NURBS曲线对初始视点进行拟合，得到相机视点轨迹和机械臂末端执行器轨迹。
在该实施例中，可以先获取待检测对象的三维点云数据以得到初始视点，并利用NURBS曲线对初始视点进行拟合，且拟合过程中利用最小二乘渐进迭代逼近(Least-squareProgressive and Iterative Approximation，LSPIA)算法，得到初始视点对应的轨迹方程Cc(u)及其最近邻点集PN c(权重设置为1)，进而得出机械臂末端执行器对应于初始视点的位置点，并结合NURBS曲线和LSPIA算法拟合得出机械臂末端执行器的轨迹方程Ce(u)和最近邻点集再进行参数同步化，构造两条曲线间点的一一对应关系。
图2是本发明提供的基于点云的轨迹生成示意图，在图2所示的实施例中，机械臂的连续运动路径是根据一系列初始路径点和方向向量生成的，利用NURBS曲线和LSPIA算法拟合机械臂末端执行器轨迹时，LSPIA算法可以优化NURBS曲线上控制点的数量，已减少输入点的突变或噪声的影响，同时满足期望距离误差阈值的要求；通过设置相机视点轨迹曲线的权重系数为1，将相机视点轨迹曲线方程简化，并进一步得到最近邻点集，再结合机械臂对应的方向矢量集得到机械臂末端执行器位置的相应点集，拟合得到机械臂末端执行器拟合曲线和最近邻点集。
在该实施例中，相机视点轨迹曲线和机械臂末端执行器轨迹曲线的节点矢量不同，两条曲线上的点集不满足一对一的对应关系，可以通过对这两条曲线的节点矢量进行同步化，以得到一条连续平滑的轨迹。
在该实施例中，NURBS曲线结合LSPIA算法在优化轨迹时可以在一定程度上抑制突变或噪声对轨迹的影响，由于调整控制点的数量会导致整个曲线的变化，故无法对局部区域进行调整；为了使局部区域的曲线更优，对曲线的平滑性进行优化，通过两条NURBS曲线构建曲面方程，并通过曲面变形能函数计算轨迹曲面的平滑性，能量越小，曲面曲率越小，曲面越光滑；当能量为0时，曲面变为平面。
本发明实施例的基于点云的仿人三维扫描运动控制方法，通过基最小二乘渐进迭代逼近算法和NURBS曲线对初始视点进行拟合得到相机视点轨迹和机械臂末端执行器轨迹，减少了NURBS曲线上突变或噪声的影响，提高曲线的平滑性。
在一些实施例中，基于变形能函数和距离偏差函数对轨迹曲面进行优化，得到待检测对象的运动规划轨迹曲线，包括：基于变形能函数和距离偏差函数得到优化函数；采用逐次逼近法SAM对优化函数进行迭代优化，得到目标优化解；将NURBS曲线中的多个新的控制点输入至目标优化函数，得到优化后的目标函数值，并在原目标函数值与优化后的目标函数值之间的差值小于迭代终止阈值时或迭代次数超过最大迭代次数的情况下，得到运动规划轨迹曲线，原目标函数值为控制点输入至优化函数计算得到。
在该实施例中，经过能量优化，NURBS曲线的平滑性得到有效改善，但也增加了曲线上的点与期望位置间的距离，为了防止平滑后的轨迹严重偏离初始路径点，加入距离偏差函数，与变形能函数联合得到优化函数。
在该实施例中，可以利用逐次逼近算法(Successive Approximation Method，SAM)对优化函数进行迭代求解，即将优化函数利用泰勒级数变为二次规划问题求解，在求解二次规划问题并得到优化解后，将NURBS曲线中新的控制点代入目标函数，得到优化后的目标函数值。
在该实施例中，如果原目标函数值与优化后的目标函数值之差小于迭代终止阈值或迭代次数大于最大迭代次数，则停止迭代，得到优化解。
在该实施例中，目标函数在每次迭代后，对权重系数进行自适应动态调整，调整方式可以是：当距离误差远小于阈值，则增加能量部分占比，在满足距离误差阈值的同时，最大限度地提高曲线的平滑性；此外，如果在当前的权重系数下无法进行优化，那么将通过缩小权重系数来减少能量部分占比，确保优化顺利完成。
本发明实施例的基于点云的仿人三维扫描运动控制方法，通过结合变形能函数和距离偏差函数得到优化函数，并采用SAM对优化函数进行迭代优化得到目标优化函数，然后将NURBS曲线中的多个新的控制点输入至目标优化函数，得到优化后的目标函数值，最终在满足迭代结束条件时得到运动规划轨迹曲线，能够获取多目标的优化问题的最优解，并保证优化过程的稳定性。
在一些实施例中，得到轨迹曲面和轨迹曲面的变形能函数，包括：将轨迹曲面输入至薄板能量模型，得到变形能函数。
在该实施例中，将相机视点轨迹和机械臂末端执行器轨迹对应的轨迹曲面输入至薄板能量模型构建该轨迹曲面的变形能函数，通过调整NURBS曲线的Cc和Ce中控制点的坐标，可以减少曲面的变形能，提高平滑性。
在一些实施例中，将待检测对象的运动规划轨迹曲线输入至多目标运动控制模型进行求解，得到运动规划轨迹对应的机械臂运动控制最优解，包括：将轨迹跟踪、姿态约束、物理约束和避障约束汇总为目标优化问题；基于元启发式递归神经网络、天牛角搜索算法BAS和待检测对象的运动规划轨迹曲线对目标优化问题进行求解，得到运动规划轨迹对应的机械臂运动控制最优解。
需要说明的是，天牛角搜索(Beetle Antennae Search，BAS)算法模仿天牛行为，使用一对触角在未知环境中根据气味寻找食物的位置，在搜索的每个阶段。天牛利用其两根触角的气味来决定下一步的探索方向，且在这个过程中，天牛每次都会停下来，用嗅觉来确定哪个方向更好，然后天牛选择适当的方向来进行下一步的行动。
在该实施例中，采用BAS算法对目标优化问题进行求解可以在一定程度上减少随机性；而结合BAS算法和元启发式递归神经网络(Recurrent Neural Network，RNN)得到的BAORNN算法对目标优化问题进行迭代优化，可以在解决优化问题的同时，提高算法运行效率。
图3是本发明提供的元启发式递归神经网络和BAS算法组合的结构示意图，在图3所示的实施例中，采用BAS算法和元启发式递归神经网络求解其求解目标优化问题的过程如下：假设在时间k，机械臂位于关节空间的qk处，首先，先定义一个“天牛角”，生成一个满足正态分布的随机方向向量b并将其归一化，之后计算左右两个触角的位置，分别为在原qk上加减λkb，λk利通过上述目标函数值计算求取，并包括归一化后机械臂各关节对末端执行器位置的影响，可由位姿变换矩阵求得；为了防止末端执行器位置不满足约束条件，将该位置投影至约束集合中，保证关节角度、关节角速度和机械臂与障碍物间的距离满足约束；进而评估触角位置目标函数值，计算更新位置；再计算更新位置的目标函数值并判断其是否更优，若更优则更新，否则保持不变。最后控制机械臂移动至qk+1，若满足阈值要求，则终止迭代。
本发明实施例的基于点云的仿人三维扫描运动控制方法，通过将轨迹跟踪、姿态约束、物理约束和避障约束汇总为目标优化问题，并基于元启发式递归神经网络、天牛角搜索算法BAS和待检测对象的运动规划轨迹曲线对目标优化问题进行求解，得到运动规划轨迹对应的机械臂运动控制最优解，最后按照最优解控制机械臂对待检测兑现进行全覆盖扫描，提升了扫描效率和准确率。
在一些实施例中，多个优化目标包括轨迹跟踪、姿态约束、物理约束和避障约束，姿态约束用于优化机械臂末端执行器方向和相机视场轴线方向；避障约束基于人工多球体近似法求解机械臂与障碍物的球体中心距离关系实现；物理约束用于对机械臂的关节角度和关节角速度进行约束。
在图2所示的实施例中，设置仿人三维扫描待检测对象时需要控制机械臂沿指定的轨迹移动摄像机进行拍摄，故利用轨迹跟踪控制，在关节空间进行运动规划，以实现末端执行器沿指定轨迹的移动。机械臂正向运动学实现了从关节空间到任务空间的非线性映射，若想实现轨迹跟踪控制，需设置关节角满足逆向运动学，但对于冗余机械臂，其逆向运动学存在多组解，故将机械臂末端执行器的运动轨迹跟踪控制建模为一个优化问题求解。
图4是本发明提供的姿态约束示意图，在图4所示的实施例中，为了实现仿人多目标灵巧观测，可以利用姿态约束优化实际末端执行器方向和相机视场轴线方向；在轨迹规划完成后，期望的末端执行器方向集是由相机视点轨迹曲线和末端执行器轨迹曲线对应的点组成的矢量方向，期望的相机视场轴线方向可人为指定或在视点生成算法中获得，对机器手臂运动轨迹的姿态约束建模为一个优化问题求解。
图5是本发明提供的障碍物建模示意图，在图5所示的实施例中，可以采用人工多球体近似法将机械臂运动路径上的障碍物建模为多个球体以对障碍物实现完全包络，从而简化碰撞检测过程，并获得较好的近似精度；在包络过程中，首先将障碍物沿Z轴均匀切片，得到横截面，然后用球体沿横截面曲线包络障碍物，直至完全包络；可以通过选择适当的半径和球体数量，以实现障碍物的完全包络和精确建模，机械臂建模时使用圆柱体进行包络，并利用初始关节角度和位姿变换矩阵得到各关节运行时的位置。进而避障问题转化为要求包络障碍物的球体中心与机械臂连杆之间的最短距离大于距离阈值，故利用矢量法求连杆和包络球体球心间的最短距离。
在该实施例中，物理约束是由于机械手的固有特性和工作环境的要求，通过对机械臂的关节角进行物理约束，以确保解决方案位于关节的机械极限范围内。
本发明实施例的基于点云的仿人三维扫描运动控制方法，通过设置姿态约束优化机械臂末端执行器方向和相机视场轴线方向，设置避障约束提升机械臂躲避障碍物的性能，通过物理约束对机器人手臂的关节角度和关节角速度进行约束，提高机械手臂扫描复杂结构时的综合性能，以满足复杂的工业环境和实际任务要求。
下面对本发明提供的基于点云的仿人三维扫描运动控制装置进行描述，下文描述的基于点云的仿人三维扫描运动控制装置与上文描述的基于点云的仿人三维扫描运动控制方法可相互对应参照。
图6是本发明提供的基于点云的仿人三维扫描运动控制装置的流程示意图，该基于点云的仿人三维扫描运动控制装置包括获取模块610、第一处理模块620、第二处理模块630和第三处理模块640。
获取模块610，用于获取待检测对象的相机视点轨迹和机械臂末端执行器轨迹；
第一处理模块620，用于基于相机视点轨迹和机械臂末端执行器轨迹得到轨迹曲面和轨迹曲面的变形能函数，变形能函数用于优化轨迹曲面的平滑性；
第二处理模块630，用于基于变形能函数和距离偏差函数对轨迹曲面进行优化，得到待检测对象的运动规划轨迹曲线，距离偏差函数用于减少轨迹曲面在优化过程中的偏离程度；
第三处理模块640，用于将待检测对象的运动规划轨迹曲线输入至多目标运动控制模型进行求解，得到运动规划轨迹对应的机械臂运动控制最优解，多目标运动控制模型基于对所述待检测对象的多个优化目标进行数学建模得到。
本发明实施例的基于点云的仿人三维扫描运动控制装置，通过待检测对象的相机视点轨迹和机械臂末端执行器轨迹得到轨迹曲面和轨迹曲面的变形能函数，并利用变形能函数和预设的距离偏差函数对轨迹曲面进行优化，得到运动规划轨迹曲线，最后将待检测对象的运动规划轨迹曲线输入至多目标运动控制模型进行求解，得到运动规划轨迹对应的机械臂运动控制最优解，实现对多个部件或结构的连续扫描，提高了扫描的效率和准确率，能够满足复杂的工业环境和实际任务要求，且更适应多部件离散制造场景，具有广阔的工业应用前景和客观的经济效益。
图7是本发明提供的一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行基于点云的仿人三维扫描运动控制方法，该方法包括：获取待检测对象的相机视点轨迹和机械臂末端执行器轨迹；基于相机视点轨迹和机械臂末端执行器轨迹得到轨迹曲面和轨迹曲面的变形能函数，变形能函数用于优化轨迹曲面的平滑性；基于变形能函数和距离偏差函数对轨迹曲面进行优化，得到待检测对象的运动规划轨迹曲线，距离偏差函数用于减少轨迹曲面在优化过程中的偏离程度；将待检测对象的运动规划轨迹曲线输入至多目标运动控制模型进行求解，得到运动规划轨迹对应的机械臂运动控制最优解，多目标运动控制模型基于对所述待检测对象的多个优化目标进行数学建模得到。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于点云的仿人三维扫描运动控制方法，该方法包括：获取待检测对象的相机视点轨迹和机械臂末端执行器轨迹；基于相机视点轨迹和机械臂末端执行器轨迹得到轨迹曲面和轨迹曲面的变形能函数，变形能函数用于优化轨迹曲面的平滑性；基于变形能函数和距离偏差函数对轨迹曲面进行优化，得到待检测对象的运动规划轨迹曲线，距离偏差函数用于减少轨迹曲面在优化过程中的偏离程度；将待检测对象的运动规划轨迹曲线输入至多目标运动控制模型进行求解，得到运动规划轨迹对应的机械臂运动控制最优解，多目标运动控制模型基于对所述待检测对象的多个优化目标进行数学建模得到。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于点云的仿人三维扫描运动控制方法，该方法包括：获取待检测对象的相机视点轨迹和机械臂末端执行器轨迹；基于相机视点轨迹和机械臂末端执行器轨迹得到轨迹曲面和轨迹曲面的变形能函数，变形能函数用于优化轨迹曲面的平滑性；基于变形能函数和距离偏差函数对轨迹曲面进行优化，得到待检测对象的运动规划轨迹曲线，距离偏差函数用于减少轨迹曲面在优化过程中的偏离程度；将待检测对象的运动规划轨迹曲线输入至多目标运动控制模型进行求解，得到运动规划轨迹对应的机械臂运动控制最优解，多目标运动控制模型基于对所述待检测对象的多个优化目标进行数学建模得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于点云的仿人三维扫描运动控制方法，其特征在于，包括：
获取待检测对象的相机视点轨迹和机械臂末端执行器轨迹；
基于所述相机视点轨迹和所述机械臂末端执行器轨迹，得到轨迹曲面和所述轨迹曲面的变形能函数，所述变形能函数用于优化所述轨迹曲面的平滑性；
基于所述变形能函数和距离偏差函数对所述轨迹曲面进行优化，得到所述待检测对象的运动规划轨迹曲线，所述距离偏差函数用于减少所述轨迹曲面在优化过程中的偏离程度；
将所述待检测对象的运动规划轨迹曲线输入至多目标运动控制模型进行求解，得到所述运动规划轨迹对应的机械臂运动控制最优解，所述多目标运动控制模型基于对所述待检测对象的多个优化目标进行数学建模得到。
2.根据权利要求1所述的基于点云的仿人三维扫描运动控制方法，其特征在于，所述获取待检测对象的相机视点轨迹和机械臂末端执行器轨迹，包括：
基于所述待检测对象的三维点云得到初始视点；
基于最小二乘渐进迭代逼近算法和NURBS曲线对所述初始视点进行拟合，得到所述相机视点轨迹和机械臂末端执行器轨迹。
3.根据权利要求1所述的基于点云的仿人三维扫描运动控制方法，其特征在于，所述基于所述变形能函数和距离偏差函数对所述轨迹曲面进行优化，得到所述待检测对象的运动规划轨迹曲线，包括：
基于所述变形能函数和距离偏差函数得到优化函数；
采用逐次逼近法SAM对所述优化函数进行迭代优化，得到目标优化解；
将NURBS曲线中的多个新的控制点输入至目标优化函数，得到优化后的目标函数值，并在原目标函数值与所述优化后的目标函数值之间的差值小于迭代终止阈值时或迭代次数超过最大迭代次数的情况下，得到所述运动规划轨迹曲线，所述原目标函数值为控制点输入至所述优化函数计算得到。
4.根据权利要求1所述的基于点云的仿人三维扫描运动控制方法，其特征在于，所述得到轨迹曲面和所述轨迹曲面的变形能函数，包括：
将所述轨迹曲面输入至薄板能量模型，得到所述变形能函数。
5.根据权利要求1所述的基于点云的仿人三维扫描运动控制方法，其特征在于，所述多个优化目标包括轨迹跟踪、姿态约束、物理约束和避障约束，所述将所述待检测对象的运动规划轨迹曲线输入至多目标运动控制模型进行求解，得到所述运动规划轨迹对应的机械臂运动控制最优解，包括：
将所述轨迹跟踪、所述姿态约束、所述物理约束和所述避障约束汇总为目标优化问题；
基于元启发式递归神经网络、天牛角搜索算法BAS和所述待检测对象的运动规划轨迹曲线对所述目标优化问题进行求解，得到所述运动规划轨迹对应的机械臂运动控制最优解。
6.根据权利要求5中任一项所述的基于点云的仿人三维扫描运动控制方法，其特征在于，所述姿态约束用于优化机械臂末端执行器方向和相机视场轴线方向；
所述避障约束基于人工多球体近似法求解机械臂与障碍物的球体中心距离关系实现；
所述物理约束用于对所述机械臂的关节角度和关节角速度进行约束。
7.一种基于点云的仿人三维扫描运动控制装置，其特征在于，包括：
获取模块，用于获取待检测对象的相机视点轨迹和机械臂末端执行器轨迹；
第一处理模块，用于基于所述相机视点轨迹和所述机械臂末端执行器轨迹得到轨迹曲面和所述轨迹曲面的变形能函数，所述变形能函数用于优化所述轨迹曲面的平滑性；
第二处理模块，用于基于所述变形能函数和距离偏差函数对所述轨迹曲面进行优化，得到所述待检测对象的运动规划轨迹曲线，所述距离偏差函数用于减少所述轨迹曲面在优化过程中的偏离程度；
第三处理模块，用于将所述待检测对象的运动规划轨迹曲线输入至多目标运动控制模型进行求解，得到所述运动规划轨迹对应的机械臂运动控制最优解，所述多目标运动控制模型基于对所述待检测对象的多个优化目标进行数学建模得到。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于点云的仿人三维扫描运动控制方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于点云的仿人三维扫描运动控制方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于点云的仿人三维扫描运动控制方法。
CN202310519734.XA 2023-05-09 2023-05-09 基于点云的仿人三维扫描运动控制方法及装置 Pending CN116690557A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310519734.XA CN116690557A (zh) 2023-05-09 2023-05-09 基于点云的仿人三维扫描运动控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310519734.XA CN116690557A (zh) 2023-05-09 2023-05-09 基于点云的仿人三维扫描运动控制方法及装置

Publications (1)

Publication Number Publication Date
CN116690557A true CN116690557A (zh) 2023-09-05

Family

ID=87842315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310519734.XA Pending CN116690557A (zh) 2023-05-09 2023-05-09 基于点云的仿人三维扫描运动控制方法及装置

Country Status (1)

Country Link
CN (1) CN116690557A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117047776A (zh) * 2023-09-25 2023-11-14 苏州诺克汽车工程装备有限公司 一种六自由度机械臂对复杂零件抓取的路径规划方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117047776A (zh) * 2023-09-25 2023-11-14 苏州诺克汽车工程装备有限公司 一种六自由度机械臂对复杂零件抓取的路径规划方法

Similar Documents

Publication Publication Date Title
CN109571466B (zh) 一种基于快速随机搜索树的七自由度冗余机械臂动态避障路径规划方法
CN108932216B (zh) 一种基于粒子群优化算法的机器人逆运动学求解方法
CN109491389B (zh) 一种具有速度约束的机器人轨迹跟踪方法
CN109240091B (zh) 一种基于强化学习的水下机器人控制方法及其进行跟踪的控制方法
CN111761582B (zh) 一种基于随机采样的移动机械臂避障规划方法
CN108638055B (zh) 一种七自由度空间机械臂自主避障规划方法
JP2018020410A (ja) レイアウト設定方法、およびレイアウト設定装置
CN112536797A (zh) 一种工业机器人的位置与姿态误差综合补偿方法
CN116690557A (zh) 基于点云的仿人三维扫描运动控制方法及装置
CN114147708B (zh) 基于改进的天牛须搜索算法的机械臂避障路径规划方法
Balakrishna et al. On-policy robot imitation learning from a converging supervisor
CN111283683B (zh) 一种机器人视觉特征规划轨迹的伺服跟踪加速收敛方法
CN115416016A (zh) 一种基于改进人工势场法的机械臂避障路径规划方法
CN116061173A (zh) 一种带电作业的机械臂六自由度冗余任务轨迹规划方法
CN110125942B (zh) 一种用于移动型蛇形机械臂的平面轨迹跟踪方法
Liu et al. Improved RRT path planning algorithm for humanoid robotic arm
Diaz de Leon S et al. Automatic path planning for a mobile robot among obstacles of arbitrary shape
Tam et al. An improved genetic algorithm based robot path planning method without collision in confined workspace
US11813756B2 (en) Disassembly based assembly planning
Wang et al. Improving position accuracy of robot manipulators using neural networks
CN113400303A (zh) 基于rrt*算法的六轴机器人果蔬采摘路径规划方法
Hyotyniemi Minor moves-global results: robot trajectory planning
CN113434982A (zh) 一种电力智能仿生攀爬机器人的运动学逆解算法
Li et al. Model predictive control for constrained robot manipulator visual servoing tuned by reinforcement learning
CN117182932B (zh) 机械臂避障动作规划方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination