CN114029952A - 机器人操作控制方法、装置和系统 - Google Patents

机器人操作控制方法、装置和系统 Download PDF

Info

Publication number
CN114029952A
CN114029952A CN202111342561.6A CN202111342561A CN114029952A CN 114029952 A CN114029952 A CN 114029952A CN 202111342561 A CN202111342561 A CN 202111342561A CN 114029952 A CN114029952 A CN 114029952A
Authority
CN
China
Prior art keywords
robot
workpiece
point
coordinate system
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111342561.6A
Other languages
English (en)
Inventor
滕悦
殷伟豪
颜鲁齐
郑毅锋
邵帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202111342561.6A priority Critical patent/CN114029952A/zh
Publication of CN114029952A publication Critical patent/CN114029952A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

提供了一种机器人操作控制方法,包括：通过相机获取机器人和工件的3D图像，使用标定板来对机器人和相机进行手眼标定，并确定机器人坐标系相对于相机坐标系的转换关系；对所述机器人和工件的3D图像进行去噪声处理，根据处理后的数据及所述转换关系构建机器人和工件的3D模型；根据所述3D模型获取工件的特征点，并在显示界面上显示机器人和工件的轮廓以及所述工件的特征点；通过用户选择特征点的位置后，生成使得机器人到达用户选择的特征点的运动轨迹指令；通过选择所述运动轨迹指令，使得机器人移动到指定的目标位置。本发明的方法使坐标生成过程变得半自动化，人机交互变得更加友好，容易进行操作，提高了工具坐标生成的效率和质量。

Description

机器人操作控制方法、装置和系统
技术领域
本发明涉及智能控制领域，更具体地涉及一种机器人操作控制方法、装置和系统。
背景技术
在机器人的实际使用中，需要在机器人的末端TCP((Tool Center Point，工具中心点))位置增加合适的工具进行搬运、焊接以及喷涂等工作。机器人增加工具之后，原有默认末端TCP位置发生了改变，就需要生成新的工具坐标系将原有末端位置转换成现有的工具末端位置。传统工具坐标系的生成需要在空间中找到工件的一个目标点位置，使用机器人的若干种不同的位姿使机器人现有末端点触碰到工件的目标点位置。该过程需要操作人员手动操纵对机器人的位置和位姿进行改变，同时还需要操作人员用肉眼去观察机器人是否到达指定的位置。当机器人位置接近于目标点位置时，需要降低机器人速度缓慢靠近目标点，否则将很容易碰撞到工件导致工具坐标系创建失败甚至机器人上面的工具损坏等更大的损失。同时在空间中去触碰目标点是需要在不同方向肉眼观察目标点位置的，否则将影响最终生成工具坐标系的精度。因此机器人工具坐标系的生成速度和精度都非常依赖于操作人员操纵机器人的熟练程度，人机交互方面也没有很直观的方案让新手非常方便的去生成工具坐标系，不利于新手进行操作。
工具坐标系生成过程操作复杂，需要肉眼观察目标点的问题。同时也没有良好的人机交互方案去指导人员生成机器人工具坐标系。因此，现有技术需要一种机器人控制方那能够解决上述问题。
上述在背景部分公开的信息仅用于对本发明的背景做进一步的理解，因此它可以包含对于本领域普通技术人员已知的不构成现有技术的信息。
发明内容
本发明提供了一种机器人操作控制方法、装置和系统。本发明的方案能够解决的问题包括：(1)机器人工具坐标系的生成操作复杂，难度高；(2)机器人工具坐标系的生成需要肉眼观察目标点，影响最终精度；(3)没有直观的人机交互方案去指导人员创建工具坐标系。
本发明的第一方面提供了一种机器人操作控制方法，包括：S1：通过相机获取机器人和工件的3D图像，使用标定板来对机器人和相机进行手眼标定，并确定机器人坐标系相对于相机坐标系的转换关系；S2：对所述机器人和工件的3D图像进行去噪声处理，根据处理后的数据及所述转换关系构建机器人和工件的3D模型；S3：根据所述3D模型获取工件的特征点，并在显示界面上显示机器人和工件的轮廓以及所述工件的特征点；S4：通过用户选择特征点的位置后，生成使得机器人到达用户选择的特征点的运动轨迹指令；S5：通过选择所述运动轨迹指令，使得机器人移动到指定的目标位置。
根据本发明的一个实施例，其中，其中，在所述步骤S1中，所述确定机器人坐标系与相机坐标系的转换关系包括：S11：在XYZ方向平移和旋转标定板，通过相机采集不同姿态标定板的图像；S12:调用视觉算法软件的内部参数标定算来确定标定后的相机内部参数；S13:确定手眼变换矩阵，对手眼变换矩阵求解，并根据标定的相机内部参数获取机器人基坐标系相对于相机坐标系的转换关系。
根据本发明的一个实施例，其中，其中所述步骤S13包括：确定：手眼变换矩阵为：
Figure BDA0003352705180000021
Figure BDA0003352705180000022
其中，w为机器人的基坐标系，e为机器人的工具坐标系，c为摄像机坐标系，g为标定板像素坐标系，
Figure BDA0003352705180000023
为相机坐标系相对于机器人基坐标系的变换矩阵，
Figure BDA0003352705180000024
分别代表机器人基坐标系相对于机器人末端工具中心点的第i、j次变换矩阵，
Figure BDA0003352705180000025
表示标定板相对于机器人末端工具中心点TCP的变换矩阵；将所述手眼变换矩阵两式分别左乘
Figure BDA0003352705180000026
得到
Figure BDA0003352705180000027
再两边同时左乘
Figure BDA0003352705180000028
同时右乘
Figure BDA0003352705180000029
得到
Figure BDA00033527051800000210
令
Figure BDA0003352705180000031
得到AX＝XB，对AX＝XB进行求解计算。
根据本发明的一个实施例，其中在所述步骤S2中，将所述3D图像中的深度数据信息转换为3D点云信息，并采用领域平均法对所述3D点云信息进行去噪处理。
根据本发明的一个实施例，其中，所述步骤S2中的对所述机器人和工件的3D图像进行去噪声处理包括：S21:使用空间单元格建立点云信息之间的拓扑关系；S22:找到点云数据中的任意一点pi∈M的K-近邻N(pi)，其中M为点云集合，如果在该点pi的K-近邻中有k个相似特征的其他样本，则认为该样本点也同样具有该相似特征；S23：计算该样本点与其K-近邻中其他各点之间的距离并取平均值D(pi)，其中，
Figure BDA0003352705180000032
S24:对D(pi)进行判断是否超过设定的阈值范围，若超过则认为样本点pi为噪声点，将噪声滤除；S25：重复S21～S24的操作直到所述机器人和工件的3D图像被完全遍历。
根据本发明的一个实施例，其中，在所述步骤S2中，所述根据处理后的数据及所述转换关系构建机器人和工件的3D模型包括：根据去噪后的点云信息进行机器人的末端工具中心点配准，并计算当前相机的位置，根据计算出的相机位置使用采用贪婪投影三角化点云融合算法将当前相机帧的3D点云信息融合到现有模型中，将点云数据进行曲面封装，形成机器人本体以及工件的3D模型。
根据本发明的一个实施例，其中，在所述步骤S3中，所述根据所述3D模型获取工件的特征点包括：采用角点检测算法来选择工件边缘的角点，将工件边缘的角点作为工件的特征点，所述角点检测算法包括：S31：形成描述工件3D图像局部灰度的自相关函数E(u,v)＝∑x,yw(x,y)(f(x+u,y+v)-f(x,y))2，其中，u和v分别为x和y方向上面的相对距离，f为灰度函数，w(x,y)为高斯窗口函数；S32:用微分算子重新定义灰度强度变化
Figure BDA0003352705180000033
得到自相关函数E(u,v)的近似Hessian矩阵
Figure BDA0003352705180000034
S33:定义角点的响应函数RHarris＝detM-k(traceM)2,其中detM表示M的行列式值，trace M表示矩阵的迹，k是经验常数；S34：当RHarris为局部最大时，确定工件边缘的角点。
根据本发明的一个实施例，在所述步骤S4中，机器人运动指令包括MoveJ、MoveL和MoveP的一种或种，其中，MoveJ指令用于将机器人轴移动到一个指定的轴位置，所有轴同时到达目标轴位置；MoveL指令用于工具末端以直线方式运动到目标点；MoveP指令用于将工具末端以关节运行的方式运行到目标笛卡尔位置，从起点到终点间的轨迹不确定。
本发明的第二方面提供了一种机器人操作控制装置，包括包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现上述的方法。
本发明的第三方面提供了一种机器人操作控制系统，包括相机、机器人和本发明上述机器人操作控制装置。
本发明使用3D相机对机器人本体以及工件进行建模，获得两者的三维点云数据。并使用3Dharris角点检测方法获取工件的角点位置信息。将机器人以及工件的3D建模效果显示在PC机或示教器上，并在工件的建模上标注根据角点检测获取的角点位置。用户在PC机或示教器上可以通过点击角点作为特征点自动生成机器人运动轨迹指令，将机器人的工具尖端自动到达特征点的位置。并在到达位置之后，操作人员可以在保证尖端固定位置的前提下改变机器人的位姿。实现机器人若干种不同位姿达到同一特征目标点的效果。该系统和方法使原来繁琐复杂的工具坐标生成过程变得半自动化，人机交互变得更加友好，新手也可以很容易的进行操作，同时也提高了工具坐标生成的效率和质量。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图进行简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的机器人操作控制系统连接关系图。
图2是根据本发明的示例性实施例的机器人操作控制方法的流程图。
图3是根据本发明的示例性的实施例机器人操作控制方法实施流程图。
具体实施例
如在本文中所使用的，词语“第一”、“第二”等可以用于描述本发明的示例性实施例中的元件。这些词语只用于区分一个元件与另一元件，并且对应元件的固有特征或顺序等不受该词语的限制。除非另有定义，本文中使用的所有术语(包括技术或科学术语)具有与本发明所属技术领域的普通技术人员通常理解的含意相同的含意。如在常用词典中定义的那些术语被解释为具有与相关技术领域中的上下文含意相同的含意，而不被解释为具有理想或过于正式的含意，除非在本发明中被明确定义为具有这样的含意。
本领域的技术人员将理解的是，本文中描述的且在附图中说明的本发明的装置和方法是非限制性的示例性实施例，并且本发明的范围仅由权利要求书限定。结合一个示例性实施例所说明或描述的特征可与其他实施例的特征组合。这种修改和变化包括在本发明的范围内。
下文中，将参考附图详细描述本发明的示例性实施例。在附图中，省略相关已知功能或配置的详细描述，以避免不必要地遮蔽本发明的技术要点。另外，通篇描述中，相同的附图标记始终指代相同的电路、模块或单元，并且为了简洁，省略对相同电路、模块或单元的重复描述。
此外，应当理解一个或多个以下方法或其方面可以通过至少一个控制单元或控制器执行。术语“控制单元”，“控制器”,“控制模块”或者“主控模块”可以指代包括存储器和处理器的硬件设备。存储器或者计算机可读存储介质配置成存储程序指令，而处理器具体配置成执行程序指令以执行将在以下进一步描述的一个或更多进程。而且，应当理解，正如本领域普通技术人员将意识到的，以下方法可以通过包括处理器并结合一个或多个其他部件来执行。
本发明的方案利用3D相机和点云技术，对机器人以及工件位置和外形进行建模，获取工件角点作为特征点。并将机器人本体、工件以及特征点显示在PC端或者示教器上。操作人员选择对应特征点作为特征点，可以自动生成轨迹指令方案，将机器人到达特征点位置。并根据工具坐标系创建过程的特点，可以在上位机端改变机器人位姿，自动生成改变位姿的指令方案。可以实现机器人工具坐标系生成的半自动化。使新手也很容易去进行工具坐标系的生成。
本发明还提供一种机器人工具坐标系生成系统及方法。采用本发明可以通过3D视觉点云建模以及角点检测的方式，将机器人本体、工件以及特征示教点位显示在上位机上。用户可以根据需求生成运动指令使机器人达到指定为止以及改变位姿，实现了机器人工具坐标系生成的半自动化，方便了不同操作熟练度的操作者创建新的工具坐标系。
图1是本发明的机器人操作控制系统连接关系图。
如图1所示，(1)为3D相机(2)为示教工件(3)为机器人。首先，架设3D相机Kinect，使用工业专用的相机架，将相机架设于机器人及工件的正前方位置，如图1所示。网线将相机通过磁盘录像机连接到PC端或示教器上，使用PC端或机器人示教器发送指令控制相机进行拍照。由于相机存在一定的畸变，因此相机中得到的像素位置、距离等信息并不是真正物体在空间中的真实信息。
图2是根据本发明的示例性实施例的机器人操作控制方法的流程图。
如图2所示，在步骤S1处，通过相机获取机器人和工件的3D图像，使用标定板来对机器人和相机进行手眼标定，并确定机器人坐标系相对于相机坐标系的转换关系；
在步骤S2处，对所述机器人和工件的3D图像进行去噪声处理，根据处理后的数据及所述转换关系构建机器人和工件的3D模型；
在步骤S3处，根据所述3D模型获取工件的特征点，并在显示界面上显示机器人和工件的轮廓以及所述工件的特征点；
在步骤S4处，通过用户选择特征点的位置后，生成使得机器人到达用户选择的特征点的运动轨迹指令；
在步骤S5处，通过选择所述运动轨迹指令，使得机器人移动到指定的目标位置。
图3是根据本发明的示例性的实施例机器人操作控制方法实施流程图。
如图3所示，首先要确定机器人坐标系与相机坐标系之间的坐标转换关系，即手眼关系。确定的流程如下：
S11：在XYZ方向平移和旋转标定板，通过相机采集不同姿态标定板的图像；
S12:调用视觉算法软件的内部参数标定算来确定标定后的相机内部参数；
S13:确定手眼变换矩阵，对手眼变换矩阵求解，并根据标定的相机内部参数获取机器人基坐标系相对于相机坐标系的转换关系。
根据本发明的一个或多个实施例，确定机器人坐标系与相机坐标系之间的坐标转换关系，即手眼关系。确定的流程如下：在XYZ方向平移和旋转标定板，通过相机采集18张不同姿态halcon标定板的图片；其中，halcon标定板在图1中机器人六轴末端夹取着；调用halcon的内部参数标定算子calibrate_cameras，可以输出标定后的相机内部参数；halcon是德国MVtec公司开发的一套完善的标准的机器视觉算法软件，这里使用的是软件配套的标定板；假设W为机器人的世界坐标系，C为摄像机坐标系，G为标定板像素坐标系。Rw为机器人世界坐标系W与摄像机坐标系C之间的转换关系，RC为摄像机坐标系C与标定板像素坐标系G之间的转换关系。通过采集不同姿态的标定板图像，可以得到多个方程式组成的方程组，求解出Rw和RC。其中，通过相机标定，建立相机坐标系和机器人坐标系之间的关系，将相机中拍摄的图像位置转换为机器人坐标系下位置。方便机器人移动到该目标位置。最终通过上述算法得到机器人世界坐标系W与标定板像素坐标系G之间的关系为Rg＝RwRC；
根据本发明的一个或多个实施例，在上述坐标变换中，手眼变换矩阵为：
Figure BDA0003352705180000071
Figure BDA0003352705180000072
其中，w为机器人的基坐标系，e为机器人的工具坐标系，c为摄像机坐标系，g为标定板像素坐标系，
Figure BDA0003352705180000073
为相机坐标系相对于机器人基坐标系的变换矩阵，
Figure BDA0003352705180000074
分别代表机器人基坐标系相对于机器人末端工具中心点的第i、j次变换矩阵，
Figure BDA0003352705180000075
表示标定板相对于机器人末端工具中心点TCP的变换矩阵；将所述手眼变换矩阵两式分别左乘
Figure BDA0003352705180000081
得到
Figure BDA0003352705180000082
再两边同时左乘
Figure BDA0003352705180000083
同时右乘
Figure BDA0003352705180000084
得到
Figure BDA0003352705180000085
令
Figure BDA0003352705180000086
得到AX＝XB，对AX＝XB进行求解计算。
根据本发明的一个或多个实施例，3D相机Kinect拍摄的照片包含物体的深度数据信息，相机内部的传感器将深度数据转换为3D点云的信息。为了保证建模的精度，采用邻域平均法对获取的点云数据进行去噪预处理。具体处理过程包括：
S21:使用空间单元格建立点云信息之间的拓扑关系；空间内建立N*N*N的正方体格子窗口作为模板，正方体格子中心为当前处理的像素坐标pi，格子中其他元素为当前像素坐标的K-近邻样本坐标；
S22:找到点云数据中的任意一点pi∈M的K-近邻N(pi)，其中M为点云集合，如果在该点pi的K-近邻中有k个相似特征的其他样本，则认为该样本点也同样具有该相似特征；
S23：计算该样本点与其K-近邻中其他各点之间的距离并取平均值D(pi)，其中，
Figure BDA0003352705180000087
S24:对D(pi)进行判断是否超过设定的阈值范围，若超过则认为样本点pi为噪声点，将噪声滤除；
S25：重复S21～S24的操作直到所述机器人和工件的3D图像被完全遍历。
根据去噪后的点云数据进行ICP配准，计算当前帧相机的位置，根据计算出的相机位置使用采用贪婪投影三角化点云融合算法将当前帧的3D点云融合到现有模型中。将点云数据进行曲面封装，该部分直接使用曲面封装，采样点云融合算法建立曲面模型根据点云数据生成三维模型。形成机器人本体以及工件完整的三维模型。并将得到的三维模型显示在PC端或示教器人机交互界面上。
根据本发明的一个或度过实施例所述贪婪投影三角化点云融合算法包括：将点云通过法线投影到坐标平面内；对投影得到的点云做平面内的三角化，过程中进行空间区域的增长；根据投影点云的连接关系得到三角网格即为重建得到的曲面模型。
根据本发明的一个或多个实施例，机器人工具坐标系的建立过程首先需要将机器人末端位置移动到工件的特定目标点上，一般选择将工件的边缘角点作为特定目标点进行示教，因此采用3Dharris角点检测算法自动获取可以选择的工件特定目标点。角点检测算法过程如下：
S31：形成描述工件3D图像局部灰度的自相关函数E(u,v)＝∑x,yw(x,y)(f(x+u,y+v)-f(x,y))2，其中，u和v分别为x和y方向上面的相对距离，f为灰度函数，w(x,y)为高斯窗口函数；
S32:用微分算子重新定义灰度强度变化
Figure BDA0003352705180000091
得到自相关函数E(u,v)的近似Hessian矩阵
Figure BDA0003352705180000092
S33:定义角点的响应函数RHarris＝detM-k(trace M)2,其中detM表示M的行列式值，trace M表示矩阵的迹，k是经验常数，通常可取0.04；
S34：当RHarris为局部最大时，确定工件边缘的角点。
进行工件的角点检测之后将得到的角点也显示在PC端或示教器的人机交互界面上，方便用户选择机器人移动的目标点。当用户选择了目标点后，人机交互界面会自动弹出用户需要选择的机器人运动指令MoveJ、MoveL、MoveP等。用户可以选择并自动生成合适的机器人运动指令将机器人移动到指定的目标点。机器人运动指令。
根据本发明的一个或多个实施例，MoveJ指令用于将机器人轴移动到一个指定的轴位置，所有轴同时到达目标轴位置。MoveL指令用于工具末端以直线方式运动到目标点。MoveP指令用于将工具末端以关节运行的方式运行到目标笛卡尔位置，从起点到终点间的轨迹不确定。
根据本发明的一个或多个实例，将机器人移动到指令目标点并进行示教后，还切换机器人的几种不同位姿进行示教。在PC端或示教器界面上，本发明在保证机器人末端位置不变的情况下，用户可以拖动已经建模好的机器人三维模型形成几种不同的位姿。通过已经得到的手眼关系，得到机器人不同位姿下的实际坐标，自动生成合适的运动指令，达到机器人以多种位姿使尖端达到同一目标点的要求。半自动的完成了机器人工具坐标系的生成。
本发明可以很大程度上减少工具坐标系生成的复杂性，并且提供了良好的人机交互方案指导人员去进行工具坐标系的创建。节省了操作人员的时间，不需要手动示教也避免了操作不熟练导致的危险或工件损坏。提高了工具坐标系生成的安全性和可靠性。
根据本发明的一个或多个实施例，还提供了一种机器人操作控制装置，包括包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现上述的方法。
根据本发明的一个或多个实施例，还提供了一种机器人操作控制系统，包括相机、机器人和上述的机器人操作控制装置。
根据本发明的一个或多个实施例，本发明的方法中的控制逻辑可以使用存储在非暂时性计算机和/或机器可读介质(例如硬盘驱动器、闪存、只读存储器、光盘、数字多功能磁盘、高速缓存、随机存取存储器和/或任何其他存储设备或存储磁盘)上的编码的指令(例如，计算机和/或机器可读指令)来实现如本发明以上方法的流程的处理，在非暂时性计算机和/或机器可读介质中存储任何时间期间(例如，延长的时间段、永久的、短暂的实例、临时缓存和/或信息高速缓存)的信息。如本文所使用的，术语“非暂时性计算机可读介质”被明确定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号并排除传输介质。
根据本发明的一个或多个实施例，本发明的方法可以使用控制电路、(控制逻辑、主控系统或控制模块)来实现，其可以包含一个或多个处理器，也可以在内部包含有非暂时性计算机可读介质。具体地，主控系统或控制模块可以包括微控制器MCU。用于实现本发明方法的处理的处理器可以诸如但不限于一个或多个单核或多核处理器。(一个或多个)处理器可包括通用处理器和专用处理器(例如，图形处理器、应用处理器等)的任何组合。处理器可与其耦接和/或可包括计存储器/存储装置，并且可被配置为执行存储在存储器/存储装置中的指令，以实现在本发明中控制器上运行的各种应用和/或操作系统。
作为本发明示例的上文涉及的附图和本发明的详细描述，用于解释本发明，但不限制权利要求中描述的本发明的含义或范围。因此，本领域技术人员可以很容易地从上面的描述中实现修改。此外，本领域技术人员可以删除一些本文描述的组成元件而不使性能劣化，或者可以添加其它的组成元件以提高性能。此外，本领域技术人员可以根据工艺或设备的环境来改变本文描述的方法的步骤的顺序。因此，本发明的范围不应该由上文描述的实施例来确定，而是由权利要求及其等同形式来确定。
尽管本发明结合目前被认为是可实现的实施例已经进行了描述，但是应当理解本发明并不限于所公开的实施例，而相反的，意在覆盖包括在所附权利要求的精神和范围内的各种修改和等同配置。

Claims (10)

1.一种机器人操作控制方法，包括：
S1：通过相机获取机器人和工件的3D图像，使用标定板来对机器人和相机进行手眼标定，并确定机器人坐标系相对于相机坐标系的转换关系；
S2：对所述机器人和工件的3D图像进行去噪声处理，根据处理后的数据及所述转换关系构建机器人和工件的3D模型；
S3：根据所述3D模型获取工件的特征点，并在显示界面上显示机器人和工件的轮廓以及所述工件的特征点；
S4：通过用户选择特征点的位置后，生成使得机器人到达用户选择的特征点的运动轨迹指令；
S5：通过选择所述运动轨迹指令，使得机器人移动到指定的目标位置。
2.根据权利要求1所述的方法，其中，在所述步骤S1中，所述确定机器人坐标系与相机坐标系的转换关系包括：
S11：在XYZ方向平移和旋转标定板，通过相机采集不同姿态标定板的图像；
S12:调用视觉算法软件的内部参数标定算来确定标定后的相机内部参数；
S13:确定手眼变换矩阵，对手眼变换矩阵求解，并根据标定的相机内部参数获取机器人基坐标系相对于相机坐标系的转换关系。
3.根据权利要求2所述的方法，其中所述步骤S13包括：确定：手眼变换矩阵为：
Figure FDA0003352705170000011
Figure FDA0003352705170000012
其中，w为机器人的基坐标系，e为机器人的工具坐标系，c为摄像机坐标系，g为标定板像素坐标系，
Figure FDA0003352705170000013
为相机坐标系相对于机器人基坐标系的变换矩阵，
Figure FDA0003352705170000021
分别代表机器人基坐标系相对于机器人末端工具中心点的第i、j次变换矩阵，
Figure FDA0003352705170000022
表示标定板相对于机器人末端工具中心点TCP的变换矩阵；
将所述手眼变换矩阵两式分别左乘
Figure FDA0003352705170000023
得到
Figure FDA0003352705170000024
再两边同时左乘
Figure FDA0003352705170000025
同时右乘
Figure FDA0003352705170000026
得到
Figure FDA0003352705170000027
令
Figure FDA0003352705170000028
Figure FDA0003352705170000029
得到AX＝XB，对AX＝XB进行求解计算。
4.根据权利要求1所述的方法，其中在所述步骤S2中，将所述3D图像中的深度数据信息转换为3D点云信息，并采用领域平均法对所述3D点云信息进行去噪处理。
5.根据权利要求4所述的方法，其中，所述步骤S2中的对所述机器人和工件的3D图像进行去噪声处理包括：
S21:使用空间单元格建立点云信息之间的拓扑关系；
S22:找到点云数据中的任意一点pi∈M的K-近邻N(pi)，其中M为点云集合，如果在该点pi的K-近邻中有k个相似特征的其他样本，则认为该样本点也同样具有该相似特征；
S23：计算该样本点与其K-近邻中其他各点之间的距离并取平均值D(pi)，其中，
Figure FDA00033527051700000210
S24:对D(pi)进行判断是否超过设定的阈值范围，若超过则认为样本点pi为噪声点，将噪声滤除；
S25：重复S21～S24的操作直到所述机器人和工件的3D图像被完全遍历。
6.根据权利要求5所述的方法，其中，在所述步骤S2中，所述根据处理后的数据及所述转换关系构建机器人和工件的3D模型包括：
根据去噪后的点云信息进行机器人的末端工具中心点配准，并计算当前相机的位置，根据计算出的相机位置使用采用贪婪投影三角化点云融合算法将当前相机帧的3D点云信息融合到现有模型中，将点云数据进行曲面封装，形成机器人本体以及工件的3D模型。
7.根据权利要求1所述的方法，其中，在所述步骤S3中，所述根据所述3D模型获取工件的特征点包括：采用角点检测算法来选择工件边缘的角点，将工件边缘的角点作为工件的特征点，所述角点检测算法包括：
S31：形成描述工件3D图像局部灰度的自相关函数E(u，v)＝∑x，yw(x，y)(f(x+u，y+v)-f(x，y))2，其中，u和v分别为x和y方向上面的相对距离，f为灰度函数，w(x，y)为高斯窗口函数；
S32：用微分算子重新定义灰度强度变化
Figure FDA0003352705170000031
得到自相关函数E(u，v)的近似Hessian矩阵
Figure FDA0003352705170000032
S33：定义角点的响应函数RHarris＝detM-k(trace M)2，其中detM表示M的行列式值，trace M表示矩阵的迹，k是经验常数；
S34：当RHarris为局部最大时，确定工件边缘的角点。
8.根据权利要求1所述的方法，其中，在所述步骤S4中，机器人运动指令包括MoveJ、MoveL和MoveP的一种或种，其中，
MoveJ指令用于将机器人轴移动到一个指定的轴位置，所有轴同时到达目标轴位置；
MoveL指令用于工具末端以直线方式运动到目标点；
MoveP指令用于将工具末端以关节运行的方式运行到目标笛卡尔位置，从起点到终点间的轨迹不确定。
9.一种机器人操作控制装置，包括包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现根据权利要求1-9任一项所述的方法。
10.一种机器人操作控制系统，包括相机、机器人和根据权利要求9所述的装置。
CN202111342561.6A 2021-11-12 2021-11-12 机器人操作控制方法、装置和系统 Pending CN114029952A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111342561.6A CN114029952A (zh) 2021-11-12 2021-11-12 机器人操作控制方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111342561.6A CN114029952A (zh) 2021-11-12 2021-11-12 机器人操作控制方法、装置和系统

Publications (1)

Publication Number Publication Date
CN114029952A true CN114029952A (zh) 2022-02-11

Family

ID=80137490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111342561.6A Pending CN114029952A (zh) 2021-11-12 2021-11-12 机器人操作控制方法、装置和系统

Country Status (1)

Country Link
CN (1) CN114029952A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880291A (zh) * 2023-02-22 2023-03-31 江西省智能产业技术创新研究院 汽车总成防错识别方法、系统、计算机及可读存储介质
CN117400256A (zh) * 2023-11-21 2024-01-16 扬州鹏顺智能制造有限公司 一种基于视觉图像的工业机器人连续轨迹控制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090055020A1 (en) * 2007-06-28 2009-02-26 Samsung Electronics Co., Ltd. Apparatus, method and medium for simultaneously performing cleaning and creation of map for mobile robot
US20140350839A1 (en) * 2013-05-23 2014-11-27 Irobot Corporation Simultaneous Localization And Mapping For A Mobile Robot
CN104942808A (zh) * 2015-06-29 2015-09-30 广州数控设备有限公司 机器人运动路径离线编程方法及系统
CN106643551A (zh) * 2016-12-07 2017-05-10 苏州笛卡测试技术有限公司 一种叶片形状快速扫描装置及方法
CN107081756A (zh) * 2016-02-12 2017-08-22 发那科株式会社 进行机器人程序的示教的机器人编程装置
CN110253570A (zh) * 2019-05-27 2019-09-20 浙江工业大学 基于视觉的工业机械臂人机安全系统
CN110480637A (zh) * 2019-08-12 2019-11-22 浙江大学 一种基于Kinect传感器的机械臂零件图像识别抓取方法
US20200398435A1 (en) * 2019-06-20 2020-12-24 Omron Corporation Control System and Control Method
US20210103293A1 (en) * 2018-07-20 2021-04-08 SZ DJI Technology Co., Ltd. Control methods and apparatuses for mobile robots, devices, and storage media

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090055020A1 (en) * 2007-06-28 2009-02-26 Samsung Electronics Co., Ltd. Apparatus, method and medium for simultaneously performing cleaning and creation of map for mobile robot
US20140350839A1 (en) * 2013-05-23 2014-11-27 Irobot Corporation Simultaneous Localization And Mapping For A Mobile Robot
CN104942808A (zh) * 2015-06-29 2015-09-30 广州数控设备有限公司 机器人运动路径离线编程方法及系统
CN107081756A (zh) * 2016-02-12 2017-08-22 发那科株式会社 进行机器人程序的示教的机器人编程装置
CN106643551A (zh) * 2016-12-07 2017-05-10 苏州笛卡测试技术有限公司 一种叶片形状快速扫描装置及方法
US20210103293A1 (en) * 2018-07-20 2021-04-08 SZ DJI Technology Co., Ltd. Control methods and apparatuses for mobile robots, devices, and storage media
CN110253570A (zh) * 2019-05-27 2019-09-20 浙江工业大学 基于视觉的工业机械臂人机安全系统
US20200398435A1 (en) * 2019-06-20 2020-12-24 Omron Corporation Control System and Control Method
CN110480637A (zh) * 2019-08-12 2019-11-22 浙江大学 一种基于Kinect传感器的机械臂零件图像识别抓取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
中国指挥控制学会火力与指挥控制专业委员会: "《神经中枢 2013 网络时代的火力与指挥控制》", 30 October 2013 *
自然资源部农用地质量与监控重点实验室: "《中国农用地质量发展研究报告 2019版》", 30 April 2020 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880291A (zh) * 2023-02-22 2023-03-31 江西省智能产业技术创新研究院 汽车总成防错识别方法、系统、计算机及可读存储介质
CN117400256A (zh) * 2023-11-21 2024-01-16 扬州鹏顺智能制造有限公司 一种基于视觉图像的工业机器人连续轨迹控制方法
CN117400256B (zh) * 2023-11-21 2024-05-31 扬州鹏顺智能制造有限公司 一种基于视觉图像的工业机器人连续轨迹控制方法

Similar Documents

Publication Publication Date Title
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
CN107292965B (zh) 一种基于深度图像数据流的虚实遮挡处理方法
JP6031554B2 (ja) 単眼カメラに基づく障害物検知方法及び装置
CN102902355B (zh) 移动设备的空间交互方法
CN111710036B (zh) 三维人脸模型的构建方法、装置、设备及存储介质
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN114029952A (zh) 机器人操作控制方法、装置和系统
JP2015522200A (ja) 人顔特徴点の位置決め方法、装置及び記憶媒体
CN112652016A (zh) 点云预测模型的生成方法、位姿估计方法及其装置
WO2022021156A1 (zh) 用于机器人抓取三维物体的方法和装置
CN111294665A (zh) 视频的生成方法、装置、电子设备及可读存储介质
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
CN114004883B (zh) 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质
CN113095274B (zh) 一种视线估计方法、系统、装置及存储介质
CN111382618B (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN110751730A (zh) 一种基于深度神经网络的穿衣人体体型估计方法
CN112749611B (zh) 人脸点云模型生成方法及装置、存储介质、电子设备
Yekutieli et al. Analyzing octopus movements using three-dimensional reconstruction
CN111241940B (zh) 一种机器人的远程控制方法、人体边界框确定方法及系统
CN115008454A (zh) 一种基于多帧伪标签数据增强的机器人在线手眼标定方法
CN116012913A (zh) 模型训练方法、人脸关键点检测方法、介质及装置
CN113284184A (zh) 面向机器人rgbd视觉感知的6d位姿估计方法及系统
CN113222961A (zh) 智能船体检测系统及方法
CN113920191B (zh) 一种基于深度相机的6d数据集构建方法
US11417063B2 (en) Determining a three-dimensional representation of a scene

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination