CN107160364A - 一种基于机器视觉的工业机器人示教系统及方法 - Google Patents
一种基于机器视觉的工业机器人示教系统及方法 Download PDFInfo
- Publication number
- CN107160364A CN107160364A CN201710421901.1A CN201710421901A CN107160364A CN 107160364 A CN107160364 A CN 107160364A CN 201710421901 A CN201710421901 A CN 201710421901A CN 107160364 A CN107160364 A CN 107160364A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- robot
- teaching
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40131—Virtual reality control, programming of manipulator
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于机器视觉的工业机器人示教系统，包括图像传感器、标志物、安装有机器人示教模块的电脑、机器人控制器、机器人，所述图像传感器与安装有机器人示教模块的电脑相连，用于获得人手在机器人示教过程中的图像；所述标志物被安放在示教者的手背上；所述电脑通过图像处理和P4P位姿估计获得标志物和人手掌在相机坐标系下的位置和姿态、估计示教者食指3个关节的角度，并得到指尖和手掌的位姿关系；所述电脑通过以太网控制机器人重复人手演示的路径，实现机器人示教再现。本发明还公开了一种基于机器视觉的工业机器人示教方法。本发明提高了机器人易用性，尤其适用于喷涂与打磨机器人这种示教点位姿精度不高，但是路径复杂的领域。
Description
技术领域
本发明涉及工业机器人领域，尤其涉及一种基于机器视觉方法测量人手指尖在机器人示教过程中的位置和姿态的工业机器人示教系统及方法。
背景技术
机器人技术是一门综合学科，它涵盖了电脑信息技术、控制理论、机械设计、传感技术、人工智能、仿生学等众多学科。机器人的出现对人们的日常生活产生了重大的影响，机器人种类繁多，根据应场景不同机器人可以分为服务机器人、医疗机器人、特种机器人、水下机器人、工业机器人等。在现代科学技术的带动下，机器人技术有了较大的进步，尤其是在工业中的应用非常广泛、技术也相对成熟。
工业机器人可以帮助人们快速地完成繁重且重复的任务，而且还可以在极端的环境中作业，因此它被大量地应用在各行各业中，例如汽车制造、工件分拣、产品装配、码垛等。工业机器人在应对新的工作任务的时候需要对其进行示教，也就是教会机器人完成任务的步骤。
目前工业机器人的示教以“示教再现”的形式为主，“示教再现”是指先由操作者以某种交互方式演示机器人在执行任务时所要达到的位置和姿态，并记录这些信息，通过处理使得机器人可以再现操作者的动作，完成既定的任务。当要完成的任务需要复杂的轨迹时，如打磨、喷涂等任务，机器人的示教工作就非常的繁琐和耗时。如今虽在机器人系统中加入视觉传感器、力传感器等设备提高了机器人在应用中的适应性，但是在实际的应用中机器人的示教过程依然复杂，操作者需要专门的培训才能操作，只适应于大批量生产，不能应对生产任务的频繁改变。随着“中国制造2025”和“工业4.0”概念的提出，制造业已经逐步从大规模批量生产向着个性化定制的方向发展，这就要求制造业的生产线具有很高的柔性来应对产品的快速改型，传统的示教再现形式已经不能满足这种柔性制造的要求。
发明内容
有鉴于此，本发明提供了一种基于机器视觉的工业机器人示教方法和系统。通过机器视觉识别人手食指指尖在示教过程中的位置和姿态，并转化为机器人的示教点位姿，实现对机器人的示教。这种示教方法操作简单、通用性好，提高了机器人易用性。尤其适用于喷涂与打磨机器人这种示教点位姿精度不高，但是路径复杂的领域。
本发明采用如下技术方案实现：
一种基于机器视觉的工业机器人示教系统，包括图像传感器、标志物、安装有机器人示教模块的电脑、机器人控制器、机器人，所述的图像传感器与安装有机器人示教模块的电脑相连，用于获得人手在机器人示教过程中的图像；所述标志物被安放在示教者的手背上，用于确定目标特征点在三维物体坐标和二维图像坐标之间的对应关系；所述电脑通过图像处理和P4P位姿估计获得标志物和人手掌在相机坐标系下的位置和姿态、估计示教者食指3个关节的角度，并得到指尖和手掌的位姿关系；所述电脑同时通过以太网与机器人控制器通信相连，控制机器人重复人手演示的路径，实现机器人的示教再现。进一步地，所述的图像传感器采用Kinect图像传感器，用于获取手部的图像、通过粒子滤波算法跟踪示教过程中手部在图像中的位置，获取手部图像的ROI区域。
进一步地，所述标志物包括四个相同直径且不同颜色的圆形标志，四个圆形标志的圆心位于设定边长的正方形的4个顶点上，所述圆形标志的直径和所述正方形的边长根据图像传感器的视场按比例调节。
进一步地，所述圆形标志的直径为10mm；颜色分别为红、黄、绿、紫四种颜色；所述正方形的边长为30mm。
一种基于所述工业机器人示教系统的工业机器人示教方法，包括步骤：
S1、图像中手部的位置获取，通过图像传感器获得操作者的人手在工作空间内的机器人示教过程中的图像，并通过粒子滤波算法跟踪示教过程中手部在图像中的位置，获取手部图像的ROI区域；
S2、测量手掌的位姿，利用所述标志物来确定目标特征点在三维物体坐标和二维图像坐标之间的对应关系，再利用基于Dogleg优化的P4P算法得到手掌在相机坐标系下的位置和姿态；
S3、在已知手掌位姿的情况下，通过指尖和手掌的位姿关系获得指尖的位置和姿态；
S4、把指尖的位置和姿态信息转换到机器人基坐标系下，并离散记录连续示教路径中的示教点的位姿，然后通过中值滤波器处理得到平滑的示教路径传输至机器人控制器实现机器人的示教再现。
进一步地，步骤S3中，所述指尖和手掌的位姿关系的获取包括步骤：
S31、通过OpenGL建立一个可以根据输入的手指关节参数变化的三维模型；
S32、使用基于模型的粒子群优化算法估计手指关节角度得到指尖和手掌的位姿关系。
进一步地，所述步骤S32具体包括：
S321、对示教者在进行示教之前所获得的手指图像进行处理得到3段食指的外轮廓；
S322、所述三维模型根据不同的手指关节参数生成若干OpenGL图像；
S323、将其中一张OpenGL图像进行处理得到3段食指的外轮廓；
S324、将步骤S321中得到的3段食指的外轮廓的曲线与S321得到的3段食指的外轮廓的曲线进行相似度估计，若匹配，则根据所选OpenGL图像所对应的手指关节参数得到指尖和手掌的位姿关系，否则，选择另一张OpenGL图像并返回步骤S323。
进一步地，步骤S324中，所述进行相似度估计的步骤是采用曲线曲率积分作为曲线的特征并用快速归一化互相关系数来测量两个特征之间的距离，具体包括步骤：
S331、分别计算两条曲线上各点pi处的曲率，其公式为：
已知曲线l的表达式为y＝f(x)，点pk为x＝k时曲线上的点；
S332、分别计算两条曲线上点pk处的曲率积分，其公式为：
S333、分别设定两条曲线的曲率积分为g1(k)和g2(k)，得到相似度函数：
S334、将相似度函数的值与设定阈值进行比较，根据比较的结果完成相似度估计。
进一步地，所述手指关节参数包括3个食指关节的夹角、3个拇指关节的夹角、以及手掌的6个空间自由度。
进一步地，所述手指图像及OpenGL图像进行处理的过程具体包括步骤：
S341、对图像进行二值化处理；
S342、对二值化处理后的图像进行轮廓提取；
S343、提取手指外轮廓；
S344、对手指外轮廓分段拟合。
相比现有技术，本发明通过机器视觉识别人手食指指尖在示教过程中的位置和姿态，并转化为机器人的示教点位姿，实现对机器人的示教，在实际的应用中对机器人的示教过程简单可靠、操作方便，操作者无需要专门的培训，既适应于大批量生产，也能应对频繁改变时少量多批次的生产任务，提高了机器人易用性，尤其适用于喷涂与打磨机器人这种示教点位姿精度不高，但是路径复杂的领域。
附图说明
图1为本发明实施例的一种基于机器视觉的工业机器人示教系统示意图。
图2为示教系统各个坐标系转换关系示意图。
图3为标志物示意图。
图4为标志物在手背的安放位置示意图。
图5是示教者在进行示教之前所获得的手指图像。
图6是根据不同的手指关节参数生成的OpenGL图像。
图7为处理所得的3段食指的外轮廓示意图。
图8为机器人示教模块界面示意图；
图9为机器人示教系统坐标转换关系；
图中：1-图像传感器；2-以太网；3-机器人；4-示教者；5-工作空间；6-电脑；7-机器人控制器。
具体实施方式
下面结合附图和具体示教过程对本发明的过程进行详细的描述。
实施例一
如下图1和图2所示，一种基于机器视觉的工业机器人示教系统，包括图像传感器1、标志物、安装有机器人示教模块的电脑6、机器人控制器7、机器人3，所述的图像传感器1与安装有机器人示教模块的电脑6相连，用于获得人手在机器人示教过程中的图像；所述标志物被安放在示教者4的手背上，用于确定目标特征点在三维物体坐标和二维图像坐标之间的对应关系；所述电脑6通过图像处理和P4P位姿估计获得标志物和人手掌在相机坐标系下的位置和姿态、估计示教者食指3个关节的角度，并得到指尖和手掌的位姿关系，即手掌的坐标系与指尖的坐标系之间的坐标变换矩阵；所述电脑6同时通过以太网2与机器人控制器7通信相连，控制机器人3重复人手演示的路径，实现机器人的示教再现。
本实施例中，所述的图像传感器采用Kinect图像传感器，用于获取手部的图像、通过粒子滤波算法跟踪示教过程中手部在图像中的位置，获取手部图像的ROI区域，粒子滤波算法能提高目标跟踪的精度和实时性。
本实施例中，所述标志物包括四个直径为10mm且颜色分别为红、黄、绿、紫的圆形标志，四个圆形标志的圆心位于边长为30mm的正方形的4个顶点上，所述圆形标志的直径和所述正方形的边长根据图像传感器的视场按比例调节。
如图3所示，所述标志物有4个不同的特征点，分别有红、黄、绿、紫四种颜色的圆点表示，4个圆心位于边长为30mm的正方形的4个顶点上。标志点的色彩RGB分量值以及其在物体坐标系下的坐标值如下表所示。
示教者在进行示教的时候需要把标志物安放在手背上，如图4所示。在已知标志物的特征点在三维物体坐标系和图像二维坐标系中的位置对应关系，通过基于Dogleg优化的P4P算法得到手掌在相机坐标系下的位置和姿态。
实施例二
一种基于所述工业机器人示教系统的工业机器人示教方法，包括步骤：
S1、图像中手部的位置获取，通过图像传感器获得操作者的人手在工作空间5内的机器人示教过程中的图像，并通过粒子滤波算法跟踪示教过程中手部在图像中的位置，获取手部图像的ROI区域；
S2、测量手掌的位姿，利用所述标志物来确定目标特征点在三维物体坐标和二维图像坐标之间的对应关系，再利用基于Dogleg优化的P4P算法得到手掌在相机坐标系下的位置和姿态；
S3、在已知手掌位姿的情况下，通过指尖和手掌的位姿关系获得指尖的位置和姿态；
S4、把指尖的位置和姿态信息转换到机器人基坐标系下，并离散记录连续示教路径中的示教点的位姿，然后通过中值滤波器处理得到平滑的示教路径传输至机器人控制器实现机器人的示教再现。所述转换过程是基于所建立的相机坐标系、手掌坐标系、指尖坐标系和机器人坐标系之间的坐标转换关系的基础进行的。
具体而言，步骤S3中，所述指尖和手掌的位姿关系的获取包括步骤：
S31、通过OpenGL(Open Graphics Library)建立一个可以根据输入的手指关节参数变化的三维模型；
S32、使用基于模型的粒子群优化算法(Particle Swarm Optimization)估计手指关节角度得到指尖和手掌的位姿关系。
具体而言，所述步骤S32具体包括：
S321、对示教者在进行示教之前所获得的手指图像进行处理得到3段食指的外轮廓，图5是示教者在进行示教之前所获得的手指图像，可以认为示教者在示教的过程中食指关节一直保持不变；
S322、所述三维模型根据不同的手指关节参数生成若干OpenGL图像(见图6)；
S323、将其中一张OpenGL图像进行处理得到3段食指的外轮廓；
S324、将步骤S321中得到的3段食指的外轮廓的曲线与S321得到的3段食指的外轮廓的曲线进行相似度估计，若匹配，则根据所选OpenGL图像所对应的手指关节参数得到指尖和手掌的位姿关系，否则，选择另一张OpenGL图像并返回步骤S323。
具体而言，为了计算两条曲线的相似度，步骤S324中，所述进行相似度估计的步骤是采用曲线曲率积分作为曲线的特征并用快速归一化互相关系数(Fast NormalizedCross-Correlation)来测量两个特征之间的距离，具体包括步骤：
S331、分别计算两条曲线上各点pi处的曲率，其公式为：
已知曲线l的表达式为y＝f(x)，点pk为x＝k时曲线上的点；
S332、分别计算两条曲线上点pk处的曲率积分，其公式为：
S333、分别设定两条曲线的曲率积分为g1(k)和g2(k)，得到相似度函数：
S334、将相似度函数的值与设定阈值进行比较，根据比较的结果完成相似度估计。
可以看出，为了准确评价3维模型和真实手掌的相似度，上述步骤采用一种基于曲率积分的曲线相似度判断方法，以此作为PSO的适应度函数。
具体而言，所述手指关节参数包括3个食指关节的夹角{θ1,θ2,θ3}、3个拇指关节的夹角{θ4,θ5,θ6}、以及手掌的6个空间自由度{x,y,z,τx,τy,τz}，因暂时不需要考虑拇指关节的角度变化，最终需要搜索的6个变量有{θ1,θ2,θ3,x,y,τz}。
具体而言，所述手指图像(见图5)及OpenGL图像(见图6)进行处理的过程相一致，具体包括步骤：
S341、对图像进行二值化处理；
S342、对二值化处理后的图像进行轮廓提取；
S343、提取手指外轮廓；
S344、对手指外轮廓分段拟合。
图像处理后的最终结果如图7所示，得到3段食指的外轮廓，每段分别包含食指关节。
图8是机器人示教模块的操作界面，可以读取在离线状态下通过示教所获得的示教点位姿信息，从而控制机器人再现示教的动作和路径。机器人示教模块包括以下几个模块：选择机器人控制器、显示当前末端位姿信息、手动控制机器人运动、夹持器状态、相机与机器人坐标系的标定、读取示教点信息、串口通信功能、体统状态信息显示功能等，其中通过串口和位姿估计程序通信可以实现机器人的遥控操作。
图9是机器人示教系统坐标转换关系，示教点处的位姿也就是食指指尖所要到达的位姿，所以可以用指尖的坐标系表示，其中的指尖坐标系O4-xyz，为了保证坐标系定义的一致性，这里将指尖坐标系(Fingertip)记作F-xyz；手掌坐标系(Palm)即Mark点的坐标系，这里记作P-xyz；C-xyz为相机坐标系；R-xyz为机器人坐标系；机器人末端夹持器的工具坐标系(Tool)记作T-xyz。
本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于机器视觉的工业机器人示教系统，其特征在于：包括图像传感器、标志物、安装有机器人示教模块的电脑、机器人控制器、机器人，所述的图像传感器与安装有机器人示教模块的电脑相连，用于获得人手在机器人示教过程中的图像；所述标志物被安放在示教者的手背上，用于确定目标特征点在三维物体坐标和二维图像坐标之间的对应关系；所述电脑通过图像处理和P4P位姿估计获得标志物和人手掌在相机坐标系下的位置和姿态、估计示教者食指3个关节的角度，并得到指尖和手掌的位姿关系；所述电脑同时通过以太网与机器人控制器通信相连，控制机器人重复人手演示的路径，实现机器人的示教再现。
2.根据权利要求1所述的基于工业机器视觉的机器人示教系统，其特征在于：所述的图像传感器采用Kinect图像传感器，用于获取手部的图像、通过粒子滤波算法跟踪示教过程中手部在图像中的位置，获取手部图像的ROI区域。
3.根据权利要求1所述的基于机器视觉的工业机器人示教系统，其特征在于：其特征在于：所述标志物包括四个相同直径且不同颜色的圆形标志，四个圆形标志的圆心位于设定边长的正方形的4个顶点上，所述圆形标志的直径和所述正方形的边长根据图像传感器的视场按比例调节。
4.根据权利要求3所述的基于机器视觉的工业机器人示教系统，其特征在于：所述圆形标志的直径为10mm；颜色分别为红、黄、绿、紫四种颜色；所述正方形的边长为30mm。
5.一种基于权利要求1至4中任一项所述工业机器人示教系统的工业机器人示教方法，其特征在于，包括步骤：
S1、图像中手部的位置获取，通过图像传感器获得操作者的人手在工作空间内的机器人示教过程中的图像，并通过粒子滤波算法跟踪示教过程中手部在图像中的位置，获取手部图像的ROI区域；
S2、测量手掌的位姿，利用所述标志物来确定目标特征点在三维物体坐标和二维图像坐标之间的对应关系，再利用基于Dogleg优化的P4P算法得到手掌在相机坐标系下的位置和姿态；
S3、在已知手掌位姿的情况下，通过指尖和手掌的位姿关系获得指尖的位置和姿态；
S4、把指尖的位置和姿态信息转换到机器人基坐标系下，并离散记录连续示教路径中的示教点的位姿，然后通过中值滤波器处理得到平滑的示教路径传输至机器人控制器实现机器人的示教再现。
6.根据权利要求5所述的工业机器人示教方法，其特征在于，步骤S3中，所述指尖和手掌的位姿关系的获取包括步骤：
S31、通过OpenGL建立一个可以根据输入的手指关节参数变化的三维模型；
S32、使用基于模型的粒子群优化算法估计手指关节角度得到指尖和手掌的位姿关系。
7.根据权利要求6所述的工业机器人示教方法，其特征在于，所述步骤S32具体包括：
S321、对示教者在进行示教之前所获得的手指图像进行处理得到3段食指的外轮廓；
S322、所述三维模型根据不同的手指关节参数生成若干OpenGL图像；
S323、将其中一张OpenGL图像进行处理得到3段食指的外轮廓；
S324、将步骤S321中得到的3段食指的外轮廓的曲线与S321得到的3段食指的外轮廓的曲线进行相似度估计，若匹配，则根据所选OpenGL图像所对应的手指关节参数得到指尖和手掌的位姿关系，否则，选择另一张OpenGL图像并返回步骤S323。
8.根据权利要求7所述的工业机器人示教方法，其特征在于，步骤S324中，所述进行相似度估计的步骤是采用曲线曲率积分作为曲线的特征并用快速归一化互相关系数来测量两个特征之间的距离，具体包括步骤：
S331、分别计算两条曲线上各点pi处的曲率，其公式为：
<mrow>
<mi>&rho;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<msup>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>+</mo>
<msup>
<mi>y</mi>
<mrow>
<mo>&prime;</mo>
<mn>2</mn>
</mrow>
</msup>
<mo>)</mo>
</mrow>
<mfrac>
<mn>3</mn>
<mn>2</mn>
</mfrac>
</msup>
<mo>/</mo>
<msup>
<mi>y</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>|</mo>
<mo>,</mo>
</mrow>
已知曲线l的表达式为y＝f(x)，点pk为x＝k时曲线上的点；
S332、分别计算两条曲线上点pk处的曲率积分，其公式为：
<mrow>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</munderover>
<mi>&rho;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
S333、分别设定两条曲线的曲率积分为g1(k)和g2(k)，得到相似度函数：
<mrow>
<mi>w</mi>
<mo>=</mo>
<mfrac>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>&Omega;</mi>
</mrow>
</munder>
<mo>&lsqb;</mo>
<msub>
<mi>g</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mover>
<mi>g</mi>
<mo>&OverBar;</mo>
</mover>
<mn>1</mn>
</msub>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<msub>
<mi>g</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mover>
<mi>g</mi>
<mo>&OverBar;</mo>
</mover>
<mn>2</mn>
</msub>
<mo>&rsqb;</mo>
</mrow>
<msqrt>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>&Omega;</mi>
</mrow>
</munder>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>g</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mover>
<mi>g</mi>
<mo>&OverBar;</mo>
</mover>
<mn>1</mn>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>&Omega;</mi>
</mrow>
</munder>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>g</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mover>
<mi>g</mi>
<mo>&OverBar;</mo>
</mover>
<mn>2</mn>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mfrac>
<mo>;</mo>
</mrow>
S334、将相似度函数的值与设定阈值进行比较，根据比较的结果完成相似度估计。
9.根据权利要求7所述的工业机器人示教方法，其特征在于，所述手指关节参数包括3个食指关节的夹角、3个拇指关节的夹角、以及手掌的6个空间自由度。
10.根据权利要求7所述的工业机器人示教方法，其特征在于，所述手指图像及OpenGL图像进行处理的过程具体包括步骤：
S341、对图像进行二值化处理；
S342、对二值化处理后的图像进行轮廓提取；
S343、提取手指外轮廓；
S344、对手指外轮廓分段拟合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710421901.1A CN107160364B (zh) | 2017-06-07 | 2017-06-07 | 一种基于机器视觉的工业机器人示教系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710421901.1A CN107160364B (zh) | 2017-06-07 | 2017-06-07 | 一种基于机器视觉的工业机器人示教系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107160364A true CN107160364A (zh) | 2017-09-15 |
| CN107160364B CN107160364B (zh) | 2021-02-19 |
Family
ID=59824679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710421901.1A Active CN107160364B (zh) | 2017-06-07 | 2017-06-07 | 一种基于机器视觉的工业机器人示教系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107160364B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107671838A (zh) * | 2017-11-01 | 2018-02-09 | 安易智友科技（深圳）有限公司 | 机器人示教记录系统、示教的工艺步骤及其算法流程 |
| CN108340351A (zh) * | 2018-01-31 | 2018-07-31 | 广东工业大学 | 一种机器人示教装置、方法及示教机器人 |
| CN108563250A (zh) * | 2018-04-13 | 2018-09-21 | 武汉理工大学 | 一种用于对称旋转体的热喷涂机器人轨迹规划方法 |
| CN108655026A (zh) * | 2018-05-07 | 2018-10-16 | 上海交通大学 | 一种机器人快速示教分拣系统和方法 |
| CN108705536A (zh) * | 2018-06-05 | 2018-10-26 | 雅客智慧（北京）科技有限公司 | 一种基于视觉导航的牙科机器人路径规划系统及方法 |
| CN109108942A (zh) * | 2018-09-11 | 2019-01-01 | 武汉科技大学 | 基于视觉实时示教与自适应dmps的机械臂运动控制方法和系统 |
| CN109483517A (zh) * | 2018-10-22 | 2019-03-19 | 天津扬天科技有限公司 | 一种基于手姿追踪的协作机器人示教方法 |
| CN109571487A (zh) * | 2018-09-12 | 2019-04-05 | 河南工程学院 | 一种基于视觉的机器人演示学习方法 |
| CN109596125A (zh) * | 2017-09-30 | 2019-04-09 | 北京柏惠维康科技有限公司 | 一种机器人的空间坐标系转换关系的确定方法和装置 |
| CN109604468A (zh) * | 2018-12-28 | 2019-04-12 | 芜湖哈特机器人产业技术研究院有限公司 | 一种基于机器视觉的工件冲压系统及其控制方法 |
| CN109799771A (zh) * | 2018-12-29 | 2019-05-24 | 深圳市越疆科技有限公司 | 一种工业机器人的控制系统、方法及装置 |
| CN109947101A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 路径平滑处理方法及装置 |
| CN110170995A (zh) * | 2019-05-09 | 2019-08-27 | 广西安博特智能科技有限公司 | 一种基于立体视觉的机器人快速示教方法 |
| CN110788860A (zh) * | 2019-11-11 | 2020-02-14 | 路邦科技授权有限公司 | 一种基于语音控制的仿生机器人动作控制方法 |
| CN112530267A (zh) * | 2020-12-17 | 2021-03-19 | 河北工业大学 | 一种基于计算机视觉的机械臂智能示教方法及应用 |
| CN112917470A (zh) * | 2019-12-06 | 2021-06-08 | 鲁班嫡系机器人（深圳）有限公司 | 一种机械手的示教方法、装置、系统、存储介质及设备 |
| TWI734867B (zh) * | 2017-11-20 | 2021-08-01 | 達明機器人股份有限公司 | 機器手臂作業軌跡的教導系統及方法 |
| CN113319854A (zh) * | 2021-06-25 | 2021-08-31 | 河北工业大学 | 一种洗浴机器人的视觉示教方法及系统 |
| CN113386128A (zh) * | 2021-05-11 | 2021-09-14 | 华南理工大学 | 一种面向多自由度机器人的体势交互方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101033963A (zh) * | 2007-04-10 | 2007-09-12 | 南京航空航天大学 | 基于指端标记的视频手指定位系统及其定位方法 |
| CN102470530A (zh) * | 2009-11-24 | 2012-05-23 | 株式会社丰田自动织机 | 生成机器人的教导数据的方法以及机器人教导系统 |
| GB2530790A (en) * | 2014-10-02 | 2016-04-06 | Vision Rt Ltd | Method of calibrating a patient monitoring system for use with a radiotherapy treatment apparatus |
| CN106346485A (zh) * | 2016-09-21 | 2017-01-25 | 大连理工大学 | 基于人手运动姿态学习的仿生机械手的非接触式控制方法 |
-
2017
- 2017-06-07 CN CN201710421901.1A patent/CN107160364B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101033963A (zh) * | 2007-04-10 | 2007-09-12 | 南京航空航天大学 | 基于指端标记的视频手指定位系统及其定位方法 |
| CN102470530A (zh) * | 2009-11-24 | 2012-05-23 | 株式会社丰田自动织机 | 生成机器人的教导数据的方法以及机器人教导系统 |
| GB2530790A (en) * | 2014-10-02 | 2016-04-06 | Vision Rt Ltd | Method of calibrating a patient monitoring system for use with a radiotherapy treatment apparatus |
| CN106346485A (zh) * | 2016-09-21 | 2017-01-25 | 大连理工大学 | 基于人手运动姿态学习的仿生机械手的非接触式控制方法 |
Non-Patent Citations (3)
| Title |
|---|
| 常红等: "基于计算机视觉技术的手形手位跟踪方法", 《北京理工大学学报》 * |
| 王晓龙: "现场鞋印轮廓提取与估计算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 邓晓毅: "建模与仿真的评估方法及其在减速器刚度测试中的引用", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109596125A (zh) * | 2017-09-30 | 2019-04-09 | 北京柏惠维康科技有限公司 | 一种机器人的空间坐标系转换关系的确定方法和装置 |
| CN109596125B (zh) * | 2017-09-30 | 2022-03-11 | 北京柏惠维康科技有限公司 | 一种机器人的空间坐标系转换关系的确定方法和装置 |
| CN107671838A (zh) * | 2017-11-01 | 2018-02-09 | 安易智友科技（深圳）有限公司 | 机器人示教记录系统、示教的工艺步骤及其算法流程 |
| CN107671838B (zh) * | 2017-11-01 | 2020-04-10 | 安易智友科技（深圳）有限公司 | 机器人示教记录系统、示教的工艺步骤及其算法流程 |
| TWI734867B (zh) * | 2017-11-20 | 2021-08-01 | 達明機器人股份有限公司 | 機器手臂作業軌跡的教導系統及方法 |
| CN108340351A (zh) * | 2018-01-31 | 2018-07-31 | 广东工业大学 | 一种机器人示教装置、方法及示教机器人 |
| CN108340351B (zh) * | 2018-01-31 | 2023-05-05 | 广东工业大学 | 一种机器人示教装置、方法及示教机器人 |
| CN108563250A (zh) * | 2018-04-13 | 2018-09-21 | 武汉理工大学 | 一种用于对称旋转体的热喷涂机器人轨迹规划方法 |
| CN108655026A (zh) * | 2018-05-07 | 2018-10-16 | 上海交通大学 | 一种机器人快速示教分拣系统和方法 |
| CN108655026B (zh) * | 2018-05-07 | 2020-08-14 | 上海交通大学 | 一种机器人快速示教分拣系统和方法 |
| CN108705536A (zh) * | 2018-06-05 | 2018-10-26 | 雅客智慧（北京）科技有限公司 | 一种基于视觉导航的牙科机器人路径规划系统及方法 |
| CN109108942A (zh) * | 2018-09-11 | 2019-01-01 | 武汉科技大学 | 基于视觉实时示教与自适应dmps的机械臂运动控制方法和系统 |
| CN109571487A (zh) * | 2018-09-12 | 2019-04-05 | 河南工程学院 | 一种基于视觉的机器人演示学习方法 |
| CN109571487B (zh) * | 2018-09-12 | 2020-08-28 | 河南工程学院 | 一种基于视觉的机器人演示学习方法 |
| CN109483517A (zh) * | 2018-10-22 | 2019-03-19 | 天津扬天科技有限公司 | 一种基于手姿追踪的协作机器人示教方法 |
| CN109604468A (zh) * | 2018-12-28 | 2019-04-12 | 芜湖哈特机器人产业技术研究院有限公司 | 一种基于机器视觉的工件冲压系统及其控制方法 |
| CN109799771A (zh) * | 2018-12-29 | 2019-05-24 | 深圳市越疆科技有限公司 | 一种工业机器人的控制系统、方法及装置 |
| CN109799771B (zh) * | 2018-12-29 | 2021-01-05 | 深圳市越疆科技有限公司 | 一种工业机器人的控制系统、方法及装置 |
| CN109947101A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 路径平滑处理方法及装置 |
| CN110170995A (zh) * | 2019-05-09 | 2019-08-27 | 广西安博特智能科技有限公司 | 一种基于立体视觉的机器人快速示教方法 |
| CN110788860A (zh) * | 2019-11-11 | 2020-02-14 | 路邦科技授权有限公司 | 一种基于语音控制的仿生机器人动作控制方法 |
| CN112917470A (zh) * | 2019-12-06 | 2021-06-08 | 鲁班嫡系机器人（深圳）有限公司 | 一种机械手的示教方法、装置、系统、存储介质及设备 |
| CN112530267A (zh) * | 2020-12-17 | 2021-03-19 | 河北工业大学 | 一种基于计算机视觉的机械臂智能示教方法及应用 |
| CN113386128A (zh) * | 2021-05-11 | 2021-09-14 | 华南理工大学 | 一种面向多自由度机器人的体势交互方法 |
| CN113386128B (zh) * | 2021-05-11 | 2022-06-10 | 华南理工大学 | 一种面向多自由度机器人的体势交互方法 |
| CN113319854A (zh) * | 2021-06-25 | 2021-08-31 | 河北工业大学 | 一种洗浴机器人的视觉示教方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107160364B (zh) | 2021-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107160364A (zh) | 一种基于机器视觉的工业机器人示教系统及方法 | |
| US20210205986A1 (en) | Teleoperating Of Robots With Tasks By Mapping To Human Operator Pose | |
| CN108972494B (zh) | 一种仿人机械手抓取控制系统及其数据处理方法 | |
| Wan et al. | Teaching robots to do object assembly using multi-modal 3d vision | |
| CN106041928B (zh) | 一种基于工件模型的机器人作业任务生成方法 | |
| WO2011065035A1 (ja) | ロボットの教示データを作成する方法およびロボット教示システム | |
| Hebert et al. | Combined shape, appearance and silhouette for simultaneous manipulator and object tracking | |
| Schröder et al. | Real-time hand tracking using synergistic inverse kinematics | |
| CN106346485A (zh) | 基于人手运动姿态学习的仿生机械手的非接触式控制方法 | |
| JP2018119833A (ja) | 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体 | |
| JP2007066094A (ja) | 姿勢推定装置および姿勢推定方法 | |
| Wang et al. | DemoGrasp: Few-shot learning for robotic grasping with human demonstration | |
| Zhang et al. | A real-time upper-body robot imitation system | |
| Sato et al. | Task analysis based on observing hands and objects by vision | |
| Weik et al. | Hierarchical 3d pose estimation for articulated human body models from a sequence of volume data | |
| Van Tran et al. | BiLuNetICP: A deep neural network for object semantic segmentation and 6D pose recognition | |
| Aleotti et al. | Grasp programming by demonstration in virtual reality with automatic environment reconstruction | |
| Koganti et al. | Real-time estimation of human-cloth topological relationship using depth sensor for robotic clothing assistance | |
| Plantard et al. | Usability of corrected Kinect measurement for ergonomic evaluation in constrained environment | |
| Wang et al. | Robot programming by demonstration with a monocular RGB camera | |
| Aleotti et al. | Robot grasp synthesis from virtual demonstration and topology-preserving environment reconstruction | |
| Du et al. | An offline-merge-online robot teaching method based on natural human-robot interaction and visual-aid algorithm | |
| Hüser et al. | Visual programming by demonstration of grasping skills in the context of a mobile service robot using 1D-topology based self-organizing-maps | |
| Al-Junaid | ANN based robotic arm visual servoing nonlinear system | |
| KR20220110546A (ko) | 로봇을 프로그래밍하기 위한 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |