CN109940626A - 一种基于机器人视觉的画眉机器人系统及其控制方法 - Google Patents

一种基于机器人视觉的画眉机器人系统及其控制方法 Download PDF

Info

Publication number
CN109940626A
CN109940626A CN201910064266.5A CN201910064266A CN109940626A CN 109940626 A CN109940626 A CN 109940626A CN 201910064266 A CN201910064266 A CN 201910064266A CN 109940626 A CN109940626 A CN 109940626A
Authority
CN
China
Prior art keywords
represent
mechanical arm
camera
coordinate
connecting rod
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910064266.5A
Other languages
English (en)
Other versions
CN109940626B (zh
Inventor
程伟
沈徐杭
蒋怡云
郑浩鹏
吴程越
潘树文
王雪洁
刘艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University City College ZUCC
Original Assignee
Zhejiang University City College ZUCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University City College ZUCC filed Critical Zhejiang University City College ZUCC
Priority to CN201910064266.5A priority Critical patent/CN109940626B/zh
Publication of CN109940626A publication Critical patent/CN109940626A/zh
Application granted granted Critical
Publication of CN109940626B publication Critical patent/CN109940626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Manipulator (AREA)

Abstract

本发明公开了一种基于机器人视觉的画眉机器人系统及其控制方法,本发明采用双目视觉获取人脸左右图像。通过靶标标定,获取相机内参和外参,完成左右图片的像素坐标到相对于一个摄像头虚拟点的空间坐标转化。利用手眼标定,求取摄像头与机械臂末端的关系矩阵。通过面部关键点的求取得出10组像素坐标,用这10组像素坐标通过立体转化公式得到眉毛点相对与摄像头虚拟点的空间坐标。然后把这些相对与摄像头虚拟点的空间坐标通过手眼转化变成机械臂末端坐标,用我们机械臂控制算法,即可使机械臂末端的眉笔到达指定的位置,完成画眉动作,提高了画眉机器人的精确性。

Description

一种基于机器人视觉的画眉机器人系统及其控制方法
技术领域
本发明涉及机器人智能控制、图像处理、机器视觉等领域,尤其涉及一种基于机器人视觉的画眉机器人系统及其控制方法。
背景技术
现有的化妆机器人系统动作粗糙,无法正确地定位和控制机械臂以完成真正意义上的化妆,导致使用者的前额、眼睑和鼻梁附近都留下化妆墨。而且由于不能按照每个女性的唇形涂抹口红,所以使用者的嘴唇和下巴处也会残留一些化妆品污渍。
通过文献调研发现国内外对化妆机器人的研究较少且已有的设计并没有显示出很好的眉毛化妆效果。随着传感器技术、计算机技术以及人工智能技术的不断发展,人们已不再满足在固定环境中按照程序设定功能完成重复工作的机器人,纷纷向具有高灵活度、环境适应强的智能型机器人进行研究。
目前,我国广泛使用的机器人处于示教再现阶段,机器人的轨迹都是事先确定好的,这样生产线就缺乏灵活性,而且要求机器人对周边的定位精度很高,即使最终产品精度要求不高也必须满足这一条件,这大大降低了生产的柔性,已经难以达到人们生产生活的要求了,机器人的发展必然是朝着多领域的融合。
近年来,随着工业自动化的发展,特别是数字传感器、图像处理和模式识别等技术的快速发展,对目标的精确定位以及跟踪不再是难以解决的问题,使基于视觉伺服控制的机器人得到广泛研究与应用。
发明内容
本发明的目的在于克服现有的化妆机器人存在的精度不高、动作粗糙、灵活度低等不足,提供了一种基于机器人视觉的画眉机器人系统。
本发明解决其技术问题采用的技术方案是:一种基于机器人视觉的画眉机器人系统,它包括6自由度机械臂、眉笔、双目摄像头和计算机,6自由度机械臂通过网线与计算机相连,双目摄像头通过USB数据线与计算机相连,眉笔固定在6自由度机械臂末端。
本发明的另一目的是提供一种基于机器人视觉的画眉机器人系统的控制方法,具体包括如下步骤:
(1)双目标定:
根据双目摄像头的成像原理,建立视觉系统模型,分析标定靶标的元素与视觉系统模型参数之间的关系,最后获得双目摄像头的参数;
(2)手眼关系的标定:
双目摄像头拍摄标定物的左右两组图像,将左右两组图像上的像素点通过空间转化得到相对于双目摄像头虚拟点的空间坐标;在双目摄像头下方空间选取不少于四个点作为标定点,将6自由度机械臂末端依次移动到标定点上,获得6自由度机械臂末端的空间坐标;建立双目摄像头虚拟点的空间坐标与6自由度机械臂末端的空间坐标之间的转换矩阵;
(3)眉毛图像的处理:
利用双目摄像头获取的图像,然后利用图像处理算法对图片进行处理,获取眉毛的像素坐标;
(4)三维数据的获取:
利用已标定的双目摄像头的双目视觉参数,经过视差原理恢复出眉毛在双目摄像头坐标系中的三维信息,再通过转换矩阵获得获取眉毛在6自由度机械臂坐标系中的三维信息;
(5)基于视觉的机械臂运动控制算法
计算机将眉毛在6自由度机械臂坐标系中的三维信息发送给6自由度机械臂,实现画眉操作。
进一步的,所述双目标定具体为:
双目摄像头拍摄标定图片,利用Visual Studio调用opencv,对标定图片进行标定计算,求出双目摄像头的内部参数、旋转矩阵R、平行矩阵t;
假设Oxy在u、v坐标系中的坐标为(u0,v0),每一个像素在x轴与y轴方向上的物理尺寸为宽dxmm,高dy mm,则图像中任意一个像素的索引坐标与物理坐标满足下面的换算关系:
将上式写成矩阵的形式:
这里把之前的坐标(u,v)和(x,y)都转成齐次坐标(u,v,1)和(x,y,1);
空间上任何一点P在图像上的投影位置P为光心O与P点的连线OP与图像平面的交点,这种关系也被称为中心射影或透视投影;由几何比例关系可得出:
其中(x,y)为p的图像坐标,(XC,YC,ZC)为空间点P在摄像机坐标系下的坐标;
摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵R与平移向量t来描述,即:
其中R为3×3的矩阵;t为3×1的向量;Mb为4×4的矩阵,也被称为摄像机外部参数矩阵;
将公式(2)和公式(5)代入公式(6),就可以得到P点在世界坐标系下的坐标(XW,YW,ZW)与其在图像平面的投影点p的坐标(u,v)的关系:
其中,M=MaMb为3×4矩阵,称为投影矩阵;Ma完全由ax、ay、u0、v0决定的摄像机内部结构(如焦距、光心)有关,称为摄像机内部参数;Mb完全由摄像机相对于世界坐标系的方位(如摆放位置和拍摄角度)决定,称为摄像机外部参数;
确定某一摄像机的内部和外部参数,就完成了被称为摄像机的标定(Calibration)。
进一步的,所述手眼关系的标定具体如下:
选取四个点即A,B,C,D,双目摄像头拍摄图像,读取由左摄像头拍摄的图像中的四个点的像素坐标Al(x,y),Bl(x,y),Cl(x,y),Dl(x,y)和由左摄像头拍摄的图像中的四个点的像素坐标Ar(x,y),Br(x,y),Cr(x,y),Dr(x,y),根据步骤(1)获得的双目摄像头的参数,利用深度测量将A,B,C,D四点转化成相对于左摄像头的空间坐标A(x,y,z),B(x,y,z),C(x,y,z),D(x,y,z);使用探针法或者在程序中增加Tcp的长度,即眉笔的长度;并且读出机械臂末端A,B,C,D的坐标;通过矩阵转化后即可得出手眼的相应关系。
进一步的,所述图像处理算法为Dlib和OpenCV算法。
进一步的,所述基于视觉的机械臂运动控制算法具体如下:
采用D-H参数法建立6自由度机械臂的坐标系以及如下表1所示的D-H参数,其中αi表示相连两个部件之间的扭角(α1代表了第一手腕和第二手腕之间的扭角,α2代表了第二手腕和第一连杆之间的扭角,α3代表了第一连杆和手肘之间的扭角,α4代表了手肘和第二连杆之间的扭角,α5代表了第二连杆和肩膀之间的扭角,α6代表了肩膀和基座之间的扭角),li表示各部件长度(l1代表了第一手腕的长度,l2代表了第二手腕的长度,l3代表了第一连杆的长度,l4代表了手肘的长度,l5代表了第二连杆的长度,l6代表了肩膀的长度),di表示相连两个部件之间的相对位置(d1代表了第一手腕和第二手腕之间的相对位置,d2代表了第二手腕和第一连杆之间的相对位置,d3代表了第一连杆和手肘之间的相对位置,d4代表了手肘和第二连杆之间的相对位置,d5代表了第二连杆和肩膀之间的相对位置,d6代表了肩膀和基座之间的相对位置),θi表示相连两个部件之间的夹角(θ1代表了第一手腕和第二手腕之间的夹角,θ2代表了第二手腕和第一连杆之间的夹角,θ3代表了第一连杆和手肘之间的夹角,θ4代表了手肘和第二连杆之间的夹角,θ5代表了第二连杆和肩膀之间的夹角,θ6代表了肩膀和基座之间的夹角);
表1:
由6自由度机械臂的结构参数,可得到各连杆参数以及变量工作范围;
根据两相连部件变换公式和表1参数可得,变换矩阵:
为各连杆的变换矩阵,c(θi)为cosθi,,s(θi)为sinθi,,c(αi)为cosαi,,s(αi)为sinαi
得到各连杆的变换矩阵,将各连杆变换矩阵相乘,便可得到6自由度机械臂的变换矩阵
上式中,cl代表cosθ1,s1代表sinθ1,c12代表cos(θ12),θ123代表θ123
其中:
nx=c6(s1s5+c5c1c234)-s6c1s234
ny=c6(c5s1c234-c1s5)-s6s1s234
nz=c5c6s234+c234s6
ox=-s6(c5c1c234+s1s5)-c6c1s234
oy=-s6(c5s1c234-c1s5)-c6s1s234
oz=c6s234-c5c6s234
ax=-s5c1c234+c5s1
ay=-s1s5c234-c1c5
az=-s5s234
px=d5c1s234+d4s1+d6(c5s1-s5c1c234)+l2c1c2+l3c1c23
py=d5s1s234-d4c1-d6(c5c+s5s1c234)+l2s1c2+l3s1c23
pz=d1-d5c234+l2s2+l3s23-d6s5s234
将6自由度机械臂初始角度代入式(8)结果第四列的前三行代表了6自由度机械臂末端点的位置坐标。
本发明的有益效果是:本发明通过双目摄像头获取人物图像,计算机识别该人物图像中眉毛的关键点相对于图片左上角的像素点坐标,将平面像素坐标转换为空间立体坐标后再转化成机械臂可识别的坐标,从而驱动其机械臂末端到达对应的位置。本发明通过双目摄像头获取人物图像,坐标精确度相对较高,能够有效地判断出人像的眉毛位置,并准确地到达对应位置,6自由度机械臂的运动范围和灵活性高,从而可以提高机器人的定位精度与对不同工况环境下的适应力。
附图说明
图1是基于6自由度机械臂和双目视觉的画眉机器人系统的结构示意图;
图2是图1的左视图;
图3是系统控制流程图;
图4(a)是右摄像头拍摄图,图4(b)是左摄像头拍摄图;
图5(a)是世界坐标系图,图5(b)是针孔成像模型图,图5(c)是平面图像坐标系图;
图6是UR3机械臂D-H坐标系的示意图;
图中:双目摄像头1、眉笔2、第一手腕3、第二手腕4、第一连杆5、手肘6、第二连杆7、肩膀98、基座9。
具体实施方式
下面结合附图做进一步说明。
图1、图2示出了一种基于6自由度机械臂和双目视觉的画眉机器人系统,一种基于机器人视觉的画眉机器人系统,它包括6自由度机械臂、眉笔5、双目摄像头1和计算机,6自由度机械臂通过网线与计算机相连,双目摄像头通过USB数据线与计算机相连,眉笔固定在6自由度机械臂末端。6自由度机械臂可以采用丹麦优傲公司生产的UR3机械臂,它是一种具有六自由度的高精度机械臂。包括:第一手腕3、第二手腕4、第一连杆5、手肘6、第二连杆7、肩膀8、基座9。双目摄像头1可以采用迈迪威视公司生产的MV-GE300C型号的双目摄像头。所述UR3机械臂是一种小型的协作式桌面机器人,重量只有24.3磅(11千克),但有效载荷可达6.6磅(3千克),所有手腕关节均可实现360度旋转,末端关节可无限旋转。
所述双目摄像头,有效像素为300万,使用的传感器类型为CMOS,采用的曝光方式为滚动行曝光,最大分辨率为2048×1536,像元尺寸为3.2μm,像素位深度为10bit,帧率为13,光学尺寸为1/2″,最小曝光时间为0.05ms,输出的图像为彩色图像。
如图3所示,本发明还提供一种基于机器人视觉的画眉机器人系统的控制方法,具体包括如下步骤:
(1)双目标定:
根据双目摄像头的成像原理,建立视觉系统模型,分析标定靶标的元素与视觉系统模型参数之间的关系,最后获得双目摄像头的参数;
(2)手眼关系的标定:
双目摄像头拍摄标定物的左右两组图像,将左右两组图像上的像素点通过空间转化得到相对于双目摄像头虚拟点的空间坐标;在双目摄像头下方空间选取不少于四个点作为标定点,将6自由度机械臂末端依次移动到标定点上,获得6自由度机械臂末端的空间坐标;建立双目摄像头虚拟点的空间坐标与6自由度机械臂末端的空间坐标之间的转换矩阵;
(3)眉毛图像的处理:
利用双目摄像头获取的图像,然后利用图像处理算法对图片进行处理,获取眉毛的像素坐标;
(4)三维数据的获取:
利用已标定的双目摄像头的双目视觉参数,经过视差原理恢复出眉毛在双目摄像头坐标系中的三维信息,再通过转换矩阵获得获取眉毛在6自由度机械臂坐标系中的三维信息;
(5)基于视觉的机械臂运动控制算法
计算机将眉毛在6自由度机械臂坐标系中的三维信息发送给6自由度机械臂,实现画眉操作。
如图4(a)和图4(b),其中图像处理程序即面部眉毛关键点的提取,主要是采用了Visual Studio调用Dlib和OpenCV两款工具。通过双目摄像头对人物面部左右各拍一张照片,Dlib程序会检索人面部特征点,并选取眉毛位置的特征点,输出眉毛位置特征点的像素坐标,为后面获取立体坐标做准备。
如图5(a)-(c),所采用的是Eye-to—hand双目视觉系统,是使相机固定然后对工作区间进行图像采集。此种相机安装方式由于相机与机器人本体相互分离,因此相机可以在一个视场下同时观测到操作台上全部目标物体与机械臂末端工具,能够直观的得到两者之间的位姿误差,便于控制器的反馈控制。Eye-to-hand固定相机的安装方式一般能获得较大的视场范围,不会丢失目标。
先通过黑白方格纸靶标完成双目摄像机的单目标定。单目相机标定的目标是获取相机的内参和外参,内参ax、ay、u0、v0决定的摄像机内部结构(如焦距、光心)有关表征摄像机结构参数,外参是像机相对于世界坐标系的方位由相机的旋转矩阵R和平移向量t决定。Eye-to-hand是常见的CCD针孔相机模型,分别建立世界坐标系(OwXwYwZw)、相机坐标系(OcXcYcZc)、像平面坐标系(O1XY)以及像素坐标系(Ouv)。其中相机坐标系原点Oc为相机光心,一般为镜头中心点,Zc轴沿光轴指向景物方向,Xc轴Yc轴分别与像素行和列平行。图像坐标系原点O1为光轴与像平面的交点,x,y轴分别与Xc,Yc平行且指向相同。像素坐标(u,v)实际上是像点在像素阵列中的行数与列数,选择u轴和v轴分别平行于Xc轴Yc轴且方向相同,原点位于像素阵列的一个角上,阵列内所有像素的u和v坐标为正值。在相机进行标定的过程中,空间点的成像过程必然涉及到相机坐标系,图像坐标系和世界坐标系三者之间的转化。具体转化步骤如下:
空间点到像素坐标系下的转换:
在实际的相机中,并不是以物理单位(如mm)来表示某个成像点的位置的,而是用像素的索引。比如一台相机的像素是1600×1200,说明图像传感器(也就是以前的胶片)横向有1600个捕捉点,纵向有1200个,合计192万个。对于某个成像点,实际上都是这样表示的:假设Oxy在u、v坐标系中的坐标为(u0,v0),每一个像素在x轴与y轴方向上的物理尺寸为宽dxmm,高dymm,则图像中任意一个像素的索引坐标与物理坐标满足下面的换算关系:
将上式写成矩阵的形式:
这里把之前的坐标(u,v)和(x,y)都转成齐次坐标(u,v,1)和(x,y,1);
图像坐标系到摄像机坐标系下的转换:
空间上任何一点P在图像上的投影位置P为光心O与P点的连线OP与图像平面的交点,这种关系也被称为中心射影或透视投影;由几何比例关系可得出:
其中(x,y)为p的图像坐标,(XC,YC,ZC)为空间点P在摄像机坐标系下的坐标;
摄像机坐标系到世界坐标系下的转换:
摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵R与平移向量t来描述,即:
其中R为3×3的矩阵;t为3×1的向量Mb为4×4的矩阵,也被称为摄像机外部参数矩阵;
世界坐标与像素坐标系下的转换:
将公式(2)和公式(5)代入公式(6),就可以得到P点在世界坐标系下的坐标(XW,YW,ZW)与其在图像平面的投影点p的坐标(u,v)的关系:
其中,M=MaMb为3×4矩阵,称为投影矩阵;Ma完全由ax、ay、u0、v0决定的摄像机内部结构(如焦距、光心)有关,称为摄像机内部参数;Mb完全由摄像机相对于世界坐标系的方位(如摆放位置和拍摄角度)决定,称为摄像机外部参数。
完成左右摄像机单目标定后,进行双目标定,双目标定的第一步需要分别获取左右相机的内外参数,之后通过立体标定对左右两幅图像进行立体校准和对其,最后就是确定两个相机的相对位置关系,即中心距,完成双目标定的时候也就确定了两个相机的联系了。其次通过选取四个点即A,B,C,D,通过双目摄像头拍出照片,并且读取这个Al(x,y),Bl(x,y),Cl(x,y),Dl(x,y)和Ar(x,y),Br(x,y),Cr(x,y),Dr(x,y)的像素坐标,通过程序转化成相对于左摄像头的空间坐标A(x,y,z),B(x,y,z),C(x,y,z),D(x,y,z)。使用探针法或者在程序中增加Tcp的长度,即眉笔的长度。并且读出机械臂末端A,B,C,D的坐标。通过矩阵转化后即可得出手眼的相应关系。这样通过读取摄像机拍摄图片的左右像素点就能转化成机械臂可识别的机械臂末端坐标。
所述基于视觉的机械臂运动控制算法具体如下:
如图6所示,采用D-H参数法建立6自由度机械臂的坐标系以及如下表1所示的D-H参数,其中αi表示相连两个部件之间的扭角(α1代表了第一手腕和第二手腕之间的扭角,α2代表了第二手腕和第一连杆之间的扭角,α3代表了第一连杆和手肘之间的扭角,α4代表了手肘和第二连杆之间的扭角,α5代表了第二连杆和肩膀之间的扭角,α6代表了肩膀和基座之间的扭角),li表示各部件长度(l1代表了第一手腕的长度,l2代表了第二手腕的长度,l3代表了第一连杆的长度,l4代表了手肘的长度,l5代表了第二连杆的长度,l6代表了肩膀的长度),di表示相连两个部件之间的相对位置(d1代表了第一手腕和第二手腕之间的相对位置,d2代表了第二手腕和第一连杆之间的相对位置,d3代表了第一连杆和手肘之间的相对位置,d4代表了手肘和第二连杆之间的相对位置,d5代表了第二连杆和肩膀之间的相对位置,d6代表了肩膀和基座之间的相对位置),θi表示相连两个部件之间的夹角(θ1代表了第一手腕和第二手腕之间的夹角,θ2代表了第二手腕和第一连杆之间的夹角,θ3代表了第一连杆和手肘之间的夹角,θ4代表了手肘和第二连杆之间的夹角,θ5代表了第二连杆和肩膀之间的夹角,θ6代表了肩膀和基座之间的夹角);
表1:6自由度机械臂D-H参数表
由6自由度机械臂的结构参数,可得到各连杆参数以及变量工作范围。
根据两相邻连杆变换公式和表1参数可得,变换矩阵:
得到个连杆的变换矩阵,将各连杆变换矩阵相乘,便可得到UR3的变换矩阵
上式中c(θi)=cosθi,,s(θi)=sinθi,,c(αi)=cosαi,,s(αi)=sinαi。下式中,cl代表cosθ1,s1代表sinθ1,c12代表cos(θ12),θ123代表θ123
上式中,c1代表cosθ1,s1代表sinθ1,c12代表cos(θ12),θ123代表θ123
其中:
nx=c6(s1s5+c5c1c234)-s6c1s234
ny=c6(c5s1c234-c1s5)-s6s1s234
nz=c5c6s234+c234s6
ox=-s6(c5c1c234+s1s5)-c6c1s234
oy=-s6(c5s1c234-c1s5)-c6s1s234
oz=c6s234-c5c6s234
ax=-s5c1c234+c5s1
ay=-s1s5c234-c1c5
az=-s5s234
px=d5c1s234+d4s1+d6(c5s1-s5c1c234)+l2c1c2+l3c1c23
py=d5s1s234-d4c1-d6(c5c+s5s1c234)+l2s1c2+l3s1c23
pz=d1-d5c234+l2s2+l3s23-d6s5s234
将UR3机械臂初始角度代入(8)得出:
式(8)计算结果第四列的前三行代表了6自由度机械臂末端点的位置坐标。
综上所述,完成了画眉机器人的搭建,提高了画眉机器人的精确性,使用者可以体会机器人为人类化妆的愉悦感。

Claims (6)

1.一种基于机器人视觉的画眉机器人系统,其特征在于,它包括6自由度机械臂、眉笔、双目摄像头和计算机,6自由度机械臂通过网线与计算机相连,双目摄像头通过USB数据线与计算机相连,眉笔固定在6自由度机械臂末端。
2.根据权利要求1所述的一种基于机器人视觉的画眉机器人系统的控制方法,其特征在于,具体包括如下步骤:
(1)双目标定:
根据双目摄像头的成像原理,建立视觉系统模型,分析标定靶标的元素与视觉系统模型参数之间的关系,最后获得双目摄像头的参数。
(2)手眼关系的标定:
双目摄像头拍摄标定物的左右两组图像,将左右两组图像上的像素点通过空间转化得到相对于双目摄像头虚拟点的空间坐标;在双目摄像头下方空间选取不少于四个点作为标定点,将6自由度机械臂末端依次移动到标定点上,获得6自由度机械臂末端的空间坐标;建立双目摄像头虚拟点的空间坐标与6自由度机械臂末端的空间坐标之间的转换矩阵。
(3)眉毛图像的处理:
利用双目摄像头获取的图像,然后利用图像处理算法对图片进行处理,获取眉毛的像素坐标。
(4)三维数据的获取:
利用已标定的双目摄像头的双目视觉参数,经过视差原理恢复出眉毛在双目摄像头坐标系中的三维信息,再通过转换矩阵获得获取眉毛在6自由度机械臂坐标系中的三维信息。
(5)基于视觉的机械臂运动控制算法
计算机将眉毛在6自由度机械臂坐标系中的三维信息发送给6自由度机械臂,实现画眉操作。
3.根据权利要求1所述的一种基于机器人视觉的画眉机器人系统的控制方法,其特征在于,所述双目标定具体为:
双目摄像头拍摄标定图片,利用Visual Studio调用opencv,对标定图片进行标定计算,求出双目摄像头的内部参数、旋转矩阵R、平行矩阵t;
假设Oxy在u、v坐标系中的坐标为(u0,v0),每一个像素在x轴与y轴方向上的物理尺寸为宽dxmm,高dymm,则图像中任意一个像素的索引坐标与物理坐标满足下面的换算关系:
将上式写成矩阵的形式:
这里把之前的坐标(u,v)和(x,y)都转成齐次坐标(u,v,1)和(x,y,1);
空间上任何一点P在图像上的投影位置P为光心O与P点的连线OP与图像平面的交点,这种关系也被称为中心射影或透视投影;由几何比例关系可得出:
其中(x,y)为p的图像坐标,(XC,YC,ZC)为空间点P在摄像机坐标系下的坐标;
摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵R与平移向量t来描述,即:
其中R为3×3的矩阵;t为3×1的向量Mb为4×4的矩阵,也被称为摄像机外部参数矩阵;
将公式(2)和公式(5)代入公式(6),就可以得到P点在世界坐标系下的坐标(XW,YW,ZW)与其在图像平面的投影点p的坐标(u,v)的关系:
其中,M=MaMb为3×4矩阵,称为投影矩阵;Ma完全由ax、ay、u0、v0决定的摄像机内部结构有关,称为摄像机内部参数;Mb完全由摄像机相对于世界坐标系的方位决定,称为摄像机外部参数;
确定某一摄像机的内部和外部参数,就完成了被称为摄像机的标定。
4.根据权利要求3所述的一种基于机器人视觉的画眉机器人系统的控制方法,其特征在于,所述手眼关系的标定具体如下:
选取四个点即A,B,C,D,双目摄像头拍摄图像,读取由左摄像头拍摄的图像中的四个点的像素坐标Al(x,y),Bl(x,y),Cl(x,y),Dl(x,y)和由左摄像头拍摄的图像中的四个点的像素坐标Ar(x,y),Br(x,y),Cr(x,y),Dr(x,y),根据步骤(1)获得的双目摄像头的参数,利用深度测量将A,B,C,D四点转化成相对于左摄像头的空间坐标A(x,y,z),B(x,y,z),C(x,y,z),D(x,y,z);使用探针法或者在程序中增加Tcp的长度,即眉笔的长度;并且读出机械臂末端A,B,C,D的坐标;通过矩阵转化后即可得出手眼的相应关系。
5.根据权利要求4所述的一种基于机器人视觉的画眉机器人系统的控制方法,其特征在于,所述图像处理算法为Dlib和OpenCV算法。
6.根据权利要求5所述的一种基于机器人视觉的画眉机器人系统的控制方法,其特征在于,所述基于视觉的机械臂运动控制算法具体如下:
采用D-H参数法建立6自由度机械臂的坐标系以及如下表1所示的D-H参数,其中αi表示相连两个部件之间的扭角(α1代表了第一手腕和第二手腕之间的扭角,α2代表了第二手腕和第一连杆之间的扭角,α3代表了第一连杆和手肘之间的扭角,α4代表了手肘和第二连杆之间的扭角,α5代表了第二连杆和肩膀之间的扭角,α6代表了肩膀和基座之间的扭角),li表示各部件长度(l1代表了第一手腕的长度,l2代表了第二手腕的长度,l3代表了第一连杆的长度,l4代表了手肘的长度,l5代表了第二连杆的长度,l6代表了肩膀的长度),di表示相连两个部件之间的相对位置(d1代表了第一手腕和第二手腕之间的相对位置,d2代表了第二手腕和第一连杆之间的相对位置,d3代表了第一连杆和手肘之间的相对位置,d4代表了手肘和第二连杆之间的相对位置,d5代表了第二连杆和肩膀之间的相对位置,d6代表了肩膀和基座之间的相对位置),θi表示相连两个部件之间的夹角(θ1代表了第一手腕和第二手腕之间的夹角,θ2代表了第二手腕和第一连杆之间的夹角,θ3代表了第一连杆和手肘之间的夹角,θ4代表了手肘和第二连杆之间的夹角,θ5代表了第二连杆和肩膀之间的夹角,θ6代表了肩膀和基座之间的夹角);
表1:
由6自由度机械臂的结构参数,可得到各连杆参数以及变量工作范围;
根据两相连部件变换公式和表1参数可得,变换矩阵:
为各连杆的变换矩阵,c(θi)为cosθi,,s(θi)为sinθi,,c(αi)为cosαi,,s(αi)为sinαi
得到各连杆的变换矩阵,将各连杆变换矩阵相乘,便可得到6自由度机械臂的变换矩阵
上式中,cl代表cosθ1,s1代表sinθ1,c12代表cos(θ12),θ123代表θ123
其中:
nx=c6(s1s5+c5c1c234)-s6c1s234
ny=c6(c5s1c234-c1s5)-s6s1s234
nz=c5c6s234+c234s6
ox=-s6(c5c1c234+s1s5)-c6c1s234
oy=-s6(c5s1c234-c1s5)-c6s1s234
oz=c6s234-c5c6s234
ax=-s5c1c234+c5s1
ay=-s1s5c234-c1c5
az=-s5s234
px=d5c1s234+d4s1+d6(c5s1-s5c1c234)+l2c1c2+l3c1c23
py=d5s1s234-d4c1-d6(c5c+s5s1c234)+l2s1c2+l3s1c23
pz=d1-d5c234+l2s2+l3s23-d6s5s234
将6自由度机械臂初始角度代入式(8)结果第四列的前三行代表6自由度机械臂末端点的位置坐标。
CN201910064266.5A 2019-01-23 2019-01-23 一种基于机器人视觉的画眉机器人系统的控制方法 Active CN109940626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910064266.5A CN109940626B (zh) 2019-01-23 2019-01-23 一种基于机器人视觉的画眉机器人系统的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910064266.5A CN109940626B (zh) 2019-01-23 2019-01-23 一种基于机器人视觉的画眉机器人系统的控制方法

Publications (2)

Publication Number Publication Date
CN109940626A true CN109940626A (zh) 2019-06-28
CN109940626B CN109940626B (zh) 2021-03-09

Family

ID=67007959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910064266.5A Active CN109940626B (zh) 2019-01-23 2019-01-23 一种基于机器人视觉的画眉机器人系统的控制方法

Country Status (1)

Country Link
CN (1) CN109940626B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111571611A (zh) * 2020-05-26 2020-08-25 广州纳丽生物科技有限公司 一种基于面部及皮肤特征的面部作业机器人轨迹规划方法
CN111823230A (zh) * 2020-06-19 2020-10-27 山东科技大学 一种基于Scara机器人的非固定式手眼关系标定方法
CN111958115A (zh) * 2020-08-10 2020-11-20 上海智殷自动化科技有限公司 一种用于激光焊缝跟踪的快速手眼标定方法
CN112045681A (zh) * 2020-09-02 2020-12-08 苏州三仲信息科技有限公司 获取安装孔位置的方法和安装牌照的方法、对应的装置
CN113658144A (zh) * 2021-08-20 2021-11-16 中国公路工程咨询集团有限公司 路面病害几何信息的确定方法、装置、设备及介质
CN114332231A (zh) * 2022-03-04 2022-04-12 成都创像科技有限公司 视觉检测设备中机械手与相机的定位方法、装置及介质
WO2024027647A1 (zh) * 2022-08-02 2024-02-08 深圳微美机器人有限公司 机器人控制方法、系统和计算机程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102350700A (zh) * 2011-09-19 2012-02-15 华南理工大学 一种基于视觉的机器人控制方法
US20120067364A1 (en) * 2010-09-21 2012-03-22 Zong Jing Investment, Inc. Facial make-up application machine and make-up application method using the same
US20120158184A1 (en) * 2010-12-17 2012-06-21 Electronics And Telecommunications Research Institute Method for operating makeup robot based on expert knowledge and system thereof
CN103706568A (zh) * 2013-11-26 2014-04-09 中国船舶重工集团公司第七一六研究所 基于机器视觉的机器人分拣系统及方法
CN104864807A (zh) * 2015-04-10 2015-08-26 深圳大学 一种基于主动双目视觉的机械手手眼标定方法
CN106101524A (zh) * 2016-05-31 2016-11-09 哈尔滨理工大学 一种智能自动描眉机装置
WO2018093964A1 (en) * 2016-11-16 2018-05-24 Wink Robotics Machine for beauty salon

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120067364A1 (en) * 2010-09-21 2012-03-22 Zong Jing Investment, Inc. Facial make-up application machine and make-up application method using the same
US20120158184A1 (en) * 2010-12-17 2012-06-21 Electronics And Telecommunications Research Institute Method for operating makeup robot based on expert knowledge and system thereof
CN102350700A (zh) * 2011-09-19 2012-02-15 华南理工大学 一种基于视觉的机器人控制方法
CN103706568A (zh) * 2013-11-26 2014-04-09 中国船舶重工集团公司第七一六研究所 基于机器视觉的机器人分拣系统及方法
CN104864807A (zh) * 2015-04-10 2015-08-26 深圳大学 一种基于主动双目视觉的机械手手眼标定方法
CN106101524A (zh) * 2016-05-31 2016-11-09 哈尔滨理工大学 一种智能自动描眉机装置
WO2018093964A1 (en) * 2016-11-16 2018-05-24 Wink Robotics Machine for beauty salon

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111571611A (zh) * 2020-05-26 2020-08-25 广州纳丽生物科技有限公司 一种基于面部及皮肤特征的面部作业机器人轨迹规划方法
CN111571611B (zh) * 2020-05-26 2021-09-21 广州纳丽生物科技有限公司 一种基于面部及皮肤特征的面部作业机器人轨迹规划方法
CN111823230A (zh) * 2020-06-19 2020-10-27 山东科技大学 一种基于Scara机器人的非固定式手眼关系标定方法
CN111823230B (zh) * 2020-06-19 2022-01-07 山东科技大学 一种基于Scara机器人的非固定式手眼关系标定方法
CN111958115A (zh) * 2020-08-10 2020-11-20 上海智殷自动化科技有限公司 一种用于激光焊缝跟踪的快速手眼标定方法
CN112045681A (zh) * 2020-09-02 2020-12-08 苏州三仲信息科技有限公司 获取安装孔位置的方法和安装牌照的方法、对应的装置
CN113658144A (zh) * 2021-08-20 2021-11-16 中国公路工程咨询集团有限公司 路面病害几何信息的确定方法、装置、设备及介质
CN114332231A (zh) * 2022-03-04 2022-04-12 成都创像科技有限公司 视觉检测设备中机械手与相机的定位方法、装置及介质
CN114332231B (zh) * 2022-03-04 2022-06-14 成都创像科技有限公司 视觉检测设备中机械手与相机的定位方法、装置及介质
WO2024027647A1 (zh) * 2022-08-02 2024-02-08 深圳微美机器人有限公司 机器人控制方法、系统和计算机程序产品

Also Published As

Publication number Publication date
CN109940626B (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN109940626A (zh) 一种基于机器人视觉的画眉机器人系统及其控制方法
CN110276806B (zh) 用于四自由度并联机器人立体视觉手眼系统的在线手眼标定和抓取位姿计算方法
CN109859275B (zh) 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
CN108765498B (zh) 单目视觉跟踪方法、装置及存储介质
CN108555908A (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN111775146A (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN109048926A (zh) 一种基于立体视觉的机器人智能避障系统及方法
CN109448054A (zh) 基于视觉融合的目标分步定位方法、应用、装置及系统
CN108346165A (zh) 机器人与三维传感组件联合标定方法与装置
CN113175899B (zh) 相机与振镜结合的变视线系统三维成像模型及其标定方法
CN109807937A (zh) 一种基于自然场景的机器人手眼标定方法
CN111012506A (zh) 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法
CN105843166B (zh) 一种特型多自由度自动对接装置及其工作方法
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
CN108154536A (zh) 二维平面迭代的相机标定法
CN109465830A (zh) 机器人单目立体视觉标定系统及方法
CN111912381A (zh) 一种基于双目视觉原理的飞机舵面角度测量方法
CN113724337B (zh) 一种无需依赖云台角度的相机动态外参标定方法及装置
CN112634379B (zh) 一种基于混合视域光场的三维定位测量方法
CN105374067A (zh) 一种基于pal相机的三维重建方法及其重建系统
CN109102527A (zh) 基于标识点的视频动作的获取方法和装置
CN116652970B (zh) 一种四轴机械臂2d手眼标定方法及系统、存储介质
Li et al. A flexible calibration algorithm for high-speed bionic vision system based on galvanometer
CN112288801A (zh) 应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置
CN112652019A (zh) 一种双目视觉三维定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220715

Address after: 310015 No. 51, Huzhou street, Hangzhou, Zhejiang

Patentee after: Zhejiang University City College

Address before: 310015 No. 51 Huzhou street, Hangzhou, Zhejiang, Gongshu District

Patentee before: Zhejiang University City College