CN203636826U - 机械手装置 - Google Patents

机械手装置 Download PDF

Info

Publication number
CN203636826U
CN203636826U CN201320849823.2U CN201320849823U CN203636826U CN 203636826 U CN203636826 U CN 203636826U CN 201320849823 U CN201320849823 U CN 201320849823U CN 203636826 U CN203636826 U CN 203636826U
Authority
CN
China
Prior art keywords
image
manipulator
robot device
robot
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201320849823.2U
Other languages
English (en)
Inventor
吴莹
杨赞
华云松
巢旭
顾岩秀
马贤淑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201320849823.2U priority Critical patent/CN203636826U/zh
Application granted granted Critical
Publication of CN203636826U publication Critical patent/CN203636826U/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本实用新型提供了一种的机械手装置,其特征在于,包括:机械手;成像部,对机械手和目标物进行成像,得到含有二者的图像,并将图像进行传递;以及处理控制部,分别与成像部和机械手相连,用于接收和处理图像,并控制机械手到达预定位置进行抓取或搬运。根据本实用新型所提供的机械手装置,由于成像部能够对机械手与目标物成像,得到二者的图像,处理控制部能够接收图像并对图像进行处理,得到机械手到达预定位置所需的运动矢量,然后根据该运动矢量控制机械手到达预定位置,对目标物进行抓取或搬运,从而使机械手能够根据目标物或环境的变化进行准确定位,并自动调整位置和姿势,准确的抓取或搬运目标物。

Description

机械手装置
技术领域
本实用新型属于机械设备自动控制领域,具体涉及一种能够自动定位和控制的机械手装置。
背景技术
机器人是自动执行工作的机器,能够协助或取代人类的进行工作,在工业及非工业领域均有着广泛的应用,如手术、水果采摘、枝叶修剪、巷道掘进、侦查及排雷等。
机械手作为工业机器人的一种,是最早出现的工业机器人,也是最早出现的现代机器人。它不仅能够代替工作人员进行繁重的劳动以实现生产的机械化和自动化,也能够在有害环境下进行工作以保护工作人员的人身安全,因而广泛的应用于机械制造、冶金、电子、轻工和原子能等领域。
目前,国内外的机械手大都采用示教控制方式工作,即机械手按照事先编好的程序工作,若其工作对象或工作环境发生变化,机械手就无法准确定位,导致其难以正常工作,自动化程度不高。
实用新型内容
本实用新型的目的是提供一种机械手装置,以解决上述问题。
为了实现上述目的,本实用新型所涉及的机械手装置,其特征在于,包括:机械手;成像部,对机械手和目标物进行成像,得到含有二者的图像,并将图像进行传递;以及处理控制部,分别与成像部和机械手相连,用于接收和处理图像,并控制机械手到达预定位置进行抓取或搬运。其中,处理控制部具有与成像部相连的图像采集卡、与机械手相连的控制器以及安装有图像采集卡和控制器的处理器。图像采集卡用于接收图像,并将图像转化为数字信号传递到处理器;处理器对图像进行处理并计算,得出机械手到达预定位置的运动矢量,并将运动矢量的信息传递给控制器;控制器根据运动矢量的信息对机械手发出相应的工作指令,机械手根据该工作指令运动到预定位置抓取或搬运目标物。
另外,本实用新型所涉及的机械手装置还可以具有这样的特征:其中,成像部为两个摄像头,机械手及目标物均位于摄像头的视野内。
另外,上述摄像头还可以具有这样的特征:其中,摄像头为CMOS摄像头。
另外,本实用新型所涉及的机械手装置还可以具有这样的特征:其中,机械手具有多个执行部件、多个执行关节以及多个分别与执行部件相连的驱动部件,各个执行部件之间通过执行关节相连,并能够沿执行关节相互转动,驱动部件与控制器相连,接收控制器发送的工作指令,并驱动各个执行部件转动到达预定位置。
实用新型的作用与效果
根据本实用新型所提供的机械手装置,由于成像部能够对机械手与目标物成像,得到二者的图像,处理控制部能够接收图像并对图像进行处理,得到机械手到达预定位置所需的运动矢量,然后根据该运动矢量控制机械手到达预定位置,对目标物进行抓取或搬运,从而使机械手能够根据目标物或环境的变化进行准确定位,并自动调整位置和姿势,准确的抓取或搬运目标物。
另外,由于处理器能够对图像的几何失真进行校正,并能起到平滑滤波、图像增强、及立体匹配的作用,从而可以精确的得到机械手和目标物的位置信息。
另外,本实用新型所提供的机械手装置结构简单,成本较低。
附图说明
图1是本实用新型所涉及的机械手装置的框图;以及
图2是本实用新型所涉及的机械手装置在实施例中的结构示意图。
具体实施方式
以下结合附图,对本实用新型所涉及的机械手装置的具体实施形态做进一步说明。
<实施例>
图1是本实用新型所涉及的机械手装置的框图。
如图1所示,本实施例所涉及的机械手装置10具有机械手11、含有两个CMOS摄像头的成像部12以及处理控制部13。处理控制部13包括与成像部12相连的图像采集卡131、与机械手11相连的控制器133、以及安装有图像采集卡131和控制器133的处理器132。
成像部12对机械手11及周边环境进行成像,图像采集卡131将成像部12得到的图像的模拟信号转化为易于处理的数字信号,并将其传递到处理器132,处理器132中设定有图像处理程序及用来计算机械手11的运动矢量的插补算法程序,能够对图像进行处理及运算,得到机械手11需要运动的运动矢量,并将该运动矢量传递到控制器133,控制器133根据该运动矢量给机械手11发送相应的工作指令,控制其工作。
其中,图像处理程序主要包括以下五个步骤:
步骤一:对几何失真进行校正:
由于成像部的镜头部件的精度有限,光敏元件系列分布不可能绝对一致,所得图像不可避免的存在几何畸变。
设g(x’,y’)是实际获得的图像,f(x,y)是理想情况下的图像,对几何失真进行校正有如下变换:
x = T 1 ( x , , y , ) y = T 2 ( x , , y , ) - - - ( 1 )
对畸变图像g(x’,y’)逐点进行校正,并把g(x’,y’)的值(灰度)赋到正确的(x,y)上,得到经过几何校正的图像f(x,y)。以上赋值的过程就称为再采样。
畸变图像中的坐标(xi’,yi’)和理想图像中的坐标(xi,yi)已知,可以通过已知的图像坐标求出校正函数T1和T2,校正函数如式(2)所示:
x = a 11 x , + a 12 y , + a 13 x , y , + a 14 y = a 21 x , + a 22 y , + a 23 x , y , + a 24 - - - ( 2 )
以上的校正函数足以满足小范围局部畸变的准确校正,对于大范围的复杂畸变可以选用高阶多项式校正函数进行校正,或者将图像分成若干个小区域,在每一个小区域上使用以上线性校正函数校正。
将已知图像点带入式(2)中,得到如下方程组:
x i = a 11 x , + a 12 y , + a 13 x , y , + a 14 y i = a 21 x , + a 22 y , + a 23 x , y , + a 24 - - - ( 3 )
其中,i=1,2,...,N。
方程组写成矩阵形式:QA=C,其中,A的最优解为:A=(QTQ)-1QTC。
A = [ a 11 a 12 a 13 a 14 a 21 a 22 a 23 a 24 ] T C = [ x 1 y 1 x 2 y 2 . . . x N y N ] T - - - ( 4 )
步骤二:平滑滤波:
任何采集到的未经处理的图像都会不同程度的受到噪声的影响,噪声的干扰使图像模糊,甚至掩盖图像特征,对于图像质量影响很大,也给图像后处理和图像信息的计算带来不便。图像除噪的过程就称为图像平滑或滤波。根据需要选择方形的3×3的滤波窗口,首先对图像进行灰度化再利用中值滤波完成图像的平滑处理。
步骤三:图像增强:
为了将图像中所需的特征信息(边缘或轮廓)有选择地进行突出,在图像质量下降可接受的范围内衰减其他无用的特征信息进行,此类方法称为图像增强。采用灰度直方图修正的方法来实现对比度增强,突出目标物体轮廓。
步骤四:特征提取
采用Canny算子对图像的轮廓进行提取。
坎尼(Canny)算子一个重要的特点是其试图将独立边的候选像素拼装成轮廓,通过对这些像素运用滞后性阈值来形成轮廓,这意味着有两个阈值,上限和下限。若一个像素的梯度大于上限阈值就认为是边缘像素,低于下限阈值则被抛弃,如果介于两者中间,当其与高于上限阈值的像素连接时会被接受,否则被抛弃。
步骤五:立体匹配
在双摄像头立体视觉系统中,立体匹配是其关键部分。双目视觉测量原理是利用空间中同一点在两个摄像机成像平面上的视差来计算空间点的三维坐标。为了完成空间点坐标的测量,首先要确知空间点在两摄像机像面上的像点坐标,这两个像点就称为匹配像点,在两幅图像中找到匹配的像点坐标的过程被称为特征匹配。因此立体匹配的本质是给定一幅图像中的特征点,寻找其在另一幅图像中的对应点,使得这些点为空间同于物体的投影。
立体匹配的基本步骤:首先从图相对中的一幅图像上选择与实际物体结构对应的图像特征;然后在另一幅图像中确定同一物体结构对应的图像特征;最后确定两幅图像特征之间的相对位置,得到视差。
采用稀疏点立体匹配,特征点为轮廓点。稀疏点匹配主要是针对图像对中的强特征点(比如角点,轮廓点等待)进行匹配,然后对这些点进行插值运算,来得到比较完整的匹配结果。
图2是本实用新型所涉及的机械手装置在实施例中的结构示意图。
如图2所示,成像部12为两个CMOS摄像头,两个CMOS摄像头安装在幕墙15上。机械手11固定在与幕墙15垂直的底板14上,两个CMOS摄像头对机械手11和待抓取或搬运的目标物16进行实时监控,分别获得机械手11及目标物16的图像,并将所获得的图像传递到图像采集卡131。
机械手11具有四个执行部件17、三个执行关节及四个分别控制各个执行部件17的步进电机。通过三个执行关节将四个执行部件17连接起来,执行部件17能够沿相应的执行关节相互转动。四个步进电机与控制器133相连,作为驱动部件驱动执行部件17转动,使执行部件17到达预定位置A,将目标物16抓取并搬运至目标位置B,其中预定位置A为执行部件17能够抓取到目标物16机械手11需到达的位置,目标位置B为目标物16需被搬运到的位置。
使用本实施例所涉及的机械手装置10时,两个CMOS摄像头对机械手11及目标物16进行实时监控,分别得到含有机械手11及目标物16的图像,并将所获得的图像传递到图像采集卡131,图像采集卡131将图像从模拟信号转化为数字信号,并将其传递到处理器132的图像处理程序将其校正、平滑滤波、及图像增强,得到机械手11及目标物16的三维坐标。
在操作中,通过对图像进行一系列预处理,利用Canny边缘检测算子得到轮廓效果图,最后利用极线约束完成立体图像对的轮廓点匹配,得到匹配点后,通过直线线性插值得到匹配后的视差效果图,知道了图像的视差。根据式(5):
x c = B &CenterDot; X left Disparity y c = B &CenterDot; Y Disparity z c = B &CenterDot; f Disparity - - - ( 5 )
式中,Disparity=Xleft-Xright,Xleft和Xright分别表示左右摄像机获得目标点的图像坐标横坐标值,计算得到机械手11及目标物16的特征点在摄像机坐标系下的三维坐标,进而得到二者的三维坐标。
所得到的三维坐标通过插补算法程序进行计算,得到四个执行部件17到达预定位置A的转动矢量,处理器132将所得到的转动矢量传递到控制器133,控制器133根据该转动矢量发送相应的工作指令到各个步进电机,各个步进电机根据该工作指令驱动各个执行部件17转动,使各个执行部件17到达预定位置A,将目标物16抓取并搬运至目标位置B。
实施例的作用与效果
根据本实施例所提供的机械手装置,由于具有两个CMOS摄像头,能够对机械手与目标物进行实时监控,分别得到含有二者的图像,并将其传递到图像采集卡,图像采集卡将图像转化为数字信号并传递到处理器进行处理,得到机械手到达预定位置所需的运动矢量,然后控制器根据运动矢量控制机械手到达预定位置,对目标物进行抓取或搬运,从而使机械手能够根据目标物或环境的变化进行准确定位,并自动调整位置和姿势,准确的抓取或搬运目标物。
采用两个摄像头进行实时监控,可以从不同方位获得两幅图像,根据空间中同一点在两个摄像机成像平面上的视差将两幅图像进行匹配后,可以得到机械手和目标物的三维坐标,能够更精确的进行定位。
采用CMOS摄像头功耗小,成本低,整合度高。
另外,由于设置有图像处理程序,能够对图像的几何失真进行校正,并能起到平滑滤波、图像增强、及立体匹配的作用,从而可以精确的得到机械手和目标物的位置信息。该处理程序由于特征点数量少,具有特征性强,匹配效率高,结果可靠的优点。
另外,本实用新型所提供的机械手装置结构简单,成本较低。
当然本实用新型所涉及的机械手装置并不仅仅限定于上述实施例中的结构。以上内容仅为本实用新型构思下的基本说明,而依据本实用新型的技术方案所作的任何等效变换,均应属于本实用新型的保护范围。
另外,本实用新型所涉及的成像部还可以为两个CCD摄像头。

Claims (4)

1.一种机械手装置,用于对目标物进行抓取或搬运,其特征在于,包括:
机械手;
成像部,对所述机械手和所述目标物进行成像,得到含有二者的图像,并将所述图像进行传递;以及
处理控制部,分别与所述成像部和所述机械手相连,用于接收和处理所述图像,并控制所述机械手到达预定位置进行所述抓取或搬运,
其中,所述处理控制部具有与所述成像部相连的图像采集卡、与所述机械手相连的控制器以及安装有所述图像采集卡和所述控制器的处理器,
所述图像采集卡用于接收所述图像,并将所述图像转化为数字信号传递到所述处理器,
所述处理器对所述图像进行处理,得出所述机械手到达所述预定位置的运动矢量,并将所述运动矢量的信息传递给所述控制器,
所述控制器根据所述运动矢量的信息对所述机械手发出相应的工作指令,所述机械手根据该工作指令运动到所述预定位置抓取或搬运所述目标物。
2.根据权利要求1所述的机械手装置,其特征在于:
其中,所述成像部为两个摄像头,
所述机械手及所述目标物均位于所述摄像头的视野内。
3.根据权利要求2所述的机械手装置,其特征在于:
其中,所述摄像头为CMOS摄像头。
4.根据权利要求1所述的机械手装置,其特征在于:
其中,所述机械手具有多个执行部件、多个执行关节及多个分别与所述执行部件相连的驱动部件,
各个所述执行部件之间通过所述执行关节相连,并能够沿所述执行关节相互转动,
所述驱动部件与所述控制器相连,接收所述控制器发送的所述工作指令,并驱动各个所述执行部件转动到达所述预定位置。
CN201320849823.2U 2013-12-20 2013-12-20 机械手装置 Expired - Fee Related CN203636826U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201320849823.2U CN203636826U (zh) 2013-12-20 2013-12-20 机械手装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201320849823.2U CN203636826U (zh) 2013-12-20 2013-12-20 机械手装置

Publications (1)

Publication Number Publication Date
CN203636826U true CN203636826U (zh) 2014-06-11

Family

ID=50868104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201320849823.2U Expired - Fee Related CN203636826U (zh) 2013-12-20 2013-12-20 机械手装置

Country Status (1)

Country Link
CN (1) CN203636826U (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103707300A (zh) * 2013-12-20 2014-04-09 上海理工大学 机械手装置
CN110006478A (zh) * 2019-04-10 2019-07-12 爱德夏汽车零部件(昆山)有限公司 一种plg制动组件的防错检测方法
CN110637644A (zh) * 2019-08-20 2020-01-03 江苏大学 面向苗床盆栽的设施花卉搬运协同作业控制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103707300A (zh) * 2013-12-20 2014-04-09 上海理工大学 机械手装置
CN110006478A (zh) * 2019-04-10 2019-07-12 爱德夏汽车零部件(昆山)有限公司 一种plg制动组件的防错检测方法
CN110637644A (zh) * 2019-08-20 2020-01-03 江苏大学 面向苗床盆栽的设施花卉搬运协同作业控制方法

Similar Documents

Publication Publication Date Title
CN105225269B (zh) 基于运动机构的三维物体建模系统
CN103707300A (zh) 机械手装置
CN104626206B (zh) 一种非结构环境下机器人作业的位姿信息测量方法
CN103049912B (zh) 一种基于任意三面体的雷达-相机系统外部参数标定方法
CN110751691B (zh) 一种基于双目视觉的管件自动抓取方法
CN103198477B (zh) 一种采用苹果套袋机器人进行视觉定位的方法
CN110211180A (zh) 一种基于深度学习的机械臂自主抓取方法
CN105217324A (zh) 一种新型的拆垛方法和系统
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN104760812B (zh) 基于单目视觉的传送带上产品实时定位系统和方法
CN106530276A (zh) 一种用于非标准件抓取的机械手定位方法以及定位系统
CN111151463A (zh) 一种基于3d视觉的机械臂分拣抓取系统及方法
CN111127568A (zh) 一种基于空间点位信息的相机位姿标定方法
CN105843166B (zh) 一种特型多自由度自动对接装置及其工作方法
Momeni-k et al. Height estimation from a single camera view
CN105800464A (zh) 一种基于自动吊钩系统的定位方法
CN203636826U (zh) 机械手装置
CN110640741A (zh) 一种规则形状工件匹配的抓取工业机器人
CN108074265A (zh) 一种基于视觉辨识的网球定位系统、方法及装置
Tilawat et al. Automatic detection of electricity pylons in aerial video sequences
CN106733686B (zh) 一种基于视觉和码盘数据融合的流水线物体定位方法
CN113536895A (zh) 一种圆盘指针表计识别方法
Yin et al. Research on the method of step feature extraction for EOD robot based on 2D laser radar
CN113822810A (zh) 一种基于机器视觉的三维空间中工件的定位方法
CN109636856B (zh) 基于hog特征融合算子的物体六维度位姿信息联合测量方法

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140611

Termination date: 20141220

EXPY Termination of patent right or utility model