CN110181500B - 一种仿生机械手的控制系统及其控制方法 - Google Patents
一种仿生机械手的控制系统及其控制方法 Download PDFInfo
- Publication number
- CN110181500B CN110181500B CN201910490417.3A CN201910490417A CN110181500B CN 110181500 B CN110181500 B CN 110181500B CN 201910490417 A CN201910490417 A CN 201910490417A CN 110181500 B CN110181500 B CN 110181500B
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- mechanical
- motor
- manipulator
- main control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
- B25J9/12—Programme-controlled manipulators characterised by positioning means for manipulator elements electric
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种仿生机械手的控制系统及其控制方法,所述控制系统设置在机械手上;所述机械手包括支架、设置与支架转动连接的机械手臂、设置与机械手臂转动连接的机械手掌、设置在机械手掌上的机械手指,所述控制系统包括摄像头、与摄像头连接的数字处理模块,与数字处理模块通信连接的机械手臂控制模块、与机械手臂控制模块通信连接的机械手掌控制模块;所述机械手臂控制模块设置在机械手臂上,所述机械手掌控制模块设置在机械手掌上。本发明将仿生机械手与摄像头结合一起来,利用摄像采集的RGBD图像,在数字处理模块端进行处理,能准确的识别物体的类型以及三维位置信息。
Description
技术领域
本发明涉及智能机器人技术领域,更具体的,涉及一种仿生机械手的控制系统及其控制方法。
背景技术
随着科技日新月异的进步,自动化设备在许多工厂内已越来越普及。在这些自动化设备中,机械手尤其重要,因为其可代替工人完成许多繁重的劳动,提高生产效率,甚至避免施工中所发生的危险。
随着机械自动化的普及应用,仿生机械手已经得到广泛使用,在加工行业对于机械手控制精密度的要求日益提升,故对机械手的控制精度要求也越来越高。目前市场的仿生机械手存在反应速度慢,动作传递位置不准确,不能适应复杂的环境。
发明内容
本发明为了解决目前仿生机械手反应速度慢,动作传递位置不准确的问题,提供了一种仿生机械手的控制系统及其控制方法,其反应速度快,动作传递位置准确。
为实现上述本发明目的,采用的技术方案如下:一种仿生机械手的控制系统,所述控制系统设置在机械手上;所述机械手包括支架、设置与支架转动连接的机械手臂、设置与机械手臂转动连接的机械手掌、设置在机械手掌上的机械手指,所述控制系统包括摄像头、与摄像头连接的数字处理模块,与数字处理模块通信连接的机械手臂控制模块、与机械手臂控制模块通信连接的机械手掌控制模块;所述机械手臂控制模块设置在机械手臂上,所述机械手掌控制模块设置在机械手掌上。
本发明所述的摄像头用于识别采集物体的RGBD图像,所述的摄像头能精准的识别出物体所在的位置,将RGBD图像传输给数字处理模块,数字处理模块经过处理后,得到物体的类型以及物体的三维位置。数字处理模块再将物体位置信息传输给机械手臂控制模块,机械手臂控制模块控制机械手臂移动到物体周围,当机械手掌移动到物体周围时,机械手掌控制模块通过机械手指抓取物体。
优选地,所述摄像头为RealSenseD435视觉采集摄像头;所述RealSenseD435视觉采集摄像头既能输出彩色图,又可以输出深度图。
所述机械手臂包括第一机械手臂、第二机械手臂;所述摄像头设置支架上;所述支架与第一机械手臂的一端设置两个自由度转动连接;所述第一机械手臂的另一端与第二机械手臂的一端设置两个自由度转动连接;所述第二机械手臂的另一端与机械手掌设置两个自由度转动连接;所述机械手指包括第一机械手指、第二机械手指、第三机械手指、第四机械手指、第五机械手指。
本发明的机械手臂上每个自由度均设置一个数字舵机来实现,所述的数字舵机的输入端与机械手臂控制模块的输出端电连接;本发明所述的机械手臂、机械手掌、机械手指均完全仿照人手比例设计。本发明所述的机械手一共设有6个自由度,增加了机械手抓取物体的角度与抓取范围,抓取物体更加灵活。
进一步地,所述机械手臂控制模块包括蓝牙模块、电源模块、机械臂主控制芯片、数字舵机;所述机械臂主控制芯片通过蓝牙模块与数字处理模块通信连接;所述机械臂主控制芯片的输出端与数字舵机的输入端电连接;所述电源模块的输出端分别与蓝牙模块的电源端、机械臂主控制芯片的电源端连接;所述机械臂主控制芯片与机械手掌控制模块通信连接。
本发明所述的机械臂主控制芯片采用STM32单片机,所述STM32单片机能实时输出多路PWM。所述数字处理模块计算出物体的位置信息后通过蓝牙模块传输给机械臂主控制芯片,机械臂主控制芯片控制舵机,进行控制机械臂移动物体附近。
再进一步地,所述机械手掌控制模块包括机械手主控制芯片、电源模块、第一电机、第二电机、第三电机、第四电机、第五电机、机械手舵机;所述机械手主控制芯片与机械臂主控制芯片通信连接;所述第一电机均设置在第一机械手指上;所述第二电机、第三电机、第四电机、第五电机和机械手舵机均设置在手掌上;所述机械手主控制芯片的输出端分别与第一电机的输入端、第二电机的输入端、第三电机的输入端、第四电机的输入端、第五电机的输入端、机械手舵机的输入端电连接;所述电源模块向第一电机、第二电机、第三电机、第四电机、第五电机、机械手舵机、机械手主控制芯片提供电源。
所述的第一电机、第二电机、第三电机、第四电机、第五电机均采用微型金属减速电机;所述的数字舵机均采用大扭力金属数字舵机、机械手舵机采用微型数字舵机。
本发明所述的机械手掌采用电机驱动,柔心机构传动,结构简单,运动高效。各机械手指采用独立关节,运动联动的设计。采用少动力源和多驱动的形式,因此需要部分引入外部约束,同时采用电位器做反馈来对手指的运动姿态作调整。仍可保证运动的可靠性。
所述各机械手指均采用单手指单驱动的方式,通过鱼线模仿肌肉连接手指的各个关节,真实模拟人手运动的状态。关节处加电位器,通过穿线方式,由相应的电机转动带动手指进行运动,通过与机械臂主控制芯片与机械手主控芯片进行通信,从而控制机械手掌动作。
本发明还提供一种基于以上所述的仿生机械手的控制系统的控制方法,所述控制方法包括以下步骤:
S1:利用摄像头采集待抓取物体的RGBD图像、深度图;并将RGBD图像、深度图上传给数字处理模块;
S2:数字处理模块接收摄像头采集回来的RGBD图像,进行处理后,识别出待抓取物体的类型和二维位置,并结合深度图确定待抓取物体的三维位置,并计算出待抓取物体相对于机械臂的位置信息;
S3:数字处理模块将物体位置信息传输给机械臂主控制芯片,机械臂主控制芯片输出多路PWM信号控制数字舵机,通过改变每一路的PWM信号控制机械臂移动,从而控制机械臂移动;
S4:机械臂主控制芯片与机械手主控制芯片通信,机械手主控制芯片输出多路PWM信号控制与机械手指对应的电机动作,从而控制机械手指抓取待抓取的物体。
优选地,所述摄像头设置水平向下倾斜。
进一步地,步骤S2,所述的数字处理模块采用yolov3物体检测算法对采集回来的RGBD图像进行处理;所述yolov3物体检测算法具体如下:
将获取的图像分成S×S个格子,若某个物体Ground truth的中心位置的坐标落入到某个格子;每个格子预测B个bounding box及其置信度,以及C个类别概率;bounding box信息(x,y,w,h)为物体的中心位置相对格子位置的偏移及宽度和高度均被归一化,其置信度反映是否包含物体以及包含物体情况下位置的准确性,定义为
式中:Pr(Object)表示包含物体的概率;pred表示预测器;truth表示实际边界框;IOU表示用于衡量预测器与实际边界框重叠地相对大小。
IOU是用于衡量预测器与实际边界框重叠地相对大小,计算预测器与实际边界框这两者的边界框的交集和并集,IOU等于交集与并集的比值,所述IOU为1时,说明交集与并集相等,所述预测器与实际边界框完美重叠。
所述IOU的阈值可以根据实际情况进行设置,所述IOU的阈值设置越大,其边界框越精确。
再进一步地,步骤S2,计算物体相对于机械臂的位置,具体如下:
本发明所述的摄像头输出的深度图每个像素点(u,v)代表该点距离摄像头的距离d,三维坐标的计算公式如下:
式中:cx,fx,cy,fy均表示摄像头的内部参数。
由于摄像头水平向下倾斜设置,所以测出来的距离还需要转换,具体如下:
因此得到物体相对于摄像头的水平坐标为(X,z)。
本发明取手掌内表面中心点作为机械手的初始位置,其坐标为(x0,z0),则计算出来的物体与机械手的相对位置为(X-x0,z-z0)。
再进一步地,步骤S3,所述机械臂主控制芯片输出多路PWM具体如下:
所述机械臂主控制芯片的定时器通过ARR值产生20ms的周期脉冲,设置每个舵机分别占有其中的2.5ms,分配占空比,从而达到同时产生多路PWM控制舵机。
再进一步地,步骤S3,所述机械臂移动包括水平移动、左右移动;
所述左右移动的距离计算如下:
d1=b*(1-cosθ1)
式中:d1表示第二机械手臂左右移动损失的距离,b表示第二机械手臂的长度;θ1表示第二机械手臂与水平方向上的夹角;
所述水平移动的距离计算如下:
d2=sinθ2*a
式中:d2表示水平移动的距离,a表示第一机械手臂的长度;θ2表示第一机械手臂与竖直方向上的夹角;
当d1=d2时,表示机械手臂在水平的基础上进行左右移动。
本发明的有益效果如下:
1.本发明通过摄像头采集物体的类型以及位置信息,其能精准的测量出物体的位置信息,将位置信息传输给机械臂控制模块、机械手掌控制模块进行处理与相应的控制,能控制提高精度。
2.本发明采用yolov3物体检测算法对采集到的图像进行处理,同时控制机械手主控制芯片输出多路PWM进行控制机械手指,机械臂主控制芯片输出多路PWM进行控制机械手臂,实现机械手动作传递位置准确,能精准的抓取物体,同时使仿生机械手反应速度快。
3.本发明在机械手掌上设有与每个机械手指对应的电机,提高机械手指的灵活控制,能保证机械手指稳定的抓取物体;同时本发明所述的机械手设有多个自由度,提高的机械手的灵活性。
附图说明
图1是本实施例所述控制系统结构示意图。
图2是本实施例机械手臂控制模块的部分连接示意图。
图3是本实施例机械手臂控制模块的另一部分连接示意图。
图4是本实施例机械手掌控制模块的一部分连接示意图。
图5是本实施例机械手掌控制模块的另一部分连接示意图。
图6是本实施例机械手掌控制模块的电机连接示意图。
图7是本实施所述向上计数的示意图。
图8是本实施例数字舵机输出转角与输入脉冲的关系示意图。
图9是本实施例控制方法的流程步骤。
图10是本实施例通过摄像头对物体进行识别处理前和处理后的图像。
图11是本实施例产生多路PWM的示意图。
图12是本实施例计算机械臂的移动距离示意图。
图中,1-第一机械手臂,2-第二机械手臂。
具体实施方式
下面结合附图和具体实施方式对本发明做详细描述。
实施例1
如图1所示,一种仿生机械手的控制系统,所述控制系统设置在机械手上;所述机械手包括支架、设置与支架转动连接的机械手臂、设置与机械手臂转动连接的机械手掌、设置在机械手掌上的机械手指,所述控制系统包括摄像头、与摄像头通信连接的机械手臂控制模块、与机械手臂控制模块通信连接的机械手掌控制模块;所述机械手臂控制模块设置在机械手臂上,所述机械手掌控制模块设置在机械手掌上。
所述机械手臂控制模块用于控制机械手臂动作;所述机械手掌控制模块控制机械手掌上的机械手指动作。
本实施例所述的摄像头用于识别采集物体的RGBD图像,所述的摄像头能精准的识别出物体所在的位置,将RGBD图像传输给数字处理模块,数字处理模块经过处理后,得到物体的类型以及物体的三维位置。数字处理模块再将物体位置信息传输给机械手臂控制模块,机械手臂控制模块控制机械手臂移动到物体周围,当机械手掌移动到物体周围时,机械手臂控制模块与机械手掌控制模块通信,所述机械手掌控制模块通过机械手指抓取物体。
所述摄像头为RealSenseD435视觉采集摄像头;所述机械手臂包括第一机械手臂、第二机械手臂;所述摄像头设置支架上,本实施例设置摄像头距离地面40.5cm处;所述支架与第一机械手臂的一端设置两个自由度转动连接;所述第一机械手臂的另一端与第二机械手臂的一端设置两个自由度转动连接;所述第二机械手臂的另一端与机械手掌设置两个自由度转动连接;所述机械手指包括第一机械手指、第二机械手指、第三机械手指、第四机械手指、第五机械手指。
所述的RealSenseD435视觉采集摄像头能输出彩色图,也能输出深度图。本发明的每个自由度均设置一个数字舵机来实现,所述的数字舵机的输入端与机械手臂控制模块的输出端电连接;本发明所述的机械手臂、机械手掌、机械手指均完全仿照人手比例设计。
所述机械手臂控制模块包括蓝牙模块、电源模块、机械臂主控制芯片、数字舵机;所述机械臂主控制芯片通过蓝牙模块与数字处理模块通信连接;所述机械臂主控制芯片的输出端与数字舵机的输入端电连接;所述电源模块的输出端分别与蓝牙模块的电源端、机械臂主控制芯片的电源端连接;所述机械臂主控制芯片与机械手掌控制模块通信连接。
本发明所述的机械臂主控制芯片采用STM32单片机,所述STM32单片机能实时输出多路PWM。所述数字处理模块计算出物体的位置信息后通过蓝牙模块传输给机械臂主控制芯片,机械臂主控制芯片控制舵机,进行控制机械臂移动物体附近。如图2、图3所示,机械手臂控制模块的具体连接图。
所述机械手掌控制模块包括机械手主控制芯片、电源模块、第一电机、第二电机、第三电机、第四电机、第五电机、机械手舵机;所述机械手主控制芯片与机械臂主控制芯片通信连接;所述第一电机均设置在第一机械手指上;所述第二电机、第三电机、第四电机、第五电机和机械手舵机均设置在手掌上;所述机械手主控制芯片的输出端分别与第一电机的输入端、第二电机的输入端、第三电机的输入端、第四电机的输入端、第五电机的输入端、机械手舵机的输入端电连接;所述电源模块向第一电机、第二电机、第三电机、第四电机、第五电机、机械手舵机、机械手主控制芯片提供电源。
所述机械手主控制芯片采用STM32单片机,所述的第一电机、第二电机、第三电机、第四电机、第五电机均采用微型金属减速电机;所述的数字舵机均采用大扭力金属数字舵机、机械手舵机采用微型数字舵机。如图4、图5、图6所示,为机械手掌控制模块具体连接图,由于具体引脚的连接可以根据STM32单片机引脚定义进行不同的连接,本实施例只举例其中一种。
具体的本实施例机械手主控制芯片通过相应的电机驱动电路分别与第一电机、第二电机、第三电机、第四电机、第五电机连接。所述电机驱动电路包括tb6612fng驱动模块、电容C15、电容C18、电容C19;其与机械手主控制芯片的具体连接如图6所示。
所述STM32单片机中每个定时器有四个通道,每一个通道都有一个捕获比较寄存器,将寄存器值和计数器值比较,通过比较结果输出高低电平,实现PWM信号,如图7所示为向上计数,其中,定时器重装载值为ARR,比较值CCRx,t时刻对计数器值和比较值进行比较。如果计数器值小于CCRx值,输出低电平;如果计数器值大于CCRx值,输出高电平。
PWM的一个周期,定时器从0开始向上计数,当0-t1段,定时器计数器TIMx_CNT值小于CCRx值,输出低电平;当t1-t2段,定时器计数器TIMx_CNT值大于CCRx值,输出高电平;当TIMx_CNT值达到ARR时,定时器溢出,重新向上计数...循环此过程,至此一个PWM周期完成。
影响因素
ARR:决定PWM周期(在时钟频率一定的情况下,当前为默认内部时钟CK_INT);
CCRx:决定PWM占空比(高低电平所占整个周期比例);
周期为:
period=单片机频率72M/分频(PSC+1)*ARR(计数溢出值)
数字舵机控制:数字舵机的伺服系统由可变宽度的脉冲来进行控制,控制线是用来传送脉冲的。脉冲的参数有最小值,最大值和频率。一般而言,数字舵机的基准信号都是周期为20ms,宽度为1.5ms。角度是由来自控制线的持续的脉冲所产生,这种控制方法叫做脉冲调制,脉冲的长短决定舵机转动多大角度,如图8所示。例如:1.5ms脉冲会到转到中间位置(对于180°舵机来说,就是90°位置)
本实施例所述的机械手掌采用电机驱动,柔心机构传动,结构简单,运动高效。各机械手指采用独立关节,运动联动的设计。采用少动力源和多驱动的形式,因此需要部分引入外部约束,同时采用电位器做反馈来对手指的运动姿态作调整。仍可保证运动的可靠性。
所述各机械手指均采用单手指单驱动的方式,通过鱼线模仿肌肉连接手指的各个关节,真实模拟人手运动的状态,鱼线的另一端与电机连接,所述机械手主控制芯片控制电机转动,进而带动鱼线,从而实现机械手指动作。关节处加电位器,通过穿线方式,由相应的电机转动带动手指进行运动,通过与机械臂主控制芯片与机械手主控芯片进行通信,从而控制机械手掌动作。
如图9所示,本实施例还提供一种基于以上所述的仿生机械手的控制系统的控制方法,所述控制方法包括以下步骤:
S1:利用摄像头采集待抓取物体的RGBD图像、深度图;并将RGBD图像、深度图上传给数字处理模块;
S2:数字处理模块接收摄像头采集回来的RGBD图像,进行处理后,识别出待抓取物体的类型和二维位置,并结合深度图确定待抓取物体的三维位置,并计算出待抓取物体相对于机械臂的位置信息;
S3:数字处理模块将物体位置信息传输给机械臂主控制芯片,机械臂主控制芯片输出多路PWM信号控制数字舵机,通过改变每一路的PWM信号控制机械臂移动,从而控制机械臂移动;
S4:机械臂主控制芯片与机械手主控制芯片通信,机械手主控制芯片输出多路PWM信号控制与机械手指对应的电机动作,从而控制机械手指抓取待抓取的物体。
所述摄像头设置水平向下倾斜。本实施例将摄像头向下倾斜45°设置。
步骤S2,所述的数字处理模块采用yolov3物体检测算法对采集回来的RGBD图像进行处理;所述yolov3物体检测算法具体如下:
将获取的图像分成S×S个格子,若某个物体Ground truth的中心位置的坐标落入到某个格子;每个格子预测B个bounding box及其置信度,以及C个类别概率;bounding box信息(x,y,w,h)为物体的中心位置相对格子位置的偏移及宽度和高度均被归一化,其置信度反映是否包含物体以及包含物体情况下位置的准确性,定义为
式中:Pr(Object)表示包含物体的概率;pred表示预测器;truth表示实际边界框;IOU表示用于衡量预测器与实际边界框重叠地相对大小。
本实施例所述步骤S2,计算物体相对于机械臂的位置,具体如下:
摄像头输出的深度图每个像素点(u,v)代表该点距离摄像头的距离d,三维坐标的计算公式如下:
式中:cx,fx,cy,fy均表示摄像头的内部参数。
由于摄像头水平向下倾斜设置,所以测出来的距离还需要转换,具体如下:
因此得到物体相对于摄像头的水平坐标为(X,z)。
取手掌内表面中心点作为机械手的初始位置,其坐标为(x0,z0),则计算出来的物体与机械手的相对位置为(X-x0,z-z0)。
如图10所示,通过数字处理模块对物体进行识别处理前和处理后的图像。
本实施例所述步骤S3,所述机械臂主控制芯片输出多路PWM具体如下:
所述机械臂主控制芯片的定时器通过ARR值产生20ms的周期脉冲,设置每个舵机分别占有其中的2.5ms,分配占空比,从而达到同时产生多路PWM控制舵机,如图12所示,为本实施例产生的多路PWM的示意图。
步骤S3,所述机械臂移动包括水平移动、左右移动;如图12所示,
所述左右移动的距离计算如下:
d1=b*(1-cosθ1)
式中:d1表示第二机械手臂左右移动损失的距离,b表示第二机械手臂的长度;θ1表示第二机械手臂与水平方向上的夹角;
所述水平移动的距离计算如下:
d2=sinθ2*a
式中:d2表示水平移动的距离,a表示第一机械手臂的长度;θ2表示第一机械手臂与竖直方向上的夹角;
当d1=d2时,表示机械手臂在水平的基础上进行左右移动。
为了证明本实施的技术效果,对本本实施所述的仿生机械手的控制系统及其控制方法进行测试。
测试记录三维定位算法得到物体的位置,以及与机械手的相对位置,还有测试机械手实际移动的距离,测试数据1如表1所示:
表1测试数据1
在初始位置处用铅笔画一条线,然后在移动后最终位置画一条线,测量线的长度;在做动作的同时,启动秒表,动作结束后按停秒表,经过多次测试,得到下列的平均测试数据,分别为表2表3
表2测试数据2
表3测试数据3
结果分析
经过多次测试,本实施例所述的仿生机械手的控制系统及其控制方法计算出来的相对距离误差在3毫米内,手臂运动误差也在3毫米内,所以基本可以实现让机械手移动到指定位置将物体抓起。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (8)
1.一种仿生机械手的控制方法,所述的仿生机械手的控制方法应用于仿生机械手的控制系统,所述控制系统设置在机械手上;所述机械手包括支架、设置与支架转动连接的机械手臂、设置与机械手臂转动连接的机械手掌、设置在机械手掌上的机械手指,所述控制系统包括摄像头、与摄像头连接的数字处理模块,与数字处理模块通信连接的机械手臂控制模块、与机械手臂控制模块通信连接的机械手掌控制模块;所述机械手臂控制模块设置在机械手臂上,所述机械手掌控制模块设置在机械手掌上;
其特征在于:所述控制方法包括以下步骤:
S1:利用摄像头采集待抓取物体的RGBD图像、深度图;并将RGBD图像、深度图上传给数字处理模块;
S2:数字处理模块接收摄像头采集回来的RGBD图像,进行处理后,识别出待抓取物体的类型和二维位置,并结合深度图确定待抓取物体的三维位置,并计算出待抓取物体相对于机械臂的位置信息;
S3:数字处理模块将物体位置信息传输给机械臂主控制芯片,机械臂主控制芯片输出多路PWM信号控制数字舵机,通过改变每一路的PWM信号控制机械臂移动,从而控制机械臂移动;
S4:机械臂主控制芯片与机械手主控制芯片通信,机械手主控制芯片输出多路PWM信号控制与机械手指对应的电机动作,从而控制机械手指抓取待抓取的物体;
步骤S2,所述的数字处理模块采用yolov3物体检测算法对采集回来的RGBD图像进行处理,所述yolov3物体检测算法具体如下:
将获取的RGBD图像分成S×S个格子,若某个物体Ground truth的中心位置的坐标落入到某个格子中,那么这个格子负责检测出该物体;每个格子预测B个bounding box及其置信度,以及C个类别概率;bounding box信息(x,y,w,h)为物体的中心位置相对格子位置的偏移(x,y)、宽度w、高度h,其中偏移(x,y)、宽度w、高度h均被归一化,其置信度反映是否包含物体以及包含物体情况下位置的准确性,定义为:
式中:Pr(Object)表示包含物体的概率;pred表示预测器;truth表示实际边界框、IOU表示用于衡量预测器与实际边界框重叠地相对大小。
2.根据权利要求1所述的仿生机械手的控制方法,其特征在于:所述摄像头为RealSenseD435视觉采集摄像头;所述机械手臂包括第一机械手臂、第二机械手臂;所述摄像头设置支架上;所述支架与第一机械手臂的一端设置两个自由度转动连接;所述第一机械手臂的另一端与第二机械手臂的一端设置两个自由度转动连接;所述第二机械手臂的另一端与机械手掌设置两个自由度转动连接;所述机械手指包括第一机械手指、第二机械手指、第三机械手指、第四机械手指、第五机械手指。
3.根据权利要求2所述的仿生机械手的控制方法,其特征在于:所述机械手臂控制模块包括蓝牙模块、电源模块、机械臂主控制芯片、数字舵机;所述机械臂主控制芯片通过蓝牙模块与数字处理模块通信连接;所述机械臂主控制芯片的输出端与数字舵机的输入端电连接,所述的机械臂主控制芯片通过数字舵机控制机械臂移动;所述电源模块的输出端分别与蓝牙模块的电源端、机械臂主控制芯片的电源端连接;所述机械臂主控制芯片与机械手掌控制模块通信连接。
4.根据权利要求3所述的仿生机械手的控制方法,其特征在于:所述机械手掌控制模块包括机械手主控制芯片、电源模块、第一电机、第二电机、第三电机、第四电机、第五电机、机械手舵机;所述机械手主控制芯片与机械臂主控制芯片通信连接;所述第一电机设置在第一机械手指上;所述第二电机、第三电机、第四电机、第五电机和机械手舵机均设置在机械手掌上;所述机械手主控制芯片的输出端分别与第一电机的输入端、第二电机的输入端、第三电机的输入端、第四电机的输入端、第五电机的输入端、机械手舵机的输入端电连接;所述电源模块向第一电机、第二电机、第三电机、第四电机、第五电机、机械手舵机、机械手主控制芯片提供电源;所述的机械臂主控制芯片与机械手主控制芯片通信,机械手主控制芯片输出多路PWM信号控制与机械手指对应的电机动作,从而控制机械手指抓取待抓取的物体。
5.根据权利要求1所述的仿生机械手的控制方法,其特征在于:所述摄像头设置水平向下倾斜。
6.根据权利要求1所述的仿生机械手的控制方法,其特征在于:步骤S2,计算物体相对于机械臂的位置,具体如下:
摄像头输出的深度图中每个像素点(u,v)代表该点距离摄像头的距离d,三维坐标的计算公式如下:
式中:cx,fx,cy,fy均表示摄像头的内部参数,Z表示三维坐标中的竖坐标,X表示三维坐标中的横坐标,Y表示三维坐标中的纵坐标;(u,v)分别就是对应在深度图上的坐标位置,每个像素点(u,v)对应的数值为该点的深度;
由于摄像头水平向下倾斜设置,所以测出来的距离还需要转换,具体如下:
因此得到物体相对于摄像头的水平坐标为(X,z);
取机械手掌的内表面中心点作为机械手的初始位置,其坐标为(x0,z0),则计算出来的物体与机械手的相对位置为(X-x0,z-z0)。
7.根据权利要求6所述的仿生机械手的控制方法,其特征在于:步骤S3,所述机械臂主控制芯片输出多路PWM具体如下:
所述机械臂主控制芯片的定时器通过ARR值产生20ms的周期脉冲,设置每个舵机分别占有其中的2.5ms,分配占空比,从而达到同时产生多路PWM控制舵机。
8.根据权利要求7所述的仿生机械手的控制方法,其特征在于:步骤S3,所述机械臂移动包括水平移动、左右移动;
所述左右移动的距离计算如下:
d1=b*(1-cosθ1)
式中:d1表示第二机械手臂左右移动损失的距离,b表示第二机械手臂的长度;θ1表示第二机械手臂与水平方向上的夹角;
所述水平移动的距离计算如下:
d2=sinθ2*a
式中:d2表示水平移动的距离,a表示第一机械手臂的长度;θ2表示第一机械手臂与竖直方向上的夹角;
当d1=d2时,表示机械手臂在水平的基础上进行左右移动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910490417.3A CN110181500B (zh) | 2019-06-06 | 2019-06-06 | 一种仿生机械手的控制系统及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910490417.3A CN110181500B (zh) | 2019-06-06 | 2019-06-06 | 一种仿生机械手的控制系统及其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110181500A CN110181500A (zh) | 2019-08-30 |
CN110181500B true CN110181500B (zh) | 2021-07-13 |
Family
ID=67720655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910490417.3A Active CN110181500B (zh) | 2019-06-06 | 2019-06-06 | 一种仿生机械手的控制系统及其控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110181500B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111346829A (zh) * | 2020-02-28 | 2020-06-30 | 西安电子科技大学 | 一种基于pynq的双目摄像机三维分拣系统及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4908020B2 (ja) * | 2006-03-02 | 2012-04-04 | 本田技研工業株式会社 | ハンド制御システム |
JP5505138B2 (ja) * | 2010-07-05 | 2014-05-28 | 株式会社安川電機 | ロボット装置およびロボット装置による把持方法 |
CN103406910B (zh) * | 2013-08-17 | 2015-11-25 | 刘发永 | 自主视觉仿生机器人 |
CN204997657U (zh) * | 2015-09-18 | 2016-01-27 | 广东技术师范学院 | 一种具有模仿功能的仿生机械手 |
CN109559341B (zh) * | 2017-09-27 | 2021-03-26 | 北京猎户星空科技有限公司 | 一种机械臂抓取方案的生成方法及装置 |
CN108638054B (zh) * | 2018-04-08 | 2021-05-04 | 河南科技学院 | 一种智能排爆机器人五指灵巧手控制方法 |
CN109773771A (zh) * | 2019-03-22 | 2019-05-21 | 武汉理工大学 | 一种仿生机械手 |
-
2019
- 2019-06-06 CN CN201910490417.3A patent/CN110181500B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110181500A (zh) | 2019-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11440179B2 (en) | System and method for robot teaching based on RGB-D images and teach pendant | |
CN111775154B (zh) | 一种机器人视觉系统 | |
JP7326911B2 (ja) | 制御システムおよび制御方法 | |
WO2018086226A1 (zh) | 机械臂的控制方法和装置 | |
JP2011110620A (ja) | ロボットの動作を制御する方法およびロボットシステム | |
JP7067816B1 (ja) | 画像分割及び表面筋電図に基づくロボットの教示システム及び方法 | |
CN105159227A (zh) | 一种双轴运动平台的定位与动态轨迹跟踪控制装置及方法 | |
CN105033996A (zh) | 基于手推示教式五轴水平关节机器人的控制系统 | |
CN106144524A (zh) | 一种高速运动中用ccd视觉定位方法及装置 | |
CN110181500B (zh) | 一种仿生机械手的控制系统及其控制方法 | |
CN107941167B (zh) | 一种基于无人机载具和结构光扫描技术的空间扫描系统及其工作方法 | |
Lee et al. | Fast perception, planning, and execution for a robotic butler: Wheeled humanoid m-hubo | |
CN107932502A (zh) | 一种基于双目立体视觉的scara机器人轨迹规划方法 | |
CN111515928A (zh) | 机械臂运动控制系统 | |
CN110480636A (zh) | 一种基于三维视觉的机械臂控制系统 | |
WO2023124735A1 (zh) | 机器人控制方法、装置、系统及存储介质 | |
CN1672881A (zh) | 基于运动选择的机器人在线手眼标定方法 | |
CN110039520B (zh) | 一种基于图像对比的示教、加工系统 | |
Huang et al. | Intelligent humanoid mobile robot with embedded control and stereo visual feedback | |
CN210361322U (zh) | 一种教育用可编程的人工智能机器人 | |
CN107443369A (zh) | 一种基于视觉测量模型逆辨识的机器臂无标定伺服控制方法 | |
Tsitos et al. | Handling vision noise through robot motion control in a real-time teleoperation system | |
CN110842926A (zh) | 机器人精准定位系统 | |
CN110764511A (zh) | 一种带有多传感器融合的移动式机器人及其控制方法 | |
CN108058171A (zh) | 一种基于位置且闭环控制的机械臂视觉伺服系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |