CN109866201B - 双目视觉系统、移动抓取机器人和自动取货方法 - Google Patents

双目视觉系统、移动抓取机器人和自动取货方法 Download PDF

Info

Publication number
CN109866201B
CN109866201B CN201910276912.4A CN201910276912A CN109866201B CN 109866201 B CN109866201 B CN 109866201B CN 201910276912 A CN201910276912 A CN 201910276912A CN 109866201 B CN109866201 B CN 109866201B
Authority
CN
China
Prior art keywords
goods
vision system
pair
cloud data
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910276912.4A
Other languages
English (en)
Other versions
CN109866201A (zh
Inventor
姜峣
冯一骁
眭若旻
李铁民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910276912.4A priority Critical patent/CN109866201B/zh
Publication of CN109866201A publication Critical patent/CN109866201A/zh
Application granted granted Critical
Publication of CN109866201B publication Critical patent/CN109866201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

本发明提供一种双目视觉系统、移动抓取机器人和自动取货方法。该双目视觉系统包括:主壳;一对旋转翼板,该对所述旋转翼板分别布置在所述主壳的相对两侧壁外,并且该对所述旋转翼板的转轴布置在所述主壳的同一端;一对摄像装置,该对所述摄像装置分别布置在一对所述旋转翼板背向所述主壳的侧壁的安装面;同步机构,所述同步机构在一对所述旋转翼板的根部之间形成同步传动连接。本发明的双目视觉系统可通过同步机构带动同步转动,在转动过程中可重复获取图像和点云数据,使得双目视觉系统的视场角能够在一定的阈值范围内变化,并且能够增大视场角,获取更远距离范围内的视觉信息,并且结构简单,易于控制。

Description

双目视觉系统、移动抓取机器人和自动取货方法
技术领域
本发明涉及机器人技术领域,特别涉及一种双目视觉系统、机器人和自动取货方法。
背景技术
机器人抓取货品时需要视觉系统拍摄周围环境以有效的机械臂避障,现有视觉系统存在视场过小的问题,因此视觉系统通常架设在较远距离以获得更多的环境信息,但这就需要视觉系统拥有足够高的分辨率以获取货品的细节信息,增加硬件成本。
发明内容
为了解决以上技术问题,本发明提供一种双目视觉系统,该双目视觉系统包括:
主壳;
一对旋转翼板,该对所述旋转翼板分别布置在所述主壳的相对两侧壁外,并且该对所述旋转翼板的转轴布置在所述主壳的同一端;
一对摄像装置,该对所述摄像装置分别布置在一对所述旋转翼板背向所述主壳的侧壁的安装面;
同步机构,所述同步机构在一对所述旋转翼板的根部之间形成同步传动连接。
可选地,所述同步机构与一对所述旋转翼板的根部齿啮合,以在一对所述旋转翼板的根部之间形成同步传动连接。
可选地,所述同步机构包括蜗杆,所述一对所述旋转翼板的根部外周布置有与所述蜗杆啮合的外齿。
可选地,成对的所述旋转翼板相对于所述主壳对称布置。
可选地,所述主壳内设置有动力设备;
所述动力设备的输出端设置有减速器,所述蜗杆安装于所述减速器的输出端。
本发明的实施例还提供了一种移动抓取机器人,该移动抓取机器人包括:
可移动基座;
支撑柱,所述支撑柱竖立安装于所述可移动基座的上方;
机械臂,所述机械臂安装于所述支撑柱的顶端;
机械手,所述机械手设置于所述机械臂的末端;
中转箱,所述中转箱装设于所述支撑柱;
其中,所述支撑柱在所述可移动基座的前进侧和后退侧分别布置有一对避障传感器,并且该对所述避障传感器在所述支撑柱的高度方向上具有高度差;
并且,所述机械手装设有与所述机械手同步移动的双目视觉系统。
可选地,所述支撑柱在所述可移动基座的后退侧安装有惯性测量单元,所述惯性测量单元位于同一侧的所述避障传感器的下方。
本发明的实施例还提供了一种自动取货方法,该自动取货方法用于控制上述的移动抓取机器人抓取货品,并且所述自动取货方法包括由所述移动抓取机器人的控制器执行的以下步骤:
利用所述避障传感器的采集信号驱动所述可移动基座向货架位置移动;
当所述可移动基座到达所述货架后,
调整摄像装置之间的夹角以获取三维点云数据和图像;
驱动同步结构使得摄像装置之间的夹角增大,重复获取三维点云数据,直至成对的摄像装置的水平视场角大于180°;
将获得的点云数据拼接,获得货架的三维点云数据;
根据所述视觉系统获得的图像及点云数据,确定货架内的货品的位置和抓取点;
当根据确定的所述抓取点判断出所述货品适于抓取时,通过所述点云数据确定所述货品周围的障碍物位置;
根据所述货品的位置和抓取点、以及所述障碍物位置,驱动所述机械臂移动和所述机械手协同移动,以利用所述机械手将所述货品抓取放入至所述中转箱。
可选地,通过所述点云数据确定所述货品周围的障碍物位置和驱动所述机械臂移动和所述机械手协同移动之间还包括:
根据所述货品的位置和抓取点、以及所述障碍物位置,驱动所述可移动基座移动进行位置补偿。
可选地,驱动所述可移动基座移动进行位置补偿和驱动所述机械臂移动和所述机械手协同移动之间还包括:
根据点云数据判断待抓取货品的体积,待抓取货品体积选取能够抓取相应体积货品的机械手。
由以上技术方案可知,本发明的双目视觉系统可通过同步机构带动同步转动,在转动过程中可重复获取图像和点云数据,使得双目视觉系统的视场角能够在一定的阈值范围内变化,并且能够增大视场角,获取更远距离范围内的视觉信息,并且结构简单,易于控制。
附图说明
以下附图仅对本发明做示意性说明和解释,并不限定本发明的范围。
图1为本发明实施例双目视觉系统示意图。
图2为本发明实施例机械手示意图。
图3为本发明实施例的移动抓取机器人立体图。
图4为图3中机械臂示意图。
图5为本发明实施例的移动抓取机器人侧视图。
图6为图5中支撑柱示意图。
图7为本发明实施例机械手示意图。
图8为本发明实施例的自动取货方法流程图。
图9为本发明另一实施例的自动取货方法流程图。
图10为图9中步骤S2具体流程图。
其中:1可移动基座
2支撑柱
21支撑柱安装板、22加强筋
3机械臂
31第一转动臂
32第二转动臂
321第一弯折部、322第二弯折部、323第二转动臂本体
33第三转动臂、
333第三转动臂本体、331第三弯折部、332第四弯折部
34第四转动臂、35第五转动臂、37机械臂安装板
4机械手
41支架、42两指式机械手、43吸盘式机械手
51视觉系统安装架
52摄像装置
6双目视觉系统
61主壳、62电机、63减速器、64蜗杆、65轴承、66旋转翼板、68转轴
661外齿
71连接板、72中转箱、73电动缸
721端盖
8激光雷达传感器
9惯性测量单元
具体实施方式
为了对发明的技术特征、目的和效果有更加清楚的理解,现对照附图说明本发明的具体实施方式,在各图中相同的标号表示相同的部分。
在本文中,“示意性”表示“充当实例、例子或说明”,不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。
为使图面简洁,各图中的只示意性地表示出了与本发明相关部分,而并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。
在本文中,“上”、“下”、“前”、“后”、“左”、“右”等仅用于表示相关部分之间的相对位置关系,而非限定这些相关部分的绝对位置。
在本文中,“第一”、“第二”等仅用于彼此的区分,而非表示重要程度及顺序、以及互为存在的前提等。
在本文中,“相等”、“相同”等并非严格的数学和/或几何学意义上的限制,还包含本领域技术人员可以理解的且制造或使用等允许的误差。除非另有说明,本文中的数值范围不仅包括其两个端点内的整个范围,也包括含于其中的若干子范围。
为了解决现有技术中对视觉系统视场过小的技术问题,如图1和图2所示,本发明的实施例提供了一种双目视觉系统。
该双目视觉系统6包括主壳61、电机62、减速器63、蜗杆64、轴承65、旋转翼板66和摄像装置52。
电机62、减速器63、蜗杆64和轴承65均位于主壳61内,减速器63安装于电机62的输出端,蜗杆64安装于减速器63的输出端,主壳61内固定有转轴68,成对设置的旋转翼板66的根部通过轴承65安装于该转轴68,成对的旋转翼板66分别布置在主壳61的相对两侧壁外,并且该对旋转翼板66的转轴68布置在主壳61的同一端;可选地两个旋转翼板66相对于主壳61的延伸方向对称设置。具体而言,旋转翼板66的根部开设有安装孔,轴承65外圈安装于该安装孔,轴承65的内圈安装于转轴68,进而旋转翼板66可绕转轴68转动,旋转翼板66的根部边缘以轴承65为中心设置有外齿661,该外齿661与蜗杆64相啮合,进而蜗杆64在转动时可带动旋转翼板66转动。旋转翼板66安装有摄像装置52,成对的摄像装置52分别布置在一对旋转翼板66背向主壳61的侧壁的安装面,以方便摄像,两个摄像装置52相对于主壳61对称设置,由于旋转翼板66可相对主壳61转动,进而摄像装置52也同时可转动,并且,两个旋转翼板66与同一蜗杆64啮合,因而当蜗杆64转动时,两个旋转翼板66反向同角度转动,即随着蜗杆64的转动,两个旋转翼板66同步转动,即两个旋转翼板66之间的夹角改变,随着旋转翼板66夹角的改变,两个摄像装置52的视场随之改变,通过改变摄像装置52的视场可获得摄像装置52前方不同位置的点云数据。
该处蜗杆64作为同步机构在成对的旋转翼板66的根部之间形成同步传动连接,并且同步机构与旋转翼板66的根部齿啮合,以在一对旋转翼板66的根部之间形成同步传动连接,具体该蜗杆64与翼板66的根部外周的外齿相啮合。
该处两个摄像装置52之所以相对主壳61对称设置,是因为在后续摄像装置52拍摄图像和获取点云数据时,摄像装置52内存存在坐标系,而图像和点云数据都是相对摄像装置52内部坐标系建立的,若两个相机对称,则当两个相机的图像和点云数据拼合时,两个坐标系内的坐标存在正弦或余弦的对应关系,使得数据处理更简单。当然,本发明的实施例并不排斥两个相机不对称设置的情况,只要两个相机之间存在特定的位置关系即可。该摄像装置52可以是相机。
本发明的双目视觉系统可通过同步机构带动同步转动,在转动过程中可重复获取图像和点云数据,使得双目视觉系统的视场角能够在一定的阈值范围内变化,并且能够增大视场角,获取更远距离范围内的视觉信息,并且结构简单,易于控制。
可选地,电机62可与可移动基座1内部的控制器相连,通过控制器控制电机62的转动进而控制摄像装置52的视场。
可选地,该电机62安装有编码器,编码器与控制器相连,并且编码器将电机62的转角反馈至控制器。在使用前,校准两个摄像装置52之间的夹角,校准完成后,随着电机62的驱动,两个摄像装置52同步转动,并且两个摄像装置52之间存在确定的对应关系,使用过程中不需要再次校准,控制器根据编码器的反馈即可得到两个摄像装置52之间的位置关系。即整个使用过程中仅需要对摄像装置52校准一次即可,易于操作。
如图3和图4所示,本发明的实施例提供了一种移动抓取机器人,该移动抓取机器人包括可移动基座1、转向轮、机械臂3、机械手4、中转箱组件和传感器系统。
可移动基座1内部安装有通讯系统、供电系统和转向系统等,可移动基座1下方安装有转向轮,转向轮可以包括麦克纳姆轮,麦克纳姆轮可向任意方向运动,转向系统与麦克纳姆轮相连,驱动麦克纳姆轮移动和转向。
可移动基座1上表面安装有支撑柱2,支撑柱2与机械臂3相连,机械臂3安装于支撑柱2的末端,机械臂3的末端设置有机械手4。可移动基座1的上表面还安装有控制器,控制器位于支撑柱2的周向,节省安装空间同时不会妨碍机械臂3的移动。控制器将速度指令发送至转向系统,进而控制转向轮的速度和转向角度。
该支撑柱2竖立于可移动基座1的上方,具体可以是可移动基座1的上表面固定有支撑柱安装板21,支撑柱2固定于支撑柱安装板21,支撑柱安装板21可以增加支撑柱2与可移动基座1的接触面积,防止机械臂3末端的机械手4抓取物品时支撑柱2与可移动基座1之间的局部受力太大而导致该部分结构被破坏,可选地,支撑柱2的侧面与支撑柱安装板21的上表面设置有加强筋22,该加强筋22设置于支撑柱2的在可移动基座1的前进侧和后退侧的侧面,保证在可移动基座1移动时,即使可移动基座1突然停止产生惯性力,支撑柱2和支撑柱安装板21之间的连接仍然稳固。
机械臂3安装于支撑柱2的顶端面,该机械臂3具有六个自由度,可以实现机械臂3末端的机械手4抓取任意方向的物品,支撑柱2的顶端面可以设置机械臂安装板37,机械臂3通过机械臂安装板37固定于支撑柱2的顶端面。
具体地,该机械臂3包括依次相连的五个转动臂,即第一转动臂31、第二转动臂32、第三转动臂33、第四转动臂34和第五转动臂35。相邻的转动臂可相对转动,即第一转动臂31一端固定于支撑柱2的上端面,另一端与第二转动臂32相连,第一转动臂31可绕自身轴线转动,即为第一自由度;第二转动臂32包括相对第二转动臂本体323弯折的第一弯折部321和第二弯折部322,第一弯折部321和第二弯折部322平行且位于第二转动臂本体323的同侧,第一弯折部321安装于第一转动臂31的径向,第二转动臂32可相对第一转动臂31沿该径向方向转动,即为第二自由度;第三转动臂33包括相对第三转动臂本体333弯折的第三弯折部331和第四弯折部332,第三弯折部331的径向与第二转动臂32的第二弯折部322对接相连,第三转动臂33可沿第二转动臂32转动,即为第三自由度;第四转动臂34的径向与第三转动臂33的第四弯折部332相连,第四转动臂34可相对第三转动臂33转动,即为第四自由度;第五转动臂35的径向与第四转动臂34相连,第五转动臂35可相对第四转动臂34沿该径向方向转动,即为第五自由度;机械手4沿轴向安装于第五转动臂35,并且机械手4可沿第五转动臂35的轴向转动,即为第六自由度。
可以看出,第一转动臂31的自转为第一自由度,第一转动臂31和第二转动臂32之间为第二自由度、第二转动臂32和第三转动臂33之间第三自由度、第三转动臂33和第四转动臂34之间为第四转动自由度、第四转动臂34和第五转动臂35之间的转动为第五转动自由度、机械手4沿轴向的自转为第六自由度。
具体相邻的转动臂之间如何实现相对转动,这是本领域技术人员所熟知的技术,例如,在相邻转动臂设置伺服电机,通过伺服电机驱动相邻的转动臂转动,并且可通过控制伺服电机实现对转动臂转动角度的控制,具体控制过程此处不再赘述。
在可选示例中,如图5所示,中转箱组件安装于支撑柱2的侧面,具体中转箱组件可以包括连接板71、中转箱72、电动缸73。
连接板71固定于支撑柱2的可移动基座1的后退侧的侧面,中转箱72一端的底部与连接板71铰接,具体可以是中转箱72与连接板71通过转轴铰接,电动缸73安装于可移动基座1的侧面并且电动缸73的输出端铰接于中转箱72的底面,电动缸73的输出端可伸缩,随电动缸73输出端的伸缩,中转箱72可绕连接板71转动。中转箱72的远离支撑柱2的一端设置有端盖721,端盖721与中转箱72的可移动基座铰接,当中转箱72水平时,端盖721在重力作用下盖设在中转箱72的端部,当中转箱72向端盖721所在一侧倾斜时,端盖721自动打开,实现自动卸货。
运输货品时,中转箱72处于水平位置,机械手4抓取货品后将货品放置于中转箱72,该移动抓取机器人可移动基座1内部的控制器控制转向轮移动至指定位置,电动缸73的输出端缩短,中转箱72向端盖721所在一侧倾斜,端盖721自动打开,卸载货品,货品卸载完毕后,电动缸73的输出端伸出,中转箱72恢复水平状态,可再次装载货品。
该中转箱72的上边缘不高于支撑柱2的上表面,在保证中转箱72正常使用运输货品的同时,防止中转箱72对机械臂3产生干涉,妨碍机械臂3的正常工作,中转箱72不高于支撑柱2的上表面可以为机械臂3提供充足的工作空间。
传感器系统包括设置于支撑柱2侧面的激光雷达传感器8和惯性测量单元9(Inertial measurement unit,IMU)。
在可移动基座1的前进侧和后退侧,两个激光雷达传感器8分别安装于支撑柱2的前侧面和后侧面,并且两个激光雷达传感器8具有高度差,两个激光雷达传感器8相互配合不仅可以同时获取前后方向的信息还可以获取不同高度的信息。其中,中转箱72位于支撑柱2的侧面,并且位于同侧安装的激光雷达传感器8的上方,避免中转箱72妨碍激光雷达传感器8的探测,具体可以是连接板71安装于支撑柱2在可移动基座1的后退侧的侧面。惯性测量单元9位于支撑柱2的该侧面,获取移动抓取机器人的姿态,具体可以是空间角速度和空间加速度。该惯性测量单元9在安装于该侧面的激光雷达传感器8和中转箱72的下方,能够防止激光雷达传感器8和中转箱组件的中转箱72遮挡惯性测量单元9。
在一个示例中,如图7所示,机械手4可以包括支架41和安装于支架的两指式机械手42。
支架41安装有与该机械手4同步移动的视觉系统,视觉系统包括安装于支架41的视觉系统安装架51,视觉系统安装架51安装有摄像装置52,该摄像装置作为视觉信息获取装置,可以是相机。
在另一个示例中,如图6所示,机械手4包括支架41和安装于支架41的两指式机械手42、吸盘式机械手43。
支架41安装有与该机械手4同步移动的视觉系统,视觉系统包括安装于支架41的视觉系统安装架51,视觉系统安装架51安装有双目视觉系统6。
主壳61安装于视觉系统安装架51,具体视觉系统安装架51可以是连接板,该连接板竖立于支架41和第六转动臂36之间,并且连接板一端固定于支架41,另一端安装双目视觉系统6,可以是主壳61的外壁面接触连接板的侧面,并通过螺钉固定,支架41可带动视觉系统安装架51相对第六转动臂36转动。
本发明的实施例还提供了一种自动取货方法,该自动取货方法用于控制上述的移动抓取机器人抓取物品。
如图8所示,具体该自动取货方法包括由该移动抓取机器人的控制器执行的以下步骤:
S1:利用激光雷达传感器8和惯性测量单元9的采集信号采用导航算法驱动可移动基座向货架位置移动;具体可以采用惯性导航算法。
在可移动基座移动过程中,IMU9获得移动抓取机器人的姿态、空间角速度和空间加速度,激光雷达传感器8获得水平面内障碍物相对于激光雷达的位置。
其中,移动抓取机器人的侧面(左右均可)朝向货架,并且移动抓取机器人预设有可移动基座与货架的允许距离范围,在该阈值范围内,移动抓取机器人有更大的位置调整范围;
S2:当可移动基座到达货架后,触发视觉系统拍照和采集点云数据
具体地,该视觉系统可以是相机,控制器根据货架层高信息控制机械臂运动至适于相机拍照的位置,相机拍照获取该货架以及货架内待抓取货品的图像及点云数据,并且图像和点云数据相对应;
S3:根据视觉系统获得的图像及点云数据,确定货架内的货品的位置和抓取点
控制器采用神经网络算法对货架的货品进行识别,得到待抓取货品在图像中的矩形边框,通过图像和点云数据的对应关系获得待拣选货品的位置,具体可以是Fast R-CNN(Fast Convolutional Neural Networks,快速的基于区域的卷积网络方法)算法;并且控制器通过点云数据获得待抓取货品抓取点,抓取点设置为图像中的矩形边框中心像素对应的点;
S4:根据确定的抓取点判断货品是否适于抓取;
控制器将抓取点的法向作为抓取方向,并判断抓取点的法向与相机镜头法向的夹角;若抓取点的法向与相机镜头所朝向的方向相同(抓取点的法向与相机镜头的法向方向相同),即该抓取点所在面为凹面,则该货品不适宜抓取,控制器控制机械手放弃抓取,并重复步骤S3;若该货品适宜抓取,则该货品即为待抓取货品;
S5:通过点云数据获得待抓取货品周围的障碍物位置,用于机械臂移动抓取待抓取货品时的避障;
S6:驱动可移动基座移动进行位置补偿;
控制器根据待抓取货品所在货架的层高和抓取点的法向判断是否超出机械臂的工作空间,若超出工作空间,则控制器控制可移动基座水平移动位置补偿;
具体地,该移动抓取机器人内部预设有最小允许层高和最小操作空间,控制器将货架的层高和最小允许层高比较、并将抓取点的法向在货架的可使用空间与预设最小操作空间比较,若货架的层高小于最小允许层高或者抓取点的法向在货架的可使用空间小于预设最小操作空间,则控制对可移动基座水平移动位置补偿;
控制器判断水平位移补偿会不会造成可移动基座与货架相撞,若水平位移补偿会导致可移动基座与货架相撞则放弃此待抓取货品的抓取,否则移动抓取机器人按补偿位移水平移动,提高抓取的成功率;
控制器通过视觉信息补偿可移动基座的定位误差,移动抓取机器人的导航精度要求可降低至±0.2m。由此可选用精度较差的IMU和激光雷达,甚至可以在没有里程计的状态下正常工作,降低了总体成本。
S7:根据货品的位置和抓取点、以及障碍物位置,控制机械臂3和机械手协同移动,以利用机械手拣选待抓取货品并将该待抓取货品放入中转箱72;
在货品拣选完成后,控制器控制可移动基座移动到卸货点,电动缸73的输出端缩短,中转箱72的端盖721打开,清空中转箱72之后电动缸43的输出端伸长,中转箱72的端盖721关闭,等待新任务。
本发明的另一个实施例还提供了一种自动取货方法,如图9所示,自动取货方法用于控制上述的移动抓取机器人抓取物品,并且该方法使用第二实施例中的双目视觉系统6拍照,如图10所示,在上述实施例的步骤S2还可以包括以下步骤:
S21:驱动同步机构,将相机夹角调整为相机水平视场角的70%-90%的角度范围,即双相机重叠视角为单个相机视角的10%至30%,驱动相机获取三维点云数据和图像
S22:将相机夹角适当增大,重复获取三维点云数据,直至成对的相机的水平视场角大于180°;
通常移动抓取机器人后方会通过比较严格限制保证不会撞到障碍物,因此只需关注前方,即大于180°即可;
S23:将获得的点云数据拼接,即可获得周围水平视场的三维点云数据;
该三维点云数据包括水平视场范围内的货品、货品周围障碍物的体积和位置。
如图9所示,在上述实施例的步骤S5和S6之间还可以包括以下步骤:
S8:将点云数据用于待抓取货品抓取点的选取,根据点云数据判断待抓取货品的体积,并且移动抓取机器人内部预设有不同种类的机械手适宜的抓取体积范围,控制器根据待抓取货品体积选取能够抓取相应体积货品的机械手。
应当理解,虽然本说明书是按照各个实施方式描述的,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施方式中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,而并非用以限制本发明的保护范围,凡未脱离本发明技艺精神所作的等效实施方案或变更,如特征的组合、分割或重复,均应包含在本发明的保护范围之内。

Claims (7)

1.一种自动取货方法,其特征在于,用于控制移动抓取机器人抓取货品,所述移动抓取机器人包括:
可移动基座(1);
支撑柱(2),所述支撑柱(2)竖立安装于所述可移动基座(1)的上方;
机械臂(3),所述机械臂(3)安装于所述支撑柱(2)的顶端;
机械手(4),所述机械手(4)设置于所述机械臂(3)的末端;
中转箱(72),所述中转箱(72)装设于所述支撑柱(2);
其中,所述支撑柱(2)在所述可移动基座(1)的前进侧和后退侧分别布置有一避障传感器(8),并且所述避障传感器(8)在所述支撑柱(2)的高度方向上具有高度差;
并且,所述机械手(4)装设有与所述机械手(4)同步移动的双目视觉系统(6);
所述双目视觉系统(6),包括:
主壳(61);
一对旋转翼板(66),该对所述旋转翼板(66)分别布置在所述主壳(61)的相对两侧壁外,并且该对所述旋转翼板(66)的转轴(68)布置在所述主壳(61)的同一端;所述转轴(68)固定于所述主壳(61)内,所述旋转翼板(66)的根部通过轴承(65)安装于所述转轴(68);
一对摄像装置(52),该对所述摄像装置(52)分别布置在一对所述旋转翼板(66)背向所述主壳(61)的侧壁的安装面;
同步机构,所述同步机构在一对所述旋转翼板(66)的根部之间形成同步传动连接;
所述同步机构包括蜗杆(64),所述一对所述旋转翼板(66)的根部外周布置有与所述蜗杆啮合的外齿(661);
并且所述自动取货方法包括由所述移动抓取机器人的控制器执行的以下步骤:
利用所述避障传感器的采集信号驱动所述可移动基座向货架位置移动;
当所述可移动基座到达所述货架后,
调整摄像装置之间的夹角以获取三维点云数据和图像;
驱动同步结构使得摄像装置之间的夹角增大,重复获取三维点云数据,直至成对的摄像装置的水平视场角大于180°;
将获得的点云数据拼接,获得货架的三维点云数据;
根据所述视觉系统获得的图像及点云数据,确定货架内的货品的位置和抓取点;
当根据确定的所述抓取点判断出所述货品适于抓取时,通过所述点云数据确定所述货品周围的障碍物位置;
根据所述货品的位置和抓取点、以及所述障碍物位置,驱动所述机械臂移动和所述机械手协同移动,以利用所述机械手将所述货品抓取放入至所述中转箱。
2.根据权利要求1所述的自动取货方法,其特征在于,通过所述点云数据确定所述货品周围的障碍物位置和驱动所述机械臂移动和所述机械手协同移动之间还包括:
根据所述货品的位置和抓取点、以及所述障碍物位置,驱动所述可移动基座移动进行位置补偿。
3.根据权利要求2所述的自动取货方法,其特征在于,驱动所述可移动基座移动进行位置补偿和驱动所述机械臂移动和所述机械手协同移动之间还包括:
根据点云数据判断待抓取货品的体积,待抓取货品体积选取能够抓取相应体积货品的机械手。
4.根据权利要求1所述的自动取货方法,其特征在于,所述同步机构与一对所述旋转翼板(66)的根部齿啮合,以在一对所述旋转翼板(66)的根部之间形成同步传动连接。
5.根据权利要求1所述的自动取货方法,其特征在于,成对的所述旋转翼板(66)相对于所述主壳(61)对称布置。
6.根据权利要求1所述的自动取货方法,其特征在于,所述主壳(61)内设置有动力设备;
所述动力设备的输出端设置有减速器(63),所述蜗杆(64)安装于所述减速器(63)的输出端。
7.根据权利要求1所述的自动取货方法,其特征在于,所述支撑柱(2)在所述可移动基座(1)的后退侧安装有惯性测量单元(9),所述惯性测量单元(9)位于同一侧的所述避障传感器(8)的下方。
CN201910276912.4A 2019-04-08 2019-04-08 双目视觉系统、移动抓取机器人和自动取货方法 Active CN109866201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910276912.4A CN109866201B (zh) 2019-04-08 2019-04-08 双目视觉系统、移动抓取机器人和自动取货方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910276912.4A CN109866201B (zh) 2019-04-08 2019-04-08 双目视觉系统、移动抓取机器人和自动取货方法

Publications (2)

Publication Number Publication Date
CN109866201A CN109866201A (zh) 2019-06-11
CN109866201B true CN109866201B (zh) 2021-03-30

Family

ID=66922153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910276912.4A Active CN109866201B (zh) 2019-04-08 2019-04-08 双目视觉系统、移动抓取机器人和自动取货方法

Country Status (1)

Country Link
CN (1) CN109866201B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110488261B (zh) * 2019-08-23 2023-05-26 南京理工大学 一种基于LiDAR的货架定位孔检测装置及方法
CN110465928B (zh) * 2019-08-23 2021-03-23 河北工业大学 一种仓储商品取放移动平台及该移动平台的路径规划方法
CN111571591B (zh) * 2020-05-22 2021-07-30 中国科学院自动化研究所 四目仿生眼设备、装置及其搜寻目标的方法
CN111674817B (zh) * 2020-06-12 2021-12-17 深圳市海柔创新科技有限公司 仓储机器人的控制方法、装置、设备及可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949477A (en) * 1995-04-06 1999-09-07 Hoglin; Irving M. Three dimensional stereoscopic television system
JP4735955B2 (ja) * 2005-06-09 2011-07-27 独立行政法人産業技術総合研究所 物品分類収納システム及びマニピュレーションシステム
CN101489149B (zh) * 2008-12-25 2010-06-23 清华大学 双目立体视频采集系统
CN107016667B (zh) * 2017-03-21 2019-07-05 哈尔滨理工大学 一种利用双目视觉获取大型零部件三维点云的装置
CN206748400U (zh) * 2017-05-11 2017-12-15 西安工业大学 一种基于自主学习的工业搬运机器人
CN207757622U (zh) * 2017-11-30 2018-08-24 深圳市启灵图像科技有限公司 一种具有双目视觉的装配机械手
CN108748079A (zh) * 2018-06-29 2018-11-06 深圳市越疆科技有限公司 一种移动机械臂、控制实现方法及其遥控系统
CN109579783B (zh) * 2018-12-07 2021-11-16 长沙捕光新能源科技有限公司 一种用于提升双目摄像头测距精度的装置

Also Published As

Publication number Publication date
CN109866201A (zh) 2019-06-11

Similar Documents

Publication Publication Date Title
CN109927012B (zh) 移动抓取机器人和自动取货方法
CN109866201B (zh) 双目视觉系统、移动抓取机器人和自动取货方法
CN109975792B (zh) 基于多传感器融合矫正多线激光雷达点云运动畸变的方法
EP3011362B1 (en) Systems and methods for tracking location of movable target object
JP2022534836A (ja) 3次元ライダーを用いたロボット構成
CN109079799B (zh) 一种基于仿生的机器人感知控制系统及控制方法
US11633848B2 (en) Independent pan of coaxial robotic arm and perception housing
US20050007553A1 (en) Automatic pan and tilt compensation system for a camera support structure
CN111745623B (zh) 五自由度混联机器人末端位姿误差检测补偿系统及方法
CN101731005A (zh) 使用前庭眼反射原理的眼活动控制器
CN213828972U (zh) 一种基于视觉导航的小型搬运机器人
CN112666996A (zh) 控制运动状态的方法、装置、系统、非易失性存储介质
CN115008477A (zh) 机械手移动补偿方法、装置、计算机可读存储介质
CN111571591B (zh) 四目仿生眼设备、装置及其搜寻目标的方法
EP3430879B1 (en) Unmanned traveling work vehicle
JP5582432B1 (ja) 螺旋状走査機構及び三次元測位装置
US11656923B2 (en) Systems and methods for inter-process communication within a robot
JP7093881B1 (ja) システム、及び自動搬送車
US20220168909A1 (en) Fusing a Static Large Field of View and High Fidelity Moveable Sensors for a Robot Platform
US11498218B2 (en) Robot
CN109822544A (zh) 生产监控处置机器人
CN115816423B (zh) 用于机器人的并联机构云台装置、位姿控制方法及控制器
US20220373998A1 (en) Sensor fusion for line tracking
CN115503024B (zh) 720°视角的双目机器人及其工作方法
CN218434595U (zh) 作业设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant