CN112207839A - 可移动的家居服务机器人及方法 - Google Patents

可移动的家居服务机器人及方法 Download PDF

Info

Publication number
CN112207839A
CN112207839A CN202010965349.4A CN202010965349A CN112207839A CN 112207839 A CN112207839 A CN 112207839A CN 202010965349 A CN202010965349 A CN 202010965349A CN 112207839 A CN112207839 A CN 112207839A
Authority
CN
China
Prior art keywords
connecting rod
manipulator
hinged
robot
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010965349.4A
Other languages
English (en)
Inventor
郑子维
金悦
陈学杭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010965349.4A priority Critical patent/CN112207839A/zh
Publication of CN112207839A publication Critical patent/CN112207839A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/08Gripping heads and other end effectors having finger members
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/02Manipulators mounted on wheels or on carriages travelling along a guideway
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

公开了可移动的家居服务机器人及方法,机器人中,深度摄像头固定于机械手驱动电机,深度摄像头实时识别待取物品以生成深度图像,至少两个机械手指分别铰接于机械手手掌,且相对于机械手手掌对称布置,三角推杆对的钝角处与导轨支架以及第二连杆对形成复合铰链铰接,第二连杆对的钝角处的长边末端处与导轨支架以及三角推杆对构成复合铰链铰接,钝角处的短边末端处铰链铰接第三连杆对,钝角处与第二连杆构成复合铰链铰接,当机械手驱动电机致动丝杠使得机械手手掌向远离机械手驱动电机的方向运动,推动第一连杆、第二连杆对、第三连杆对、第二连杆、指腹和指尖向机械手手掌方向内收。

Description

可移动的家居服务机器人及方法
技术领域
本发明涉及机器人技术领域,特别是一种可移动的家居服务机器人及方法。
背景技术
随着人工智能学科和机器人学的发展,人们产生了利用智能机器人提高生活水平的需求。
目前市面上的智能家居助手产品的具有代表性的功能是语音识别功能,智能家居助手通过对人的语言的识别,按照人的意愿执行对应的命令,该功能为用户的生活提供了便利。
然而,已投放市场的智能家居助手产品存在不足之处。这些产品通常放置在固定位置,若现有产品离用户的距离较远、或与用户之间的阻挡物较多,现有产品无法正常按照用户的命令作出对应的执行。另外,部分用户对智能家居助手产品提出了更高的服务要求,期望此类产品能够具有取物功能和家居整理功能,从而减少人的劳动量,然而现有产品无法满足这部分用户的需求。上述两点为现有产品的缺陷。
背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解,因此可能包含不构成本领域普通技术人员公知的现有技术的信息。
发明内容
鉴于上述问题,本发明公开了一种可移动的家居服务机器人,机器人可精确移动以及自身具有可用于取物和家居整理功能的自适应机械手,从而解决现有产品位置固定且不可执行取物和家居整理功能的缺陷。
本发明公开了一种可移动的家居服务机器人包括,
可移动底座,其包括移动轮和用于控制移动方向的第一舵机,
机械臂,其可转动地连接所述可移动底座,所述机械臂包括机械手和控制机械臂运动的第二舵机,所述机械手包括,
机械手驱动电机,
深度摄像头,其固定于所述机械手驱动电机,所述深度摄像头实时识别待取物品以生成深度图像,
导轨支架,其安装于所述机械手驱动电机,
丝杠,其经由第一丝杠螺母安装于所述机械手驱动电机,
机械手手掌,其经由第二丝杠螺母连接丝杠以在丝杠致动下沿着导轨支架滑动,
至少两个机械手指,其分别铰接于所述机械手手掌,且相对于所述机械手手掌对称布置,所述机械手指包括,
第一连杆对,其一端铰接所述机械手手掌,
三角推杆对,其为钝角三角形结构,其钝角处与导轨支架以及第二连杆对形成复合铰链铰接,钝角处的长边末端处铰接所述第一连杆对的另一端,短边末端处与第一连杆一端铰接,
第二连杆,其为具有锐角且锐角两边不相等的杆件,其锐角处铰接第一连杆另一端,锐角处的短边末端处与第二连杆对构成复合铰链铰接,锐角处的长边末端处与指尖128铰接,
第二连杆对,其为具有钝角弯曲且钝角两边长度不相等的杆件,钝角处的长边末端处与导轨支架以及三角推杆对构成复合铰链铰接,钝角处的短边末端处铰链铰接第三连杆对,钝角处与第二连杆构成复合铰链铰接,
指腹,其固定夹紧于第二连杆对之间,
第三连杆对,其一端铰接第二连杆对,
指尖,其根部分别铰接第三连杆对的另一端以及第二连杆构成复合铰链铰接,
当机械手驱动电机致动丝杠使得机械手手掌向远离机械手驱动电机的方向运动,第一连杆对相对机械手手掌作逆时针转动,从而使三角推杆对相对导轨支架作顺时针转动,推动第一连杆、第二连杆对、第三连杆对、第二连杆、指腹和指尖向机械手手掌方向内收。
所述的可移动的家居服务机器人中,第二连杆、指尖向内收的角度大于第二连杆对、第二指腹向内收的角度,所述深度摄像头包括用于视觉识别的识别单元。
所述的可移动的家居服务机器人中,机械臂包括,
第一臂,其可转动连接于可移动底座,
第二臂,其可转动连接所述第一臂,所述机械手可转动连接所述第二臂。
所述的可移动的家居服务机器人中,还包括,
激光雷达,其扫描地形建立地图,
第一控制板,其设在所述可移动底座,其连接所述深度摄像头和激光雷达以基于所述深度图像和地图规划移动路径。
所述的可移动的家居服务机器人中,还包括第二控制板,其设在所述可移动底座,其连接所述第一舵机、第二舵机和机械手驱动电机,以基于所述移动路径发送控制指令到第一舵机和第二舵机以移动可移动底座和机械臂,并致动机械手执行抓取。
所述的可移动的家居服务机器人中,还包括第三控制板,其设在所述可移动底座,其包括,
语音识别模块,其串口通信所述第一控制板,
温度传感器,其实时监测环境温度。
所述的可移动的家居服务机器人中,所述第二控制板包括,
ROI抓取计算模块,其基于所述深度图像中待抓取区域生成ROI特征,
ROI抓取检测器,其基于ROI特征构建抓取数据集,
第二控制板基于抓取数据集和/或控制指令致动机械手执行抓取。
所述的可移动的家居服务机器人中,所述第二控制板包括,
点云轮廓计算模块,其基于所述深度图像中待抓取区域生成点云特征,
第二控制板基于点云特征和/或控制指令致动机械手执行抓取。
根据本发明另一方面,一种基于所述的可移动的家居服务机器人的工作方法包括以下步骤,
扫描地形以建立地图,
深度摄像头实时识别待取物品以生成深度图像,
响应于指令,基于所述深度图像和地图规划移动路径,
基于所述移动路径移动可移动底座和机械臂,并致动机械手执行抓取,其中,
机械手驱动电机致动丝杠使得机械手手掌向远离机械手驱动电机的方向运动,第一连杆对相对机械手手掌作逆时针转动,使三角推杆对相对导轨支架作顺时针转动,推动第一连杆、第二连杆对、第三连杆对、第二连杆、指腹、指尖向机械手手掌方向内收以执行抓取。
所述的方法中,所述指令包括语音信号,所述指令为整理指令、巡航指令或跟随指令,
响应于整理指令,深度摄像头拍摄待整理物品和对应收纳箱的深度图像,基于所述深度图像和地图规划移动路径,
响应于巡航指令,基于所述深度图像和地图规划巡航路线,基于巡航路线生成移动路径,
响应于跟随指令,深度摄像头识别被跟随者后,规划移动路径和移动速度。
本发明与现有技术相比存在的优势有如下几点。
1、搭载了移动式的底座,可精确移动,使工作范围覆盖整间居室,不存在工作死角。
2、搭载机械手,能对取物和家居整理指令进行执行。
3、搭载的机械手为自适应欠驱动的机械手,对常见物体的多种外形具有良好的自适应性,可针对多种目标物体进行取物和整理动作。
4、具有视觉识别功能,可以自主识别常见的物体,并对其进行归类,按照对应的类别采取相应的处理方式。
上述说明仅是本发明技术方案的概述,为了能够使得本发明的技术手段更加清楚明白,达到本领域技术人员可依照说明书的内容予以实施的程度,并且为了能够让本发明的上述和其它目的、特征和优点能够更明显易懂,下面以本发明的具体实施方式进行举例说明。
附图说明
通过阅读下文优选的具体实施方式中的详细描述,本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。显而易见地,下面描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。而且在整个附图中,用相同的附图标记表示相同的部件。
在附图中:
图1是根据本发明一个实施例的可移动的家居服务机器人的结构示意图;
图2是根据本发明一个实施例的可移动的家居服务机器人的后视示意图;
图3是根据本发明一个实施例的可移动的家居服务机器人的机械手指的结构示意图。
具体实施方式
下面将参照附图1至附图3更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
需要说明的是,在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解,技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语,故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式,然所述描述乃以说明书的一般原则为目的,并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
为便于对本发明实施例的理解,下面将结合附图以具体实施例为例做进一步的解释说明,且各个附图并不构成对本发明实施例的限定。
为了更好地理解,如图1至图3所示,一种可移动的家居服务机器人包括,
可移动底座17,其包括移动轮41和用于控制移动方向的第一舵机,
机械臂6,其可转动地连接所述可移动底座17,所述机械臂6包括机械手和控制机械臂6运动的第二舵机,所述机械手包括,
机械手驱动电机8,
深度摄像头18,其固定于所述机械手驱动电机8,所述深度摄像头18实时识别待取物品以生成深度图像,
导轨支架11,其安装于所述机械手驱动电机8,
丝杠9,其经由第一丝杠螺母安装于所述机械手驱动电机8,
机械手手掌10,其经由第二丝杠螺母连接丝杠9以在丝杠9致动下沿着导轨支架11滑动,
至少两个机械手指12,其分别铰接于所述机械手手掌10,且相对于所述机械手手掌10对称布置,所述机械手指12包括,
第一连杆对121,其一端铰接所述机械手手掌10,
三角推杆对122,其为钝角三角形结构,其钝角处与导轨支架11以及第二连杆对124形成复合铰链铰接,钝角处的长边末端处铰接所述第一连杆对121的另一端,短边末端处与第一连杆123一端铰接。复合铰链铰接是两个以上的构件同时在一处用转动副相联接。钝角长短边设置使得仅需要较小的第一连杆对的运动角度便可实现较大幅度的手指开合角度。
第二连杆126,其为具有锐角且锐角两边不相等的杆件,其锐角处铰接第一连杆123另一端,锐角处的短边末端处与第二连杆对124构成复合铰链铰接,锐角处的长边末端处与指尖128铰接,锐角长短边设置使得当指腹的运动受到抓取物体限制时,第二连杆使指尖继续向掌心内转动,由于指尖和长边铰接,因此指尖的转动角度大于第一连杆使第二连杆短边转动的角度,从而使指尖向内包裹抓取物体。
第二连杆对124,其为具有钝角弯曲且钝角两边长度不相等的杆件,钝角处的长边末端处与导轨支架11以及三角推杆对122构成复合铰链铰接,钝角处的短边末端处铰链铰接第三连杆对125,钝角处与第二连杆126构成复合铰链铰接,钝角的短边与第二连杆的短边平行,当指腹的运动受到抓取物体限制时,第二连杆对的转动受到限制,第二连杆的转动不受到限制,从而使指尖内收动作能够正常进行。
指腹127,其固定夹紧于第二连杆对124之间,
第三连杆对125,其一端铰接第二连杆对124,
指尖128,其根部分别铰接第三连杆对125的另一端以及第二连杆126构成复合铰链铰接,
当机械手驱动电机8致动丝杠9使得机械手手掌10向远离机械手驱动电机8的方向运动,第一连杆对121相对机械手手掌10作逆时针转动,从而使三角推杆对122相对导轨支架11作顺时针转动,推动第一连杆123、第二连杆对124、第三连杆对125、第二连杆126、指腹127和指尖128向机械手手掌10方向内收。俯视机械手、且机械手手掌在丝杠致动下沿导轨支架向远离车身方向滑动时,第一连杆推动三角推杆围绕钝角处的铰链进行逆时针转动,从而带动第二连杆相对三角推杆顺时针转动,最终使单个手指呈现张开状态。当机械手手掌在丝杠致动下沿导轨支架向车身方向滑动时,运动效果相反,最终单个机械手指呈现向掌心内弯曲的状态。相较于现有技术中如曲柄连杆机构的抓取结构,本机械手手指的运动轨迹不固定,对于多种形状如球型、方形的物体的外形具有自适应性,而曲柄连杆机构的运动方式固定,其末端缺乏对不同形状的物体外形的适应性。
所述的可移动的家居服务机器人的优选实施例中,第二连杆126、指尖128向内收的角度大于第二连杆对124、第二指腹127向内收的角度,这使得指尖内收角度更大,从而对被抓取的物体起到包裹的动作,提高抓取的稳定性。所述深度摄像头18包括用于视觉识别的识别单元。
为了进一步理解本发明,在一个实施例,机器人包括第一控制板1,第二控制板2,第三控制板3,左车轮的移动轮41,右车轮42,机械臂驱动电机51,机械臂驱动电机52,机械臂驱动电机53,机械臂驱动电机54,机械臂组成杆,机械臂组成杆7,机械手驱动电机8,丝杠螺母副,机械手手掌10,导轨支架11,机械手指12,第二机械手指13,第三机械手指14,第四机械手指15,激光雷达16,可移动底座17和深度摄像头18构成。所述的第一控制板1、第二控制板2、第三控制板3、左车轮的移动轮41、右车轮42、机械臂驱动电机51、激光雷达16分别通过螺纹连接安装在可移动底座17上。所述的机械臂驱动电机52通过螺纹连接安装在机械臂驱动电机51上。所述的机械臂组成杆通过螺纹连接安装在机械臂驱动电机52上,两者整体形成铰链。所述的机械臂驱动电机53通过螺纹连接安装在机械臂组成杆的远离机械臂驱动电机52的一端。机械臂组成杆7通过螺纹连接安装在机械臂驱动电机53上,机械臂组成杆7、机械臂驱动电机53、机械臂组成杆整体形成铰链。所述的机械手驱动电机8通过螺纹连接安装在机械臂组成杆7的远离机械手驱动电机8的一端。所述的丝杠螺母副由一根丝杠和两个丝杠螺母配合组成,其中一个丝杠螺母通过螺纹连接安装在机械手驱动电机8上,另一个丝杠螺母通过螺纹连接与机械手手掌10相连。所述的机械手手掌10除与丝杠螺母副以螺纹连接方式相连外,还套装在导轨支架11上,可在导轨支架11的限制范围内进行滑动。所述的导轨支架11通过螺纹连接安装在机械手驱动电机8上。所述的机械手指12,第二机械手指13,第三机械手指14,第四机械手指15结构相同,且分别铰接在机械手手掌10的4个角上,四个手指相对机械手手掌10的水平对称面和竖直对称面均构成对称。所述的深度摄像头18通过螺纹副连接固定在机械手驱动电机8上。
在一个实施例,所述的机械手指12中的每对连杆对中的每对杆件均有外形相同的两根杆件组成。
在一个实施例,第一连杆对121相对指腹127的对称面上下对称布置。
在一个实施例,所述的三角推杆对122相对指腹127的对称面上下对称布置。
在一个实施例,所述的第一连杆123的对称面与指腹127的对称面重合。
在一个实施例,组成第二连杆对124的每根连杆的钝角长边上有2个位置相同的销钉孔,上述销钉孔与指腹127对应的销钉配合,将指腹127夹紧在第二连杆对124之间,第二连杆对124相对指腹127的对称平面对称布置。
在一个实施例,所述的第三连杆对125一端与思维连杆对124的两根杆件构成两个位置相对于指腹127的对称面对称的铰链铰接,另一端与指尖128构成复合铰链铰接。
在一个实施例,所述的第二连杆126对称面与指腹127的对称面重合。
在一个实施例,所述的指腹127与第二连杆对124采用销钉连接,并被固连在第二连杆对124之间。
在一个实施例,机械手驱动电机8为正反转电机。
在一个实施例,当机械手驱动电机8带动丝杠螺母副上与机械手驱动电机8连接的丝杠螺母旋转时,若该旋转动作使丝杠螺母副上另一丝杠螺母向接近机械手驱动电机的方向运动,则机械手手掌10在导轨支架11上向接近机械手驱动电机的方向运动,以俯视机械手指12的视角观察,第一连杆对121相对机械手手掌10作顺时针转动,从而使三角推杆对122相对导轨支架作逆时针转动,从而推动第一连杆123、第二连杆对124、第三连杆对125、第二连杆126、指腹127、指尖128向机械手手掌10方向外展。其余各机械手指的安装关系、连接关系和动作关系与机械手指12同理。
所述的可移动的家居服务机器人的优选实施例中,机械臂6包括,
第一臂,其可转动连接于可移动底座17,
第二臂,其可转动连接所述第一臂,所述机械手可转动连接所述第二臂。
所述的可移动的家居服务机器人的优选实施例中,激光雷达16,其扫描地形建立地图,
第一控制板1,其设在所述可移动底座17,其连接所述深度摄像头18和激光雷达16以基于所述深度图像和地图规划移动路径。
所述的可移动的家居服务机器人的优选实施例中,还包括第二控制板2,其设在所述可移动底座17,其连接所述第一舵机、第二舵机和机械手驱动电机8,以基于所述移动路径发送控制指令到第一舵机和第二舵机以移动可移动底座17和机械臂6,并致动机械手执行抓取。
所述的可移动的家居服务机器人的优选实施例中,还包括第三控制板3,其设在所述可移动底座17,其包括,
语音识别模块,其串口通信所述第一控制板1,
温度传感器,其实时监测环境温度。
所述的可移动的家居服务机器人的优选实施例中,所述第二控制板2包括,
ROI抓取计算模块,其基于所述深度图像中待抓取区域生成ROI特征,
ROI抓取检测器,其基于ROI特征构建抓取数据集,
第二控制板2基于抓取数据集和/或控制指令致动机械手执行抓取。
进一步地,ROI抓取计算模块包括基于感兴趣区域(ROI)的机器人抓取检测算法ROI-GD。ROI-GD使用ROI中的特征来检测抓取,而不是整个场景。它分为两个阶段:第一阶段是在输入图像中提供ROI,第二阶段是基于ROI特征的抓取检测器。通过标注视觉操作关系数据集,构建一个multi-object抓取数据集,测试结果表明,ROI-GD算法在对象重叠场景中有较好的表现。ROI-GD可以帮助机器人在单目标场景和多目标场景中抓取目标,总体成功率分别为92.5%和83.8%。
所述的可移动的家居服务机器人的优选实施例中,所述第二控制板2包括,
点云轮廓计算模块,其基于所述深度图像中待抓取区域生成点云特征,
第二控制板2基于点云特征和/或控制指令致动机械手执行抓取。
进一步地,点云轮廓计算模块用于机器人拾取和定位的新目标实时抓取姿态估计策略,在点云中估计目标轮廓,并在图像平面上预测抓取姿态和目标骨架该策略对复杂形状物体的抓取效果良好,物体被清晰地放置和物体被放置在密集的杂波中,均可以被预测出有效的抓取配置,抓取准确率分别为88.16%和77.03%。
在一个实施例,还包括视觉导航模块Visual SLAM以建图与导航。视觉导航模块首先通过相机获取环境中的数据信息,在前端视觉里程计中通过这些图像信息利用特征点法计算出相机的位姿。同时进行闭环检测,判断机器人是否到达先前经过的地方。然后利用后端非线性优化,对相机位姿和路标点构建最小二乘问题,并利用图优化的方法求解,得到全局最优的状态。最后根据每一时刻的相机位姿和空间中目标的信息,根据需求建立相应的地图。进一步地,通过视觉导航模块Visum SLAM和激光雷达优化建立的地图。
在一个实施例,机械臂6为六轴机械臂6,采取交流电和电池相结合的动力源,对机械臂6进行提高静态刚度和提高前三阶固有频率的多目标拓扑优化,最后根据拉格朗日方程建立动力学方程,并利用推导得结论方程,对机械臂6末端的运动进行动力学分析。实现机械臂6的路径规划中,搭建基于ROS平台的机械臂6仿真平台,通过SoildWorks实现了简化后机械臂6三维模型的文件代码转换,生成可用于ROS系统的urdf文件进行利用urdf文件完成了六自由度机械臂6的文件建模,并在Rviz上进行了三维实时仿真模拟。通过工具包MoveIt!对机械臂6各关节进行属性设置,完成路径规划工具包配置,路径规划中选择经典改进的RRT算法实现机械臂6的实时避障功能。
一种基于所述的可移动的家居服务机器人的工作方法包括以下步骤,
扫描地形以建立地图,
深度摄像头18实时识别待取物品以生成深度图像,
响应于指令,基于所述深度图像和地图规划移动路径,
基于所述移动路径移动可移动底座17和机械臂6,并致动机械手执行抓取,其中,
机械手驱动电机8致动丝杠9使得机械手手掌向远离机械手驱动电机8的方向运动,第一连杆对相对机械手手掌作逆时针转动,使三角推杆对相对导轨支架11作顺时针转动,推动第一连杆、第二连杆对、第三连杆对、第二连杆、指腹、指尖向机械手手掌方向内收以执行抓取。
所述的可移动的家居服务机器人的工作方法中,所述指令包括语音信号,所述指令为整理指令、巡航指令或跟随指令,
响应于整理指令,深度摄像头18拍摄待整理物品和对应收纳箱的深度图像,基于所述深度图像和地图规划移动路径,
响应于巡航指令,基于所述深度图像和地图规划巡航路线,基于巡航路线生成移动路径,
响应于跟随指令,深度摄像头18识别被跟随者后,规划移动路径和移动速度。
优选地,所述的可移动的家居服务机器人的工作方法具有4个工作模式。
第一个工作模式是取物模式。主人通过语音唤醒,连接在第三控制板3上的语音识别模块即可将语音转化为标志位信息,通过串口通信传到上位机的第一控制板1。第一控制板1为主控板,加载运行了ROS机器人操作系统,在接收语音标志位后可以再次通过串口通信将控制指令发送给第二控制板2以控制机械臂舵机和底盘舵机运动。小车在接收语音信息后开始由激光雷达16建立的地图进行自动巡航寻找待取物品,同时深度摄像头18连接第一控制板1,实时识别待取物品,识别到之后进行坐标转化关系,并由第一控制板1发送控制指令给第二控制板2驱动底盘舵机运动至物品跟前,闭关控制机械臂舵机完成抓取动作。最后,由激光雷达16以及导航算法回到主人身边,接收语音指令后机械臂伸出并将物品递给主人。
第二个工作模式是整理模式。该模式与模式一类似,只是需要识别的物品种类更多,且经相同的巡航寻物抓取后需要根据当前物品具体类别导航至不同种类收纳箱跟前,再自动放置物品。该模式为全自动,只需主人的一句语音整理信号机器人即可完成全部整理分类收纳工作,最后回到起始位置。
第三个工作模式是巡航模式。该模式适用于主人离家后需要实时监控家庭的场景。现阶段该产品由主人语音唤醒,可以经由激光雷达16结合第一控制板1和第二控制板2进行循环巡航,同时摄像头18实时识别是否有陌生人闯入,连接在控制板3上的温度传感器可以实时监测环境温度,实时显示在屏幕上,模拟火情报警功能。
第四个工作模式是跟随模式。同样也是语音唤醒,第一控制板1接收该标志位信息后驱动摄像头18实时识别主人,并通过与模式一和模式二类似的算法自动跟随主人,等待接收下一步的指令。
工业实用性
本发明所述的可移动的家居服务机器人及方法可以在机器人制造并使用。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种可移动的家居服务机器人,其包括,
可移动底座,其包括移动轮和用于控制移动方向的第一舵机,
机械臂,其可转动地连接所述可移动底座,所述机械臂包括机械手和控制机械臂运动的第二舵机,所述机械手包括,
机械手驱动电机,
深度摄像头,其固定于所述机械手驱动电机,所述深度摄像头实时识别待取物品以生成深度图像,
导轨支架,其安装于所述机械手驱动电机,
丝杠,其经由第一丝杠螺母安装于所述机械手驱动电机,
机械手手掌,其经由第二丝杠螺母连接丝杠以在丝杠致动下沿着导轨支架滑动,
至少两个机械手指,其分别铰接于所述机械手手掌,且相对于所述机械手手掌对称布置,所述机械手指包括,
第一连杆对,其一端铰接所述机械手手掌,
三角推杆对,其为钝角三角形结构,其钝角处与导轨支架以及第二连杆对形成复合铰链铰接,钝角处的长边末端处铰接所述第一连杆对的另一端,短边末端处与第一连杆一端铰接,
第二连杆,其为具有锐角且锐角两边不相等的杆件,其锐角处铰接第一连杆另一端,锐角处的短边末端处与第二连杆对构成复合铰链铰接,锐角处的长边末端处与指尖128铰接,
第二连杆对,其为具有钝角弯曲且钝角两边长度不相等的杆件,钝角处的长边末端处与导轨支架以及三角推杆对构成复合铰链铰接,钝角处的短边末端处铰链铰接第三连杆对,钝角处与第二连杆构成复合铰链铰接,
指腹,其固定夹紧于第二连杆对之间,
第三连杆对,其一端铰接第二连杆对,
指尖,其根部分别铰接第三连杆对的另一端以及第二连杆构成复合铰链铰接,
当机械手驱动电机致动丝杠使得机械手手掌向远离机械手驱动电机的方向运动,第一连杆对相对机械手手掌作逆时针转动,从而使三角推杆对相对导轨支架作顺时针转动,推动第一连杆、第二连杆对、第三连杆对、第二连杆、指腹和指尖向机械手手掌方向内收。
2.如权利要求1所述的可移动的家居服务机器人,其中,优选的,第二连杆、指尖向内收的角度大于第二连杆对、第二指腹向内收的角度,所述深度摄像头包括用于视觉识别的识别单元。
3.如权利要求1所述的可移动的家居服务机器人,其中,机械臂包括,
第一臂,其可转动连接于可移动底座,
第二臂,其可转动连接所述第一臂,所述机械手可转动连接所述第二臂。
4.如权利要求1所述的可移动的家居服务机器人,其中,还包括,
激光雷达,其扫描地形建立地图,
第一控制板,其设在所述可移动底座,其连接所述深度摄像头和激光雷达以基于所述深度图像和地图规划移动路径。
5.如权利要求4所述的可移动的家居服务机器人,其中,还包括第二控制板,其设在所述可移动底座,其连接所述第一舵机、第二舵机和机械手驱动电机,以基于所述移动路径发送控制指令到第一舵机和第二舵机以移动可移动底座和机械臂,并致动机械手执行抓取。
6.如权利要求4所述的可移动的家居服务机器人,其中,还包括第三控制板,其设在所述可移动底座,其包括,
语音识别模块,其串口通信所述第一控制板,
温度传感器,其实时监测环境温度。
7.如权利要求5所述的可移动的家居服务机器人,其中,所述第二控制板包括,
ROI抓取计算模块,其基于所述深度图像中待抓取区域生成ROI特征,
ROI抓取检测器,其基于ROI特征构建抓取数据集,
第二控制板基于抓取数据集和/或控制指令致动机械手执行抓取。
8.如权利要求5所述的可移动的家居服务机器人,其中,所述第二控制板包括,
点云轮廓计算模块,其基于所述深度图像中待抓取区域生成点云特征,
第二控制板基于点云特征和/或控制指令致动机械手执行抓取。
9.一种基于权利要求1-8中任一项所述的可移动的家居服务机器人的工作方法,其包括以下步骤,
扫描地形以建立地图,
深度摄像头实时识别待取物品以生成深度图像,
响应于指令,基于所述深度图像和地图规划移动路径,
基于所述移动路径移动可移动底座和机械臂,并致动机械手执行抓取,其中,
机械手驱动电机致动丝杠使得机械手手掌向远离机械手驱动电机的方向运动,第一连杆对相对机械手手掌作逆时针转动,使三角推杆对相对导轨支架作顺时针转动,推动第一连杆、第二连杆对、第三连杆对、第二连杆、指腹、指尖向机械手手掌方向内收以执行抓取。
10.如权利要求9所述的工作方法,其中,所述指令包括语音信号,所述指令为整理指令、巡航指令或跟随指令,
响应于整理指令,深度摄像头拍摄待整理物品和对应收纳箱的深度图像,基于所述深度图像和地图规划移动路径,
响应于巡航指令,基于所述深度图像和地图规划巡航路线,基于巡航路线生成移动路径,
响应于跟随指令,深度摄像头识别被跟随者后,规划移动路径和移动速度。
CN202010965349.4A 2020-09-15 2020-09-15 可移动的家居服务机器人及方法 Pending CN112207839A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010965349.4A CN112207839A (zh) 2020-09-15 2020-09-15 可移动的家居服务机器人及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010965349.4A CN112207839A (zh) 2020-09-15 2020-09-15 可移动的家居服务机器人及方法

Publications (1)

Publication Number Publication Date
CN112207839A true CN112207839A (zh) 2021-01-12

Family

ID=74050627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010965349.4A Pending CN112207839A (zh) 2020-09-15 2020-09-15 可移动的家居服务机器人及方法

Country Status (1)

Country Link
CN (1) CN112207839A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031002A (zh) * 2021-02-25 2021-06-25 桂林航天工业学院 基于Kinect3和激光雷达的SLAM陪跑小车
CN113601504A (zh) * 2021-08-04 2021-11-05 之江实验室 机器人肢体动作的控制方法及装置、电子设备、存储介质
CN114227620A (zh) * 2021-11-26 2022-03-25 燕山大学 用于工件对接的六自由度末端安装装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105729468A (zh) * 2016-01-27 2016-07-06 浙江大学 一种基于多深度摄像机增强的机器人工作台
US20170361461A1 (en) * 2016-06-16 2017-12-21 General Electric Company System and method for controlling robotic machine assemblies to perform tasks on vehicles
US20180236666A1 (en) * 2017-02-20 2018-08-23 Irobot Defense Holdings, Inc. Robotic gripper camera
US20190134821A1 (en) * 2015-05-01 2019-05-09 Ge Global Sourcing Llc Integrated robotic system and method for autonomous vehicle maintenance
CN109807915A (zh) * 2019-01-29 2019-05-28 东北大学 一种基于变胞原理的可变刚度的欠驱动仿生机械手
CN110977921A (zh) * 2019-10-17 2020-04-10 上海飒智智能科技有限公司 一种智能移动协作机器人
CN210850287U (zh) * 2019-09-04 2020-06-26 聊城大学 一种家居智能取物机器人

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190134821A1 (en) * 2015-05-01 2019-05-09 Ge Global Sourcing Llc Integrated robotic system and method for autonomous vehicle maintenance
CN105729468A (zh) * 2016-01-27 2016-07-06 浙江大学 一种基于多深度摄像机增强的机器人工作台
US20170361461A1 (en) * 2016-06-16 2017-12-21 General Electric Company System and method for controlling robotic machine assemblies to perform tasks on vehicles
US20180236666A1 (en) * 2017-02-20 2018-08-23 Irobot Defense Holdings, Inc. Robotic gripper camera
CN109807915A (zh) * 2019-01-29 2019-05-28 东北大学 一种基于变胞原理的可变刚度的欠驱动仿生机械手
CN210850287U (zh) * 2019-09-04 2020-06-26 聊城大学 一种家居智能取物机器人
CN110977921A (zh) * 2019-10-17 2020-04-10 上海飒智智能科技有限公司 一种智能移动协作机器人

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
R.帕特里克•戈贝尔: "《ROS入门实例》", 31 January 2016 *
马超: "《Emgu CV学习与设计 农业篇》", 31 July 2019 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031002A (zh) * 2021-02-25 2021-06-25 桂林航天工业学院 基于Kinect3和激光雷达的SLAM陪跑小车
CN113031002B (zh) * 2021-02-25 2023-10-24 桂林航天工业学院 基于Kinect3和激光雷达的SLAM陪跑小车
CN113601504A (zh) * 2021-08-04 2021-11-05 之江实验室 机器人肢体动作的控制方法及装置、电子设备、存储介质
CN114227620A (zh) * 2021-11-26 2022-03-25 燕山大学 用于工件对接的六自由度末端安装装置
CN114227620B (zh) * 2021-11-26 2024-01-23 燕山大学 用于工件对接的六自由度末端安装装置

Similar Documents

Publication Publication Date Title
CN112207839A (zh) 可移动的家居服务机器人及方法
CN114080583B (zh) 视觉教导和重复移动操纵系统
Lippiello et al. Position-based visual servoing in industrial multirobot cells using a hybrid camera configuration
CN108838991A (zh) 一种自主类人双臂机器人及其对运动目标的跟踪操作系统
CN102848388A (zh) 基于多传感器的服务机器人定位和抓取方法
CN111085997A (zh) 基于点云获取和处理的抓取训练方法及系统
CN110604518A (zh) 扫地机器人及扫地机器人的控制方法
KR20230122118A (ko) 지도된 자율 파지
Leitner et al. Transferring spatial perception between robots operating in a shared workspace
Ardón et al. Reaching and grasping of objects by humanoid robots through visual servoing
CN116494201A (zh) 一种监控一体化的电力机房巡检机器人及无人巡检方法
Chang et al. Design of mobile garbage collection robot based on visual recognition
CN113681560B (zh) 基于视力融合的机械臂操作铰接物体的方法
CN116852352A (zh) 一种基于ArUco码的电力二次设备机械臂定位方法
Schnaubelt et al. Autonomous assistance for versatile grasping with rescue robots
Zhou et al. A cooperative shared control scheme based on intention recognition for flexible assembly manufacturing
Luo et al. Modular ROS based autonomous mobile industrial robot system for automated intelligent manufacturing applications
CN114888768A (zh) 一种基于多传感器融合的移动双工业机器人协同抓取系统及方法
CN114954723A (zh) 仿人机器人
Wang et al. Object Grabbing of Robotic Arm Based on OpenMV Module Positioning
Gietler et al. Forestry Crane Automation using Learning-based Visual Grasping Point Prediction
Xu et al. Vision-Based Intelligent Perceiving and Planning System of a 7-DoF Collaborative Robot
Blodow et al. Inferring generalized pick-and-place tasks from pointing gestures
Linghan et al. Dogget: A legged manipulation system in human environments
Tao et al. An improved RRT algorithm for the motion planning of robot manipulator picking up scattered piston

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210112

RJ01 Rejection of invention patent application after publication