CN107212976A - 一种物体抓取设备的物体抓取方法、装置及物体抓取设备 - Google Patents

一种物体抓取设备的物体抓取方法、装置及物体抓取设备 Download PDF

Info

Publication number
CN107212976A
CN107212976A CN201710318016.0A CN201710318016A CN107212976A CN 107212976 A CN107212976 A CN 107212976A CN 201710318016 A CN201710318016 A CN 201710318016A CN 107212976 A CN107212976 A CN 107212976A
Authority
CN
China
Prior art keywords
captured
mechanical arm
positional information
crawl
grasping body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710318016.0A
Other languages
English (en)
Other versions
CN107212976B (zh
Inventor
吴玉媚
王琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deep Technology (shenzhen) Co Ltd
Original Assignee
Deep Technology (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deep Technology (shenzhen) Co Ltd filed Critical Deep Technology (shenzhen) Co Ltd
Priority to CN201710318016.0A priority Critical patent/CN107212976B/zh
Publication of CN107212976A publication Critical patent/CN107212976A/zh
Application granted granted Critical
Publication of CN107212976B publication Critical patent/CN107212976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10Parts, details or accessories
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Manipulator (AREA)

Abstract

本发明适用计算机技术领域,提供了一种物体抓取设备的物体抓取方法、装置及物体抓取设备,该方法包括:通过物体抓取设备基座上的第一视觉传感器获取基座前方视场范围内物体的图像与位置信息,并向用户输出获取到的图像,接收用户输入的待抓取物体,获取待抓取物体的位置信息,根据待抓取物体的位置信息移动物体抓取设备上的机械臂,以使机械臂末端夹持器移动到待抓取物体的抓取范围内,当待抓取物体处于机械臂的可抓取视场范围内时,通过机械臂上的第二视觉传感器获取待抓取物体的图像和位置信息,根据第二视觉传感器获取到的位置信息移动机械臂,通过机械臂末端夹持器抓取待抓取物体,从而提高了通过机械臂抓取物体的准确性,进而提高抓取效率。

Description

一种物体抓取设备的物体抓取方法、装置及物体抓取设备
技术领域
本发明属于计算机技术领域,尤其涉及一种物体抓取设备的物体抓取方法、装置及物体抓取设备。
背景技术
现有的通过机械臂进行物体抓取的设备上通常只安装有一个视觉传感器。当视觉传感器安装在机械臂上时,视觉传感器获取物体在传感器坐标系下的坐标,然后机械臂根据物体的坐标进行下一步抓取动作,缺点是视场小,当物体不在传感器视场范围时无法定位物体。当视觉传感器安装在设备基座上的相对固定位置时,视觉传感器获取物体在传感器坐标系下的坐标,然后机械臂根据物体的坐标进行下一步抓取动作,缺点是当机械臂进行抓取时机械臂会遮挡传感器视场,若物体与传感器相对位置发生变化时无法快速准确地重新定位。
发明内容
本发明的目的在于提供一种物体抓取设备的物体抓取方法、装置及物体抓取设备,旨在解决现有技术难以快速准确地通过机械臂抓取物体,导致用户通过机械臂抓取物体的效率不高的问题。
一方面,本发明提供了一种物体抓取设备的物体抓取方法,所述方法包括下述步骤:
通过物体抓取设备基座上的第一视觉传感器获取所述基座前方视场范围内物体的图像与位置信息,并向用户输出所述获取到的图像;
接收所述用户输入的待抓取物体,获取所述待抓取物体的位置信息,根据所述待抓取物体的位置信息移动所述物体抓取设备上的机械臂,以使所述机械臂末端夹持器移动到所述待抓取物体的抓取范围内;
当所述待抓取物体处于所述机械臂的可抓取视场范围内时,通过所述机械臂上的第二视觉传感器获取所述待抓取物体的图像和位置信息;
根据所述第二视觉传感器获取到的位置信息移动所述机械臂,通过所述机械臂末端夹持器抓取所述待抓取物体。
另一方面,本发明提供了一种物体抓取设备的物体抓取装置,所述装置包括:
图像输出单元,用于通过物体抓取设备基座上的第一视觉传感器获取所述基座前方视场范围内物体的图像与位置信息,并向用户输出所述获取到的图像;
机械臂移动单元,用于接收所述用户输入的待抓取物体,获取所述待抓取物体的位置信息,根据所述待抓取物体的位置信息移动所述物体抓取设备上的机械臂,以使所述机械臂末端夹持器移动到所述待抓取物体的抓取范围内;
第一获取单元,用于当所述待抓取物体处于所述机械臂的可抓取视场范围内时,通过所述机械臂上的第二视觉传感器获取所述待抓取物体的图像和位置信息;以及
机械臂抓取单元,用于根据所述第二视觉传感器获取到的位置信息移动所述机械臂,通过所述机械臂末端夹持器抓取所述待抓取物体。
另一方面,本发明提供了一种物体抓取设备,所述物体抓取设备包括设置在物体抓取设备基座上的第一视觉传感器、控制器、机械臂、设置在机械臂上的第二视觉传感器,其中:
所述第一视觉传感器用于获取所述基座前方视场范围内物体的图像与位置信息;
所述控制器用于获取用户输入的待抓取物体的位置信息,根据所述待抓取物体的位置信息移动所述物体抓取设备上的机械臂,以使所述机械臂末端夹持器移动到所述待抓取物体的抓取范围内;
所述第二视觉传感器用于当所述待抓取物体处于所述机械臂的可抓取视场范围内时,获取所述待抓取物体的图像和位置信息;
所述机械臂用于根据所述第二视觉传感器获取到的位置信息抓取所述待抓取物体。
本发明通过物体抓取设备基座上的第一视觉传感器获取基座前方视场范围内物体的图像与位置信息,并向用户输出获取到的图像,接收用户输入的待抓取物体,获取待抓取物体的位置信息,根据待抓取物体的位置信息移动物体抓取设备上的机械臂,以使机械臂末端夹持器移动到待抓取物体的抓取范围内,当待抓取物体处于机械臂的可抓取视场范围内时,通过机械臂上的第二视觉传感器获取待抓取物体的图像和位置信息,根据第二视觉传感器获取到的位置信息移动机械臂,通过机械臂末端夹持器抓取待抓取物体,从而提高了通过机械臂抓取物体的准确性,进而提高抓取效率。
附图说明
图1是本发明实施例一提供的物体抓取设备的物体抓取方法的实现流程图;
图2是带有机械臂的轮椅的结构示意图;
图3是本发明实施例二提供的物体抓取设备的物体抓取方法的实现流程图;
图4是本发明实施例三提供的物体抓取设备的物体抓取装置的结构示意图;
图5是本发明实施例四提供的物体抓取设备的物体抓取装置的结构示意图;以及
图6是本发明实施例五提供的物体抓取设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述:
实施例一:
图1示出了本发明实施例一提供的物体抓取设备的物体抓取方法的实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S101中,通过物体抓取设备基座上的第一视觉传感器获取基座前方视场范围内物体的图像与位置信息,并向用户输出获取到的图像。
本发明实施例适用于设置有机械臂的物体抓取设备,尤其适用于可抓取物体的带机械臂轮椅。作为示例地,如图2所示,图中示出了带有机械臂的轮椅,其中,21表示轮椅的基座,22表示轮椅基座上的第一视觉传感器,该视觉传感器通过支架固定在基座上,23表示机械臂上的第二视觉传感器,24表示轮椅的机械臂。
在本发明实施例中,在物体抓取设备的基座上设置第一视觉传感器,在物体抓取设备的机械臂上设置第二视觉传感器,第一视觉传感器和第二视觉传感器为视觉深度传感器。当用户需要机械臂抓取物体时,通过第一视觉传感器获取基座前方视场范围内物体的图像与位置信息,以获取基座前方视场范围内物体的分布状况。
在本发明实施例中,在获取到基座前方视场范围内物体的图像与位置信息之后,向用户输出获取到的图像,以方便用户获取基座前方视场范围内物体的分布状况,从而方便用户根据需求从前方视场范围内的物体中选择待抓取物体。具体地,在向用户输出获取到的图像时,可以通过物体抓取设备自带的显示屏幕向用户输出,也可以通过与物体抓取设备连接的移动终端向用户输出,从而优化了向用户输出图像的过程。
在步骤S102中,接收用户输入的待抓取物体,获取待抓取物体的位置信息,根据待抓取物体的位置信息移动物体抓取设备上的机械臂,以使机械臂末端夹持器移动到待抓取物体的抓取范围内。
在本发明实施例中,在用户选择了待抓取物体之后,根据用户输入的待抓取物体,获取第一视觉传感器提供的待抓取物体的位置信息,根据第一视觉传感器提供的待抓取物体的位置信息移动机械臂,以使机械臂末端夹持器移动到待抓取物体的抓取范围内,从而方便机械臂末端的夹持器抓取用户需要的物体。
在步骤S103中,当待抓取物体处于机械臂的可抓取视场范围内时,通过机械臂上的第二视觉传感器获取待抓取物体的图像和位置信息。
在本发明实施例中,通过第二视觉传感器判断待抓取物体是否处于可抓取视场范围内,如果待抓取物体处于机械臂的可抓取视场范围内,则通过第二视觉传感器获取待抓取物体的图像和位置信息,以得到待抓取物体的当前位置,从而提高抓取物体的准确性。优选地,在第二视觉传感器获取到待抓取物体的图像后,将获取到的图像向用户输出,以确认抓取物体,进而提高抓取物体的准确性。
在步骤S104中,根据第二视觉传感器获取到的位置信息移动机械臂,通过机械臂末端夹持器抓取待抓取物体。
在本发明实施例中,在第二视觉传感器获取到待抓取物体的位置后,根据待抓取物体的位置移动机械臂,以通过机械臂末端夹持器抓取待抓取物体,从而提高通过机械臂抓取物体的效率。
实施例二:
图3示出了本发明实施例二提供的物体抓取设备的物体抓取方法的实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S301中,通过物体抓取设备基座上的第一视觉传感器获取基座前方视场范围内物体的图像以及物体在基座坐标系中的位置坐标。
本发明实施例适用于设置有机械臂的物体抓取设备,尤其适用于可抓取物体的带机械臂轮椅。在本发明实施例中,在物体抓取设备的基座上设置第一视觉传感器,在物体抓取设备的机械臂上设置第二视觉传感器,第一视觉传感器和第二视觉传感器为视觉深度传感器。为了对物体抓取设备基座前方视场范围内的物体进行定位,根据基座的位置建立基座坐标系,然后通过第一视觉传感器获取前方视场范围内物体的图像以及对应的物体在基座坐标系中的位置坐标,以准确获取基座前方视场范围内物体的分布状况。
在步骤S302中,接收用户输入的待抓取物体,根据待抓取物体在基座坐标系中的位置坐标和基座坐标系与机械臂坐标系之间的转换关系,计算待抓取物体在机械臂坐标系中的位置坐标。
在本发明实施例中,根据机械臂的位置建立了机械臂坐标系,基座坐标系与机械臂坐标系之间有预先确定的转换关系,在接收到用户输入的待抓取物体之后,获取第一视觉传感器提供的待抓取物体在基座坐标系中的位置信息,根据坐标系之间预先确定的转换关系,计算待抓取物体在机械臂坐标系中的位置坐标,从而方便后续的之前动作的进行。
在步骤S303中,在机械臂坐标系中根据待抓取物体的位置坐标,生成机械臂的运动规划路线,以使机械臂末端夹持器移动到待抓取物体的抓取范围内。
在步骤S304中,判断待抓取物体是否处于可抓取视场范围内,是则执行步骤S306,否则执行步骤S305。
在步骤S305中,当待抓取物体不处于机械臂的可抓取视场范围内时,在预设范围内调节机械臂上的第二视觉传感器的视角。
在本发明实施例中,如果待抓取物体不处于机械臂的可抓取视场范围内,则说明待抓取物体可能超出了机械臂的抓取范围,因此,在预设范围内调节第二视觉传感器的视角,以在第二视觉传感器周围寻找待抓取物体,从而实现运动物体的快速定位。
优选地,通过运动传感器获取待抓取物体的运动参数,根据待抓取物体的运动参数在预设范围内调节第二视觉传感器的视角,从而提高对运动物体定位的准确性。
优选地,如果第二视觉传感器的视角调节不到可抓取待抓取物体的视角范围内时,向用户输出提示信息,以提醒用户重新输入待抓取物体。
在步骤S306中,当待抓取物体处于机械臂的可抓取视场范围内时,通过机械臂上的第二视觉传感器获取待抓取物体的图像和位置信息。
在本发明实施例中,如果待抓取物体处于机械臂的可抓取视场范围内,则通过第二视觉传感器获取待抓取物体的图像和位置信息,以得到待抓取物体的当前位置,从而提高抓取物体的准确性。优选地,在第二视觉传感器获取到待抓取物体的图像后,将获取到的图像向用户输出,以确认抓取物体,进而提高抓取物体的准确性。
在步骤S307中,根据第二视觉传感器获取到的位置信息移动机械臂,通过机械臂末端夹持器抓取待抓取物体。
在本发明实施例中,在第二视觉传感器获取到待抓取物体的位置后,根据待抓取物体的位置移动机械臂,以通过机械臂末端夹持器抓取待抓取物体,从而提高通过机械臂抓取物体的效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘、光盘等。
实施例三:
图4示出了本发明实施例三提供的物体抓取设备的物体抓取装置的结构,为了便于说明,仅示出了与本发明实施例相关的部分,其中包括:
图像输出单元41,用于通过物体抓取设备基座上的第一视觉传感器获取基座前方视场范围内物体的图像与位置信息,并向用户输出获取到的图像。
在本发明实施例中,在物体抓取设备的基座上设置第一视觉传感器,在物体抓取设备的机械臂上设置第二视觉传感器,第一视觉传感器和第二视觉传感器为视觉深度传感器。当用户需要机械臂抓取物体时,第一获取单元通过第一视觉传感器获取基座前方视场范围内物体的图像与位置信息,以获取基座前方视场范围内物体的分布状况。
在本发明实施例中,在获取到基座前方视场范围内物体的图像与位置信息之后,图像输出单元向用户输出获取到的图像,以方便用户获取基座前方视场范围内物体的分布状况,从而方便用户根据需求从前方视场范围内的物体中选择待抓取物体。具体地,在向用户输出获取到的图像时,可以通过物体抓取设备自带的显示屏幕向用户输出,也可以通过与物体抓取设备连接的移动终端向用户输出,从而优化了向用户输出图像的过程。
机械臂移动单元42,用于接收用户输入的待抓取物体,获取待抓取物体的位置信息,根据待抓取物体的位置信息移动物体抓取设备上的机械臂,以使机械臂末端夹持器移动到待抓取物体的抓取范围内。
在本发明实施例中,在用户选择了待抓取物体之后,机械臂移动单元根据用户输入的待抓取物体,获取第一视觉传感器提供的待抓取物体的位置信息,根据第一视觉传感器提供的待抓取物体的位置信息移动机械臂,以使机械臂末端夹持器移动到待抓取物体的抓取范围内,从而方便机械臂末端的夹持器抓取用户需要的物体。
第一获取单元43,用于当待抓取物体处于机械臂的可抓取视场范围内时,通过机械臂上的第二视觉传感器获取待抓取物体的图像和位置信息。
在本发明实施例中,通过第二视觉传感器判断待抓取物体是否处于可抓取视场范围内,如果待抓取物体处于机械臂的可抓取视场范围内,则第一获取单元通过第二视觉传感器获取待抓取物体的图像和位置信息,以得到待抓取物体的当前位置,从而提高抓取物体的准确性。
机械臂抓取单元44,用于根据第二视觉传感器获取到的位置信息移动机械臂,通过机械臂末端夹持器抓取待抓取物体。
在本发明实施例中,图像输出单元通过物体抓取设备基座上的第一视觉传感器获取基座前方视场范围内物体的图像与位置信息,并向用户输出获取到的图像,机械臂移动单元接收用户输入的待抓取物体,获取待抓取物体的位置信息,根据待抓取物体的位置信息移动物体抓取设备上的机械臂,以使机械臂末端夹持器移动到待抓取物体的抓取范围内,当待抓取物体处于机械臂的可抓取视场范围内时,第一获取单元通过第二视觉传感器获取待抓取物体的图像和位置信息,机械臂抓取单元根据第二视觉传感器获取到的位置信息移动机械臂,通过机械臂末端夹持器抓取待抓取物体,从而提高了通过机械臂抓取物体的准确性,进而提高抓取效率。
在本发明实施例中,物体抓取设备的物体抓取装置的各单元可由相应的硬件或软件单元实现,各单元可以为独立的软、硬件单元,也可以集成为一个软、硬件单元,在此不用以限制本发明。
实施例四:
图5示出了本发明实施例四提供的物体抓取设备的物体抓取装置的结构,为了便于说明,仅示出了与本发明实施例相关的部分,其中包括:
图像输出单元51,用于通过物体抓取设备基座上的第一视觉传感器获取基座前方视场范围内物体的图像与位置信息,并向用户输出获取到的图像。
在本发明实施例中,在物体抓取设备的基座上设置第一视觉传感器,在物体抓取设备的机械臂上设置第二视觉传感器,第一视觉传感器和第二视觉传感器为视觉深度传感器。为了对物体抓取设备基座前方视场范围内的物体进行定位,第一获取单元根据基座的位置建立基座坐标系,然后通过第一视觉传感器获取前方视场范围内物体的图像以及对应的物体在基座坐标系中的位置坐标,以准确获取基座前方视场范围内物体的分布状况。
机械臂移动单元52,用于接收用户输入的待抓取物体,获取待抓取物体的位置信息,根据待抓取物体的位置信息移动物体抓取设备上的机械臂,以使机械臂末端夹持器移动到待抓取物体的抓取范围内。
在本发明实施例中,机械臂移动单元根据待抓取物体的位置信息移动机械臂。优选地,在本发明实施例中,根据机械臂的位置建立了机械臂坐标系,基座坐标系与机械臂坐标系之间有预先确定的转换关系,在接收到用户输入的待抓取物体之后,获取第一视觉传感器提供的待抓取物体在基座坐标系中的位置信息,根据坐标系之间预先确定的转换关系,计算待抓取物体在机械臂坐标系中的位置坐标,从而方便后续的之前动作的进行,然后在机械臂坐标系中根据待抓取物体的位置坐标,生成机械臂的运动规划路线,以使机械臂末端夹持器移动到待抓取物体的抓取范围内,从而提高对待抓取物体定位的准确性。
视角调节单元53,用于当待抓取物体不处于机械臂的可抓取视场范围内时,在预设范围内调节机械臂上的第二视觉传感器的视角。
在本发明实施例中,如果待抓取物体不处于机械臂的可抓取视场范围内,则说明待抓取物体可能超出了机械臂的抓取范围,因此,视角调节单元在预设范围内调节第二视觉传感器的视角,以在第二视觉传感器周围寻找待抓取物体,从而实现运动物体的快速定位。
优选地,通过运动传感器获取待抓取物体的运动参数,根据待抓取物体的运动参数在预设范围内调节第二视觉传感器的视角,从而提高对运动物体定位的准确性。
用户提示单元54,用于当第二视觉传感器的视角调节不到可抓取待抓取物体的视角范围内时,向用户输出提示信息,以提醒用户重新输入待抓取物体。
第一获取单元55,用于当待抓取物体处于机械臂的可抓取视场范围内时,通过机械臂上的第二视觉传感器获取待抓取物体的图像和位置信息。
在本发明实施例中,如果待抓取物体处于机械臂的可抓取视场范围内,则第一获取单元通过第二视觉传感器获取待抓取物体的图像和位置信息,以得到待抓取物体的当前位置,从而提高抓取物体的准确性。
机械臂抓取单元56,用于根据第二视觉传感器获取到的位置信息移动机械臂,通过机械臂末端夹持器抓取待抓取物体。
在本发明实施例中,在第二视觉传感器获取到待抓取物体的位置后,机械臂抓取单元根据待抓取物体的位置移动机械臂,以通过机械臂末端夹持器抓取待抓取物体,从而提高通过机械臂抓取物体的效率。
因此,优选地,该图像输出单元51包括:
第二获取单元511,用于通过基座上的第一视觉传感器获取前方视场范围内物体的图像与物体在基座坐标系中的位置坐标;
优选地,该机械臂移动单元52包括:
坐标转换单元521,用于接收用户输入的待抓取物体,根据待抓取物体在基座坐标系中的位置坐标和基座坐标系与机械臂坐标系之间的转换关系,得到待抓取物体在机械臂坐标系中的位置坐标;以及
规划移动单元522,用于在机械臂坐标系中根据待抓取物体的位置坐标,生成机械臂的运动规划路线,以使机械臂末端夹持器移动到待抓取物体的抓取范围内。
在本发明实施例中,物体抓取设备的物体抓取装置的各单元可由相应的硬件或软件单元实现,各单元可以为独立的软、硬件单元,也可以集成为一个软、硬件单元,在此不用以限制本发明。
实施例五:
图6示出了本发明实施例五提供的物体抓取设备的结构,为了便于说明,仅示出了与本发明实施例相关的部分。
在本发明实施例中,提供了一种物体抓取设备6,该物体抓取设备6包括设置在基座上的第一视觉传感器61、控制器62、设置在机械臂上的第二视觉传感器63、机械臂64,其中:
该第一视觉传感器61用于获取基座前方视场范围内物体的图像与位置信息。
在本发明实施例中,在获取到基座前方视场范围内物体的图像与位置信息之后,向用户输出获取到的图像,以方便用户获取基座前方视场范围内物体的分布状况,从而方便用户根据需求从前方视场范围内的物体中选择待抓取物体。具体地,在向用户输出获取到的图像时,可以通过物体抓取设备自带的显示屏幕向用户输出,也可以通过与物体抓取设备连接的移动终端向用户输出,从而优化了向用户输出图像的过程。
该控制器62用于获取用户输入的待抓取物体的位置信息,根据待抓取物体的位置信息移动物体抓取设备上的机械臂64,以使机械臂64末端夹持器移动到待抓取物体的抓取范围内。
在本发明实施例中,为了对物体抓取设备基座前方视场范围内的物体进行定位,根据基座的位置建立基座坐标系,然后通过第一视觉传感器获取前方视场范围内物体的图像以及对应的物体在基座坐标系中的位置坐标,以准确获取基座前方视场范围内物体的分布状况。
在本发明实施例中,根据机械臂的位置建立了机械臂坐标系,基座坐标系与机械臂坐标系之间有预先确定的转换关系,在接收到用户输入的待抓取物体之后,获取第一视觉传感器提供的待抓取物体在基座坐标系中的位置信息,根据坐标系之间预先确定的转换关系,计算待抓取物体在机械臂坐标系中的位置坐标,从而方便后续的之前动作的进行,然后在机械臂坐标系中根据待抓取物体的位置坐标,生成机械臂的运动规划路线,以使机械臂末端夹持器移动到待抓取物体的抓取范围内。
该第二视觉传感器63用于当待抓取物体处于机械臂64的可抓取视场范围内时,获取待抓取物体的图像和位置信息。
在本发明实施例中,如果待抓取物体不处于机械臂的可抓取视场范围内,则说明待抓取物体可能超出了机械臂的抓取范围,因此,在预设范围内调节第二视觉传感器的视角,以在第二视觉传感器周围寻找待抓取物体,从而实现运动物体的快速定位。如果待抓取物体处于机械臂的可抓取视场范围内,则通过第二视觉传感器获取待抓取物体的图像和位置信息,以得到待抓取物体的当前位置,从而提高抓取物体的准确性。
该机械臂64用于根据第二视觉传感器63获取到的位置信息抓取待抓取物体。
在本发明实施例中,在第二视觉传感器获取到待抓取物体的位置后,根据待抓取物体的位置移动机械臂,以通过机械臂末端夹持器抓取待抓取物体,从而提高通过机械臂抓取物体的效率。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种物体抓取设备的物体抓取方法,其特征在于,所述方法包括下述步骤:
通过物体抓取设备基座上的第一视觉传感器获取所述基座前方视场范围内物体的图像与位置信息,并向用户输出所述获取到的图像;
接收所述用户输入的待抓取物体,获取所述待抓取物体的位置信息,根据所述待抓取物体的位置信息移动所述物体抓取设备上的机械臂,以使所述机械臂末端夹持器移动到所述待抓取物体的抓取范围内;
当所述待抓取物体处于所述机械臂的可抓取视场范围内时,通过所述机械臂上的第二视觉传感器获取所述待抓取物体的图像和位置信息;
根据所述第二视觉传感器获取到的位置信息移动所述机械臂,通过所述机械臂末端夹持器抓取所述待抓取物体。
2.如权利要求1所述的方法,其特征在于,根据所述待抓取物体的位置信息移动所述物体抓取设备上的机械臂的步骤之后,通过所述第二视觉传感器获取所述待抓取物体的图像和位置信息的步骤之前,所述方法还包括:
当所述待抓取物体不处于所述机械臂的可抓取视场范围内时,在预设范围内调节所述第二视觉传感器的视角。
3.如权利要求2所述的方法,其特征在于,在预设范围内调节所述第二视觉传感器的视角的步骤之后,所述方法还包括:
当所述第二视觉传感器的视角调节不到可抓取所述待抓取物体的视角范围内时,向所述用户输出提示信息,以提醒所述用户重新输入所述待抓取物体。
4.如权利要求1所述的方法,其特征在于,通过物体抓取设备基座上的第一视觉传感器获取所述基座前方视场范围内物体的图像与位置信息的步骤,包括:
通过所述第一视觉传感器获取所述基座前方视场范围内物体的图像以及所述物体在基座坐标系中的位置坐标。
5.如权利要求4所述的方法,其特征在于,接收所述用户输入的待抓取物体,获取所述待抓取物体的位置信息,根据所述待抓取物体的位置信息移动所述物体抓取设备上的机械臂,以使所述机械臂末端夹持器移动到所述待抓取物体的抓取范围内的步骤,包括:
接收所述用户输入的待抓取物体,根据所述待抓取物体在所述基座坐标系中的位置坐标和所述基座坐标系与机械臂坐标系之间的转换关系,计算所述待抓取物体在所述机械臂坐标系中的位置坐标;
在所述机械臂坐标系中根据所述待抓取物体的位置坐标,生成所述机械臂的运动规划路线,以使所述机械臂末端夹持器移动到所述待抓取物体的抓取范围内。
6.一种物体抓取设备的物体抓取装置,其特征在于,所述装置包括:
图像输出单元,用于通过物体抓取设备基座上的第一视觉传感器获取所述基座前方视场范围内物体的图像与位置信息,并向用户输出所述获取到的图像;
机械臂移动单元,用于接收所述用户输入的待抓取物体,获取所述待抓取物体的位置信息,根据所述待抓取物体的位置信息移动所述物体抓取设备上的机械臂,以使所述机械臂末端夹持器移动到所述待抓取物体的抓取范围内;
第一获取单元,用于当所述待抓取物体处于所述机械臂的可抓取视场范围内时,通过所述机械臂上的第二视觉传感器获取所述待抓取物体的图像和位置信息;以及
机械臂抓取单元,用于根据所述第二视觉传感器获取到的位置信息移动所述机械臂,通过所述机械臂末端夹持器抓取所述待抓取物体。
7.如权利要求6所述的装置,其特征在于,所述装置还包括:
视角调节单元,用于当所述待抓取物体不处于所述机械臂的可抓取视场范围内时,在预设范围内调节所述第二视觉传感器的视角。
8.如权利要求7所述的装置,其特征在于,所述装置还包括:
用户提示单元,用于当所述第二视觉传感器的视角调节不到可抓取所述待抓取物体的视角范围内时,向所述用户输出提示信息,以提醒所述用户重新输入所述待抓取物体。
9.如权利要求6所述的装置,其特征在于,所述图像输出单元包括:
第二获取单元,用于通过所述第一视觉传感器获取所述基座前方视场范围内物体的图像以及所述物体在基座坐标系中的位置坐标。
10.如权利要求9所述的装置,其特征在于,所述机械臂移动单元包括:
坐标转换单元,用于接收所述用户输入的待抓取物体,根据所述待抓取物体在所述基座坐标系中的位置坐标和所述基座坐标系与机械臂坐标系之间的转换关系,得到所述待抓取物体在所述机械臂坐标系中的位置坐标;以及
规划移动单元,用于在所述机械臂坐标系中根据所述待抓取物体的位置坐标,生成所述机械臂的运动规划路线,以使所述机械臂末端夹持器移动到所述待抓取物体的抓取范围内。
11.一种物体抓取设备,其特征在于,所述物体抓取设备包括设置在物体抓取设备基座上的第一视觉传感器、控制器、机械臂、设置在机械臂上的第二视觉传感器,其中:
所述第一视觉传感器用于获取所述基座前方视场范围内物体的图像与位置信息;
所述控制器用于获取用户输入的待抓取物体的位置信息,根据所述待抓取物体的位置信息移动所述物体抓取设备上的机械臂,以使所述机械臂末端夹持器移动到所述待抓取物体的抓取范围内;
所述第二视觉传感器用于当所述待抓取物体处于所述机械臂的可抓取视场范围内时,获取所述待抓取物体的图像和位置信息;
所述机械臂用于根据所述第二视觉传感器获取到的位置信息抓取所述待抓取物体。
CN201710318016.0A 2017-05-08 2017-05-08 一种物体抓取设备的物体抓取方法、装置及物体抓取设备 Active CN107212976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710318016.0A CN107212976B (zh) 2017-05-08 2017-05-08 一种物体抓取设备的物体抓取方法、装置及物体抓取设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710318016.0A CN107212976B (zh) 2017-05-08 2017-05-08 一种物体抓取设备的物体抓取方法、装置及物体抓取设备

Publications (2)

Publication Number Publication Date
CN107212976A true CN107212976A (zh) 2017-09-29
CN107212976B CN107212976B (zh) 2018-12-14

Family

ID=59943948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710318016.0A Active CN107212976B (zh) 2017-05-08 2017-05-08 一种物体抓取设备的物体抓取方法、装置及物体抓取设备

Country Status (1)

Country Link
CN (1) CN107212976B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109648562A (zh) * 2018-12-29 2019-04-19 深圳蓝胖子机器人有限公司 箱体抓取控制方法、箱体放置控制方法、相关装置及系统
CN109895095A (zh) * 2019-02-11 2019-06-18 赋之科技(深圳)有限公司 一种训练样本的获取方法、装置和机器人
CN111015662A (zh) * 2019-12-25 2020-04-17 深圳蓝胖子机器人有限公司 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备
CN111283689A (zh) * 2020-03-26 2020-06-16 长春大学 一种辅助肢体功能障碍者运动的装置及控制方法
CN113825598A (zh) * 2019-04-16 2021-12-21 Abb瑞士股份有限公司 物体抓取系统和方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201135561Y (zh) * 2007-12-26 2008-10-22 上海电气集团股份有限公司 一种用于助残轮椅的机械臂
CN101774170A (zh) * 2010-01-29 2010-07-14 华北电力大学 核电站作业机器人及其控制系统
CN102165880A (zh) * 2011-01-19 2011-08-31 南京农业大学 一种自主导航的履带式移动水果采摘机器人及水果采摘方法
WO2013025978A2 (en) * 2011-08-17 2013-02-21 Harris Corporation Haptic manipulation system for wheelchairs
CN104398346A (zh) * 2014-11-07 2015-03-11 上海交通大学 可自主开门的智能轮椅及其自主开门方法
CN104816300A (zh) * 2015-02-16 2015-08-05 泰华宏业(天津)机器人技术研究院有限责任公司 一种摆臂式履带排爆机器人及其行走方法
CN104827483A (zh) * 2015-05-25 2015-08-12 山东理工大学 一种基于gps与双目视觉定位的移动机械手物体抓取方法
CN106105566A (zh) * 2016-07-25 2016-11-16 柳州铁道职业技术学院 智能柑橘采摘机器人及柑橘采摘方法
CN205839659U (zh) * 2016-01-29 2016-12-28 巢湖学院 一种水陆两栖垃圾捡拾机器人
CN106607907A (zh) * 2016-12-23 2017-05-03 西安交通大学 一种移动视觉机器人及其测控方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201135561Y (zh) * 2007-12-26 2008-10-22 上海电气集团股份有限公司 一种用于助残轮椅的机械臂
CN101774170A (zh) * 2010-01-29 2010-07-14 华北电力大学 核电站作业机器人及其控制系统
CN102165880A (zh) * 2011-01-19 2011-08-31 南京农业大学 一种自主导航的履带式移动水果采摘机器人及水果采摘方法
WO2013025978A2 (en) * 2011-08-17 2013-02-21 Harris Corporation Haptic manipulation system for wheelchairs
CN104398346A (zh) * 2014-11-07 2015-03-11 上海交通大学 可自主开门的智能轮椅及其自主开门方法
CN104816300A (zh) * 2015-02-16 2015-08-05 泰华宏业(天津)机器人技术研究院有限责任公司 一种摆臂式履带排爆机器人及其行走方法
CN104827483A (zh) * 2015-05-25 2015-08-12 山东理工大学 一种基于gps与双目视觉定位的移动机械手物体抓取方法
CN205839659U (zh) * 2016-01-29 2016-12-28 巢湖学院 一种水陆两栖垃圾捡拾机器人
CN106105566A (zh) * 2016-07-25 2016-11-16 柳州铁道职业技术学院 智能柑橘采摘机器人及柑橘采摘方法
CN106607907A (zh) * 2016-12-23 2017-05-03 西安交通大学 一种移动视觉机器人及其测控方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨军 等: ""装备机械臂的智能轮椅研究"", 《上海电机学院学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109648562A (zh) * 2018-12-29 2019-04-19 深圳蓝胖子机器人有限公司 箱体抓取控制方法、箱体放置控制方法、相关装置及系统
CN109895095A (zh) * 2019-02-11 2019-06-18 赋之科技(深圳)有限公司 一种训练样本的获取方法、装置和机器人
CN109895095B (zh) * 2019-02-11 2022-07-15 赋之科技(深圳)有限公司 一种训练样本的获取方法、装置和机器人
CN113825598A (zh) * 2019-04-16 2021-12-21 Abb瑞士股份有限公司 物体抓取系统和方法
CN111015662A (zh) * 2019-12-25 2020-04-17 深圳蓝胖子机器人有限公司 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备
CN111015662B (zh) * 2019-12-25 2021-09-07 深圳蓝胖子机器智能有限公司 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备
CN111283689A (zh) * 2020-03-26 2020-06-16 长春大学 一种辅助肢体功能障碍者运动的装置及控制方法

Also Published As

Publication number Publication date
CN107212976B (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN107212976A (zh) 一种物体抓取设备的物体抓取方法、装置及物体抓取设备
US9110557B2 (en) System and method for tracking and mapping an object to a target
CN107293191B (zh) 用于表征人工焊接操作的系统
US20200120308A1 (en) Telepresence Management
EP3109744B1 (en) Information processing device, information processing method and program
Hillers et al. Augmented Reality—Helmet for the Manual Welding Process
CN109906424A (zh) 用于虚拟现实系统的输入控制器稳定技术
KR20160107128A (ko) 작업재의 가상조립을 통해 어셈블리 시스템을 트레이닝 하기 위한 비전시스템
JP2009531184A (ja) 操作ロボットにより物体を把持するための知的インターフェース装置及びこの装置の操作方法
CN103150009A (zh) 信息处理装置、信息处理方法和程序
EP1324269A4 (en) IMAGE PROCESSING DEVICE, METHOD, RECORDING MEDIUM, COMPUTER PROGRAM AND SEMICONDUCTOR ELEMENT
CN102258373A (zh) 手持x射线系统接口装置和方法
CN104303131A (zh) 图像处理设备、图像处理方法、以及程序
CN106559664A (zh) 三维全景图像的拍摄装置及设备
EP3789151A1 (en) Gas tungsten arc welding training system, and a method of operating a gas tungsten arc welding system
CN106774338A (zh) 一种机器人控制方法及装置
US20240173018A1 (en) System and apparatus for remote interaction with an object
CN212012916U (zh) 一种增强现实的显示设备
CN108268029A (zh) 一种控制方法及电子设备
CN104049843B (zh) 一种信息处理方法及电子设备
CN107277362A (zh) 用于生成高清图像的方法和装置
CN107247424A (zh) 一种基于激光距离传感器的ar虚拟开关及其方法
Foresi et al. Human-robot cooperation via brain computer interface
JP6494961B2 (ja) 制御装置、ロボット、および制御プログラム
EP3789152A1 (en) Connection box for a gas tungsten arc welding training system, and method of operating a connection box of a gas tungsten arc welding training system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Wang Lin

Inventor after: Wu Yumei

Inventor before: Wu Yumei

Inventor before: Wang Lin

CB03 Change of inventor or designer information
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170929

Assignee: Wanxun Technology (Shenzhen) Co.,Ltd.

Assignor: SANTIFICO TECHNOLOGY (SHENZHEN) CO.,LTD.

Contract record no.: X2022440020012

Denomination of invention: Object grabbing method, device and object grabbing device of object grabbing device

Granted publication date: 20181214

License type: Common License

Record date: 20220923

EE01 Entry into force of recordation of patent licensing contract