CN114714354B - 视觉模组装置和机械臂 - Google Patents

视觉模组装置和机械臂 Download PDF

Info

Publication number
CN114714354B
CN114714354B CN202210380735.6A CN202210380735A CN114714354B CN 114714354 B CN114714354 B CN 114714354B CN 202210380735 A CN202210380735 A CN 202210380735A CN 114714354 B CN114714354 B CN 114714354B
Authority
CN
China
Prior art keywords
software
lower side
module device
soft
vision module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210380735.6A
Other languages
English (en)
Other versions
CN114714354A (zh
Inventor
孙富春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210380735.6A priority Critical patent/CN114714354B/zh
Publication of CN114714354A publication Critical patent/CN114714354A/zh
Application granted granted Critical
Publication of CN114714354B publication Critical patent/CN114714354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/084—Tactile sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/06—Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616—Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • B25J15/065—Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum provided with separating means for releasing the gripped object after suction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本公开实施例提供的视觉模组装置和机械臂，属于机器人技术领域，包括：外壳，外壳包括固定部和开合部，开合部的一端可枢接地连接在固定部上；软体，软体包括位于开合部的另一端的软体上侧和软体下侧，在软体上侧和软体下侧之间形成软体腔，软体上侧和软体下侧均通过软体固定部固定在外壳上；设置在固定部上的用于在软体下侧表面产生基于结构光原理的投影图案的投影器；设置在固定部上的用于捕获软体下侧表面图像的摄像头；与软体腔连接的用于调节软体腔刚度的刚度调节单元。本公开实施例提供的视觉模组装置和机械臂，融合了结构光系统对物体三维重建的快速、稳定及高精度性能，解决了结构光易受灯光影响及不宜移动的问题。

Description

视觉模组装置和机械臂
技术领域
本公开实施例属于机器人技术领域，特别涉及视觉模组装置和机械臂。
背景技术
机器人对物体纹理、三维结构及受力等信息的感知及抓取能力是机器人智能操作的基础。目前机器人的触觉传感装置种类繁多，如压电式、电容式及光学式等触觉传感器，因压电式及电容式触觉传感器多为阵列式数值类非柔性传感器，光学式触觉传感器因其高分辨率、高柔性及纹理感知性能好等众多优势被誉为最有前景的触觉传感装置类型之一。但光学式触觉传感器的工作原理为通过处理相机拍摄到的软体形变或软体表面的标记点位移来获取触觉传感数据，此类触觉传感装置获取的物体纹理、三维结构、三维受力等信息效果较好，但因软体形变学相关知识至今仍存在众多难题，数据处理的方法多采用深度学习，即使用前需采集大量的数据集、耗时长，并且装置间的性能迁移能力差。同时，目前基于光学式触觉传感器对于物体的三维重建精度及耗时均劣于结构光系统对物体的三维重建能力。
结构光系统是目前三维重建精度最高、最快速的方法，基于结构光原理的三维重建方法众多且性能较为成熟、稳定性好，但是该系统易受光照影响且系统庞大、不宜移动(移动过后系统需重新校正)。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本公开第一方面实施例提供的视觉模组装置，基于结构光三维重建原理实现物体纹理、三维结构及三维受力等触觉信息的感知，并基于获取的触觉信息实现机器人的智能柔性抓取，本公开第一方面实施例提供的视觉模组装置，包括：
外壳，所述外壳包括固定部和开合部，所述开合部的一端可枢接地连接在所述固定部上；
软体，所述软体包括位于所述开合部的另一端的软体上侧和软体下侧，在所述软体上侧和所述软体下侧之间形成软体腔，所述软体上侧和所述软体下侧均通过软体固定部固定在所述外壳上；
投影器，所述投影器设置在所述固定部上，用于在所述软体下侧表面产生基于结构光原理的投影图案；
摄像头，所述摄像头设置在所述固定部上，所述摄像头用于捕获所述软体下侧表面的图像；和
刚度调节单元，所述刚度调节单元与所述软体腔连接，用于调节所述软体腔的刚度。
本公开第一方面实施例提供的视觉模组装置，具有以下特点及有益效果：
1、本装置保留了光学式触觉传感器感知分辨率高及柔性好的性能，避免了软体形变处理复杂的问题；
2、本装置融合了结构光系统对物体三维重建的快速、稳定及高精度性能，解决了结构光易受灯光影响及不宜移动等问题；
3、本装置可使用结构光系统的所有方案和方法；
4、本装置实现了柔性抓取，适用于大多数物体的抓取，包括易碎、易损物体。
在一些实施例中，所述固定部上设置至少一个所述投影器。
在一些实施例中，所述固定部上设置至少一个所述摄像头。
在一些实施例中，所述软体上侧的表面为与物体接触的表面，所述软体下侧的表面为获取触觉信息的表面，所述软体腔用于抓取和释放物体。
在一些实施例中，所述软体下侧表面的图像中含有所述投影图案或者不含有所述投影图案。
在一些实施例中，所述投影图案所所述软体下侧表面发生的形变而发生改变。
在一些实施例中，所述开合部在物体轮廓超过外壳轮廓的方向上镂空。
在一些实施例中，所述刚度调节单元包括安装在所述固定部上的充吸部件以及连接于所述充吸部件和所述软体腔之间的气管。
在一些实施例中，所述气管的管口处的气流方向与所述软体上侧和所述软体下侧平行。
本公开第二方面实施例提供的机械臂，包括机械臂本体和设置在该机械臂本体上的视觉模组装置，该视觉模组装置采用本公开第一方面实施例提供的视觉模组装置。
附图说明
图1为本公开第一方面实施例提供的视觉模组装置的第一截面图。
图2为本公开第一方面实施例提供的视觉模组装置的第二截面图。
附图标记：
1—软体，1-1—软体上侧，1-2—软体下侧，1-3—软体固定部，1-4—软体腔；
2—外壳，2-1—固定部，2-2—开合部；
3—投影器；
4—摄像头；
5—刚度调节单元，5-1—充吸部件，5-2—气管。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细描述。应当理解，此处所描述的具体实施例仅用于解释本申请，并不用于限定本申请。
相反，本申请涵盖任何由权利要求定义的在本申请精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本申请有更好的了解，在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。
参见图1、图2，本公开第一方面实施例提供的视觉模组装置，包括：
外壳2，外壳2包括固定部2-1和开合部2-2，开合部2-2的一端可枢接地连接在固定部2-1上，开合部2-2的另一端为自由端；
软体1，软体1包括位于开合部2-2的自由端且相对设置的软体上侧1-1和软体下侧1-2，在软体上侧1-1和软体下侧1-2之间形成软体腔1-4，软体上侧1-1和软体下侧1-2均通过软体固定部1-3固定在外壳2上，软体上侧1-1表面为与物体接触的表面，软体下侧1-2表面为获取触觉信息的表面，软体腔1-4用于抓取和释放物体；
投影器3，投影器3设置在固定部2-1上，用于向软体下侧1-2表面投影基于结构光原理的编码图案，以在软体下侧1-2表面产生投影图案，且该投影图案随软体下侧1-2表面发生的形变而发生改变；
摄像头4，摄像头4设置在固定部2-1上，摄像头4用于捕获软体下侧1-2表面的图像；和
刚度调节单元5，刚度调节单元5与软体腔1-4连接，用于调节软体腔1-4的刚度，实现物体的抓取和释放操作。
在一些实施例中，外壳2作为本视觉模组装置内其余各部件的安装平台，可采用不透光的刚性材料制成，如黑色的树脂材料或金属材料。外壳2中的固定部2-1用于与机器人的机械臂连接，以将本视觉模组装置固定在机械臂末端，此外，固定部2-1还用于安装投影器3、摄像头4和刚度调节单元5，固定部2-1的一端(图中所示为下端)为封闭端，固定部2-1的另一端(图中所示为上端)为敞口端。外壳2中开合部2-2的一端与固定部2-1的开敞端转动连接，类似于市场上常见的二指机械手的两个手指，通过改变开合部2-2的转动角度来改变抓取或释放物体时开合部2-2的开合大小，从而适应不同大小的物体。开合部2-2的一端通过一转轴与固定部2-1的开敞端枢接连接，开合部2-2的另一端为自由端同时也为敞口端。
进一步地，开合部2-2在物体轮廓超过外壳2轮廓的方向上镂空，具体地，开合部2-2包括相对设置的两个夹爪，其中一个夹爪设置在固定部2-1相对设置的两侧壁中的一个侧壁上，另一个夹爪设置在固定部2-1相对设置的两侧壁中的另一个侧壁上，在固定部2-1的其余侧壁上不设置开合部2-2，使得本软体装置可抓取较本软体装置更长的物体。
在一些实施例中，软体1的软体上侧1-1和软体下侧1-2采用延展性强、耐磨性能好的材料制成，以保证本视觉模组装置的触觉感知及抓取效果，本公开实施例对软体上侧1-1和软体下侧1-2材料的颜色和透光度无限制。软体固定部1-3采用延展性强的材料制成，可采用与软体上侧1-1和软体下侧1-2相同的材料制成，软体上侧1-1和软体下侧1-2的端部通过软体固定部1-3固定在外壳2外侧。
在一些实施例中，投影器3可选用市场上的任何一款微型投影仪或激光器，也可在本视觉模组装置内设置多个投影器，区别在于不同的图像处理算法，投影器3投影的结构光系统中的编码图案将呈现在软体下侧1-2表面，会因软体下侧1-2表面发生的形变发生编码图案的改变。
在一个实施例中，摄像头4可选用市场上任何一款微型摄像头，也可在本视觉模组装置内设置多个摄像头4。通过调节投影器3及摄像头4的工作帧率，摄像头4可捕获软体下侧1-2表面的图像，该图像包括含有投影图案或者不含有投影图案的软体下侧1-2表面图像，通过处理摄像头4获取的图像可实现物体表面纹理、三维结构及三维受力的获取。
在一些实施例中，刚度调节单元5包括充吸部件5-1和气管5-2，充吸部件5-1固定在外壳2的固定部2-1外侧，气管5-2的一端与充吸部件5-1连接，气管5-2的另一端穿过固定部2-1后与软体腔1-4连接，充吸部件5-1通过气管5-2向软体腔1-4内充气或吸气，以增大或减小软体腔1-4的刚度，从而使软体腔1-4与物体脱离(即释放操作)或者使软体腔1-4吸附物体(即抓取操作)，同时还可调节吸附物体的力度大小。
进一步地，设置气管5-2的管口方向，保证由气管5-2管口进出的气体的流动方向与软体上侧1-1和软体下侧1-2平行，以防止吸气操作时软体上侧1-1和软体下侧1-2堵塞气管5。可选地，气管5-2采用L型气管。
在一个实施例中，软体上侧1-1、软体下侧1-2和软体固定部1-3均采用Smooth-on公司的Ecoflex 0010硅胶制成，模具为由亚克力材料制备的200mm*50mm*1.5mm的长方体，将Ecoflex 0010硅胶的两种溶剂以1:1比例倒入模具并充分搅拌2分钟，常温下静置15分钟后即可制备成软体1。
本公开第一方面实施例提供的视觉模组装置的工作过程如下：
需要抓取物体时，利用投影器3将基于结构光原理的编码图案投影到软体下侧1-2(软体下侧属于本视觉模组装置内部)，在软体下侧1-2表面产生投影图案，软体上侧1-1(软体上侧属于本视觉模组装置的外部)与物体接触产生变形，利用摄像头4捕获软体上侧1-1因与物体接触而引发的软体上侧1-1和软体下侧1-2发生形变后的软体下侧1-2图像，该图像中包含了因软体下侧1-2发生形变而产生变化的投影图案，后续通过该图案可获取物体的表面纹理、三维结构及三维受力等信息。针对不同的尺寸的物体，控制开合部2-2开合至相应的尺寸，以使装置的软体上侧1-1具有足够的空间接触物体。在软体上侧1-1与物体充分接触后，充吸部件5-1控制软体腔1-4吸气以抓取物体，到达目的地后，充吸部件5-1控制软体腔1-4充气以释放物体，而后控制开合部2-2回归原位。
本公开第二方面实施例提供的机械臂，包括机械臂本体和设置在该机械臂本体上的视觉模组装置，该视觉模组装置采用本公开第一方面实施例提供的视觉模组装置。
综上所述，本公开实施例提供的视觉模组装置和机械臂将结构光原理应用到触觉传感领域，避免了结构光系统三维重建时易受光照影响和不宜移动的缺陷，且将结构光系统对物体三维重建快速且精度高等优势延伸到触觉传感领域；同时，基于获取的触觉信息，可柔性抓取大多数常见物体，包括易碎、奇异型状物品，适用范围广。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本公开的实施例，本领域的普通技术人员可以理解：在不脱离本公开的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本公开的范围由权利要求及其等同物限定。

Claims (10)

1.一种视觉模组装置，其特征在于，包括：
外壳，所述外壳包括固定部和开合部，所述开合部的一端可枢接地连接在所述固定部上；
软体，所述软体包括位于所述开合部的另一端的软体上侧和软体下侧，在所述软体上侧和所述软体下侧之间形成软体腔，所述软体上侧和所述软体下侧均通过软体固定部固定在所述外壳上；
投影器，所述投影器设置在所述固定部上，用于在所述软体下侧表面产生基于结构光原理的投影图案；
摄像头，所述摄像头设置在所述固定部上，所述摄像头用于捕获所述软体下侧表面的图像；和
刚度调节单元，所述刚度调节单元与所述软体腔连接，用于调节所述软体腔的刚度。
2.根据权利要求1所述的视觉模组装置，其特征在于，所述固定部上设置至少一个所述投影器。
3.根据权利要求1所述的视觉模组装置，其特征在于，所述固定部上设置至少一个所述摄像头。
4.根据权利要求1所述的视觉模组装置，其特征在于，所述软体上侧的表面为与物体接触的表面，所述软体下侧的表面为获取触觉信息的表面，所述软体腔用于抓取和释放物体。
5.根据权利要求1所述的视觉模组装置，其特征在于，所述软体下侧表面的图像中含有所述投影图案或者不含有所述投影图案。
6.根据权利要求1所述的视觉模组装置，其特征在于，所述投影图案所所述软体下侧表面发生的形变而发生改变。
7.根据权利要求1所述的视觉模组装置，其特征在于，所述开合部在物体轮廓超过外壳轮廓的方向上镂空。
8.根据权利要求1所述的视觉模组装置，其特征在于，所述刚度调节单元包括安装在所述固定部上的充吸部件以及连接于所述充吸部件和所述软体腔之间的气管。
9.根据权利要求8所述的视觉模组装置，其特征在于，所述气管的管口处的气流方向与所述软体上侧和所述软体下侧平行。
10.一种机械臂，其特征在于，包括机械臂本体和设置在所述机械臂本体上的视觉模组装置，所述视觉模组装置为根据权利要求1～9中任一项所述的视觉模组装置。
CN202210380735.6A 2022-04-12 2022-04-12 视觉模组装置和机械臂 Active CN114714354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210380735.6A CN114714354B (zh) 2022-04-12 2022-04-12 视觉模组装置和机械臂

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210380735.6A CN114714354B (zh) 2022-04-12 2022-04-12 视觉模组装置和机械臂

Publications (2)

Publication Number Publication Date
CN114714354A CN114714354A (zh) 2022-07-08
CN114714354B true CN114714354B (zh) 2023-10-03

Family

ID=82244558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210380735.6A Active CN114714354B (zh) 2022-04-12 2022-04-12 视觉模组装置和机械臂

Country Status (1)

Country Link
CN (1) CN114714354B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0884141A1 (en) * 1996-10-24 1998-12-16 Fanuc Ltd. Force control robot system with visual sensor for inserting work
CN109929131A (zh) * 2019-03-20 2019-06-25 苏州斯坦得新材料有限公司 一种螺旋光热驱动薄膜及基于该薄膜的软体爬行机器人
CN110328679A (zh) * 2019-04-09 2019-10-15 清华大学 一种内嵌视觉的气驱软体手指
CN111805562A (zh) * 2020-06-05 2020-10-23 清华大学 触觉传感器及机器人
CN112304248A (zh) * 2019-07-25 2021-02-02 南京科沃斯机器人技术有限公司 触觉传感器、机器人、弹性体及物体感测方法和计算设备
CN212567428U (zh) * 2020-08-20 2021-02-19 香港中文大学（深圳） 一种触觉传感器和机器人
CN113733128A (zh) * 2021-09-14 2021-12-03 清华大学深圳国际研究生院 基于触觉形状感知的柔性机械手及触觉形状感知装置
CN113733135A (zh) * 2021-09-14 2021-12-03 清华大学深圳国际研究生院 一种具备力和触觉传感功能的柔性机械手及传感器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0884141A1 (en) * 1996-10-24 1998-12-16 Fanuc Ltd. Force control robot system with visual sensor for inserting work
CN109929131A (zh) * 2019-03-20 2019-06-25 苏州斯坦得新材料有限公司 一种螺旋光热驱动薄膜及基于该薄膜的软体爬行机器人
CN110328679A (zh) * 2019-04-09 2019-10-15 清华大学 一种内嵌视觉的气驱软体手指
CN112304248A (zh) * 2019-07-25 2021-02-02 南京科沃斯机器人技术有限公司 触觉传感器、机器人、弹性体及物体感测方法和计算设备
CN111805562A (zh) * 2020-06-05 2020-10-23 清华大学 触觉传感器及机器人
CN212567428U (zh) * 2020-08-20 2021-02-19 香港中文大学（深圳） 一种触觉传感器和机器人
CN113733128A (zh) * 2021-09-14 2021-12-03 清华大学深圳国际研究生院 基于触觉形状感知的柔性机械手及触觉形状感知装置
CN113733135A (zh) * 2021-09-14 2021-12-03 清华大学深圳国际研究生院 一种具备力和触觉传感功能的柔性机械手及传感器

Also Published As

Publication number Publication date
CN114714354A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
JP7237483B2 (ja) ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法
CN109658460A (zh) 一种机械臂末端相机手眼标定方法和系统
CN111801198B (zh) 一种手眼标定方法、系统及计算机存储介质
JP2009269110A (ja) 組立装置
US20190294048A1 (en) Systems, devices, and methods for printing on three-dimensional objects
US10052767B2 (en) Robot, control device, and control method
CN110136068B (zh) 基于双侧远心镜头相机之间位置标定的音膜球顶装配系统
CN110465946B (zh) 一种像素坐标与机器人坐标关系标定方法
CN114851201B (zh) 一种基于tsdf三维重建的机械臂六自由度视觉闭环抓取方法
CN109781068B (zh) 面向空间应用的视觉测量系统地面模拟评估系统及方法
CN114714354B (zh) 视觉模组装置和机械臂
CN210852918U (zh) 一种适用于倾斜相机隐藏的输电线路巡检无人机
CN111024047A (zh) 基于正交双目视觉的六自由度位姿测量装置及方法
US8016582B2 (en) Apparatus and method for manufacturing optical elements
CN108628086B (zh) 一种人脸三维重建系统及其应用方法
CN110568866A (zh) 一种三维立体曲面视觉引导对位系统及对位方法
CN112556657B (zh) 一种真空环境下的分离体飞行运动参数多目视觉测量系统
CN208051932U (zh) 一种蛇形机械臂的姿态获取系统
CN111028298B (zh) 一种用于刚体坐标系空间变换标定的汇聚式双目系统
CN113593050A (zh) 一种双目视觉引导的机器人智能装配方法、系统及装置
Seyfried et al. Controlling cm3 Sized Autonomous Micro Robots Operating in the Micro and Nano World
TWI683172B (zh) 汽車內裝攝影系統
KR101179273B1 (ko) 촬상장치에 대한 촬상방향 조정장치
US20240094599A1 (en) Optical image stabilization with asymmetric stroke for camera devices
WO2023181472A1 (ja) レンズ検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant