CN115625713A - 基于触觉-视觉融合感知的机械手抓取方法和机械手 - Google Patents

基于触觉-视觉融合感知的机械手抓取方法和机械手 Download PDF

Info

Publication number
CN115625713A
CN115625713A CN202211550751.1A CN202211550751A CN115625713A CN 115625713 A CN115625713 A CN 115625713A CN 202211550751 A CN202211550751 A CN 202211550751A CN 115625713 A CN115625713 A CN 115625713A
Authority
CN
China
Prior art keywords
contact surface
grabbed
manipulator
deformation information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211550751.1A
Other languages
English (en)
Other versions
CN115625713B (zh
Inventor
谢琮玖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kaifeng Navigation Control Technology Co ltd
Original Assignee
Kaifeng Navigation Control Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kaifeng Navigation Control Technology Co ltd filed Critical Kaifeng Navigation Control Technology Co ltd
Priority to CN202211550751.1A priority Critical patent/CN115625713B/zh
Publication of CN115625713A publication Critical patent/CN115625713A/zh
Application granted granted Critical
Publication of CN115625713B publication Critical patent/CN115625713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于触觉‑视觉融合感知的机械手抓取方法和机械手，基于触觉‑视觉融合感知的机械手抓取方法包括：手爪与待抓取物体接触时，通过视觉相机采集待抓取物体的视觉图像，并通过光触觉传感器采集待抓取物的触觉图像；根据视觉图像得到待抓取物体的属性信息，根据触觉图像得到手爪与待抓取物体接触面的形变信息，其中，属性信息包括位置信息；根据属性信息和接触面的形变信息得到目标动作，并控制手爪执行目标动作以抓取待抓取物体。本发明能够在不牺牲传感器动态检测性能的前提下，大幅降低信号调制与处理的难度，降低计算开销，同时降低相关信号调制电路的物料成本，从而使整体传感系统更低廉易用。

Description

基于触觉-视觉融合感知的机械手抓取方法和机械手
技术领域
本发明涉及机器融合感知技术领域，特别涉及一种基于触觉-视觉融合感知的机械手抓取方法和机械手。
背景技术
人类的抓取动作的准确与高效很大程度上依赖于复杂的触觉和视觉反馈。位于皮下的分布式压力感受器测量单点处皮肤形变，经神经系统融合集束后形成整体的三维触觉。即一方面信息可以组合成三维阵列与实际皮肤位置对应，另一方面，触觉信息可以与视觉所确定的三维空间中的点一一对应。因此，基于仿生原理设计的机械手在抓取过程中上述信息可以相互融合，互为补充，使得机械手抓取控制系统能够对抓取全过程、全位置实现更细致的感知。
目前，对于触觉信息的获取可通过三维重建算法，常用的三维重建算法主要有以下几种。衍射法，通过相干光的光程差距反映表面形貌，优点是精度较高，可达波长量级（亚微米级），缺点是光路搭建复杂，对待测表面的介质有一定要求，无法适应本实验中触觉检测系统空间狭小、介质为凝胶等实际情况。结构光法，利用物体表面调制预先设置的空间光线，一般有点结构光、线结构光和面结构光（点阵）等，优点是成品传感器体积较小、测量范围大、精度适中，缺点是集成化结构光传感器成本较高，其对外接口也并不开源，并且传感器尺寸和检测精度上也不具有优势。除此之外，还有从多个视角图片还原三维信息的立体视觉方法，以及使用神经网络推测相对深度信息的重建方法，二者相似点在于其工作效果不稳定、计算成本很高。并且，传统机械手执行末端多采用电学方式，如压电薄膜等来感知触觉。其电学信号一般需要复杂的调制处理，极大地增加了相关传感器的成本，限制了大范围的工业应用。
发明内容
针对相关技术中在进行机械手抓取时，需要对电学信号进行复杂的调制处理和相关调制电路的物料成本较高的问题，本发明提出一种基于触觉-视觉融合感知的机械手抓取方法和机械手，以实现降低机械手的成本和信号调制与处理的难度。
为达到上述目的，本发明第一方面实施例提出了一种基于触觉-视觉融合感知的机械手抓取方法，所述机械手包括视觉相机和手爪，所述手爪上设有光触觉传感器，所述方法包括：
所述手爪与待抓取物体接触时，通过所述视觉相机采集所述待抓取物体的视觉图像，并通过所述光触觉传感器采集所述待抓取物的触觉图像。
根据所述视觉图像得到所述待抓取物体的属性信息，根据所述触觉图像得到所述手爪与所述待抓取物体接触面的形变信息，其中，所述属性信息包括位置信息。
根据所述属性信息和所述接触面的形变信息得到目标动作，并控制所述手爪执行所述目标动作以抓取所述待抓取物体。
另外，本发明实施例的基于触觉-视觉融合感知的机械手抓取方法还可以具有如下附加技术特征：
根据本发明的一个实施例，所述根据所述属性信息和所述接触面的形变信息得到目标动作，包括：
对所述接触面的形变信息进行坐标变换。
将坐标变换后的形变信息叠加至所述属性信息中的位置信息。
根据叠加结果生成所述目标动作。
根据本发明的一个实施例，所述根据所述属性信息和所述接触面的形变信息得到目标动作，包括：
利用预先训练好的机械手抓取模型，根据所述属性信息和所述接触面的形变信息输出动作集和所述动作集中各动作的抓取成功率。
根据所述动作集中各动作的抓取成功率确定所述目标动作。
根据本发明的一个实施例，所述根据所述触觉图像得到所述手爪与所述待抓取物体接触面的形变信息，包括：利用三维重建算法根据所述触觉图像得到光学凝胶的形变信息，将其作为所述接触面的形变信息。
根据本发明的一个实施例，所述方法还包括：根据所述接触面的形变信息评估所述手爪与所述待抓取物体之间的夹持力，并根据所述叠加结果和所述夹持力评估所述目标动作对应的抓取过程的稳定性。
根据本发明的一个实施例，所述手爪包括第一手指和第二手指，所述第一手指和所述第二手指中的至少一个上设有所述光触觉传感器，所述光触觉传感器包括设在对应手指的壳体所形成腔体中的光学凝胶、多个光源、触觉相机和镀膜反射镜。所述触觉相机安装在相机槽位，记所述壳体与所述待抓取物体接触的平面为工作面，所述工作面采用所述光学凝胶，所述光学凝胶固定在透明亚力克板上，所述透明亚力克板固定在所述壳体上，所述多个光源设在所述腔体表面，所述镀膜反射镜设在所述透明亚力克板的相对板上，且与所述透明亚力克板呈预设角度，其中，所述触觉图像为所述触觉相机的采集图像，所述工作面涂有银粉混浊液。
根据本发明的一个实施例，所述光源的个数为4，所述触觉图像包括所述触觉相机在至少三个不同光源下获取得采集图像，所述利用三维重建算法根据所述触觉图像得到所述光学凝胶的形变信息，包括：
根据至少三张所述采集图像，计算出所述接触面上各位置对应的微元法向量。
根据所述微元法向量计算各位置的误差函数，并在所述误差函数最小时，通过二维积分的方式得到所述光学凝胶的形变信息。
根据本发明的一个实施例，通过下式得到所述接触面上点(x,y)的微元法向量：
Figure 159891DEST_PATH_IMAGE001
其中，L(x,y)为所述接触面上点(x,y)位置的光强，ρ为反照率，LA为光源的发射光强，lk为光源k入射方向的矢量，A为对应光源平面的积分区域，nA为光源平面的法向量，n为点(x,y)的微元法向量，rk为光源到点(x,y)的距离，K为光源的数量。
其中，所述误差函数为：
Figure 589735DEST_PATH_IMAGE002
p、q分别为所述微元法向量在xoz平面和yoz平面上的两个分量。
根据本发明的一个实施例，通过下式对所述接触面的形变信息进行坐标变换：
Figure 893678DEST_PATH_IMAGE003
其中，M=[X,Y,Z]T为坐标变换后的形变信息，m=[u,v]T为所述接触面的形变信息，w为预设比例系数，[R,T]为描述所述触觉相机成像畸变的本征参数矩阵，m’=[u,v,1]T和M’=[X,Y,Z,1]T分别为m和M的增广形式矢量，B为所述触觉相机的理想成像模型本征参数。
为达到上述目的，本发明第二方面实施例提出了一种机械手，包括手爪、视觉相机和控制器，所述手爪上设有光触觉传感器，所述控制器包括存储器、处理器和存储在所述存储器上的计算机程序，所述处理器分别与所述视觉相机、所述光触觉传感器连接，用于在执行所述计算机程序时，实现上述的基于触觉-视觉融合感知的机械手抓取方法。
本发明实施例的基于触觉-视觉融合感知的机械手抓取方法和机械手，能够在不牺牲传感器动态检测性能的前提下，大幅降低信号调制与处理的难度，降低计算开销，同时降低相关信号调制电路的物料成本，从而使整体传感系统更低廉易用。
附图说明
图1是本发明实施例的基于触觉-视觉融合感知的机械手抓取方法的流程示意图；
图2是本发明一实施例的根据属性信息和接触面的形变信息得到目标动作的流程示意图；
图3是本发明又一实施例的根据属性信息和接触面的形变信息得到目标动作的流程示意图；
图4是本发明一实施例的第一手指结构示意图；
图5是本发明一实施例的得到光学凝胶的形变信息的流程示意图；
图6是本发明一实施例的四个光源分布示意图；
图7是本发明实施例的机械手的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图1-附图7描述本发明实施例的基于触觉-视觉融合感知的机械手抓取方法和机械手。
图1是本发明实施例的基于触觉-视觉融合感知的机械手抓取方法的流程示意图。
如图1所示，基于触觉-视觉融合感知的机械手抓取方法，包括：
S1，手爪与待抓取物体接触时，通过视觉相机采集待抓取物体的视觉图像，并通过光触觉传感器采集待抓取物的触觉图像。
S2，根据视觉图像得到待抓取物体的属性信息，根据触觉图像得到手爪与待抓取物体接触面的形变信息，其中，属性信息包括位置信息。
S3，根据属性信息和接触面的形变信息得到目标动作，并控制手爪执行目标动作以抓取待抓取物体。
其中，机械手包括视觉相机和手爪，手爪上设有光触觉传感器。
本发明实施例的基于触觉-视觉融合感知的机械手抓取方法，能够在不牺牲传感器动态检测性能的前提下，大幅降低信号调制与处理的难度，降低计算开销。
在本发明的一个实施例中，如图2所示，根据属性信息和接触面的形变信息得到目标动作，包括：
S311，对接触面的形变信息进行坐标变换。
具体地，通过下式对接触面的形变信息进行坐标变换：
Figure 168801DEST_PATH_IMAGE004
（1）
其中，M=[X,Y,Z]T为坐标变换后的形变信息，m=[u,v]T为接触面的形变信息，w为预设比例系数，[R,T]为描述触觉相机成像畸变的本征参数矩阵，m’=[u,v,1]T和M’=[X,Y,Z,1]T分别为m和M的增广形式矢量，B为触觉相机的理想成像模型本征参数。
S312，将坐标变换后的形变信息叠加至属性信息中的位置信息。
S313，根据叠加结果生成目标动作。
具体地，叠加结果包括待抓取物体的表面三维信息，根据表面三维信息，可确定待抓取物体的目标动作。其中，叠加结果还可包括预估的待抓取物体的重心。
作为一个示例，对于形状和重量都规则的待抓取物体（例如正方体实心铝块），在手爪和待抓取物体接触（例如接触面过于靠上，不易抓取正方体物体）后，机械手得到待抓取物体的表面三维信息，确定出抓取待抓取物体的目标动作为打开手爪并下移再夹合。
作为又一个示例，对于待抓取物体为形状和重量不规则的物体时，在手爪和待抓取物体接触后，根据叠加结果的表面三维信息和预估的待抓取物体的重心，得到目标动作为打开手爪移动手爪到待抓取物体的重心所在的水平面后再夹合。
在本发明的一个实施例中，如图3所示，根据属性信息和接触面的形变信息得到目标动作，包括：
S321，利用预先训练好的机械手抓取模型，根据属性信息和接触面的形变信息输出动作集和动作集中各动作的抓取成功率。
S322，根据动作集中各动作的抓取成功率确定目标动作。
在本发明的一个实施例中，根据触觉图像得到手爪与待抓取物体接触面的形变信息，包括：利用三维重建算法根据触觉图像得到光学凝胶的形变信息，将其作为接触面的形变信息。
具体地，手爪包括第一手指和第二手指，第一手指和第二手指中的至少一个上设有光触觉传感器。如图4所示，光触觉传感器包括设在对应手指的壳体所形成腔体中的光学凝胶1011、多个光源、触觉相机和镀膜反射镜1012。触觉相机安装在相机槽位1013，记壳体与待抓取物体接触的平面为工作面，工作面采用光学凝胶1011，光学凝胶1011固定在透明亚力克板1014上，透明亚力克板1014固定在壳体上，多个光源设在腔体表面，镀膜反射镜1012设在透明亚力克板1014的相对板上，且与透明亚力克板1014呈预设角度。其中，触觉图像为触觉相机的采集图像，工作面涂有银粉混浊液。
需要说明的是，图4中各部件的具体位置和颜色，只是为了在示意图中便于展示，对于各部件的具体位置和颜色在实际应用中，根据实际情况而定。例如，透明亚克力板的颜色在实际应用中为透明。
作为一个示例，为了增加抓握稳定度，使用透明亚力克板的厚度为1.5mm。透明亚力克板不仅起到支撑与龙骨的作用，而且也能够不遮挡变形后的工作面在光源下所成的像。工作面使用银粉混浊液能够染出漫反射层，配合光源系统，呈现出类似浮雕的成像效果。
在本发明的一个实施例中，光源的个数为4，触觉图像包括触觉相机在至少三个不同光源下获取得采集图像，如图5所示，利用三维重建算法根据触觉图像得到光学凝胶的形变信息，包括：
S21，根据至少三张采集图像，计算出接触面上各位置对应的微元法向量。
S22，根据微元法向量计算各位置的误差函数，并在误差函数最小时，通过二维积分的方式得到光学凝胶的形变信息。
具体地，通过下式得到接触面上点(x,y)的微元法向量：
Figure 812272DEST_PATH_IMAGE005
（2）
其中，L(x,y)为接触面上点(x,y)位置的光强，ρ为反照率，LA为光源的发射光强，lk为光源k入射方向的矢量，A为对应光源平面的积分区域，nA为光源平面的法向量，n为点(x,y)的微元法向量，rk为光源到点(x,y)的距离，K为光源的数量。
其中，误差函数为：
Figure 147439DEST_PATH_IMAGE006
（3）
p、q分别为微元法向量在xoz平面和yoz平面上的两个分量。
作为一个示例，通过三张采集图像，获取接触面上点(x,y)处的三个光强L1(x,y)、L2(x,y)、L3(x,y)。将获取的三个分别光强代入（2）式，得到：
Figure 876360DEST_PATH_IMAGE007
（4）
Figure 266759DEST_PATH_IMAGE008
（5）
Figure 764737DEST_PATH_IMAGE009
（6）
联立公式（4）、（5）、（6），求得点(x,y)处的微元法向量。
具体地，如图6所示，4个光源可通过四颗WS2812B的集成RGB可调亮度LED级联（LED1、LED2、LED3、LED4），构成上下左右四处可独立控制的光源。在对外接口方面，除5V电源和地线外，只需设置一路信号线即可用单片机等在其特有通信协议下对级联的4颗LED进行分别控制。而信号处理、级联LED之间的地址分配、LED的驱动等均由集成光源完成。型号为WS2812B的LED具有信号续传功能，任何一个级联状态下的LED破坏后亦不会影响信号的传输以及其余LED正常功能。上电之后，处于级联状态下的顺序为1的LED将会利用其内部的信号整形电路收集24位数据指令，并将其存入内部的寄存器中用于控制LED1的状态。之后接收到的每24位为一个单位的数据指令将通过该灯的DO接口输出到顺序为2的LED的DIN接口，以此类推。因此，通过使用四个不同位置的LED光源获取到的触觉图像，再利用三维重建算法根据触觉图像得到光学凝胶的形变信息，其计算复杂度较低、动态检测性能好，对纹理特征较少的物体也有较好的适用性。
具体地，触觉相机可为微型CCD相机，并通过AV-USB采集卡连接到上位机。在使用Windows Direct Show驱动接口进行视频流推送时，可达到720*576分辨率的25Hz播放。触觉相机可配有特制的微距镜头，其镜头在固定住的位置所能达到的最小成像距离可达3cm，由于考虑到视场大小以及畸变程度等问题会影响最终触觉检测的效果，故将最小成像距离拉远，使像距减小，物距增加。微型CCD相机采用全局快门，从而最大程度地保证检测过程中的动态性能，防止画面垂直不同步可能导致的画面割裂。
具体地，可在机械手支撑架上方固定设置一个摄像头，该摄像头可提供待抓取物体的大概位置，引导机械手进行移动以使得手爪和待抓取物体进行接触。该摄像头采用分辨率为1920*1080的USB免驱摄像头，可获得60Hz的帧率。
作为一个示例，假设在短时间内视野中的杂物噪声变化较小，在启动电源或初始化时，摄像头都采集一帧参考图像，其中手爪需在参考图像中。在机械手开始抓取之前，摄像头都采集一帧实时图像，利用差分的方式，求出的视野中变动最大的部分即为待抓取物体放置的区域。因此对待抓取物体的视觉定位任务需要预先采集参考图像。需要注意的是，由于该步骤中手爪也在视野内，故而放置待抓取物体前后，一直到实时图像拍摄完成前，都不可以上下前后移动或开合手爪。
其中，在利用差分方式，求出的视野中变动最大的部分的过程中，存在杂物、仪器晃动、相机噪声造成的不理想残差存在。这些残差中，大部分散乱分布，其所构成的连通域面积较小，故可以通过形态学腐蚀处理将不理想残差消去。同时，由于阴影所造成的某些边缘灰度梯度较小，进而使得待抓取物体区域图像边缘存在毛刺的问题，也可以在形态学腐蚀处理之后得到一定的缓解。
在本发明的一个实施例中，基于触觉-视觉融合感知的机械手抓取方法还包括：根据接触面的形变信息评估手爪与待抓取物体之间的夹持力，并根据叠加结果和夹持力评估目标动作对应的抓取过程的稳定性。
具体地，接触面的形变信息与抓取稳定性直接相关，因此，可通过实时检测接触面的形变信息实现对接触面积、正压力、侧向摩擦力等参数的测量，从而评估出手爪与待抓取物体之间的夹持力。其中，夹持力的大小为手爪施加在待抓取物体的最佳着力点的大小，使得机械手在抓取移动物体过程中防止滑落和抖动，提高了抓取的稳定性。
作为一个示例，对于形状和重量都规则的待抓取物体，根据接触面的形变信息，统计出手爪与待抓取物体的接触面积和侧向摩擦力。其中，根据接触面积判断出手爪抓握的着力点，通过着力点和侧向摩擦力，评估出手爪与待抓取物体之间的夹持力。
作为又一个示例，对于待抓取物体的形状和重量有其一不规则的情况，根据接触面的形变信息，统计出手爪与待抓取物体的接触面积、侧向摩擦力和光学凝胶形变位置较大处的正压力。其中，根据接触面积和正压力判断出手爪抓握的着力点，通过着力点和侧向摩擦力，评估出手爪与待抓取物体之间的夹持力。
作为一个示例，可通过接触面的形变信息判断出待抓取物体的形状和重量是否规则，例如，手爪的第一手指和第二手指上的光学凝胶形变程度基本相同，则可判断出待抓取物体的重量分布规则；手爪的第一手指和第二手指上的光学凝胶所发生形变的部位平整或趋于某一固定形状（如圆柱体的侧面弧形），则可判断出待抓取物体的形状是规则的。
对应上述实施例，本发明还提出一种机械手。
图7是本发明实施例的机械手的结构示意图。
如图7所示，机械手10包括：手爪101、视觉相机102和控制器103，手爪101上设有光触觉传感器104，控制器103包括存储器1031、处理器1032和存储在存储器1031上的计算机程序，处理器1032分别与视觉相机102、光触觉传感器104连接，用于在执行计算机程序时，实现上述的基于触觉-视觉融合感知的机械手抓取方法。
本发明实施例的机械手，能够降低相关信号调制电路的物料成本，从而使整体传感系统更低廉易用。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于触觉-视觉融合感知的机械手抓取方法，其特征在于，所述机械手包括视觉相机和手爪，所述手爪上设有光触觉传感器，所述方法包括：
所述手爪与待抓取物体接触时，通过所述视觉相机采集所述待抓取物体的视觉图像，并通过所述光触觉传感器采集所述待抓取物的触觉图像；
根据所述视觉图像得到所述待抓取物体的属性信息，根据所述触觉图像得到所述手爪与所述待抓取物体接触面的形变信息，其中，所述属性信息包括位置信息；
根据所述属性信息和所述接触面的形变信息得到目标动作，并控制所述手爪执行所述目标动作以抓取所述待抓取物体。
2.根据权利要求1所述的机械手抓取方法，其特征在于，所述根据所述属性信息和所述接触面的形变信息得到目标动作，包括：
对所述接触面的形变信息进行坐标变换；
将坐标变换后的形变信息叠加至所述属性信息中的位置信息；
根据叠加结果生成所述目标动作。
3.根据权利要求1所述的机械手抓取方法，其特征在于，所述根据所述属性信息和所述接触面的形变信息得到目标动作，包括：
利用预先训练好的机械手抓取模型，根据所述属性信息和所述接触面的形变信息输出动作集和所述动作集中各动作的抓取成功率；
根据所述动作集中各动作的抓取成功率确定所述目标动作。
4.根据权利要求1所述的机械手抓取方法，其特征在于，所述根据所述触觉图像得到所述手爪与所述待抓取物体接触面的形变信息，包括：
利用三维重建算法根据所述触觉图像得到光学凝胶的形变信息，将其作为所述接触面的形变信息。
5.根据权利要求2所述的机械手抓取方法，其特征在于，所述方法还包括：
根据所述接触面的形变信息评估所述手爪与所述待抓取物体之间的夹持力，并根据所述叠加结果和所述夹持力评估所述目标动作对应的抓取过程的稳定性。
6.根据权利要求4所述的机械手抓取方法，其特征在于，所述手爪包括第一手指和第二手指，所述第一手指和所述第二手指中的至少一个上设有所述光触觉传感器，所述光触觉传感器包括设在对应手指的壳体所形成腔体中的光学凝胶、多个光源、触觉相机和镀膜反射镜，所述触觉相机安装在相机槽位，记所述壳体与所述待抓取物体接触的平面为工作面，所述工作面采用所述光学凝胶，所述光学凝胶固定在透明亚力克板上，所述透明亚力克板固定在所述壳体上，所述多个光源设在所述腔体表面，所述镀膜反射镜设在所述透明亚力克板的相对板上，且与所述透明亚力克板呈预设角度，其中，所述触觉图像为所述触觉相机的采集图像，所述工作面涂有银粉混浊液。
7.根据权利要求6所述的机械手抓取方法，其特征在于，所述光源的个数为4，所述触觉图像包括所述触觉相机在至少三个不同光源下获取得采集图像，所述利用三维重建算法根据所述触觉图像得到所述光学凝胶的形变信息，包括：
根据至少三张所述采集图像，计算出所述接触面上各位置对应的微元法向量；
根据所述微元法向量计算各位置的误差函数，并在所述误差函数最小时，通过二维积分的方式得到所述光学凝胶的形变信息。
8.根据权利要求7所述的机械手抓取方法，其特征在于，通过下式得到所述接触面上点(x,y)的微元法向量：
Figure 963280DEST_PATH_IMAGE001
其中，L(x,y)为所述接触面上点(x,y)位置的光强，ρ为反照率，LA为光源的发射光强，lk为光源k入射方向的矢量，A为对应光源平面的积分区域，nA为光源平面的法向量，n为点(x,y)的微元法向量，rk为光源到点(x,y)的距离，K为光源的数量；
其中，所述误差函数为：
Figure 717609DEST_PATH_IMAGE002
p、q分别为所述微元法向量在xoz平面和yoz平面上的两个分量。
9.根据权利要求2所述的机械手抓取方法，其特征在于，通过下式对所述接触面的形变信息进行坐标变换：
Figure 454621DEST_PATH_IMAGE003
其中，M=[X,Y,Z]T为坐标变换后的形变信息，m=[u,v]T为所述接触面的形变信息，w为预设比例系数，[R,T]为描述所述触觉相机成像畸变的本征参数矩阵，m’=[u,v,1]T和M’=[X,Y,Z,1]T分别为m和M的增广形式矢量，B为所述触觉相机的理想成像模型本征参数。
10.一种机械手，其特征在于，包括手爪、视觉相机和控制器，所述手爪上设有光触觉传感器，所述控制器包括存储器、处理器和存储在所述存储器上的计算机程序，所述处理器分别与所述视觉相机、所述光触觉传感器连接，用于在执行所述计算机程序时，实现如权利要求1-9中任一项所述的基于触觉-视觉融合感知的机械手抓取方法。
CN202211550751.1A 2022-12-05 2022-12-05 基于触觉-视觉融合感知的机械手抓取方法和机械手 Active CN115625713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211550751.1A CN115625713B (zh) 2022-12-05 2022-12-05 基于触觉-视觉融合感知的机械手抓取方法和机械手

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211550751.1A CN115625713B (zh) 2022-12-05 2022-12-05 基于触觉-视觉融合感知的机械手抓取方法和机械手

Publications (2)

Publication Number Publication Date
CN115625713A true CN115625713A (zh) 2023-01-20
CN115625713B CN115625713B (zh) 2023-03-14

Family

ID=84910941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211550751.1A Active CN115625713B (zh) 2022-12-05 2022-12-05 基于触觉-视觉融合感知的机械手抓取方法和机械手

Country Status (1)

Country Link
CN (1) CN115625713B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428465A (zh) * 2019-07-12 2019-11-08 中国科学院自动化研究所 基于视觉和触觉的机械臂抓取方法、系统、装置
CN112809679A (zh) * 2021-01-25 2021-05-18 清华大学深圳国际研究生院 可形变物体抓取的方法、装置及计算机可读存储介质
CN114533138A (zh) * 2021-05-31 2022-05-27 四川大学 一种融合触觉感知的自动化穿刺机构
CN114700947A (zh) * 2022-04-20 2022-07-05 中国科学技术大学 基于视触融合的机器人及其抓取系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428465A (zh) * 2019-07-12 2019-11-08 中国科学院自动化研究所 基于视觉和触觉的机械臂抓取方法、系统、装置
CN112809679A (zh) * 2021-01-25 2021-05-18 清华大学深圳国际研究生院 可形变物体抓取的方法、装置及计算机可读存储介质
CN114533138A (zh) * 2021-05-31 2022-05-27 四川大学 一种融合触觉感知的自动化穿刺机构
CN114700947A (zh) * 2022-04-20 2022-07-05 中国科学技术大学 基于视触融合的机器人及其抓取系统和方法

Also Published As

Publication number Publication date
CN115625713B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
US11308711B2 (en) Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US9826216B1 (en) Systems and methods for compact space-time stereo three-dimensional depth sensing
US9432655B2 (en) Three-dimensional scanner based on contours from shadow images
Wang et al. Gelsight wedge: Measuring high-resolution 3d contact geometry with a compact robot finger
EP2986936B1 (en) Super-resolving depth map by moving pattern projector
US6664531B2 (en) Combined stereovision, color 3D digitizing and motion capture system
WO2013109609A2 (en) Enhanced contrast for object detection and characterization by optical imaging
US10044922B1 (en) Hardware system for inverse graphics capture
EP2880863A1 (en) Context-driven adjustment of camera parameters
WO2014168900A1 (en) Near-plane segmentation using pulsed light source
JPWO2007139067A1 (ja) 画像高解像度化装置、画像高解像度化方法、画像高解像度化プログラムおよび画像高解像度化システム
EP3252714A1 (en) Camera selection in positional tracking
Gu et al. Review of some advances and applications in real-time high-speed vision: Our views and experiences
Dobrzynski et al. Vision Tape—A flexible compound vision sensor for motion detection and proximity estimation
US20240153115A1 (en) Enhanced depth estimation using deep learning
JP2017117373A (ja) 操作装置とその制御方法、及びプログラム
CN115272466A (zh) 手眼标定方法、视觉机器人、手眼标定设备和存储介质
CN115625713B (zh) 基于触觉-视觉融合感知的机械手抓取方法和机械手
Ambrus et al. Monocular depth estimation for soft visuotactile sensors
KR102538685B1 (ko) 다시점 정보를 이용하여 3d 정보를 복원하는 방법 및 이를 위한 장치
JP7028814B2 (ja) 外形認識装置、外形認識システム及び外形認識方法
CN214039921U (zh) 基于差分投影的立体视觉三维检测装置
CN111383262A (zh) 遮挡检测方法、系统、电子终端以及存储介质
CA2405048C (en) Combined stereovision, color 3d digitizing and motion capture system
JP2003280808A (ja) ３次元位置入力デバイス

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant