CN114993542B - 一种基于单触点软体视觉的触滑觉集成式传感器 - Google Patents

一种基于单触点软体视觉的触滑觉集成式传感器 Download PDF

Info

Publication number
CN114993542B
CN114993542B CN202210566806.1A CN202210566806A CN114993542B CN 114993542 B CN114993542 B CN 114993542B CN 202210566806 A CN202210566806 A CN 202210566806A CN 114993542 B CN114993542 B CN 114993542B
Authority
CN
China
Prior art keywords
contact
sensor
software
touch
soft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210566806.1A
Other languages
English (en)
Other versions
CN114993542A (zh
Inventor
王激尧
冯坚
房淑华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202210566806.1A priority Critical patent/CN114993542B/zh
Publication of CN114993542A publication Critical patent/CN114993542A/zh
Application granted granted Critical
Publication of CN114993542B publication Critical patent/CN114993542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/16Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring several components of force

Abstract

本发明是一种基于单触点软体视觉的触滑觉集成式传感器。该传感器包含了传感器壳体单元、传感器观察面板、接触软体、图像采集单元、光源单元、图像数字处理单元。其中,在传感器壳体的顶部装配有图像采集单元和光源单元;传感器壳体中空,作为光传播和信息采集的路径;传感器底部装配有观察面板;在观察面板底部装有接触软体;接触软体表面有规则纹理;传感器顶部光源通过传感器内部腔体和底部开孔照亮面板及接触物表面;图像采集单元透过传感器内部腔体采集到观察面板上的视觉信息;图像数字处理单元对图像采集单元所拍摄的画面处理,该触觉和滑觉集成式传感器避免了在同时实现触觉和滑觉检测时需要使用多套传感方案的情况,降低了系统复杂度。

Description

一种基于单触点软体视觉的触滑觉集成式传感器
技术领域
本发明涉及一种基于单触点软体视觉的触滑觉集成式传感器,可以直接检测物体的滑动摩擦和静摩擦,应用于机械手抓取动作时的传感信息采集,提高智能机器人的物体软抓取能力,属于智能传感器的设计领域。
背景技术
机械手安全地抓取物体的同时需要保证物体不发生相对移动。人类手上的物体滑动时,皮肤所感受到的振动等生物信号产生反馈,以此来控制手部的动作。在机械手臂中,通常采用滑觉传感器、压力传感器来检测这一类触觉信号,借助此类传感器,机器人可在抓取物体的同时判断抓取力量大小是否合适,并在物体产生相对移动的趋势时,相应提高抓取力量,从而保证牢固抓取,又能避免过大的抓取力。
常规的触觉传感器只能获得较为单一的受力信息,如压电式传感器、压阻式传感器等。这一类传感器难以将滑动摩擦和静摩擦力进行区分,需要复杂的电路及逻辑进行信号处理,且在滑动发生时,无法判断具体的滑动距离。若要同时实现滑觉和触觉检测,则一般需要使用滑觉和触觉两种传感器,使用两个触点以及两套传感系统,而多接触点的传感器复杂度较高,增加了研制和生产难度。
发明内容
技术问题:为了在单一触点集成滑觉和触觉,本发明公开了一种基于软体视觉的滑觉及触觉传感器。该传感器仅凭借一种传感媒介来判断所接触物体是否产生滑动,计算被测物体所受压力的大小以及滑动的距离,可以显著的减小传感器的体积和复杂度,避免多个触点,在减小故障率的同时有利于生产成本的降低和大规模的推广使用。
技术方案:为了使传感器能同时检测静态和动态信号,区分滑动和受力两种不同的状态,实现“软抓取”的能力,本发明提出了一种基于软体视觉的触滑觉集成式传感器,具体方案如下:
所述传感器包括:
传感器壳体单元为不透光的圆柱体,内有中空结构且两端开孔,用于传导光路、遮蔽外部干扰光线;
传感器观察面板设于所述传感器壳体单元底部,传感器观察面板中心设有圆形通孔,该圆形通孔外周设有圆形环状阶梯支撑结构,所述圆形环状阶梯结构外周设有环形开孔;
接触软体为半圆球状,其开口处嵌于所述传感器观察面板上的圆形环状阶梯支撑结构上;其底部呈半圆球状,与检测物体接触;所述接触软体为无色透明体,表面有规则纹理作为辨识图案,在一定的受力范围内,接触软体发生弹性形变;
图像采集单元设于所述传感器壳体单元上端,具有朝向所述传感器壳体单元内部拍摄的摄像头,所述摄像头能够采集传感器观察面板的环形开孔以及接触软体的图像;
光源单元设于所述图像采集单元的前端,发出的光线照射到所述带有开孔的传感器观察面板以及接触软体上;
图像数字处理单元连接图像采集单元对所采集的图像进行处理,并计算出接触物体的受力情况和滑动距离。
所述接触软体,表面的纹理形状规则;当所述传感器的接触软体受外力作用产生形变时,纹理产生相应的形变和相对移动。
所述图像采集单元,其聚焦平面为接触软体表面;所述图像采集单元拍摄的景深的深度要保证在所述接触软体发生挤压形变时,仍能保持清晰地拍摄接触软体表面的规则纹理,以及被接触物体的表面纹理。
所述图像数字处理单元,对图像采集单元所拍摄画面进行分割,分割成接触软体像素部分和环形开孔像素部分。
所述图像数字处理单元,对分割出的环形开孔像素部分使用光流法,检测物体滑动距离。
所述图像数字处理单元,对分割出的接触软体像素部分进行灰度处理后,对接触软体表面的规则纹理进行特征边缘提取;且使用实时提取的特征边缘进行接触软体形变模式识别。
所述接触软体形变模式识别为:预先通过试验将特征边缘之间的相对移动与接触软体形变模式之间建里映射关系,作为接触软体形变模式识别的预存形变模式数据库;所述图像数字处理单元使用接触软体形变模式识别的结果,在预存接触软体受力数据库中进行查找,计算不同形变模式下接触软体的三维受力情况;该三维受力计算基于形变结果搜索到的受力数据查表值进行插值。
所述的插值是在最接近的数据点上添加增量,增量的具体数值是形变增量乘以接触软体的弹性模量。
所述的预存接触软体受力数据库为:预先通过试验测得形变接触软体的弹性模量在内的相关物理参数,建立接触软体形变模式与接触软体实际受力的映射关系的预存数据库。
所述的图像数字处理单元使用光流法对环形开孔像素部分和接触软体像素部分进行像素点位移计算,判断检测物体是否收到滑动摩擦力;若受到滑动摩擦力,则对环形开孔像素部分使用光流法,逐帧累加积分计算总位移;否则,计算接触软体的三维受力;当接触软体不再受力恢复形状后,算法检测到软体形变模式与零受力情况向符合,检测逻辑回归初始状态,并将累加积分的总位移清零,转而进入等待下一次检测的开始。
有益效果:通过单一集成式传感器,对物体的“静止”和“滑动”两种状态进行实时传感识别,实现物体的摩擦受力、动静区分、以及相对滑动速度的同步传感信号输出,能够使得装配有此类传感器的机械臂实现精确的抓取力控制,从而实现“软抓取”的能力,在手术医疗等方面都有广泛的应用场景。
附图说明:
为了更好的介绍本申请,下面就具体实施案例的附图进行简单介绍:
图1为传感器结构示意图,
图2为传感器壳体单元结构示意图,
图3为观察面板结构示意图,
图4为传感器整体示意图,
图5为传感器工作流程图,
图6为图5中的软体三维受力计算流程图,
图7为传感器接触软体形变示意图,
图8为传感器图像数字处理单元像素分割示意图,
图中有:图像采集单元11、光源单元12、传感器壳体单元13、13-1顶部槽体,13-2壳体单元腔体,13-3底部槽体、传感器观察面板14、环形开孔14-1、圆形环状阶梯支撑结构14-2、圆形通孔14-3、接触软体15、图像数字处理单元16;表面的规则纹理17,外环虚线18,内环虚线19。
外环虚线18与内环虚线19之间为分割的环状开孔像素部分,内环虚线19以内为分割的接触软体像素部分。
具体实施方式
为了更好的理解上述技术方案,下面结合附图详细的介绍本专利申请的具体实施案例。
图1示出了本申请的基于软体视觉的触滑觉集成式传感器的一种优选的结构,结合附图可知,本实施案例的传感器设计方案包括图像采集单元,光源单元,传感器壳体单元,观察面板,接触软体。
图2示出了传感器壳体单元一种优选的结构。壳体单元不透光,内有锥形中空结构;传感器壳体上端有用于装配图像采集单元和光源单元的圆柱形槽体;传感器壳体底部有用于装配观察面板的圆柱形槽体;传感器壳体单元的锥形中空有传导光路和视觉信息的作用,光源单元所发射的光线透过腔体照亮传感器观察面板以及与该传感器接触的物体表面,供图像采集单元拍摄。
本申请实施案例中所使用的摄像头模块为工业内窥镜模块。最近对焦距离5mm,100万像素;模块整体直径约4mm,可拍摄高帧率视频;模组外装配有LED灯带作为光源单元照亮被摄物体。
图3示出了观察面板一种优选的结构。观察面板主体呈圆形,可内嵌于传感器外壳底部的圆柱形槽体;观察面板四周有环形开孔,透过环形开孔图像采集单元可直接拍摄到传感器所接触的物体表面;观察面板中央有圆形环状阶梯结构,用于内嵌接触软体;透过观察面板中心圆形开孔,图像采集单元可拍摄到软体的形变情况,用以传感分析。
所述接触软体使用了聚二甲基硅氧烷(PDMS),PDMS是由道康宁公司推出的一种可热固化材料,其材料本身是聚二甲基硅氧烷主链的高分子聚合物,固化后形成光学透明、具有弹性的介电材料。PDMS材料本身生物形容性优异,所制备的PDMS器件能够很好的满足特种需求的应用场所,如医疗器械、微流控生物芯片基片或者盖片、基因检测方面等等。
PDMS软体受到剪应力后发生形变,接触面为一个正圆形,只需要测量出接触软体的球体半径及其弹性模量,就可以得到接触面上压力的分布,且根据以下公式可知软体的形变程度与受力大小正相关。
σx=E·εx
其中σx为应力,εx为形变,E为接触软体的弹性模量。
搭建三维力学试验平台,记录不同受力情况下的软体形变模式,用以传感器进行受力大小和方向的检测和识别。
图7示出了不同情况下软体形变示意图,当软体受不同方向静摩擦时,有向不同方向形变的趋势。
在滑动的早期阶段,软体与接触物体接触,开始发生形变后接触面积逐渐增大,但是不发生相对位移,所受到的力为静摩擦力;在滑动阶段,软体形变程度和所受摩擦力不再扩大,所受摩擦力为滑动摩擦力。
图4示出了传感器工作流程图。传感器与物体接触后,图像数字处理单元对图像采集单元所拍摄的画面处理,将其所拍摄画面分割成接触软体像素部分和环状开孔像素部分;对接触软体像素部分进行特征边缘提取;
传感器首先检测物体是否发生滑动;检测受压力及静摩擦力时,结合软体形变模式识别计算传感器三维受力情况;检测受滑动摩擦力时,使用光流算法计算接触物体的滑动距离;
使用分体式光流法,将图像采集单元连接到一个运行到运行光流算法的微控制器上。微控制器可以使用STM32F407等,约167MHz的时钟频率可以满足光流算法的计算需求,1Mbyte的闪存可以存储连续的多帧画面,不需要借助外部存储。
在数字图像处理单元中,首先对图像采集单元拍摄的画面进行灰度处理,然后逐帧对图像进行降噪处理或者在相邻多帧间使用时域降噪算法。对于单帧降噪,可使用非局部均值滤波算法,在相邻的像素之间通过加权平均以减少噪声的方差。对于时域降噪算法,需要通过像素对齐对比时间线上的不同帧,使之对其和融合后进行降噪。
可使用较为成熟的Lucas-Kanade(L-K)光流算法,这是一种常见的两帧差分的光流估计算法。但L-K光流算法的受到区域一致性假设的约束,只受用于小速度、亮度不变的区域,因此需要建立高斯金字塔逐层缩小图像尺寸。

Claims (7)

1.一种基于单触点软体视觉的触滑觉集成式传感器,其特征在于,所述传感器包括:
传感器壳体单元(13)为不透光的圆柱体,内有中空结构且两端开孔,用于传导光路、遮蔽外部干扰光线;
传感器观察面板(14)设于所述传感器壳体单元(13)底部,传感器观察面板(14)中心设有圆形通孔(14-3),该圆形通孔(14-3)外周设有圆形环状阶梯支撑结构(14-2),所述圆形环状阶梯支撑结构(14-2)外周设有环形开孔(14-1);
接触软体(15)为半圆球状,其开口处嵌于所述传感器观察面板(14)上的圆形环状阶梯支撑结构(14-2)上;其底部呈半圆球状,与检测物体接触;所述接触软体(15)为无色透明体,表面的规则纹理(17)作为辨识图案,在受力范围内,接触软体(15)发生弹性形变;
图像采集单元(11)设于所述传感器壳体单元(13)上端,具有朝向所述传感器壳体单元(13)内部拍摄的摄像头,所述摄像头能够采集传感器观察面板(14)的环形开孔(14-1)以及接触软体(15)的图像;
光源单元(12)设于所述图像采集单元(11)的前端,发出的光线照射到带有开孔的传感器观察面板(14)以及接触软体(15)上;
图像数字处理单元(16)连接图像采集单元(11)对所采集的图像进行处理,并计算出接触物体的受力情况和滑动距离;
所述图像数字处理单元(16),对图像采集单元(11)所拍摄画面进行分割,分割成接触软体像素部分和环形开孔像素部分;
所述图像数字处理单元(16),对分割出的接触软体像素部分进行灰度处理后,对接触软体表面的规则纹理(17)进行特征边缘提取;且使用实时提取的特征边缘进行接触软体形变模式识别,使用光流法进行像素点位移计算;
所述的图像数字处理单元(16)使用光流法对环形开孔像素部分和接触软体像素部分进行像素点位移计算,判断检测物体是否受到滑动摩擦力;若受到滑动摩擦力,则对环形开孔像素部分使用光流法,逐帧累加积分计算总位移;否则,计算接触软体(15)的三维受力;当接触软体(15)不再受力恢复形状后,算法检测到软体形变模式与零受力情况相符合,检测逻辑回归初始状态,并将累加积分的总位移清零,转而进入等待下一次检测的开始。
2.根据权利要求1所述的基于单触点软体视觉的触滑觉集成式传感器,其特征在于,所述接触软体(15),表面的规则纹理(17)形状规则;当所述传感器的接触软体(15)受外力作用产生形变时,表面的规则纹理(17)产生相应的形变和相对移动。
3.根据权利要求1所述的基于单触点软体视觉的触滑觉集成式传感器,其特征在于,所述图像采集单元(11),其聚焦平面为接触软体(15)表面;所述图像采集单元(11)拍摄的景深的深度要保证在所述接触软体(15)发生挤压形变时,仍能保持清晰地拍摄接触软体(15)表面的规则纹理(17),以及被接触物体的表面纹理。
4.根据权利要求1所述的基于单触点软体视觉的触滑觉集成式传感器,其特征在于,所述图像数字处理单元(16),对分割出的环形开孔像素部分使用光流法,进行像素点位移计算。
5.根据权利要求1所述的基于单触点软体视觉的触滑觉集成式传感器,其特征在于,所述接触软体形变模式识别为:预先通过试验将特征边缘之间的相对移动与接触软体形变模式之间建立映射关系,作为接触软体形变模式识别的预存形变模式数据库;所述图像数字处理单元(16)使用接触软体形变模式识别的结果,在预存接触软体受力数据库中进行查找,计算不同形变模式下接触软体的三维受力情况;该三维受力计算基于形变结果搜索到的受力数据查表值进行插值。
6.根据权利要求5所述的基于单触点软体视觉的触滑觉集成式传感器,其特征在于,所述的插值是在最接近的数据点上添加增量,增量的具体数值是形变增量乘以接触软体的弹性模量。
7.根据权利要求5所述的基于单触点软体视觉的触滑觉集成式传感器,其特征在于,所述的预存接触软体受力数据库为:预先通过试验测得形变接触软体的弹性模量在内的相关物理参数,建立接触软体形变模式与接触软体实际受力的映射关系的预存数据库。
CN202210566806.1A 2022-05-23 2022-05-23 一种基于单触点软体视觉的触滑觉集成式传感器 Active CN114993542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210566806.1A CN114993542B (zh) 2022-05-23 2022-05-23 一种基于单触点软体视觉的触滑觉集成式传感器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210566806.1A CN114993542B (zh) 2022-05-23 2022-05-23 一种基于单触点软体视觉的触滑觉集成式传感器

Publications (2)

Publication Number Publication Date
CN114993542A CN114993542A (zh) 2022-09-02
CN114993542B true CN114993542B (zh) 2023-12-08

Family

ID=83027175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210566806.1A Active CN114993542B (zh) 2022-05-23 2022-05-23 一种基于单触点软体视觉的触滑觉集成式传感器

Country Status (1)

Country Link
CN (1) CN114993542B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117168661B (zh) * 2023-06-13 2024-03-15 九普医疗科技(东莞)有限公司 基于机器视觉的智能医疗床垫压力分布监测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1853093A (zh) * 2003-09-16 2006-10-25 株式会社东京大学Tlo 光学式触觉传感器和使用该传感器的力矢量分布再构成法
CN106052914A (zh) * 2016-07-21 2016-10-26 清华大学 一种基于视觉的触觉测量传感器
CN111721451A (zh) * 2020-06-19 2020-09-29 北京化工大学 基于图像的触觉传感方法、微型化装置及装置制备方法
CN112051853A (zh) * 2020-09-18 2020-12-08 哈尔滨理工大学 基于机器视觉的智能避障系统及方法
CN112304248A (zh) * 2019-07-25 2021-02-02 南京科沃斯机器人技术有限公司 触觉传感器、机器人、弹性体及物体感测方法和计算设备
CN113049166A (zh) * 2021-04-12 2021-06-29 清华大学 触觉传感器及具有该触觉传感器的机器人
CN114147750A (zh) * 2021-12-03 2022-03-08 廊坊晶正光电技术有限公司 一种图像化感知压力的机器人触觉感知系统及触觉感知方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1853093A (zh) * 2003-09-16 2006-10-25 株式会社东京大学Tlo 光学式触觉传感器和使用该传感器的力矢量分布再构成法
CN106052914A (zh) * 2016-07-21 2016-10-26 清华大学 一种基于视觉的触觉测量传感器
CN112304248A (zh) * 2019-07-25 2021-02-02 南京科沃斯机器人技术有限公司 触觉传感器、机器人、弹性体及物体感测方法和计算设备
CN111721451A (zh) * 2020-06-19 2020-09-29 北京化工大学 基于图像的触觉传感方法、微型化装置及装置制备方法
CN112051853A (zh) * 2020-09-18 2020-12-08 哈尔滨理工大学 基于机器视觉的智能避障系统及方法
CN113049166A (zh) * 2021-04-12 2021-06-29 清华大学 触觉传感器及具有该触觉传感器的机器人
CN114147750A (zh) * 2021-12-03 2022-03-08 廊坊晶正光电技术有限公司 一种图像化感知压力的机器人触觉感知系统及触觉感知方法

Also Published As

Publication number Publication date
CN114993542A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
Abad et al. Visuotactile sensors with emphasis on gelsight sensor: A review
Fu et al. Sensing technology for human activity recognition: A comprehensive survey
Chakraborty et al. Review of constraints on vision‐based gesture recognition for human–computer interaction
Zhang et al. Fingervision tactile sensor design and slip detection using convolutional lstm network
Lepora et al. Superresolution with an optical tactile sensor
Dawar et al. Action detection and recognition in continuous action streams by deep learning-based sensing fusion
JP7118042B2 (ja) 距離判定システム、コンピュータ実装方法、及び、コンピュータ・プログラム製品
CN114993542B (zh) 一种基于单触点软体视觉的触滑觉集成式传感器
Cramphorn et al. Addition of a biomimetic fingerprint on an artificial fingertip enhances tactile spatial acuity
US5459329A (en) Video based 3D tactile reconstruction input device having a deformable membrane
CN105701331A (zh) 计算机辅助诊断设备和计算机辅助诊断方法
Zhou et al. Hand-written character recognition using MEMS motion sensing technology
CN104838337A (zh) 用于用户界面的无触摸输入
CN106092382A (zh) 一种基于弹性体三维形变的触觉传感器及检测方法
KR950030985A (ko) 비침습혈액분석장치
CN102667849A (zh) 伪指判别设备
CN106157279A (zh) 基于形态学分割的眼底图像病变检测方法
Möller et al. A framework for automated cell tracking in phase contrast microscopic videos based on normal velocities
CN114502937A (zh) 触觉传感器
Su et al. Multi-view fall detection based on spatio-temporal interest points
CN112568878A (zh) 基于视觉的压力传感器、设备及应用方法
Bewley et al. Optical-tactile sensor for lump detection using pneumatic control
Gomes et al. GelTip tactile sensor for dexterous manipulation in clutter
CN114043506B (zh) 一种多模态触觉感知装置及其应用方法
Lang Optical tactile sensors for medical palpation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant