CN112652060A - 一种基于粒子图像测速法的多模态视触觉传感系统及方法 - Google Patents
一种基于粒子图像测速法的多模态视触觉传感系统及方法 Download PDFInfo
- Publication number
- CN112652060A CN112652060A CN202110011786.7A CN202110011786A CN112652060A CN 112652060 A CN112652060 A CN 112652060A CN 202110011786 A CN202110011786 A CN 202110011786A CN 112652060 A CN112652060 A CN 112652060A
- Authority
- CN
- China
- Prior art keywords
- layer
- particle
- sensing layer
- elastic sensing
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000000917 particle-image velocimetry Methods 0.000 title claims abstract description 41
- 230000000007 visual effect Effects 0.000 title claims abstract description 26
- 239000002245 particle Substances 0.000 claims abstract description 42
- 238000006073 displacement reaction Methods 0.000 claims abstract description 32
- 230000008859 change Effects 0.000 claims abstract description 16
- 239000010410 layer Substances 0.000 claims description 134
- 239000000758 substrate Substances 0.000 claims description 11
- 239000011241 protective layer Substances 0.000 claims description 8
- 238000012876 topography Methods 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 4
- 229910052751 metal Inorganic materials 0.000 claims description 4
- 239000002184 metal Substances 0.000 claims description 4
- 239000000843 powder Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000087 stabilizing effect Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 abstract description 4
- 230000035945 sensitivity Effects 0.000 abstract description 4
- 239000000463 material Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000004205 dimethyl polysiloxane Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 229920000435 poly(dimethylsiloxane) Polymers 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- -1 Polydimethylsiloxane Polymers 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000004528 spin coating Methods 0.000 description 1
- 238000004544 sputter deposition Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Force Measurement Appropriate To Specific Purposes (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种基于粒子图像测速法的多模态视触觉传感系统及方法，包括：传感器支架；设置于传感器支架上用于与外界物体接触和测力的弹性传感层；设置于传感器支架上并位于弹性传感层下方的光源；设置于弹性传感层的下方的图像采集装置，用于获取外界物体与弹性传感层物体接触前和接触后的图像；处理器，根据图像采集装置反馈的接触前后的图像，利用粒子图像测速方法对触觉传感器中的接触力进行分析和重构，通过弹性传感层表面粒子在不同接触力下的位移场变化来判断接触力的种类并计算大小；利用光度立体算法对物体表面形状进行三维重建。本发明具有准确率高、灵敏度好、工艺简单，算法简便等优点，可适用于机器人触觉感知和生物医学场景。
Description
技术领域
本发明涉及视觉触觉传感领域，具体地，涉及基于粒子图像测速法的多模态视触觉传感系统及方法，适用于用于机器人触觉感知和生物医学场景。
背景技术
接触力测量和表面形貌识别的触感是人机交互和机器人物体操纵领域中最重要的研究热点之一。为了实现微几何感知、目标定位和三维重建，研究者对不同的触觉传感机制进行了研究广泛，例如压阻、电容、压电和光学。光学触觉传感器具有3D可视化、高分辨率和抗电磁干扰能力的突出优点，可以克服其他触觉传感类型不可避免的局限性。基于视觉的传感器是光学触觉传感器的子类别，接触力检测的关键是基于弹性原理，将力与特征变形准确可靠地关联起来，三维重建技术的结合对于视觉触觉传感器在物体接触力的测量具有可观的优化效果。
经过对现有技术文献的检索发现，一般在弹性传感层嵌入点状标记并记录由接触力引起的光强度变化，并提取点状标记的位移以进行有效的接触力检测。Seunghyun Choi，Kenji Tahara等在2020IEEE/SICE International Symposium on System Integration(SII)撰文“Development of a Visual-Tactile Fingertip Sensor and an ObjectManipulation Method using a Multi-Fingered Robotic Hand”(“视觉触觉指尖传感器的开发和使用多指机器人手的物体操纵方法”)(2020年IEEE/SICE国际系统集成研讨会(SII))。该文献中提及一种基于点云虚拟点测量的视觉触觉指尖传感器，原理是通过在计算点云时创建虚拟点测量每个点标记由于接触力而产生的变形。此外，其它文献中采用深度学习和机器学习方法，例如卷积神经网络、延时神经网络和高斯过程。上述文献中触觉传感器的缺点是复杂且耗时的图像处理算法、繁琐的加工工艺，以及在后续研究中的可移植性不足，为实际应用设置了障碍。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于粒子图像测速法的多模态视触觉传感系统及方法。
本发明第一个方面提供一种基于粒子图像测速法的多模态视触觉传感系统，包括：
用于支撑和稳定传感系统整体的传感器支架；
设置于所述传感器支架上用于与外界物体接触和测力的弹性传感层；
设置于所述传感器支架上并位于所述弹性传感层下方的光源，所述光源从三个以上不同方向的照射到所述弹性传感层；
设置于所述弹性传感层的下方的图像采集装置，且所述图像采集装置与所述弹性传感层垂直布置，用于获取物体与所述弹性传感层接触前和接触后的图像；以及分别获取在不同方向照射条件下物体的图像，并将所获取的图像传输至处理器；
处理器，根据所述图像采集装置反馈的接触前、接触后的图像，利用粒子图像测速方法对所述弹性传感层中的接触力进行分析和重构，即通过所述弹性传感层表面粒子在不同接触力下的位移场变化来判断接触力的种类并计算大小；以及根据获取在不同方向照射条件下物体的图像，利用光度立体算法对物体表面形貌进行三维重建。
优选地，所述传感器支架包括：
用于支撑所述弹性传感层的顶层；所述顶层为三角形檐状平台；
设置于所述顶层正下方的中间层；所述中间层的四角设有用于支撑所述光源的倾斜平台，以固定光源照射角度；所述中间层的中心位置设有用于固定所述图像采集装置的方孔；
设置于所述中间层下方支撑上方构件的底层。
优选地，所述弹性传感层包括：
位于最底层的柔性透光基体；
设置于所述柔性透光基体上表面的深色标记层；
设置于所述深色标记层上表面的超薄透明保护层；
设置于所述超薄透明保护层上表面由金属粉末制成的反射层，所述反射层用于反馈物体的触觉信息和保护所述深色标记层；在不同接触力的作用下，所述反射层上粒子位移的方向和大小不同，且不同的粒子位移方向所呈现的结果与接触力的种类相关，所述粒子位移的大小与接触力的大小呈现线性关系。
优选地，所述光源由多个LED或多个LD组成。
优选地，所述图像采集装置采用USB相机。
本发明第二方面提供一种基于粒子图像测速法的多模态视触觉传感方法，包括采用上述的基于粒子图像测速法的多模态视触觉传感系统进行。
优选地，基于粒子图像测速法的多模态视触觉传感方法包括：
将物体与弹性传感层发生接触，在光源照射条件下，通过弹性传感层的反射层反馈物体的触觉信息，同时由图像采集装置获取所述物体与弹性传感层接触前后的图像，并将采集图像传输给处理器；利用粒子图像测速方法得出了物体与弹性传感层接触前后的表面颗粒流速信息，通过物体与弹性传感层接触前后粒子位移的变化，来判断接触力的种类及其大小；
利用光度立体算法对物体进行三维重建：通过图像采集装置分别获取光源从至少三个方向照射物体的图像，并将采集的图像传输给所述处理器，所述处理器利用多个光源在多个不同角度上拍摄的多个图像的光强度，计算得到物体表面有限微小单元的高度和方向梯度，恢复出图像上物体的三维信息，从而获取物体的表面形貌。
优选地，所述处理器利用粒子图像测速方法得出了物体与弹性传感层接触前后的表面颗粒流速信息，通过物体与弹性传感层接触前后粒子位移的变化，来判断接触力的种类并计算大小，其中，
在一张图像瞬时速率一致的情况下，每个粒子的流速即代表位移信息；以不同长度的箭头表示物体与弹性传感层接触前后粒子位移的变化，经计算得到粒子位移的大小与接触力的大小呈现线性关系，并通过箭头所指方向的结果直观判定接触力的种类。
与现有技术相比，本发明具有如下至少一种的有益效果：
本发明上述系统，首次提出将粒子图像测速算法引入触觉感知领域，建立力与流速之间的一对一的线性关系，构建了新型的多模态触觉传感器系统；该系统将传感器支架、独立光源及图像采集装置集成到一个整体的触觉传感系统，满足了高分辨三维重建和多种类型的力检测要求；基于粒子图像测速的独立性，还可以通过集成光度立体算法来对对象进行三维重建并评估形状，实现多模态检测；对于不同大小的接触力具有强大的感知能力，在多功能触觉感知中具有可行且稳定的便携性，有望在人机交互技术领域研制出可移植的触觉感知系统。
本发明上述系统，弹性传感层柔性极好，灵敏度很高，制备工艺简单，系统集成方法简便。
本发明上述系统，对物体形状和接触力的测量准确率高、重复性好，且算法简单，不受硬件内存和算力限制。适用于机器人触觉感知和生物医学场景。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明一优选实施例的基于粒子图像测速法的多模态视触觉传感系统的整体结构示意图；
图2是本发明一优选实施例的基于粒子图像测速法的多模态视触觉传感系统的弹性传感层的制作工艺流程图；
图3是本发明一优选实施例的传感器粒子图像测速法法向力测试结果示意图；
图4是本发明一优选实施例的传感器粒子图像测速法切向力测试结果示意图；
图5是本发明一优选实施例的传感器粒子图像测速法扭转力测试结果示意图；
图中标记分别表示为：多模态视觉触觉传感系统1、传感器支架2、弹性传感层3、光源4、图像采集装置5、引出线6、计算机7、柔性透光基体8、深色标记层9、超薄透明保护层10、反射层11。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
参照图1所示，为本发明一优选实施例的基于粒子图像测速法的多模态视触觉传感系统1的整体结构示意图，该系统用于测量物体按压时的形状和接触力，并可进一步用于机器人触觉感知和生物医学场景。图中包括传感器支架2、弹性传感层3、光源4、图像采集装置5及处理器；其中；
传感器支架2具有支撑和固定整个系统各组成部件的平台和容纳空间，起到支撑和稳定传感系统整体作用。
参照图1所示，弹性传感层3设置于传感器支架2上，用于与外界物体接触和测力。
参照图1所示，在弹性传感层3下方设置光源4。光源4与控制电路相连，用于光源4的控制。上述传感器支架2是全黑色不透光，传感层也是不透光的，因此为了实现接触力的测量，需要光源4照射。另外，针对物体表面形貌的三维重建，需要三个以上不同方向的光源4照射到反射层11上，之后被相机拍摄后处理，能够实现三维重建。可根据多个光源4在多个不同角度上拍摄的多个图像的光强度，计算得到物体表面有限微小单元的高度和方向梯度，恢复出图像上物体的三维信息。
参照图1所示，图像采集装置5设置于弹性传感层3的下方，且图像采集装置5与弹性传感层3垂直布置，用于获取外界物体与弹性传感层3物体接触前和接触后的图像；以及分别获取在不同方向照射条件下物体的图像，并将获取的图像传输至处理器。
处理器根据图像采集装置5反馈的接触前后的图像，利用粒子图像测速方法对触觉传感器中的接触力进行分析和重构，通过弹性传感层3表面粒子在不同接触力下的位移场变化来判断接触力的种类并计算大小；以及根据获取在不同方向照射条件下物体的图像，利用光度立体算法对物体表面形貌进行三维重建。
在具体实施时，在传感器支架2上即在弹性传感层3下方设置四个光源4，在粒子图像测速中只需要四个灯全部打开，在四个光源4的照射下拍摄接触前和接触后的照片即可进行测试。而光度立体算法是需要四个灯依次打开，分别获得在每个灯照射下的照片，即得到四张照片，作为算法的输入得到三维重建后的图像，输入四张照片得到一张重建好的图片，也就完成了三维重建的功能。
例如：当施加某一值的力的时候，通过粒子图像测速算法能够得到图3、4、5一样的箭头，这个箭头的长度在不同大小的接触力下是不同的，测试了0-20N力作用下流速的变化，发现力和测出来的流速是呈线性关系的。比如1N的力对应2.8pixel/frame的流速，此单位是piv(粒子图像测速)方法特有的。通过这个线性关系，当用某一个物体按压的时候可以照相，得到照片用piv计算得到流速，从而获得对应的接触力。
上述系统，光度立体算法和粒子图像测速方法分别用于对象的三维重建和评估接触力的类型和大小。其中，光度立体算法是根据单个光源4在多个不同角度上拍摄的多个图像的光强度，计算得到物体表面有限微小单元的高度和方向梯度，恢复出图像上物体的三维信息。采用粒子图像测速方法，经过弹性传感层3上每个粒子与用于校正的深色标记在不同种类和大小的接触力作用下，发生不同方向和大小的位移，粒子位移的方向变化反馈为物体接触力的种类，同时粒子位移的大小变化线性反馈为物体接触力的大小。上述系统，采用光度立体算法和粒子图像测速法结合的方法进行多模态视触觉传感，可通过相机拍摄得到的结果能够同时反映出施加接触力的物体的形状和接触力的大小和种类。具有准确率高、灵敏度好、工艺简单、算法简便等优点。该系统对于机器人触觉感知和生物医学的应用和发展具有重要作用。
在其他部分优选实施例中，参照图1所示，传感器支架2由顶层、中间层和底层组成，并在两层之间构成容纳空间，其中，顶层用于支撑弹性传感层3；顶层为三角形檐状平台。将弹性传感层3呈水平固定于顶层上。中间层设置于顶层正下方的；中间层的四角设有用于支撑光源4的倾斜平台，以固定光源4照射角度；中间层的中心位置设有用于固定图像采集装置5的方孔；作为一优选方式，中间层设有用于穿过引线的小孔。
底层在支撑整个多模态视触觉传感系统的基础上，还设有用于引出所需传输线的通孔或槽。
在其他部分优选实施例中，参照图2所示，弹性传感层3包括柔性透光基体8、深色标记层9、超薄透明保护层10和由金属粉末制成的反射层11；
其中，位于最底层的柔性透光基体8；柔性透光基体8材料选择具有较高的柔性和高透光性，能够满足传感器灵敏度和光学传感的需求。作为一优选方式，柔性透光基体8材料采用聚二甲基硅氧烷(Polydimethylsiloxane，PDMS)。
深色标记层9设置于柔性透光基体8上表面；反射层11上的粒子位移会受到深色标记的校正，比无深色标记时得到的结果呈现出更小的噪声和一致性。深色标记层9的材料可以选用铬。
超薄透明保护层10设置于深色标记层9上表面；超薄透明保护层10的材料可以选用PDMS。超薄透明保护层10的厚度尺寸为200微米-600微米。
反射层11设置于超薄透明保护层10上表面，反射层11用于反馈物体的触觉信息和保护深色标记层9；当外界物体与弹性传感层3接触，反射层11将反馈物体的触觉信息。
在不同接触力的作用下，反射层11上粒子位移的方向和大小不同，且不同的粒子位移方向所呈现的结果与接触力的种类相关，粒子位移的大小与接触力的大小呈现线性关系。
在具体实施时，弹性传感层3采用微纳加工技术制备：深色标记层9是在硬掩模下通过溅射方法将黑色的铬材料沉积在柔性透光基体8上，厚度约200nm。超薄透明保护层10采用PDMS材料，可通过旋涂方法制备生成，覆盖住深色标记层9凸起的部分。反射层11可通过将铝粉经过超声分散掺入PDMS中，并印刷到沉积了深色标记层9的柔性透光基体8上。
在其他部分优选实施例中，光源4由多个LED或LD组成，多个LED或LD对称分布于中间层。作为一优选方式，光源4采用4个LED灯，将4个LED灯分别安装于传感器支架2的中间层的四个角。中间层设有小孔支撑起LED灯的正负两极。具体实施时，在传感器支架2的中间层的四角上分别设置一个LED灯，且四个LED灯对称分布；其中，针对物体表面形貌的三维重建，依次打开四个LED灯，从不同方向照射是指在传感器支架2上的俯视图位置不同，但是四个LED灯倾斜的角度是一致的。
在其他部分优选实施例中，图像采集装置5采用USB相机；USB相机自动变焦的范围在15mm-25mm。将USB相机可以固定传感器支架2中间层的方孔，并使USB相机与弹性传感层3保持垂直。USB相机拍摄由金属粉末制成的反射层11所呈现的图像。将USB相机、LED灯的引出线6可穿过传感器支架2的中间层引出到外接的计算机7。
在另一实施例中，提供一种基于粒子图像测速法的多模态视触觉传感方法，由上述系统进行。包括：
当模拟人类手指的压头与传感器的弹性传感层接触，在光源照射条件下，弹性传感层的反射层11反馈物体的触觉信息；同时，图像采集装置5获取压头与弹性传感层接触前后的照片，即获取反馈的触觉信息并将其传输给计算机，用于后续图像处理与算法测试；
利用粒子图像测速方法评估接触力的类型和大小：通过粒子图像测速方法得出了压头与弹性传感层接触前后的表面颗粒流速信息，其中，在一张图像瞬时速率一致的情况下，每个粒子的流速即代表位移信息；以不同长度的箭头表示压头与弹性传感层接触前后粒子位移的变化，经计算得到粒子位移的大小与接触力的大小呈现线性关系，从而可判断接触力的大小，并通过箭头所指方向的结果直观判定接触力的种类。
粒子图像测速方法得出了压头与弹性传感层接触前后的表面颗粒流速信息可通过图像中箭头所指方向的结果直观判定接触力的种类，即图3、图4和图5分别表示施加法向力、切向力和扭转力所得到的结果。图3、图4和图5中不同长度的箭头表示了物体接触前后标记的变化，经计算得到粒子位移的大小与接触力的大小呈现线性关系。
利用光度立体算法对物体进行三维重建：图像采集装置获取在不同方向照射条件下物体的图像并传输给处理器，处理器根据单个光源在多个不同角度上拍摄的多个图像的光强度，计算得到物体表面有限微小单元的高度和方向梯度，恢复出图像上物体的三维信息。
除此之外，例如人类的指纹也可以通过三维重建。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质。
Claims (8)
1.一种基于粒子图像测速法的多模态视触觉传感系统，其特征在于，包括：
用于支撑和稳定传感系统整体的传感器支架；
设置于所述传感器支架上用于与外界物体接触和测力的弹性传感层；
设置于所述传感器支架上并位于所述弹性传感层下方的光源，所述光源从三个以上不同方向的照射到所述弹性传感层；
设置于所述弹性传感层的下方的图像采集装置，且所述图像采集装置与所述弹性传感层垂直布置，用于获取物体与所述弹性传感层接触前和接触后的图像；以及分别获取在不同方向照射条件下物体的图像，并将所获取的图像传输至处理器；
处理器，根据所述图像采集装置反馈的接触前、接触后的图像，利用粒子图像测速方法对所述弹性传感层中的接触力进行分析和重构，即通过所述弹性传感层表面粒子在不同接触力下的位移场变化来判断接触力的种类并计算大小；以及根据获取在不同方向照射条件下物体的图像，利用光度立体算法对物体表面形貌进行三维重建。
2.根据权利要求1所述的基于粒子图像测速法的多模态视触觉传感系统，其特征在于，所述传感器支架包括：
用于支撑所述弹性传感层的顶层；所述顶层为三角形檐状平台；
设置于所述顶层正下方的中间层；所述中间层的四角设有用于支撑所述光源的倾斜平台，以固定光源照射角度；所述中间层的中心位置设有用于固定所述图像采集装置的方孔；
设置于所述中间层下方支撑上方构件的底层。
3.根据权利要求1所述的基于粒子图像测速法的多模态视触觉传感系统，其特征在于，所述弹性传感层包括：
位于最底层的柔性透光基体；
设置于所述柔性透光基体上表面的深色标记层；
设置于所述深色标记层上表面的超薄透明保护层；
设置于所述超薄透明保护层上表面由金属粉末制成的反射层，所述反射层用于反馈物体的触觉信息和保护所述深色标记层；在不同接触力的作用下，所述反射层上粒子位移的方向和大小不同，且不同的粒子位移方向所呈现的结果与接触力的种类相关，所述粒子位移的大小与接触力的大小呈现线性关系。
4.根据权利要求1所述的基于粒子图像测速法的多模态视触觉传感系统，其特征在于，所述光源由多个LED或多个LD组成。
5.根据权利要求1所述的基于粒子图像测速法的多模态视触觉传感系统，其特征在于，所述图像采集装置采用USB相机。
6.一种基于粒子图像测速法的多模态视触觉传感方法，其特征在于，包括采用权利要求1-5任意一项所述的基于粒子图像测速法的多模态视触觉传感系统进行。
7.根据权利要求6所述的基于粒子图像测速法的多模态视触觉传感方法，其特征在于，包括：
将物体与弹性传感层发生接触，在光源照射条件下，通过弹性传感层的反射层反馈物体的触觉信息，同时由图像采集装置获取物体与弹性传感层接触前后的图像，并将采集图像传输给处理器；利用粒子图像测速方法得出了物体与弹性传感层接触前后的表面颗粒流速信息，通过物体与弹性传感层接触前后粒子位移的变化，来判断接触力的种类及其大小；
利用光度立体算法对物体进行三维重建：通过图像采集装置分别获取光源从至少三个方向照射物体的图像，并将采集的图像传输给所述处理器，所述处理器利用多个光源在多个不同角度上拍摄的多个图像的光强度，计算得到物体表面有限微小单元的高度和方向梯度，恢复出图像上物体的三维信息，从而获取物体的表面形貌。
8.根据权利要求7所述的基于粒子图像测速法的多模态视触觉传感方法，其特征在于，所述处理器利用粒子图像测速方法得出了物体与弹性传感层接触前后的表面颗粒流速信息，通过物体与弹性传感层接触前后粒子位移的变化，来判断接触力的种类并计算大小，其中，
在一张图像瞬时速率一致的情况下，每个粒子的流速即代表位移信息；以不同长度的箭头表示物体与弹性传感层接触前后粒子位移的变化，经计算得到粒子位移的大小与接触力的大小呈现线性关系，并通过箭头所指方向的结果直观判定接触力的种类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110011786.7A CN112652060A (zh) | 2021-01-06 | 2021-01-06 | 一种基于粒子图像测速法的多模态视触觉传感系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110011786.7A CN112652060A (zh) | 2021-01-06 | 2021-01-06 | 一种基于粒子图像测速法的多模态视触觉传感系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112652060A true CN112652060A (zh) | 2021-04-13 |
Family
ID=75367472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110011786.7A Pending CN112652060A (zh) | 2021-01-06 | 2021-01-06 | 一种基于粒子图像测速法的多模态视触觉传感系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112652060A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114043506A (zh) * | 2021-10-27 | 2022-02-15 | 南昌大学 | 一种多模态触觉感知装置及其应用方法 |
| CN115410663A (zh) * | 2022-08-16 | 2022-11-29 | 大连理工大学 | 动态冲击/接触弹塑性大变形断裂分析显式相场物质点法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009145085A (ja) * | 2007-12-11 | 2009-07-02 | Univ Of Tsukuba | ３次元触覚センサ及び３次元触覚センシング方法 |
| US20090315989A1 (en) * | 2008-06-19 | 2009-12-24 | Adelson Edward H | Tactile sensor using elastomeric imaging |
| CN105787989A (zh) * | 2016-03-18 | 2016-07-20 | 山东大学 | 一种基于光度立体视觉的测量材质几何特征重构方法 |
| CN106092382A (zh) * | 2016-07-20 | 2016-11-09 | 山东大学 | 一种基于弹性体三维形变的触觉传感器及检测方法 |
| CN106595534A (zh) * | 2016-11-16 | 2017-04-26 | 南京航空航天大学 | 多维接触力及真实接触面积动态同步测试系统及方法 |
| CN107764538A (zh) * | 2017-11-17 | 2018-03-06 | 太原科技大学 | 一种综合磁流变液制动系统试验台 |
| CN110162175A (zh) * | 2019-05-16 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 基于视觉的触觉测量方法、装置、设备及存储介质 |
| CN110307929A (zh) * | 2019-07-08 | 2019-10-08 | 上海交通大学 | 一种基于压力敏感薄膜的流体压力测量系统及方法 |
| WO2020209715A1 (en) * | 2019-04-09 | 2020-10-15 | Technische Universiteit Delft | Pressure-difference sensitive stack |
| WO2020240202A1 (en) * | 2019-05-31 | 2020-12-03 | The Shadow Robot Company Limited | A tactile sensor |
-
2021
- 2021-01-06 CN CN202110011786.7A patent/CN112652060A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009145085A (ja) * | 2007-12-11 | 2009-07-02 | Univ Of Tsukuba | ３次元触覚センサ及び３次元触覚センシング方法 |
| US20090315989A1 (en) * | 2008-06-19 | 2009-12-24 | Adelson Edward H | Tactile sensor using elastomeric imaging |
| CN105787989A (zh) * | 2016-03-18 | 2016-07-20 | 山东大学 | 一种基于光度立体视觉的测量材质几何特征重构方法 |
| CN106092382A (zh) * | 2016-07-20 | 2016-11-09 | 山东大学 | 一种基于弹性体三维形变的触觉传感器及检测方法 |
| CN106595534A (zh) * | 2016-11-16 | 2017-04-26 | 南京航空航天大学 | 多维接触力及真实接触面积动态同步测试系统及方法 |
| CN107764538A (zh) * | 2017-11-17 | 2018-03-06 | 太原科技大学 | 一种综合磁流变液制动系统试验台 |
| WO2020209715A1 (en) * | 2019-04-09 | 2020-10-15 | Technische Universiteit Delft | Pressure-difference sensitive stack |
| CN110162175A (zh) * | 2019-05-16 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 基于视觉的触觉测量方法、装置、设备及存储介质 |
| WO2020240202A1 (en) * | 2019-05-31 | 2020-12-03 | The Shadow Robot Company Limited | A tactile sensor |
| CN110307929A (zh) * | 2019-07-08 | 2019-10-08 | 上海交通大学 | 一种基于压力敏感薄膜的流体压力测量系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| ALEXANDER C. ABAD: "Visuotactile Sensors With Emphasis on GelSight Sensor: A Review", 《IEEE SENSORS JOURNAL》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114043506A (zh) * | 2021-10-27 | 2022-02-15 | 南昌大学 | 一种多模态触觉感知装置及其应用方法 |
| CN115410663A (zh) * | 2022-08-16 | 2022-11-29 | 大连理工大学 | 动态冲击/接触弹塑性大变形断裂分析显式相场物质点法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dong et al. | Improved gelsight tactile sensor for measuring geometry and slip | |
| USRE44856E1 (en) | Tactile sensor using elastomeric imaging | |
| Lin et al. | Sensing the frictional state of a robotic skin via subtractive color mixing | |
| CN102667849B (zh) | 伪指判别设备 | |
| JP5261786B2 (ja) | ３次元触覚センサ及び３次元触覚センシング方法 | |
| CN108161994B (zh) | 一种多模态触觉感知装置 | |
| JP5013507B2 (ja) | 反射像を用いた触覚センサ | |
| EP1582846A3 (en) | Scale for use with a translation and orientation sensing system | |
| CN112652060A (zh) | 一种基于粒子图像测速法的多模态视触觉传感系统及方法 | |
| CN113892019A (zh) | 触觉传感器 | |
| WO2013016729A1 (en) | Optical tactile sensor | |
| JPH07128163A (ja) | 触覚センサ | |
| Gomes et al. | Blocks world of touch: Exploiting the advantages of all-around finger sensing in robot grasping | |
| CN112805660A (zh) | 用于人与虚拟对象交互的系统和方法 | |
| Kim et al. | UVtac: Switchable UV marker-based tactile sensing finger for effective force estimation and object localization | |
| EP3685304A1 (en) | Contactless rolled fingerprints | |
| US20240153115A1 (en) | Enhanced depth estimation using deep learning | |
| JP6729930B2 (ja) | 触覚評価方法および触覚評価システム | |
| Cao et al. | Touchroller: A rolling optical tactile sensor for rapid assessment of large surfaces | |
| US20230294300A1 (en) | Diffractive Visual-Tactile Sensing in Robotic Grippers | |
| Gomes et al. | Geltip tactile sensor for dexterous manipulation in clutter | |
| CN108534704A (zh) | 基于结构光的圆筒内壁检测系统 | |
| Wang et al. | A novel vision-based tactile sensor using particle image velocimetry for multi-modal object detection and force sensing | |
| WO2021076697A1 (en) | Retrographic sensors with compact illumination | |
| US20140055414A1 (en) | Touch screen using infrared ray, and touch recognition apparatus and touch recognition method for touch screen |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210413 |