CN114327053B - 一种基于真实测量下多因素的力触觉再现系统的设计方法 - Google Patents
一种基于真实测量下多因素的力触觉再现系统的设计方法 Download PDFInfo
- Publication number
- CN114327053B CN114327053B CN202111573034.6A CN202111573034A CN114327053B CN 114327053 B CN114327053 B CN 114327053B CN 202111573034 A CN202111573034 A CN 202111573034A CN 114327053 B CN114327053 B CN 114327053B
- Authority
- CN
- China
- Prior art keywords
- force
- force touch
- friction
- real
- hardness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013461 design Methods 0.000 title claims abstract description 15
- 238000005259 measurement Methods 0.000 title claims abstract description 13
- 230000001133 acceleration Effects 0.000 claims abstract description 16
- 238000006073 displacement reaction Methods 0.000 claims abstract description 13
- 230000003993 interaction Effects 0.000 claims abstract description 13
- 239000000523 sample Substances 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 6
- 230000000704 physical effect Effects 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 239000002245 particle Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 4
- 239000004575 stone Substances 0.000 description 4
- 239000007799 cork Substances 0.000 description 3
- 239000000123 paper Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- User Interface Of Digital Computer (AREA)
- Instructional Devices (AREA)
Abstract
本发明公开了一种基于真实测量下多因素的力触觉再现系统的设计方法，重点解决了原有力触觉再现系统在物体表面摩擦、硬度、纹理多因素影响下再现效果不佳的问题。该方法为：对与真实物体表面进行交互过程中产生的多路信号进行采集；将采集到的力、加速度和位移信号输入到多因素的力触觉再现模型中，计算物体表面的摩擦、硬度和纹理；在虚拟物体表面上通过PHANTOM OMNI和振动电机模拟人交互真实物体表面时的感受并反馈给操作者。本专利相对于传统的基于单一因素建立的力触觉再现模型，根据真实测量结果从多因素建立力触觉再现系统，可提升在多因素影响下物体表面力触觉再现系统的准确度和鲁棒性。
Description
技术领域
本发明属于力触觉技术领域，具体为一种基于真实测量下多因素的力触觉再现系统的设计方法。
背景技术
力触觉再现系统主要有基于物理图像的方法、基于几何约束的方法、基于真实测量数据的方法。在基于真实测量的再现方法中，大多数方法只关注物体表面的某一个物理特性，但这种单一因素建模的方法很难客观呈现物体表面的力触觉，不能准确地模拟人接触物体时的真实感受。
发明内容
针对以上问题，提出一种基于真实测量下多因素的力触觉再现系统的设计方法，本发明针对物体表面单一因素的建模不能充分反映其表面特征，从摩擦、硬度、纹理三个客观物理属性来构建力触觉再现系统，从而更好地再现人接触物体表面时的力触觉感受。
本发明一种基于真实测量下多因素的力触觉再现系统的设计方法，具体步骤如下，
S1，对与真实物体表面进行交互中产生的多路信号进行采集；
步骤S1所述的力触觉采集系统设计方法，具体如下：
第一步，力触觉采集系统的硬件部分由PHANTOM OMNI以及其上夹持固定的加速计和力传感器和振动电机一起构成；
第二步，力反馈装置PHANTOM OMIN的探针与物体的水平表面直接垂直接触，由于物体表面的凹凸不平，可将采集到的信号进行水平和垂直方向分解，分别为水平方向加速度ax，垂直方向加速度ay，水平方向力Fx，垂直方向力Fy和垂直方向位移Hy；
S2，将采集到的力、加速度和位移信号输入到多因素的力触觉再现模型中，计算物体表面的摩擦、硬度和纹理；
步骤S2所述的力触觉建模系统设计方法，具体如下：
第一步，物体表面的单一因素建模不足以客观反映人接触真实物体表面时的力触觉的感受，从摩擦、硬度、纹理三个客观物理属性来构建模型；
第二步，物体表面的力触觉摩擦反映了在物体表面有相对运动或相对运动趋势时的受阻情况，根据常见的库仑运动摩擦模型Ff＝u×F，其中，摩擦力Ff在数值上为测得的水平方向力Fx，u是探针在物体表面滑动时的动摩擦系数，F是物体表面的法向力，它在数值上等于测得的垂直方向作用力Fy；
第三步，物体表面的力触觉硬度取决于表面的弹性或压缩性，基于一维力交互算法FN＝k×H，其中，硬度的大小用力FN表示，大小等于测得的垂直方向作用力Fy，k是物体表面的刚度系数，H是探针插入物体表面的深度，它在数值上等于测量的位移；
第四步，物体表面的力触觉纹理取决于物体表面微观颗粒凹凸不平的分布特性，它一般用振动刺激的大小来表达，而振动的大小使用音圈电机的输出电压进行表示，根据V＝c×ay进行计算，其中，机电常数c是常数，它将垂直方向加速度转化为电机振动；
第五步，结合步骤2实际采集的数据，力反馈建模系统的力输出为其中a、b为力F根据摩擦和硬度矢量合成的系数，输出的振动为音圈电机的电压V。
S3，在虚拟物体表面上通过PHANTOM OMNI和电机模拟人交互真实物体表面时的感受，并反馈给操作者。
步骤S3所述的力触觉再现系统设计方法，具体如下：
第一步，力反馈装置PHANTOM OMIN由人控制它的末端进行移动，虚拟探针在虚拟物体表面滑动，通过3中建立的力触觉模型计算出水平和垂直方向作用力，并矢量合成输出力F,实时反馈给操作者。
第二步，振动反馈使用音圈电机，它可以用音圈电机两端电压V的大小来模仿振动的强弱，并实时反馈给操作者。
第三步，虚拟表面的输出力F和输出电压V来模拟人接触真实物体表面时的感受。
本专利公开了一种基于真实测量下多因素的力触觉再现系统的设计方法，重点解决了原有力触觉再现系统在物体表面摩擦、硬度、纹理多因素影响下再现效果不佳的问题。该方法为：对与真实物体表面进行交互过程中产生的多路信号进行采集；将采集到的力、加速度和位移信号输入到多因素的力触觉再现模型中，计算物体表面的摩擦、硬度和纹理；在虚拟物体表面上通过PHANTOM OMNI和振动电机模拟人交互真实物体表面时的感受并反馈给操作者。本专利相对于传统的基于单一因素建立的力触觉再现模型，根据真实测量结果从多因素建立力触觉再现系统，可提升在多因素影响下物体表面力触觉再现系统的准确度和鲁棒性。
附图说明
图1为力触觉再现系统的整体流程图；
图2为具体实施例算法运行流程图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提供一种基于真实测量下多因素的力触觉再现系统的设计方法，如附图1所示，它包含3个子系统，分别为力触觉采集系统、力触觉模型系统和力触觉再现系统。其中，力触觉采集系统采集探针与真实物体表面接触时的加速度、力和位移；力触觉模型系统根据摩擦、硬度和纹理来进行建模；力触觉再现系统通过OMNI和电机来模型真实人接触物体表面时的感受。具体包括以下步骤：
S1，对与真实物体表面进行交互中产生的多路信号进行采集；
步骤1所述的力触觉采集系统设计方法，具体如下：
第一步，力触觉采集系统的硬件部分由PHANTOM OMNI以及其上夹持固定的加速计和力传感器和振动电机一起构成。
第二步，力反馈装置PHANTOM OMIN的探针与物体的水平表面直接垂直接触，由于物体表面的凹凸不平，可将采集到的信号进行水平和垂直方向分解，分别为水平方向加速度ax，垂直方向加速度ay，水平方向力Fx，垂直方向力Fy和垂直方向位移Hy，如附图2所示。
S2，将采集到的力、加速度和位移信号输入到多因素的力触觉再现模型中，计算物体表面的摩擦、硬度和纹理；
步骤2所述的力触觉建模系统设计方法，具体如下：
第一步，物体表面的单一因素建模不足以客观反映人接触真实物体表面时的力触觉的感受，所以本专利从摩擦、硬度、纹理三个客观物理属性来构建模型。
第二步，物体表面的力触觉摩擦反映了在物体表面有相对运动或相对运动趋势时的受阻情况，根据常见的库仑运动摩擦模型Ff＝u×F。其中，摩擦力Ff在数值上为测得的水平方向力Fx，u是探针在物体表面滑动时的动摩擦系数，F是物体表面的法向力，它在数值上等于测得的垂直方向作用力Fy。
第三步，物体表面的力触觉硬度取决于表面的弹性或压缩性，它基于一维力交互算法FN＝k×H。其中，硬度的大小可以用力FN表示，大小等于测得的垂直方向作用力Fy，k是物体表面的刚度系数，H是探针插入物体表面的深度，它在数值上等于测量的位移。
第四步，物体表面的力触觉纹理取决于物体表面微观颗粒凹凸不平的分布特性，它一般用振动刺激的大小来表达，而振动的大小使用音圈电机的输出电压进行表示，根据V＝c×ay进行计算，其中，机电常数c是常数，它将垂直方向加速度转化为电机振动。
第五步，结合步骤2实际采集的数据，力反馈建模系统的力输出为其中a、b为力F根据摩擦和硬度矢量合成的系数，输出的振动为音圈电机的电压V。
S3，在虚拟物体表面上通过PHANTOM OMNI和电机模拟人交互真实物体表面时的感受，并反馈给操作者。
步骤3所述的力触觉再现系统设计方法，具体如下：
第一步，力反馈装置PHANTOM OMIN由人控制它的末端进行移动，虚拟探针在虚拟物体表面滑动，通过3中建立的力触觉模型计算出水平和垂直方向作用力，并矢量合成输出力F,实时反馈给操作者。
第二步，振动反馈使用音圈电机，它可以用音圈电机两端电压V的大小来模仿振动的强弱，并实时反馈给操作者。
第三步，虚拟表面的输出力F和输出电压V来模拟人接触真实物体表面时的感受。
实施例1：
步骤一：选择不同的真实物体表面来建立虚拟表面的模型。
1.为了便于区分摩擦、硬度、纹理的不同，所以选择了纸、软木、石块三个样本来进行实验。
2.根据1所述，可以通过纸和石块的触觉对比可体现出摩擦力大小的不同，软木和石块的触觉对比可提现硬度软硬的不同，通过纸、软木和石块三个样本的综合触感对比可体现出纹理凹凸性的不同。
步骤二：通过硬件和软件结合来采集与真实物体表面进行交互中产生的多路信号。
1.硬件部分使用PHANTOM OMNI来搭载加速度计和力传感器，分别来采集力、加速度和位移，使用音圈电机来采集振动。
2.软件部分通过labview进行编程，结合NI myDAQ数据采集卡对传感器采集到的数据进行处理，传入到上位机中。
3.在上位机中，需要对采集到的数据进行滤波处理，使用matlab进行编程，可使用截止频率为5HZ的三阶巴特沃斯高通滤波器进行滤波处理。
步骤三：通过摩擦、硬度、纹理三个方面，来建立力触觉再现系统。
1.首先在计算机中安装PHANTOMO OMNI的驱动程序OpenHapticsdriver和运行OMNI所需的头文件及库函数以实现虚拟表面的搭建和再现，使用window下的visualstudio进行算法实现。
2.再现时的算法如图2所示，主要由初始化设备、查询设备状态、导入数据、力触觉模型函数、导入图片并显示、实时再现控制六个部分组成。
3.初始化设备：在运行程序后，一切的操作之前都需要初始化再现设备。
4.查询设备状态：在再现设备初始化后，需要记录设备的状态并且可实时查询设备当前的位置、力的工作状态以方便后续的再现控制。
5.数据部分：本文一共使用了3种样本，所以需要将3种样本的力、加速度、位置信号依次导入到算法中。
6.力触觉模型函数：摩擦模型、硬度模型、纹理模型三部分，它们输出结果进行耦合，最终通过再现系统进行输出来模拟虚拟的物体表面。
7.图片部分：设置样本图片文件路径、导入样本图片和显示样本图片三部分。
8.实时再现控制：在程序运行后，随着现实中鼠标的移动，虚拟表面中对应的探针也要发生移动，在每个周期后不断地对物体表面的模型函数进行回调，从而更新此时表面的力和位置。
步骤四：力触觉再现时通过PHANTOMO OMNI和音圈电机C-2来进行力和振动的再现。
1.受试者坐在电脑前的一张桌子上，戴着播放音乐的耳机来掩盖外面的声音，这种方式确保了受试者在研究过程中只使用触觉而不受到听觉的干扰。
2.受试者通过操纵的PHANTOMO OMNI臂端，在虚拟物体表面滑动虚拟探针，根据输出的力和振动，与真实物体表面触感作比较。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。
Claims (1)
1.一种基于真实测量下多因素的力触觉再现系统的设计方法，具体步骤如下，其特征在于，
S1，对与真实物体表面进行交互中产生的多路信号进行采集，具体如下：
第一步，力触觉采集系统的硬件部分由PHANTOM OMNI以及其上夹持固定的加速计和力传感器和振动电机一起构成；
第二步，力反馈装置PHANTOM OMIN的探针与物体的水平表面直接垂直接触，由于物体表面的凹凸不平，可将采集到的信号进行水平和垂直方向分解，分别为水平方向加速度ax，垂直方向加速度ay，水平方向力Fx，垂直方向力Fy和垂直方向位移Hy；
S2，将采集到的力、加速度和位移信号输入到多因素的力触觉再现模型中，计算物体表面的摩擦、硬度和纹理，具体如下：
第一步，物体表面的单一因素建模不足以客观反映人接触真实物体表面时的力触觉的感受，从摩擦、硬度、纹理三个客观物理属性来构建模型；
第二步，物体表面的力触觉摩擦反映了在物体表面有相对运动或相对运动趋势时的受阻情况，根据常见的库仑运动摩擦模型Ff＝u×F，其中，摩擦力Ff在数值上为测得的水平方向力Fx，u是探针在物体表面滑动时的动摩擦系数，F是物体表面的法向力，它在数值上等于测得的垂直方向作用力Fy；
第三步，物体表面的力触觉硬度取决于表面的弹性或压缩性，基于一维力交互算法FN＝k×H，其中，硬度的大小用力FN表示，大小等于测得的垂直方向作用力Fy，k是物体表面的刚度系数，H是探针插入物体表面的深度，它在数值上等于测量的位移；
第四步，物体表面的力触觉纹理取决于物体表面微观颗粒凹凸不平的分布特性，它一般用振动刺激的大小来表达，而振动的大小使用音圈电机的输出电压进行表示，根据V＝c×ay进行计算，其中，机电常数c是常数，它将垂直方向加速度转化为电机振动；
第五步，结合步骤2实际采集的数据，力反馈建模系统的力输出为其中a、b为力F根据摩擦和硬度矢量合成的系数，输出的振动为音圈电机的电压V；
S3，在虚拟物体表面上通过PHANTOM OMNI和电机模拟人交互真实物体表面时的感受，并反馈给操作者，具体如下：
第一步，力反馈装置PHANTOM OMIN由人控制它的末端进行移动，虚拟探针在虚拟物体表面滑动，通过3中建立的力触觉模型计算出水平和垂直方向作用力，并矢量合成输出力F,实时反馈给操作者；
第二步，振动反馈使用音圈电机，它可以用音圈电机两端电压V的大小来模仿振动的强弱，并实时反馈给操作者；
第三步，虚拟表面的输出力F和输出电压V来模拟人接触真实物体表面时的感受。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111573034.6A CN114327053B (zh) | 2021-12-21 | 2021-12-21 | 一种基于真实测量下多因素的力触觉再现系统的设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111573034.6A CN114327053B (zh) | 2021-12-21 | 2021-12-21 | 一种基于真实测量下多因素的力触觉再现系统的设计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114327053A CN114327053A (zh) | 2022-04-12 |
| CN114327053B true CN114327053B (zh) | 2024-02-06 |
Family
ID=81054216
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111573034.6A Active CN114327053B (zh) | 2021-12-21 | 2021-12-21 | 一种基于真实测量下多因素的力触觉再现系统的设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114327053B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101615072A (zh) * | 2009-06-18 | 2009-12-30 | 东南大学 | 基于从图像灰度恢复形状技术的纹理力触觉再现方法 |
| CN101819462A (zh) * | 2010-03-12 | 2010-09-01 | 东南大学 | 基于力/触觉交互设备的图像纹理的力触觉再现系统 |
| CN104898842A (zh) * | 2015-06-01 | 2015-09-09 | 东南大学 | 面向移动终端的可穿戴指套式力触觉交互装置及实现方法 |
| CN111813259A (zh) * | 2020-06-05 | 2020-10-23 | 南京信息工程大学 | 一种触摸屏用指套式力触觉装置及其反馈控制办法 |
| CN111897427A (zh) * | 2020-07-29 | 2020-11-06 | 东南大学 | 基于触觉感知仿生特性的硬度触觉再现方法 |
-
2021
- 2021-12-21 CN CN202111573034.6A patent/CN114327053B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101615072A (zh) * | 2009-06-18 | 2009-12-30 | 东南大学 | 基于从图像灰度恢复形状技术的纹理力触觉再现方法 |
| CN101819462A (zh) * | 2010-03-12 | 2010-09-01 | 东南大学 | 基于力/触觉交互设备的图像纹理的力触觉再现系统 |
| CN104898842A (zh) * | 2015-06-01 | 2015-09-09 | 东南大学 | 面向移动终端的可穿戴指套式力触觉交互装置及实现方法 |
| CN111813259A (zh) * | 2020-06-05 | 2020-10-23 | 南京信息工程大学 | 一种触摸屏用指套式力触觉装置及其反馈控制办法 |
| CN111897427A (zh) * | 2020-07-29 | 2020-11-06 | 东南大学 | 基于触觉感知仿生特性的硬度触觉再现方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114327053A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Romano et al. | Creating realistic virtual textures from contact acceleration data | |
| Culbertson et al. | Importance of matching physical friction, hardness, and texture in creating realistic haptic virtual surfaces | |
| Culbertson et al. | One hundred data-driven haptic texture models and open-source methods for rendering on 3D objects | |
| Culbertson et al. | Modeling and rendering realistic textures from unconstrained tool-surface interactions | |
| Romano et al. | Automatic filter design for synthesis of haptic textures from recorded acceleration data | |
| Strohmeier et al. | Generating haptic textures with a vibrotactile actuator | |
| Culbertson et al. | Generating haptic texture models from unconstrained tool-surface interactions | |
| JP4769342B2 (ja) | 触感再現方法、装置、コンピュータプログラムおよびコンピュータプログラムを記録した記録媒体 | |
| KR101197876B1 (ko) | 다중접촉 촉각 스크린 상에서 가상 대상의 조작을 통한제어기 | |
| US8988445B2 (en) | Systems and methods for capturing and recreating the feel of surfaces | |
| Culbertson et al. | Refined methods for creating realistic haptic virtual textures from tool-mediated contact acceleration data | |
| JP2009276996A (ja) | 情報処理装置、情報処理方法 | |
| Magnenat-Thalmann et al. | From Physics-based Simulation to the Touching of Textiles: The HAPTEX Project. | |
| KR20170086317A (ko) | 타이밍 변환을 이용한 3차원 캐릭터 동작 생성 장치 및 방법 | |
| Yim et al. | Data-driven haptic modeling and rendering of viscoelastic and frictional responses of deformable objects | |
| McMahan et al. | Haptic display of realistic tool contact via dynamically compensated control of a dedicated actuator | |
| Culbertson et al. | Should haptic texture vibrations respond to user force and speed? | |
| Osgouei et al. | An inverse neural network model for data-driven texture rendering on electrovibration display | |
| Lu et al. | Preference-driven texture modeling through interactive generation and search | |
| CN114327053B (zh) | 一种基于真实测量下多因素的力触觉再现系统的设计方法 | |
| JP5241469B2 (ja) | シミュレーション方法及びプログラム | |
| Lu et al. | Towards multisensory perception: Modeling and rendering sounds of tool-surface interactions | |
| Pai | Multisensory interaction: Real and virtual | |
| Caramiaux | Motion modeling for expressive interaction: A design proposal using Bayesian adaptive systems | |
| CN111796709B (zh) | 一种在触摸屏上再现图像纹理特征的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |