CN104766317B - 一种基于五要素的刚性纹理图像力触觉生成方法 - Google Patents
一种基于五要素的刚性纹理图像力触觉生成方法 Download PDFInfo
- Publication number
- CN104766317B CN104766317B CN201510150004.2A CN201510150004A CN104766317B CN 104766317 B CN104766317 B CN 104766317B CN 201510150004 A CN201510150004 A CN 201510150004A CN 104766317 B CN104766317 B CN 104766317B
- Authority
- CN
- China
- Prior art keywords
- texture image
- force
- elementses
- rigid
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000035515 penetration Effects 0.000 claims abstract description 16
- 230000003993 interaction Effects 0.000 claims description 26
- 238000013016 damping Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 16
- 239000003795 chemical substances by application Substances 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 4
- 239000011449 brick Substances 0.000 description 17
- 239000004575 stone Substances 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 230000005483 Hooke's law Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于五要素的刚性纹理图像力触觉生成方法，用于感知刚性纹理图像。对纹理图像进行区域归组和像素点高度值获取，转化为三维纹理图形后，给不同的区域组赋予不同的物理属性，基于刺穿深度、表面法矢、表面刚性系数、表面滑动摩擦系数和表面阻尼系数这五个要素，生成纹理图像中不同对象的力触觉。相对于前人的方法，本方法创新之处在于构建了纹理细节的三角面片，可以感知纹理细节像素点之间细微的力触觉，输出稳定且连续的力触觉，提高了力触觉的真实度。
Description
技术领域
本发明涉及纹理图像的力触觉生成，尤其是一种基于五要素的刚性纹理图像力触觉生成方法，结合刺穿深度、表面法矢、表面刚性系数、表面滑动摩擦系数和表面阻尼系数这五个要素，求解并输出稳定且连续的力触觉，属于计算机图形学和虚拟现实力触觉再现技术领域。
背景技术
图像信息主要是通过人的视觉感知，然而，对于盲人的弱势群体而言，是难以通过视觉看到图像，感知替代成为盲人感知图像的必然选择。盲人通过力触觉或听觉等感知功能替代视觉来认识图像，力触觉是最主要的视觉感知替代方式。
前人对刚性纹理图像的感知进行了很多研究。Mercier提出了4种依据像素亮度求解像素点高度值的方法，通过虎克定律计算像素点的作用力，反馈给用户。Wu通过高斯滤波提取纹理图像高频部分，作为纹理图像的纹理细节，将高频部分振幅作为像素点高度值，计方法向力和摩擦力，生成纹理力触觉。Adi采用小波变换提取图像中的纹理细节信息，把纹理像素点的灰度值映射为像素点的空间深度，进行力触觉渲染。李佳璐使用SFS技术，基于纹理图像中表现信息，得到纹理图像像素点高度，基于图像平面将像素点高度作为穿刺深度，进行力渲染。田磊通过PDE方法对图像纹理进行分解，分别得到图像主要轮廓和细节纹理，对于主要轮廓中的像素点用SFS方法求出像素点高度，三维重构出主要轮廓，用God-object方法，渲染力触觉，而对于细节纹理中的像素点部分，没有三维重构，以像素点的灰度值，应用胡克定律计方法向力，用摩擦力公式得到切向力，生成纹理力触觉。
虽然这些方法可以用于刚性体纹理图像力触觉渲染，但是这些方法以抖动或振动的方式感知纹理细节的像素点，并且不能感知纹理细节像素点之间的力触觉。
发明内容
为了解决背景技术中存在的问题，本发明提出了一种基于五要素的刚性纹理图像力触觉生成方法，用于感知刚性纹理图像。对纹理图像进行区域归组和像素点高度值获取，转化为三维纹理图形后，给不同的区域组赋予不同的物理属性，基于五要素求解刚性纹理图像的力触觉，可生成逼真的力触觉。
本发明采用的技术方案是包括以下步骤：
1)对刚性纹理图像进行区域归组和像素点高度值获取，重构转化为三维纹理图形；
2)给不同的区域组赋予物理属性，操纵力触觉交互设备进行人机交互，基于五要素求解刚性纹理图像的力触觉生成逼真的刚性图像的力触觉。
所述步骤2)的五要素包括刺穿深度、表面法矢、表面刚性系数、表面滑动摩擦系数和表面阻尼系数。
所述步骤2)中，对于不同的区域组赋予不同的物理属性，物理属性包括刚度、粗糙度和粘度。
所述步骤2)刚性纹理图像的力触觉由法向力摩擦力和阻尼力构成：
其中，法向力k为刚性纹理图像表面的刚性系数，为刺穿深度；摩擦力μ为刚性纹理图像表面的滑动摩擦系数；阻尼力c为刚性纹理图像表面的阻尼系数，为力触觉反馈设备交互点在刚性纹理图像表面形成的代理点的移动速度。
所述的力触觉方向为法向力方向、摩擦力方向和阻尼力方向的矢量合。
所述的法向力方向与刚性纹理图像的表面法矢相同。
所述的阻尼力和摩擦力的方向相同，与力触觉反馈设备交互点在刚性纹理图像表面形成代理点的移动速度方向相反。
所述的法向力包含五要素中的刺穿深度、表面法矢和表面刚性系数，所述的摩擦力包含五要素中的表面滑动摩擦系数，所述的阻尼力包含五要素中的表面阻尼系数。
本发明方法的优点及显著效果，和以往的方法相比具有以下特点：
1、本发明方法集成了刺穿深度、表面法矢、表面刚性系数、表面滑动摩擦系数和表面阻尼系数这五要素，计算纹理图像中不同对象的力触觉。
2、本发明方法中的五要素包含了人机交互特性，纹理图像中对象的表面几何特性和纹理图像中对象的力学属性，与人们力触觉感知真实纹理相一致。
3、本发明方法不是通过像素点之间的跳跃，以抖动或振动的方式感知像素点，而是构建了纹理细节的三角面片，可以感知纹理细节像素点之间细微的力触觉，输出稳定且连续的力触觉，提高了力触觉的真实度。
附图说明
图1是本发明方法步骤流程图。
图2是实施例Brodatz图像库中的D26砖墙图像。
图3是实施例D26砖墙图像的区域组。
图4是实施例D26砖墙图像的高度值信息。
图5是实施例D26砖墙图像的三维图形。
图6是实施例D26砖墙图像的视觉模型。
图7是实施例D26砖墙图像的触觉模型。
图8是单个三角面片的力触觉计算示意图。
图9是实施例石碑刚性纹理图像的力触觉生成。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1所示，本发明先读取刚性纹理图像，对纹理图像进行区域归组和像素点高度值获取，转化为三维纹理图形后，求解纹理图形各网格的表面法矢，给不同的区域组赋予不同的物理属性(表面刚性系数、表面滑动摩擦系数和表面阻尼系数)，在人机交互过程中，得到交互点的刺穿深度和代理点的移动速度，求解并输出纹理图像中不同对象的稳定且连续的力触觉。
如图1所示，具体来说本发明方法包括：
1)对刚性纹理图像进行区域归组和像素点高度值获取，重构转化为三维纹理图形，具体可采用申请号为201510137295.1、申请日为2015年3月27日专利申请中提出的基于区域划分的纹理图像三维重构方法进行处理；
2)给不同的区域组赋予物理属性，操纵力触觉交互设备进行人机交互，基于五要素求解刚性纹理图像的力触觉生成逼真的刚性图像的力触觉。
步骤2)刚性纹理图像的力触觉由法向力摩擦力和阻尼力构成：
其中，法向力k为刚性纹理图像表面的刚性系数，为刺穿深度；摩擦力μ为刚性纹理图像表面的滑动摩擦系数；阻尼力c为刚性纹理图像表面的阻尼系数，为力触觉反馈设备交互点在刚性纹理图像表面形成的代理点的移动速度，代理点为交互点到刚性纹理图像表面的垂足。
上述力触觉方向为法向力方向、摩擦力方向和阻尼力方向的矢量合。法向力方向与刚性纹理图像的表面法矢相同。阻尼力和摩擦力的方向相同，与力触觉反馈设备交互点在刚性纹理图像表面形成代理点的移动速度方向相反。
法向力包含五要素中的刺穿深度、表面法矢和表面刚性系数，所述的摩擦力包含五要素中的表面滑动摩擦系数，所述的阻尼力包含五要素中的表面阻尼系数。
上述五要素包括刺穿深度、表面法矢、表面刚性系数、表面滑动摩擦系数和表面阻尼系数。刺穿深度是指在人机交互过程中，穿透图像表面后的力触觉反馈设备交互点到图像表面的垂直距离；表面法矢是指力触觉反馈设备的交互点与图像发生碰撞的三角面片法矢；表面刚性系数是指图像表面的刚度属性；表面滑动摩擦系数是指图像表面的粗糙度属性；表面阻尼系数是指图像表面的粘度属性。
对于不同的区域组赋予不同的物理属性，物理属性包括刚度、粗糙度和粘度。区域组是对图像中的纹理进行分类，在保证纹理力触觉真实度的前提下，减少计算量。
下面结合实施例，分步骤具体说明本发明方法：
1.读取刚性纹理图像，采用申请号为201510137295.1、申请日为2015年3月27日专利申请中提出的基于区域划分的纹理图像三维重构方法对纹理图像进行区域归组和像素点高度值获取。比如，读取Brodatz图像库中的D26砖墙图像(图2)，获得两个区域组，砖缝区域和砖块区域(图3)，获得D26砖墙图像的高度值信息(图4)；
2.基于像素的高度值和区域组，生成刚性纹理三维图形，给不同的区域组赋予不同的物理属性。砖块区域组为D26砖墙图像的纹理细节，用小三角网格绘制，砖缝区域为D26砖墙图像的大纹理，用大三角网格绘制，如图5所示，5.1表示D26砖墙图像的整体纹理三维图形，5.2表示D26砖墙纹理三维图形的局部放大图；并给砖块区域和砖缝区域表面赋予不同的刚性系数、表面滑动摩擦系数和表面阻尼系数。图6为D26砖墙图像的视觉模型，图7为D26砖墙图像的触觉模型。
3.在人机交互过程中，得到交互点的刺穿深度和代理点的移动速度，求解并输出纹理图像中不同对象的稳定且连续的力触觉。如图8所示，q1为交互点在前一时刻的空间位置，q2为交互点在后一时刻的空间位置，交互点从q1运动到q2过程中，与三维纹理图形的ABC三角网格面片发生碰撞，X为碰撞点位置，根据God-Object模型，可以得到后一时刻交互点的代理点位置Q，记录代理点Q的移动速度求出q2和Q点距离为交互点ABC三角面片的穿刺深度，方向和ABC三角面片法向量一致，根据ABC三角面片所属区域组的为表面刚性系数k，表面摩擦系数u，和表面粘性系数c，求得ABC三角面片对交互点的法向力摩擦力和阻尼力可以得到总的反馈力输出稳定且连续的力触觉。
同理，图9展示了石碑刚性纹理图像的力触觉生成。
1).读取石碑图像(图9(a))，获得两个区域组，背景区域组和文字区域组(图9(b))，获得石碑图像的高度值信息(图9(c))；
2).基于像素的高度值和区域组，生成石碑图像的刚性纹理三维图形，给不同的区域组赋予不同的物理属性。文字区域组为石碑图像的纹理细节，用小三角网格绘制，背景区域组为石碑图像的大纹理，用大三角网格绘制。图9(d)为石碑图像的整体纹理三维图形，图9(e)为石碑图像的纹理三维图形的局部放大图；给文字区域组和背景区域组表面赋予不同的刚性系数、表面滑动摩擦系数和表面阻尼系数。图9(e)为石碑图像的触觉模型，图9(f)为D26石碑图像的视觉模型。
3).在人机交互过程中，得到交互点的刺穿深度和代理点的移动速度，求解并输出石碑图像中不同区域组的稳定且连续的力触觉，形成图9(c)所示的真实刚性纹理图像的力触觉生成。
由此，本发明方法集成了五要素，实现了刚性纹理图像中不同对象的力触觉；并可感知纹理细节像素点之间细微的力触觉，输出稳定且连续的力触觉，提高了力触觉的真实度，具有突出显著的技术效果。
Claims (5)
1.一种基于五要素的刚性纹理图像力触觉生成方法，其特征在于：
1)对刚性纹理图像进行区域归组和像素点高度值获取，重构转化为三维纹理图形；
2)给不同的区域组赋予物理属性，操纵力触觉交互设备进行人机交互，基于五要素求解刚性纹理图像的力触觉生成逼真的刚性图像的力触觉；
所述步骤2)刚性纹理图像的力触觉由法向力摩擦力和阻尼力构成：
其中，法向力k为刚性纹理图像表面的刚性系数，为刺穿深度，刺穿深度是指在人机交互过程中，穿透图像表面后的力触觉反馈设备交互点到图像表面的垂直距离；摩擦力μ为刚性纹理图像表面的滑动摩擦系数；阻尼力c为刚性纹理图像表面的阻尼系数，为力触觉反馈设备交互点在刚性纹理图像表面形成的代理点的移动速度；
所述的法向力包含五要素中的刺穿深度、表面法矢和表面刚性系数，所述的摩擦力包含五要素中的表面滑动摩擦系数，所述的阻尼力包含五要素中的表面阻尼系数。
2.根据权利要求1所述的一种基于五要素的刚性纹理图像力触觉生成方法，其特征在于：所述步骤2)中，对于不同的区域组赋予不同的物理属性，物理属性包括刚度、粗糙度和粘度。
3.根据权利要求1所述的一种基于五要素的刚性纹理图像力触觉生成方法，其特征在于：所述的力触觉方向为法向力方向、摩擦力方向和阻尼力方向的矢量合。
4.根据权利要求1所述的一种基于五要素的刚性纹理图像力触觉生成方法，其特征在于：所述的法向力方向与刚性纹理图像的表面法矢相同。
5.根据权利要求1所述的一种基于五要素的刚性纹理图像力触觉生成方法，其特征在于：所述的阻尼力和摩擦力的方向相同，与力触觉反馈设备交互点在刚性纹理图像表面形成代理点的移动速度方向相反。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510150004.2A CN104766317B (zh) | 2015-03-31 | 2015-03-31 | 一种基于五要素的刚性纹理图像力触觉生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510150004.2A CN104766317B (zh) | 2015-03-31 | 2015-03-31 | 一种基于五要素的刚性纹理图像力触觉生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104766317A CN104766317A (zh) | 2015-07-08 |
| CN104766317B true CN104766317B (zh) | 2018-01-12 |
Family
ID=53648126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510150004.2A Expired - Fee Related CN104766317B (zh) | 2015-03-31 | 2015-03-31 | 一种基于五要素的刚性纹理图像力触觉生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104766317B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109062408B (zh) * | 2018-07-27 | 2020-11-24 | 北京航空航天大学 | 一种柔性物体表面触觉反馈装置 |
| CN109782950B (zh) * | 2019-01-04 | 2022-05-17 | Oppo（重庆）智能科技有限公司 | 触摸电极控制方法、装置、存储介质及电子设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101478709B1 (ko) * | 2012-06-27 | 2015-01-05 | 한국과학기술원 | Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치 |
| CN104050683A (zh) * | 2014-07-09 | 2014-09-17 | 东南大学 | 一种基于单幅图像分数阶处理的纹理力触觉感知方法 |
| CN104157002B (zh) * | 2014-08-14 | 2017-02-15 | 东南大学 | 一种基于色彩空间变换的彩色图像纹理力触觉再现方法 |
-
2015
- 2015-03-31 CN CN201510150004.2A patent/CN104766317B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN104766317A (zh) | 2015-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101615072B (zh) | 基于从图像灰度恢复形状技术的纹理力触觉再现方法 | |
| CN102270275B (zh) | 在虚拟环境中选择对象的方法和多媒体终端 | |
| Kim et al. | A haptic-rendering technique based on hybrid surface representation | |
| Minsky et al. | Simulated haptic textures: Roughness | |
| Comes | Haptic devices and tactile experiences in museum exhibitions | |
| EP2677347A3 (en) | Spatial data services | |
| CN103810353A (zh) | 一种虚拟现实中的现实场景映射系统和方法 | |
| GB201014643D0 (en) | Relief model generation apparatus | |
| Jia et al. | 3D image reconstruction and human body tracking using stereo vision and Kinect technology | |
| DE102015200126A1 (de) | Texterfassungs-Eingabestift und -verfahren | |
| DE60327943D1 (de) | Abtastung der parallaxe durch manipulation der position der gegenstände in einer szene | |
| CN104349157A (zh) | 3d显示装置及其方法 | |
| US7773085B2 (en) | Flexible landscape display system for information display and control | |
| US20120235987A1 (en) | Multi dimensional touch display device and touch input method thereof | |
| CN104050683A (zh) | 一种基于单幅图像分数阶处理的纹理力触觉感知方法 | |
| CN104766317B (zh) | 一种基于五要素的刚性纹理图像力触觉生成方法 | |
| KR20110051044A (ko) | 사용자에게 3차원 객체의 촉감 정보를 제공하는 방법 및 장치 | |
| JP2013174738A (ja) | 表示装置、表示装置の制御方法、制御プログラム、制御プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN102307308A (zh) | 一种在触摸屏上生成立体图像的方法和设备 | |
| CN106131533A (zh) | 一种图像显示方法和终端 | |
| CA2690826A1 (en) | Automatic 3d modeling system and method | |
| Li et al. | Haptic texture rendering using single texture image | |
| CN105205862B (zh) | 一种图像三维重建方法及系统 | |
| KR100543219B1 (ko) | 2차원 이미지에서의 햅틱 벡터 필드 생성방법 및 3차원높이 정보 추출방법 | |
| US20170160814A1 (en) | Tactile feedback method and apparatus, and virtual reality interactive system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180112 Termination date: 20210331 |