CN106919258B - 基于图像亮度信息纹理力再现交互系统及实现方法 - Google Patents

基于图像亮度信息纹理力再现交互系统及实现方法 Download PDF

Info

Publication number
CN106919258B
CN106919258B CN201710114712.XA CN201710114712A CN106919258B CN 106919258 B CN106919258 B CN 106919258B CN 201710114712 A CN201710114712 A CN 201710114712A CN 106919258 B CN106919258 B CN 106919258B
Authority
CN
China
Prior art keywords
force
texture
image
virtual
pixel block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710114712.XA
Other languages
English (en)
Other versions
CN106919258A (zh
Inventor
张小瑞
赵喆
孙伟
朱利丰
刘佳
宋爱国
舒雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI MISI SOFTWARE TECHNOLOGY Co.,Ltd.
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201710114712.XA priority Critical patent/CN106919258B/zh
Publication of CN106919258A publication Critical patent/CN106919258A/zh
Application granted granted Critical
Publication of CN106919258B publication Critical patent/CN106919258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了基于图像亮度信息纹理力再现交互系统及实现方法，结合计算机图像处理技术、虚拟现实技术与虚拟现实人机交互技术，通过将捕捉到的图像信息用优化算法进行亮度信息提取预处理，在虚拟接触点产生相应纹理的接触力，再将得到的相应纹理信息通过PHANTOM OMNI力触觉交互系统反馈给操作者，使得操作者真实的感知物体表面纹理物理属性，从而达到重构物体表面三维纹理信息的目的。和以往常用的虚拟力仿真系统相比，该系统以3DS Max 2015、VC++2016和OpenGL软件编程为基础，模型的获取和修改方便，通过结合图像预处理优化算法，极大的减少了仿真过程中的严重抖动现象，提高了纹理再现的效率和使用者的真实感体验。

Description

基于图像亮度信息纹理力再现交互系统及实现方法
技术领域
本发明涉及一种支持力触觉反馈的纹理力再现交互系统及实现方法，尤其是一种基于图像亮度信息纹理力再现方法下的纹理力人机交互系统。属于计算机图像处理、虚拟现实技术与虚拟现实人机交互领域。
背景技术
纹理是物体表面的微观几何形状、粗糙度等特性的综合描述。现实中，我们通过触觉直接感知物体的纹理信息，判断物体的一系列材质特点。随着虚拟现实技术在力触觉传感领域的广泛应用，以及一系列虚拟环境构造、虚拟物体仿真的实现，使得通过仪器捕捉现实物体的特点再通过力触觉交互系统将其输出得以实现。例如吴等人通过仪器实际测量纹理力再通过电压输出实现了力触觉的再现。这一领域技术的实现，也使得人们可以远程地对物体从外形到触觉多方位感知了解。对如今的远程购物体验、老建筑物纹理再现修复等方面都有一定的现实意义。
随着计算机视觉、图像处理技术的发展,如今可以通过对物体图像的预处理得到物体图像灰度值，进一步分离近似得到图像中呈现的物体纹理信息，从而使得物体的纹理信息的提取变得更容易。本发明涉及一种支持力触觉反馈的纹理力再现交互系统及实现方法，尤其是一种基于图像亮度信息纹理力再现方法下的纹理力人机交互系统。通过将捕捉到的图像信息加以处理，在虚拟接触点产生相应纹理的接触力，再将得到的相应纹理信息通过PHANTOM OMNI力触觉交互设备反馈给操作者，可以使得操作者真实的感知物体表面纹理物理属性，从而达到重构物体表面三维纹理信息的目的。
发明内容
发明目的：本发明专利通过优化算法以及对纹理接触力合理建模，结合对图像信息进行预处理技术，建立力触觉反馈的纹理力再现交互系统，系统模块通过图片预处理，位置检测，碰撞检测，力交互反馈等模块，结合PHANTOM OMNI力触觉交互设备将得到的相应纹理信息通过力触觉再现设备反馈给操作者，使得操作者真实地感知物体表面纹理物理属性，从而达到重构物体表面三维纹理信息的目的。
技术方案如下：
计算机主机(2)和力触觉交互设备(3)，在计算机主机(2)上连接有显示器(1)，所述计算机主机(2)至少包括硬盘(9)和1394b卡(8)，所述硬盘(9)至少包括：图片预处理模块(93)、用于检测虚拟代理位置的位置检测模块(96)、用于检测虚拟代理与虚拟物体是否发生碰撞的碰撞检测模块(92)、纹理力计算模块(91)、图像刷新模块(93)及力触觉信息反馈模块(95)，所述硬盘(9)通过1394b卡(8)及1394连接线与力触觉交互设备(3)连接，用于将纹理力计算模块(91)计算得到的纹理力信息通过力触觉信息反馈模块(95)传输至力触觉交互设备(3)并输出。
所述图片预处理模块(93)通过以下方式将图片亮度信息提取并转换计算出虚拟物体高度值：
(1)导入物体表面二维纹理图片，假设该二维纹理图片大小为m×n个像素，即图像横向像素个数为m，纵向像素个数为n；利用下述公式红绿蓝过滤器得到的亮度值将图像处理出红、绿、蓝三个分量R、G、B：
Figure BDA0001235333630000021
Figure BDA0001235333630000022
Figure BDA0001235333630000023
其中，λ表示波长，E(λ)表示输入过滤器的光或者射线，SR、SG、SB是三个颜色过滤器；将RGB空间进行如下线性变换得到原图像亮度信息V：
V＝0.299R+0.587G+0.114B
其中0＜R＜1,0<G<1,0<B＜1
(2)运用去噪声高斯滤波器进行滤波去噪，噪声在图像处理中被看成一个高频信号,图像去噪可由下面的线性卷积实现:
Figure BDA0001235333630000024
其中，I、Ω、V(η,ξ)分别表示：去噪后的图像像素块顶点亮度信息值、整个图像平面、原图像亮度信息；
H(x1,y1)为高斯滤波算子，其表达式为：
Figure BDA0001235333630000025
其中选定的参数σ表征高斯滤波宽度，决定图片处理平滑程度；
高斯滤波能有效地滤除掉图像中的细小噪点和边缘形状上细小的曲折,这种与多通道处理相结合的滤波方法更能有效地提高彩色图像的信噪比；
(3)通过均值法对每个像素块周围区域的亮度值求区域平均值，近似估算该像素块顶点的亮度值：
以像素块D0,0为例：
Figure BDA0001235333630000031
其中，Is,t表示去噪后的图像各个像素块顶点亮度信息值，(s,t)表示像素块顶点位置坐标，s∈{0,1,2,3,…m}，t∈{0,1,2,3,…n}，Di,j表示各个像素块亮度值，(i,j)表示各像素块位置坐标，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}；
(4)对各个像素块求得的亮度信息进行规范化处理，得到整体图像物体纹理的表面高度Qm×n，其计算公式如下：
Figure BDA0001235333630000032
Figure BDA0001235333630000033
其中Di,j表示各个像素块亮度值，di,j表示处理后各个像素块物体纹理的表面高度，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}，
Figure BDA0001235333630000034
为整体图像所有像素块亮度值的平均值；通过均值法和规范化处理，在得到像素块有限纹理信息的同时，减少力触觉交互系统在数据力重现过程中可能出现的严重抖动现象，更真实有效的实现纹理再现；
(5)将图像输出的位置坐标：PX,PY,PZ转化为虚拟环境下的坐标MX,MY,MZ，具体坐标转换公式如下：
Figure BDA0001235333630000035
通过位置检测模块(96)检测虚拟代理位置、碰撞检测模块(92)检测虚拟代理与虚拟物体是否发生碰撞的，当虚拟探针没有触碰到虚拟物体纹理时，输出力为0；当发生触碰，则纹理力计算模块(91)计算纹理力大小，具体步骤如下：
假设预处理后虚拟物体的纹理图片位于虚拟空间坐标OXYZ中的OXY平面，即Z＝0，且位置左右上下对齐，假设虚拟碰撞点在虚拟环境的坐标为(X,Y,Z),得到碰撞点在OXY平面投影点为(X,Y),此处(X,Y)为像素块图片位置坐标(i,j)对应到OXY平面的位置坐标，X∈{0,1,2,3,…m-1}，Y∈{0,1,2,3,…n-1}；基于以上图片预处理，得到的每个像素块所对应的纹理表面物理高度值，即投影点所对应的物体表面纹理高度值为dX,Y,则在碰撞点的输出纹理接触力计算方法如下：
假设物体表面为刚性，则纹理接触力由法向力
Figure BDA0001235333630000042
和切向摩擦力合成，
Figure BDA0001235333630000044
法向力
Figure BDA0001235333630000045
的计算方法如下：
Figure BDA0001235333630000046
dX,Y为接触点像素块物体表面纹理高度值，k为物体表面的刚性系数；当dX,Y为正，这表明物体表面在接触点出处是凸起，如果为负，则意味着物体表面在接触点处是凹下的；
切向摩擦力
Figure BDA0001235333630000047
遵循动摩擦力产生公式：
Figure BDA0001235333630000048
切向摩擦力的方向与OXY平面平行，并与运动方向相反；其中μ(X,Y)位虚拟物体在接触点处的动摩擦因数；
μ(X,Y)＝ρ×r(X,Y)
其中，ρ是纹理表面材料的粗糙系数，r(X,Y)为接触点的局部粗糙系数，与该接触点的局部凹凸程度有关；
计算纹理接触力后，硬盘(9)通过1394b卡(8)及1394连接线与力触觉交互设备(3)连接，将纹理力计算模块(91)计算得到的纹理力通过力触觉信息反馈模块(95)传输至力触觉交互设备(3)并输出到操作者处。
力触觉交互设备(3)采用PHANTOM OMNI力触觉交互设备(3)，所述PHANTOM OMNI力触觉交互设备(3)通过APS开关电源(5)供电，通过APS开关电源之后，将供电电源(4)220V的交流电转化为18V，2.22A所需的电压，显示卡(6)、1394b卡(8)、硬盘(9)均通过总线(7)实现双向传输，显示器(1)通过VGA连接线与显示卡(6)连接。
为验证本发明的实施效果，操作者通过PHANTOM OMNI手控器端部的手柄来触摸，从而使得操作者真实地感知物体表面纹理物理属性，从而达到重构物体表面三维纹理信息的目的。能够让操作者体验到比较真实的力/触觉感知，得到比较满意的感知效果。
有益效果
(1)和以往常用的虚拟力仿真系统相比，该系统以3DS Max 2015、VC++2016和OpenGL软件编程为基础，模型的获取和修改方便，通过使用力触觉交互设备PHANTOM OMNI即能反馈给操作者逼真的力触觉信息。
(2)通过结合图像预处理信息，可以方便快速得得到图像亮度信息。将亮度信息再次进行均值化和规范化，在保证有效纹理信息的同时，极大得减小了力触觉再现过程中可能出现的严重抖动现象，提高了纹理再现的效率和使用者的真实感体验。
附图说明
图1基于力触觉交互系统纹理力触觉再现系统框图；
图2系统硬盘模块示意图；
图3系统电路原理图；
图4基于力触觉交互系统纹理力触觉再现系统流程图；
图5纹理力合成示意图；
图6素块D0,0的周围区域的亮度值示意图。
具体实施方式
以下结合附图具体说明本发明技术方案。
一种虚拟纹理力触觉反馈仿真系统，如附图2、3所示，包括：计算机主机(2)和力触觉交互设备(3)，在计算机主机(2)上连接有显示器(1)，所述计算机主机(2)至少包括硬盘(9)和1394b卡(8)，其特征在于，所述硬盘(9)至少包括：图片预处理模块(93)、用于检测虚拟代理位置的位置检测模块(96)、用于检测虚拟代理与虚拟物体是否发生碰撞的碰撞检测模块(92)、纹理力计算模块(91)、图像刷新模块(94)及力触觉信息反馈模块(95)，所述硬盘(9)通过1394b卡(8)及1394连接线与力触觉交互设备(3)连接，用于将纹理力计算模块(91)计算得到的纹理力信息通过力触觉信息反馈模块(95)传输至力触觉交互设备(3)并输出。
具体操作系统模式块框图如附图1所示，纹理力触觉再现系统流程如附图3所示，首先进行图片的导入存储，结合本发明专利的优化图片处理算法，对图片进行亮度信息提取预处理。在力触觉交互系统初始化之后，在虚拟环境对物体进行建模产生仿真图像，通过结合运动定律算法计算虚拟环境物体不同位置纹理力，循环进行位置检测和碰撞检测，在确定产生碰撞的位置通过力触觉交互系统将纹理力计算结果输出给操作者。
所述图片预处理模块(93)通过以下方式将图片亮度信息提取并转换计算出虚拟物体高度值：
(1)导入物体表面二维纹理图片，假设该二维纹理图片大小为m×n个像素，即图像横向像素个数为m，纵向像素个数为n；利用下述公式红绿蓝过滤器得到的亮度值将图像处理出红、绿、蓝三个分量R、G、B：
Figure BDA0001235333630000061
Figure BDA0001235333630000062
Figure BDA0001235333630000063
其中，λ表示波长，E(λ)表示输入过滤器的光或者射线，SR、SG、SB是三个颜色过滤器；将RGB空间进行如下线性变换得到原图像亮度信息V：
V＝0.299R+0.587G+0.114B
其中0＜R＜1,0<G<1,0<B＜1
(2)运用去噪声高斯滤波器进行滤波去噪，噪声在图像处理中被看成一个高频信号,图像去噪可由下面的线性卷积实现:
Figure BDA0001235333630000064
其中，I、Ω、V(η,ξ)分别表示：去噪后的图像像素块顶点亮度信息值、整个图像平面、原图像亮度信息；
H(x1,y1)为高斯滤波算子，其表达式为：
Figure BDA0001235333630000065
其中选定的参数σ表征高斯滤波宽度，决定图片处理平滑程度；
高斯滤波能有效地滤除掉图像中的细小噪点和边缘形状上细小的曲折,这种与多通道处理相结合的滤波方法更能有效地提高彩色图像的信噪比；
(3)如附图6所示，通过如下计算公式，以像素块D0,0为例计算像素块区域亮度方法，通过均值法对每个像素块周围区域的亮度值求区域平均值，近似估算该像素块顶点的亮度值：
以像素块D0,0为例：
Figure BDA0001235333630000066
其中，Is,t表示去噪后的图像各个像素块顶点亮度信息值，(s,t)表示像素块顶点位置坐标，s∈{0,1,2,3,…m}，t∈{0,1,2,3,…n}，Di,j表示各个像素块亮度值，(i,j)表示各像素块位置坐标，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}；
(4)对各个像素块求得的亮度信息进行规范化处理，得到整体图像物体纹理的表面高度Qm×n，其计算公式如下：
Figure BDA0001235333630000071
Figure BDA0001235333630000072
其中Di,j表示各个像素块亮度值，di,j表示处理后各个像素块物体纹理的表面高度，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}，
Figure BDA0001235333630000073
为整体图像所有像素块亮度值的平均值；通过均值法和规范化处理，在得到像素块有限纹理信息的同时，减少力触觉交互系统在数据力重现过程中可能出现的严重抖动现象，更真实有效的实现纹理再现；
(5)将图像输出的位置坐标：PX,PY,PZ转化为虚拟环境下的坐标MX,MY,MZ，具体坐标转换公式如下：
通过位置检测模块(96)检测虚拟代理位置、碰撞检测模块(92)检测虚拟代理与虚拟物体是否发生碰撞的，当虚拟探针没有触碰到虚拟物体纹理时，输出力为0；当发生触碰，则纹理力计算模块(91)计算纹理力大小，具体步骤如下：
假设预处理后虚拟物体的纹理图片位于虚拟空间坐标OXYZ中的OXY平面，即Z＝0，且位置左右上下对齐，假设虚拟碰撞点在虚拟环境的坐标为(X,Y,Z),得到碰撞点在OXY平面投影点为(X,Y),此处(X,Y)为像素块图片位置坐标(i,j)对应到OXY平面的位置坐标，X∈{0,1,2,3,…m-1}，Y∈{0,1,2,3,…n-1}；基于以上图片预处理，得到的每个像素块所对应的纹理表面物理高度值，即投影点所对应的物体表面纹理高度值为dX,Y,则在碰撞点的输出纹理接触力计算方法如下：
假设物体表面为刚性，则力合成模型如附图5所示，纹理接触力
Figure BDA0001235333630000075
由法向力
Figure BDA0001235333630000076
和切向摩擦力
Figure BDA0001235333630000077
合成，
法向力
Figure BDA0001235333630000079
的计算方法如下：
Figure BDA00012353336300000710
dX,Y为接触点像素块物体表面纹理高度值，k为物体表面的刚性系数；当dX,Y为正，这表明物体表面在接触点出处是凸起，如果为负，则意味着物体表面在接触点处是凹下的；
切向摩擦力
Figure BDA0001235333630000081
遵循动摩擦力产生公式：
Figure BDA0001235333630000082
切向摩擦力的方向与OXY平面平行，并与运动方向相反；其中μ(X,Y)位虚拟物体在接触点处的动摩擦因数；
μ(X,Y)＝ρ×r(X,Y)
其中，ρ是纹理表面材料的粗糙系数，r(X,Y)为接触点的局部粗糙系数，与该接触点的局部凹凸程度有关；
计算纹理接触力
Figure BDA0001235333630000083
后，硬盘(9)通过1394b卡(8)及1394连接线与力触觉交互设备(3)连接，将纹理力计算模块(91)计算得到的纹理力通过力触觉信息反馈模块(95)传输至力触觉交互设备(3)并输出到操作者处。
力触觉交互设备(3)采用PHANTOM OMNI力触觉交互设备(3)，所述PHANTOM OMNI力触觉交互设备(3)通过APS开关电源(5)供电，通过APS开关电源之后，将供电电源(4)220V的交流电转化为18V，2.22A所需的电压，显示卡(6)、1394b卡(8)、硬盘(9)均通过总线(7)实现双向传输，显示器(1)通过VGA连接线与显示卡(6)连接。
为验证本发明的实施效果，操作者通过PHANTOM OMNI手控器端部的手柄来触摸，从而使得操作者真实地感知物体表面纹理物理属性，从而达到重构物体表面三维纹理信息的目的。能够让操作者体验到比较真实的力/触觉感知，得到比较满意的感知效果。

Claims (3)

1.基于图像亮度信息纹理力再现交互系统的实现方法，系统包括计算机主机(2)和力触觉交互设备(3)，在计算机主机(2)上连接有显示器(1)，所述计算机主机(2)至少包括硬盘(9)和1394b卡(8)；
所述硬盘(9)包括：图片预处理模块(93)、用于检测虚拟代理位置的位置检测模块(96)、用于检测虚拟代理与虚拟物体是否发生碰撞的碰撞检测模块(92)、纹理力计算模块(91)、图像刷新模块(94)及力触觉信息反馈模块(95)，所述硬盘(9)通过1394b卡(8)及1394连接线与力触觉交互设备(3)连接，用于将纹理力计算模块(91)计算得到的纹理力信息通过力触觉信息反馈模块(95)传输至力触觉交互设备(3)并输出；
力触觉交互设备(3)采用PHANTOM OMNI力触觉交互设备，通过APS开关电源(5)供电，通过APS开关电源之后，将供电电源(4)220V的交流电转化为18V，2.22A所需的电压，显示卡(6)、1394b卡(8)、硬盘(9)均通过总线(7)实现双向传输，显示器(1)通过VGA连接线与显示卡(6)连接；
其特征在于，所述图片预处理模块(93)通过以下方式将图片亮度信息提取并转换计算出虚拟物体高度值：
(1)导入物体表面二维纹理图片，假设该二维纹理图片大小为m×n个像素，即图像横向像素个数为m，纵向像素个数为n；利用下述公式红绿蓝过滤器得到的亮度值将图像处理出红、绿、蓝三个分量R、G、B：
Figure FDA0002189767650000011
Figure FDA0002189767650000013
其中，λ表示波长，E(λ)表示输入过滤器的光或者射线，SR、SG、SB是三个颜色过滤器；将RGB空间进行如下线性变换得到原图像亮度信息V：
V＝0.299R+0.587G+0.114B
其中0＜R＜1,0<G<1,0<B＜1
(2)运用去噪声高斯滤波器进行滤波去噪，噪声在图像处理中被看成一个高频信号,图像去噪可由下面的线性卷积实现:
Figure FDA0002189767650000014
其中，I、Ω、V(η,ξ)分别表示：去噪后的图像像素块顶点亮度信息值、整个图像平面、原图像亮度信息；
H(x1,y1)为高斯滤波算子，其表达式为：
Figure FDA0002189767650000015
其中选定的参数σ表征高斯滤波宽度，决定图片处理平滑程度；
高斯滤波能有效地滤除掉图像中的细小噪点和边缘形状上细小的曲折,这种与多通道处理相结合的滤波方法更能有效地提高彩色图像的信噪比；
(3)通过均值法对每个像素块周围区域的亮度值求区域平均值，近似估算该像素块顶点的亮度值：
以像素块D0,0为例：
Figure FDA0002189767650000021
其中，Is,t表示去噪后的图像各个像素块顶点亮度信息值，(s,t)表示像素块顶点位置坐标，s∈{0,1,2,3,…m}，t∈{0,1,2,3,…n}，Di,j表示各个像素块亮度值，(i,j)表示各像素块位置坐标，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}；
(4)对各个像素块求得的亮度信息进行规范化处理，得到整体图像物体纹理的表面高度Qm×n，其计算公式如下：
Figure FDA0002189767650000022
Figure FDA0002189767650000023
其中Di,j表示各个像素块亮度值，di,j表示处理后各个像素块物体纹理的表面高度，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}，
Figure FDA0002189767650000024
为整体图像所有像素块亮度值的平均值；通过均值法和规范化处理，在得到像素块有限纹理信息的同时，减少力触觉交互系统在数据力重现过程中可能出现的严重抖动现象，更真实有效的实现纹理再现；
(5)将图像输出的位置坐标：PX,PY,PZ转化为虚拟环境下的坐标MX,MY,MZ，具体坐标转换公式如下：
Figure FDA0002189767650000025
通过交互系统模块检测，当虚拟探针没有触碰到虚拟物体纹理时，输出力为0。
2.如权利要求1所述的方法，其特征在于，通过位置检测模块(96)检测虚拟代理位置、碰撞检测模块(92)检测虚拟代理与虚拟物体是否发生碰撞的，当虚拟探针没有触碰到虚拟物体纹理时，输出力为0；当发生触碰，则纹理力计算模块(91)计算纹理力大小，具体步骤如下：
假设预处理后虚拟物体的纹理图片位于虚拟空间坐标OXYZ中的OXY平面，即Z＝0，且位置左右上下对齐，假设虚拟碰撞点在虚拟环境的坐标为(X,Y,Z),得到碰撞点在OXY平面投影点为(X,Y),此处(X,Y)为像素块图片位置坐标(i,j)对应到OXY平面的位置坐标，X∈{0,1,2,3,…m-1}，Y∈{0,1,2,3,…n-1}；基于以上图片预处理，得到的每个像素块所对应的纹理表面物理高度值，即投影点所对应的物体表面纹理高度值为dX,Y,则在碰撞点的输出纹理接触力计算方法如下：
假设物体表面为刚性，则纹理接触力
Figure FDA0002189767650000031
由法向力和切向摩擦力合成，
Figure FDA0002189767650000034
法向力
Figure FDA0002189767650000035
的计算方法如下：
Figure FDA0002189767650000036
dX,Y为接触点像素块物体表面纹理高度值，k为物体表面的刚性系数；当dX,Y为正，这表明物体表面在接触点出处是凸起，如果为负，则意味着物体表面在接触点处是凹下的；
切向摩擦力
Figure FDA0002189767650000037
遵循动摩擦力产生公式：
Figure FDA0002189767650000038
切向摩擦力的方向与OXY平面平行，并与运动方向相反；其中μ(X,Y)位虚拟物体在接触点处的动摩擦因数；
μ(X,Y)＝ρ×r(X,Y)
其中，ρ是纹理表面材料的粗糙系数，r(X,Y)为接触点的局部粗糙系数，与该接触点的局部凹凸程度有关。
3.如权利要求2所述的方法，其特征在于，计算纹理接触力后，硬盘(9)通过1394b卡(8)及1394连接线与力触觉交互设备(3)连接，将纹理力计算模块(91)计算得到的纹理接触力，通过力触觉信息反馈模块(95)传输至力触觉交互设备(3)并输出到操作者处。
CN201710114712.XA 2017-02-28 2017-02-28 基于图像亮度信息纹理力再现交互系统及实现方法 Active CN106919258B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710114712.XA CN106919258B (zh) 2017-02-28 2017-02-28 基于图像亮度信息纹理力再现交互系统及实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710114712.XA CN106919258B (zh) 2017-02-28 2017-02-28 基于图像亮度信息纹理力再现交互系统及实现方法

Publications (2)

Publication Number Publication Date
CN106919258A CN106919258A (zh) 2017-07-04
CN106919258B true CN106919258B (zh) 2020-01-10

Family

ID=59453965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710114712.XA Active CN106919258B (zh) 2017-02-28 2017-02-28 基于图像亮度信息纹理力再现交互系统及实现方法

Country Status (1)

Country Link
CN (1) CN106919258B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389669A (zh) * 2017-08-04 2019-02-26 阿里健康信息技术有限公司 虚拟环境中人体三维模型构建方法及系统
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819462A (zh) * 2010-03-12 2010-09-01 东南大学 基于力/触觉交互设备的图像纹理的力触觉再现系统
CN103869984A (zh) * 2014-03-26 2014-06-18 东南大学 一种基于纹理图片的力触觉再现方法
US9324298B2 (en) * 2013-06-13 2016-04-26 Nintendo Co., Ltd. Image processing system, image processing apparatus, storage medium having stored therein image processing program, and image processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819462A (zh) * 2010-03-12 2010-09-01 东南大学 基于力/触觉交互设备的图像纹理的力触觉再现系统
US9324298B2 (en) * 2013-06-13 2016-04-26 Nintendo Co., Ltd. Image processing system, image processing apparatus, storage medium having stored therein image processing program, and image processing method
CN103869984A (zh) * 2014-03-26 2014-06-18 东南大学 一种基于纹理图片的力触觉再现方法

Also Published As

Publication number Publication date
CN106919258A (zh) 2017-07-04

Similar Documents

Publication Publication Date Title
CN106919257B (zh) 基于图像亮度信息力触觉交互纹理力再现方法
CN100594519C (zh) 用球面全景摄像机实时生成增强现实环境光照模型的方法
CN108986221B (zh) 一种基于模板人脸逼近的不规范三维人脸网格纹理方法
CN107958446B (zh) 信息处理设备和信息处理方法
CN110047148B (zh) 一种虚拟机器人工作站的仿真互动可视化系统及实现方法
JP6863596B6 (ja) データ処理装置及びデータ処理方法
CN105354812B (zh) 基于多Kinect协同的深度阈值分割算法识别轮廓交互方法
CN109448137A (zh) 交互方法、交互装置、电子设备及存储介质
CN101923809A (zh) 交互式增强现实点播机
US20120229463A1 (en) 3d image visual effect processing method
CN106919258B (zh) 基于图像亮度信息纹理力再现交互系统及实现方法
CN108804061A (zh) 虚拟现实系统的虚拟场景显示方法
CN105354031A (zh) 基于Leap Motion的3D商品展示方法
AU2020449562B2 (en) Geometry-aware augmented reality effects with a real-time depth map
TW201417041A (zh) 推擠一模型通過二維場景的系統、方法和電腦程式商品
CN112489179A (zh) 目标模型的处理方法、装置、存储介质及计算机设备
CN110096144B (zh) 一种基于三维重建的交互全息投影方法及系统
Sandnes Sketching 3D immersed experiences rapidly by hand through 2D cross sections
CN109829962B (zh) 一种利用opengl的物体空间消隐线计算加速方法
CN108288299A (zh) 一种表情数据驱动三维形象表情的方法及系统
KR100942026B1 (ko) 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴메이크업 시스템 및 방법
CN116416386A (zh) 一种基于数字孪生l5级仿真高清渲染还原系统
CN106875461A (zh) 一种涂色平面图像3d模型变换系统及方法
CN115908755A (zh) 一种ar投影方法、系统及ar投影仪
CN111258432B (zh) 一种基于静电力触觉反馈装置的高清图像纹理的力触觉再现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221212

Address after: 201108 Room 103, Building 5, No. 4221, Longwu Road, Minhang District, Shanghai

Patentee after: SHANGHAI MISI SOFTWARE TECHNOLOGY Co.,Ltd.

Address before: 210044 No. 219, Ning six road, Nanjing, Jiangsu

Patentee before: Nanjing University of Information Science and Technology