CN106919257B - 基于图像亮度信息力触觉交互纹理力再现方法 - Google Patents

Abstract

本发明公开了基于图像亮度信息力触觉交互纹理力再现方法，本发明结合计算机图像处理、虚拟现实技术与力触觉传感技术，通过算法优化，合理得对纹理接触力进行建模，对图像信息进行预处理，结合运动学原理，在虚拟接触点产生相应纹理的接触力，再将得到的相应纹理信息通过力触觉再现设备反馈给操作者，可以使操作者真实得感知物体表面纹理物理属性，从而达到重构物体表面三维纹理信息的目的。与已有的技术方法相比，该方法一定程度上提高了纹理再现效率和操作者真实感体验。

Description

基于图像亮度信息力触觉交互纹理力再现方法

技术领域

本发明涉及一种基于虚拟现实技术下力触觉再现技术，尤其是一种基于图像亮度信息处理下纹理力再现方法。属于计算机图像处理、虚拟现实技术与力触觉传感技术领域。

背景技术

纹理是物体表面的微观几何形状、粗糙度等特性的综合描述。现实中，我们通过触觉直接感知物体的纹理信息，判断物体的一系列材质特点。随着虚拟现实技术在力触觉传感领域的广泛应用，以及一系列虚拟环境构造、虚拟物体仿真的实现，使得通过仪器捕捉现实物体的特点再通过力触觉交互系统将其输出得以实现。例如吴等人通过仪器实际测量纹理力再通过电压输出实现了力触觉的再现。这一领域技术的实现，也使得人们可以远程地对物体从外形到触觉多方位感知了解。对如今的远程购物体验、老建筑物纹理再现修复等方面都有一定的现实意义。

随着计算机视觉、图像处理技术的发展,如今可以通过对物体图像的预处理得到物体图像灰度值，进一步分离近似得到图像中呈现的物体纹理信息，从而使得物体的纹理信息的提取变得更容易。这一技术主要是将捕捉到的图像信息加以处理，在虚拟接触点结合运动学原理计算产生相应纹理的接触力，再将得到的相应纹理信息通过力触觉再现设备反馈给操作者，可以使得操作者真实地感知物体表面纹理物理属性，从而达到重构物体表面三维纹理信息的目的。

发明内容

目的：本发明专利通过算法优化，合理得对纹理接触力进行建模，对图像信息进行预处理技术，在虚拟接触点结合运动学原理产生相应纹理的接触力，再将得到的相应纹理信息通过力触觉再现设备反馈给操作者，使得操作者真实地感知物体表面纹理物理属性，从而达到重构物体表面三维纹理信息的目的。

技术方案如下：

(1)导入物体表面二维纹理图片，假设该二维纹理图片大小为m×n个像素，即图像横向像素个数为m，纵向像素个数为n；利用下述公式红绿蓝过滤器得到的亮度值将图像处理出红、绿、蓝三个分量R、G、B：

其中，λ表示波长，E(λ)表示输入过滤器的光或者射线，S_R、S_G、S_B是三个颜色过滤器；将RGB空间进行如下线性变换得到原图像亮度信息V：

V＝0.299R+0.587G+0.114B

其中0＜R＜1,0<G<1,0<B＜1

(2)运用去噪声高斯滤波器进行滤波去噪，噪声在图像处理中被看成一个高频信号,图像去噪可由下面的线性卷积实现:

其中，I、Ω、V(η,ξ)分别表示：去噪后的图像像素块顶点亮度信息值、整个图像平面、原图像亮度信息；

H(x₁,y₁)为高斯滤波算子，其表达式为：

其中选定的参数σ表征高斯滤波宽度，决定图片处理平滑程度；

(3)通过均值法对每个像素块周围区域的亮度值求区域平均值，近似估算该像素块顶点的亮度值：

以像素块D_0,0为例：

其中，I_s,t表示去噪后的图像各个像素块顶点亮度信息值，(s,t)表示像素块顶点位置坐标，s∈{0,1,2,3,…m}，t∈{0,1,2,3,…n}，D_i,j表示各个像素块亮度值，(i,j)表示各像素块位置坐标，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}；

(4)对各个像素块求得的亮度信息进行规范化处理，得到整体图像物体纹理的表面高度Q_m×n，其计算公式如下：

其中D_i,j表示各个像素块亮度值，d_i,j表示处理后各个像素块物体纹理的表面高度，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}，为整体图像所有像素块亮度值的平均值；通过均值法和规范化处理，在得到像素块有限纹理信息的同时，减少力触觉交互系统在数据力重现过程中可能出现的严重抖动现象，更真实有效的实现纹理再现；

(5)将图像输出的位置坐标：P_X,P_Y,P_Z转化为虚拟环境下的坐标M_X,M_Y,M_Z，具体坐标转换公式如下：

通过交互系统模块检测，当虚拟探针没有触碰到虚拟物体纹理时，输出力为0；当发生触碰，则纹理力计算如后述步骤：

假设预处理后虚拟物体的纹理图片位于虚拟空间坐标OXYZ中的OXY平面，即Z＝0，且位置左右上下对齐，假设虚拟碰撞点在虚拟环境的坐标为(X,Y,Z),得到碰撞点在OXY平面投影点为(X,Y),此处(X,Y)为像素块图片位置坐标(i,j)对应到OXY平面的位置坐标，X∈{0,1,2,3,…m-1}，Y∈{0,1,2,3,…n-1}；基于以上图片预处理，得到的每个像素块所对应的纹理表面物理高度值，即投影点所对应的物体表面纹理高度值为d_X,Y,则在碰撞点的输出纹理接触力计算方法如下：

假设物体表面为刚性，则纹理接触力由法向力和切向摩擦力合成，

法向力的计算方法如下：

d_X,Y为接触点像素块物体表面纹理高度值，k为物体表面的刚性系数；当d_X,Y为正，这表明物体表面在接触点出处是凸起，如果为负，则意味着物体表面在接触点处是凹下的；

切向摩擦力遵循动摩擦力产生公式：

切向摩擦力的方向与OXY平面平行，并与运动方向相反；其中μ(X,Y)位虚拟物体在接触点处的动摩擦因数；

μ(X,Y)＝ρ×r(X,Y)

其中，ρ是纹理表面材料的粗糙系数，r(X,Y)为接触点的局部粗糙系数，与该接触点的局部凹凸程度有关；

最终，计算纹理接触力后通过力/触觉交互系统输出合力。

有益效果

通过结合图像预处理信息，可以方便快速得得到图像亮度信息。将亮度信息再次进行均值化和规范化，在保证有效纹理信息的同时，极大得减小了力触觉再现过程中可能出现的严重抖动现象，提高了纹理再现的效率和操作者的真实感体验。

附图说明

图1基于力触觉交互系统纹理力触觉再现系统框图；

图2基于力触觉交互系统纹理力触觉再现系统流程图；

图3纹理力合成示意图；

图4素块D_0,0的周围区域的亮度值示意图。

具体实施方式

以下结合附图具体说明本发明技术方案。

具体操作系统模式块框图如附图1所示，算法模式流程如附图2所示，首先进行图片的导入存储，结合本发明专利的优化图片处理算法，对图片进行亮度信息提取预处理。在力触觉交互系统初始化之后，在虚拟环境对物体进行建模产生仿真图像，通过结合运动定律算法计算虚拟环境物体不同位置纹理力，循环进行位置检测和碰撞检测，在确定产生碰撞的位置通过力触觉交互设备将纹理力计算结果输出给操作者。

具体算法步骤说明如下：

(1)导入物体表面二维纹理图片，假设该二维纹理图片大小为m×n个像素，即图像横向像素个数为m，纵向像素个数为n；利用下述公式红绿蓝过滤器得到的亮度值将图像处理出红、绿、蓝三个分量R、G、B：

其中，λ表示波长，E(λ)表示输入过滤器的光或者射线，S_R、S_G、S_B是三个颜色过滤器；将RGB空间进行如下线性变换得到原图像亮度信息V：

V＝0.299R+0.587G+0.114B

其中0＜R＜1,0<G<1,0<B＜1

(2)运用去噪声高斯滤波器进行滤波去噪，噪声在图像处理中被看成一个高频信号,图像去噪可由下面的线性卷积实现:

其中，I、Ω、V(η,ξ)分别表示：去噪后的图像像素块顶点亮度信息值、整个图像平面、原图像亮度信息；

H(x₁,y₁)为高斯滤波算子，其表达式为：

其中选定的参数σ表征高斯滤波宽度，决定图片处理平滑程度；

高斯滤波能有效地滤除掉图像中的细小噪点和边缘形状上细小的曲折,这种与多通道处理相结合的滤波方法更能有效地提高彩色图像的信噪比；

(3)如附图4所示，通过如下计算公式，以像素块D_0,0为例计算像素块区域亮度方法，通过均值法对每个像素块周围区域的亮度值求区域平均值，近似估算该像素块顶点的亮度值：

以像素块D_0,0为例：

其中，I_s,t表示去噪后的图像各个像素块顶点亮度信息值，(s,t)表示像素块顶点位置坐标，s∈{0,1,2,3,…m}，t∈{0,1,2,3,…n}，D_i,j表示各个像素块亮度值，(i,j)表示各像素块位置坐标，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}；

(4)对各个像素块求得的亮度信息进行规范化处理，得到整体图像物体纹理的表面高度Q_m×n，其计算公式如下：

其中D_i,j表示各个像素块亮度值，d_i,j表示处理后各个像素块物体纹理的表面高度，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}，为整体图像所有像素块亮度值的平均值；通过均值法和规范化处理，在得到像素块有限纹理信息的同时，减少力触觉交互系统在数据力重现过程中可能出现的严重抖动现象，更真实有效的实现纹理再现；

(5)将图像输出的位置坐标：P_X,P_Y,P_Z转化为虚拟环境下的坐标M_X,M_Y,M_Z，具体坐标转换公式如下：

通过交互系统模块检测，当虚拟探针没有触碰到虚拟物体纹理时，输出力为0；当发生触碰，则纹理力计算如后述步骤：

假设预处理后虚拟物体的纹理图片位于虚拟空间坐标OXYZ中的OXY平面，即Z＝0，且位置左右上下对齐，假设虚拟碰撞点在虚拟环境的坐标为(X,Y,Z),得到碰撞点在OXY平面投影点为(X,Y),此处(X,Y)为像素块图片位置坐标(i,j)对应到OXY平面的位置坐标，X∈{0,1,2,3,…m-1}，Y∈{0,1,2,3,…n-1}；基于以上图片预处理，得到的每个像素块所对应的纹理表面物理高度值，即投影点所对应的物体表面纹理高度值为d_X,Y,则在碰撞点的输出纹理接触力计算方法如下：

假设物体表面为刚性，则力合成模型如附图3所示，纹理接触力由法向力和切向摩擦力合成，

法向力的计算方法如下：

d_X,Y为接触点像素块物体表面纹理高度值，k为物体表面的刚性系数；当d_X,Y为正，这表明物体表面在接触点出处是凸起，如果为负，则意味着物体表面在接触点处是凹下的；

切向摩擦力遵循动摩擦力产生公式：

切向摩擦力的方向与OXY平面平行，并与运动方向相反；其中μ(X,Y)位虚拟物体在接触点处的动摩擦因数；

μ(X,Y)＝ρ×r(X,Y)

其中，ρ是纹理表面材料的粗糙系数，r(X,Y)为接触点的局部粗糙系数，与该接触点的局部凹凸程度有关；

最终，计算纹理接触力后通过力/触觉交互系统输出合力。

Claims (1)

1.基于图像亮度信息力触觉交互纹理力再现方法，其特征在于，包括如下步骤：首先进行图片的导入存储，结合优化图片处理方法，对图片进行亮度信息提取预处理；在力触觉交互系统初始化之后，在虚拟环境对物体进行建模产生仿真图像，通过结合运动定律算法计算虚拟环境物体不同位置纹理力，循环进行位置检测和碰撞检测，在确定产生碰撞的位置通过力触觉交互设备将纹理力计算结果输出给操作者；具体图片预处理算法及纹理力计算方法如下：

(1)导入物体表面二维纹理图片，假设该二维纹理图片大小为m×n个像素，即图像横向像素个数为m，纵向像素个数为n；利用下述公式红绿蓝过滤器得到的亮度值将图像处理出红、绿、蓝三个分量R、G、B：

其中，λ表示波长，E(λ)表示输入过滤器的光或者射线，S_R、S_G、S_B是三个颜色过滤器；将RGB空间进行如下线性变换得到原图像亮度信息V：

V＝0.299R+0.587G+0.114B

其中0＜R＜1,0<G<1,0<B＜1

(2)运用去噪声高斯滤波器进行滤波去噪，噪声在图像处理中被看成一个高频信号,图像去噪可由下面的线性卷积实现:

其中，I、Ω、V(η,ξ)分别表示：去噪后的图像像素块顶点亮度信息值、整个图像平面、原图像亮度信息；

H(x₁,y₁)为高斯滤波算子，其表达式为：

其中选定的参数σ表征高斯滤波宽度，决定图片处理平滑程度；

(3)通过均值法对每个像素块周围区域的亮度值求区域平均值，近似估算该像素块顶点的亮度值：

以像素块D_0,0为例：

其中，I_s,t表示去噪后的图像各个像素块顶点亮度信息值，(s,t)表示像素块顶点位置坐标，s∈{0,1,2,3,…m}，t∈{0,1,2,3,…n}，D_i,j表示各个像素块亮度值，(i,j)表示各像素块位置坐标，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}；

(4)对各个像素块求得的亮度信息进行规范化处理，得到整体图像物体纹理的表面高度Q_m×n，其计算公式如下：

其中D_i,j表示各个像素块亮度值，d_i,j表示处理后各个像素块物体纹理的表面高度，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}，为整体图像所有像素块亮度值的平均值；通过均值法和规范化处理，在得到像素块有限纹理信息的同时，减少力触觉交互系统在数据力重现过程中可能出现的严重抖动现象，更真实有效的实现纹理再现；

(5)将图像输出的位置坐标：P_X,P_Y,P_Z转化为虚拟环境下的坐标M_X,M_Y,M_Z，具体坐标转换公式如下：

通过交互系统模块检测，当虚拟探针没有触碰到虚拟物体纹理时，输出力为0；当发生触碰，则纹理力计算如后述步骤：

假设预处理后虚拟物体的纹理图片位于虚拟空间坐标OXYZ中的OXY平面，即Z＝0，且位置左右上下对齐，假设虚拟碰撞点在虚拟环境的坐标为(X,Y,Z),得到碰撞点在OXY平面投影点为(X,Y),此处(X,Y)为像素块图片位置坐标(i,j)对应到OXY平面的位置坐标，X∈{0,1,2,3,…m-1}，Y∈{0,1,2,3,…n-1}；基于以上图片预处理，得到的每个像素块所对应的纹理表面物理高度值，即投影点所对应的物体表面纹理高度值为d_X,Y,则在碰撞点的输出纹理接触力计算方法如下：

假设物体表面为刚性，则纹理接触力由法向力和切向摩擦力合成，

法向力的计算方法如下：

d_X,Y为接触点像素块物体表面纹理高度值，k为物体表面的刚性系数；当d_X,Y为正，这表明物体表面在接触点出处是凸起，如果为负，则意味着物体表面在接触点处是凹下的；

切向摩擦力遵循动摩擦力产生公式：

切向摩擦力的方向与OXY平面平行，并与运动方向相反；其中μ(X,Y)位虚拟物体在接触点处的动摩擦因数；

μ(X,Y)＝ρ×r(X,Y)

其中，ρ是纹理表面材料的粗糙系数，r(X,Y)为接触点的局部粗糙系数，与该接触点的局部凹凸程度有关；

最终，计算纹理接触力后通过力/触觉交互系统输出合力。