CN102331838A - 基于深度等高线的图像的振动触觉表达方法 - Google Patents

Abstract

本发明公开了一种基于深度等高线的图像的振动触觉表达方法，它首先提取图像深度信息，然后将深度信息转化为振动触觉刺激，不同深度对应不同的振动强度。由于图像采集时采用正向投影方法，因此深度信息对应于物体表面凹凸起伏，这样，使用者用手在振动阵列上摸索时，通过不同的振感就能感知到图像中物体的三维轮廓变化。

Description

基于深度等高线的图像的振动触觉表达方法

技术领域

本发明涉及为视障人群及从事特殊工作的人群提供图像的触觉表达方法，尤其是一种基于深度等高线的图像的振动触觉编码与表达方法。

背景技术

深度信息是产生立体感的关键。人在利用视觉观察真实物体时，不仅能够分辨物体宽度与高度，而且能够辨识出它们的深度，判断物体之间或观看者与物体之间的距离。这种立体视觉主要来源于双目视差。而人在观察二维图像时，一般仍能大致识别出物体的大小与空间位置关系，这主要是归咎于人长期双目视觉的经验，对二维图像所提供的信息进行加工，从而获得心理深度信息。

要让使用者利用触觉的方式准确地感知物体的轮廓特征，深度信息的呈现也不可缺少。然而，以往图像信息的触觉表达，通常是只能呈现物体的二维轮廓信息。例如：JohnLinvil和James Bliss研制的Optacon(奥普特康盲人电子阅读仪)的图像触觉表达系统，能将摄相机的亮度信息转换为振动触觉刺激，通过6×24的振动式触觉阵列作用于手指。上海交通大学研制了一种基于电刺激的触觉替代视觉系统，它将简单图形通过点刺激作用在使用者的指尖，从而感知图形。这种方法是将二维图像的像素空间投影到触觉点阵空间，每个像素点灰度特征和对应位置上的点阵的刺激特征相对应，而二维图像信息中缺少深度信息，导致利用这些触觉点阵无法有效呈现物体的凹凸轮廓变化。缺失了立体感的触觉呈现模式，对于依赖触觉感知环境的视障人群而言，无疑有很大的局限性，如果事先不加特别处理，使用者甚至无法分辨图像中的球、圆以及椭圆。

发明内容

发明目的：

本发明针对现有技术的不足，提供一种基于深度等高线的图像的振动触觉表达方法，该方法无需专门仪器测量图像深度信息。通过该方法，可以使视障人群及从事特殊工作的人群感知物体的三维轮廓。

技术方案：

为了实现上述发明目的，本发明采用的方案为：

本发明提出一种基于深度等高线的图像的振动触觉表达方法，包括图像采集与处理单元、视觉/触觉信息转换单元、振动电机阵列触觉表达单元。其中，图像采集与处理单元利用摄像头采集图像，对图像进行深度信息特征提取；视觉/触觉信息转化单元将图像深度信息映射到二维振动触觉刺激阵列，使图像沿深度方向，正向投影到二维平面上，深度相同的点连成等高线，不同等高线映射到振动阵列上具有不同的振动强度，内外相邻等高线间对应的振动点与外面一条等高线对应的振动点具有相同的振动强度，从而实现视觉图像与触觉刺激的映射；触觉表达单元由32×40的振动电机阵列组成，将振动触觉刺激呈现给使用者。

一种基于深度高线等的图像的振动触觉表达方法，包括步骤：

1)利用摄像头从物体正面采集图像，假设图像的像素为X×Y；

2)对图像进行灰度化与去噪处理，然后采用从明暗恢复形状SFS算法提取图像中每个像素点的深度信息；

3)将图像沿深度方向，正向投影到二维平面上，把深度相同的像素点连成有限条等高线，构成等高线图；

4)将图像深度信息映射到二维振动触觉刺激阵列，所述二维振动触觉刺激阵列是由N×M个点构成，每个点通过振动装置产生可控振动，通过各个振动点，用振动刺激使用者的触觉，使使用者感知图像；

图像的像素和二维振动触觉刺激阵列满足X∶Y＝N∶M。

所述步骤4)中，图像深度信息映射到二维振动触觉刺激阵列：将等高线图等分成N列M行共N×M个区域，每个区域对应一个振动装置，振动装置的振动强度由该区域对应的深度值决定：若深度区域内有等高线经过，则其对应的振动电机就有相应的振动，并且振动强度与深度值对应，深度值越大，振动强度越强，等高线间深度区域所对应的振动电机的振动强度与外面一条等高线对应的振动强度相同。

所述步骤2)中，对图像进行灰度化的方法是：首先提取图像像素点(x，y)的RGB分量，然后根据以下公式计算出该像素点的灰度值G(x，y)：

G(x，y)＝0.30×R(x，y)+0.59×G(x，y)+0.11×B(x，y)               (1)

其中，x代表像素点在图像中的横坐标，y代表像素点在图像中的纵坐标，R(x，y)、G(x，y)、B(x，y)分别代表像素点(x，y)的红色分量值、绿色分量值、蓝色分量值。

所述步骤2)中，图像去噪的方法是采用3×3的中值滤波器，即将图像中位于3×3窗口内像素的灰度值进行排序，取中值作为窗口中心像素的灰度值。

所述步骤2)中，SFS算法选用Tsai&Shah的方法，利用后项有限差分方法将反射函数离散化：

$E(x,y)=R(p,q)=\frac{1+{\mathrm{pp}}_s+{\mathrm{qq}}_s}{\sqrt{1+p^2+q^2}\sqrt{1+{p_s}^2+{q_s}^2}}---\left(2\right)$

其中，

G(x，y)为像素点(x，y)的灰度值，R(p，q)为反射函数，

z＝z(x，y)是像素(x，y)的深度值；

$p=\frac{\∂Z}{\∂x}=Z(x,y)-Z(x-1,y)---\left(3\right)$

$p=\frac{\∂Z}{\∂y}=Z(x,y)-Z(x,y-1)---\left(4\right)$

将公式(2)改写成

0＝f(E(x，y)，Z(x，y)，Z(x-1，y)，Z(x，y-1))

＝E(x，y)-R(Z(x，y)-Z(x-1，y)，Z(x，y)-Z(x，y-1))    (5)

对公式(5)进行Talor展开，得到

$0=f\left(Z(x,y)\right)\≈f\left(Z^{n-1}(x,y)\right)+(Z(x,y)-Z^{n-1}(x,y))\frac{d}{\mathrm{dZ}(x,y)}f\left(Z^{n-1}(x,y)\right)---\left(6\right)$

其中，

$\frac{\mathrm{df}\left(Z^{n-1}(x,y)\right)}{\mathrm{dZ}(x,y)}=-1\×(\frac{(p_s+q_s)}{\sqrt{p^2+q^2+1}\sqrt{p_s^2+q_s^2+1}}-\frac{(p+q)({\mathrm{pp}}_s+{\mathrm{qq}}_s+1)}{\sqrt{{(p^2+q^2+1)}^3}\sqrt{p_s^2+q_s^2+1}})$

推导，可整理成如下的迭代格式：

Zⁿ(x，y)＝Z^n-1(x，y)+Kⁿ(-f(Z^n-1(x，y)))                (7)

其中， $K^n=\frac{S_{x,y}^n{M}_{x,y}}{W_{x,y}+S_{x,y}^n{M}_{x,y}^2},$ $M_{x,y}=\frac{\mathrm{df}}{\mathrm{dZ}(x,y)}\left(Z^{n-1}(x,y)\right),$

E是数学期望算子，W_x，y是一个非常小的非零数；

这样，经过数次迭代后，Zⁿ(x，y)就是对应像素点(x，y)的深度值。

所述步骤3)中，等高线的条数是根据物体深度变化的复杂程度来确定，深度变化越复杂，等高线条数越多；深度变化的复杂程度又通过其方差来判断，方差越大，深度变化越复杂；

具体方法是：

(31)利用SFS算法提取分辨率为X×Y的灰度图中每个像素点的深度信息；

(32)为了消除不同物体深度信息的变异和数值的影响，利用下列公式对物体深度信息Z(x，y)(x＝0，1，...，(X-1)，y＝0，1，...，(Y-1))进行标准化，得到H(x，y)。

$H(x,y)=\frac{(Z(x,y)-Z_{\min })}{Z_{\max }-Z_{\min }}$

(8)

其中，Z_min表示最小深度值，Z_max表示最大深度值，0≤H(x，y)≤1；

(33)根据以下公式求出物体深度信息的方差Var；

$\mathrm{Var}=\frac{\underset{y=0}{\overset{(Y-1)}{\mathrm{\Σ}}}\underset{x=0}{\overset{(X-1)}{\mathrm{\Σ}}}{(H(x,y)-\stackrel{\‾}{H})}^2}{N}---\left(9\right)$

其中，

表示标准化后物体的平均深度值，深度信息的个数N＝X×Y；

(34)由于等高线需要通过振动机构不同的振动强度来区分，而人能够分辨的振动强度有限，实验证明不超过7-8个等级，另外从简化控制的角度，也无需将振动强度等级划分的过细，因此若Var≤0.01，则设定等高线条数W为1条；若0.01＜Var≤0.06，则设定等高线条数W为3条；若0.06＜Var≤0.10，则设定等高线条数W为5条；若Var＞0.10，则设定等高线条数W为7条。

所述步骤3)中，等高线的绘制方法是：在得到深度矩阵后，并且根据深度变化的复杂程度计算出等高线的数目后，将具有相同深度值的点连接起来，形成深度等高线。具体实现过程可利用MATLAB绘制等高线函数contour实现。

所述步骤4)中，等高线对应的振动强度的确定方法是：

首先，根据等高线条数W，将振动强度从小到大等分为W个等级A_j(j＝1，2...，W)；

然后，将W条等高线按深度值从小到大的顺序排列，即第j条等高线的深度值记作d_j(j＝1，2...，W，即d₁＜d₂＜...＜d_W)；

最后，设定深度值为d_j的等高线对应的振动强度为A_j。

一种所述方法的装置，包括图像采集与处理单元、视觉/触觉信息转换单元和触觉表达单元；图像采集与处理单元输出端连接视觉/触觉信息转化单元的输入端；视觉/触觉信息转换单元的控制信号输出端连接触觉表达单元的控制信号输入端；所述触觉表达单元是二维振动触觉刺激阵列，该阵列是由N×M个振动装置构成，每个振动装置通过振动机构产生振幅可控振动。

所述振动机构是振动电机。

与常见的直接将像素灰度与振动单元振动强度相对应的图像表达方法相比，本发明具有如下优点：

1、实现了物体三维轮廓信息的表达。利用图像深度提取算法，获取了图像物体三维信息，并将三维轮廓以不同的振动强度显示，使得利用触觉刺激呈现的信息更为直观、丰富。

2、鉴于人具有对振动刺激变化比较敏感的触觉感知特性，基于深度等高线的图像的振动触觉表达方法用有限条等高线表示物体轮廓信息，用振动强度变化反映轮廓的变化趋势，可以在目前触觉阵列硬件规模远小于图像点阵规模的情况下，使受试者更敏锐地感知到物体的三维轮廓信息。

3、当图像信息较为复杂时，先用双目视觉方法分离背景图像和前景图像，将背景图像和前景图像的等高线图分时显示，或者用不同的振动节奏予以区分。

4、整个图像的触觉显示方法无需专门仪器测量图像深度信息，也无需复杂的触觉表达装置，实现过程简单。

附图说明

图1是本发明方法的系统框图；

图2是本发明方法中图像处理及振动编码的软件流程图；

图3是本发明方法的人眼观察模拟投影图；

图4是本发明方法的实验灰度图；

图5是本发明方法的实验等高线图；

图6是本发明方法的阵列振动强度分布示意图(32×40点阵)。

具体实施方案：

一种基于深度等高线的图像的振动触觉表达方法，包括图像采集与处理单元、视觉/触觉信息转换单元和触觉表达单元；图像采集与处理单元输出端连接视觉/触觉信息转化单元的输入端；视觉/触觉信息转换单元的控制信号输出端连接触觉表达单元的控制信号输入端；所述触觉表达单元是二维振动触觉刺激阵列，该阵列是由N×M个点构成，每个点通过振动电机产生可控振动。

下面结合附图对技术方案的实施作进一步的详细描述：

如图1所示，本发明包括图像采集与处理单元、视觉/触觉信息转换单元以及触觉表达单元三部分。其中，图像采集与处理单元利用摄像头采集图像，对图像进行深度信息特征提取；视觉/触觉信息转化单元使图像空间与触觉空间形成映射，即将图像沿深度方向，正向投影到二维平面上，深度相同的点连成等高线，对应不同振动强度，从而实现视觉图像与触觉刺激的映射；触觉表达单元由N×M的振动电机阵列组成，将振动触觉刺激呈现给受试者。

如图2所示，首先加载用户与摄像头驱动程序，接着利用摄像头采集图像(若采集不到，则重新加载摄像头驱动程序)，将RGB彩色图像转化成灰度图，灰度化选取公式Gray＝0.30×R+0.59×G+0.11×B(R、G、B是彩色图像的三基色)，再对图像进行去噪，考虑去除噪音的效果与边缘保留的平衡，选取中值滤波。然后，选用SFS算法提取图像的深度信息，将图像沿深度方向，正向投影到二维平面上，把深度相同的像素点连成有限条等高线，构成等高线图。最后，使等高线图与N×M振动电机阵列相对应，驱动阵列上对应的振动电机，并使每个振动电机的振动强度与等高线所对应的深度值成比例，深度值越大，振动强度越大。

如图3所示，沿人眼视角方向，将物体轮廓等高线正向投影到平面上的示意图。

如图4所示，经过灰度化与去噪处理，得到花瓶的灰度图(分辨率为160×200)。

如图5所示，花瓶的深度等高线图获取的方法是：首先，对花瓶的灰度图进行SFS算法处理，提取深度信息Z(x，y)(x＝0，1，...，159，y＝0，1，...，199)，并利用公式

(其中，最小深度值z_min＝-0.6，最大深度值z_max＝0.5)标准化深度信息，得出H(x，y)；然后，根据

(其中，深度信息的个数N＝160×200＝32000，标准化后花瓶的平均深度值

)，求出H(x，y)的方差Var为0.05，根据判断准则(0.01＜0.05＜0.06)选用三条等高线；最后，在得到深度矩阵后，并且根据深度变化的复杂程度计算出等高线的数目后，将具有相同深度值的点连接起来，形成深度等高线，具体实现过程利用MATLAB绘制等高线函数contour实现。对应于本实例，三条深度等高线分别用实线、点杠线和虚线表示，其对应的深度值分别为-0.47、-0.15、0.17。

如图6所示，基于深度等高线的花瓶的阵列振动强度分布示意图获取方法是：首先将花瓶等高线图等分成和电机阵列规模相等的32列40行共32×40个区域，使每个深度区域对应一个振动电机；然后，根据图5得出的等高线条数为3，将振动强度从小到大等分为三个等级强度A₁、A₂、A₃(A₁＜A₂＜A₃)，则实线、点杠线、虚线对应的振动强度分别为A₁、A₂、A₃；最后，若深度区域内有等高线，则其对应的振动电机就有相应的振动，并且振动强度与深度值对应，内外两条相邻等高线间的深度区域对应的振动电机的振动强度与外面一条等高线对应的振动强度相同。使用者通过触摸振动电机阵列就可以通过振动强度的变化感知到花瓶的三维轮廓信息。

Claims (10)

1.一种基于深度高线等的图像的振动触觉表达方法，其特征是包括步骤：

1)利用摄像头从物体正面采集图像，假设图像的像素为X×Y；

2)对图像进行灰度化与去噪处理，然后采用从明暗恢复形状SFS算法提取图像中每个像素点的深度信息；

3)将图像沿深度方向，正向投影到二维平面上，把深度相同的像素点连成有限条等高线，构成等高线图；

4)将图像深度信息映射到二维振动触觉刺激阵列，所述二维振动触觉刺激阵列是由N×M个点构成，每个点通过振动装置产生可控振动，通过各个振动点，用振动刺激使用者的触觉，使使用者感知图像；

图像的像素和二维振动触觉刺激阵列满足X∶Y＝N∶M。

2.根据权利要求1所述方法，其特征是所述步骤4)中，图像深度信息映射到二维振动触觉刺激阵列：将等高线图等分成N列M行共N×M个区域，每个区域对应一个振动装置，振动装置的振动强度由该区域对应的深度值决定：若深度区域内有等高线经过，则其对应的振动电机就有相应的振动，并且振动强度与深度值对应，深度值越大，振动强度越强，等高线间深度区域所对应的振动电机的振动强度与外面一条等高线对应的振动强度相同。

3.根据权利要求1所述方法，其特征是所述步骤2)中，对图像进行灰度化的方法是：首先提取图像像素点(x，y)的RGB分量，然后根据以下公式计算出该像素点的灰度值G(x，y)：

G(x，y)＝0.30×R(x，y)+0.59×G(x，y)+0.11×B(x，y)(1)

其中，x代表像素点在图像中的横坐标，y代表像素点在图像中的纵坐标，R(x，y)、G(x，y)、B(x，y)分别代表像素点(x，y)的红色分量值、绿色分量值、蓝色分量值。

4.根据权利要求1所述方法，其特征是所述步骤2)中，图像去噪的方法是采用3×3的中值滤波器，即将图像中位于3×3窗口内像素的灰度值进行排序，取中值作为窗口中心像素的灰度值。

5.根据权利要求1所述方法，其特征是所述步骤2)中，SFS算法选用Tsai&Shah的方法，利用后项有限差分方法将反射函数离散化：

$E(x,y)=R(p,q)=\frac{1+{\mathrm{pp}}_s+{\mathrm{qq}}_s}{\sqrt{1+p^2+q^2}\sqrt{1+{p_s}^2+{q_s}^2}}---\left(2\right)$

其中，

G(x，y)为像素点(x，y)的灰度值，R(p，q)为反射函数，

z＝z(x，y)是像素(x，y)的深度值；

$p=\frac{\∂Z}{\∂x}=Z(x,y)-Z(x-1,y)---\left(3\right)$

$p=\frac{\∂Z}{\∂y}=Z(x,y)-Z(x,y-1)---\left(4\right)$

将公式(2)改写成

0＝f(E(x，y)，Z(x，y)，Z(x-1，y)，Z(x，y-1))

＝E(x，y)-R(Z(x，y)-Z(x-1，y)，Z(x，y)-Z(x，y-1))      (5)

对公式(5)进行Talor展开，得到

$0=f\left(Z(x,y)\right)\≈f\left(Z^{n-1}(x,y)\right)+(Z(x,y)-Z^{n-1}(x,y))\frac{d}{\mathrm{dZ}(x,y)}f\left(Z^{n-1}(x,y)\right)---\left(6\right)$

其中，

$\frac{\mathrm{df}\left(Z^{n-1}(x,y)\right)}{\mathrm{dZ}(x,y)}=-1\×(\frac{(p_s+q_s)}{\sqrt{p^2+q^2+1}\sqrt{p_s^2+q_s^2+1}}-\frac{(p+q)({\mathrm{pp}}_s+{\mathrm{qq}}_s+1)}{\sqrt{{(p^2+q^2+1)}^3}\sqrt{p_s^2+q_s^2+1}})$

推导，可整理成如下的迭代格式：

Zn(x，y)＝Z^n-1(x，y)+Kⁿ(-f(Z^n-1(x，y)))(7)

其中， $K^n=\frac{S_{x,y}^n{M}_{x,y}}{W_{x,y}+S_{x,y}^n{M}_{x,y}^2},$ $M_{x,y}=\frac{\mathrm{df}}{\mathrm{dZ}(x,y)}\left(Z^{n-1}(x,y)\right),$

E是数学期望算子，W_x，y是一个非常小的非零数；

这样，经过数次迭代后，Zⁿ(x，y)就是对应像素点(x，y)的深度值。

6.根据权利要求1所述方法，其特征是所述步骤3)中，等高线的条数是根据物体深度变化的复杂程度来确定，深度变化越复杂，等高线条数越多；深度变化的复杂程度又通过其方差来判断，方差越大，深度变化越复杂；

具体方法是：

(31)利用SFS算法提取分辨率为X×Y的灰度图中每个像素点的深度信息；

(32)为了消除不同物体深度信息的变异和数值的影响，利用下列公式对物体深度信息Z(x，y)(x＝0，1，...，(X-1)，y＝0，1，...，(Y-1))进行标准化，得到H(x，y)。

$H(x,y)=\frac{(Z(x,y)-Z_{\min })}{Z_{\max }-Z_{\min }}$

(8)

其中，Z_min表示最小深度值，Z_max表示最大深度值，0≤H(x，y)≤1；

(33)根据以下公式求出物体深度信息的方差Var；

$\mathrm{Var}=\frac{\underset{y=0}{\overset{(Y-1)}{\mathrm{\Σ}}}\underset{x=0}{\overset{(X-1)}{\mathrm{\Σ}}}{(H(x,y)-\stackrel{\‾}{H})}^2}{N}---\left(9\right)$

其中，

表示标准化后物体的平均深度值，深度信息的个数N＝X×Y；

(34)由于等高线需要通过振动机构不同的振动强度来区分，而人能够分辨的振动强度有限，实验证明不超过7-8个等级，另外从简化控制的角度，也无需将振动强度等级划分的过细，因此若Var≤0.01，则设定等高线条数W为1条；若0.01＜Var≤0.06，则设定等高线条数W为3条；若0.06＜Var≤0.10，则设定等高线条数W为5条；若Var＞0.10，则设定等高线条数W为7条。

7.根据权利要求1所述方法，其特征是所述步骤3)中，等高线的绘制方法是：在得到深度矩阵后，并且根据深度变化的复杂程度计算出等高线的数目后，将具有相同深度值的点连接起来，形成深度等高线。

8.根据权利要求1或2所述方法，其特征是所述步骤4)中，等高线对应的振动强度的确定方法是：

首先，根据等高线条数W，将振动强度从小到大等分为W个等级A_j(j＝1，2...，W)；

然后，将W条等高线按深度值从小到大的顺序排列，即第j条等高线的深度值记作d_j(j＝1，2...，W，即d₁＜d₂＜...＜d_W)；

最后，设定深度值为d_j的等高线对应的振动强度为A_j。

9.一种实现权利要求1～8任一所述方法的装置，其特征是包括图像采集与处理单元、视觉/触觉信息转换单元和触觉表达单元；图像采集与处理单元输出端连接视觉/触觉信息转化单元的输入端；视觉/触觉信息转换单元的控制信号输出端连接触觉表达单元的控制信号输入端；

所述触觉表达单元是二维振动触觉刺激阵列，该阵列是由N×M个振动装置构成，每个振动装置通过振动机构产生振幅可控振动。

10.根据权利要求9所述装置，其特征是所述振动机构是振动电机。

Images