CN101996413A - 编码和解码触觉信息的方法以及处理触觉信息的设备 - Google Patents

Abstract

公开了一种在图象上对触觉信息进行编码或者从图像解码触觉信息的技术。根据本发明的在图像上对触觉信息进行编码的方法包括：生成触觉信息；通过使用所述触觉信息和与所述触觉信息相关联的报头信息生成编码目标数据；以及通过使用每个原始图像像素的字节数据的最低有效位(LSB)对所述编码目标数据进行编码来生成编码图像。结果，本发明能够在保持原始图像格式的同时对触觉信息进行简单编码/解码。

Description

编码和解码触觉信息的方法以及处理触觉信息的设备

相关申请的交叉引用

本申请要求于2009年8月10日提交的韩国专利申请No.10-2009-0073254和于2010年4月22日提交的韩国专利申请No.10-2010-0037380的优先权，上述专利申请的全部内容结合于此作为参考。

技术领域

本发明涉及对触觉(haptic)信息进行编码和解码的方法，更具体地，涉及对包括原始图像的触觉信息的触觉信息进行编码/解码的技术。

背景技术

通常，触觉信息是与人的手指在接触物体时所感到的触感对应的信息。触感是在皮肤接触物体表面时所感到的触知(tactile)反馈或者在关节或肌肉的运动受到阻挡时所感到的动觉力反馈的综合概念。

韩国未审查公开No.10-2008-0032316公开了“a graphic-to-tactileproduction method of a surface using image information(一种使用图像信息的表面的图形到触知产生方法)”。

所述专利公开了一种使用图像的灰度级信息(阴影信息)来生成触知信息的方法。该技术将图像转换为灰度级并且立即使用转换为灰度级的图像来生成触知信息。该技术能够变换与图像相匹配的现实触觉反馈信息，并且已经在使用触知信息的许多应用中得以使用。

然而，根据现有方法的触觉信息提取根据目标图像适当地确定触觉信息。此外，由于现有的触觉信息存储方法是使用元数据或者涉及与原始图像不同的图像(灰度级图像等)的方法，所以所存在的问题在于不方便传送和存储触觉数据、并且不容易管理触觉数据。

韩国未审查公开文本No.10-2007-0105770公开了“a processing system ofsensory data and method thereof(感觉数据的处理系统及其方法)”。然而，本专利是将嗅觉、味觉和触觉数据进行复用并变换为与原始图像不同的现实多媒体文件的方法。因此，相关技术利用包含触觉数据的数据降低了兼容性，所述触觉数据包括提供给用户但是通过单独输出格式进行传递的感觉信息。

因此，迫切需要一种能够在最小化对原始图像的损坏的同时有效地传送/接收触觉信息的、对新触觉信息进行编码/解码的方法。

发明内容

为了解决以上问题，本发明的目的是通过传送/接收没有数据量变化或格式变化的图像来传送/接收独立的触觉信息，而不需要诸如元文件之类的单独的附加信息。

本发明的另一目的是，通过仅改变原始图像的每个像素的字节数据的最低有效位(LSB)，而在最小化由触觉信息编码所导致的对原始图像的损坏的同时、对触觉信息进行编码。

本发明的又一目的是，通过适当缩小编码的触觉信息以使得其不能被用户所区分而在一范围内最大地减少数据量，来在最小化对原始图像的损坏的同时、输入附加触觉信息。

为了实现以上的目的，一种在图像上对触觉信息进行编码的方法包括：生成触觉信息；通过使用所述触觉信息和与所述触觉信息相关联的报头信息来生成编码目标数据；并且通过使用每个原始图像像素的每个字节数据的最低有效位(LSB)对所述编码目标数据进行编码来生成编码的图像。

所述触觉信息可以是包括凸起信息、表面阻抗信息、纹理分布信息和温度分布信息的深度分布信息中的任一个的触觉分布数据，所有这些信息都是空间分布的。

生成所述触觉信息的步骤可以包括减小数据大小以生成所述触觉信息的缩小处理。

所述触觉信息可以是时间序列振动信息。在这种情况下，所述时间序列振动信息意味着随时间变化的振动信息。

生成所述编码图像的步骤可以将所述编码目标数据的每一比特插入到原始图像像素的一些像素中的每一个的字节数据的最低有效位中，并且可以原样地保持所述原始图像像素的剩余像素的字节数据的最低有效位。每个原始图像像素的字节数据是R、G和B子像素字节和非颜色数据中的任意一个。

当原始图像是动画的gif(可交换的图像文件格式)文件时，在每个图像帧中编码所述编码目标数据。

此外，根据本发明一个实施例的从图像解码触觉信息的方法包括：加载编码图像；提取所述编码图像的一些像素中每一个的字节数据的每个最低有效位(LSB)，以恢复与触觉信息相关联的报头信息；并且通过使用所述编码图像的剩余像素中的报头信息来收集确定数目像素的字节数据的最低有效位，以恢复所述触觉信息。

在这种情况下，提取所述报头信息的步骤加载与预定数目像素中的每一个对应的字节数据，以提取所加载字节数据的最低有效位，并且通过使用所提取的比特来恢复所述报头信息。

每个原始图像像素的字节数据是R、G和B子像素字节和非颜色数据中的任意一个。

此外，根据本发明一个实施例的处理触觉信息的设备包括：触觉信息生成器，其生成触觉信息；报头生成器，其与所述触觉信息相关联，并且配置编码目标数据连同所述触觉信息；和编码器，其通过使用原始图像的每个像素的每个字节数据的最低有效位(LSB)对所述编码目标数据进行编码来生成编码图像。

此外，处理触觉信息的设备包括：图像加载单元，其加载编码图像；报头恢复单元，其提取所述编码图像的一些像素的每个字节数据的最低有效位(LSB)，以恢复与触觉信息相关联的报头信息；和触觉信息恢复单元，其通过使用所述报头信息收集确定数目像素的字节数据的最低有效位，以恢复所述触觉信息。

本发明可通过传送/接收没有数据量变化或格式变化的图像来传送/接收触觉信息，而不需要诸如元文件之类的单独的附加信息。

此外，本发明可通过仅改变原始图像的每个像素的字节数据的最低有效位(LSB)，而在最小化由触觉信息编码所导致的对原始图像的损坏的同时、对触觉信息进行编码。

此外，本发明可通过适当缩小编码的触觉信息使得其不能被用户所区分而在一范围内最大地减少数据量，来最小化对原始图像的损坏。

附图说明

图1是示出依据本发明一个实施例的包括分布信息的触觉数据的一个示例的示图；

图2是示出缩小图1所示的触觉分布数据的图像的示图；

图3是示出当C的报头部分的第一个字符为“6”时、原始图像的每个像素的字节数据的最低有效位(LSB)以及编码目标数据的每一比特的示图；

图4是示出根据依据本发明一个实施例的对触觉信息进行编码的方法的图像像素变化的示图；

图5是示出用于触觉交互的光标的示图；

图6是用于解释触觉分布信息和光标的触觉交互的示图；

图7是示出使用触觉臂的触觉反馈呈现设备的一个示例的示图；

图8是示出具有随时间变化的值的触觉信息示例的示图；

图9是示出在使用“250_22_2”作为报头并且对图8所示示例的触觉信息进行编码时、已编码的目标数据的示例的示图；

图10是示出依据本发明一个实施例的在图像上对触觉信息进行编码的方法的操作流程图；

图11是示出依据本发明一个实施例的从图像解码触觉信息的方法的操作流程图；

图12是依据本发明一个实施例的处理触觉信息的设备的框图；和

图13是依据本发明另一实施例的处理触觉信息的设备的框图。

具体实施方式

以下将参考附图对本发明进行详细描述。这里，省略了在描述本发明时可能不必要地使得本发明的目的模糊的、相关已知功能或配置的详细描述。提供本发明的示例性实施例，以使得本领域技术人员能够更为全面地理解本发明。因此，为了清晰的理解，可夸大图中的元件的形状、大小等。

下文中，将参考附图详细描述根据本发明的示例性实施例。

图1是示出依据本发明一个实施例的包括分布信息的触觉数据的一个示例的示图。

参见图1，可以理解，二维空间上的触觉分布数据按照灰度级图像的形式来表示。

触觉信息可以具有与图像对应的分布形式。在这种情况下，触觉信息能够被认为是与作为图像的每个图像像素对应的一组步长值。

此外，所述触觉信息的值可随时间而变化。在这种情况下，触觉信息可被认为是随时间列出的一系列信息。

所述触觉分布数据意味着图像具有视觉分布的颜色信息，并且进行触知和空间分布。所述触觉分布数据具有二维的分布信息和指定步长值，以使得其能够由图1所示的灰度级图像来表示。然而，所述灰度级图像并不向用户进行视觉显示，而是被用于生成触觉信息。

对触觉分布数据中的深度分布数据的示例进行描述，能够理解，在与二维空间中所表示的图像的每个像素对应的位置上可获得的各个灰度级值越大，则凸起变得越大。换句话说，当区域接近于图1中的白色时，它突出以接近用户，但是当所述区域接近于黑色，其可能不突出。

图1所示的圆形和方形表示放置在每个平面上的半球物体和六边形的深度分布数据。

所述半球物体和六边形物体二者均具有高度信息。有时，该高度信息可通过阴影等进行确认。

图1所示的图像可以从PC环境中所使用的、具有诸如jpg、gif、bmp、png、tif等扩展名的图像得出。

具体地，在图1所示的示例中，方形可以是示出立方体拼图(puzzle)的深度信息。因此，可理解存在方格形状。

可以使用软件程序、通过比较以预定空间间隔拍摄并且可以通过诸如立体相机等的特殊装置所生成的照片，来确定所述深度分布数据。当然，可以由用户来生成/编辑所述深度分布数据。

根据该实施例，当所述触觉分布数据表示变暖(warming)分布时，它们可以由红外相机确定，并且当所述触觉分布数据表示纹理分布或阻抗分布时，它们可以由测量表面区域特性的传感器来确定。

图2是示出缩小图1所示的触觉分布数据的图像的示图。

参见图2，图2所示的图像对应于分别以因数a(0＜a＜1)缩小图1所示图像的宽度(w)和高度(h)所获得的结果。因此，w’等于w×a，且h’等于h×a。

图2所示的图像并不向用户进行视觉显示，而是仅能够被用于生成触觉信息。

缩小触觉分布数据的原因是通过减小触觉分布数据的大小而对原始图像进行编码，以及通过最大程度地减少所要编码的数据以使原始图像数据中的变化最小化。这利用了当人们认知到空间分布的触感时触知分辨率低于视觉分辨率的事实。换句话说，考虑到认知能力，可减小触觉分布数据的大小。

如以上所描述的，缩小的触觉信息在解码器中再次被放大，以使得其被用于提供针对原始图像的触觉反馈。因此，触觉信息的分辨率可降低与缩小触觉信息一样多，并且所编码的数据量可减少与分辨率的降低同样多。

以下将示意性地描述根据本发明一个实施例的在图像上对触觉信息进行编码的方法。

当原始图像是通过从上方拍摄放置在桌面上的半球物体和六边形立体拼图所获得的图像时，可生成对应于原始图像的深度分布数据，并且所述深度分布数据可具有与原始图像的幅度(breadth)×宽度(width)坐标对应的高度值。

在原始图象上对所生成的深度分布数据进行编码之前，应当如以上所描述地对所述深度分布数据的大小进行控制(缩小)，这可以对应于将深度分布数据视为一个图像并且在幅度和宽度方面以相同的比率减小它的过程。

换句话说，所述深度分布数据的缩小过程可以是将图像大小与a(0＜a＜1)相乘的过程。

如以上所描述的，当在原始图像上对通过将深度分布数据的大小与a相乘而获得的缩小的触觉分布数据进行编码时，难以在视觉上识别原始图像和编码图像之间的差异。用户可以使用包括所述触觉分布数据的编码图像以便验证现有平台中的视觉信息，并且如果有必要，可以通过解码缩小的触觉分布数据并且以因数1/a放大缩小的触觉分布数据来以图像形式恢复触觉分布数据。由于所述触觉分布数据在编码之前被缩小，所以它们在解码时被再次放大，从而所述触觉分布数据的分辨率比原始图像更为恶化。然而，如以上所描述的，在人类触觉识别能力的范围之内适当设置“a”，以防止触觉信息恶化。在减少超出人们的认知能力的数据方面，这与减少无法被人们的听力所察觉的区域信息的mp3技术类似。

下文中，将参考空间分布的触觉信息的情况描述根据本发明的在图像上对触觉信息进行编码的方法。空间分布的触觉信息的示例可包括深度分布信息，所述深度分布信息包括凸起信息、表面阻抗信息、纹理分布信息或者温度分布信息等。

当触觉分布信息被表示为具有如图1所示的步长值的图像时，可以理解，图1所示图像的宽度w和高度h与原始图像的宽度w和高度h相同。当触觉分布信息如图2所示被缩小时，被缩小的触觉分布信息的图像的宽度和高度变为w’(w’＝aw)和h’(h’＝ah)。

实际上，由于编码的触觉分布信息是缩小的触觉分布信息，所以报头数据利用所包括的“w”和“h”的信息以及通道数量来描述触觉数据。该报头数据在解码过程中被用来从图像恢复二维触觉分布数据。

例如，所述报头可包括触觉信息的类别和大小、有关通道数量的信息等。

例如，原始图像的宽度为640像素，其高度为480像素，并且当a被设置为1/10时，映射数据的通道数量被设置为1，并且值之间的标识符被设置为“_”，报头可具有与“64_48_1”相同的形式。此外，在描述触觉信息的特性时，当在深度分布信息的情况下分配“01”、在纹理分布信息的情况下分配“02”、以及在温度分布信息的情况下分配“03”时，对应于深度分布信息的报头可具有与如图1所示实施例中的深度分布信息对应的“64_48_1_01_1”。

当报头信息用二进制数表示时，由于“6”的ASCII码值是作为十进制数的54，所以作为二进制数其变为00110110。以相同的方式，所举例给出的报头值的二进制值的列表如下(“_”用“01011111”编码)。

0011011000110100010111110011010000111000010111110011000101011111001100000011000101011111

当所确定图像形式的具有宽度w’和高度h’的触觉分布数据的每个像素数据被形成为一个阵列时，值被确定为0或1的集合。当所确定的比特的集合由B来定义、并且所确定的二进制数形式的报头值由A来定义时，二进制编码数据的最终形式由C来定义，其为A和B集合的级联。

接下来，将描述将二进制编码数据与一系列图像的每个像素的最低有效位进行比较并且根据结果改变像素值的过程。

当C具有i比特时，C的每一比特连续地与具有m(m＞i)个像素字节的原始图像的第一像素的字节数据的最低有效位(LSB)进行比较。

在这种情况下，根据该实施例，原始图像的每个像素可以由诸如R、G和C的三个子像素字节所形成，并且可以包括诸如α(alpha)、Z或拐点(bump)数据等的非颜色数据。因此，在本发明中，字节数据可以是R子像素字节、G子像素字节或B子像素字节，所有这些都包括在像素中并且可以是非颜色数据。

当整个原始图像像素字节为D(D＞C)时，D的第一像素的字节数据(R、G和B之一)的最低有效位与C的第一比特进行比较。

图3是示出当C的报头部分的第一个字符为“6”时、原始图像的每个像素的字节数据的最低有效位(LSB)以及已编码目标数据的每一比特的示图。

参见图3，可以理解，原始图像的第一像素被设置为B：132、G：137和R：136，第二像素被设置为B：137、G：139和R：139，且第三像素被设置为B：139和G：141。

换句话说，图3的第一行300可被认为对原始图像的每个像素的字节数据进行排列。

图3的第二行310表示每个字节数据的LSB。在图3所示的示例中，当第一行300的值为奇数时，第二行310的值变为“1”，以及当第一行300的值为偶数时，第二行310的值变为“0”。

图3的第三行320表示C的报头部分的第一字符“6”被二进制化的值。

换句话说，原始图像的每个像素的字节数据的最低有效位与每个报头的位值进行比较，以使得当两个值相同时，原始图像的像素值被保持，并且当两个比特值不同时，原始图像像素的字节数据的最低有效位被改变。

从图3所示的示例可以理解，第一像素的G子像素字节的最低有效位1与编码目标数据的对应比特0不同(330)，第一像素的R子像素字节的最低有效位0与编码目标数据的对应比特1不同(340)，第二像素的G子像素字节的最低有效位1与编码目标数据的对应比特0不同(350)，并且第三像素的G子像素字节的最低有效位1与编码目标数据的对应比特0不同(360)。

在图3所示的示例中，8字节数据B、G、R、B、G、R、B和G的最低有效位的值通过以上方式来确定。

结果，编码图像的像素值通过与原始图像的像素值相比较而略有修改。可根据原始图像的形式来使用包括R、G和B子像素以及像素的透明度在内的α通道的字节数据。

图4是示出根据本发明一个实施例的对触觉信息进行编码的方法的图像像素变化的示图。

参见图4，可以理解，原始图像的第一像素被设置为B：132、G：137和R：136，第二像素被设置为B：137、G：139和R：139，并且第三像素被设置为B：139和G：141。

如之前参考图3所评论的，由于第一像素的G和R子像素字节、第二像素的G子像素字节和第三像素的G子像素字节的最低有效位与编码目标数据的对应比特不同，所以仅所述子像素字节的LSB通过+1而改变。为了描述方便，图4示出了像素值增加1。然而，之前所描述的是像素的字节数据的变化是关于LSB值而变化。

图3和图4描述了如下的示例，其中字节数据的最低有效位与编码目标数据的对应比特进行比较，但是目标数据的对应比特可被插入到字节数据的最低有效位而不执行比较过程。

人们在视觉上难以识别所述变化，由此难以以肉眼识别原始图像和对触觉信息进行编码的图像。近期的研究结果示出，对偶数比特多达最后四比特的变化也不大会被用户所感知。

因此，触觉数据可以被插入到字节数据的较低四比特部分，但是在本发明中，触觉数据可以被插入到较低四比特的最低有效位中。

所述触觉数据的第二字节从R计算得出，该R是通过相同方式在第三像素中剩余的子像素字节，对其进行重复直至完成了对包括触觉信息的i数量的整个C值的编码。以上所提到的示例描述了其中通过B、G和R来定义子像素字节的情况，但是根据图像属性的子像素阵列顺序可以具有不同的顺序，使得实施例的描述可根据定义图像属性的子像素顺序而变化。

在编码之后的剩余像素的字节数据被保持为与原始图像的相同。换句话说，当完成i个触觉信息编码时，m-i个图像的像素的字节数据被保持在原始状态。

当提供了用于触觉反馈的多个驱动器或者存在驱动器特性方面的多个可控元件时，所述信息应当通过多个通道来设置。这种情况设置了附加触觉分布图像，并且在报头信息中写入用于每个通道的信息中，由此使得可能存储多个触觉分布信息。

下文中，将描述触觉信息是空间分布的触觉分布信息时的解码过程。

首先，具有编码的触觉信息的图像被加载到应用程序中。在这种情况下，所述应用程序可读取所加载图像信息的每个像素的子像素值。

为了读取所加载数据的报头数据，每个像素的字节数据被作为阵列加载，并且生成新的阵列作为所获得阵列的每个字节值的最低有效位。新生成的阵列被分为8组，生成每一个组一个字节值以恢复报头。

例如，当第一组的值等于“00110110”时，其被变换成为54的十进制数字。基于ASCII码获得与其相对应的字符集合，由此使得可能恢复字符“6”。该过程读取具有适当大小的正整数P，其配置一个字符串。在这种情况下，正整数P是针对报头信息的长度，从而使用整个编码数据的非常小的一部分、并且仅对一部分图像数据进行分析，由此确定实际编码的触觉信息的长度。仅当应当确定实际编码的触觉信息的长度时，才可能有效执行解码过程。

例如，因为实际报头信息的字符串长度并不长，所以考虑到二进制而可以将P设置为80，但是P可以根据所编码触觉信息的大小而变化。

因此，仅当P被适当确定时，才能够通过在图像数据的大小很大时读取非常小部分的编码图像来减少不必要资源的浪费。此外，可通过使用在编码时所使用的标识符来提取形成如“64_48_1_01...”的数据中的有意义值。根据编码过程中所描述的报头格式，图像形式中的触觉数据的大小具有64×48×1的大小，并且对应的分布值表示包括表面上的凸起信息的深度信息。在多种(两种)映射的情况下，第二值将温度值表示为“64_48_1_01_64_48_1_03...”。

所确定的报头信息之后的数据区域加载与报头信息之后的触觉数据对应的字节数据，从所加载的数据集合提取LSB，并且通过新阵列中所列出的步长而恢复。为了恢复具有64×48×1的数据，使用具有64×48×1的字节数据(64×48×1×8)。

当通过将所列出的阵列数据顺序分为8组而生成字节形式的数据时，可恢复触觉数据。

当恢复触觉数据时，基于所恢复的报头信息来恢复具有所定义的大小(w’×h’)以及所定义数量的通道的触觉分布数据图像。此外，所恢复的触觉分布数据图像用1/a进行放大，并且具有与原始图像相同的大小(w×h)。在该过程中，如果有必要，可以对触觉分布数据图像进行灰度级处理。这是为了去除在改变大小时可能生成的RGB形式的噪声。

可以通过使用放大的触觉分布数据向用户提供触觉反馈。可以在呈递(rendering)的时候提供所述触觉反馈。

根据在通过解码提取的触觉分布信息上提取光标位置上的信息的方式，提供触觉反馈的过程可以被归类为使用单个信息的情形和使用阵列信息的情形。

图5是示出用于触觉交互的光标的示图。

参见图5，可以理解，用于触觉交互的光标510可视地显示在监视器上。

通常，用于触觉交互的光标一般被称作触觉交互指针或触觉交互点(HIP)。

可以理解的是，在其上显示光标510的监视器上显示图像，并且所显示的图像包括触觉信息(深度分布信息)。在这种情况下，所述触觉分布信息可以被放大。

光标510可以在根据用户运动改变位置的同时在可视地显示在监视器上的图像上进行移动。

在这种情况下，使用单个信息的方式是确定与通过解码所提取的触觉分布信息上的光标位置对应的灰度级值或者确定作为光标位置近似值的平均值的单个值(v_hip)并使用所述单个值驱动驱动器的方式。

另一方面，使用阵列信息的方式执行将光标(HIP)的外围区域水平划分为n个分区并且将其垂直划分为m个分区的步骤，通过触觉臂或鼠标、位置输入装置而在包括无法被用户视觉确认的触觉分布信息的图像上控制所述光标，以确保所述区域具有全部n×m个部分。在这种情况下，所确保的n×m个区域根据驱动器的数目确定水平和垂直划分的数目。换句话说，使用阵列信息的方式对应于用于生成触觉反馈的反馈提供设备通过多个输入进行操作的情形。

在这种情况下，类似于获取诸如每个区域的平均值和中间值之类的代表性值的方式来获取每个区域中的灰度级值。每个驱动器的运动根据所述值进行确定。

例如，当触觉分布信息是与半球形和六边形对应的深度分布信息时，光标的外围区域可以是像素区域，所述像素区域在光标位于半球形一端的情况下为30宽度×30幅度。

当反馈提供设备包括3宽度×3幅度的驱动器时，从30×30的光标外围区域确定3×3的代表值。在这种情况下，一个代表值可以是10×10像素区域的代表值。

结果，所提供的3×3代表值变为深度分布信息，所述深度分布信息随着接近半球端而具有较少的垂直方向凸起特性，并且触觉反馈设备通过使用所述深度分布信息向用户提供触觉反馈。

图6是用于解释触觉分布信息和光标的触觉交互的示图。

参见图6，可以理解，在监视器上显示的图像包括深度分布信息620，并且根据光标510的运动和深度分布信息620之间的关系生成触觉反馈。

例如，如果触觉臂被安装作为触觉反馈提供设备，则当用户移动以在深度方向(z轴)向触觉臂施加力610时，用户根据深度分布信息和物体突出的程度而以不同时序感觉到反作用力。结果，用户能够利用视觉信息同时地感觉到作为与所施加力相对的反作用力的触觉信息。

图7是示出使用触觉臂的触觉反馈呈现设备的一个示例的示图。

参见图7，使用触觉臂的触觉反馈提供设备包括在其上显示原始图像的监视器710、驱动所述触觉臂的控制器720、触觉臂系统730和末端效应器740。

在图7所示的示例中，与用户所施加的力相对的反作用力从触觉臂系统730的末端效应器740传送给用户，所述触觉臂系统730由控制器720控制以便驱动所述触觉臂。

换句话说，当光标的深度方向(z轴)值为HIP_z时，反作用力的大小可以被确定为HIP_z以及所解码触觉分布信息在HIP_z处的灰度级值(v_hip)的函数，为了方便，该函数被称作f(v_hip，HIP_z)。结果，诸如深度、纹理等的触觉反馈可传递到用户。

例如，当触觉分布信息表示阻抗信息时，光标位置处的深度方向(z轴)速度为HIP_z_vel，弹性系数为k，且阻尼系数为b，以使得触觉反馈被确定为函数f(v_hip，HIP_z，HIP_z_vel，k，b)。如果有必要，在虚拟环境中在光标上设置的权重(m)可以是所述函数的变量。

在触觉臂的情况下，通过所提取的单个灰度级值(v_hip)所确定的反作用力的大小和方向是内部确定的并且由驱动位于每个臂的联结处的电机所必需的值的组合所控制。所述控制过程被称为机器的反运动。

当使用生成振动的离心电机、压电元件、螺线管、超音速电机作为触觉反馈提供设备时，通过以下过程执行触觉反馈提供。

光标(HIP)移动到用户感觉到接触的点。这可以通过使用手指或输入笔向便携式终端进行接触输入并且通过不同于直接接触的单独接口来执行。

驱动器的电流/电压通过单个值(v_hip)的函数确定，由此确定振动刺激的大小或频率，所述单个值(v_hip)由与通过解码过程所提取的触觉分布信息上的光标(HIP)位置对应的灰度级值或近似值的平均值来确定。通常，通过普遍已知的脉冲宽度调制(PWM)而将电压计算为有效电压。这是在细微时间周期内控制电机的开/关以便生成小于所施加电压的电压的原则。

当安装珀耳帖(peltier)装置作为触觉反馈提供设备时，触觉反馈提供响应于单个值(v_hip)的函数确定驱动器的电流/电压，由此提供变暖感应，所述单个值由与通过解码过程所提取的触觉分布信息上的光标(HIP)位置对应的灰度级值或近似值的平均值所确定。

具体地，所述珀耳帖装置根据电流流动方向来确定一个表面的冷却或加热。在这种情况下，珀耳帖装置可使用如下的方案，其中基于所确定的单个值(v_hip)而根据其它是特定阈值(v_th)还是更大/或更小来确定电流方向、并且通过差的绝对值(|v_hip-v_th |)的函数来确定电流强度。

阵列形式的信息提取方案是使用n×m个分区区域的代表性灰度级值(v_th[n×m])的方案，所述n×m个分区区域通过将光标的外围区域水平划分为n个分区并且将其垂直划分为m个分区所确定的，如以上所描述的，通过使用触觉臂或者鼠标、位置输入装置而在包括触觉反馈信息的图像上控制所述光标。该方案主要在包括多个驱动器的触觉系统中使用。

作为触觉反馈提供设备的纹理提供设备例如可以是控制垂直突出高度或垂直凸起频率的设备。纹理提供设备被应用于用户的接触部分被控制以调用每个驱动器所进行的运动。为了方便，由于接触部分的阴影程度接近白色，也就是说灰度级值接近255，所以驱动器可被设置为调用高凸起。

用户通过使用鼠标等位置输入装置在包括视觉无法识别的触觉信息的图像上移动光标(HIP)。也就是说，能够确保不可见的触觉信息上光标的外围区域。在这种情况下，外围区域被水平和垂直划分为3个分区，以使得其可以是具有总共9个分区的区域。在这种情况下，所确保的区域可以被设置为与纹理提供设备的接触部分的数量相等。

通过获取诸如每个区域的平均值或中间值之类的代表性值集合的方案来获取每个区域的代表性灰度级值，以使得能够根据所述代表性值来确定诸如接触器的垂直突出高度或垂直凸起频率之类的动态特征。通过该过程，用户可通过所编码的图像来感觉深度信息或纹理信息的触觉反馈。

当珀耳帖装置被用作触觉反馈设备时，基于所确定灰度级值的集合(v_hip[9])来确定每个驱动器的电流/电压，从而控制变暖感觉。特别地，所述珀耳帖装置根据电流流动方向确定一个表面的冷却或加热。在这种情况下，所述珀耳帖装置可使用以下方案，该方案基于所确定的单个值集合(v_hip[9])而根据其是特定阈值(v_th[9])还是更大/或者更小来确定电流方向、并且确定与差的绝对值成比例的每个驱动器的电流强度。

下文中，将描述当触觉信息是视觉分布信息时的编码过程。

作为时间分布的触觉信息的示例，存在节拍(beat)信息或频率改变信息等，其随时间而具有不同的值。如果图像包括时间分布的触觉信息，则当所定义的时间间隔为dt时，触觉信息值在特定时间为0，从而振动在对应的周期dt时间段停止，并且当触觉信息值具有不同于0的值时，驱动器施加对应于所述值的电流或电压，以使得可生成驱动。所述触觉信息可用于随时间振动便携式终端的应用。

图8是示出具有随时间变化的值的触觉信息的示例的示图。

参见图8，可以理解，振动强度830根据触觉信息810而随时间820进行设置，所述触觉信息810具有以预定单位时间dt改变的值。

当驱动器为振动电机时，优选地，考虑到机械响应时间而将dt设置为从几ms(毫秒)到数百ms。

具有随时间变化的值的触觉信息810可以具有报头部分。所述报头可包括诸如触觉信息810部分的数据长度之类的属性信息。

例如，当触觉信息810的每个值是通过将间隔dt设置为250ms而获得的并且包括22个值的串且针对两次重复而生成时，报头可以以诸如“205_22_2”的形式进行描述。

诸如“_”的分隔符能够根据其实现而被替代。此外，在使用具有固定长度的报头时，可以省略分隔符。

为了区分空间分布数据和具有随时间变化的值的触觉信息，本领域技术人员能够推断出可定义单独的报头。

当与报头“205_22_2”的每个字符对应的ASCII码值被二进制化时，它们如下所示。添加空格是为了便于指出(shake)以便分隔，并且其并不包括在实际数据中。

001100100011010100110000010111110011001000110010010111110011001001011111

当示例的触觉信息810将A设置为255时，其变为“25525502552550255 0 255 0 255 255 0 255 255 0 255 255 0 255 255 255”，其能够被二进制化如下。

11111111111111110000000011111111111111110000000011111111000000001111111100000000111111111111111100000000111111111111111100000000111111111111111100000000111111111111111111111111

图9是示出在使用“250_22_2”作为报头并且对图8所示示例的触觉信息进行编码时的编码目标数据的示例的示图。

参见图9，可以理解，报头信息910和触觉信息920以数据串的形式进行编码。

图9所示的比特数据串根据前述方式由原始图像进行编码。换句话说，图9所示的每个比特串在原始图像像素的字节数据的LSB上编码。

用户通过具有随时间变化的值的触觉信息确认图像，并且与此同时，接收象节拍信息的随时间变化的振动信息。

当存在多个用于触觉反馈的驱动器或者要关于驱动器特性进行控制的多个元件时，反馈信息应当通过多个通道进行设置。

可以通过将通道数目写入报头信息并且在其中写入标识符所标识的附加数据来容易地实现用于多个通道的触觉信息。

下文中，将描述当触觉信息是随时间分布的分布信息时的解码过程。在图像上编码的时间分布的触觉信息由终端等通过使用描述所述触觉信息的长度、属性等的报头信息来进行解码，并且基于报头中所定义的触知刺激来生成振动刺激。

作为生成振动信息的驱动器，可使用振动电机、压电元件、螺线管致动器、超音速电机等。

在前述触觉信息的编码和解码方法中，当原始图像的扩展名为“gif”时，它们包括以特定时间间隔显示单个图像以及若干图像页的功能。根据本发明的触觉信息的编码/解码方法可被应用于动画gif格式。在这种情况下，如果每个图像为一帧，则可以与根据本发明的编码方法类似地针对每一帧对触觉信息进行编码/解码。然而，在解码中，触觉反馈可由与原始动画gif中所定义的图像之间的时间间隔相匹配的触觉信息来提供。

图10是示出依据本发明一个实施例的在图像上对触觉信息进行编码的方法的操作流程图。

参见图10，依据一个实施例的在图像上对触觉信息进行编码的方法首先生成触觉信息(S1010)。

在这种情况下，触觉信息可以是深度分布信息、表面阻抗分布信息、温度分布信息和表面纹理信息中任意一个的触觉分布数据，所有这些信息都是空间分布的。

在这种情况下，步骤(S1010)可以生成触觉信息，包括减小数据大小的缩小过程。

在这种情况下，触觉信息可以是时间序列振动信息。

此外，对触觉信息进行编码的方法，通过使用所述触觉信息和与所述触觉信息相关联的报头信息生成编码目标数据(S1020)。

换句话说，步骤S1020生成与触觉信息相关联的报头信息以及通过将所述报头信息与触觉信息相级联而生成的编码目标数据。

此外，对所述触觉信息进行编码的方法对编码目标数据进行二进制化(S1025)。

换句话说，步骤S1025对在步骤S1020生成的编码目标数据进行二进制化以使得它们处于要对每一比特进行编码的状态。

此外，对所述触觉信息进行编码的方法确定每个二进制比特是否等于原始图像的每个像素的字节数据的LSB(S1030)。

作为步骤S1030的确定结果，当二进制比特等于原始图像的像素的字节数据的LSB时，所述原始图像的像素的字节数据保持不变(S1035)。

作为步骤S1030的确定结果，当二进制比特与原始图像的像素的字节数据的LSB不同时，所述原始图像的像素的字节数据的LSB被设置为二进制比特值(S1033)。

在执行步骤S1035和步骤S1033之后，对所述触觉信息进行编码的方法确定是否所有的二进制比特数据都被编码了(S1040)。

作为步骤S1040的确定结果，当并非所有二进制比特数据都被编码时，对所述触觉信息进行编码的方法返回步骤(S1030)并且重复编码过程。

作为步骤S1040的确定结果，当所有二进制比特数据都被编码时，对所述触觉信息进行编码的方法将原始图像的剩余像素的字节数据的LSB保持原样(S1050)。

图10描述了通过将每个二进制比特与原始图像的每个像素的字节数据的LSB进行比较来执行二进制比特数据的编码的示例，但是本发明并不局限于此。换句话说，要解释的是，所有生成通过如下方式而编码的图像的情况都包括在本发明的范围之内，即使用图像像素的每个字节数据的最低有效位(LSB)对编码目标数据进行编码的方式。

也就是说，二进制比特数据的编码可将二进制编码目标数据的每一比特插入到原始图像像素的一些像素中每一个的字节数据的最低有效位中，并且可保持原始图像像素的剩余像素的字节数据的最低有效位。

在这种情况下，每个原始图像像素的字节数据可以是R、G和B子像素字节和非颜色数据中的任意一个。

图11是示出依据本发明一个实施例的从图像解码触觉信息的方法的操作流程图。

参见图11，从图像解码触觉信息的方法首先加载编码图像(S1110)。

此外，解码触觉信息的方法加载来自所加载图像的预定数量像素的字节数据(S1121)。

在这种情况下，字节数据可以是R、G和B子像素字节和非颜色数据中的任意一个。

此外，解码触觉信息的方法通过列出所加载字节数据的LSB而生成由LSB所构成的比特流(S1122)。

进一步地，解码触觉信息的方法通过将所列出的LSB的比特流分为8组来确定字节值(S1123)。

此外，解码触觉信息的方法通过使用所确定的字节值来恢复与触觉信息相关联的报头信息(S1125)。

此外，解码触觉信息的方法通过使用编码图像的剩余像素中的报头信息来加载确定数量像素的字节数据(S1131)。

当恢复了报头信息时，可发现通过报头信息编码的触觉信息的属性和大小，因此它可通过使用所述触觉信息的属性和大小来准确地确定所要加载用于解码所述触觉信息的字节数据的数量。

进一步地，解码触觉信息的方法列出所加载的字节数据的LSB(S1132)。在这种情况下，所列出的LSB可以包括步骤S1122所列出的LSB之中没有在报头恢复中使用的那些LSB。

进一步地，解码触觉信息的方法通过将所列出的LSB的比特流分为8组来确定字节值(S1133)。

此外，解码触觉信息的方法通过使用所确定的字节值来恢复触觉信息(S1135)。

进一步地，解码触觉信息的方法通过使用报头信息和触觉信息来向用户提供触觉反馈(S1140)。

在这种情况下，触觉信息可以是空间分布的触觉分布数据。在这种情况下，步骤S1140通过放大触觉信息来生成放大的触觉信息，并且通过使用所放大的触觉信息来提供触觉反馈。虽然放大的触觉信息的分辨率低于原始图像的分辨率，但是用户难以认知到。

步骤S1140可以根据通过报头信息获得的触知类型来生成不同的触觉反馈。

图12是依据本发明一个实施例的处理触觉信息的设备的框图。

参见图12，依据本发明一个实施例的用于处理触觉信息的设备包括触觉信息生成器1210、报头生成器1220和编码器1230。

触觉信息生成器1210生成触觉信息。

在这种情况下，触觉信息是触觉分布数据，并且触觉信息生成器1210可以通过减小数据大小的缩小过程来生成触觉信息。

报头生成器1220生成与所述触觉信息相关联的报头信息，该报头信息与所述触觉信息一起构成编码目标数据。

编码器1230通过使用每个原始图像像素的字节数据的最低有效位(LSB)对编码目标数据进行编码来生成编码图像。

编码器1230可以将编码目标数据的每一比特插入到原始图像像素的一些像素中的每一个的字节数据的最低有效位中，并且可以保持原始图像像素中的剩余像素的字节数据的最低有效位不变。

图13是依据本发明另一实施例的处理触觉信息的设备的框图。

参见图13，依据本发明另一实施例的用于处理触觉信息的设备包括图像加载单元1310、报头恢复单元1320、触觉信息恢复单元1330和触觉反馈单元1340。

图像加载单元1310加载编码图像。

报头恢复单元1320提取所述编码图像的一些像素中的每一个的字节数据的最低有效位(LSB)，以恢复与所述触觉信息相关联的报头信息。

在这种情况下，报头恢复单元1320可通过加载预定数量像素的字节数据、提取所加载字节数据的最低有效位、并使用所提取的最低有效位来恢复报头信息。

在这种情况下，触觉信息可以是空间分布的触觉分布数据，触觉反馈单元1340通过放大所述触觉信息来生成已放大的触觉信息，并且通过使用所述已放大的触觉信息提供触觉反馈。

触觉信息恢复单元1330通过使用编码图像的剩余像素中的报头信息来收集预定数量像素的字节数据的最低有效位，以恢复所述触觉信息。

触觉反馈单元1340通过使用所述报头信息和触觉信息来向用户提供触觉反馈。

在这种情况下，触觉反馈单元1340可以通过使用离心电机、压电元件、螺线管、超音速电机、触觉臂或纹理提供设备等来提供触觉反馈。

图12所示的用于处理触觉信息的设备对应于触觉信息编码器，而图13所示的用于处理触觉信息的设备则对应于触觉信息解码器。

如以上所描述的，根据本发明的对触觉信息进行编码/解码的方法以及用于处理触觉信息的设备并不局限于上述实施例的配置和方法，而是可有选择地组合所有实施例或一些实施例来配置，从而可进行各种修改。

Claims (20)

1.一种用于在图像上对触觉信息进行编码的方法，包括：

生成触觉信息；

通过使用所述触觉信息和与所述触觉信息相关联的报头信息生成编码目标数据；以及

通过使用每个原始图像像素的字节数据的最低有效位(LSB)对所述编码目标数据进行编码来生成编码图像。

2.如权利要求1所述的在图像上对触觉信息进行编码的方法，其中所述触觉信息是包括凸起信息、表面阻抗信息、纹理分布信息和温度分布信息在内的任意一个深度分布信息的触觉分布数据，所有这些信息都是空间分布的。

3.如权利要求2所述的在图像上对触觉信息进行编码的方法，其中生成所述触觉信息的步骤包括减小数据大小以生成所述触觉信息的缩小处理。

4.如权利要求1所述的在图像上对触觉信息进行编码的方法，其中所述触觉信息是时间序列振动信息。

5.如权利要求1所述的在图像上对触觉信息进行编码的方法，其中所述生成编码图像的步骤将所述编码目标数据的每一比特插入到原始图像像素的一些像素中每一个的字节数据的最低有效位中，并且原样地保持所述原始图像像素的剩余像素中每一个的字节数据的最低有效位。

6.如权利要求5所述的在图像上对触觉信息进行编码的方法，其中每个原始图像像素的字节数据是R、G和B子像素字节和非颜色数据中的任意一个。

7.如权利要求6所述的在图像上对触觉信息进行编码的方法，其中当原始图像是动画gif文件时，在每个图像帧中编码所述编码目标数据。

8.一种从图像解码触觉信息的方法，包括：

加载编码图像；

提取所述编码图像的一些像素中每一个的字节数据的最低有效位(LSB)，以恢复与触觉信息相关联的报头信息；以及

通过使用所述报头信息收集确定数目像素的字节数据的最低有效位，以恢复所述触觉信息。

9.如权利要求8所述的从图像解码触觉信息的方法，还包括通过使用所述报头信息和触觉信息来向用户提供触觉反馈。

10.如权利要求9所述的从图像解码触觉信息的方法，其中所述提取报头信息的步骤加载预定数目的像素的字节数据以提取所加载字节数据的最低有效位，并且通过使用所提取的比特来恢复所述报头信息。

11.如权利要求10所述的从图像解码触觉信息的方法，其中所述触觉信息是空间分布的触觉分布数据，并且所述提供触觉反馈的步骤放大所述触觉信息以生成放大的触觉信息，并且使用所述放大的触觉信息来提供触觉反馈。

12.如权利要求9所述的从图像解码触觉信息的方法，其中所述编码图像的每个像素的字节数据是R、G和B子像素字节和非颜色数据中的任意一个。

13.一种处理触觉信息的设备，包括：

触觉信息生成器，其生成触觉信息；

报头生成器，其与所述触觉信息相关联，并且与所述触觉信息一起配置编码目标信息；和

编码器，其通过使用每个原始图像像素的字节数据的最低有效位(LSB)对所述编码目标数据进行编码，以生成编码图像。

14.如权利要求13所述的处理触觉信息的设备，其中所述触觉信息是触觉分布数据，并且所述触觉信息生成器通过减小数据大小的缩小过程生成所述触觉信息。

15.如权利要求13所述的处理触觉信息的设备，其中所述编码器将编码目标数据的每一比特插入到原始图像像素的一些像素中每一个的字节数据的最低有效位中，并且原样地保持原始图像像素的剩余像素的字节数据的最低有效位。

16.一种处理触觉信息的设备，包括：

图像加载单元，其加载编码图像；

报头恢复单元，其提取所述编码图像的一些像素的每个字节数据的最低有效位(LSB)，以恢复与触觉信息相关联的报头信息；和

触觉信息恢复单元，其通过使用所述报头信息来收集确定数目像素的字节数据的最低有效位，以恢复所述触觉信息。

17.如权利要求16所述的处理触觉信息的设备，还包括触觉反馈单元，其使用所述报头信息和触觉信息来向用户提供触觉反馈。

18.如权利要求17所述的处理触觉信息的设备，其中所述报头恢复单元加载预定数量的像素的字节数据，提取所加载字节数据的最低有效位，并且使用所提取的最低有效位来恢复所述报头信息。

19.如权利要求17所述的处理触觉信息的设备，其中所述触觉信息是空间分布的触觉分布数据，并且所述触觉反馈单元放大所述触觉信息以生成放大的触觉信息，并且使用所述放大的触觉信息来提供触觉反馈。

20.如权利要求17所述的处理触觉信息的设备，其中所述触觉反馈单元使用离心电机、压电元件、珀耳帖装置、螺线管、超音速电机、触觉臂和纹理提供设备中的任意一个来提供触觉反馈。

Images