CN112313604A - 解码设备、解码方法和程序 - Google Patents

Abstract

本发明的一个目的是通过实现触感信号相关数据量的减少，同时保持触感的可再现性，在触感再现系统中实现更高的效率。根据本技术的解码设备包括解码部分，用于解码通过执行编码处理而获得的编码触感数据，该编码处理包括利用触感的高阶感知来压缩触感信号相关信息量。因此，可以根据人类触感特性减少触感信号相关数据量。

Description

解码设备、解码方法和程序

技术领域

本技术涉及对编码触觉信号进行解码的解码设备、解码方法和程序。

背景技术

近年来，利用与人类的皮肤接触的触觉呈现设备来应用触觉刺激的应用程序已经在各种场景中使用。在此处，“触觉呈现”是指产生触觉刺激。

例如，在诸如智能手机的配备触摸面板的移动终端中，通过在面板的触摸操作时通过振动面板(或外壳)向手指施加触觉刺激，创建按钮的伪触摸感。

在音乐收听时，一些设备通过将触觉呈现设备包含到耳机外壳中，并与音乐再现同步应用触觉刺激，来增强重低音。

在计算机游戏和虚拟现实(VR)领域，一些设备通过根据用户的操作由安装在控制器中的触觉呈现设备根据场景交互式地施加触觉刺激来增强用户的沉浸感。

在娱乐设施中，一些设备通过根据场景使用安装在电影院、娱乐公园等的座位上的触觉呈现设备来施加触觉刺激，从而增强游客的真实感。

此外，对于在研究和开发阶段的设备，在远程控制机器人等时，一些设备通过将机器人或被操作的目标物体接收到的振动反馈到操作者持有的控制器，并使操作者直观地检测机器人或目标物体的周围情况(例如，灾难援助机器人<http://www.rm.is.tohoku.ac.jp/quince_mech/#_8>)。

此外，在医学领域中，已经进行了研究，用于通过将在操作手术机器人时当内窥镜的镊子接触器官时的感觉(硬度)反馈给操作者，来增强手术精度(例如，手术支持机器人“达芬奇手术系统”<http://techon.nikkeibp.co.jp/article/FEATURE/20150217/404460/？P＝2>)。

注意，相关的现有技术包括下面描述的专利文献1。专利文献1公开了一种基于语音信号产生触觉信号的技术，而不是通过感测诸如振动的触觉信息来产生指示触觉刺激模式的触觉信号。

引文列表

专利文献

专利文献1：日本专利申请公开号2015-53038

发明内容

本发明要解决的问题

在此处，再现触觉信息的触觉再现系统被认为包括多个触觉呈现设备，这些触觉呈现设备被准备用于向人体的多个区域施加触觉刺激，以有线或无线方式传送触觉信号，并且执行其他操作。

然而，随着施加触觉刺激的区域数量的增加，触觉信号的信道数量也增加，并且导致数据量的增加。如果触觉信号的数据量增加，则可能导致与触觉再现、传输延迟等相关的处理负担增加，这是不期望的。

鉴于上述情况，已经设计了本技术，并且本技术的目的是通过实现触觉信号的数据量减少，同时确保触觉的再现性，使得触觉再现系统更加有效。

问题的解决方案

根据本技术的解码设备包括：解码单元，被配置为解码触觉编码数据，该触觉编码数据通过利用触觉中的高阶感知对触觉信号执行压缩信息量的编码而获得。

因此，可以根据人类的触觉特性来执行触觉信号的数据量减少。

在根据本技术的上述解码设备中，期望解码单元解码已经受利用幻感觉压缩信息量的编码的触觉编码数据。

因此，响应于相似的触觉刺激将同时施加到人体的三个或更多个区域的情况，可以根据人类的触觉特性来执行数据量减少。

在根据本技术的上述解码设备中，期望触觉编码数据包括用于从三个或更多个触觉信号信道中指定使用信道的使用信道指定信息，并且解码单元输出由使用信道指定信息指示的信道的触觉信号。

因此，在实现利用幻感觉的数据量减少时，解码设备不需要通过分析触觉信号来执行诸如确定是否利用幻感觉的处理的处理，并且只需要根据包括在触觉编码数据中的使用信道指定信息来执行输出触觉信号的简单处理。

在根据本技术的上述解码设备中，期望所述解码单元解码已经受利用表观运动压缩信息量的编码的触觉编码数据。

因此，响应于相似的触觉刺激将依次施加到人体的不同区域的情况，可以根据人类的触觉特性来执行数据量减少。

在根据本技术的上述解码设备中，期望触觉编码数据包括指示表观运动的利用存在/不存在的利用存在/不存在信息，并且解码单元基于利用存在/不存在信息解码触觉编码数据。

因此，在实现利用表观运动的数据量减少时，解码设备不需要通过分析触觉信号来执行诸如确定是否利用表观运动的处理的处理，并且只需要根据触觉编码数据中包括的利用存在/不存在信息来执行输出触觉信号的简单处理。

在根据本技术的上述解码设备中，期望触觉编码数据包括可用信道中仅单个信道的触觉信号以及输出控制信息，可用信道是能够利用表观运动的触觉信号的信道，输出控制信息指示触觉信号的输出信道和输出时刻，并且解码单元根据输出控制信息输出单个信道的触觉信号。

因此，在实现利用表观运动的触觉再现时，触觉编码数据不需要包括触觉刺激将施加到的每个信道的触觉信号，并且包括单个信道的触觉信号就足够了。

在根据本技术的上述解码设备中，期望单个信道是可用信道的信号中具有最早信号上升时刻的信道。

因此，在施加与表观运动相关的连续触觉刺激中最早的触觉刺激时，在获得指示第二或后续触觉刺激的触觉信号之前，不需要备用。

在根据本技术的上述解码设备中，期望解码单元解码指示时间方向上的处理单元的块的大小是可变的触觉编码数据。

因此，对于用作时间信号的触觉信号，特定波形部分和其他部分可以被视为包括不同块的数据。

在根据本技术的上述解码设备中，期望触觉信号是基于触觉传感器的检测信号的信号。

因此，可以基于实际感知的触觉信息来执行触觉再现。

在根据本技术的上述解码设备中，期望触觉信号是基于语音信号的信号。

因此，可以再现与语音信息具有高度关联的触觉信息。

此外，根据本技术的解码方法是解码触觉编码数据的解码方法，该触觉编码数据通过利用触觉中的高阶感知对触觉信号执行压缩信息量的编码而获得。

同样通过这种解码方法，可以获得类似于根据本技术的上述解码设备的效果。

此外，根据本技术的程序是一种用于使信息处理装置实现以下功能的程序：解码触觉编码数据，该触觉编码数据通过利用触觉中的高阶感知对触觉信号执行压缩信息量的编码而获得。

通过根据本技术的这种程序，实现了根据本技术的上述解码设备。

本发明的效果

根据本技术，通过实现触觉信号的数据量减少，同时确保触觉的再现性，可以使触觉再现系统更加有效。

注意，此处描述的效果不一定受到限制，并且可以是本公开中描述的任何效果。

附图说明

[图1]是示出根据本技术的包括根据实施例的解码设备的触觉再现系统的配置示例的示图；

[图2]是用于描述根据实施例的编码设备的内部配置示例的示图；

[图3]是示出根据第一实施例的再现设备的内部配置示例的示图；

[图4]是用于描述根据实施例的解码设备的内部配置示例的示图；

[图5]是振动检测阈值曲线的说明图；

[图6]是用于描述手指接触型触觉装置的示例的示图；

[图7]是用于描述身体接触型触觉装置的示例的示图；

[图8]是示出幻感觉的说明图；

[图9]是示出表观运动的说明图；

[图10]是示出利用幻感觉的编码的示例的说明图；

[图11]是示出要再现的触觉刺激的示例的示图，作为用于描述利用表观运动的编码的示例的示图；

[图12]是示出由传感器检测的信号和记录数据之间的关系的示图，作为用于描述利用表观运动的编码的示例的示图；

[图13]是用于描述利用高阶感知的编码格式的示例的示图；

[图14]是示出根据实施例的用于实现编码的特定处理的过程的流程图；

[图15]是示出块大小确定的示例的示图；

[图16]是用于描述根据实施例的解码设备中包括的与解码相关的功能的功能框图；

[图17]是示出根据实施例的为实现解码功能而要执行的特定处理过程的流程图；

[图18]是用于描述根据第一实施例的修改示例的编码设备的配置示例的示图；

[图19]是示出根据第二实施例的触觉再现系统的配置示例的示图；

[图20]是用于描述根据第二实施例的再现设备的内部配置示例的示图；

[图21]是示出根据第二实施例的为实现编码方法而要执行的特定处理过程的流程图；

[图22]是示出高阶感知应用阈值线的示例的示图；

[图23]是示出用于调整高阶感知应用阈值的GUI的示例的示图。

具体实施方式

在下文中，将参照附图以以下顺序描述根据本技术的实施例。

<1.第一实施例>

[1-1.触觉再现系统的概述]

[1-2.编码设备的配置]

[1-3.再现设备的配置]

[1-4.解码设备的配置]

[1-5.根据实施例的触觉再现方法]

(编码方法)

(编码侧的处理过程)

(解码侧的功能配置和处理过程)

[1-6.第一实施例的修改示例]

<2.第二实施例>

[2-1.触觉再现系统的概述]

[2-2.再现设备的配置]

[2-3.编码方法]

<3.实施例的结论>

<4.本技术>

在此处，在本说明书中，每个术语的定义如下。

触觉刺激：促使人类感知触觉的物理现象，例如，振动现象。

触觉呈现：生成触觉刺激。

触觉信息：例如，由触觉感知的信息，诸如振动信息。

触觉信号：例如，指示触觉刺激模式的信号，诸如指示振动波形的信号。

接收者：接收触觉呈现的人类。

触觉特征：关于人类的触觉的特征。因区域而异(手、脸、脚等)。

触觉灵敏度：主观确定触觉刺激强度的灵敏度。因受体或人体区域而异。

编码数据：通过编码信号而获得的数据。流和帧用作更具体的概念。

触觉编码数据：通过编码触觉信号获得的数据。

<1.第一实施例>

[1-1.触觉再现系统的概述]

图1示出了根据本技术的实施例的包括解码设备(解码设备3)的触觉再现系统1的配置示例。

首先，在本实施例中，用于实现触觉再现的环境被分为：记录环境，用于编码通过感测目标触觉信息(触觉刺激)而获得的触觉信号并记录通过编码而获得的触觉编码数据Dc；以及再现环境，用于基于通过解码触觉编码数据Dc而获得的触觉信号再现触觉信息。

如图所示，触觉再现系统1在记录环境中包括多个触觉传感器5和这些触觉传感器5连接到的编码设备2，并且在再现环境中包括被配置为获取触觉编码数据Dc的再现设备4、被配置为与再现设备4无线通信的解码设备3以及与解码设备3连接的多个触觉呈现设备6。

触觉传感器5是执行触觉刺激感测的传感器。在这个示例中，使用振动传感器，例如，压电传感器或加速度传感器。触觉传感器通过与感测的目标物体(即，在该示例中的人体)接触来输出振动或运动，作为电压变化。

在该示例中，触觉传感器5以有线方式连接到编码设备2，并且触觉传感器5附着到用作目标对象的人体的不同区域，并且感测在各个区域中产生的触觉刺激。

编码设备2包括计算机装置，例如，中央处理单元(CPU)和数字信号处理器(DSP)，根据预定的数据格式对每个触觉传感器5输出的检测信号(触觉信号)进行编码，并且将通过编码获得的触觉编码数据Dc记录在例如设置在内部的存储装置上。

再现设备4包括诸如CPU和DSP的计算机装置，并且将获取的触觉编码数据Dc发送到解码设备3。例如，记录在记录环境中的触觉编码数据Dc由再现设备4经由诸如互联网的所需网络获取。可选地，触觉编码数据Dc也可以记录在便携式存储介质上，并且触觉编码数据Dc可以由再现设备4经由存储介质获取。

解码设备3解码由再现装置4接收的触觉编码数据Dc，并且基于通过解码而获得的触觉信号驱动每个触觉呈现设备6。

触觉呈现设备6被假设为产生触觉刺激的装置。在这个示例中，使用诸如振动器或致动器的振动装置。

在该示例中，触觉呈现设备6附接到接收者的人体的不同区域，并且再现由相应的触觉传感器5感测到的触觉刺激。

在此处，在该示例中，每个触觉呈现设备6以有线方式连接到解码设备3，并且图中由虚线包围的部分，即，解码设备3和触觉呈现设备6被假设为附接到接收者的部分。

通过在再现设备4中提供解码设备3的功能，触觉再现系统1还可以具有再现设备4和每个触觉呈现设备6以有线方式连接的配置，但是在这种情况下，触觉呈现设备6所连接到的接收者可能感觉麻烦。随着施加触觉刺激的区域数量的增加，这种麻烦的感觉预计会增加。

通过图1所示的触觉再现系统1的配置，可以防止接收者感到麻烦，如上所述。

图1中示出的触觉再现系统1被形成为在接收者中再现触觉传感器5所附着到的人类所感知的每个区域的触觉的系统，并且被形成为还可以处理人类和接收者远程设置的情况的系统。

注意，在本实施例中，触觉传感器5的数量和触觉呈现设备6的数量，即，从其感知和再现触觉刺激的人体区域的数量是至少三个或更多。

[1-2.编码设备的配置]

图2是用于描述编码设备2的内部配置示例的示图。注意图2示出了图1所示的触觉传感器5以及编码设备2的内部配置示例。

如图所示，编码设备2包括多个放大器21、多个A/D转换器22、预处理单元23、编码单元24、控制单元25、存储单元26、通信单元27和总线28。预处理单元23、编码单元24、控制单元25、存储单元26和通信单元27经由总线28连接，并且能够彼此执行数据通信。

来自每个触觉传感器5的检测信号被输入到相应的一个放大器21，被调整到适当的动态范围，然后，被输入到相应的一个A/D转换器22，并经受模拟/数字转换(A/D转换)。

每个A/D转换的检测信号(即，每个区域的触觉信号)被输入到预处理单元23。在预处理单元23中，执行各种类型的数字信号处理，例如，噪声去除和触觉传感器5的传感器特性的校准。

已经由预处理单元23进行了信号处理的触觉信号被输入到编码单元24。

编码单元24例如包括DSP，并且按照预定的数据格式对每个输入触觉信号进行编码，并获得上述触觉编码数据Dc。

注意，稍后将描述根据本实施例的触觉信号的编码。

控制单元25包括例如包括CPU、只读存储器(ROM)、随机存取存储器(RAM)等的微型计算机，并根据存储在ROM中的程序通过执行处理来控制整个编码设备2。

例如，控制单元25经由通信单元27执行与外部装置的数据通信。

通信单元27被配置为能够经由网络(例如，互联网)执行与外部装置的数据通信，并且控制单元25被配置为能够经由通信单元27执行与连接到网络的外部装置的数据通信。特别地，控制单元25被配置为能够经由通信单元27将由编码单元24获得的编码数据Dc传输到外部装置。

存储单元26全面地表示存储装置，例如，硬盘驱动器(HDD)和固态驱动器(SSD)，并且用于编码设备2中的各种类型的数据存储。例如，控制单元25的控制所需的数据存储在存储单元26中。此外，基于控制单元25的控制，由编码单元24获得的编码数据Dc也可以存储在存储单元26中。

[1-3.再现设备的配置]

图3是示出再现设备4的内部配置示例的示图。

如图所示，再现设备4包括控制单元41、通信单元42、介质驱动器43、存储单元44和无线通信单元45，并且还包括总线46，总线46以能够彼此执行数据通信的方式连接这些组件。

控制单元41包括微型计算机，该微型计算机包括例如CPU、ROM、RAM等，并且控制整个再现设备4。

通信单元42被配置为能够经由诸如互联网的网络与外部装置进行数据通信。控制单元41被配置为能够经由通信单元42与连接到网络的外部装置执行数据通信。特别地，控制单元41被配置为能够使通信单元42从外部装置(例如，网络上的服务器装置)接收触觉编码数据Dc。

介质驱动器43被配置为可拆卸地包括便携式存储介质，并且具有作为读取器/写入器单元的配置，该读取器/写入器单元能够相对于附接的存储介质执行数据写入和读取。由介质驱动器43支持的存储介质的示例包括存储卡(例如，便携式闪存)、光盘存储介质等。

通过介质驱动器43，可以读出记录在便携式存储介质上的触觉编码数据Dc。

存储单元44全面地表示存储装置，例如，HDD和SSD，并且用于再现设备4中的各种类型的数据存储。例如，控制单元41控制所需的数据存储在存储单元44中。此外，基于控制单元41的控制，由介质驱动器43读出的触觉编码数据Dc和由通信单元42从外部装置接收的触觉编码数据Dc也可以存储在存储单元44中。

例如，无线通信单元45使用诸如蓝牙(注册商标)的预定通信方法来执行近场通信。

在此处，作为上述整体控制的一部分，控制单元41执行用于执行通信单元42对触觉编码数据Dc的接收和介质驱动器43对触觉编码数据Dc的读出的控制。此外，控制单元41控制无线通信单元45将经由通信单元42或介质驱动器43获得的触觉编码数据Dc发送到解码设备3。

[1-4.解码设备的配置]

图4是用于描述解码设备3的内部配置示例的示图，并且示出了触觉呈现设备6以及解码设备3的内部配置示例。

如图所示，解码设备3包括多个放大器31、多个D/A转换器32、后处理单元33和解码单元34，并且还包括控制单元35、无线通信单元36、存储单元37和总线38。后处理单元33、解码单元34、控制单元35、无线通信单元36和存储单元37经由总线38连接，并且能够彼此执行数据通信。

控制单元35包括微型计算机，该微型计算机包括例如CPU、ROM、RAM等，并且控制整个解码设备3。

无线通信单元36使用能够与再现设备3中的无线通信单元45进行通信的方法，例如，蓝牙，来进行近场通信。无线通信单元36接收从再现设备3发送的触觉编码数据Dc。

存储单元37被假设为类似于例如存储单元26、存储单元44等的存储装置，并且用于存储将由控制单元35等使用的各种类型的数据。

解码单元34使用稍后描述的方法对经由无线通信单元36输入的触觉编码数据Dc进行解码，并获得每个区域的触觉信号。由解码单元34获得的每个区域的触觉信号被输入到后处理单元33。

后处理单元33根据需要对每个区域的输入触觉信号执行信号处理，例如，触觉呈现设备6的校准和预定的滤波处理。

已经通过后处理单元33的每个触觉信号被输入到相应的一个D/A转换器32，并经受数字/模拟转换(D/A转换)，然后，由相应的一个放大器31调整到适当的动态范围，并输出到相应的一个触觉呈现设备6。

因此，基于触觉信号驱动每个触觉呈现设备6，并且可以将在检测环境中感测到的触觉刺激施加到接收者(即，可以再现触觉信息)。

注意，以上描述仅给出了触觉信号，但是也可以采用将语音信号或视频信号与触觉信号一起记录并将声音或视频与触觉信息一起提供给接收者的配置。

[1-5.根据实施例的触觉再现方法]

(编码方法)

在下文中，将描述根据第一实施例的第一示例的触觉再现方法。

首先，根据实施例的触觉再现方法是关注人类的触觉特性的方法。

作为人类的触觉敏感性的指示，已报告了图5所示的振动检测阈值曲线。注意，在图5中，横轴表示频率，纵轴表示触觉刺激的大小(振动：本示例中的位移)。

图5中所示的振动检测阈值曲线表示人类是否感觉到振动作为触觉，即，表示通过实验研究的触觉灵敏度的示例。人类无法将小于曲线的振动感知为触觉。

图5中所示的振动检测阈值曲线表示人类可以感觉到高达约1kHz的振动作为触觉刺激。此外，图5没有示出等于或大于1kHz的值，但是已经知道，虽然灵敏度不高，但是实际上，人类可以将频率为大约几kHz的振动感知为触觉刺激。

在触觉再现的常规应用中，在大多数情况下，最多大约200Hz的振动被作为目标。这是由于在大约200Hz时获得人类的最高触觉灵敏度。

然而，如上所述，从过去的各种实验中已经发现，人类可以感觉到高达1kHz的振动作为触觉刺激，并且除了传统应用难以再现具有高度真实感的触觉之外，别无选择。

例如，拔出瓶子的软木塞时引起的振动实际上包括高频，例如，几kHz。如果再现高达几百Hz的振动，则获得与实际触觉完全不同的触觉。

综上所述，在本实施例中，通过将触觉信号和触觉呈现设备6的特性的带宽加宽到大约1kHz，进一步增强真实感。

具体而言，在本实施例中，采用了通过感测现实中已经产生的诸如振动的触觉信息来获得触觉信号并根据触觉信号执行触觉呈现的方法。

近年来，数字化和利用每一条信息。同样，也将考虑数字化触觉信号的处理。

可以根据每单位时间所需的比特深度，即位速率，来考虑数字化数据量。例如，在图5所示的振动检测阈值曲线中，人类可以感觉到的区域在纵轴上至少为50dB(-20dB至30dB)或更大，在横轴上约为1000Hz。在这个示例中，考虑到人类实际感觉到的触觉信息的分布，感测到距离阈值曲线+20dB范围内的信号。

据此，在高达1000Hz的目标频带中，振动范围变为70dB(-20dB至50dB)。

如果在高达1000Hz的目标频带中以这种方式将振动范围设定为70dB，则在触觉信号通过线性脉冲编码调制(LPCM)数字化的情况下，因为可以用一个比特表示的幅度是6dB，对于纵轴，需要9个比特，并且作为两倍采样频率的2000Hz(采样/秒)对于再现高达1000Hz是必要的。因此，通过下面的公式[1]获得必要的位速率B0。

B0＝12位/采样×2000采样/秒＝24kbit/秒[1]

因为与作为语音信号的代表格式的位速率＝700kbps/ch的光盘(CD)相比，该值本身非常小，例如，如果触觉信号另外包含到某个系统中，则似乎很难出现大的问题。

然而，如上所述，已经看到人类可以感觉到的触觉信号的带宽扩展到几kHz。例如，在触觉信号被再现到2000Hz的情况下，与公式[1]相比，位速率变成48kbit/秒的两倍。

此外，与视觉(两只眼睛)和听觉(两只耳朵)不同，触觉存在于人体表面的任何地方。触觉存在于双手指尖的十个点，如果要处理所有这些点的触觉信号，则位速率进一步增加到480kbit/秒，这是十倍的位速率。如果通过考虑手指和手掌的每个关节来增加点数，则位速率会显著增加。

此外，基本上，触觉信号是一维信号，但是可以在三个轴(x，y，z)上考虑振动的物理现象。如果处理所有这些，则必要的位速率进一步增加到1440kbit/秒，这是三倍的位速率，但是这个值是一个超过音频CD的1411kbit/秒的大值。

以这种方式，虽然关于一个触觉信号的位速率不是很大，但是如果考虑到人类可以感觉到的触觉，则需要大量的量，并且大的负载肯定会施加到处理触觉信号的系统上。

在此处，因为触觉呈现设备6与人体接触，所以在解码设备3和再现设备4以有线方式连接的配置中，接收者感觉麻烦，并且期望如图1所示的无线连接。如果此时考虑使用传统的主要无线方法来实现无线通信，则在诸如Wi-Fi(注册商标)的宽带无线方法中，例如，电池的容量可能由于大的消耗功率而变大，并且包括触觉呈现设备6和解码设备3的单元的尺寸减小受到影响。此外，在Wi-Fi中，因为从产生信号传输请求时到实际接收到信号传输请求时执行的过程需要处理时间，所以可能出现大的等待时间。

与此相反，在诸如蓝牙的近场通信方法的情况下，因为可以使用与其他无线方法相比具有更低功耗和更低等待时间的发送和接收信号的结构，所以近场通信方法被认为适合用于触觉再现的目的。然而，在这些近场通信方法中，信息传输量受到限制，并且当语音信号和触觉信号被认为是同步发送和接收时，例如，可以说分配给触觉信号的数据量很小。

此外，经由互联网流传输视频和语音的服务已经变得普遍，并且在考虑添加触觉信息以进一步增强真实感的情况下，因为在当前情况下线路的通信速度已经不足，所以可以说当通过服务质量(QoS)功能调整数据量时，分配给触觉信息的数据量很小。

鉴于上述情况，考虑高效地编码触觉信号并传输编码的触觉信号。例如，在振动信号被视为触觉信号的情况下，用于类似于振动信号作为一维信号的语音信号的语音编码方法(例如，MPEG音频层3(MP3)或高级音频编码(AAC))也被认为直接应用于振动信号，但是语音编码方法最初是考虑人类的听觉特性的编码方法，而不考虑触觉的特性。因此，即使语音编码方法被应用于振动信号，对于触觉重要的信息也很可能损坏，并且语音编码方法不能实现最佳编码。

鉴于前述内容，本实施例旨在通过实现触觉信号的数据量减少同时确保触觉的可再现性，使得触觉再现系统更加有效。

首先，将参照图6和图7描述本实施例中假设的触觉装置的具体示例。

图6是用于描述手指接触型触觉装置的示例的示图。具体地，图6示意性地示出了手指和用于向手的手指呈现触觉信息的触觉传感器5之间的对应关系。

在这种情况下，五个触觉传感器5被设置为触觉传感器5，每个触觉传感器5附接到相应的一个手指。在下文中，附着到各个手指的触觉传感器5通过从拇指侧开始依次在附图标记的末端添加“-a”到“-e”来彼此区分。

注意，图6仅例示了触觉传感器5，但是附接到各个手指的五个触觉呈现设备6(6-a至6-e)被类似地设置为触觉呈现设备6。

在使用这种手指接触型触觉装置的情况下，在记录环境中，例如，可以感测指尖触摸物体时所感受到的感觉、用球棒击打球时产生的冲击等，可以用一只手获取对应于五个信道的触觉信号，并且可以用两只手获取对应于十个信道的触觉信号。然后，基于所获取的触觉信号，在再现环境中，可以使将触觉呈现设备6-a至6-e附接到各个手指的接收者感受到当触摸物体时所感受到的感觉、用球棒击打球时产生的冲击等。

注意，作为用于实现这种触觉再现的触觉装置，例如，也可以采用独立于每个手指的配置(例如，指套型)或集成配置(例如，手套型)。

图7是用于描述身体接触型触觉装置的示例的示图。具体地，图7示意性地示出了用于向从胸部到腹部的区域呈现触觉信息的触觉传感器5以及触觉传感器5之间的位置关系。

在该图的示例中，触觉传感器5在身体的前表面侧(胸部侧和腹部侧)上沿垂直方向分开设置成三行。在每行上，沿水平方向设置的触觉传感器5的数量为三个，并且总共九个触觉传感器5设置在身体的前表面侧。如图所示，这九个触觉传感器5通过在附图标记的末端加上“-f”到“-n”而相互区分。

注意，图7仅例示了触觉传感器5，但是也提供了具有相似位置关系的九个触觉呈现设备6(6-f至6-n)，作为触觉呈现设备6。

在使用这种身体接触型触觉装置的情况下，在记录环境中，例如，通过感测当身体接触物体时所感受到的感觉、当身体被枪射击或被剑切割时产生的冲击等，可以在前表面上获取对应于九个信道的触觉信号，并且可以获取总共对应于18个信道的触觉信号，包括在后表面上获取的触觉信号。然后，基于所获取的触觉信号，在再现环境中，可以使具有以分别对应于记录环境中的触觉传感器5-f至5-n的位置关系附接的触觉呈现设备6-f至6-n的接收者感受到当身体接触物体时所感受到的感觉、当身体被枪射击或被剑切割时所产生的冲击等。

注意，身体接触型触觉装置被认为设置在如图所示的衬衫型布上或者例如夹克型布上。

在此处，类似于人类的其他感觉，高阶感知也被报道用于触觉。高阶感知是一种现象，其中，关于身体刺激的信息由大脑整合，并与复杂的感知相关联，并且在触觉的情况下，主要报道了“幻感觉”(Alles，D.S.：Information Transmission by Phantom Sensations,IEEE Trans.Man-machine Systems，第11卷，第85-91页，1970)和“表观运动”(Bekesy，G.V.：Sensation on the Skin Similar to Directional Hearing,Beats and Harmonicsof the Ear,Journal of the Acoustic Society of America，第29卷，第4期，第489-501页，1957)。

图8是示出幻感觉的说明图。

图8A示出了在彼此分开一定距离的人体的三个点A至C中，触觉刺激仅同时施加到两端的点A和C。根据幻感觉，如图8B所示，同样在没有施加刺激的点B，刺激被感知为好像刺激同时施加到点A和点C。换言之，幻感觉是在刺激点和刺激点之间感知刺激图像的现象。此时，在刺激点的刺激强度不同的情况下，刺激图像被感知为偏向具有较高刺激强度的刺激点。

图9是示出表观运动的说明图。

图9A示出了对于彼此分开一定距离的人体的四个点A至D，按照从点A至D的顺序按时间顺序施加瞬时触觉刺激。图9B示出了根据施加的图9A所示的刺激感知的刺激。

表观运动是指刺激点之间的刺激通过刺激点的离散时间运动进行插值的现象，并且刺激被感知为好像刺激点在移动。

注意，例如，如下面描述的参考文献1中所公开的，已知利用幻感觉来感知触觉刺激。

参考文献1：日本专利申请公开号2013-044706

在本实施例中，利用上述高阶感知来实现触觉信号的有效编码。

首先，将参照图10描述利用幻感觉的编码的示例。在此处，将描述如图6所示的手指接触型触觉装置用作触觉装置的示例。

在人类的手指中，由于手指之间的位置关系和关节的约束条件，一些手指通常在一定程度上位于彼此靠近的位置。因此，一些手指经常同时感知某些触觉刺激。例如，当用手拾起某个物体时，执行同时触摸该物体然后用多个指尖抓住该物体的操作。当握住球棒或手柄时，多个指尖同时接触球棒或手柄。图10A示出了当实际捡起球时由图6所示的触觉传感器5-a至5-e检测的触觉信号。从图10A可以看出，当捡起球时，所有手指同时感知到具有相似强度的触觉刺激。

如果考虑使用触觉呈现设备6-a至6-e来执行触觉再现，以获得这种感觉，则可以原样记录对应于图10A所示的各个信道的所有触觉信号，但是通过利用幻感觉的产生，可以省略施加到手指之间存在的手指的刺激，例如，由触觉传感器5-b和5-d检测到的触觉信号，具体地，如图10B所示。换言之，可以减少要记录的触觉信息量。

如果在数字编码中采用使用信道的数量可变的结构，则这种减少可以通过从使用信道中暂时排除触觉传感器5-b和5-d的信道来实现，从而信息量可以暂时减少到3/5(减少40％)。此外，即使采用使用信道数量固定的编码方法，通过采用在触觉传感器5-b和5-d的相应时段中对信号符号分配零的方法，也可以实现信息量的减少。换言之，将符号设置为零导致极大地减少信息熵，并且在采用诸如霍夫曼编码的熵编码(可变长度编码)的情况下，可以获得非常大的信息量减少效果。此外，因为除了减少信息量之外，还实现了要驱动的触觉呈现设备6的数量的减少，所以还可以实现省电和耐久性增强。

将参照图11和图12描述利用表观运动的编码的示例。

在此处，作为利用表观运动的编码的示例，将描述使用如图7所示的身体接触型触觉装置的情况的示例。

人体是一个面积相对较大的区域，经常感知触觉刺激的运动或传播。用于增强真实感的动作的示例包括用剑切割身体的动作、昆虫等爬行的动作等。在此处，将描述如图11所示执行用剑沿图中箭头方向切割身体的动作的情况，具体地，将描述执行沿从左胸部上部朝向右腹部的方向切割身体，然后沿从右腹部朝向左腹部的方向切割身体的动作的情况，作为示例。

图12A例示了当执行这种动作时由触觉传感器5-f至5-n检测的信号。如图所示，在这种情况下，可以看出以触觉传感器5-h、5-j、5-l、5-m和5-n的顺序产生触觉刺激。

在根据某个物体的运动产生的这种触觉刺激中，将意识提供给运动的感觉，而不是触觉信号的性质(强度或频率)的差异。

当上述剑在移动时施加刺激，可以原样记录对应于图12A中所示的各个信道的所有触觉信号，但是通过利用表观运动的产生在触觉刺激的起点和终点之间插入刺激，可以在再现类似刺激的同时减少触觉信号。

即，如果在数字编码中采用使用信号的实际数据的伴随信息的结构，例如，如图12B所示，当记录触觉传感器5-h的触觉信号时，不记录触觉传感器5-j、5-l、5-m和5-n的触觉信号，而是记录指示在适当时间在触觉传感器5-j、5-l、5-m和5-n的相应位置再现与触觉传感器5-h的触觉信号相同的触觉信号的指令的信息，作为伴随信息(附图中的“伴随信息”)。因此，可以实现信息量的减少，同时能够再现当剑移动时产生的刺激。具体地，在上述示例中，相应时段的信息量可以减少到大约(1/5)+α(α对应于伴随信息)(减少80-α％)。

注意，上面已经给出了一个示例的描述，其中，在可以利用表观运动的触觉信号的信道中，仅记录单个信道的触觉信号，但是也可以记录两个或更多个信道的触觉信号。例如，在如图11所示当身体被剑切割时产生的触觉刺激的情况下，由于在触觉传感器5-l的位置处剑的方位的变化等，在触觉传感器5-h至5-j的位置处产生的刺激和在触觉传感器5-l和后续传感器的位置处产生的刺激之间被认为产生了性质上的差异，并且在这种情况下，不仅由触觉传感器5-h检测到的触觉信号，而且由触觉传感器5-l检测到的触觉信号也被认为被记录用于忠实地再现刺激的差异。

图13是用于描述利用高阶感知的编码格式的示例的示图。

在此处，数字触觉信号是通过以预定采样频率对触觉传感器5获取的时序电压变化进行采样而获得的信号，并且假设语音信号中类似于LPCM方法的信号。在该示例的编码中，这种数字触觉信号在时间方向上被划分成适于传输的帧，并且添加报头(帧报头)，作为每个帧的额外信息。

具体地，考虑如图13所示的数据格式。如图所示，一个帧具有用于存储用作帧报头的信息的报头区域以及用于存储触觉信号的实际数据的实际数据区域。

在帧报头中，从开始按顺序定义用于存储关于同步、使用信道ID、采样频率、量化比特率、块大小、表观运动被利用(used)信道ID和表观运动利用(usage)信道ID的信息的区域。

同步用作指示帧开始的标识符。使用信道ID指示在系统支持的最大数量的信道中用作触觉信号的信道的信道的标识符。

采样频率和量化比特率分别指示触觉信号的采样频率和每个样本的量化比特率。

块大小指示要存储在帧中的触觉信号的时间方向上的大小(样本数量)。在此处，块指示触觉信号的时间方向上的处理单元。在本实施例中，允许为每个帧改变块大小。注意，稍后将描述以这种方式使块大小可变的原因。

表观运动被利用信道ID指示当利用表观运动时，在可以利用表观运动的信道中，其他信道使用触觉信号的信道的标识符(在下文中，也将被描述为“被利用信道”)。例如，在图12B所示的示例的情况下，指示对应于触觉传感器5-h的信道的信息存储在表观运动被利用信道ID中。

表观运动利用信道ID指示当利用表观运动时，在可以利用表观运动的信道中，使用另一信道的触觉信号的信道的标识符(在下文中，也将被描述为“利用信道”)。例如，在图12B所示的示例的情况下，指示使用触觉传感器5-h的触觉信号的触觉传感器5-j、5-l、5-m和5-n的信道的信息存储在表观运动利用信道ID中。

在报头区域之后的实际数据区域中，存储具有预定块大小的每个信道的触觉信号。

通过本实施例的编码，获得了具有在时间方向上排列均具有上述数据结构的帧的配置的流数据。在这样的流数据配置中记录和传输上述触觉编码数据Dc。

注意，在流数据中，触觉信号的实际数据实际上以对于每个信道交错的状态存储，这在图中未示出。

(编码侧的处理过程)

随后，将参考图14中的流程图来描述实现利用上述高阶感知的触觉信号的编码的特定处理的过程。

注意，图14所示的处理由图2所示的编码单元24执行。对参考图13描述的每个帧执行图14所示的处理。

在图14中，在步骤S101中，编码单元24确定是否存在同时产生类似于某个信道的信号的信道。具体地，编码单元24以固定的分析长度对经由预处理单元23输入的各个信道的触觉信号进行分析，并且分析是否同时产生了相似的波形。通过确定信号上升时间的差异是否落在固定范围内来确定是否同时产生相似的波形。在此处，相似波形是指具有相似时间包络的信号波形。在该示例中，通过计算要比较的信号之间的相关性来获得时间包络相似度，并确定时间包络相似度是否等于或大于预定阈值，来确定时间包络是否相似。注意，可以通过诸如快速傅立叶变换(FFT)的频率分析，来执行时间包络之间的相似性分析。

在步骤S101中确定存在同时产生类似于某个信道的信号的信道的情况下，编码单元24将处理前进到步骤S102，在步骤S102中，编码单元24确定是否存在可以利用幻感觉的信道。具体地，编码单元24确定在相似的波形被确定为同时产生的情况下是否有三个或更多个信道，并且在这些信道中，在触觉传感器5的设置位置的表面上有三个或更多个连续的信道。

如果存在可以利用幻感觉的信道，则编码单元24将处理前进到步骤S103，在步骤S103中，编码单元24确定不使用的信道。具体地，例如，编码单元24将上述三个或更多个连续信道中的偶数信道确定为不使用的信道。

对于在上述步骤S103中确定的信道，作为不使用的信道，编码单元24在稍后将描述的步骤S107中的帧报头添加处理中不将信道ID存储到帧报头中的信道ID的区域中，并且不将触觉信号存储在实际数据区域中。

因此，响应于可以利用幻感觉的情况，可以有效地减少触觉信号的信息量。

注意，上面的描述已经举例说明了从利用信道中暂时排除可以省略触觉刺激的信道的方法，作为利用幻感觉的信息量减少方法，但是通过将零分配给信道的触觉信号的编码符号，而不从利用信道中排除信道，还可以使用熵编码来实现信息量减少。

根据执行步骤S103中的处理，编码单元24将处理前进到稍后描述的步骤S106。

此外，在步骤S101中确定不存在同时产生类似于某个信道的信号的信道的情况下，或者在步骤S102中确定不存在可以利用幻感觉的信道的情况下，编码单元24将处理前进到步骤S104。

在步骤S104中，编码单元24确定是否存在在预定时间差内和在传感器分离距离内产生类似于某个信道的信号的信道。在此处，传感器分离距离意味着触觉传感器5在目标信道之间的分离距离。

在步骤S104中，编码单元24以固定的分析长度(例如，2至3秒等)执行各个信道的触觉信号的分析，并且分析在预定时间内是否存在以时间差产生的类似波形。通过确定信号上升时间的差异是否落在固定范围内，来确定在预定时间内是否产生具有时间差的相似波形。此外，通过与步骤S101中的分析类似的分析来确定类似的波形。

在步骤S104中，基于上述分析，编码单元24确定是否存在在预定时间内以时间差产生相似波形的一组信道，并且在存在该组信道的情况下，编码单元24确定该组信道之间的传感器分离距离是否落在预定距离内。

编码单元24在步骤S104中通过将通过上述确定获得肯定结果的信道识别为“在预定时间差内和在传感器分离距离内产生类似于特定信道的信号的信道”的方法来执行确定处理。

通过步骤S104中的上述处理，例如，当产生如图11中例示的用剑切割身体的连续触觉刺激时，如果触觉刺激的产生时间长度落在固定时间长度(例如，2至3秒)内，则作为“在预定时间差内和在传感器分离距离内产生类似于某个信道的信号的信道”，识别触觉传感器5-h和5-j的一组信道、触觉传感器5-j和5-l的一组信道、触觉传感器5-l和5-m的一组信道以及触觉传感器5-m和5-n的一组信道。

在步骤S104中确定存在在预定时间差内和传感器分离距离内产生类似于某个信道的信号的信道的情况下，编码单元24将处理前进到步骤S105，在步骤S105中，编码单元24执行表观运动的被利用信道和利用信道的确定处理。

在该示例中，根据步骤S104中的分析，在被确定为能够利用表观运动的信道(即，图11和图12中的示例中的触觉传感器5-h、5-j、5-l、5-m和5-n的信道)中，与表观运动相关的被利用信道是具有最早触觉刺激时间的信道(图11和图12中的示例中的触觉传感器5-h的信道)。换言之，被利用信道是信号上升时刻最早的信道。

此外，与表观运动相关的利用信道是在被确定为能够利用表观运动的信道中产生第二或后续触觉刺激的信道。

在此处，要由编码单元24执行的帧报头添加处理在要处理的帧是被确定为能够利用表观运动的连续触觉刺激时段中的帧中对应于最早触觉刺激时间的帧(在下文中，描述为“初始帧”)的情况和要处理的帧是对应于第二或后续触觉刺激时间的帧的情况(在下文中，描述为“非初始帧”)之间变化。

具体地，在要处理的帧是初始帧的情况下，在步骤S107中的帧报头添加处理中，编码单元24将指示上述具有最早触觉刺激时间的信道的值存储为帧报头中的被利用信道ID，并将无效值(即，指示没有适用值的值：例如，0)存储为利用信道ID。

另一方面，在要处理的帧是非初始帧的情况下，在步骤S107中的帧报头添加处理中，编码单元24存储无效值(例如，0)，作为被利用信道ID，并且存储指示在被确定为能够利用表观运动的信道中在该帧的时段内检测到触觉信号上升的信道作为利用信道ID的值。

在此处，在要处理的帧是非初始帧的情况下，利用信道的触觉信号不需要存储在实际数据区域中，并且例如通过采用从利用信道中排除利用信道的方法可以实现信息量的减少。可选地，也可以通过使用熵编码将零分配给利用信道中的触觉信号的编码符号，来实现信息量的减少。

在编码单元24执行步骤S105中的确定处理的情况下，或者在步骤S104中确定不存在在预定时间差内和在传感器分离距离内产生类似于特定信道的信号的信道的情况下，编码单元24将处理前进到步骤S106。

在步骤S106中，编码单元24执行块大小确定处理。基于步骤S101或S104中的波形分析的结果，以信号的上升到达帧的开始的方式确定块大小。具体地，当利用幻感觉时，例如，由图15A的上部中的双向箭头指示的范围被设置为块大小。此外，在表观运动的情况下，例如，由图15B上部的双箭头指示的范围被设置为块大小。

注意，图15A和图15B示出了一个示例，其中，一个触觉刺激的时段拟合在一个块内，但是一个触觉刺激的时段也可以以分割的方式拟合在多个块内。

在图14中，根据在步骤S106中执行块大小确定，编码单元24在步骤S107中执行帧报头添加处理。注意，因为已经描述了当利用幻感觉时以及当利用表观运动时要执行的帧报头添加处理的细节，所以将省略多余的描述。

根据执行步骤S107中的处理，编码单元24结束图14所示的一系列或多个处理。

(解码侧的功能配置和处理过程)

随后，将描述通过上述方法编码的触觉信号的解码。

图16是用于描述解码设备3中包括的与解码相关的功能的功能框图。

如图所示，解码设备3包括作为获取处理单元F1和解码处理单元F2的功能。

获取处理单元F1获取触觉编码数据Dc，通过利用触觉中的高阶感知对触觉信号执行压缩信息量的编码而获得该触觉编码数据Dc。在该示例中，获取处理单元F1的功能对应于无线通信单元36从再现设备4侧接收触觉编码数据Dc的功能。

解码处理单元F2解码由获取处理单元F2获取的触觉编码数据Dc。获取处理单元F2的功能由解码单元34实现。

在该示例中，获取处理单元F1获取已经经历了利用幻感觉或表观运动压缩信息量的编码的触觉编码数据Dc。

在利用幻感觉的情况下，获取处理单元F1获取触觉编码数据Dc，该触觉编码数据Dc包括用于从触觉信号的三个或更多个信道中指定使用信道的使用信道指定信息(在该示例中，使用信道ID)。然后，解码处理单元F2输出由使用信道指定信息指示的信道的触觉信号。

因此，在实现利用幻感觉的数据量减少时，解码设备3不需要通过分析编码数据来执行诸如确定是否利用幻感觉的处理的处理，并且只需要根据包括在触觉编码数据中的使用信道指定信息来执行输出触觉信号的简单处理。

此外，在利用表观运动的情况下，获取处理单元F1获取包括指示表观运动的利用存在/不存在的利用存在/不存在信息的触觉编码数据Dc，并且解码处理单元F2基于利用存在/不存在信息解码触觉编码数据Dc。在该示例中，帧报头中关于表观运动被利用信道ID和表观运动利用信道ID的信息对应于利用存在/不存在信息。

如上所述，在被确定为能够利用表观运动的连续触觉刺激时段中的帧中的初始帧中，因为有效值被存储为表观运动被利用信道ID，而无效值被存储为表观运动利用信道ID，所以基于关于表观运动被利用信道ID和表观运动利用信道ID的信息，解码处理单元F2可以识别帧中存在用作被利用信道的信道，并且可以识别被利用信道的信道ID。

此外，在与第二或随后的触觉刺激时间相对应的帧中，在被确定为能够利用表观运动的连续触觉刺激时段中的帧中，因为无效值被存储为表观运动被利用信道ID，而有效值被存储为表观运动利用信道ID，所以基于关于表观运动被利用信道ID和表观运动利用信道ID的信息，解码处理单元F2可以识别在初始帧中要使用被利用信道的波形部分的信道存在于该帧中，并且可以识别要利用(要输出)该波形部分的信道的信道ID。

此外，在利用表观运动的情况下，获取处理单元F1获取触觉编码数据Dc和输出控制信息，该触觉编码数据Dc包括表观运动的可用信道中仅单个信道的触觉信号，输出控制信息指示触觉信号的输出信道和输出时刻，并且解码处理单元F2根据输出控制信息输出单个信道的触觉信号。

在该示例中，帧报头中关于表观运动被利用信道ID和表观运动利用信道ID的信息对应于输出控制信息。通过在适当的帧中存储有效值，关于表观运动利用信道ID的信息用作指示初始帧的表观运动被利用信道中触觉信号的输出信道和输出时刻的信息。

将参考图17中的流程图来描述根据实施例的为实现上述解码功能而执行的具体处理过程。

注意，由解码单元34对触觉编码数据Dc的每一帧执行图17所示的处理。

首先，在步骤S201中，解码单元34执行帧报头分析处理，并且在接下来的步骤S202中，解码单元确定是否利用了表观运动。具体地，解码单元34确定有效值是否存储在表观运动被利用信道ID和表观运动利用信道ID中的至少一个中。

在确定不满足在表观运动被利用信道ID和表观运动利用信道ID中的至少一个中存储有效值的条件，并且不利用表观运动的情况下，解码单元34将处理前进到步骤S205，在步骤S205中，解码单元34执行输出使用信道的触觉信号的处理。因此，响应于要处理的帧是与利用幻感觉或表观运动无关的帧的情况或者要处理的帧是与利用幻感觉有关的帧的情况，输出由使用信道ID指示的使用信道的触觉信号。

根据在步骤S205中执行的输出处理，解码单元34将处理前进到稍后将描述的步骤S207。

另一方面，在步骤S202中确定利用了表观运动的情况下，解码单元34将处理前进到步骤S203，在步骤S203中，解码单元34确定对应的帧是否是利用了表观运动的初始帧。具体地，解码单元34确定有效值是否仅存储在表观运动被利用信道ID和表观运动利用信道ID中的前者中。

在确定有效值仅存储在表观运动被利用信道ID中，并且对应的帧是利用表观运动的初始帧的情况下，解码单元34将处理前进到步骤S204，在步骤S204中，解码单元34执行存储被利用信道的触觉信号的处理，然后，解码单元34将处理前进到步骤S205。

注意，通过在执行步骤S204中的处理之后执行步骤S205中的处理，在初始帧中，输出被利用信道的触觉信号。

此外，在步骤S203中确定不满足有效值仅存储在表观运动被利用信道ID中的条件，并且对应帧不是利用表观运动的初始帧的情况下，解码单元34将处理前进到步骤S206。注意，在步骤S203中获得否定结果的情况可以说是有效值仅存储在表观运动被利用信道ID和表观运动利用信道ID中的表观运动利用信道ID中的情况。

在步骤S206中，解码单元34执行输出被利用信道的所存储的触觉信号作为利用信道的信号的处理，并将处理前进到步骤S207。

在步骤S207中，解码单元34确定对应于所有信道的解码是否已经完成。在获得否定结果的情况下，处理返回到步骤S202，并且在获得肯定结果的情况下，该图中所示的一系列处理结束。

通过上述解码处理，可以适当地解码已经受利用高阶感知压缩信息量的编码的触觉编码数据Dc，并且利用高阶感知适当地执行在记录环境中感测的触觉信息的再现。

[1-6.第一实施例的修改示例]

上面已经给出了使用触觉传感器5感测触觉信号的示例的描述，但是触觉信号可以是基于语音信号获得的信号。

例如，可以使用通过对采样频率为48kHz的语音信号执行低通滤波(LPF)处理而获得的信号。

图18例示了在基于语音信号获得触觉信号的情况下编码侧的配置。

例如，图18例示了对应于假设语音信号是5.1声道环绕的语音信号的情况的配置。如图所示，为语音信号的每个信道准备LPF 50，并且通过由这些LPF 50从语音信号中提取低通分量(例如，2kHz或更低)来获得各个信道的触觉信号。编码单元24A通过对由这些LPF50获得的各个信道的触觉信号执行类似于编码单元24的编码处理，来获得触觉编码数据Dc。

例如，在声源的立体定位位置可以空间移动的内容的情况下，例如，5.1声道、7.1声道等的环绕内容，可以再现在人体的不同区域之间移动的感觉，例如，作为伪运动在手指之间移动的感觉，或者作为伪运动从胸部移动到腹部的感觉。

在这种情况下，解码设备3获取由编码单元24A获得的触觉编码数据Dc，并且解码单元34对获取的触觉编码数据Dc执行类似于图17的解码处理。

<2.第二实施例>

[2-1.触觉再现系统的概述]

随后，将描述第二实施例的触觉再现系统1B。

第二实施例可以使用于确定是否利用高阶感知的标准根据与高阶感知相关的灵敏度的个体差异而变化。

图19是示出触觉再现系统1B的配置示例的示图。

注意，在以下描述中，与已经描述的部件相似的部件具有相同的附图标记，并且将省略描述。

触觉再现系统1B包括再现设备4B、解码设备3、多个触觉呈现设备6(在该示例中也是至少三个或更多)和显示装置7。

再现设备4B被配置为获取触觉数据Dh。触觉数据Dh指示被转换成数字数据的每个信道的触觉信号。在该示例中，根据实施例，触觉数据Dh指示在经受编码之前的触觉信号，即，利用高阶感知压缩信息量的编码。

再现设备4B被配置为根据实施例对触觉数据Dh执行编码，并且通过无线通信将通过编码获得的触觉编码数据Dc发送到解码设备3。

此外，例如，用作诸如液晶显示器(LCD)或有机电致发光(EL)显示器的显示装置的显示装置7连接到再现设备4B，并且再现设备4B被配置为在显示装置7上显示各种类型的信息。

[2-2.再现设备的配置]

图20是用于描述再现设备4B的内部配置示例的示图，并且示出了显示装置7和再现设备4B的内部配置示例。

再现设备4B与图3所示的再现设备4的不同之处在于，提供控制单元41B来代替控制单元41，并且添加编码单元24B、操作单元60和显示控制单元61。

再现设备4B可以经由介质驱动器43或者通过经由通信单元42的通信来获取触觉数据Dh。

编码单元24B输入触觉数据Dh，即，每个信道的触觉信号，并且通过执行根据实施例的编码处理来获得触觉编码数据Dc。

编码单元24B与编码单元24的不同之处在于，编码单元24B可以改变用于确定是否执行利用幻感觉的编码的标准以及用于确定是否执行利用表观运动的编码的标准。

从以上描述可以看出，在该实施例中，通过确定是否满足要比较的信道之间的触觉信号的时间包络波形的相似度等于或大于预定阈值的条件以及触觉信号的上升时间之间的差值等于或小于预定阈值的条件，来执行关于是否可以利用幻感觉的确定。此外，通过确定是否满足要比较的信道之间的时间包络波形的相似度等于或大于预定阈值的条件和上升时间之间的差值等于或小于预定阈值的条件，还执行关于是否可以利用表观运动的确定。

该示例的编码单元24B被配置为至少改变上述时间包络波形的相似度的阈值和信号上升时间之间的差值的阈值，作为用于确定是否执行利用幻感觉的编码的标准以及用于确定是否执行利用表观运动的编码的标准。

操作单元60全面地表示再现设备4B中提供的各种操作工具，并将对应于操作输入的操作输入信息输出到控制单元41B。

控制单元41B包括微型计算机，该微型计算机包括例如CPU、ROM、RAM等，并且通过根据存储在上述ROM等中的程序执行处理来控制整个再现设备4B。

注意，下面将描述根据将由控制单元41B执行的实施例的处理。

显示控制单元61连接到总线46，并且基于来自控制单元41B的指令执行显示装置7的显示控制。控制单元41B由此可以在显示装置7上显示各种类型的信息。

[2-3.编码方法]

在第二实施例中，用于确定是否执行利用幻感觉或表观运动的编码的标准以这样的方式改变，使得更容易执行利用幻感觉或表观运动的编码，因为更容易感知幻感觉或表观运动。

在此处，用于确定是否执行利用幻感觉或表观运动的编码的标准对应于上述时间包络波形的相似度的阈值和信号上升时间之间的差值的阈值。在下面的描述中，这些阈值将被统称为“高阶感知应用阈值”。

各种方法可以被认为是根据与高阶感知相关的接收者的敏感度来定义高阶感知应用阈值的方法。在此处，作为示例，将给出对以下方法的描述：向接收者试用性地施加触觉刺激，根据接收者对触觉刺激的响应来估计与高阶感知相关的灵敏度，并且根据所估计的灵敏度来定义高阶感知应用阈值。

图21是示出为实现根据第二实施例的编码方法而要执行的特定处理过程的流程图。

注意，在该示例中，图21所示的处理由控制单元41B执行。

在此处，将给出对应于图6所示的手指接触型触觉装置用作触觉装置的情况的处理的描述，并且图中的“a”至“e”指示图6所示的触觉装置的相应位置。

首先，在步骤S301至S303中，当同时刺激点a和c、点b和d以及点c和e时，控制单元41B执行用于获取指示分别在点b、c和d处感觉到的刺激水平的响应信息的处理。

执行步骤S301至S303中的处理，作为经由无线通信单元45向解码设备3侧发出同时驱动相应位置的触觉呈现设备6的指令、在显示装置7上显示响应信息的接收屏幕以及在操作单元60上接收操作输入的处理。此时，触觉呈现设备6的驱动信号是具有固定强度的脉冲信号。

在这种情况下，响应信息被假定为关于分数的信息，该分数指示接收者在三个阶段(1：在受刺激的手指之间感觉不到刺激/2：感觉到/3：强烈感觉到等)中感觉到的幻感觉水平。

在步骤S303之后的步骤S304中，控制单元41B执行用于获得响应信息的处理，该响应信息指示当依次刺激点a至e时感觉到的运动感觉的水平。

执行该处理，作为经由无线通信单元45向解码设备3侧发出在相应位置依次驱动触觉呈现设备6的指令、在显示装置7上显示响应信息的接收屏幕以及在操作单元60上接收操作输入的处理。

在这种情况下，响应信息被假设为关于分数的信息，该分数指示接收者在三个阶段(1：没有感觉到运动感觉/2：感觉到/3：强烈感觉到等)中感觉到的表观运动的水平。

在步骤S304之后的步骤S305中，控制单元41B计算在步骤S301至S304中获得的分数的平均值，作为响应信息，并且在步骤S306中，执行基于分数平均值和高阶感知应用阈值线获得高阶感知应用阈值的处理。

图22示出了更高阶感知应用阈值线的示例。

图22例示了对应于高阶感知应用阈值是上述时间包络波形的相似度的阈值的情况的高阶感知应用阈值线。

如图所示，在这种情况下，随着分数平均值变得更高，高阶感知应用阈值线表示较小的高阶感知应用阈值。换言之，高阶感知应用阈值线以这样的方式设计，即随着与高阶感知相关的灵敏度变高，时间包络波形的相似度的阈值变低，并且随着与高阶感知相关的灵敏度变高，更容易执行利用高阶感知的信息压缩。根据图中例示的高阶感知应用阈值线，当分数平均值为2.33时，获得0.48，作为高阶感知应用阈值。

注意，在高阶感知应用阈值是信号上升时间之间的差值的阈值的情况下，高阶感知应用阈值线只需要以这种方式进行反向设计，即，随着分数平均值变高，高阶感知应用阈值变小。

通过执行上述处理，可以根据与高阶感知相关的接收者的敏感度来有效地减少触觉信号的数据量。

注意，以上描述给出了在幻感觉和表观运动之间设置公共的高阶感知应用阈值的示例，但是可以为幻感觉和表观运动设置不同的阈值，作为高阶感知应用阈值。

在此处，作为接收者，假设存在不同偏好的用户。例如，一些用户希望防止传输中断，即使触觉信号的质量恶化。相反，其他用户重视触觉信号的质量，即使在某种程度上导致传输中断。它被认为提供了一种使用户能够自己调整高阶感知应用阈值的结构。

图23是示出用于调整高阶感知应用阈值的图形用户界面(GUI)的示例的示图。具体而言，图23示出了在显示装置7的显示屏7a上显示的图像的示例，用于调整高阶感知应用阈值。

在上述图21中，使用了术语“高阶感知应用阈值”。在图23中，指示利用更高阶感知的编码的应用容易度的指标被表示为目标手指的每个组合的“应用阈值”。即，虽然初步调查与高阶感知相关的用户的敏感度并且在图21中定义阈值，但是在图23中，用户可以根据用户的偏好来定义应用的阈值。在图23中的示例中，GUI使得能够为幻感觉和表观运动中的每一个调整应用的阈值。

通过设置低的应用阈值，用户可以使得更频繁地执行利用更高阶感知的信息压缩，并且可以实现传输中断防止和省电。相反，通过设置高的应用阈值，该使用可以使得难以执行利用更高阶感知的信息压缩，并且尽可能地防止触觉再现的精度下降。

此外，图23中的GUI使得能够针对点a和c之间、点b和d之间以及点c和e之间的手指的相应组合来调整所应用的阈值，如针对幻感觉的所应用的阈值。因此，例如，识别出食指的感觉是敏锐的但是其他手指的感觉不是那么敏锐的用户可以防止敏锐食指的触觉信息的损害，并且通过压缩关于其他手指的信息、通过在点a和c之间设置高幻感觉应用阈值并且为其他组合设置低应用阈值，来实现数据量的减少。

<3.实施例的结论>

如上所述，根据一个实施例的解码设备(解码设备3)包括解码单元(解码处理单元F2、解码单元34)，该解码单元解码通过利用触觉中的高阶感知对触觉信号执行压缩信息量的编码而获得的触觉编码数据。

因此，可以根据人类的触觉特性来执行触觉信号的数据量减少。

因此，通过实现触觉信号的数据量减少，同时确保触觉的再现性，可以使触觉再现系统更加有效。

此外，如果利用更高阶的感知，因为对于触觉信号最初要输出的信道(区域)，触觉信号的输出可以变得不必要，所以实现了要驱动的触觉呈现设备的数量的减少，并且可以实现触觉呈现设备的省电和耐久性增强。

此外，在根据实施例的解码设备中，解码单元解码已经受利用幻感觉压缩信息量的编码的触觉编码数据。

因此，响应于相似的触觉刺激将同时施加到人体的三个或更多个区域的情况，可以根据人类的触觉特性来执行数据量减少。

因此，通过实现触觉信号的数据量减少，同时确保触觉的再现性，可以使触觉再现系统更加有效。

此外，在根据实施例的解码设备中，触觉编码数据包括用于从触觉信号的三个或更多个信道中指定使用信道的使用信道指定信息，并且解码单元输出由使用信道指定信息指示的信道的触觉信号。

因此，在实现利用幻感觉的数据量减少时，解码设备不需要通过分析触觉信号来执行诸如确定是否利用幻感觉的处理的处理，并且只需要根据包括在触觉编码数据中的使用信道指定信息来执行输出触觉信号的简单处理。

因此，在提高触觉再现系统的效率时，可以实现解码设备上的处理负担的减少和归因于配置简化的成本降低。

而且，此外，在根据实施例的解码设备中，解码单元解码已经受利用表观运动压缩信息量的编码的触觉编码数据。

因此，响应于相似的触觉刺激将依次施加到人体的不同区域的情况，可以根据人类的触觉特性来执行数据量减少。

因此，通过实现触觉信号的数据量减少，同时确保触觉的再现性，可以使触觉再现系统更加有效。

此外，在根据实施例的解码设备中，触觉编码数据包括指示表观运动的利用存在/不存在的利用存在/不存在信息，并且解码单元基于利用存在/不存在信息解码触觉编码数据。

因此，在实现利用表观运动的数据量减少时，解码设备不需要通过分析触觉信号来执行诸如确定是否利用表观运动的处理的处理，并且只需要根据触觉编码数据中包括的利用存在/不存在信息来执行输出触觉信号的简单处理。

因此，在提高触觉再现系统的效率时，可以实现解码设备上的处理负担的减少和归因于配置简化的成本降低。

此外，在根据一个实施例的解码设备中，触觉编码数据包括可用信道中仅单个信道的触觉信号以及输出控制信息，可用信道是能够利用表观运动的触觉信号的信道，输出控制信息指示触觉信号的输出信道和输出时刻，并且解码单元根据输出控制信息输出单个信道的触觉信号。

因此，在实现利用表观运动的触觉再现时，触觉编码数据不需要包括将施加触觉刺激的每个信道的触觉信号，并且包括单个信道的触觉信号就足够了。

因此，可以实现触觉信号的数据量的进一步减少，并且可以使触觉再现系统更加有效。

而且，此外，在根据实施例的解码设备中，单个信道是可用信道的信号中具有最早信号上升时间的信道。

因此，在应用与表观运动相关的连续触觉刺激中最早的触觉刺激时，在获取指示第二或后续触觉刺激的触觉信号之前，不需要备用。

因此，在实现利用表观运动的触觉再现时，仅使用单个信道的触觉信号，可以防止不必要地产生延迟。

此外，在根据实施例的解码设备中，解码单元解码指示时间方向上的处理单元的块的大小是可变的触觉编码数据。

因此，对于用作时间信号的触觉信号，特定波形部分和其他部分可以被视为包括不同块的数据。

因此，当在利用上述幻感觉或表观运动的情况下，仅期望触觉信号的特定波形部分作为目标时，在解码设备中，不需要执行通过信号分析从触觉信号中提取波形部分的处理，并且可以实现与利用高阶感知编码的触觉信号的解码相关的处理负担的减少。

此外，在根据实施例的解码设备中，触觉信号是基于触觉传感器的检测信号的信号。

因此，可以基于实际感知的触觉信息来执行触觉再现。

因此，可以增强触觉的再现性。

而且，此外，在根据实施例的解码设备中，触觉信号是基于语音信号的信号。

因此，可以再现与语音信息具有高度关联的触觉信息。

因此，例如，根据声源的立体定位位置的变化，通过改变施加触觉刺激的区域，可以与语音信息的变化共同实现具有高娱乐性的触觉再现。

此外，根据实施例的解码方法是解码触觉编码数据的解码方法，通过利用触觉中的高阶感知对触觉信号执行压缩信息量的编码而获得所述触觉编码数据。

同样依照根据实施例的这种解码方法，可以获得与根据实施例的上述解码设备的功能和效果相似的功能和效果。

在此处，到目前为止已经描述的编码单元(24、24A、24B)和解码单元(34)的功能可以被实现为由CPU等执行的软件处理。基于程序来执行软件处理，并且程序存储在存储装置中，可以由诸如CPU的计算机装置(信息处理装置)从该存储装置中读出程序。

根据一个实施例的程序是用于使信息处理装置实现以下功能的程序：解码通过利用触觉中的高阶感知对触觉信号执行压缩信息量的编码而获得的触觉编码数据。

根据这样的程序，可以实现根据实施例的上述解码设备。

注意，本说明书中描述的效果仅仅是示例，并不局限于此，还可能导致其他效果。

<4.本技术>

注意，本技术也可以采用以下配置。

(1)一种解码设备，包括：

解码单元，被配置为解码触觉编码数据，该触觉编码数据通过利用触觉中的高阶感知对触觉信号执行压缩信息量的编码而获得。

(2)根据上述(1)所述的解码设备，

其中，解码单元解码已经经受利用幻感觉压缩信息量的编码的触觉编码数据。

(3)根据上述(2)所述的解码设备，

其中，触觉编码数据包括用于从三个或更多个触觉信号的信道中指定使用信道的使用信道指定信息，并且

解码单元输出由使用信道指定信息指示的信道的触觉信号。

(4)根据上述(1)至(3)中任一项所述的解码设备，

其中，解码单元解码已经经受利用表观运动压缩信息量的编码的触觉编码数据。

(5)根据上述(4)所述的解码设备，

其中，触觉编码数据包括指示表观运动的利用存在/不存在的利用存在/不存在信息，并且

解码单元基于利用存在/不存在信息解码触觉编码数据。

(6)根据上述(5)所述的解码设备，

其中，触觉编码数据包括可用信道中仅单个信道的触觉信号以及输出控制信息，可用信道是能够利用表观运动的触觉信号的信道，输出控制信息指示触觉信号的输出信道和输出时刻，并且

解码单元根据输出控制信息输出单个信道的触觉信号。

(7)根据上述(6)所述的解码设备，

其中，单个信道是可用信道的信号中具有最早信号上升时刻的信道。

(8)根据上述(1)至(7)中任一项所述的解码设备，

其中，解码单元解码指示时间方向上的处理单元的块的大小是可变的触觉编码数据。

(9)根据上述(1)至(8)中任一项所述的解码设备，

其中，触觉信号是基于触觉传感器的检测信号的信号。

(10)根据上述(1)至(8)中任一项所述的解码设备，

其中，触觉信号是基于语音信号的信号。

附图标记列表

1、1B 触觉再现系统

2 编码设备

3 解码设备

4、4B 再现设备

5 触觉传感器

6 触觉呈现设备

7 显示装置

7a 显示屏幕

Dc 编码数据

24、24A、24B 编码单元

34 解码单元

36 无线通信单元

F1 获取处理单元

F2 解码处理单元

50 LPF(低通滤波器)

Dh 触觉数据

60 操作单元。

Claims (12)

1.一种解码设备，包括：

解码单元，被配置为解码触觉编码数据，所述触觉编码数据通过利用触觉中的高阶感知对触觉信号执行压缩信息量的编码而获得。

2.根据权利要求1所述的解码设备，

其中，所述解码单元解码已经受利用幻感觉压缩信息量的编码的所述触觉编码数据。

3.根据权利要求2所述的解码设备，

其中，所述触觉编码数据包括用于从三个或更多个触觉信号的信道中指定使用信道的使用信道指定信息，并且

所述解码单元输出由所述使用信道指定信息指示的信道的触觉信号。

4.根据权利要求1所述的解码设备，

其中，所述解码单元解码已经受利用表观运动压缩信息量的编码的所述触觉编码数据。

5.根据权利要求4所述的解码设备，

其中，所述触觉编码数据包括指示表观运动的利用存在/不存在的利用存在/不存在信息，并且

所述解码单元基于所述利用存在/不存在信息解码所述触觉编码数据。

6.根据权利要求5所述的解码设备，

其中，所述触觉编码数据包括可用信道中仅单个信道的触觉信号以及输出控制信息，所述可用信道是能够利用表观运动的触觉信号的信道，所述输出控制信息指示所述触觉信号的输出信道和输出时刻，并且

所述解码单元根据所述输出控制信息输出所述单个信道的所述触觉信号。

7.根据权利要求6所述的解码设备，

其中，所述单个信道是所述可用信道中具有最早信号上升时刻的信道。

8.根据权利要求1所述的解码设备，

其中，所述解码单元解码指示时间方向上的处理单元的块的大小是可变的所述触觉编码数据。

9.根据权利要求1所述的解码设备，

其中，所述触觉信号是基于触觉传感器的检测信号的信号。

10.根据权利要求1所述的解码设备，

其中，所述触觉信号是基于语音信号的信号。

11.一种解码方法，包括：

解码触觉编码数据，所述触觉编码数据通过利用触觉中的高阶感知对触觉信号执行压缩信息量的编码而获得。

12.一种用于使信息处理装置实现以下功能的程序：

解码触觉编码数据，所述触觉编码数据通过利用触觉中的高阶感知对触觉信号执行压缩信息量的编码而获得。

Images