CN112292654B - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

本公开内容涉及信息处理装置、信息处理方法和程序，利用该信息处理装置、信息处理方法和程序，可以将触觉信号高效地发送至多个触觉呈现单元。发送装置将内容中包括的触觉信号分割为一组基本触觉信号，将每个分割的基本触觉信号转换为包括指定参数的编码数据，并且发送编码数据。接收装置基于构成编码数据的参数来恢复每个基本触觉信号，组合解码信号以恢复触觉信号，并且然后呈现触觉。本公开内容可以应用于配备有触觉呈现装置的内容再现系统。

Description

信息处理装置、信息处理方法和程序

技术领域

本公开内容涉及信息处理装置、信息处理方法和程序，并且特别地涉及能够以低延迟发送和接收多个信道的触觉数据的信息处理装置、信息处理方法和程序。

背景技术

提出了如下装置：该装置接收从发送设备发送的触觉数据，并且使设置在夹克等上的振动器以基于该触觉数据的振动模式振动，从而使穿戴夹克的用户能够享受具有真实感的触感(参见专利文献1)。

引用列表

专利文献

专利文献1：JP 2018-045270A

发明内容

技术问题

顺便提及，在专利文献1的技术中考虑在夹克上安装更多振动器以提供更高的真实感。

然而，如果振动器的数目增加，则用于被发送至夹克的触觉数据的信道的数目可以增加，并且触觉数据的传输时间会根据增加的信道的数目而增加。

鉴于这些情况而提出了本公开内容，并且特别地，本公开内容使得能够高效地发送和接收多个信道的触觉数据。

问题的解决方案

根据本公开内容的一方面的信息处理装置、信息处理方法和程序是如下信息处理装置、信息处理方法和程序，其包括：编码单元，该编码单元将输入触觉信号编码为包括参数的编码数据，参数限定输入触觉信号中包括的基本触觉信号组中的多个基本触觉信号；以及发送单元，该发送单元将编码数据发送至接收装置，接收装置使触觉呈现单元进行触觉呈现，触觉呈现单元被配置成使用基于编码数据的输出触觉信号进行触觉呈现。

在本公开内容的第一方面中，将输入触觉信号编码为包括参数的编码数据，参数限定输入触觉信号中包括的基本触觉信号组中的多个基本触觉信号，并且将编码数据发送至接收装置，该接收装置使触觉呈现单元进行触觉呈现，触觉呈现单元被配制成使用基于编码数据的输出触觉信号进行触觉呈现。

根据本公开内容的第二方面的信息装置、信息处理方法和程序是如下信息处理装置、信息处理方法和程序，其包括：接收单元，该接收单元接收包括参数的编码数据，参数限定输入触觉信号中包括的基本触觉信号组中的多个基本触觉信号；以及解码单元，该解码单元基于接收到的编码数据中包括的限定多个基本触觉信号的参数，组合基本触觉信号以将基本触觉信号解码为输出触觉信号。

在本公开内容的第二方面中，接收包括参数的编码数据，参数限定输入触觉信号中包括的基本触觉信号组中的多个基本触觉信号，并且基于接收到的编码数据中包括的限定多个基本触觉信号的参数，组合基本触觉信号并且将基本触觉信号解码成输出触觉信号。

本发明的有益效果

根据本公开内容的一个方面，可以高效地发送和接收多个信道的触觉数据。

附图说明

[图1]图1是描述本公开内容的概要的图。

[图2]图2是描述根据本公开内容对触觉数据进行编码的概要的图。

[图3]图3是描述根据本公开内容对触觉数据进行解码的概要的图。

[图4]图4是描述根据本公开内容的内容再现系统的配置示例的图。

[图5]图5是描述背心式触觉呈现装置的配置示例的图。

[图6]图6是描述腕带式触觉呈现装置的配置示例的图。

[图7]图7是描述便携设备式触觉呈现装置的配置示例的图。

[图8]图8是描述图4中的发送装置的配置示例的图。

[图9]图9是描述图4中的接收装置的配置示例的图。

[图10]图10是描述触觉数据的编码处理和解码处理的图。

[图11]图11是描述触觉数据的编码处理和解码处理的图。

[图12]图12是描述触觉数据的编码处理和解码处理的图。

[图13]图13是描述多个信道的编码数据的表示方法的图。

[图14]图14是描述多个信道的编码数据的表示方法的图。

[图15]图15是描述多个信道的编码数据的表示方法的图。

[图16]图16是描述再现处理的流程图。

[图17]图17是描述触觉数据编码处理的流程图。

[图18]图18是描述触觉数据解码处理的流程图。

[图19]图19是描述根据第一修改例的再现处理的流程图。

[图20]图20是描述根据第二修改例的再现处理的流程图。

[图21]图21是描述根据第三修改例的再现处理的流程图。

[图22]图22是描述使用机器学习进行触觉数据编码处理的图。

[图23]图23是描述使用机器学习进行触觉数据编码处理的图。

[图24]图24是描述学习装置的配置示例的图。

[图25]图25是描述使用机器学习来实现触觉数据编码处理的发送装置的配置示例的图。

[图26]图26是描述由图24的学习装置执行的学习处理的的流程图。

[图27]图27是描述使用机器学习进行触觉数据编码处理的流程图。

[图28]图28是描述通用个人计算机的配置示例的图。

具体实施方式

在下文中，将参照附图详细描述本公开内容的优选实施方式。注意，在本说明书和附图中，向具有大致相同的功能配置的构成元件提供相同的附图标记，并且将不会重复进行描述。

在下文中，将描述本技术的实施方式。将按照下述顺序描述实施方式。

1.本公开内容的概要

2.第一实施方式

3.第二实施方式

4.使软件用于执行的示例

<<1.本公开内容的概要>>

将参照图1来描述本公开内容的概要。

图1示出了根据本公开内容的再现包括触觉数据的内容再现系统的配置的概要。

图1的内容再现系统1包括发送装置10、接收装置11、显示装置12、以及由用户21穿戴的背心式触觉呈现装置13。为每个部件保留了未示出的有线或无线通信路径，并且部件可以向彼此传送数据。

发送装置10将包括视频数据、音频数据和触觉数据的内容提供给接收装置11。

接收装置11将包括视频数据和音频数据的内容提供给显示装置12，并且使显示装置12显示图像并输出声音，从而使得用户能够观看该内容。此外，同时，接收装置11将触觉数据提供给由用户21穿戴的触觉呈现装置13，以实现与触觉数据相对应的触觉呈现。

背心式触觉呈现装置13在与用户21的身体的各部位紧密接触的位置处包括多个振动单元13a。背心式触觉呈现装置13使振动单元13a基于从接收装置11提供的振动单元13a中的每个振动单元的触觉数据独立地振动，从而在用户21的身体的每个对应部位处进行触觉呈现(提供刺激)。

包括在相同内容中的视频数据、音频数据和触觉数据彼此对应。因此，穿戴触觉呈现装置13的用户21可以享受由显示装置12显示的内容的视频和声音，并且通过由多个振动单元13a基于与内容流相对应的触觉数据进行的触觉呈现来享受以更高的真实感观看内容。例如，用户可以与所显示的视频和音频内容的再现的经过时间同步地享受触觉呈现。

顺便提及，尽管在图1的触觉呈现装置13中描绘了十个振动单元13a，但是实际上可以提供更多的振动单元13a。

振动单元13a的数目越多，真实感就可以越高。然而，用于被提供给触觉呈现装置13的触觉数据的信道的数目随着振动单元13a的数目的增加而增加。这增加了用于将与多个振动单元13a相对应的多个信道的触觉数据从发送装置10传输至接收装置11的传输时间。

因此，随着触觉数据的传输时间的增加，由触觉呈现装置13的振动单元13a进行的实际振动和触觉呈现的定时可能相对于图像或声音具有延迟。

因此，为了增加振动单元13a的数目以使得能够为穿戴触觉呈现装置13的用户21以更高的真实感表达触觉数据，需要减少发送和接收触觉数据所需的时间以抑制延迟，从而使得多个振动单元13a能够与视频和音频内容同步地在适当的定时处进行触觉呈现。

<<对触觉数据进行编码的概要>>

因此，在本公开内容中，使用基于频率分析、模式匹配或机器学习获得的估计器进行估计，以将与触觉数据相对应的触觉信号分割为基本触觉信号组，并且使用分割结果将触觉数据转换成编码数据，以发送和接收编码数据。因此，可以由限定分割的基本触觉信号的简单参数来表示触觉数据，并且可以压缩数据量。在多个信道的触觉数据的发送和接收中，也可以抑制触觉呈现的延迟，并且因此，可以与视频内容和音频内容同步再现触觉数据。

注意，在本说明书中，触觉信号是表示通过触觉呈现装置13的振动单元13a的振动生成的振动的波形信号，并且触觉数据是用于使振动单元13a生成与由触觉信号表示的波形信号相对应的振动的数据。换句话说，触觉数据也可以被认为是提供给触觉呈现装置13的振动单元13a的用于实现与触觉信号相对应的波形信号的振动的命令或参数。因此，振动单元13a基于触觉数据振动，并且输入到振动单元13a的波形信号和通过振动生成的波形信号是触觉信号。类似地，显示装置12基于图像数据和音频数据显示图像并输出声音。

另外，基本触觉信号组是作为基础的可以被组合以生成一个触觉信号的多个触觉信号的组。例如，在属于基本触觉信号组的多个基本触觉信号中提取两个可选基本触觉信号的情况下，所提取的两个基本触觉信号呈彼此成正交关系。

换句话说，属于基本触觉信号组的基本触觉信号彼此独立并且不相似。即，基本触觉信号是彼此不交叠的触觉信号。

另外，例如，准备约几百种基本触觉信号作为属于基本触觉信号组的基本触觉信号，并且可以存在具有相同长度的基本触觉信号。期望的是，基本触觉信号组是包括具有各种长度的特定波形信号的触觉信号的组，并且这些触觉信号彼此独立。

可以将与预定触觉数据相对应的触觉信号TS表示为多个基本触觉信号之和，并且例如，如图2所示，可以将触觉信号TS分割为分割信息DI，分割信息DI包括属于基本触觉信号组的基本触觉信号BTS1、基本触觉信号BTS2、基本触觉信号BTS3、…。

注意，尽管图2的分割信息DI包括一种类型的一个基本触觉信号BTS1、另一种类型的一个基本触觉信号BTS2、又一种类型的一个基本触觉信号BTS3、…，但是分割信息DI可以包括多个相同的基本触觉信号。

另外，尽管基本触觉信号是在预定时间处包括特定波形信号的触觉信号，但是可以在将作为振幅的增大或减小的增益、时间方向上的偏移等应用于每个基本触觉信号的状态下，对通过分割触觉信号TS而获得的分割信息DI进行分割。

在本公开内容中，将包括用于识别每个基本触觉信号的索引以及要应用于每个基本触觉信号的增益、时间方向上的偏移等的参数用于被包括在分割信息D1中的基本触觉信号BTS1、基本触觉信号BTS2、基本触觉信号BTS3、…中的每一个，以编码触觉信号。

更具体地，被包括在分割信息D1中的基本触觉信号BTS1、基本触觉信号BTS2、基本触觉信号BTS3、…中的每一个由诸如基本触觉信号索引、增益、偏移(时间码)和(时间的)长度之类的参数表示，并且将这些信号组合以生成组合信息MI。在本公开内容中，组合信息MI是触觉信号TS的编码数据。

此处，基本触觉信号索引是目标基本触觉信号的标识符。增益是在目标基本触觉信号的整个时段中添加的增益。偏移(时间码)是相对于振动单元13a基于目标基本触觉信号开始进行触觉呈现的预定定时的偏移时间，并且长度是目标基本触觉信号的长度(时间段)。

以这种方式，在本公开内容中，基于基本触觉信号组来分割触觉信号TS，并且使用分割的基本触觉信号中的每一个的参数来对信号进行编码。因此，基于基本触觉信号组，将与任何触觉数据相对应的触觉信号TS压缩成包括组合信息MI的编码数据。

<<对触觉数据进行解码的概要>>

通过执行与编码方法相反的处理来实现将编码数据解码为触觉数据。

即，编码数据是组合信息MI，其中，组合了被包括在分割信息D1中的基本触觉信号BTS1、基本触觉信号BTS2、基本触觉信号BTS3、…中的每一个的诸如基本触觉信号索引、增益、偏移和长度之类的参数。因此，对作为组合信息MI的编码数据进行分割，以提取限定预先存储的基本触觉信号BTS1、基本触觉信号BTS2、基本触觉信号BTS3、…中的每一个的参数，并且将基于所提取的参数的处理应用于基本触觉信号BTS1、基本触觉信号BTS2、基本触觉信号BTS3、…，以恢复分割信息DI。

此外，将通过使用参数而恢复为分割信息DI的基本触觉信号BTS1、基本触觉信号BTS2、基本触觉信号BTS3、…的波形信号相加，以恢复原始触觉信号TS’(触觉信号TS’接近触觉信号TS)，并且基于恢复的触觉信号TS’生成触觉数据。

即，基于基本触觉信号组将触觉信号TS转换为分割信息DI，并且使用限定被包括在分割信息DI中的每个基本触觉信号的参数来将分割信息DI编码为组合信息MI。根据组合信息MI来恢复分割信息DI作为编码数据，并且恢复触觉信号TS’。因此，可以高效地压缩、发送和接收触觉数据。

因此，即使当发送和接收多个信道的触觉数据时，也可以高速地实现该一系列处理。即使当多个振动单元13a振动时，也可以抑制振动定时的延迟。因此，振动单元13a可以与视频内容和音频内容同步地振动。

注意，可以根据基于要再现的触觉数据的触觉呈现的质量或触觉呈现装置13的吞吐量来调整基本触觉信号的长度，或者可以增加或减少属于基本触觉信号组的基本触觉信号的类型。

即，在触觉呈现装置13的吞吐量高而使得能够增加基于触觉数据的触觉呈现的质量的情况下，可以增加被包括在基本触觉信号组中的基本触觉信号的类型，或者可以缩短基本触觉信号的长度。以这样的方式，可以将触觉数据分割为更多类型的基本触觉信号，并且尽管处理负荷高，但是也可以高速地发送和接收高质量的多信道触觉数据。这可以抑制触觉呈现的延迟。

相反，在触觉呈现装置13的吞吐量低而使得需要甚至通过降低基于触觉数据的触觉呈现的质量来优先考虑高速处理的情况下，可以减少被包括在基本触觉信号组中的基本触觉信号的数目，或者可以扩展基本触觉信号的长度。以这样的方式，可以减少要分割的基本触觉信号的种类，并且可以减少处理负荷。即使触觉呈现装置13的吞吐量低，也可以高速地发送和接收多信道触觉数据，并且可以抑制触觉呈现的延迟。

注意，编码前的触觉信号TS和编码后恢复的触觉信号TS’在严格意义上可能是不同信号。这是因为，当将输入触觉信号TS分割为分割信息DI时，触觉信号TS基于有限的基本触觉信号组被分割。即使当使用分割信息DI恢复触觉信号时，也可能无法获得完整的触觉信号TS。在这种情况下，再现了与触觉信号TS接近的触觉信号TS’。

因此，在下文中，在需要特别地区分编码前的触觉信号和编码后的触觉信号的情况下，编码前的输入触觉信号也将被称为输入触觉信号，而编码后恢复的要输出的触觉信号也将被称为输出触觉信号。另外，类似地，与输入触觉信号相对应的触觉数据也将被称为输入触觉数据，并且必要时，与输出触觉信号相对应的触觉数据也将被称为输出触觉数据。

<<2.第一实施方式>>

<内容分发系统的配置示例>

接下来，将参照图4描述根据本公开内容的对包括图像数据、音频数据和触觉数据的内容进行再现的内容再现系统的配置示例。

图4的内容再现系统41包括发送装置51、接收装置52、触觉呈现装置53和显示装置54。

发送装置51具有与图1中的发送装置10相对应的配置，并且基于无线通信、有线通信等通过由LAN(局域网)表示的网络向接收装置52发送除了图像数据和音频数据之外还包括触觉数据的内容的数据。

接收装置52具有与图1中的接收装置11相对应的配置，并且基于诸如蓝牙(注册商标)的近场通信、诸如WiFi的无线通信、有线通信等、通过由LAN(局域网)表示的网络将被包括在内容数据中的触觉数据发送至触觉呈现装置53。接收装置52使包括振动单元等的触觉呈现单元53a-1至53a-n根据触觉数据振动以进行触觉呈现。

另外，接收装置52通过诸如WiFi的无线通信或有线通信将被包括在内容数据中的图像数据和音频数据输出至显示装置54，以使显示装置54显示数据并输出声音。

触觉呈现装置53具有例如与图1中的触觉呈现装置13相对应的配置，并且包括与振动单元13a相对应的多个触觉呈现单元53a-1至53a-n。触觉呈现装置53由用户穿戴，并且触觉呈现单元53a-1至53a-n与用户身体的预定部位接触。注意，在下文中，在不必特别地区分触觉呈现单元53a-1至53a-n的情况下，将触觉呈现单元53a-1至53a-n简称为触觉呈现单元53a，并且其他部件也将类似地被这样简称。

触觉呈现装置53基于从接收装置52提供的并且与内容的再现状态相对应的触觉数据，使多个触觉呈现单元53a振动，以在用户的身体的预定部位处执行触觉呈现，从而提供预定刺激。因此，当用户观看由显示装置54再现的内容时，触觉呈现单元53a-1至53a-n根据所再现的场景在身体的预定部位处进行触觉呈现，并且用户可以享受带着真实感观看内容。

注意，尽管在此处描述的示例中触觉呈现单元53a是按时间顺序生成振动以向用户的预定部位提供刺激的振动单元，但是该操作可以是基于触觉数据的另一操作，并且例如，可以按时间顺序施加电肌肉刺激或压力。

显示装置54对应于图1的显示装置12并且是包括LCD(液晶显示器)或有机EL(电致发光：)的显示器。另外，显示装置54包括扬声器。显示装置54基于从接收装置52提供的图像数据来显示图像，并且基于音频数据输出声音。

<触觉呈现装置的配置示例>

(背心式触觉呈现装置)

触觉呈现装置53可以是例如图5所示的背心式触觉呈现装置53A。

图5的背心式触觉呈现装置53A设置有触觉呈现单元53a-11至53a-16，这些触觉呈现单元53a-11至53a-16振动以在用户的身体前侧的部位处进行触觉呈现。

触觉呈现单元53a-11至触觉呈现单元53a-16包括例如压电元件致动器等，并且基于从接收装置52提供的触觉信号而振动，以基于振动刺激向用户进行触觉呈现。

(腕带式触觉呈现装置)

另外，触觉呈现装置53还可以是例如图6所示的腕带式触觉呈现装置53B。

图6的触觉呈现装置53B安装在用户手腕附近的部位处。

触觉呈现装置53B设置有触觉呈现单元53a-21至触觉呈现单元53a-24，并且是具有振动以进行触觉呈现的功能的腕带式装置。

触觉呈现装置53B设置有触觉呈现单元53a-21至触觉呈现单元53a-24，这些触觉呈现单元53a-21至53a-24振动以在用户手腕附近的部位处进行触觉呈现。

触觉呈现单元53a-21至触觉呈现单元53a-24包括例如压电元件致动器等，并且基于所提供的触觉信号而振动，从而基于振动刺激向用户进行触觉呈现。

(便携设备式触觉呈现装置)

此外，触觉呈现装置53还可以是如图7所示的诸如游戏设备的便携设备式触觉呈现装置53C。在这种情况下，可以集成用于触觉呈现装置53的显示装置54。

即，如图2中所示，如图7所示，触觉呈现装置53C是由用户的手握住以进行操作的便携设备。例如，用户在观看显示在功能类似于显示装置54的显示单元D(例如液晶面板)上的内容的图像并且收听从扬声器、耳机等(未示出)输出的声音的同时，用手握住触觉呈现装置53C的两端以通过操作设置在触觉呈现装置53C上的按钮B1至按钮B4来玩游戏等。

根据显示在显示单元D上的内容的图像和输出声音向用户进行触觉呈现的触觉呈现单元53a-31和触觉呈现单元53a-32设置在触觉呈现装置53C内部的端部部位处。

触觉呈现单元53a-31和触觉呈现单元53a-32包括例如压电元件致动器等，并且基于从接收装置52提供的触觉数据而振动，以基于振动刺激向用户进行触觉呈现。注意，在图5至图7所示的示例中，触觉呈现装置53可以是进行与振动刺激不同的类别的触觉呈现的触觉呈现装置53。

<发送装置的配置示例>

接下来，将参照图8描述发送装置51的配置示例。

发送装置51包括通过总线78彼此连接以使得可以发送和接收数据和程序的控制单元71、通信单元72、存储单元73、输入单元74、输出单元75、驱动器76和可移除存储介质77。

控制单元71包括处理器和存储器，并且控制发送装置51的整个操作。控制单元71包括内容处理单元91和触觉数据处理单元92。

内容处理单元91读取存储在存储单元73中的包括图像数据、音频数据和触觉数据的内容数据，并且控制通信单元72以将内容数据发送至接收装置52。在这种情况下，内容处理单元91将触觉数据提供给触觉数据处理单元92，以使触觉数据处理单元92将触觉数据转换为编码数据并且然后使触觉数据处理单元92将经转换的编码数据与图像数据和音频数据一起发送至接收装置52。

触觉数据处理单元92包括编码单元101。触觉数据处理单元92使编码单元101使用从内容处理单元91提供的内容数据中的触觉数据作为输入触觉数据，以将输入触觉数据转换为编码数据并且将编码数据输出至内容处理单元91。注意，后面将参照图10和图11详细描述由编码单元101执行的触觉数据的编码方法。

通信单元72由控制单元71控制，并且使用有线(或无线(未示出))通信，以通过由LAN(局域网)等表示的通信网络向接收装置52发送各种数据和程序以及从接收装置52接收各种数据和程序。

存储单元73由控制单元71控制，并且包括HDD(硬盘驱动器)、SSD(固态驱动器)、半导体存储器等。存储单元73写入或读取包括内容数据和程序的各种数据。

输入单元74包括诸如键盘和鼠标之类的输入设备以供用户输入操作命令，并且将各种输入信号提供给控制单元71。

输出单元75由控制单元71控制，并且在未示出的显示设备上输出并显示所提供的处理操作画面或处理结果的图像。

驱动器76向可移除存储介质77(例如磁盘(包括软盘)、光盘(包括CD-ROM(致密盘只读存储器)和DVD(数字通用盘))、磁光盘(包括MD(迷你盘))或半导体存储器)写入数据以及从该可移除存储介质77中读取数据。

(接收装置的配置示例)

接下来，将参照图9描述接收装置52的配置示例。

接收装置52包括通过总线138彼此连接以使得可以发送和接收数据和程序的控制单元131、通信单元132、存储单元133、输入单元134、输出单元135、驱动器136和可移除存储介质137。

控制单元131包括处理器和存储器，并且控制接收装置52的整个操作。控制单元131包括内容处理单元151和触觉数据处理单元152。

内容处理单元151通过通信单元132获取从发送装置51提供的包括编码图像数据、音频数据和输入触觉数据的编码数据的内容数据。此外，内容处理单元151控制通信单元132以将图像数据和音频数据输出至显示装置54，以使显示装置54显示图像并输出声音。另外，内容处理单元151将编码数据提供给触觉数据处理单元152，并且使触觉数据处理单元152将数据恢复为输出触觉数据。然后，内容处理单元151将输出触觉数据提供给触觉呈现装置53，并且使触觉呈现单元53a基于输出触觉数据进行触觉呈现。

触觉数据处理单元152包括编码单元161。触觉数据处理单元152使解码单元161对从内容处理单元151提供的编码数据进行解码，以将数据恢复为与作为原始触觉数据的输入触觉数据相对应的输出触觉数据并且将输出触觉数据输出至内容处理单元151。注意，后面将参照图10和图11详细描述由解码单元161执行的从编码数据恢复输出触觉数据的恢复方法。

通信单元132由控制单元131控制，并且使用有线(或无线(未示出))通信，以通过由LAN(局域网)等表示的通信网络向发送装置51发送各种数据和程序以及从发送装置51接收各种数据和程序。

存储单元133由控制单元131控制，并且包括HDD(硬盘驱动器)、SSD(固态驱动器)、半导体存储器等。存储单元133写入或读取包括内容数据和程序的各种数据。另外，解码单元161解码编码数据所需的基本触觉信号组的信息存储在存储单元133中。

输入单元134包括诸如键盘和鼠标之类的输入设备以供用户输入操作命令，并且将各种输入信号提供给控制单元131。

输出单元135由控制单元131控制，并且在未示出的显示设备上输出并显示所提供的处理操作画面或处理结果的图像。

驱动器136向可移除存储介质137(例如磁盘(包括软盘)、光盘(包括CD-ROM(致密盘只读存储器)和DVD(数字通用盘))、磁光盘(包括MD(迷你盘))或半导体存储器)写入数据以及从该可移除存储介质137中读取数据。

<触觉数据的编码方法和解码方法>

接下来，将参照图10描述触觉数据的编码方法和解码方法。

在此处考虑的情况下，基于用于使一个触觉呈现单元53a振动的输入触觉数据的输入触觉信号例如是具有如图10的右侧所示的振动波形的输入触觉信号。

编码单元101执行频率分析、模式匹配等以将如图10的右侧所示的输入触觉信号分割为如图10的左侧所示的属于基本触觉信号组的多个基本触觉信号以生成分割信息。

在图10的左侧处，将输入触觉信号分割为三种类型的基本触觉信号BTS1至BTS3，并且获得每种基本触觉信号的偏移(时间码)。

更具体地，将图10的右侧处从时间t1至时间t51的波形分割为图10的左侧处的基本触觉信号BTS1-1、基本触觉信号BTS2-1和基本触觉信号BTS3-1，并且将图10的右侧处从时间t22至t52的波形分割为图10的左侧处的基本触觉信号BTS3-2、基本触觉信号BTS3-3、基本触觉信号BTS2-2、基本触觉信号BTS1-2和基本触觉信号BTS1-3。

即，对于基本触觉信号BTS1，从时间t1至时间t3的每个时间的偏移(时间码)定时是基本触觉信号BTS1-1到基本触觉信号BTS1-3中的每个基本触觉信号的开始定时。

另外，对于基本触觉信号BTS2，时间t11和时间t12中的每个时间的偏移(时间码)定时是基本触觉信号BTS2-1和基本触觉信号BTS2-2中的每个基本触觉信号的开始定时。

此外，对于基本触觉信号BTS3，基本触觉信号BTS3-1至基本触觉信号BTS3-3中的每个基本触觉信号的开始定时处于从时间t21至时间t23的每个时间的偏移定时。

编码单元101基于在图10的左侧获得的分割结果来生成编码数据。

即，编码单元101基于在图10的左侧获得的分割结果来编码关于基本触觉信号的参数，参数包括如下信息：例如用于识别基本触觉信号的基本触觉信号索引、每个基本触觉信号的偏移(时间码)以及长度。

此处，对于基本触觉信号索引，因为存在三种类型的基本触觉信号BTS1至BTS3，所以编码单元101使用与基本触觉信号相对应的1、2或3之一的参数。

另外，在图10的左侧的情况下，偏移(时间码)是时间t1至时间t3、时间t11、时间t12、时间t21、时间t22或时间t23之一并且编码单元101使用指示对应偏移的时间码作为参数。

此外，基本触觉信号BTS1至基本触觉信号BTS3分别具有预定长度T1至T3，并且编码单元101将该信息用作参数。

因此，在图10的左侧处，编码单元101例如将基本触觉信号BTS1-1编码为(基本触觉信号索引、指示基本触觉信号的偏移的时间码以及长度)＝(1,t1,T1)。

类似地，编码单元101分别将基本触觉信号BTS1-2和基本触觉信号BTS1-3编码为(基本触觉信号索引、指示基本触觉信号的偏移定时的时间码以及长度)＝(1,t2,T1)、(1,t3,T1)。

另外，基本触觉信号BTS2-1和基本触觉信号BTS2-2分别被编码为(基本触觉信号索引、指示基本触觉信号的偏移的时间码以及长度)＝(2,t11,T2)、(2,t12,T2)。

此外，基本触觉信号BTS3-1至基本触觉信号BTS3-3分别被编码为(基本触觉信号索引、指示基本触觉信号的偏移的时间码以及长度)＝(3,t21,T3)、(3,t22,T3)、(3,t23,T3)。

此外，编码单元101将针对基本触觉信号获得的编码结果相加并组合，以生成与输入触觉数据相对应的输入触觉信号的编码数据。即，使用如图10的左侧所示的输入触觉信号的分割信息以将多个基本触觉信号的编码结果(例如(1,t1,T1)、(1,t2,T1)、(1,t3,T1)、(2,t11,T2)、(2,t12,T2),(3,t21,T3)和(3,t22,T3))进行组合，并且生成输入触觉信号的编码数据。

根据一系列处理的结果，与输入触觉数据相对应的输入触觉信号被转换为编码数据。

另一方面，解码单元161执行与将输入触觉数据转换为编码数据的处理相反的处理以将编码数据转换为输出触觉数据。

即，一旦向解码单元161提供了如上所述生成的编码数据(1,t1,T1)、(1,t2,T1)、(1,t3,T1)、(2,t11,T2)、(2,t12,T2)、(3,t21,T3)、(3,t22,T3)，解码单元161就分解多条组合编码数据以恢复每个基本触觉信号。

即，例如，(1,t1,T1)指示基本触觉信号索引是1，指示基本触觉信号的偏移定时的时间码是t1，并且长度是T1。因此，解码单元161读取存储在存储单元133中的基本触觉信号组中的基本触觉信号索引为1的基本触觉信号，并且应用与偏移＝t1相对应的处理，以恢复图10的左侧处的基本触觉信号BTS1-1。

类似地，解码单元161基于编码数据(1,t2,T1)、(1,t3,T1)、(2,t11,T2)、(2,t12,T2)、(3,t21,T3)、(3,t22,T3)和(3,t23,T3)分别将基本触觉信号BTS1-2、BTS1-3、BTS2-1、BTS2-2、BTS3-1、BTS3-2和BTS3-3恢复为具有如图10左侧所示的信号波形的输出触觉信号。

此外，解码单元161将如图10的左侧所获得的恢复结果的信号波形相加并组合，以恢复如图10的右侧所示的输出触觉信号的最终信号波形，从而生成对应的输出触觉数据。更具体地，将图10的左侧所示的基本触觉信号BTS1-1、基本触觉信号BTS2-1和基本触觉信号BTS3-1相加以恢复具有如图10的右侧从时间t1至时间t51所示的波形的输出触觉信号。另外，将图10的左侧所示的基本触觉信号BTS3-2、基本触觉信号BTS3-3、基本触觉信号BTS2-2、基本触觉信号BTS1-2和基本触觉信号BTS1-3相加以恢复具有如图10的右侧从时间t22至时间t52所示的波形的输出触觉信号。

根据编码处理和解码处理的结果，仅需要使用预定数目的基本触觉信号中的每个基本触觉信号的参数来表示触觉数据。因此，与现有的通过将时间和波形值以时间序列相关联来将基于触觉数据的触觉信号的波形逐点数字化的触觉数据相比，可以更高效地压缩触觉数据。

因此，即使当发送和接收多个信道的触觉数据时，也可以高效地发送和接收触觉数据，并且可以缩短发送和接收所需的时间。

因此，即使当发送和接收多个信道的触觉数据时，也可以减少发送和接收所需的时间。因此，即使当发送和接收多个信道的触觉数据时，也可以抑制关于触觉呈现的延迟的产生，并且可以与图像和音频内容同步地进行触觉呈现。

<编码数据中的参数的添加>

尽管在以上描述中使用了基本触觉信号索引、指示基本触觉信号的偏移的时间码以及长度作为编码数据的参数，但是还可以添加用于布置基本触觉信号的参数。

例如，可以由各种包络来表示由基本触觉信号的长度限定的时间段内的增益的改变，并且可以设置包括包络类型作为索引的参数。

另外，例如，可以将由基本触觉信号的长度限定的整个时间段内的增益的某些变化设置为参数。

即，表示由基本触觉信号的长度限定的时间段内的增益的变化的包络是例如如图11的左侧所示的包络EV1至EV4。

包络EV1表示：在由基本触觉信号的长度确定的从时间ts到时间te的时间段内，时间ts和时间te处的增益为零，并且在时间ts与时间te之间基本触觉信号维持一定的增益。

包络EV2表示：在由基本触觉信号的长度确定的从时间ts到时间te的时间段内，在中间时间th之前增益以一定速率上升，而在中间时间th之后增益以一定速率下降。

包络EV3表示：在由基本触觉信号的长度确定的从时间ts到时间te的时间段内，在中间时间th之前增益随着向下凸的波形变化而上升，而在中间时间th之后增益随着向下凸的波形变化而下降。

包络EV4表示：在由基本触觉信号的长度确定的从时间ts到时间te的时间段内，在中间时间th之前增益随着向上凸的波形变化而上升，而在中间时间th之后增益随着向上凸的波形变化而下降。

可以以限定基本触觉信号的渐强和渐弱的方式来设置包络，并且可以适当地表示基本触觉信号之间的交叠部分的比例。

例如，在将包络EV2应用于基本触觉信号BTS1的情况下，如图12的左上部分所示，整个时间区域的增益为0并且作为偏移的时间码为0，包络EV2将基本触觉信号BTS1的整个波形改变为在上下方向上的三角形投影，并且获得图12的中心部分中的波形所指示的基本触觉信号BTS1’。

此外，在例如将包络EV4应用于基本触觉信号BTS2的情况下，如图12的左下部分所示，整个时间区域中的增益为-6dB并且作为偏移的时间码为0.5，包络EV4将基本触觉信号BTS2的整个波形改变为上下方向上的曲线形投影，并且整体上减小了波形的波高。此外，波形在时间方向上的偏移为0.5，并且获得由图12的中心部分中的波形指示的基本触觉信号BTS2’。

将图12的中心部分中的基本触觉信号BTS1’和基本触觉信号BTS2’组合以获得如图12的右侧所示的组合波形。

因此，可以使用限定增益和包络的参数以扩大通过组合有限的基本触觉信号而表示的触觉信号的变化，并且可以进行更细致的触觉呈现。

注意，在下面的描述中，在对与触觉信号相对应的触觉数据进行编码时，将使用包括每个基本触觉信号的基本触觉信号索引、时间码(指示基本触觉信号的偏移定时)、增益、长度和包络索引的参数作为编码数据。

<多个信道的触觉信号的表示>

尽管上面已经描述了用于一个触觉呈现单元53a的触觉数据的编码数据，但是实际上存在多个触觉呈现单元53a，并且在一个信道中获得用于多个触觉呈现单元53a中的每个触觉呈现单元的编码数据。

即，在提供n个触觉呈现单元53a-1至53a-n的情况下，获得与n个信道相对应的编码数据，如图13所示。

在图13中，将触觉呈现单元1ch的编码数据描述为顶部级中的触觉呈现单元53a-1的编码数据，并且设置(基本触觉信号索引1、时间码、增益、长度、包络索引)、…、(基本触觉信号索引2、时间码、增益、长度、包络索引)、…、(基本触觉信号索引3、时间码、增益、长度、包络索引)、…、以及(基本触觉信号索引m、时间码、增益、长度、包络索引)。

另外，将触觉呈现单元2ch的编码数据描述为第二级中的触觉呈现单元53a-2的编码数据，并且设置(基本触觉信号索引1、时间码、增益、长度、包络索引)、…、(基本触觉信号索引2、时间码、增益、长度、包络索引)、…、(基本触觉信号索引3、时间码、增益、长度、包络索引)、…、以及(基本触觉信号索引m、时间码、增益、长度、包络索引)。

此外，将触觉呈现单元nch的编码数据描述为第n级中的触觉呈现单元53a-n的编码数据，并且设置(基本触觉信号索引1、时间码、增益、长度、包络索引)、…、(基本触觉信号索引2、时间码、增益、长度、包络索引)、…、(基本触觉信号索引3、时间码、增益、长度、包络索引)、…、以及(基本触觉信号索引m、时间码、增益、长度、包络索引)。

即，针对每个触觉呈现单元53a的每个信道设置基本触觉信号索引1至m中的每一个的编码数据。

此外，在编码数据的参数与另一信道中的编码数据的参数相同的情况下，可以提供指示参数与另一信道中的参数相同的信息而不描述参数下。

即，在例如触觉呈现单元2ch中基本触觉信号索引2的时间码与基本触觉信号索引1的时间码相同的情况下，可以如图14所示的那样描述(基本触觉信号索引2、1ch、增益、1ch(tx到ty)、包络索引)以表示时间码的信息与触觉呈现单元1ch中的相同，基本触觉信号的长度与1ch中的相同，并且相同的范围是时间tx到时间ty的范围。

此外，基本触觉信号索引m的增益比触觉呈现单元1ch中的增益高5dB的情况下，可以如图14所示的那样描述(基本触觉信号索引m、时间码、1ch+5、长度、包络索引)以表示增益比触觉呈现单元1ch中的增益高5dB。

此外，可以根据触觉呈现单元53a-1至触觉呈现单元53a-n的编码数据设置触觉呈现参考符号作为标准，并且可以将与触觉呈现参考符号的差异设置为每个信道的编码数据。

触觉呈现参考符号包括如下编码数据：(基本触觉信号索引1、时间码、增益、长度、包络索引)、…、(基本触觉信号索引2、时间码、增益、长度、包络索引)、…、(基本触觉信号索引3、时间码、增益、长度、包络索引)、…、以及(基本触觉信号索引m、时间码、增益、长度、包络索引)，如图15的顶部级所示。编码数据可以包括如下值：例如，触觉呈现单元53a-1至触觉呈现单元53a-n的编码数据的参数的平均值、最小值和最大值。

此外，针对每个信道的触觉呈现单元53a的编码数据设置差异。

即，在触觉呈现单元1ch中指示的触觉呈现单元53a-1的编码数据包括以下编码数据：(基本触觉信号索引1、+5、-2、0、-2)、…、(基本触觉信号索引2、-4、0、+110、-2)、…、以及(基本触觉信号索引m、+1、-10、0、+1)，如图15的从顶部起的第二级中所示。

在这种情况下，在触觉呈现单元1ch中指示的触觉呈现单元53a-1的编码数据指示：基本触觉信号索引为1的编码数据的时间码与触觉呈现参考符号相差+5ms，增益与触觉呈现参考符号相差-2dB，长度与触觉呈现参考符号相同，并且包络索引与触觉呈现参考符号相差-2。

另外，基本触觉信号索引为2的编码数据指示：时间码与触觉呈现参考符号相差-4ms，增益与触觉呈现参考符号相同，长度与触觉呈现参考符号相差+110ms，并且包络索引与触觉呈现参考符号相差-2。

此外，基本触觉信号索引为m的编码数据指示：时间码与触觉呈现参考符号相差+1ms，增益与触觉呈现参考符号相差-10dB，长度与触觉呈现参考符号相同，并且包络索引与触觉呈现参考符号相差+1。

另外，如从图15的顶部起的第三级中所示，触觉呈现单元2ch中指示的触觉呈现单元53a-1的编码数据指示该编码数据与触觉呈现参考符号相同，这是因为所有符号都是0。

此外，触觉呈现单元nch中指示的触觉呈现单元53a-n包括以下编码数据：(基本触觉信号索引1、+6、-10、110、+2)、…、(基本触觉信号索引2、+4、0、+20、-5)、…、以及(基本触觉信号索引m、0、-60、+2、-1)的编码数据，如图15的底部级所示。

在这种情况下，触觉呈现单元nch中指示的触觉呈现单元53a-n的编码数据指示：基本触觉信号索引为1的编码数据的时间码与触觉呈现参考符号相差+6ms，增益与触觉呈现参考符号相差-10dB，长度与触觉呈现参考符号相差+110ms，并且包络索引与触觉呈现参考符号相差+2。

另外，基本触觉信号索引为2的编码数据指示：时间码与触觉呈现参考符号相差+4ms，增益与触觉呈现参考符号相同，长度与触觉呈现参考符号相差+20ms，并且包络索引与触觉呈现参考符号相差-5。

此外，基本触觉信号索引为m的编码数据指示：时间码与触觉呈现参考符号相同，增益与触觉呈现参考符号相差-60dB，长度与触觉呈现参考符号相差+2ms，并且包络索引与触觉呈现参考符号相差-1。

在任何情况下，编码数据仅包括差异信息。因此，可以更高效地压缩编码数据，并且可以提高编码数据的通信速度。此外，在如图15中的基本触觉信号索引为2的编码数据中那样所有编码数据均与触觉呈现参考符号相同的情况下，可以使用一个符号来表示基本触觉信号索引为2的所有编码数据与触觉呈现参考符号相同。

<再现处理>

接下来，将参照图16的流程图描述由图4的内容再现系统执行的内容再现处理。

在步骤S11中，内容处理单元91读取存储在存储单元73中的包括图像数据、音频数据和触觉数据(输入触觉数据)的内容数据。

在步骤S12中，内容处理单元91从读取的内容数据中提取图像数据、音频数据和触觉数据(输入触觉数据)。

在步骤S13中，触觉数据处理单元92执行触觉数据编码处理以将触觉数据(输入触觉数据)转换为编码数据。

<触觉数据编码处理>

此处，将参照图17的流程图描述触觉数据编码处理。

在步骤S51中，发送装置51的控制单元71中的触觉数据处理单元92读取由内容处理单元91从内容数据中提取的触觉数据(输入触觉数据)。

在步骤S52中，编码单元101基于触觉数据(输入触觉数据)生成触觉信号(输入触觉信号)。此处，触觉信号具有例如如图10的右侧所示的信号波形。

在步骤S53中，编码单元101应用频率分析或模式匹配，以将具有该信号波形的触觉信号(输入触觉信号)分割为基本触觉信号组，并且生成分割信息。即，在例如具有如图10的右侧所示的信号波形的触觉信号的情况下，编码单元101生成包括如图10的左侧所示的基本触觉信号组的分割信息。

在步骤S54中，编码单元101基于分割信息针对每个基本触觉信号组设置参数。更具体地，编码单元101基于如在图10的左侧所示的分割信息来针对每个基本触觉信号组设置与基本触觉信号索引、时间码、增益、长度和包络索引相对应的参数。

在步骤S55中，编码单元101编码针对作为分割信息的每个基本触觉信号组设置的参数，并且将通过组合参数获得的组合信息作为编码数据进行输出。

此处，将进一步描述图16的流程图。

在步骤S14中，内容处理单元91控制通信单元72以将除了编码数据之外还包括图像数据和音频数据的内容数据发送至接收装置52。

在步骤S31中，接收装置52的控制单元131中的内容处理单元151控制通信单元132，以接收从发送装置51发送的除了编码数据之外还包括图像数据和音频数据的内容数据。

在步骤S32中，触觉数据处理单元152执行触觉数据解码处理，以将内容处理单元151接收到的内容数据中的编码数据解码为触觉数据(输出触觉数据)。

<触觉数据解码处理>

此处，将参照图18的流程图描述触觉数据解码处理。

在步骤S71中，触觉数据处理单元152读取由内容处理单元151接收到的内容数据中的编码数据。

在步骤S72中，解码单元161基于编码数据读取针对每个基本触觉信号组设置的参数。

在步骤S73中，解码单元161基于读取的参数来恢复针对每个基本触觉信号组设置的分割信息。即，解码单元161基于基本触觉信号索引、时间码、增益、长度和包络索引中的每一个的参数来恢复包括如图10的左侧所示的基本触觉信号组的分割信息。即，解码单元161从存储单元133中读取与基本触觉信号索引相对应的基本触觉信号，并且通过基于时间码、增益、长度和包络索引中的每一个的参数应用处理来恢复每个基本触觉信号的分割信息。

在步骤S74中，解码单元161将分割信息组合以恢复触觉信号(作为输出触觉信号)。即，解码单元161基于包括如图10的左侧所示的基本触觉信号组的分割信息，恢复如图10的右侧所示的触觉信号(作为输出触觉信号)。

在步骤S75中，解码单元161基于触觉信号(输出触觉信号)生成触觉数据(输出触觉数据)。

此处，将进一步描述图16的流程图。

在步骤S33中，内容处理单元151将图像数据和音频数据输出至显示装置54，并且使显示装置54显示内容的图像并输出声音，从而再现内容。

在步骤S34中，内容处理单元151将已解码的触觉数据(输出触觉数据)提供给触觉呈现装置53，并且使每个触觉呈现单元53a振动以再现触觉数据(进行触觉呈现)。

注意，在这种情况下，内容处理单元151使用彼此独立的定时控制信息来管理和执行以下处理的定时：即，将发送的图像数据和音频数据提供给显示装置54以使显示装置54再现内容的处理，以及将触觉数据(输出触觉数据)提供给触觉呈现装置53以使触觉呈现装置53进行触觉呈现的处理。

另外，在步骤S15和步骤S35中确定是否指示结束。在没有指示结束的情况下，处理返回至步骤S11和步骤S31，并且重复后续的处理。

此外，在步骤S15和步骤S35中指示结束的情况下，再现处理结束。

作为处理的结果，触觉数据(输入触觉数据)被转换为编码数据，并且编码数据被压缩和发送。在接收到编码数据之后，恢复触觉数据(输出触觉数据)。因此，可以高效地发送和接收触觉数据，并且在内容的再现中可以抑制触觉呈现单元53a进行的触觉呈现的延迟。

因此，即使当发送和接收涉及多个触觉呈现单元53a的多个信道的触觉数据时，也可以高效地发送和接收触觉数据。因此，可以抑制发送和接收所需的时间的增加，并且可以抑制触觉呈现的延迟。

另外，尽管在以上描述的处理的情况下存在一个触觉呈现单元53a，但是在存在多个触觉呈现单元53a而使得需要与多个信道的触觉数据相对应的编码数据的情况下，可以针对每个信道执行步骤S11至步骤S13的处理。可以将作为处理结果的编码数据设置为例如参照图13至图15所描述的与多个信道相对应的集成编码数据，并且可以在步骤S14中将编码数据发送至接收装置52。

在这种情况下，可以在步骤S32中将与多个信道相对应的编码数据解码并转换为触觉数据，并且在步骤S34中，多个触觉呈现单元53a可以进行触觉呈现。

因此，如参照图14和图15所描述的，可以消除与另一信道的信息相同的信息。因此，可以高效地发送和接收触觉数据，并且可以更高效地抑制触觉呈现的延迟。

<第一修改例>

在上述示例中，将除了图像数据和音频数据之外还包括编码触觉数据(输入触觉数据)的编码数据从发送装置51发送至接收装置52。在接收到编码数据之后，根据编码数据恢复触觉数据(作为输出触觉数据)。用于再现图像数据和音频数据的定时控制信息和用于再现触觉数据(输出触觉数据)的定时控制信息彼此独立。

然而，接收装置52可以预先将图像数据和音频数据存储在存储单元133或可移除存储介质137中，并且可以仅将包括编码触觉数据(输入触觉数据)的编码数据从发送装置51发送至接收装置52。

以这样的方式，向发送装置51和接收装置52发送的以及从发送装置51和接收装置52接收的信息仅是从触觉数据(输入触觉数据)转换的编码数据。因此，可以缩短发送和接收所需的处理时间，并且可以抑制由于触觉数据的发送和接收时间的增加而引起的触觉呈现的延迟的产生。

<第一修改例中的再现处理>

接下来，将参照图19的流程图描述第一修改例中的内容的再现处理。注意，图19中的步骤S101至步骤S103、步骤S106和步骤S135的处理与参照图16的流程图描述的步骤S11至S13、步骤S15和步骤S35的处理类似，并且将不再重复描述。

即，在步骤S101至步骤S103中准备图像数据、音频数据和编码数据。

此外，在步骤S104中，内容处理单元91将与图像数据和音频数据的再现定时相对应的索引提供给所生成的编码数据。

在步骤S105中，内容处理单元91控制通信单元72以仅将被提供有索引的编码数据发送至接收装置52。

在步骤S131中，接收装置52的控制单元131中的内容处理单元151控制通信单元132以接收从发送装置51发送的被提供有索引的编码数据。

在步骤S132中，触觉数据处理单元152执行触觉数据解码处理，以将内容处理单元151接收到的内容数据中的编码数据解码为触觉数据(输出触觉数据)。在这种情况下，触觉数据处理单元152将提供给解码前的编码数据的索引提供给解码后的触觉数据(输出触觉数据)。注意，触觉数据解码处理与参照图18的流程图描述的处理类似，并且将不再描述该处理。

在步骤S133中，内容处理单元151读取存储在存储单元133或可移除存储介质137中的图像数据和音频数据并且将图像数据和音频数据输出至显示装置54。内容处理单元151使显示装置54显示内容的图像并输出声音。

在步骤S134中，内容处理单元151将与指示由显示装置54再现的图像数据和音频数据的再现定时的索引相对应的触觉数据(输出触觉数据)提供给触觉呈现装置53，并且使触觉呈现单元53a基于触觉数据(输出触觉数据)进行触觉呈现。

即，在这种情况下，仅发送和接收被提供有与图像数据和音频数据的再现定时相对应的索引的编码数据。因此，可以缩短发送和接收时间，并且可以防止触觉呈现单元53a进行触觉呈现的定时相对于显示装置54输出图像数据和音频数据的定时的延迟。

另外，触觉呈现单元53a基于被提供有与图像数据和音频数据的再现定时相对应的索引的触觉数据(输出触觉数据)来进行触觉呈现。因此，图像和音频的再现定时可以与触觉呈现的定时同步。

此外，即使当触觉呈现单元53a发送和接收多个信道的触觉数据时，也可以抑制发送和接收时间的增加。因此，可以抑制触觉呈现的延迟。

<第二修改例>

在上述示例中，仅将与被提供有与图像数据和音频数据相对应的索引的触觉数据相对应的编码数据从发送装置51发送至接收装置52，并且接收装置52再现存储在接收装置52中的图像数据和音频数据，并同步再现被提供有对应索引的触觉数据。

然后，编码数据可以存储在其中以可识别状态集成图像数据、音频数据和编码数据(包括编码输入触觉数据)的格式(多媒体容器格式)的传送数据中，并且用于将从编码数据解码的触觉数据(输出触觉数据)的再现与图像数据和音频数据的再现同步的时间码可以记录在传送数据作为的元信息。在这种情况下，将以可识别状态集成图像数据、音频数据和与编码数据相对应的编码数据的格式的传送数据从发送装置51发送至接收装置52。一旦接收装置52从传送数据中包括的编码数据中解码触觉数据(输出触觉数据)，接收装置52读取记录为元信息的时间码，并且基于触觉数据(输出触觉数据)与图像数据和音频数据的再现同步地提供触觉呈现。

<第二修改例中的再现处理>

接下来，将参照图20的流程图描述第二修改例中的内容再现处理。注意，图20中的步骤S151至步骤S153、步骤S156和步骤S175的处理与参照图16的流程图描述的步骤S11至S13、步骤S15和步骤S35的处理类似，并且将不再重复描述。

即，在步骤S151至步骤S153中准备图像数据、音频数据和编码数据。

此外，在步骤S154中，内容处理单元91将生成的编码数据、图像数据和音频数据存储在以可识别状态集成数据的格式的传送数据中。

在步骤S155中，内容处理单元91嵌入时间码作为传送数据的元信息，该时间码用于与图像数据和音频数据同步再现从编码数据解码的触觉数据(输出触觉数据)。

在步骤S156中，内容处理单元91控制通信单元72以将传送数据发送至接收装置52。

在步骤S171中，接收装置52的控制单元131中的内容处理单元151控制通信单元132以接收从发送装置51发送的传送数据。如上所述，编码数据、图像数据和音频数据以可识别的状态存储在传送数据中。

在步骤S172中，触觉数据处理单元152执行触觉数据解码处理，以从内容处理单元151接收到的传送数据中提取编码数据，从而将编码数据解码为触觉数据(输出触觉数据)。注意，触觉数据解码处理与参照图18的流程图描述的处理类似，并且将不再描述该处理。

在步骤S173中，内容处理单元151读取图像数据和音频数据，并且将图像数据和音频数据输出至显示装置54。内容处理单元151使显示装置54显示内容的图像并输出声音。

在步骤S174中，内容处理单元151读取被嵌入作为传送数据的元信息的时间码，并且基于时间码、与由显示装置54再现的图像数据和音频数据同步地将触觉数据(输出触觉数据)提供给触觉呈现装置53，以使触觉呈现单元53a进行触觉呈现。

即，在这种情况下，内容处理单元151基于被嵌入作为元信息的时间码将触觉数据(输出触觉数据)提供给触觉呈现装置53，以使触觉呈现装置53与提供给显示装置54并由显示装置54再现的图像数据和音频数据同步地进行触觉呈现。因此，可以使显示装置54中的图像数据和音频数据的再现定时与基于触觉数据(输出触觉数据)的触觉呈现单元53a中的触觉呈现的定时同步。因此，防止了触觉呈现单元53a进行触觉呈现的定时相对于显示装置54输出图像数据和音频数据的定时的延迟。

作为处理的结果，触觉数据被转换为编码数据，并且编码数据被压缩、发送并接收。因此，可以高效地发送和接收触觉数据，并且可以缩短发送和接收触觉数据所需的通信时间。这可以防止由于多个信道的触觉数据的发送和接收时间的增加而引起的在再现内容时由触觉呈现单元53a进行的触觉呈现的延迟。

<第三修改例>

在上述示例中，用于与图像数据和音频数据同步地再现触觉数据的时间码被作为元信息嵌入在传送数据中，在该传送数据中，以可识别状态集成包括编码的触觉数据的编码数据、图像数据和音频数据。发送装置51将传送数据发送至接收装置52。接收装置52再现图像数据和音频数据，并且基于被嵌入作为元信息的时间码与图像数据和音频数据同步再现从编码数据恢复的触觉数据(输出触觉数据)。

然而，可以仅将可以由接收装置52解码的触觉数据转换为编码数据。至于不能被解码的触觉数据，可以将原始触觉数据与图像数据和音频数据一起从发送装置51发送至接收装置52。

<第三修改例中的再现处理>

接下来，将参照图21的流程图描述第三修改例中的内容再现处理。注意，图21中的步骤S191、步骤S192、步骤S194、步骤S195、步骤S197以及步骤S203至步骤S206的处理与参照图16的流程图描述的步骤S11至S15以及步骤S32至步骤S35的处理类似，并且将不再重复描述。

即，在步骤S191和步骤S192中读取图像数据、音频数据和触觉数据(输入触觉数据)。

在步骤S193中，当触觉数据处理单元152编码触觉数据(输入触觉数据)时，触觉数据处理单元152确定触觉数据在接收装置52是否不可被解码。

更具体地，触觉数据处理单元152可以例如在触觉数据编码处理中将触觉数据(输入触觉数据)一次转换为编码数据，并且然后在触觉数据解码处理中将编码数据解码为触觉数据(输出触觉数据)。触觉数据处理单元152可以将作为解码结果的输出触觉数据与输入触觉数据进行比较，以基于相似度来确定触觉数据是否不可被解码。

在步骤S193中确定触觉数据是可被解码而不是不可被解码的情况下，处理进行至步骤S194，并且在触觉数据编码处理中将触觉数据(输入触觉数据)转换为编码数据。在步骤S195中，将编码数据与图像数据和音频数据一起发送至接收装置52。

另一方面，在假设在步骤S193中触觉数据不可被解码的情况下，处理进行至步骤S196。

在步骤S196中，内容处理单元91控制通信单元72以将原始触觉数据(输入触觉数据)、图像数据和音频数据发送至接收装置52。

在步骤S201中，接收装置52的控制单元131中的内容处理单元151控制通信单元132以接收从发送装置51发送的原始触觉数据(输入触觉数据)或编码数据、图像数据和音频数据。

在步骤S202中，触觉数据处理单元152确定是否与图像数据和音频数据一起接收到编码数据。例如，在与图像数据和音频数据一起接收到编码数据的情况下，处理进行至步骤S203。

此外，在步骤S203中，在触觉数据解码处理中，将编码数据解码为触觉数据(输出触觉数据)。在步骤S204中，显示装置54基于图像数据和音频数据输出图像和声音。在步骤S205中，触觉呈现单元53a基于触觉数据(输出触觉数据)进行触觉呈现。

此外，在步骤S202中与图像数据和音频数据一起接收到原始触觉数据(输入触觉数据)而不是编码数据的情况下，跳过步骤S203的处理。在步骤S204中，输出图像和声音。在步骤S205中，触觉呈现单元53a基于原始触觉数据(输入触觉数据)进行触觉呈现。

即，在这种情况下，内容处理单元151将编码数据转换为触觉数据(输出触觉数据)，以仅针对可以适当地被解码的触觉数据(输入触觉数据)进行触觉呈现。对于不能被解码的触觉数据(输入触觉数据)，内容处理单元151使用原始触觉数据(输入触觉数据)进行触觉呈现。因此，可以适当地反映触觉数据以进行触觉呈现。

作为处理的结果，触觉数据被转换为编码数据，并且编码数据被压缩、发送并接收。以这种方式，可以高效地发送和接收触觉数据。因此，可以缩短发送和接收触觉数据所需的通信时间。即使在内容的再现中发送和接收多个信道的触觉数据时，也可以在抑制由于发送和接收时间的增加而引起触觉呈现单元53a进行的触觉呈现的延迟的同时实现适当的触觉呈现。

注意，在触觉数据编码处理和触觉数据解码处理中，可以根据在发送装置51与接收装置52之间的通信中可以使用的通信频带来改变使用的基本触觉信号的数目。

此外，在接收装置52中，作为编码数据的解码结果的触觉数据可以存储在存储单元133中。此外，在发送与所存储的触觉数据类似的触觉数据的情况下，发送装置51可以仅发送用于指定与某些触觉数据的相似度的触觉数据指定信息。在这种情况下，接收装置52可以使用存储在存储单元133中的触觉数据中的基于触觉数据指定信息指定的触觉数据。

此外，可以通过根据通信条件实时切换是发送编码数据、发送用于指定已经存储的触觉数据的触觉数据指定信息、还是发送原始触觉数据，来发送和接收触觉数据，或者可以组合发送方法。

另外，可以根据音频数据自动生成触觉数据的一部分，并且因此，可以仅发送和接收与可以自动生成的触觉数据的差异作为触觉数据。

此外，可以根据发送装置51和接收装置52的处理负荷或剩余电量来确定是否可以进行触觉数据编码处理和触觉数据解码处理，并且可以切换发送编码数据的情况和发送原始触觉数据的情况。

另外，可以将用于指定再现触觉数据的定时的内容上的时间戳添加到每个基本触觉信号，并且可以根据时间戳进行触觉呈现。

此外，可以在将触觉数据与内容数据复用之后发送和接收触觉数据，或者可以将内容数据和触觉数据作为不同的数据发送。

另外，可以将指示是否添加了触觉数据或者指示触觉数据的格式的标志数据添加到内容数据的头部。以这样的方式，接收装置52可以确定是否存在触觉数据或确定触觉数据的格式，并且可以区分并执行处理。

在上述示例中，接收装置52使显示装置54基于从发送装置51提供的内容数据中包括的图像数据和音频数据来显示图像并输出声音，并且还使触觉呈现装置53的触觉呈现单元53a基于与触觉数据相对应的编码数据进行触觉呈现。然而，可以分别提供使显示装置54基于图像数据和音频数据显示图像并输出声音的接收装置以及使触觉呈现装置53的触觉呈现单元53a基于与触觉数据相对应的编码数据进行触觉呈现的接收装置。

另外，除了发送装置51之外，可以单独提供具有将内容数据中的触觉数据转换为编码数据的功能的装置，并且发送装置51可以将触觉数据提供给单独提供的装置并且获取转换的编码数据。

此外，除了接收装置52之外，可以提供具有将编码数据解码为触觉数据的功能的装置，并且接收装置552可以将编码数据提供给单独提供的装置并且使用根据编码数据解码的触觉数据以使触觉呈现装置53的触觉呈现单元53a进行触觉呈现。

<<3.第二实施方式>>

<使用机器学习的触觉数据编码处理>

在上述示例中，使用频率分析或模式匹配以基于触觉数据(输入触觉数据)将触觉信号(输入触觉信号)分割为基本触觉信号组，并且获得分割信息。基于分割信息针对每个基本触觉信号设置的参数用于编码分割信息并组合分割信息，并且所生成的组合信号被设置以生成编码数据。将编码数据进行解码以恢复触觉数据(输出触觉数据)。

然而，将触觉数据(输入触觉数据)分割为基本触觉信号组以生成分割信息的处理可以是使用基于机器学习而生成的估计器的处理。

此处，将描述使用机器学习进行的触觉数据编码处理。

在机器学习中，例如，如图22所示，使用包括图像数据和音频数据的内容数据201以及对应的触觉信号(输入触觉信号)202。注意，触觉信号202此处是用户与内容数据201相关联地输入的信号。

接下来，基于对内容数据201的图像数据和音频数据的音频分析、动态分析、纹理分析等的分析结果，生成特征数据203，特征数据203包括包含从图像数据中提取的听觉特征的多维特征向量和根据从音频数据中提取的视觉特征所提取的多维特征向量。

另外，基于基本触觉信号组来分割触觉信号(输入触觉信号)202以生成分割信息，并且生成分割信息204作为教师数据。

此外，通过使用作为教师数据的分割信息204和特征数据203的机器学习来生成使用内容数据201的特征数据203来估计分割信息的估计器(图23的估计器213)。

估计器(图23的估计器213)基于特征数据203通过一系列机器学习来估计触觉信号(输入触觉信号)的分割信号。

作为结果，如图23所示，执行使用通过机器学习生成的估计器213的触觉数据编码处理，以基于对包括在内容数据211中的图像数据和音频数据的音频分析、动态分析、纹理分析等的分析结果，生成包括从中提取图像数据的听觉特征的多维特征向量和从音频数据的视觉特征提取的多维特征向量的特征数据212。

此外，通过机器学习生成的估计器213基于特征数据212估计分割信息，并且基于估计的分割信息中的基本触觉信号组的每个参数来生成编码数据。

<学习装置的配置示例>

接下来，将参照图24来描述学习装置的配置示例，该学习装置使用机器学习来生成被配置成基于内容的特征数据来估计分割信息的图23的估计器213。

学习装置231包括通过总线258彼此连接以使得可以发送和接收数据和程序的控制单元251、通信单元252、存储单元253、输入单元254、输出单元255、驱动器256和可移除存储介质257。

控制单元251包括处理器和存储器，并且控制学习装置231的整个操作。控制单元251包括机器学习单元261，该机器学习单元261使估计器213通过机器学习来学习。

机器学习单元261包括特征数据提取单元271和教师数据生成单元272。如参照图22所描述的，机器学习单元261获取基于对应的触觉数据的触觉信号(输入触觉信号)202以及内容数据201，并且使估计器213通过例如神经网络、高斯混合模型等进行学习。

更具体地，特征数据提取单元271基于对内容数据201的图像数据和音频数据的音频分析、动态分析、纹理分析等的分析结果，提取特征数据203，特征数据203包括包含从图像数据提取的听觉特征的多维特征向量和根据从音频数据提取的视觉特征所提取的多维特征向量。

教师数据生成单元272基于与通过输入单元254输入的内容数据201相对应的触觉数据来分割触觉信号(输入触觉信号)202，以生成包括基本触觉信号组的分割信息204。

机器学习单元261生成估计器213，该估计器213基于特征数据203通过使用作为教师数据的分割信息204和特征数据203进行的机器学习来估计分割信息。

通信单元252由控制单元251控制，并且通过由LAN(局域网)等表示的通信网络以有线(或无线(未示出))通信来发送和接收各种数据和程序。

存储单元253由控制单元251控制，并且包括HDD(硬盘驱动器)、SSD(固态驱动器)、半导体存储器等。存储单元253写入或读取包括内容数据和程序的各种数据。

输入单元254包括诸如键盘和鼠标之类的输入设备以供用户输入操作命令，并且将各种输入信号提供给控制单元251。

输出单元255由控制单元251控制，并且在未示出的显示设备上输出并显示所提供的处理操作画面或处理结果的图像。

驱动器256向可移除存储介质257(例如磁盘(包括软盘)、光盘(包括CD-ROM(致密盘只读存储器)和DVD(数字通用盘))、磁光盘(包括MD(迷你盘))或半导体存储器)写入数据并且从该可移除存储介质257中读取数据。

<使用机器学习实现触觉数据编码处理的发送装置的配置示例>

接下来，将参照图25描述使用机器学习实现触觉数据编码处理的发送装置的配置示例。

注意，在图25中，与图8中的发送装置51的部件具有相同功能的发送装置51的部件被设置有相同的附图标记，并且将适当地省略描述。

即，图25的发送装置51与图8的发送装置51的不同之处在于，提供了编码单元281来代替编码单元101。

编码单元281包括特征数据提取单元291和估计器292，并且基于被包括在内容数据中的图像数据和音频数据来生成触觉数据的编码数据。

更具体地，特征数据提取单元291从图像数据和音频数据中提取特征数据。

估计器292具有与图23的估计器213相对应的配置。估计器292基于机器学习来学习，并且基于特征数据来估计与触觉数据(输入触觉数据)相对应的分割信息。编码单元281基于估计的分割信息的每个基本触觉信号的参数，生成与触觉数据(输入触觉数据)相对应的编码数据。

注意，接收装置52的配置也与图9中的情况类似，并且再现处理与上述处理类似。因此，将不重复描述。

<学习处理>

接下来，将参照图26的流程图描述由图24的学习装置231执行的学习处理。

在步骤S211中，特征数据提取单元271从通过输入单元254输入的内容数据201的图像数据和音频数据提取特征数据203。

在步骤S212中，教师数据生成单元272基于与通过输入单元254输入的内容数据201相对应的触觉数据来分割触觉信号(输入触觉信号)202，以生成包括基本触觉信号组的分割信息204并且生成分割信息204作为教师数据。

在步骤S213中，机器学习单元261使估计器213使用作为教师数据的分割信息204和包括触觉数据的特征数据203通过机器学习来学习。

该处理可以使估计触觉信号(输入触觉信号)的分割信息的估计器213在机器学习中基于从内容数据的图像数据和音频数据提取的特征数据来进行学习。

<使用机器学习的触觉数据编码处理>

接下来，将参照图27描述使用通过图25中的发送装置51的机器学习而生成的估计器213(图25的估计器292)进行的触觉数据编码处理。

在步骤S231中，编码单元281的特征数据提取单元291从内容数据的图像数据和音频数据提取特征数据。

在步骤S232中，估计器292估计与特征数据相对应的触觉信号(输入触觉信号)的分割信息。

在步骤S233中，编码单元281基于由估计器292估计的分割信息来设置每个基本触觉信号的参数。

在步骤S234中，编码单元281基于每个基本触觉信号的参数来生成与触觉信号相对应的编码数据。

作为处理的结果，通过机器学习生成的估计器292基于图像数据和音频数据的特征数据估计分割信息，并且估计与触觉数据(输入触觉数据)相对应的编码数据。因此，可以将触觉数据(输入触觉数据)更快地转换为编码数据。注意，触觉数据解码处理与参照图18的流程图描述的处理类似，并且将不再重复描述。另外，尽管在上述示例中的学习处理和触觉数据编码处理中从图像数据和音频数据提取特征数据，但是除了图像数据和音频数据之外，也可以从触觉数据(输入触觉数据)提取特征数据。此外，可以增加特征数据，使得估计器可以以更高的精度学习。

如上所述，根据本公开内容，在任何情况下都可以抑制发送和接收时间的增加，即使当多个触觉呈现单元53a发送和接收多个信道的触觉数据时也如此，并且因此，可以抑制触觉呈现的延迟。

<<4.使软件执行的示例>>

顺便提及，上述一系列处理可以通过硬件执行或者可以通过软件执行。在一系列处理由软件执行的情况下，将软件中包括的程序从记录介质安装到并入专用硬件中的计算机上或者例如能够通过安装各种程序而执行各种功能的通用计算机上。

图28示出了通用计算机的配置示例。个人计算机包括CPU(中央处理单元)1001。输入/输出接口1005通过总线1004连接至CPU 1001。ROM(只读存储器)1002和RAM(随机存取存储器)1003连接至总线1004。

输入单元1006、输出单元1007、存储单元1008以及通信单元1009连接至输入/输出接口1005，输入单元1006包括供用户输入操作命令的诸如键盘和鼠标之类的输入设备，输出单元1007向显示设备输出处理操作屏幕或处理结果的图像，存储单元1008包括存储程序或各种数据的硬盘驱动器等，通信单元1009包括LAN(局域网)适配器等，并且被配置成通过由因特网表示的网络执行通信处理。另外，连接有用于从可移除存储介质1011中读取数据以及向可移除存储介质1011写入数据的驱动器1010，可移除存储介质1011例如是磁盘(包括软盘)、光盘(包括CD-ROM(致密盘只读存储器)和DVD(数字通用盘))、磁光盘(包括MD(迷你盘))或半导体存储器。

CPU 1001根据存储在ROM 1002中的程序或者从可移除存储介质1011(例如磁盘、光盘、磁光盘或者半导体存储器)读取的、被安装在存储单元1008中并且从存储单元1008被加载至RAM 1003的程序来执行各种处理。CPU 1001执行各种处理所需的数据等也被适当地存储在RAM 1003中。

在以这种方式配置的计算机中，CPU 1001例如将存储在存储单元1008中的程序通过输入/输出接口1005和总线1004加载到RAM 1003并且执行程序，从而执行一系列处理。

可以通过例如将程序记录在作为封装介质等的可移除存储介质1011中来提供由计算机(CPU 1001)执行的程序。另外，可以通过诸如局域网、互联网和数字卫星广播的有线或无线传输介质来提供程序。

在计算机中，可以将可移除存储介质1011安装在驱动器1010上，以通过输入/输出接口1005将程序安装在存储单元1008上。另外，通信单元1009可以通过有线或无线传输介质来接收程序以将程序安装在存储单元1008上。此外，可以预先将程序安装在ROM 1002或存储单元1008上。

注意，由计算机执行的程序可以是以本说明书中描述的先后顺序执行处理的程序，或者程序可以是用于并行执行处理或用于在必要的时间例如在调用处理时执行处理的程序。

注意，图28中的CPU 1001实现了图8和图25中的控制单元71、图9中的控制单元131和图24中的控制单元251的功能。

另外，本说明书中的系统表示一组多个构成元件(装置、模块(部件)等)，并且所有构成元件是否在同一壳体中无关紧要。因此，存储在分开的壳体中并且通过网络连接的多个装置以及将多个模块存储在一个壳体中的一个装置均是系统。

注意，本公开内容的实施方式不限于上述实施方式，并且在不脱离本公开内容的范围的情况下，可以做出各种改变。

例如，本公开内容可以被设置为例如云计算，在云计算中，多个装置共享一个功能并且通过网络进行协作以执行处理。

另外，一个装置可以执行流程图中描述的每个步骤，或者多个装置可以负责并且执行每个步骤。

此外，在一个步骤包括多个处理的情况下，一个装置可以执行包括在一个步骤中的多个处理，或者多个装置可以负责并执行这些处理。

注意，本公开内容也可以如下配置。

<1>

一种信息处理装置，包括：

编码单元，其将输入触觉信号编码为包括参数的编码数据，所述参数限定所述输入触觉信号中包括的基本触觉信号组中的多个基本触觉信号；以及

发送单元，其将所述编码数据发送至接收装置，所述接收装置使触觉呈现单元进行触觉呈现，所述触觉呈现单元被配置成使用基于所述编码数据的输出触觉信号进行触觉呈现。

<2>

根据<1>所述的信息处理装置，其中，

所述基本触觉信号组中包括的所述基本触觉信号包括彼此正交的触觉信号。

<3>

根据<1>或<2>所述的信息处理装置，其中，

在其他信息处理装置中提供有多个触觉呈现单元，并且针对与所述多个触觉呈现单元中的每个触觉呈现单元对应的每个信道设置所述输入触觉信号。

<4>

根据<1>至<3>中任一项所述的信息处理装置，其中，

限定所述基本触觉信号中的每一个的参数包括：识别所述基本触觉信号的索引、限定所述基本触觉信号的再现定时的偏移的时间码、再现所述基本触觉信号的整个定时中的增益、基于所述基本触觉信号的触觉呈现的长度、以及识别指示再现所述基本触觉信号时的增益的变化的包络的索引。

<5>

根据<1>至<4>中任一项所述的信息处理装置，其中，

所述输入触觉信号包括对应于与所述输出触觉信号同步再现的内容的信号，并且

所述发送单元将所述内容的内容数据与所述编码数据一起发送。

<6>

根据<1>至<4>中任一项所述的信息处理装置，其中，

所述输入触觉信号包括对应于与所述输出触觉信号同步再现的内容的信号，并且

所述发送单元将所述编码数据和所述内容的内容数据独立地发送至所述接收装置。

<7>

根据<1>至<4>中任一项所述的信息处理装置，其中，

所述输入触觉信号包括对应于与所述输出触觉信号同步再现的内容的信号，

所述编码单元将指示所述内容的再现定时的索引提供给所述编码数据，并且

所述发送单元将被提供有所述索引的所述编码数据发送至所述接收装置。

<8>

根据<1>至<4>中任一项所述的信息处理装置，其中，

所述输入触觉信号包括对应于与所述输出触觉信号同步再现的内容的信号，

所述编码单元将所述编码数据和所述内容集成到一条传送数据中，并且将用于同步地再现所述输出触觉信号和所述内容的时间码记录为所述传送数据的元信息，并且

所述发送单元将包括被记录为所述元信息的所述时间码的所述传送数据发送至所述接收装置。

<9>

根据<1>至<4>中任一项所述的信息处理装置，其中，

所述输入触觉信号包括对应于与所述输出触觉信号同步再现的内容的信号，

所述编码单元将所述输入触觉信号中的能够由所述接收装置解码的输入触觉数据编码为所述编码数据，并且

所述发送单元将所述输入触觉数据或所述编码数据发送至所述接收装置。

<10>

根据<1>至<4>中任一项所述的信息处理装置，其中，

所述输入触觉信号包括对应于与所述输出触觉信号同步再现的内容的信号，

所述编码单元基于使用作为教师数据的分割信息和所述内容的机器学习进行估计，以根据所述内容估计所述分割信息，并且基于所述分割信息将所述输入触觉信号编码为所述编码数据，所述分割信息被分割为所述输入触觉信号中包括的基本触觉信号组中的基本触觉信号，并且

所述发送单元将所述编码数据发送至所述接收装置。

<11>

一种信息处理方法，包括：

将输入触觉信号编码为包括参数的编码数据的编码处理，所述参数限定所述输入触觉信号中包括的基本触觉信号组中的多个基本触觉信号；以及

将所述编码数据发送至接收装置的发送处理，所述接收装置使被配置成进行触觉呈现的触觉呈现单元基于输出触觉信号进行触觉呈现，所述输出触觉信号基于所述编码数据。

<12>

一种程序，其使计算机用作以下单元：

编码单元，其将输入触觉信号编码为包括参数的编码数据，所述参数限定所述输入触觉信号中包括的基本触觉信号组中的多个基本触觉信号；以及

发送单元，其将所述编码数据发送至接收装置，所述接收装置使被配置成进行触觉呈现的触觉呈现单元基于输出触觉信号进行触觉呈现，所述输出触觉信号基于所述编码数据。

<13>

一种信息处理装置，包括：

接收单元，其接收包括参数的编码数据，所述参数限定输入触觉信号中包括的基本触觉信号组中的多个基本触觉信号；以及

解码单元，其基于所接收的所述编码数据中包括的限定所述多个基本触觉信号的参数，将所述基本触觉信号进行组合以将所述基本触觉信号解码为输出触觉信号。

<14>

根据<13>所述的信息处理装置，其中，

所述解码单元基于所述编码数据的参数来读取并组合预先存储在存储介质中的所述基本触觉信号，以将所述基本触觉信号解码为所述输出触觉信号。

<15>

根据<13>或<14>所述的信息处理装置，其中，

限定所述基本触觉信号中的每一个的参数包括：识别所述基本触觉信号的索引、限定所述基本触觉信号的再现定时的偏移的时间码、再现所述基本触觉信号的整个定时中的增益、基于所述基本触觉信号的触觉呈现的长度、以及识别指示再现所述基本触觉信号时的增益的变化的包络的索引。

<16>

根据<13>或<14>所述的信息处理装置，其中，

所述输出触觉信号包括与内容的再现同步再现的信号。

<17>

根据<16>所述的信息处理装置，其中，

所述接收单元独立地接收所述编码数据和所述内容的内容数据，并且

所述信息处理装置还包括触觉呈现单元，当所述内容被再现时，所述触觉呈现单元与所述内容的再现同步地执行基于所述输出触觉信号的触觉呈现。

<18>

根据<16>所述的信息处理装置，其中，

所述接收单元接收被提供有指示所述内容的再现定时的索引的所述编码数据，以及

所述信息处理装置还包括触觉呈现单元，当所述内容被再现时，所述触觉呈现单元在与所提供的索引相对应的所述内容被再现的定时处，执行基于与所述编码数据相对应的所述输出触觉信号的触觉呈现。

<19>

根据<16>所述的信息处理装置，其中，

所述接收单元接收传送数据，在所述传送数据中集成有所述编码数据和所述内容并且时间码被记录为元信息，并且

所述信息处理装置还包括触觉呈现单元，当所述内容被再现时，所述触觉呈现单元基于被记录为所述传送数据的元信息的所述时间码，与所述内容的再现同步地执行基于所述输出触觉信号的触觉呈现。

<20>

根据<16>所述的信息处理装置，其中，

所述接收单元接收所述输出触觉信号或所述编码数据，

在所述接收单元接收到所述输出触觉信号的情况下，基于所接收的输出触觉信号进行触觉呈现，

在所述接收单元接收到所述编码数据的情况下，所述解码单元基于所述编码数据的参数将所述基本触觉信号进行组合，以将所述基本触觉信号解码为所述输出触觉信号，并且

所述信息处理装置还包括触觉呈现单元，所述触觉呈现单元执行基于由所述解码单元解码的所述输出触觉信号的触觉呈现。

<21>

根据<16>所述的信息处理装置，其中，

所述接收单元接收基于分割信息进行编码的所述编码数据，所述分割信息被分割为所述输入触觉信号中包括的基本触觉信号组中的基本触觉信号，所述分割信息是基于使用作为教师数据的分割信息以及所述内容的机器学习根据所述内容被估计的，

所述解码单元基于所述编码数据的参数将所述基本触觉信号进行组合，以将所述基本触觉信号解码为所述输出触觉信号，并且

所述信息处理装置还包括触觉呈现单元，所述触觉呈现单元执行基于所述输出触觉信号的触觉呈现。

<22>

一种信息处理方法，包括：

接收包括参数的编码数据的接收处理，所述参数限定输入触觉信号中包括的基本触觉信号组中的多个基本触觉信号；以及

基于所接收的编码数据中包括的限定多个基本触觉信号的参数将所述基本触觉信号进行组合以将所述基本触觉信号解码为输出触觉信号的解码处理。

<23>

一种程序，其使计算机用作以下单元：

接收单元，其接收包括参数的编码数据，所述参数限定输入触觉信号中包括的基本触觉信号组中的多个基本触觉信号；以及

解码单元，其基于所接收的编码数据中包括的限定所述多个基本触觉信号的参数，将所述基本触觉信号进行组合以将所述基本触觉信号解码为输出触觉信号。

附图标记列表

41内容再现系统，51发送装置，52接收装置，53、53A至53C触觉呈现装置、53a、53a-1至53a-16、53a-21至53a-24、53a-31、53a-32触觉呈现单元，71控制单元，91内容处理单元，92触觉数据处理单元，101编码单元，131控制单元，151内容处理单元，152解码单元，231学习装置，251控制单元，271特征数据提取单元，272教师数据生成单元，281编码单元，291特征数据提取单元，292估计器

Claims (21)

1.一种信息处理装置，包括：

编码单元，其将输入触觉信号编码为包括参数的编码数据，所述参数限定所述输入触觉信号中包括的基本触觉信号组中的多个基本触觉信号；以及

发送单元，其将所述编码数据发送至接收装置，所述接收装置使触觉呈现单元进行触觉呈现，所述触觉呈现单元被配置成使用基于所述编码数据的输出触觉信号进行触觉呈现，

其中所述参数包括：识别所述基本触觉信号的索引、限定所述基本触觉信号的再现定时的偏移的时间码、再现所述基本触觉信号的整个定时中的增益、基于所述基本触觉信号的触觉呈现的长度、以及识别指示再现所述基本触觉信号时的增益的变化的包络的索引。

2.根据权利要求1所述的信息处理装置，其中，

所述基本触觉信号组中包括的所述基本触觉信号包括彼此正交的触觉信号。

3.根据权利要求1所述的信息处理装置，其中，

在其他信息处理装置中提供有多个触觉呈现单元，并且针对与所述多个触觉呈现单元中的每个触觉呈现单元对应的每个信道设置所述输入触觉信号。

4.根据权利要求1所述的信息处理装置，其中，

所述输入触觉信号包括对应于与所述输出触觉信号同步再现的内容的信号，并且

所述发送单元将所述内容的内容数据与所述编码数据一起发送。

5.根据权利要求1所述的信息处理装置，其中，

所述输入触觉信号包括对应于与所述输出触觉信号同步再现的内容的信号，并且

所述发送单元将所述编码数据和所述内容的内容数据独立地发送至所述接收装置。

6.根据权利要求1所述的信息处理装置，其中，

所述输入触觉信号包括对应于与所述输出触觉信号同步再现的内容的信号，

所述编码单元将指示所述内容的再现定时的索引提供给所述编码数据，并且

所述发送单元将被提供有所述索引的所述编码数据发送至所述接收装置。

7.根据权利要求1所述的信息处理装置，其中，

所述输入触觉信号包括对应于与所述输出触觉信号同步再现的内容的信号，

所述编码单元将所述编码数据和所述内容集成到一条传送数据中，并且将用于同步地再现所述输出触觉信号和所述内容的时间码记录为所述传送数据的元信息，并且

所述发送单元将包括被记录为所述元信息的所述时间码的所述传送数据发送至所述接收装置。

8.根据权利要求1所述的信息处理装置，其中：

所述输入触觉信号包括对应于与所述输出触觉信号同步再现的内容的信号，

所述编码单元将所述输入触觉信号中的能够由所述接收装置解码的输入触觉数据编码为所述编码数据，并且

所述发送单元将所述输入触觉数据或所述编码数据发送至所述接收装置。

9.根据权利要求1所述的信息处理装置，其中：

所述输入触觉信号包括对应于与所述输出触觉信号同步再现的内容的信号，

所述编码单元基于使用作为教师数据的分割信息和所述内容的机器学习进行估计，以根据所述内容估计所述分割信息，并且基于所述分割信息将所述输入触觉信号编码为所述编码数据，所述分割信息被分割为所述输入触觉信号中包括的基本触觉信号组中的基本触觉信号，并且

所述发送单元将所述编码数据发送至所述接收装置。

10.一种信息处理方法，包括：

将输入触觉信号编码为包括参数的编码数据的编码处理，所述参数限定所述输入触觉信号中包括的基本触觉信号组中的多个基本触觉信号；以及

将所述编码数据发送至接收装置的发送处理，所述接收装置使被配置成进行触觉呈现的触觉呈现单元基于输出触觉信号进行触觉呈现，所述输出触觉信号基于所述编码数据，

其中所述参数包括：识别所述基本触觉信号的索引、限定所述基本触觉信号的再现定时的偏移的时间码、再现所述基本触觉信号的整个定时中的增益、基于所述基本触觉信号的触觉呈现的长度、以及识别指示再现所述基本触觉信号时的增益的变化的包络的索引。

11.一种计算机可读存储介质，所述计算机可读存储介质上存储程序，所述程序使计算机用作以下单元：

编码单元，其将输入触觉信号编码为包括参数的编码数据，所述参数限定所述输入触觉信号中包括的基本触觉信号组中的多个基本触觉信号；以及

发送单元，其将所述编码数据发送至接收装置，所述接收装置使被配置成进行触觉呈现的触觉呈现单元基于输出触觉信号进行触觉呈现，所述输出触觉信号基于所述编码数据，

其中所述参数包括：识别所述基本触觉信号的索引、限定所述基本触觉信号的再现定时的偏移的时间码、再现所述基本触觉信号的整个定时中的增益、基于所述基本触觉信号的触觉呈现的长度、以及识别指示再现所述基本触觉信号时的增益的变化的包络的索引。

12.一种信息处理装置，包括：

接收单元，其接收包括参数的编码数据，所述参数限定输入触觉信号中包括的基本触觉信号组中的多个基本触觉信号；以及

解码单元，其基于所接收的所述编码数据中包括的限定所述多个基本触觉信号的参数，将所述基本触觉信号进行组合以将所述基本触觉信号解码为输出触觉信号，

其中所述参数包括：识别所述基本触觉信号的索引、限定所述基本触觉信号的再现定时的偏移的时间码、再现所述基本触觉信号的整个定时中的增益、基于所述基本触觉信号的触觉呈现的长度、以及识别指示再现所述基本触觉信号时的增益的变化的包络的索引。

13.根据权利要求12所述的信息处理装置，其中，

所述解码单元基于所述编码数据的参数来读取并组合预先存储在存储介质中的所述基本触觉信号，以将所述基本触觉信号解码为所述输出触觉信号。

14.根据权利要求12所述的信息处理装置，其中，

所述输出触觉信号包括与内容的再现同步再现的信号。

15.根据权利要求14所述的信息处理装置，其中，

所述接收单元独立地接收所述编码数据和所述内容的内容数据，并且

所述信息处理装置还包括触觉呈现单元，当所述内容被再现时，所述触觉呈现单元与所述内容的再现同步地执行基于所述输出触觉信号的触觉呈现。

16.根据权利要求14所述的信息处理装置，其中，

所述接收单元接收被提供有指示所述内容的再现定时的索引的所述编码数据，以及

所述信息处理装置还包括触觉呈现单元，当所述内容被再现时，所述触觉呈现单元在与所提供的索引相对应的所述内容被再现的定时处，执行基于与所述编码数据相对应的所述输出触觉信号的触觉呈现。

17.根据权利要求14所述的信息处理装置，其中，

所述接收单元接收传送数据，在所述传送数据中集成有所述编码数据和所述内容并且时间码被记录为元信息，并且

所述信息处理装置还包括触觉呈现单元，当所述内容被再现时，所述触觉呈现单元基于被记录为所述传送数据的元信息的所述时间码，与所述内容的再现同步地执行基于所述输出触觉信号的触觉呈现。

18.根据权利要求14所述的信息处理装置，其中，

所述接收单元接收所述输出触觉信号或所述编码数据，

在所述接收单元接收到所述输出触觉信号的情况下，基于所接收的输出触觉信号进行触觉呈现，

在所述接收单元接收到所述编码数据的情况下，所述解码单元基于所述编码数据的参数将所述基本触觉信号进行组合，以将所述基本触觉信号解码为所述输出触觉信号，并且

所述信息处理装置还包括触觉呈现单元，所述触觉呈现单元执行基于由所述解码单元解码的所述输出触觉信号的触觉呈现。

19.根据权利要求14所述的信息处理装置，其中，

所述接收单元接收基于分割信息进行编码的所述编码数据，所述分割信息被分割为所述输入触觉信号中包括的基本触觉信号组中的基本触觉信号，所述分割信息是基于使用作为教师数据的分割信息以及所述内容的机器学习根据所述内容被估计的，

所述解码单元基于所述编码数据的参数将所述基本触觉信号进行组合，以将所述基本触觉信号解码为所述输出触觉信号，并且

所述信息处理装置还包括触觉呈现单元，所述触觉呈现单元执行基于所述输出触觉信号的触觉呈现。

20.一种信息处理方法，包括：

接收包括参数的编码数据的接收处理，所述参数限定输入触觉信号中包括的基本触觉信号组中的多个基本触觉信号；以及

基于所接收的编码数据中包括的限定多个基本触觉信号的参数将所述基本触觉信号进行组合以将所述基本触觉信号解码为输出触觉信号的解码处理，

其中所述参数包括：识别所述基本触觉信号的索引、限定所述基本触觉信号的再现定时的偏移的时间码、再现所述基本触觉信号的整个定时中的增益、基于所述基本触觉信号的触觉呈现的长度、以及识别指示再现所述基本触觉信号时的增益的变化的包络的索引。

21.一种计算机可读存储介质，所述计算机可读存储介质上存储程序，所述程序使计算机用作以下单元：

接收单元，其接收包括参数的编码数据，所述参数限定输入触觉信号中包括的基本触觉信号组中的多个基本触觉信号；以及

解码单元，其基于所接收的编码数据中包括的限定所述多个基本触觉信号的参数，将所述基本触觉信号进行组合以将所述基本触觉信号解码为输出触觉信号，

其中所述参数包括：识别所述基本触觉信号的索引、限定所述基本触觉信号的再现定时的偏移的时间码、再现所述基本触觉信号的整个定时中的增益、基于所述基本触觉信号的触觉呈现的长度、以及识别指示再现所述基本触觉信号时的增益的变化的包络的索引。