CN117441150A - 触觉信号生成装置、触觉信号生成方法和程序 - Google Patents

Abstract

触觉信号生成装置包括触觉信号生成单元，该触觉信号生成单元可以基于音频信号的音乐特征或视频信号的演出特征，生成用于向用户施加触觉刺激的触觉信号。

Description

触觉信号生成装置、触觉信号生成方法和程序

技术领域

本技术涉及触觉信号生成装置、触觉信号生成方法和程序，并且特别地涉及用于执行触觉呈现的技术。

背景技术

近年来，已经开发出了用于通过使用户操作的装置振动向用户提供触觉刺激的技术。在此，触觉刺激是指通过振动等使用户感觉到触觉感觉的物理现象。此外，生成触觉刺激被称为触觉呈现。

在各种领域的装置中使用用于执行触觉呈现的技术。

例如，在包括触摸面板的终端装置(例如，智能电话)中，触摸面板或壳体响应于来自用户的触摸操作而振动，并且向用户的手指给出触觉刺激，使得可以表达在触摸面板上显示的按钮等上的触摸感觉。

此外，例如，在诸如头戴式耳机的音乐收听装置中，可以通过根据音乐再现给出触觉刺激来强调正在再现的音乐中的重低音。

此外，例如，在提供计算机游戏、虚拟现实(VR)等的装置中，可以通过根据使用控制器的操作或内容场景来再现声音并且使控制器等振动以给出触觉刺激来提高用户对内容的沉浸感。

此外，已经开发了基于从外部装置接收的触觉信号向用户给出触觉刺激的技术。例如，下面的专利文献1公开了一种在基于所接收的信号改变振动的频率和幅度的同时向用户给出触觉刺激的技术。

引用列表

专利文献

专利文献1：日本专利申请特许公开第2016-202486号。

发明内容

本发明解决的问题

同时，例如，上述执行触觉呈现的装置可以执行反映音频信号的物理特性(例如，音频压力和低频段的变化)的触觉呈现。然而，在这种装置中，由于反映的是音频信号的物理特性，因此可能仅执行无变化的均匀触觉呈现，并且难以带给用户真实感。

因此，本技术的目的是提高带给用户的真实感。

问题的解决方案

根据本技术的触觉信号生成装置包括触觉信号生成单元，该触觉信号生成单元基于音频信号的音乐特征或视频信号的演出特征生成用于向用户提供触觉刺激的触觉信号。

因此，触觉信号生成装置可以生成反映音频信号的音乐特征或视频信号的演出特征的触觉信号。

附图说明

图1是示出传送系统的配置的图。

图2是示出发送装置的内部配置的图。

图3是示出接收装置的内部配置的图。

图4是示出传送系统的第一具体示例的图。

图5是用于说明分析结果和参数的图。

图6是用于说明延迟处理的图。

图7是示出发送装置中发送处理的流程的流程图。

图8是示出接收装置中接收处理的流程的流程图。

图9是用于说明传送系统的第二具体示例的图。

图10是用于说明传送系统的第三具体示例的图。

图11是用于说明分析结果和混合系数的图。

图12是用于说明传送系统的第五具体示例的图。

图13是用于说明第七实施方式中振动波形的图。

图14是用于说明分析结果和参数的图。

图15是用于说明编码数据的结构的图。

具体实施方式

下文中，将按以下顺序描述实施方式。

<1.传送系统的配置>

<2.发送装置的配置>

<3.接收装置的配置>

<4.传送系统的具体示例>

<5.编码数据的结构>

<6.修改>

<7.总结>

<8.本技术>

注意，本公开内容中使用的术语定义如下。

触觉刺激：使人感知到触觉感觉的物理现象，例如，振动现象等。

触觉呈现：触觉刺激的生成。

触觉信号：表示触觉刺激模式的信号，例如，表示振动波形等的信号。

编码数据：通过对信号进行编码而获得的数据。作为更具体的概念，有流和帧。

<1.传送系统的配置>

图1是示出作为根据本技术的实施方式的包括触觉信号生成装置的传送系统1的配置的图。如图1所示，传送系统1包括发送系统2和接收系统3。发送系统2和接收系统3连接至诸如互联网的网络，并且可以经由网络彼此通信。

发送系统2设置在例如音乐厅等中，记录音乐会(现场表演)等的音频和视频，并且将音频和视频实时发送(分发)到多个接收系统3。此外，除了所记录的音频和视频之外，发送系统2还向接收系统3发送触觉信息。

在此，触觉信息是用于在接收系统3中生成触觉信号的信息，并且可以包括触觉信号本身，或者可以包括用于生成触觉信号的波形和参数。

发送系统2包括发送装置11、音频输入装置12、视频输入装置13和触觉输入装置14。

发送装置11是包括中央处理单元(CPU)、数字信号处理器(DSP)等的计算机，并且整体地控制发送系统2。

音频输入装置12包括麦克风12a(见图4)，并且接收通过由麦克风12a收集周围音频而获得的音频信号。

视频输入装置13包括视频摄像装置13a(见图4)，并且接收通过由视频摄像装置13a拍摄视频而获得的视频信号。

触觉输入装置14包括例如触觉传感器、加速度传感器等，并且接收通过被这些传感器检测而获得的触觉信号(振动波形)。此外，触觉输入装置14可以接收存储在预定存储装置15(见图9)中的触觉信号。

发送装置11获取输入至音频输入装置12的音频信号、输入至视频输入装置13的视频信号、以及输入至触觉输入装置14的触觉信号。此外，发送装置11基于所获取的音频信号或视频信号中的至少一个，生成用于在接收系统3中生成触觉信号的参数。

然后，发送装置11根据预定格式对音频信号、视频信号、触觉信息(触觉信号、参数)等进行编码。然后，发送装置11将通过编码生成的编码数据发送至接收系统3。注意，如稍后详细描述的，编码数据可以不包括触觉信号。

接收系统3基于从发送装置11发送的编码数据来再现音频和视频。此外，接收系统3基于从发送装置11发送的编码数据生成触觉信号，并且基于所生成的触觉信号执行触觉呈现。

接收系统3包括接收装置21、音频呈现装置22、视频呈现装置23和触觉呈现装置24。

接收装置21是包括CPU、DSP等的计算机，并且通过接收和解码编码数据获得音频信号、视频信号和触觉信息。此外，接收装置21基于触觉信息生成触觉信号。

音频呈现装置22例如包括诸如扬声器或头戴式耳机的语音输出单元22a，并且输出基于音频信号的音频。

视频呈现装置23例如包括诸如液晶显示器、OLED显示器或投影仪装置的显示单元23a(见图4)，并且显示基于视频信号的视频。

触觉呈现装置24例如包括诸如振动器或致动器的振动器24a(见图4)，并且向用户施加基于触觉信号的振动。注意，触觉呈现装置24可以包括例如输出汇聚超声波或空气炮的扬声器阵列、控制装置中流体的量的压力呈现装置、直接刺激触觉感受器的电刺激装置等，只要其可以向用户呈现触觉刺激即可。

<2.发送装置的配置>

图2是示出发送装置11的内部配置的图。注意，图2将音频输入装置12、视频输入装置13和触觉输入装置14与发送装置11的内部配置一起示出。

如图2所示，发送装置11包括分析单元31、编码单元32、控制单元33、发送单元34和存储单元35。分析单元31、编码单元32、控制单元33、发送单元34和存储单元35通过总线36连接，并且可以彼此进行数据通信。

分析单元31包括例如DSP，并且获取来自音频输入装置12的音频信号或来自视频输入装置13的视频信号中的至少一个。然后，分析单元31对所获取的音频信号或视频信号进行分析，并且基于分析结果确定用于在接收系统3中生成触觉信号的参数。

例如，分析单元31获取来自音频输入装置12的音频信号，并且通过已知方法执行音频信息分析。在音频信息分析中，分析音频信号的波形数据以提取音乐特征。注意，音乐特征不仅包括诸如音频压力和频带的物理信息，还包括定义音乐的要素(例如，音乐的音调和情感、节奏形式、流派、演奏乐器和音乐的发展)。

此外，分析单元31获取来自视频输入装置13的视频信号，并且通过已知方法分析视频信息。在视频信息分析中，例如，执行图像识别以检测作为摄影工作上传的乐器，并且提取演出特征。在此，演出特征包括形成视频的要素，例如，摄影工作、视频的颜色以及视频中示出的乐器。

然后，分析单元31基于音频信息分析或视频信息分析的分析结果(即，音乐特征或演出特征)，确定用于在接收系统3中生成触觉信号的参数。然后，分析单元31将所确定的参数发送至编码单元32。在此，参数例如是振动波形的幅度、起始时间(振动开始时刻)、迭代次数、衰减率、频率、多个振动波形的混合系数等。

注意，代替音频信息分析或视频信息分析，现场相关人员可以在实际现场表演的同时实时地确定参数。在这种情况下，所确定的参数被发送至编码单元32。在这种方法中，将通常执行的操作(例如，现场表演中每个乐器的音量调整和聚光灯的位置调整)扩展到参数。

编码单元32包括例如DSP，并且获取来自音频输入装置12的音频信号、来自视频输入装置13的视频信号、以及来自触觉输入装置14的触觉信号。此外，编码单元32获取来自分析单元31的参数。然后，编码单元32将时间戳添加到所获取的音频信号、视频信号和触觉信息(触觉信号、参数)中，根据预定格式执行编码，并且将所获得的编码数据发送至接收系统3。

控制单元33例如配备有包括CPU、只读存储器(ROM)、随机存取存储器(RAM)等的微型计算机，并且根据存储在ROM中的程序执行处理，以执行对发送装置11的整个控制。

发送单元34基于控制单元33的控制执行与外部装置的数据通信。例如，可以使由编码单元32获得的编码数据发送至接收装置21。

例如，存储单元35综合地表示诸如硬盘驱动器(HDD)和固态驱动器(SSD)的存储装置，并且用于在发送装置11中存储各种数据。

例如，存储单元35存储控制单元33进行控制所需的数据。此外，由编码单元32获得的编码数据可以基于控制单元33的控制存储在存储单元35中。

<3.接收装置的配置>

图3是示出接收装置21的内部配置的图。注意，图3将音频呈现装置22、视频呈现装置23和触觉呈现装置24与接收装置21的内部配置一起示出。

如图3所示，接收装置21包括控制单元41、接收单元42、存储单元43、解码单元44、触觉信号生成单元45和延迟单元46。控制单元41、接收单元42、存储单元43、解码单元44、触觉信号生成单元45和延迟单元46通过总线47连接，并且可以彼此进行数据通信。

控制单元41包括例如包括CPU、ROM和RAM的微型计算机，并且执行对接收装置21的整体控制。

接收单元42基于控制单元41的控制执行与外部装置的数据通信。例如，接收单元42可以接收从发送装置11发送的编码数据。

例如，存储单元43综合地表示诸如HDD和SSD的存储装置，并且用于在接收装置21中存储各种数据。

例如，存储单元43存储控制单元41进行控制所需的数据。此外，在控制单元41的控制下，可以将解码单元44获得的各种信号存储在存储单元43中。

解码单元44包括例如DSP，并且对经由接收单元42输入的编码数据进行解码以获得音频信号、视频信号和触觉信息。

触觉信号生成单元45包括例如DSP，并且基于被解码单元44解码获得的触觉信息(参数)来生成触觉信号。也就是说，触觉信号生成单元45基于音频信号的音乐特征或视频信号的演出特征生成用于向用户提供触觉刺激的触觉信号。

在此，与音频信号和视频信号相比，触觉信号可能延迟。这是因为例如当在发送装置11中执行对音频信号的音频信息分析时，需要相对长时间的音频信号。因此，基于从音频信息分析的分析结果确定的参数生成的触觉信号相对于音频信号具有理论延迟。

因此，延迟单元46包括例如DSP，并且通过基于附加在音频信号、视频信号和触觉信号上的时间戳，延迟音频信号、视频信号和触觉信号中的任何一个来使音频信号、视频信号和触觉信号同步。然后，延迟单元46将音频信号输出至音频呈现装置22，并且使音频呈现装置22输出基于音频信号的音频。此外，延迟单元46将视频信号输出至视频呈现装置23，并且使视频呈现装置23显示基于视频信号的视频。此外，延迟单元46将触觉信号输出至触觉呈现装置24，并且使触觉呈现装置24呈现基于触觉信号的触觉刺激。

<4.传送系统的具体示例>

下文中，将描述实际使用传送系统1时的具体示例。

[4.1第一具体示例]

图4是用于说明传送系统1的第一具体示例的图。图5是用于说明分析结果和参数的图。注意，下面将仅示出描述所需的配置。

如图4所示，在第一具体示例中，现场表演中从各种乐器50发出的音频由麦克风12a收集并且作为音频信号输入至音频输入装置12。在此，假设乐器50包括鼓50a、萨克斯管50b和贝斯50c。

此外，包括乐器50的现场表演由视频摄像装置13a成像，并且作为视频信号输入至视频输入装置13。

另一方面，没有触觉信号被输入至触觉输入装置14。代替地，接收装置21的存储单元43存储用于生成触觉信号的模板波形16。接收装置21通过基于参数使模板波形16变形来生成触觉信号。

在发送装置11中，根据需要将输入至音频输入装置12的音频信号输入至分析单元31和编码单元32。此外，根据需要将输入至视频输入装置13的视频信号输入至编码单元32。

当输入音频信号时，分析单元31实时执行音频信息分析。然后，如图5所示，作为音频信息分析的分析结果，例如，获得了诸如以下的音乐特征：输入音频信号AS1的区间SE1是贝斯50c的独奏演奏区间、输入音频信号AS2的区间SE2是萨克斯管50b的平静氛围的旋律音调的区间、以及输入音频信号AS3的区间SE3是音乐中的精彩部分并且是执行所有乐器进行激烈演奏的区间。

分析单元31基于这些音乐特征的分析结果确定用于在接收装置21中生成触觉信号的参数。在第一具体示例中，模板波形的幅度、衰减率和起始时间三个参数被设置为参数。注意，第一具体示例中的参数仅需要包括模板波形的幅度、衰减率或起始时间中的至少一个，并且期望包括所有三个参数。

然后，对于区间SE1，例如，分析单元31确定幅度为0.8倍，衰减率为较大，并且起始时间为贝斯50c的声音产生时刻，使得可以结合贝斯50c的声音获得有力而尖锐的触觉刺激。

此外，对于区间SE2，例如，分析单元31确定幅度为0.3倍，衰减率为较小，并且起始时间为萨克斯管50b的声音产生时刻中的在音乐方面具有重要意义的声音的声音产生时刻(例如，第一个和最后一个)，以表达管乐器的连续声音，并且获得适当变细且节奏感不太强的触觉刺激。

此外，对于区间SE3，例如，分析单元31确定幅度为1.0倍，衰减率为中等，并且起始时间为鼓50a的踢踏声的声音产生时刻，从而使有力且有节奏的触觉刺激得以延续。

在此，将音乐特征转换成何种类型的参数可以根据艺术家或表演者的意图来设置，或者可以由软件开发人员通过设计或诸如机器学习的技术自动地设置。

以这种方式从分析单元31获得的参数与音频信号和视频信号一起由编码单元32进行编码，并且作为编码数据被发送至接收装置21。也就是说，编码数据包括音频信号、视频信号和参数，并且不包括模板波形16。

当接收到编码数据时，接收装置21在解码单元44中对编码数据进行解码，以获取音频信号、视频信号和参数。

触觉信号生成单元45从存储单元43中读取模板波形16，并且基于参数使模板波形16变形，以生成如图5下部分所示的触觉信号。

在区间SE1中，触觉信号具有其中模板波形16的幅度乘以0.8，衰减率被设置为较大的波形图案，并且在贝斯50c的声音产生时刻处给出触觉刺激。

此外，在区间SE2中，触觉信号具有其中模板波形16的幅度乘以0.3，衰减率被设置为较小的波形图案，在萨克斯管50b的声音产生时刻中的在音乐方面具有重要意义的声音的声音产生时刻处给出触觉刺激。

此外，在区间SE3中，触觉信号具有其中模板波形16的幅度乘以1.0倍，衰减率被设置为中等的波形模式，并且根据鼓50a的踢踏声给出触觉刺激。

下文中，延迟单元46执行对音频信号和视频信号进行延迟，并且使他们与音频信号、视频信号和触觉信号同步的延迟处理。

图6是用于说明延迟处理的图。

如上所述，分析单元31对输入至音频输入装置12的音频信号执行音频信息分析，并且基于分析结果确定参数。然而，为了执行音频信息分析，可能存在需要比从发送装置11发送的编码数据的发送单位的时间更长的时间的音频信号的情况。

例如，假设在发送装置11中使用时间T作为发送单位，但在分析单元31进行音频信息分析时需要时间为2T的音频信号。此时，如图6所示，假设分别从音频输入装置12和视频输入装置13获取从时间0到时间T的音频信号AS11和视频信号VS11。

然后，分析单元31将内部缓冲的从时间-T到时间0的音频信号AS10与所获取的音频信号AS11耦接，并且通过时间2T的音频信号执行音频信息分析。注意，可以在存储单元35中执行缓冲。

因此，分析单元31确定用于生成从时间-T到时间0的触觉信号的参数P10。然后，编码单元32对音频信号AS11、视频信号VS11和参数P10进行编码以生成编码数据，并且将编码数据发送至接收装置21。

在接收装置21中，解码单元44对所接收的编码数据进行解码，以获得音频信号AS11、视频信号VS11和参数P10。然后，触觉信号生成单元45基于参数P10生成从时间-T到时间0的触觉信号TS10。

因此，接收装置21基于所接收的编码数据获得从时间0到时间T的音频信号AS11和视频信号VS11，以及从时间-T到时间0的触觉信号TS10。也就是说，音频信号AS11和视频信号VS11与触觉信号TS10是异步信号。

因此，延迟单元46对音频信号和视频信号进行缓冲。注意，可以在存储单元43中执行缓冲。

然后，延迟单元46将音频信号和视频信号延迟时间T，将从时间-T到时间0的缓冲的音频信号AS10和视频信号VS10输出至音频呈现装置22和视频呈现装置23，并且将从时间-T到时间0的触觉信号TS10输出至触觉呈现装置24。

然后，在音频呈现装置22中，从语音输出单元22a输出基于音频信号的音频。此外，在视频呈现装置23中，在显示单元23a上显示基于视频信号的视频。此外，在触觉呈现装置24中，从振动器24a输出基于触觉信号的振动。

因此，可以以同步的方式向用户提供音频、视频和触觉刺激。注意，如果分析单元31的操作如第一具体示例中已知，则原则上可以得出多少延迟应当用于同步的延迟量，因此可以使用该值。此外，可以参考附加到每个信号的时间戳来确定延迟量。如果使用时间戳，则除了分析单元31的分析区间的长度之外，可以补偿和同步从源生成的延迟。

另一方面，也可以设计分析单元31，使分析单元31通过对从时间-T到时间T的音频信号的音频信息分析，确定用于生成从时间0到时间T的触觉信号的参数。然而，在这种情况下，音频信号本身的发送被延迟了时间T以用于分析。在假设发送装置11与接收装置21之间的通信频带波动或采取针对通信故障的措施的情况下，预期延迟发送使得难以应对波动或措施。因此，如第一具体示例，通过在获得发送单位的信号时的时间点处执行无延迟发送，可以减少音频和视频的中断。

通过这种方式，用户可以体验与音频和视频同步的反映音乐特征的触觉刺激。由于触觉刺激取决于音乐的情感、表演部分、音乐的发展而变化，因此触觉刺激与音乐更加同步，用户可以在远程直播中获得更高的真实感。

此外，延迟单元46的同步仅由接收装置21单独实现，并且与在音乐厅或其他远程地点实际观看现场表演的用户所感受到的音频、视频和触觉刺激并不同步。然而，在用户与由另一用户感觉到的触觉刺激之间生成的时间差的量使得音乐的分析延迟被添加到现有通信方案的延迟量，并且可以将实时特性维持到不妨碍用户之间的印象的共享的程度。

如上所述，在第一具体示例的传送系统1中，在远程地点观看直播的用户可以体验反映音乐意图的高质量触觉刺激，并且可以从远程地点实时地观看现场表演，并且增强了现场观看的真实感。

图7是示出发送装置11中发送处理的流程的流程图。如图7所示，在步骤S1中，分析单元31和编码单元32获取来自音频输入装置12的音频信号。此外，编码单元32获取来自视频输入装置13的视频信号。

在步骤S2中，分析单元31对步骤S1中获取的音频信号进行缓冲。然后，在步骤S3中，分析单元31确定用于执行音频信息分析的缓冲的音频信号的数据量是否足够。因此，在音频信号的数据量不足的情况下(步骤S3中否)，则过程返回到步骤S1。

另一方面，在音频信号的数据量足够的情况下(步骤S3中为是)，在步骤S4中，分析单元31执行音频信息分析，并且在步骤S5中确定参数。然后，在步骤S6中，编码单元32对带有时间戳的音频信号、视频信号和参数进行编码。此后，在步骤S7中，发送单元34确定编码数据的量是否足够以进行发送，并且在编码数据的量不足够以进行发送的情况下(步骤S7中为否)，则处理返回到步骤S1。

另一方面，在编码数据的量足够以进行发送的情况下(步骤S7中为是)，在步骤S8中，发送装置34将编码数据发送至接收装置21。

图8是示出接收装置21中接收处理的流程的流程图。如图8所示，在步骤S11中，接收单元42接收从发送装置11发送的编码数据。在步骤S12中，解码单元44对所接收的编码数据进行解码，以获得音频信号、视频信号和参数。然后，在步骤S13中，触觉信号生成单元45读取存储单元43中存储的模板波形16。

在步骤S14中，触觉信号生成单元45通过基于参数使所读取的模板波形16变形，生成触觉信号。在随后的步骤S15中，延迟单元46确定音频信号、视频信号和触觉信号是否同步。因此，在音频信号、视频信号和触觉信号彼此同步的情况下(步骤S15中为是)，则处理进行到步骤S17。

另一方面，在音频信号、视频信号和触觉信号彼此不同步的情况下(步骤S15中为否)，则在步骤S16中延迟单元46执行用于使音频信号、视频信号和触觉信号同步的同步处理。然后，在步骤S17中，延迟单元46将音频信号输出至音频呈现装置22，并且使语音输出单元22a输出基于音频信号的语音。此外，延迟单元46将视频信号输出至视频呈现装置23，并且使显示单元23a显示基于视频信号的视频。此外，延迟单元46将触觉信号输出至触觉呈现装置24，并且使振动器24a输出基于触觉信号的振动。

此外，在第一具体示例中，存储单元43中存储了一个模板波形16，但存储单元43中也可以存储多个模板波形，从而可以通过ID进行识别。在这种情况下，当基于分析结果确定参数时，分析单元31也确定要使用的模板波形的ID，并将ID发送至编码单元32。然后，编码单元32将模板波形的ID与参数一起包括在编码数据中。此外，当生成触觉信号时，触觉信号生成单元45从存储单元43中读取与编码数据中包括的ID对应的模板波形，并且基于参数使模板波形变形，从而生成触觉信号。

通过这种方式，可以基于多个模板波形向用户提供触觉刺激，并且可以进一步增强现场观看的真实感。

[4.2第二具体示例]

图9是示出传送系统1的第二具体示例的图。注意，在第二具体示例中，将描述与第一具体示例中的处理不同的处理，并且将省略对与第一具体示例中的处理类似的处理的描述。

如图9所示，在第二具体示例的发送装置11中，模板波形16预先存储在预定存储装置15中。另一方面，接收装置21的存储单元43不预先存储模板波形16。

在此，存储装置15例如是诸如HDD或SSD的存储装置，并且可以设置在发送装置11(或存储单元35)中，也可以经由网络连接。

在第二具体示例中，触觉输入装置14从存储装置15中读取模板波形16，并将模板波形输入编码单元32。然后，除了从音频输入装置12输入的音频信号、从视频输入装置13输入的视频信号以及由分析单元31确定的参数之外，编码单元32还对从触觉输入装置14输入的模板波形16进行编码，以生成编码数据。注意，编码数据可以每次都包括模板波形，可以仅在开始时包括一次模板波形，或者可以每预定次数包括模板波形。

然后，在接收装置21中，解码单元44对编码数据进行解码，以获得音频信号、视频信号、参数和模板波形16。触觉信号生成单元45通过基于参数使解码得到的模板波形16变形来生成触觉信号。

如上所述，在第二具体示例中，可以节省接收装置21中用于存储模板波形16的存储容量。另一方面，在第一具体示例中，由于不需要发送模板波形16，因此可以尽可能地节省发送与接收之间的通信量。

注意，在第二具体示例中，可以通过触觉输入装置14的加速度传感器等获取从乐器50发出的振动波形，并且将该信号波形作为模板波形16存储在存储装置15中。

此外，在第二具体示例中，存储装置15中存储了一个模板波形16，但存储装置15中可以存储多个模板波形，以可以通过ID进行识别。在这种情况下，当基于分析结果确定参数时，分析单元31也确定要使用的模板波形的ID。然后，编码单元32从存储装置15中读取由分析单元31确定的ID所指示的模板波形，并使模板波形与参数一起包括在编码数据中。此外，当生成触觉信号时，触觉信号生成单元45通过基于参数使包括在编码数据中的模板波形变形来生成触觉信号。

通过这种方式，可以基于多个模板波形向用户提供触觉刺激，并且可以进一步增强现场观看的真实感。

[4.3第三具体示例]

图10是用于说明传送系统1的第三具体示例的图。图11是用于说明分析结果和混合系数(参数)的图。注意，在第三具体示例中，将描述与第一具体示例和第二具体示例中的处理不同的处理，并且将省略对与第一具体示例和第二具体示例中的处理类似的处理的描述。

如图10所示，在第三具体示例的发送装置11中，代替第二具体示例中存储在存储装置15中的模板波形16，由触觉输入装置14的加速度传感器等根据需要获取从不同乐器50(音频信号的生成源)发出的振动波形。例如，从鼓50a发出的振动波形被获取为鼓波形51a，从萨克斯管50b发出的振动波形被获取为萨克斯管波形51b，从贝斯50c发出的振动波形被获取为贝斯波形51c。

当输入音频信号时，分析单元31与第一具体示例类似地实时执行音频信息分析。

如图11所示，作为音频信息分析的分析结果，获得了诸如以下的音乐特征：输入音频信号AS1的区间SE1是贝斯50c的独奏演奏区间、输入音频信号AS2的区间SE2是萨克斯管50b的平静氛围的旋律音调区间、输入音频信号AS3的区间SE3是音乐中的精彩部分并且是执行所有乐器的激烈演奏的区间。

分析单元31基于这些音乐特征的分析结果确定用于在接收装置21中生成触觉信号的参数。在第三具体示例中，用于混合三种波形的混合系数被设置为参数。当触觉信号g(n)用表达式(1)表示时，混合系数对应于a1、a2和a3。

g(n)＝a1×f1(n)+a2×f2(n)+a3×f3(n)…(1)

注意，f1(n)、f2(n)和f3(n)分别表示鼓波形51a、萨克斯管波形51b和贝斯波形51c。

然后，分析单元31将区间SE1确定为例如a1＝0.1、a2＝0.0和a3＝1.0，以强调贝斯50c的振动。

此外，对于区间SE2，例如，分析单元31确定a1＝0.1、a2＝1.0和a3＝0.1，以强调萨克斯管50b的振动，并且去除有节奏或过于强烈的感觉。

此外，分析单元31将区间SE3确定为例如a1＝1.0、a2＝1.0和a3＝1.0，以混合所有振动并且使其有力。

编码单元32对音频信号、视频信号和触觉信息(三个振动波形和参数)进行编码，以生成编码数据。然后，发送单元34将编码数据发送至接收装置21。

在接收装置21中，解码单元44对编码数据进行解码，以获得音频信号、视频信号以及三个振动波形和参数。然后，触觉信号生成单元45通过基于作为参数的混合系数来混合(合成)三个振动波形，生成触觉信号。

延迟单元46对音频信号、视频信号和触觉信号执行同步处理，使音频呈现装置22输出基于音频信号的音频，使视频呈现装置23显示基于视频信号的视频，并且使触觉呈现装置24输出基于触觉信号的振动。

注意，虽然三个振动波形被输入至触觉输入装置14，但三个振动波形可以预先被记录并且存储在发送装置11的存储装置15中。此外，三个振动波形可以存储在接收装置21的存储单元43中。在这种情况下，在发送装置11中，可以从接收装置21的存储单元43中读取三个振动波形，而无需在编码单元32中对振动波形进行编码，并且可以基于混合系数生成触觉信号。

此外，在第三具体示例中，提供了三个振动波形，但振动波形的数量可以是任意数量。

[4.4第四具体示例]

在第三具体示例中，乐器50发出的振动波形被输入至触觉输入装置14，但在第四具体示例中，可以通过对音频信号的信号处理生成模拟振动波形。例如，可以设想通过对音频信号应用提取低频带的低通滤波器来生成并且使用强调有力的低频声音的模拟振动波形。即使在将这样的模拟振动波形输入至触觉输入装置14的情况下，也可以与第三具体示例类似地生成反映音乐特征的触觉信号，并且可以增强用户感受到的真实感。

[4.5第五具体示例]

图12是示出传送系统1的第五具体示例的图。图13是用于说明分析结果和参数的图。注意，在第五具体示例中，将描述与第一具体示例至第四具体示例的处理不同的处理，并且将省略对与第一具体示例至第四具体示例的处理类似的处理的描述。

在第五具体示例中，如图12所示，在椅型触觉呈现装置24中设置了多个振动器24a。多个振动器24a例如设置在与用户的不同部位(颈部、背部和腰部)对应的位置处。

如图13所示，分析单元31例如获得这样的音乐特征作为音频信息分析的分析结果，在该音乐特征中输入音频信号AS21的区间SE11是具有紧张感的区间，并且输入音频信号AS22的区间SE12是平静区间。

分析单元31基于这些音乐特征的分析结果，确定用于在接收装置21中生成触觉信号的参数。在第五具体示例中，哪个振动器24a被振动被设置为参数。

然后，例如，对于具有紧张感的区间SE11，分析单元31确定振动与颈部和背部对应的振动器24a。

此外，对于平静音乐的区间SE12，分析单元31确定振动与腰部对应的振动器24a。注意，仅需要如第一具体示例和第二具体示例中那样确定振动波形。

然后，除音频信号和视频信号之外，编码单元32还通过编码参数(指示哪个振动器24a要振动的信息)来生成编码数据。然后，发送单元34将编码数据发送至接收装置21。

在接收装置21中，解码单元44对编码数据进行解码，以获得音频信号、视频信号和参数。然后，触觉信号生成单元45基于参数生成与每个振动器24a对应的触觉信号。也就是说，触觉信号生成单元45针对用户的各个不同部位生成多个触觉信号。

延迟单元46对音频信号、视频信号和触觉信号执行同步处理，使音频呈现装置22输出基于音频信号的音频，使视频呈现装置23显示基于视频信号的视频，并且使触觉呈现装置24的每个振动器24a呈现基于触觉信号的触觉刺激。

因此，在区间SE11中，可以给予用户在颈部周围被刺激的紧张感，并且在区间SE12中，可以给予用户对腰部的平静刺激。

注意，触觉呈现装置24可以类似地在能够执行多点触觉刺激的各种装置(例如，颈挂式的可穿戴振动器和具有内置振动器的护套)中实现。

[4.6第六具体示例]

在第六具体示例中，基于视频信号来确定参数。注意，在第六具体示例中，将描述与第三具体示例中的处理不同的处理，并且将省略对与第三具体示例中的处理类似的处理的描述。

图14是用于说明分析结果和混合系数的图。分析单元31对输入至视频输入装置13的视频信号执行视频信息分析。视频包括演出信息，例如在摄影工作中被特写的特定表演者或灯光强烈闪烁。因此，在视频信息分析中，从视频信号中获取现场表演的音乐信息和综合演出特征。

然后，分析单元31通过视频信息分析提取视频信号中包括的摄影工作和照明的信息，并且确定参数。在此，与第三具体示例中一样，执行转换为混合系数作为参数。例如，如图14所示，分析单元31确定系数a1＝0.5、a2＝0.0和a3＝0.5，使得在输入其中蓝色照明中特写贝斯50c的视频信号VS21的区间SE21中，幅度稍微缓和，并且贝斯50c的振动得到强调。

编码单元32对音频信号、视频信号和触觉信息(三个振动波形和参数)进行编码，生成编码数据。然后，发送单元34将编码数据发送至接收装置21。

在接收装置21中，解码单元44对编码数据进行解码，以获得音频信号、视频信号以及三个振动波形和参数。然后，触觉信号生成单元45通过基于作为参数的混合系数来混合(合成)三个振动波形，生成触觉信号。

延迟单元46对音频信号、视频信号和触觉信号执行同步处理，使音频呈现装置22输出基于音频信号的音频，使视频呈现装置23显示基于视频信号的视频，并且使触觉呈现装置24输出基于触觉信号的振动。

注意，分析单元31可以通过组合视频信息分析和音频信息分析二者来确定参数，并且在这种情况下，仅需要通过比较和整合视频信息分析和音频信息分析的结果来确定一个参数。

因此，音乐意图和演出意图可以反映在触觉信号中，并且在保持实时性的同时，可以提高用户的真实感。

[4.7第七具体示例]

在第七具体示例中，可以通过使用深度神经网络的机器学习来执行分析单元31对音频信号的音频信息分析和对视频信号的表演信息分析。在这种情况下，可以将通过准备一组现有音频信号和视频信号以及要被给予的触觉信号并且执行学习而获得的估计模型结合到分析单元31中。

[4.8第八具体示例]

在第一具体示例至第七具体示例中，使用音乐中的声音和乐句的单位中的音乐信息和表演信息来设置参数，但可以以更大的时间单位来设置用于生成触觉信号的参数。例如，参数可以被设置成生成触觉信号使得可以反映一个现场阶段的第一首歌、返场的激动人心、以及中间中略显平静的氛围。

出于该目的，在使用分析技术的情况下，可以将通过音乐分析的音调和通过视频分析的舞台的照明状态的信息作为线索。

<5.编码数据的结构>

图15是示出编码数据的结构的图。如图15的上部分所示，编码数据包括音频信号及其时间戳、视频信号及其时间戳、振动信息及其时间戳。

该时间戳用于延迟单元46的同步处理中的补偿。此外，音频信号和视频信号基于已知的音频视频发送/接收数据格式进行编码。

如图15的中间部分和下部分所示，标识符被存储在触觉信息的头部。此外，在触觉信息中，上述第一具体示例至第八具体示例中设置的参数存储在标识符之后。例如，在第一具体示例中使用幅度、衰减率和起始时间，并且在第三具体示例中使用混合系数。

此外，在触觉信息中，信号识别标志存储在参数之后。信号识别标志是1位标志，其用于识别接下来的数据是从接收装置21的存储单元43读取振动波形的ID还是从发送装置11发送的触觉信号。例如，在信号识别标志为0的情况下，以下数据为ID，而在信号识别标志为1的情况下，以下数据为从发送装置11发送的振动信号。

然后，如图15的中间部分所示，在信号识别标志为0的情况下，触觉信息在信号识别标志之后存储触觉信号ID。

另一方面，如图15的下部分所示，在信号识别标志为1的情况下，触觉信息在信号识别标志之后依次存储振动信号的采样频率、量化精度、样本数目和振动信号体。

编码单元32生成具有这种数据结构的编码数据。

<6.修改>

注意，本实施方式不限于上述具体示例，并且可以被配置为各种修改示例。

例如，作为示例已经描述了发送装置11和音频输入装置12的每个配置是硬件配置的情况。然而，发送装置11和音频输入装置12的每个配置可以是软件配置，或者可以是硬件配置和软件配置的组合。在软件配置的情况下，配置由CPU或DSP从记录介质加载到存储器中的程序实现。

此外，分析单元31和编码单元32设置在发送装置11中。然而，分析单元31和编码单元32中的一个或两个可以经由网络提供于装置中。即，可以在云上执行参数的确定和编码数据的生成。

<7.小结>

如上所述，根据本技术的触觉信号生成装置(接收装置21)包括触觉信号生成单元45，该触觉信号生成单元基于音频信号的音乐特征或视频信号的演出特征生成用于向用户提供触觉刺激的触觉信号。

因此，触觉信号生成装置可以生成反映音频信号的音乐特征或视频信号的表演特征的触觉信号。

因此，触觉信号生成装置可以执行反映音乐意图或表演意图的触觉呈现，并且可以提高给予用户的真实感。

此外，在触觉信号生成装置中，可以设想触觉信号生成单元45通过基于由音乐特征或表演特征确定的参数使预定波形(模板波形、鼓波形51a、萨克斯管波形51b、贝斯波形51c)变形来生成触觉信号。

因此，在触觉信号生成装置中存储有模板波形的情况下，通信量可以减少了不发送和接收模板波形的量。此外，在触觉信号生成装置中不存储模板波形的情况下，可以节省存储容量。

此外，触觉信号生成装置包括接收单元，该接收单元接收包括音频信号、视频信号和参数的数据(编码数据)。

因此，可以在距输入音频信号和视频信号的装置(发送装置11)的远程地方处提供的触觉信号生成装置中执行到用户的触觉呈现。

此外，在触觉信号生成装置中，可以设想参数包括以下中的至少一个：预定波形(模板波形)的幅度、衰减率或起始时间。

因此，通过反映音频信号的音乐特征或视频信号的演出特性，可以容易地使预定波形变形。

此外，在触觉信号生成装置中，参数可以是用于混合多个波形(振动波形)的混合系数。

因此，通过混合多个波形，可以执行反映更多音乐意图或演出意图的触觉呈现。

此外，在触觉信号生成装置中，可以设想触觉信号生成单元通过基于混合系数来混合音频信号的各个生成源的波形来生成触觉信号。

因此，例如，可以执行再现从不同乐器发出的振动的触觉呈现。

此外，在触觉信号生成装置中，可以设想触觉信号生成单元针对用户的各个不同部位生成多个触觉信号。

因此，这使得可以根据音乐意图或演出意图执行到用户的不同部位的触觉呈现。

此外，可以设想，触觉信号生成装置的演出特征是基于捕获视频信号的视频摄像装置的摄影工作。

因此，可以根据摄影工作来执行与视频图像对应的触觉呈现。

此外，在触觉信号生成装置中，可以设想在数据(编码数据)中包括预定波形(模板波形、鼓波形51a、萨克斯管波形51b、贝斯波形51c)。

因此，无需在触觉信号生成装置中存储模板波形，并且可以节省存储容量。

此外，可以设想触觉信号生成装置包括存储单元43，该存储单元43存储预定波形(模板波形、鼓波形51a、萨克斯管波形51b、贝斯波形51c)，并且预定波形不包括在数据(编码数据)中。

因此，可以将通信量减少了不发送和接收预定波形的量。

此外，触觉信号生成装置包括延迟单元，该延迟单元对音频信号、视频信号和触觉信号的输出进行同步。

因此，音频、视频和触觉刺激可以以同步方式呈现给用户。

此外，本技术的触觉信号生成方法基于音频信号的音乐特征或视频信号的演出特征生成用于向用户提供触觉刺激的触觉信号。

此外，本技术的程序使计算机执行基于音频信号的音乐特征或视频信号的演出特征生成用于向用户提供触觉刺激的触觉信号的处理。

这样的程序可以预先记录在作为内置在诸如计算机装置的装置中的存储介质的HDD中、具有CPU的微型计算机中的ROM中等。

替选地，程序可以临时地或永久地容纳(记录)在可移除记录介质中，可移除记录介质例如软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、蓝光光盘(注册商标)、磁盘、半导体存储器、存储卡等。这种可移除记录介质可以作为所谓的软件包提供。

此外，这样的程序可以从可移除记录介质安装到个人计算机等中，或者可以经由诸如局域网(LAN)或因特网的网络从下载站点下载。

此外，这样的程序适合于在宽范围内提供实施方式的触觉信号生成装置。例如，通过将程序下载到诸如智能电话、平板电脑等移动终端设备、移动电话、个人计算机、游戏设备、视频设备、个人数字助理(PDA)等，可以使这样的设备用作本公开内容的触觉信号生成装置。

注意，本说明书中描述的效果仅为示例并且不受限制，并且可以存在其他效果。

<8.本技术>

注意，本技术还可以具有以下配置。

(1)

一种触觉信号生成装置，包括：

触觉信号生成单元，其基于音频信号的音乐特征或视频信号的演出特征生成用于向用户提供触觉刺激的触觉信号。

(2)

根据(1)所述的触觉信号生成装置，其中

所述触觉信号生成单元被配置成：

通过基于由所述音乐特征或所述演出特征确定的参数使预定波形变形来生成所述触觉信号。

(3)

根据(2)所述的触觉信号生成装置，还包括：

接收单元，其被配置成接收包括所述音频信号、所述视频信号和所述参数的数据。

(4)

根据(2)或(3)所述的触觉信号生成装置，其中

所述参数包括：

所述预定波形的幅度、衰减率或起始时间中的至少一个。

(5)

根据(2)至(4)中任一项所述的触觉信号生成装置，其中

所述参数是用于混合多个波形的混合系数。

(6)

所述触觉信号生成单元被配置成：

通过基于所述混合系数对所述音频信号的各个生成源的波形进行混合来生成所述触觉信号。

(7)

根据(1)至(6)中任一项所述的触觉信号生成装置，其中

所述触觉信号生成单元被配置成：

针对用户的各个不同部位生成多个触觉信号。

(8)

根据(1)至(7)中任一项所述的触觉信号生成装置，其中

所述演出特征基于捕获所述视频信号的视频摄像装置的摄影工作。

(9)

根据(3)所述的触觉信号生成装置，其中

所述预定波形被包括在所述数据中。

(10)

根据(3)所述的触觉信号生成装置，还包括：

存储单元，其存储所述预定波形，其中

所述预定波形不包括在所述数据中。

(11)

根据(1)至(1)中任一项所述的触觉信号生成装置，包括：

延迟单元，其使所述音频信号、所述视频信号和所述触觉信号的输出同步。

(12)

一种触觉信号生成方法，包括：

基于音频信号的音乐特征或视频信号的演出特征，生成用于向用户提供触觉刺激的触觉信号。

(13)

一种使计算机执行以下操作的程序：

基于音频信号的音乐特征或视频信号的演出特征，生成用于向用户提供触觉刺激的触觉信号。

附图标记列表

1传送系统

2发送系统

3接收系统

11发送装置

21接收装置

31分析单元

32编码单元

44解码单元

45触觉信号生成单元

46延迟单元

Claims (13)

1.一种触觉信号生成装置，包括：

触觉信号生成单元，其基于音频信号的音乐特征或视频信号的演出特征生成用于向用户提供触觉刺激的触觉信号。

2.根据权利要求1所述的触觉信号生成装置，其中

所述触觉信号生成单元被配置成：

通过基于由所述音乐特征或所述演出特征确定的参数使预定波形变形来生成所述触觉信号。

3.根据权利要求2所述的触觉信号生成装置，还包括：

接收单元，其被配置成接收包括所述音频信号、所述视频信号和所述参数的数据。

4.根据权利要求2所述的触觉信号生成装置，其中

所述参数包括：

所述预定波形的幅度、衰减率或起始时间中的至少一个。

5.根据权利要求2所述的触觉信号生成装置，其中

所述参数是用于混合多个波形的混合系数。

6.根据权利要求5所述的触觉信号生成装置，其中

所述触觉信号生成单元被配置成：

通过基于所述混合系数对所述音频信号的各个生成源的波形进行混合来生成所述触觉信号。

7.根据权利要求1所述的触觉信号生成装置，其中

所述触觉信号生成单元被配置成：

针对用户的各个不同部位生成多个触觉信号。

8.根据权利要求1所述的触觉信号生成装置，其中

所述演出特征基于捕获所述视频信号的视频摄像装置的摄影工作。

9.根据权利要求3所述的触觉信号生成装置，其中

所述预定波形被包括在所述数据中。

10.根据权利要求3所述的触觉信号生成装置，还包括：

存储单元，其存储所述预定波形，其中

所述预定波形不包括在所述数据中。

11.根据权利要求1所述的触觉信号生成装置，还包括：

延迟单元，其使所述音频信号、所述视频信号和所述触觉信号的输出同步。

12.一种触觉信号生成方法，包括：

基于音频信号的音乐特征或视频信号的演出特征，生成用于向用户提供触觉刺激的触觉信号。

13.一种使计算机执行以下操作的程序：

基于音频信号的音乐特征或视频信号的演出特征，生成用于向用户提供触觉刺激的触觉信号。