CN113260488A - 解码装置、解码方法和程序 - Google Patents

解码装置、解码方法和程序 Download PDF

Info

Publication number
CN113260488A
CN113260488A CN202080007744.XA CN202080007744A CN113260488A CN 113260488 A CN113260488 A CN 113260488A CN 202080007744 A CN202080007744 A CN 202080007744A CN 113260488 A CN113260488 A CN 113260488A
Authority
CN
China
Prior art keywords
haptic
signal
haptic signal
encoding
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080007744.XA
Other languages
English (en)
Inventor
竹田裕史
锦织修一郎
堂前拓马
中川俊之
铃木志朗
渡边高弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113260488A publication Critical patent/CN113260488A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6052—Synchronisation of encoder and decoder
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6005—Decoder aspects
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/70—Type of the data to be coded, other than image and sound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种解码装置，包括：解码部分，该解码部分基于接收到的编码系统信息来解码多条编码数据，多条编码数据已经通过对触觉信号的多个片段中的每一个进行编码而生成并且包括在接收到的比特流数据中。编码系统信息是指示多个编码系统中的哪一个已经用于编码触觉信号的每个片段的信息。多个编码系统包括简单触觉编码系统，简单触觉编码系统对应于属于触觉信号的开始片段的简单触觉信号。多条编码数据包括通过使用简单触觉编码系统对简单触觉信号进行编码而生成的简单触觉编码数据。当编码系统信息指示简单触觉编码系统时，解码部分解码简单触觉编码数据。

Description

解码装置、解码方法和程序
技术领域
本公开涉及解码装置、解码方法和程序。
背景技术
近年来，开发了一种基于从外部装置接收的触觉信号向用户提供触觉刺激的技术。例如，专利文献1公开了一种在基于接收信号改变振动的频率和幅度的同时向用户提供触觉刺激的技术。
引文列表
专利文献
专利文献1：日本专利申请公开号2016-202486
发明内容
本发明要解决的问题
随着要呈现的触感的真实感增强，顺便说一下，触觉信号的必要数据量通常会增加，或者网络情况会改变。因此，触觉信号的传输延迟发生的可能性变得更高。然而，在专利文献1中描述的技术中，没有考虑实现触觉信号的数据量的增加和传输中的低延迟。
问题的解决方案
根据本公开，提供了一种解码装置，包括解码单元，解码单元被配置为基于已经接收的编码方法信息来解码多条编码数据，所接收的比特流数据包括其中触觉信号的多个片段已经被分别编码的多条编码数据，其中，编码方法信息包括指示触觉信号的各个片段已经以多种编码方法中的哪种编码方法编码的信息，多种编码方法包括对应于与触觉信号的开始片段相关的简单触觉信号的简单触觉编码方法，多条编码数据包括简单触觉编码数据，其中，简单触觉信号已经用简单触觉编码方法编码，并且在编码方法信息指示简单触觉编码方法的情况下，解码单元解码简单触觉编码数据。
此外，根据本公开，提供了一种解码方法，包括由处理器基于已经接收的编码方法信息来解码多条编码数据，所接收的比特流数据包括其中触觉信号的多个片段已经被分别编码的多条编码数据，其中，编码方法信息包括指示触觉信号的各个片段已经以多种编码方法中的哪种编码方法编码的信息，多种编码方法包括对应于与触觉信号的开始片段相关的简单触觉信号的简单触觉编码方法，并且多条编码数据包括简单触觉编码数据，其中，简单触觉信号已经用简单触觉编码方法编码，解码方法还包括在编码方法信息指示简单触觉编码方法的情况下，解码简单触觉编码数据。
此外，根据本公开，提供了一种使计算机用作解码装置的程序，解码装置包括解码单元，解码单元被配置为基于已经接收的编码方法信息来解码多条编码数据，所接收的比特流数据包括其中触觉信号的多个片段已经被分别编码的多条编码数据，其中，编码方法信息包括指示触觉信号的各个片段已经以多种编码方法中的哪种编码方法编码的信息，多种编码方法包括对应于与触觉信号的开始片段相关的简单触觉信号的简单触觉编码方法，多条编码数据包括简单触觉编码数据，其中，简单触觉信号已经用简单触觉编码方法编码，并且在编码方法信息指示简单触觉编码方法的情况下，解码单元解码简单触觉编码数据。
附图说明
[图1]是用于描述根据本实施例的触觉呈现系统1的示例的示图；
[图2]是用于描述根据实施例的编码装置3的功能配置的示例的示图；
[图3]是用于描述根据实施例的编码装置3的编码单元34的编码处理的示图；
[图4]是用于描述在根据实施例的触觉信号TS的开始片段的参数是衰减正弦信号的参数的情况下要呈现的触觉信号TS的开始片段的示图；
[图5]是用于描述与根据实施例的编码单元34生成传输和接收数据TD相关的帧格式FF的示例的示图；
[图6]是用于描述与根据实施例的编码单元34生成传输和接收数据TD相关的帧格式FF的示例的示图；
[图7]是用于描述根据实施例的解码装置5的功能配置的示例的示图；
[图8]是用于描述根据实施例的通过交替淡变处理切换将由信号控制单元56呈现给用户的触觉信号TS的片段的示例的示图；
[图9]是用于描述在根据实施例的简单触觉信号SS是识别信息的情况下触觉呈现的具体示例的示图；
[图10]是用于描述在根据实施例的简单触觉信号SS是参数的情况下触觉呈现的具体示例的示图；
[图11]是用于描述在根据实施例的简单触觉信号SS是触发信号的情况下触觉呈现的具体示例的示图；
[图12]是用于描述在仅传输和接收根据实施例的简单触觉编码数据SDC的情况下触觉呈现的具体示例的示图；
[图13]是用于描述根据实施例的编码装置3的操作流程的示例的示图；
[图14]是用于描述根据实施例的解码装置5的操作流程的示例的示图；
[图15]是用于描述根据本公开的修改示例的对应于伴随有触觉信号TS的幅度的突然变化的简单触觉信号SS的编码方法的应用的示图；
[图16]是示出根据本公开实施例的编码装置3和解码装置5的硬件配置示例的框图。
具体实施方式
在下文中，将参考附图详细描述本公开的优选实施例。应当注意，在本说明书和附图中，具有基本相同功能配置的组件由相同的附图标记表示，以省略重复的描述。
应当注意，将按照以下顺序给出描述。
1.背景
2.实施例
2.1.概述
2.2.功能配置示例
2.2.1.触觉呈现系统1的配置示例
2.2.2.编码装置3的功能配置示例
2.2.3.编码单元34的编码处理的示例
2.2.4.解码装置5的功能配置示例
2.3.具体示例
2.4.操作示例
2.5.修改示例
3.硬件配置示例
4.结论
<1.背景>
首先，将描述本公开的背景。近年来，开发了一种技术，其中，用户佩戴的装置振动，以给用户提供触觉刺激。在此处，触觉刺激是指使用振动现象等使用户感觉到触感的物理现象。此外，在下文中，生成触觉刺激将被称为触觉呈现。
处理触觉呈现的技术用在各种领域的装置中。例如，在诸如智能手机等配备有触摸面板的终端装置上，触摸面板响应于用户的触摸操作而振动，并且向用户的手指给出触觉刺激，从而使得能够在触摸面板上显示的按钮等上呈现触摸感觉。此外，例如，在诸如耳机等音乐收听装置上，根据音乐的播放给出触觉刺激，以便能够强调正在播放的音乐中的低音。此外，例如，在用于提供计算机游戏或虚拟现实(VR)的装置上，使控制器等根据使用控制器的操作或内容场景振动，以给出触觉刺激，从而能够改善用户对内容的沉浸感。
<2.实施例>
<<2.1.概述>>
顺便说一下，为了以更真实的感觉呈现触感，在某些情况下，要呈现的触感的振动实际上由触觉传感器记录。然而，通常，实际记录的振动的触觉信号的数据量大于在触觉呈现装置侧生成的振动的触觉信号的数据量。为此，在已经记录了实际振动的触感呈现给用户的情况下，例如，更快传输速度的有线连接更有可能进行触觉信号的传输和接收，并且与记录侧装置和呈现侧装置之间的无线连接相比，防止了触觉信号的传输延迟。
然而，例如，在大量用户在观看运动或观看现场表演时四处移动的场景中，与触觉呈现装置有线连接的电缆的存在很有可能使用户感到烦恼。因此，从用户舒适性的观点来看，可以选择每个用户佩戴的触觉呈现装置和振动记录装置之间的无线连接来代替有线连接。然而，如上所述，在传输和接收已经记录了实际振动的触觉信号的情况下，数据量变大。因此，触觉信号的无线传输和接收可能导致传输延迟。
此外，在无线传输触觉信号的情况下，由于传输延迟，没有在适当的时间给用户提供触觉刺激。因此，这导致触觉呈现的实时属性丢失的情况，使得视觉和听觉与触觉不同步，并且存在用户感觉到与已经呈现的触觉不协调的可能性。
特别地，由于触感与深度感觉密切相关，所以给予触感的延迟对深度感觉有很大影响。应当注意，深度感觉表示由存在于身体深部的受体引起的感觉，例如，位置感觉、动觉感觉或重量感觉。即，给予触觉呈现的延迟影响了对自己身体施加多少力的感觉和对自己身体主动移动了多少的感觉。因此，用户有可能感到不协调。特别地，在首先开始感觉到触感的片段中，触觉呈现的延迟有可能给用户更大的不协调感。
鉴于上述情况已经做出了本公开，并且本公开的目的是实现呈现给用户的触感的质量保持和触觉信号传输的低延迟，以便能够实现具有用户的实时性和真实感的触觉体验。
<<2.2.功能配置示例>>
[2.2.1.触觉呈现系统1的配置示例]
随后，将参考图1描述触觉呈现系统1的概述。图1是用于描述根据本实施例的触觉呈现系统1的示例的示图。触觉呈现系统1包括触觉传感器2、编码装置3、解码装置5和触觉呈现装置6。
触觉传感器2是感测触觉刺激并获取作为电压变化的触觉信号TS的传感器。触觉传感器2安装在触觉刺激的记录目标中。例如，在用户U的运动等是记录目标的情况下，触觉传感器2被安装成与由用户U或用户U的身体的预定部位保持的对象接触。应当注意，触觉传感器2包括振动传感器，例如，压电传感器、加速度传感器等。
编码装置3基于由触觉传感器2获取的触觉信号TS生成传输和接收数据TD。具体地，编码装置3根据预定的数据格式对触觉传感器2已经获取的触觉信号TS执行转换处理和编码处理，并且生成传输和接收数据TD。应当注意，编码装置3包括中央处理单元(CPU)、数字信号处理器(DSP)等。
网络4是编码装置3和解码装置5之间的有线或无线信息传输线。例如，网络4可以包括公共网络，例如，互联网、电话线网络、卫星通信网络、包括以太网(注册商标)的各种类型的局域网(LAN)和广域网(WAN)。此外，网络4可以包括专用线路网络，例如，互联网协议虚拟专用网络(IP-VPN)。应当注意，可以在编码装置3和解码装置5之间进行直接通信，而无需通过网络4。例如，已经由编码装置3传输的传输和接收数据TD可以临时存储在网络4中提供的云存储服务器中。
解码装置5基于已经从编码装置3接收的传输和接收数据TD生成触觉信号TS。具体地，解码装置5对已经从编码装置3接收的传输和接收数据TD执行解码处理和各种处理，并且生成触觉信号TS。
触觉呈现装置6是生成触觉刺激以向用户呈现触感的装置。应当注意，触觉呈现装置6包括振动装置，例如，振动器、致动器等。例如，在触觉呈现装置6用触觉信号TS给用户触觉刺激的情况下，再现由触觉传感器2获取的振动和运动。
迄今为止，已经描述了触觉呈现系统1的配置的概述。以这种方式，触觉呈现系统1能够将已经由触觉传感器2记录的触感传输到触觉呈现装置6，使得触觉呈现装置6能够向用户提供触觉刺激。
[2.2.2.编码装置3的功能配置示例]
随后，将描述根据本实施例的编码装置3的功能配置的示例。图2是用于描述根据本实施例的编码装置3的功能配置的示例的示图。如图2所示，编码装置3包括放大单元31、A/D转换单元32、预处理单元33、编码单元34、通信单元35、控制单元36和存储单元37。
放大单元31使用放大器310执行将已经从触觉传感器2传输的触觉信号TS调整到适当动态范围的处理。在存在多个触觉信号TS的情况下，放大单元31使用放大器执行动态范围调整过程。
A/D转换单元32使用A/D转换器320将从放大单元31传输的模拟信号转换成数字信号。
预处理单元33对已经由A/D转换单元32转换的数字信号执行各种数字信号处理，例如，噪声去除、触觉传感器2的传感器特性的校准等。
编码单元34根据预定的数据格式对已经由预处理单元33处理的触觉信号TS执行各种处理和编码处理，并且生成传输和接收数据TD。
编码单元34以多种编码方法中的任何一种对触觉信号TS进行编码。具体地，编码单元34生成指示触觉信号TS的开始片段的简单触觉信号SS，编码已经生成的简单触觉信号SS，并且生成简单触觉编码数据SDC。此外，编码单元34生成(提取)指示除了触觉信号TS的开始片段之外的片段的丰富触觉信号RS，编码丰富触觉信号RS，并生成丰富触觉编码数据RDC。稍后将描述编码单元34的编码方法的细节。
通信单元35经由诸如互联网等网络与外部装置通信。例如，通信单元35将由编码单元34生成的传输和接收数据TD传输到再现装置4。
控制单元36控制编码装置3的每个功能。应当注意，控制单元36包括例如CPU、随机存取存储器(RAM)、只读存储器(ROM)等。
存储单元37存储关于由编码装置3执行的各种处理的信息。存储单元37可以存储例如由编码单元34生成的传输和接收数据TD。应当注意，存储单元37包括例如硬盘驱动器(HDD)、固态驱动器(SSD)等。
[2.2.3.编码单元34的编码处理的示例]
随后，将参考图3描述编码装置3中的编码单元34的编码处理。图3是用于描述根据本实施例的编码装置3中的编码单元34的编码处理的示图。
在编码装置3开始从触觉传感器2接收触觉信号TS之后，编码单元34检测已经从预处理单元33接收的触觉信号TS的开始片段，并且生成指示已经检测的触觉信号TS的开始片段的简单触觉信号SS。在此处，触觉信号的开始片段是指从触觉信号TS开始生成的时间到触觉信号TS的时间序列数据中的预定时间的片段中的触觉信号TS。应当注意，触觉信号TS的开始片段可以是在对应于指示触觉信号TS首先上升的波形片段的时间的信号。
此外，简单触觉信号SS可以是触觉信号TS在比触觉信号TS的第一幅度的上升更长的时间段中的片段。例如，编码单元34可以基于触觉信号TS的第一幅度的上升来检测触觉信号TS的生成，并且可以基于对触觉信号TS的生成的检测，以比触觉信号TS的上升片段更长的时间段内的触觉信号TS的片段作为开始片段，来生成简单触觉信号SS。
此外，简单触觉信号SS可以是指示触觉信号TS的开始片段的信号，即，包括能够由解码装置5生成对应于触觉信号TS的开始片段的信号的信息的信号。此外，例如，简单触觉信号SS可以是例如指示生成触觉信号TS的开始片段的触发信号。触发信号是具有预定波形的信号，其中，预先在编码装置3和解码装置5之间共享关于触发信号的信息。编码单元34可以基于触觉信号TS的开始片段生成触发信号，作为简单触觉信号SS。应当注意，在从已经从编码装置3接收的数据获取触发信号的情况下，解码装置5生成触觉信号TS的开始片段，并且将已经生成的开始片段传输到触觉呈现装置6。
简单触觉信号SS可以是例如对应于触觉信号TS的开始片段的识别信息。例如，在可以获取触觉信号TS的多种类型的开始片段的情况下，编码单元34可以基于触觉信号TS的开始片段生成识别信息，作为相应的简单触觉信号SS。应当注意，在从已经从编码装置3接收的数据获取触发信号的情况下，解码装置5生成对应于识别信息的触觉信号TS的开始片段，并且将已经生成的开始片段传输到触觉呈现装置6。
简单触觉信号SS例如是能够参数化地呈现触觉信号TS的开始片段的参数。编码单元34可以从触觉信号TS的开始片段提取参数，作为简单触觉信号SS。在此处，触觉信号TS的开始片段的参数包括能够生成触觉信号TS的开始片段的特征量。应当注意，在从已经从编码装置3接收的数据中获取触觉信号TS的开始片段的参数的情况下，解码装置5基于该参数生成触觉信号TS的开始片段。从该参数生成要生成的触觉信号TS的开始片段，因此，与已经由触觉传感器2记录的触觉信号TS的开始片段不同，但是可以是类似的信号。
应当注意，触觉信号TS的开始片段的参数可以是衰减的正弦信号的参数。衰减的正弦信号适合作为预设信号，因为衰减的正弦信号表现出类似于各种物理振动和运动的振动。图4是用于描述在根据本实施例的触觉信号TS的开始片段的参数是衰减正弦信号的参数的情况下，要呈现的触觉信号TS的开始片段的示图。图4示出了可以由触觉信号TS的开始片段的参数生成的衰减正弦信号。
通过向用户U呈现如图4所示逐渐衰减的触觉信号TS的开始片段，可以实现各种物理振动和运动，例如，以不对用户U造成不协调感的水平与作为触感呈现给用户U的对象的碰撞以及在编码装置3和解码装置5之间更有效地减少要传输和接收的数据量。
将衰减正弦信号的参数视为触觉信号TS的开始片段的参数，例如，可以计算参数A、λ和ω，使得表达式(1)中表示的衰减正弦波相对于要传输的信号f[n]的差值变得小于预定值，并且可以提取为简单触觉信号SS。
[表达式1]
B(x)＝Aehnsinωn …(1)
上述参数的ω被计算为例如时间差m的倒数，该时间差m是表达式(2)中表示的信号f[n]的自相关函数中的峰值。
[表达式2]
Figure BDA0003141025660000101
通过计算使信号f[n]和表达式(1)中表示的衰减正弦波的对数的平方误差之和最小化的A和λ，获得衰减正弦波的参数A和λ。例如，通过计算A和λ来最小化由表达式(3)表示的平方误差e，来计算作为衰减正弦波的参数的A和λ。
[表达式3]
Figure BDA0003141025660000102
应当注意，编码单元34对已经生成的简单触觉信号SS进行编码，以生成简单触觉编码数据SDC。简单触觉编码数据SDC被传输到解码装置5，并进行解码。
另一方面，编码单元34获取除了从预处理单元33接收的触觉信号TS的开始片段之外的片段，并且生成指示除了已经获取的触觉信号TS的开始片段之外的片段的丰富触觉信号RS。除了触觉信号TS的开始片段之外的片段是指例如从触觉信号TS开始生成的时间到触觉信号TS的时间序列数据中的预定时间之后的片段中的信号。即，丰富触觉信号RS例如是指示触觉信号TS中由简单触觉信号SS指示的片段之外的信号。应当注意，丰富触觉信号RS可以指除了触觉信号TS的开始片段之外的片段被划分成的多个片段的相应信号。
在存在多个丰富触觉信号RS的情况下，编码单元34对各个丰富触觉信号RS进行编码。丰富触觉信号RS可以是从除触觉信号TS的开始片段之外的片段中提取的信号。编码单元34对已经生成的丰富触觉信号RS进行编码，并生成丰富触觉编码数据RDC。例如，编码单元34可以通过波形编码来编码丰富触觉信号RS。波形编码方法包括脉冲编码调制(PCM)方法等。丰富触觉编码数据RDC也被传输到解码装置，并进行解码。
在此处，将描述图3所示的示例。图3示出了记录目标的触觉信号TS1的示例和要呈现给用户的触觉信号TS2的示例。编码单元34检测触觉信号TS的上升片段SP1，并生成简单触觉信号SS。由简单触觉信号SS指示的触觉信号TS的片段是在时间上比上升片段SP1更长的片段，并且由解码装置5从简单触觉信号SS生成的信号是触觉信号TS2的开始片段SP3。
接下来，编码单元34检测除了触觉信号TS1的开始片段之外的片段SP2，并生成丰富触觉信号RS。应当注意，因为由简单触觉信号SS生成的触觉信号TS2的开始片段SP3是时间上比幅度的上升片段更长的片段。因此，解码装置5从丰富触觉信号RS生成的信号是在触觉信号TS2的开始片段SP3的触觉呈现结束之后的片段SP4。
如上所述，编码单元34根据预定的数据格式，根据分别对应的编码方法，对简单触觉信号SS和丰富触觉信号RS执行编码处理，并生成传输和接收数据TD。传输和接收数据TD是包括简单触觉编码数据SDC的数据或包括丰富触觉编码数据RDC的数据。
在此处，将参考图5和图6描述与编码单元34生成传输和接收数据TD相关的帧格式FF的示例。图5和图6是用于描述与根据本实施例的编码单元34生成传输和接收数据TD相关的帧格式FF的示例的示图。图5示出了在简单触觉信号SS是触觉信号TS的开始片段的参数的情况下，简单触觉编码数据SDC的帧格式FF1和丰富触觉编码数据RDC的帧格式FF2。帧格式FF1和FF2的格式F1到F7如下。
F1[16位]：同步字(0xFFFE)
F2[16位]：采样频率
F3[8位]：量化精度
F4[1位]：编码方法ID
F5[-----]：参数数据(简单触觉编码数据SDC)
F6[8位]：触觉信号样本数
F7[-----]：丰富触觉编码数据
图6示出了在简单触觉信号SS是触觉信号TS的开始片段的识别信息的情况下，简单触觉编码数据SDC的帧格式FF3和丰富触觉编码数据RDC的帧格式FF4。帧格式FF1和FF2的F1到F4和F5到F8的格式如下。
F1[16位]：同步字(0xFFFE)
F2[16位]：采样频率
F3[8位]：量化精度
F4[1位]：编码方法ID
F6[8位]：触觉信号样本数
F7[-----]：丰富触觉编码数据
F8[-----]：识别信息数据(简单触觉编码数据SDC)
[2.2.4.解码装置5的功能配置示例]
随后，将参考图7描述根据本实施例的解码装置5的功能配置的示例。图7是用于描述根据本实施例的解码装置5的功能配置的示例的示图。解码装置5包括通信单元51、确定单元52、解码单元53、信号生成单元54、存储单元55、信号控制单元56、后处理单元57、D/A转换单元58和放大单元59。
通信单元51经由诸如互联网的网络与外部装置通信。通信单元51从编码装置3接收例如传输和接收数据TD。例如，通信单元51可以通过使用各种无线通信方法来接收传输和接收数据TD。
确定单元52基于已经接收的编码方法信息来确定每个编码数据的编码方法。具体地，确定单元52从已经接收的传输和接收数据TD获取指示编码方法的信息，并且确定包括在传输和接收数据TD中的编码数据的编码方法。指示编码方法的信息例如是如上所述的编码方法ID。此外，确定单元52的确定阐明了简单触觉编码数据SDC或丰富触觉编码数据RDC中的哪一个包括在已经接收的传输和接收数据TD中。
解码单元53基于已经接收的编码方法信息，解码已经接收的并且包括至少一个编码数据的比特流数据，在该至少一个编码数据中，触觉信号TS的至少一个片段已经分别编码。上述编码数据是简单触觉编码数据SDC或者丰富触觉编码数据RDC。另外，指示使用多种编码方法中的哪一种的信息，并且多种编码方法包括对应于与触觉信号的开始片段相关的简单触觉信号的简单触觉编码方法。
具体地，在编码方法信息指示简单触觉编码方法的情况下，解码单元53解码简单触觉编码数据SDC，并且在编码方法信息指示丰富触觉编码方法的情况下，解码丰富触觉编码数据RDC。在此处，编码方法信息例如是编码方法ID。
解码单元53可以例如根据图4或图5所示的帧格式FF来识别传输和接收数据TD中的简单触觉编码数据SDC或丰富触觉编码数据RDC的片段，并且可以生成简单触觉信号SS或丰富触觉信号RS。
信号生成单元54基于解码单元53关于编码数据的解码结果，在对应于解码结果的片段中生成触觉信号TS。具体地，在解码单元53解码简单触觉编码数据SDC并且生成简单触觉信号SS的情况下，信号生成单元54基于简单触觉信号SS生成要呈现的触觉信号TS的开始片段。如上所述，简单触觉信号SS是触觉信号TS的开始片段的识别信息、参数、触发信号等。
在解码单元53的解码结果指示触发信号的情况下，信号生成单元54生成对应于触发信号的触觉信号的开始片段。在此处，预先在编码装置3和解码装置5之间共享指示呈现触觉信号TS的开始片段的指令的触发信号。
此外，在解码单元53的解码结果指示触觉信号TS的开始片段的参数的情况下，信号生成单元54基于触觉信号TS的开始片段的参数生成触觉信号TS的开始片段。例如，在触觉信号的参数是触觉信号的开始片段的特征量的情况下，信号生成单元54基于触觉信号的开始片段的特征量生成对应于特征量的触觉信号的开始片段。
此外，在触觉信号TS的开始片段的参数是衰减正弦信号的参数的情况下，信号生成单元54基于衰减正弦信号的参数生成对应于该参数的衰减正弦信号。此外，在解码单元53的解码结果指示识别信息的情况下，信号生成单元54生成对应于触觉信号TS的开始片段的识别信息的触觉信号的开始片段。
存储单元55存储关于解码装置5的控制的信息。应当注意，存储单元55包括例如HDD、SSD等。此外，存储单元55可以包括便携式可移动记录介质。存储单元55还用作能够向记录介质写入和从记录介质读取的读取器和写入器单元，并且能够读取要记录在记录介质中的传输和接收数据TD。应当注意，记录介质的示例包括存储卡，例如，便携式闪存、光盘记录介质等。应当注意，存储单元55存储关于解码单元53的解码处理的信息、关于信号生成单元54生成触觉信号TS的开始片段的信息等。
信号控制单元56切换要呈现给用户的触觉信号TS的片段。具体地，在呈现从简单触觉信号SS生成的触觉信号TS的开始片段的情况下，当解码单元53从丰富触觉信号RS生成除了触觉信号TS的开始片段之外的片段时，信号控制单元56执行将要传输到触觉呈现装置6的信号从触觉信号TS的开始片段切换到除了开始片段之外的片段的处理。
应当注意，信号控制单元56可以通过交替淡变处理来切换要呈现给用户的触觉信号TS的片段。当通过交替淡变处理切换要呈现给用户的触觉信号TS的片段时，通过不在要呈现的触觉信号TS的幅度变化中产生不连续，削弱用户触觉体验的可能性降低。
在此处，参考图8，将给出关于通过交替淡变处理切换将由信号控制单元56呈现给用户的触觉信号TS的片段的示例的描述。图8是用于描述根据本实施例的通过交替淡变处理切换将由信号控制单元56呈现给用户的触觉信号TS的片段的示例的示图。图8示出了表示要呈现的触觉信号TS的开始片段的信号强度和除了开始片段之外的片段的信号强度的曲线图G。
将描述图8的示例。假设要呈现的触觉信号TS的总强度是预定值，在除了触觉信号TS的开始片段之外没有呈现其他片段的情况下，仅呈现触觉信号TS的开始片段。仅呈现触觉信号TS的开始片段意味着仅呈现基于简单触觉信号SS生成的触觉信号TS的片段，而不呈现基于丰富触觉信号RS生成的触觉信号TS的片段。
在此处，一旦除了触觉信号TS的开始片段之外的片段的呈现开始，触觉信号TS的开始片段的强度基于除了触觉信号TS的开始片段之外的片段的强度而降低，使得要呈现的信号的强度保持在预定值。即，除了触觉信号TS的开始片段之外的片段的幅度逐渐增加，而触觉信号TS的开始片段的幅度逐渐减小。信号幅度的上述变化可以是如图8所示的线性变化，或者可以是非线性变化。
再次返回图7，将描述解码装置5的功能配置的示例。
后处理单元57执行与触觉呈现装置6相关的信号处理，例如，校准处理和预定滤波处理。
D/A转换单元58使用D/A转换器将从后处理单元57传输的数字信号转换成模拟信号。
放大单元59使用放大器执行将已经从D/A转换单元58传输的触觉信号TS调整到适当的动态范围的处理，并且将已经调整的触觉信号TS传输到触觉呈现装置6。
<<2.3.具体示例>>
随后，参考图9至图12，将给出关于根据本实施例的触觉呈现系统1传输和呈现触觉信号TS的具体场景的描述。根据本实施例的触觉呈现系统1适用于各种领域。要应用的领域包括例如体育观看、远程装置的操作以及虚拟空间中的运动。在下文中，将单独给出描述。
首先，用户U具有触觉体验的场景包括体育观看。例如，正在观看棒球比赛的用户U可以通过感觉棒球运动员用球棒击球时生成的振动来更享受观看棒球比赛。通过减少球棒击球的时间和触感呈现给用户U的时间之间的时间延迟，用户U可以以更高的真实感感受触感。
图9是用于描述在根据本实施例的简单触觉信号SS是识别信息的情况下触觉呈现的具体示例的示图。图9示出了手持装备有触觉传感器2的对象B1的用户U1和佩戴触觉呈现装置6的用户U2。
在图9的上侧，当用户U1用作为球棒的对象B1击球时，设置在对象B1中的触觉传感器2检测到冲击，并且该冲击作为触觉信号TS被传输到编码装置3。编码装置3基于从触觉传感器2传输的触觉信号TS的第一幅度的上升或预定开始片段，生成相应的识别信息并将其编码为简单触觉信号SS。编码装置3向解码装置5传输包括简单触觉编码数据SDC的传输和接收数据TD，其中，已经编码简单触觉信号SS。
解码装置5从已经从编码装置3接收的传输和接收数据TD获取各种数据。解码装置5对从已接收的传输和接收数据TD获取的简单触觉编码数据SDC进行解码，并生成简单触觉信号SS。解码装置5生成对应于已经生成的简单触觉信号SS的触觉信号TS的开始片段(即，识别信息)，并且将已经生成的开始片段传输到触觉呈现装置6。触觉呈现装置6呈现已经从解码装置5传输到作为观察者的用户U2的触觉信号TS的开始片段。
另一方面，在图9的下侧，编码装置3对除了触觉信号TS的开始片段之外的片段进行编码，以生成丰富触觉信号RS。在传输简单触觉编码数据SDC之后，编码装置3向解码装置5传输包括丰富触觉编码数据RDC的传输和接收数据TD。解码装置5基于已经从编码装置3接收的传输和接收数据TD，获取丰富触觉编码数据RDC并对其执行解码处理，并且生成丰富触觉信号RS。解码装置5基于已经生成的丰富触觉信号RS，生成除了要呈现的触觉信号TS的开始片段之外的片段。
通过以这种方式传输和接收简单触觉编码数据SDC，同时整体上保持触觉信号的质量，与传输和接收触觉信号TS的开始片段已经经历了一般波形编码的编码数据的情况相比，在更接近于对象B1(球棒)击球时的时间，能够实现触觉呈现。
此外，用户U具有触觉体验的场景包括通过称为远程触摸的技术的触觉体验，通过该技术，已经被根据用户U的手的移动而移动的机器人手臂触摸的对象被感测为触觉。例如，用户U通过触感到当触摸对象时被感知为排斥力的力。因此，通过将当机器人手臂触摸对象时所接收的力作为触感传递给用户U，用户U可以具有好像用户U正在远程触摸对象的触觉体验。此外，当机器人手臂触摸的对象的类型改变时，作为排斥力接收的力也改变。通过在发生这种变化时提供具有低延迟的触觉呈现，用户U的触觉体验受损的可能性较低。
图10是用于描述在根据本实施例的简单触觉信号SS是参数的情况下触觉呈现的具体示例的示图。图10示出了配备有触觉传感器2并且正在触摸对象B2的机器人手臂RA和佩戴触觉呈现装置6的用户U2。
在图10的上侧，关于触觉信号TS的传输和接收，与图9的示例的不同之处在于，简单触觉信号SS是触觉信号TS的开始片段的参数。触觉传感器2检测当机器人手臂RA触摸对象B2时接收的力，作为触觉信号TS，并且编码装置3基于触觉信号TS的开始片段生成作为简单触觉信号SS的参数。此外，编码装置3对已经根据传输和接收数据TD的帧格式FF生成的参数执行编码处理，并且向解码装置5发送传输和接收数据TD和其他信息，传输和接收数据TD包括作为编码结果的简单触觉编码数据SDC。
解码装置5从已经接收的传输和接收数据TD获取简单触觉编码数据SDC，并且对简单触觉编码数据SDC执行解码处理，以生成作为简单触觉信号SS的参数。解码装置5基于已经生成的参数生成要呈现的触觉信号TS的开始片段。在此处，从触觉传感器2已经检测到的触觉信号TS的开始片段的波形中提取要生成的参数。因此，由基于该参数生成的触觉信号TS呈现的触觉刺激可以给用户U提供特定于机器人手臂RA已经触摸的对象的材料的触感。应当注意，通过在图9的下侧传输和接收包括丰富触觉编码数据RDC的传输和接收数据TD来呈现除触觉信号TS的开始片段之外的片段类似于图9。
另外，用户U具有触觉体验的场景包括触摸虚拟现实内容中的虚拟空间中的虚拟对象。例如，当用户U经由虚拟空间中的虚拟角色VC触摸虚拟对象VB时，触觉呈现装置6给予用户U触觉刺激，从而能够进一步改善用户U在虚拟空间中的体验的真实感。
图11是用于描述在根据本实施例的简单触觉信号SS是触发信号的情况下触觉呈现的具体示例的示图。图11示出了触摸虚拟对象VB的虚拟角色VC和佩戴触觉呈现装置6的用户U4。
在图11的上侧，简单触觉信号SS是触发信号。由于触摸了虚拟空间中的虚拟对象VB，编码装置3向解码装置5发送传输和接收数据TD，该传输和接收数据TD包括作为简单触觉编码数据SDC的其他信息，在该简单触觉编码数据中，已经对指示对象触摸的触发信号进行了编码。
解码装置5从已经接收的传输和接收数据TD获取简单触觉编码数据SDC，并且对简单触觉编码数据SDC执行解码处理，以生成作为简单触觉信号SS的触发信号。解码装置5基于已经生成的触发信号生成要呈现的触觉信号TS的开始片段。
另一方面，在图11的下侧，编码装置3对除了触觉信号TS的开始片段之外的片段进行编码，以生成丰富触觉信号RS。在传输包括简单触觉编码数据SDC的传输和接收数据TD之后，编码装置3将包括丰富触觉编码数据RDC的传输和接收数据TD传输到解码装置5。解码装置5基于已经生成的丰富触觉信号RS，生成除了要呈现的触觉信号TS的开始片段之外的片段。
应当注意，除了触觉信号TS的开始片段之外的片段中的振动可以通过运动捕捉技术和虚拟对象VB的位置关系与用户U4的移动同步地与虚拟角色VC的移动一起计算。可选地，除了触觉信号TS的开始片段之外的片段中的振动可以是将作为预设信号存储在编码装置3中的振动。在此处，在位置关系处于预定状态、虚拟角色VC处于执行预定操作的状态等的情况下，编码装置3可以不必将丰富触觉编码数据RDC传输到解码装置5。
迄今为止，已经描述了通过触觉呈现系统1传输和呈现触觉信号TS的具体场景。以这种方式，通过在各种场景下利用简单触觉信号SS传输触觉信号TS，能够实现触觉信号TS的呈现开始的低延迟和整个触觉体验的质量。
迄今为止，顺便说一下，已经给出了关于触觉信号TS的开始片段被呈现给用户U，然后除了开始片段之外的片段被呈现给用户U的示例的描述。然而，在由触觉传感器2检测到的振动在时间上局部存在的情况下，根据触觉信号TS的振动模式，可以仅传输和接收触觉信号TS的开始片段。
即，编码装置3可以不必传输丰富触觉编码数据RDC，并且可以向解码装置5传输简单触觉编码数据SDC，在该简单触觉编码数据中，指示特定触觉信号TS的开始片段的简单触觉信号SS已经编码。接下来，简单触觉编码数据SDC可以被传输到解码装置5，在该简单触觉编码数据中，指示另一触觉信号TS的开始片段的简单触觉信号SS已经编码。这是因为在触觉刺激的时间太短以至于用户U难以感觉到振动质量的情况下，仅呈现触觉信号TS的开始片段不会引起问题。可选地，编码装置3可以以对应于简单触觉信号SS的编码方法对包括除触觉信号TS的开始片段之外的片段的整体进行编码，并将该整体传输到解码装置5。
图12是用于描述在仅传输和接收根据本实施例的简单触觉编码数据SDC的情况下触觉呈现的具体示例的示图。图12示出了手持对象B3的用户U5和佩戴触觉呈现装置6的用户U6，对象B3是装备有触觉传感器2的乒乓球拍。
在图12的上侧，在用户U5用作为乒乓球拍的对象B3击球的情况下，编码装置3基于已经从触觉传感器2传输的触觉信号TS生成相应的识别信息并将其编码为简单触觉信号SS。编码装置3向解码装置5传输包括简单触觉编码数据SDC的传输和接收数据TD，其中，简单触觉信号SS已经编码。
解码装置5从已经从编码装置3接收的传输和接收数据TD获取各种数据。解码装置5对从已经接收的传输和接收数据TD获取的简单触觉编码数据SDC进行解码，并生成简单触觉信号SS。解码装置5生成对应于已经生成的简单触觉信号SS的触觉信号TS，即识别信息，并将已经生成的触觉信号TS传输到触觉呈现装置6。触觉呈现装置6将已经从解码装置5传输的触觉信号TS呈现给作为观察者的用户U2。
在图12的下侧，当用户U5用作为乒乓球拍的对象B3击球时，编码装置3将类似于图12的上侧的简单触觉编码数据SDC传输到解码装置5。应当注意，编码装置3可以基于球如何被对象B3击中的差异，即触觉传感器2已经检测到的振动的差异，向解码装置5传输简单触觉编码数据SDC，该简单触觉编码数据指示不同的识别信息(ID)。
以这种方式，通过根据触觉信号TS的类型仅传输和接收包括简单触觉编码数据SDC的传输和接收数据TD，能够进一步减少要传输和接收的数据量，而不会损害用户U的触觉体验。
应当注意，上面已经描述的各种场景和简单触觉信号SS的组合是示例，并且这些示例是非限制性的。
<<2.4.操作示例>>
随后，将参考图13和图14描述根据本实施例的编码装置3和解码装置5的操作流程的示例。
首先，将描述编码装置3的操作流程的示例。图13是用于描述根据本实施例的编码装置3的操作流程的示例的示图。参考图13，首先，编码单元34从触觉传感器2接收触觉信号TS，并执行各种处理(S101)。具体地，编码装置3的放大单元31、A/D转换单元32和预处理单元33对触觉信号TS执行各种处理，并且依次将触觉信号TS传输到编码单元34。
接下来，在编码单元34从预处理单元33接收的触觉信号的片段是开始片段的情况下(S102：是)，通信单元51缓冲触觉信号的开始片段(S103)。接下来，编码单元34获取对应于在步骤S103中缓冲的触觉信号TS的开始片段的编码方法ID(S104)。具体地，获取指示要传输的编码数据是简单触觉编码数据SDC的ID。接下来，编码单元34从触觉信号TS的开始片段获取诸如参数等信息，作为简单触觉信号SS(S105)。接下来，编码单元34对在步骤S105中获取的简单触觉信号SS进行编码(S106)。接下来，通信单元35向解码装置5传输通过在步骤S106中编码而生成的简单触觉编码数据SDC，作为包括其他信息的传输和接收数据TD(S107)，并且编码装置3的操作结束。
另一方面，在编码单元34从预处理单元33接收的触觉信号TS的片段是除了开始片段之外的片段的情况下(S102：否)，通信单元51缓冲除了触觉信号TS的开始片段之外的片段(S108)。接下来，编码单元34对在步骤S108中获取的丰富触觉信号RS进行编码(S109)。接下来，通信单元35向解码装置5传输通过在步骤S109中编码而生成的丰富触觉编码数据RDC，作为包括其他信息的传输和接收数据TD(S107)，并且编码装置3的操作结束。
接下来，将描述解码装置5的操作流程的示例。图14是用于描述根据本实施例的解码装置5的操作流程的示例的示图。参考图14，首先，通信单元51开始从编码装置3接收比特流数据(S201)。接下来，通信单元51从编码装置3接收传输和接收数据TD(S202)。接下来，确定单元52从在步骤S202中接收的传输和接收数据TD获取指示编码方法的信息(S203)。在步骤S203中获取的信息指示简单触觉信号SS的编码方法的情况下(S204：是)，解码单元53解码在步骤S202中接收的传输和接收数据TD中包括的简单触觉编码数据SDC(S205)。接下来，解码装置5基于在步骤S202中生成的简单触觉信号SS执行各种处理，将触觉信号TS的开始片段传输到触觉呈现装置，用于呈现(S206)，并且在传输和接收数据TD的接收继续的情况下(S207：是)，处理返回到步骤S202，并且在传输和接收数据TD的接收不继续的情况下(S207：否)，解码装置5结束操作。
另一方面，在步骤S203中获取的信息指示简单触觉信号SS的编码方法的情况下(S204：否)，解码单元53解码在步骤S202中接收的传输和接收数据TD中包括的丰富触觉编码数据RDC(S208)。接下来，在解码装置5正在向触觉呈现装置6呈现触觉信号TS的开始片段的情况下(S209：是)，信号控制单元56执行交替淡变处理(S210)。解码装置5基于在步骤S202中生成的简单触觉信号SS执行各种处理，将除了触觉信号TS的开始片段之外的片段传输到触觉呈现装置，用于呈现(S206)。在传输和接收数据TD的接收继续的情况下(S207：是)，处理返回到步骤S202，并且在传输和接收数据TD的接收不继续的情况下(S207：否)，解码装置5结束操作。
另一方面，在解码装置5没有向触觉呈现装置6呈现触觉信号TS的开始片段的情况下(S209：否)，执行步骤S206。在传输和接收数据TD的接收继续的情况下(S207：是)，处理返回到步骤S202，并且在传输和接收数据TD的接收不继续的情况下(S207：否)，解码装置5结束操作。
<<2.5.修改示例>>
随后，将描述根据本实施例的修改示例。
迄今为止，已经给出了关于将对应于简单触觉信号SS的编码方法应用于触觉信号TS的开始片段的示例的描述。如上所述，通过应用于触觉信号TS的开始片段，能够进一步减小在开始给出触觉刺激的时间相对于要记录的触觉刺激的振动的延迟。然而，给予触觉刺激的时间重要的情况不限于开始给予触觉刺激。
例如，甚至在触觉信号TS的幅度突然变化的情况下，给予触觉刺激的时间也是重要的。用户U的触感的突然变化或消失很有可能与记录侧的情况变化有关。在触感的突然变化和记录侧的情况的变化不能彼此同步的情况下，可能出现触觉呈现的实时特性丧失的情况，并且存在用户感觉到与已经呈现的触感不一致的可能性。
为此，对应于简单触觉信号SS的编码方法可以应用于与触觉信号TS的开始片段不同的片段。具体地，在除了触觉信号TS的开始片段之外的片段中存在等于或大于预定值的幅度变化的情况下，编码装置3可以以与对应于简单触觉信号SS的编码方法类似的编码方法，对表示等于或大于预定值的幅度变化的片段中的触觉信号TS进行编码，以生成幅度变化编码数据。另一方面，在解码装置5已经从编码装置3接收到幅度变化编码数据，而解码装置5正在使触觉呈现装置6呈现除了触觉信号TS的开始片段之外的片段的情况下，解码单元53可以以类似于简单触觉编码数据SDC的编码方法来解码幅度变化编码数据。
更具体地，在触觉信号TS的幅度超过预定片段中的幅度峰值的均方根的情况下，幅度超过预定片段中的幅度峰值的均方根的片段中的触觉信号TS可以以与对应于简单触觉信号SS的编码方法类似的编码方法进行编码。例如，触觉信号TS的峰值超过阈值的片段可以被设置为幅度的突然变化，即上升，其中，预定片段中的触觉信号TS的峰值的加权平均值用作参考。此外，编码单元34可以在预定片段中的触觉信号TS的峰值超过预定阈值的情况下，设置幅度的突然变化，即上升。应当注意，可以根据触觉传感器2可检测到的触觉信号TS的幅度变化来确定上述预定片段和预定阈值。
在此处，参考图15，将给出关于与伴随触觉信号TS的幅度的突然变化的简单触觉信号SS相对应的编码方法的应用的描述。图15是用于描述根据本公开的修改示例的与伴随触觉信号TS的幅度的突然变化的简单触觉信号SS相对应的编码方法的应用的示图。
图15示出了触觉信号TS3，其幅度在预定片段中突然变化。将描述图15的示例。基于其幅度突然变化的触觉信号TS3的片段SP5中的峰值高于触觉信号TS3的前一片段SP6中的峰值这一事实，编码单元34可以以对应于简单触觉信号SS的编码方法对触觉信号TS3的片段SP5进行编码。应当注意，编码单元34基于触觉信号TS3的前一片段SP6的峰值超过阈值SH这一事实，以对应于简单触觉信号SS的编码方法对触觉信号TS3的片段SP5进行编码。
以这种方式，通过基于触觉信号TS的幅度变化适当地应用与简单触觉信号SS的编码方法类似的编码方法，能够呈现更多样的触觉体验，而不会降低质量。
<3.硬件配置示例>
接下来，将描述根据本公开实施例的编码装置3和解码装置5共有的硬件配置示例。图16是示出根据本公开实施例的编码装置3和解码装置5的硬件配置示例的框图。参考图16，编码装置3和解码装置5包括例如处理器871、ROM 872、RAM 873、主机总线874、桥接器875、外部总线876、接口877、输入装置878、输出装置879、存储装置880、驱动器881、连接端口882和通信装置883。应当注意，此处所示的硬件配置是一个示例，并且可以省略一些组件。此外，除了这里所示的组件之外，还可以还包括其他组件。
(处理器871)
处理器871用作例如算术处理单元或控制装置，并且基于记录在ROM 872、RAM873、存储装置880或可移动记录介质901中的各种程序来控制每个组件的全部或部分操作。
(ROM 872、RAM 873)
ROM 872是用于存储要读入处理器871的程序、用于算术处理的数据等的装置。RAM873临时或永久存储例如要由处理器871读取的程序、当执行程序时适当改变的各种参数等。
(主机总线874、桥接器875、外部总线876、接口877)
处理器871、ROM 872和RAM 873通过例如能够高速数据传输的主机总线874相互连接。另一方面，主机总线874通过例如桥接器875与数据传输速度相对较低的外部总线876连接。此外，外部总线876通过接口877与各种组件连接。
(输入装置878)
对于输入装置878，例如，使用鼠标、键盘、触摸板、按钮、开关、控制杆等。此外，对于输入装置878，可以使用能够使用红外线或其他无线电波传输控制信号的遥控器(以下称为遥控器)。此外，输入装置878包括语音输入装置，例如，麦克风。
(输出装置879)
输出装置879是能够在视觉上或听觉上通知用户已经获取的信息的装置，例如，诸如阴极射线管(CRT)、LCD或有机EL的显示装置、诸如扬声器或耳机的音频输出装置、打印机、移动电话、传真机等。此外，根据本公开的输出装置879包括能够输出触觉刺激的各种振动装置。
(存储装置880)
存储装置880是用于存储各种类型的数据的装置。对于存储装置880，例如，使用诸如硬盘驱动器(HDD)、半导体存储装置、光存储装置、光磁存储装置等磁存储装置。
(驱动器881)
驱动器881是用于读取记录在可移动记录介质901(例如，磁盘、光盘、磁光盘、半导体存储器等)上的信息或者用于将信息写入可移动记录介质901的装置。
(可移动记录介质901)
可移动记录介质901例如是DVD介质、蓝光(注册商标)介质、HD DVD介质、各种半导体存储介质等。当然，可移动记录介质901可以是例如配备有非接触式IC芯片的集成电路卡、电子装置等。
(连接端口882)
连接端口882是用于连接外部连接装置902的端口，例如，通用串行总线(USB)端口、IEEE 1394端口、小型计算机系统接口(SCSI)、RS-232C端口、光学音频终端等。
(外部连接装置902)
外部连接装置902例如是打印机、便携式音乐播放器、数码相机、数码摄像机、IC记录器等。
(通信装置883)
通信装置883是用于与网络进行连接的通信装置，例如，用于有线或无线LAN、蓝牙(注册商标)或无线USB(WUSB)的通信卡、用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、用于各种类型通信的调制解调器等。
<4.结论>
如上所述，通过以多种编码方法对触觉信号TS进行编码并传输和接收编码数据，实现呈现给用户的触感的质量保持和触觉信号传输中的低延迟。
尽管已经参考附图详细描述了本公开的优选实施例，但是本公开的技术范围不限于这些示例。很明显，在本公开的技术领域中具有普通知识的任何人都可以在权利要求中阐述的技术思想的范围内提出各种改变的示例或修改的示例。自然可以理解，它们属于本公开的技术范围。
此外，本文描述的效果仅仅是解释性的或示例性的，并且不受限制。即，除了上述效果之外或代替上述效果，根据本文的描述，根据本公开的技术可以表现出对本领域技术人员显而易见的其他效果。
应当注意，以下配置也属于本公开的技术范围。
(1)一种解码装置，包括
解码单元，解码单元被配置为基于已经接收的编码方法信息来解码多条编码数据，所接收的比特流数据包括其中触觉信号的多个片段已经被分别编码的多条编码数据，
其中，编码方法信息包括指示触觉信号的各个片段已经以多种编码方法中的哪种编码方法编码的信息，
多种编码方法包括对应于与触觉信号的开始片段相关的简单触觉信号的简单触觉编码方法，
多条编码数据包括简单触觉编码数据，其中，简单触觉信号已经用简单触觉编码方法编码，并且
在编码方法信息指示简单触觉编码方法的情况下，解码单元解码简单触觉编码数据。
(2)根据以上(1)所述的解码装置，
其中，多种编码方法包括对应于与除触觉信号的开始片段之外的片段相关的丰富触觉信号的丰富触觉编码方法，
多条编码数据包括丰富触觉编码数据，其中，丰富触觉信号已经用丰富触觉编码方法编码，并且
在编码方法信息指示丰富触觉编码方法的情况下，解码单元解码丰富触觉编码数据。
(3)根据以上(1)或(2)所述的解码装置，还包括
信号生成单元，信号生成单元被配置为基于解码单元关于编码数据的解码结果，生成对应于解码结果的片段的触觉信号。
(4)根据以上(3)所述的解码装置，
其中，简单触觉信号包括用于给出关于触觉信号的开始片段的呈现的指令的触发信号，并且
在解码单元的解码结果指示触发信号的情况下，信号生成单元生成对应于触发信号的触觉信号的开始片段。
(5)根据以上(3)所述的解码装置，
其中，简单触觉信号包括指示触觉信号的开始片段的参数的信号，并且
在解码单元的解码结果指示触觉信号的开始片段的参数的情况下，信号生成单元基于触觉信号的开始片段的参数生成触觉信号的开始片段。
(6)根据以上(5)所述的解码装置，
其中，触觉信号的开始片段的参数包括触觉信号的开始片段的特征量，并且
信号生成单元基于触觉信号的开始片段的特征量，生成对应于特征量的触觉信号的开始片段。
(7)根据以上(5)所述的解码装置，
其中，触觉信号的开始片段的参数包括衰减正弦信号的参数，并且
信号生成单元基于衰减正弦信号的参数生成对应于该参数的衰减正弦信号。
(8)根据以上(3)所述的解码装置，
其中，简单触觉信号包括指示触觉信号的开始片段的识别信息的信号，并且
信号生成单元生成与触觉信号的开始片段的识别信息对应的触觉信号的开始片段。
(9)根据以上(2)至(8)中任一项所述的解码装置，
其中，丰富触觉信号包括除了触觉信号的开始片段之外的片段，并且
解码单元解码丰富触觉编码数据，并生成除触觉信号的开始片段之外的片段。
(10)根据以上(2)至(9)中任一项所述的解码装置，
其中，丰富触觉编码方法包括波形编码方法，并且
解码单元解码已经通过波形编码方法编码的丰富触觉编码数据。
(11)根据以上(2)至(10)中任一项所述的解码装置，还包括
信号控制单元，信号控制单元被配置为切换要呈现给用户的触觉信号。
(12)根据以上(11)所述的解码装置，
其中，信号控制单元通过交替淡变处理切换要呈现给用户的触觉信号。
(13)根据以上(12)所述的解码装置，
其中，仅在从对应于简单触觉信号的触觉信号切换到对应于丰富触觉信号的触觉信号的情况下，所述信号控制单元要通过交替淡变处理切换要呈现给用户的触觉信号。
(14)根据以上(1)至(13)中任一项所述的解码装置，
其中，多条编码数据包括通过对多个简单触觉信号中的每个信号执行对应于简单触觉信号的编码方法的编码而生成的多个简单触觉编码数据，并且
解码单元基于指示已经接收的对应于多个简单触觉信号的编码方法的信息来解码多个简单触觉编码数据。
(15)根据以上(1)至(14)中任一项所述的解码装置，
其中，在除了触觉信号的开始片段之外的片段中存在等于或大于预定值的幅度变化的情况下，多条编码数据包括幅度变化编码数据，其中，指示等于或大于预定值的幅度变化的片段中的触觉信号已经以简单触觉编码方法进行了编码，并且
在由已经接收的编码方法信息指示表示已经接收的等于或大于预定值的波形变化的片段已经以简单触觉编码方法编码的情况下，解码单元解码幅度变化编码数据。
(16)根据以上(15)所述的解码装置，
其中，幅度变化等于或大于预定值意味着幅度的峰值超过预定片段中的幅度的峰值的均方根，
多条编码数据包括幅度变化编码数据，其中，幅度的峰值超过预定片段中幅度的峰值的均方根的片段中的触觉信号已经以与对应于简单触觉信号的编码方法类似的编码方法进行了编码，并且
在由已经接收的编码方法信息指示已经接收的幅度的峰值超过预定片段中的幅度的峰值的均方根的片段已经以简单触觉编码方法编码的情况下，解码单元解码幅度变化编码数据。
(17)根据以上(3)至(16)中任一项所述的解码装置，还包括
存储单元，存储单元被配置为存储关于触觉信号的开始片段的信息，
其中，信号生成单元基于关于触觉信号的开始片段的信息来生成触觉信号的开始片段。
(18)根据以上(1)至(17)中任一项所述的解码装置，还包括
确定单元，确定单元被配置为基于已经接收的编码方法信息来确定每个编码数据的编码方法，
其中，解码单元基于与已经由确定单元确定的每个编码数据对应的编码方法来解码每个编码数据。
(19)一种解码方法，包括
由处理器基于已经接收的编码方法信息来解码多条编码数据，所接收的比特流数据包括其中触觉信号的多个片段已经被分别编码的多条编码数据，
其中，编码方法信息包括指示触觉信号的各个片段已经以多种编码方法中的哪种编码方法编码的信息，
多种编码方法包括对应于与触觉信号的开始片段相关的简单触觉信号的简单触觉编码方法，并且
多条编码数据包括简单触觉编码数据，其中，简单触觉信号已经用简单触觉编码方法编码，
解码方法还包括在编码方法信息指示简单触觉编码方法的情况下，解码简单触觉编码数据。
(20)一种使计算机用作解码装置的程序，解码装置包括
解码单元，解码单元被配置为基于已经接收的编码方法信息来解码多条编码数据，所接收的比特流数据包括其中触觉信号的多个片段已经被分别编码的多条编码数据，
其中，编码方法信息包括指示触觉信号的各个片段已经以多种编码方法中的哪种编码方法编码的信息，
多种编码方法包括对应于与触觉信号的开始片段相关的简单触觉信号的简单触觉编码方法，
多条编码数据包括简单触觉编码数据，其中，简单触觉信号已经用简单触觉编码方法编码，并且
在编码方法信息指示简单触觉编码方法的情况下，解码单元解码简单触觉编码数据。
附图标记列表
1 触觉呈现系统
2 触觉传感器
3 编码装置
31 放大单元
32 A/D转换单元
33 预处理单元
34 编码单元
35 通信单元
36 控制单元
37 存储单元
4 网络
5 解码装置
51 通信单元
52 确定单元
53 解码单元
54 信号生成单元
55 存储单元
56 信号控制单元
57 后处理单元
58 D/A转换单元
59 放大单元
6 触觉呈现装置。

Claims (20)

1.一种解码装置，包括
解码单元，所述解码单元被配置为基于已经接收的编码方法信息来解码多条编码数据，所接收的比特流数据包括其中触觉信号的多个片段已经被分别编码的所述多条编码数据，
其中，所述编码方法信息包括指示所述触觉信号的各个片段已经以多种编码方法中的哪种编码方法编码的信息，
所述多种编码方法包括对应于与所述触觉信号的开始片段相关的简单触觉信号的简单触觉编码方法，
所述多条编码数据包括简单触觉编码数据，其中，所述简单触觉信号已经用所述简单触觉编码方法编码，并且
在所述编码方法信息指示所述简单触觉编码方法的情况下，所述解码单元解码所述简单触觉编码数据。
2.根据权利要求1所述的解码装置，
其中，所述多种编码方法包括对应于与除所述触觉信号的开始片段之外的片段相关的丰富触觉信号的丰富触觉编码方法，
所述多条编码数据包括丰富触觉编码数据，其中，所述丰富触觉信号已经用所述丰富触觉编码方法编码，并且
在所述编码方法信息指示所述丰富触觉编码方法的情况下，所述解码单元解码所述丰富触觉编码数据。
3.根据权利要求2所述的解码装置，还包括
信号生成单元，所述信号生成单元被配置为基于所述解码单元关于所述编码数据的解码结果，生成对应于所述解码结果的片段的所述触觉信号。
4.根据权利要求3所述的解码装置，
其中，所述简单触觉信号包括用于给出关于所述触觉信号的所述开始片段的呈现的指令的触发信号，并且
在所述解码单元的所述解码结果指示所述触发信号的情况下，所述信号生成单元生成对应于所述触发信号的所述触觉信号的所述开始片段。
5.根据权利要求3所述的解码装置，
其中，所述简单触觉信号包括指示所述触觉信号的所述开始片段的参数的信号，并且
在所述解码单元的所述解码结果指示所述触觉信号的所述开始片段的参数的情况下，所述信号生成单元基于所述触觉信号的所述开始片段的参数生成所述触觉信号的所述开始片段。
6.根据权利要求5所述的解码装置，
其中，所述触觉信号的所述开始片段的参数包括所述触觉信号的所述开始片段的特征量，并且
所述信号生成单元基于所述触觉信号的所述开始片段的特征量，生成对应于所述特征量的所述触觉信号的所述开始片段。
7.根据权利要求5所述的解码装置，
其中，所述触觉信号的所述开始片段的参数包括衰减正弦信号的参数，并且
所述信号生成单元基于所述衰减正弦信号的参数生成对应于所述参数的所述衰减正弦信号。
8.根据权利要求3所述的解码装置，
其中，所述简单触觉信号包括指示所述触觉信号的所述开始片段的识别信息的信号，并且
所述信号生成单元生成与所述触觉信号的所述开始片段的识别信息对应的所述触觉信号的所述开始片段。
9.根据权利要求2所述的解码装置，
其中，所述丰富触觉信号包括除了所述触觉信号的开始片段之外的片段，并且
所述解码单元解码所述丰富触觉编码数据，并生成除所述触觉信号的开始片段之外的片段。
10.根据权利要求2所述的解码装置，
其中，所述丰富触觉编码方法包括波形编码方法，并且
所述解码单元解码已经通过所述波形编码方法编码的所述丰富触觉编码数据。
11.根据权利要求2所述的解码装置，还包括
信号控制单元，所述信号控制单元被配置为切换要呈现给用户的所述触觉信号。
12.根据权利要求11所述的解码装置，
其中，所述信号控制单元通过交替淡变处理切换要呈现给所述用户的所述触觉信号。
13.根据权利要求12所述的解码装置，
其中，仅在从对应于所述简单触觉信号的触觉信号切换到对应于所述丰富触觉信号的触觉信号的情况下，所述信号控制单元通过所述交替淡变处理切换要呈现给所述用户的所述触觉信号。
14.根据权利要求1所述的解码装置，
其中，所述多条编码数据包括通过对所述多个简单触觉信号中的每个信号执行对应于所述简单触觉信号的编码方法的编码而生成的多个所述简单触觉编码数据，并且
所述解码单元基于指示已经接收的对应于所述多个简单触觉信号的所述编码方法的信息来解码多个所述简单触觉编码数据。
15.根据权利要求1所述的解码装置，
其中，在除了所述触觉信号的开始片段之外的片段中存在等于或大于预定值的幅度变化的情况下，所述多条编码数据包括幅度变化编码数据，其中，指示等于或大于所述预定值的幅度变化的片段中的所述触觉信号已经以所述简单触觉编码方法进行了编码，并且
在由已经接收的所述编码方法信息指示表示已经接收的等于或大于所述预定值的波形变化的片段已经以所述简单触觉编码方法编码的情况下，所述解码单元解码所述幅度变化编码数据。
16.根据权利要求15所述的解码装置，
其中，所述幅度变化等于或大于所述预定值意味着幅度的峰值超过预定片段中的幅度的峰值的均方根，
所述多条编码数据包括所述幅度变化编码数据，其中，所述幅度的峰值超过所述预定片段中幅度的峰值的均方根的片段中的触觉信号已经以与对应于所述简单触觉信号的编码方法类似的编码方法进行了编码，并且
在由已经接收的所述编码方法信息指示已经接收的幅度的峰值超过所述预定片段中的幅度的峰值的均方根的片段已经以所述简单触觉编码方法编码的情况下，所述解码单元解码所述幅度变化编码数据。
17.根据权利要求3所述的解码装置，还包括
存储单元，所述存储单元被配置为存储关于所述触觉信号的所述开始片段的信息，
其中，所述信号生成单元基于关于所述触觉信号的所述开始片段的所述信息来生成所述触觉信号的所述开始片段。
18.根据权利要求1所述的解码装置，还包括
确定单元，所述确定单元被配置为基于已经接收的所述编码方法信息来确定每个所述编码数据的编码方法，
其中，所述解码单元基于与已经由所述确定单元确定的每个所述编码数据对应的所述编码方法来解码每个所述编码数据。
19.一种解码方法，包括
由处理器基于已经接收的编码方法信息来解码多条编码数据，所接收的比特流数据包括其中触觉信号的多个片段已经被分别编码的所述多条编码数据，
其中，所述编码方法信息包括指示所述触觉信号的各个片段已经以多种编码方法中的哪种编码方法编码的信息，
所述多种编码方法包括对应于与所述触觉信号的开始片段相关的简单触觉信号的简单触觉编码方法，并且
所述多条编码数据包括简单触觉编码数据，其中，所述简单触觉信号已经用所述简单触觉编码方法编码，
所述解码方法还包括在所述编码方法信息指示所述简单触觉编码方法的情况下，解码所述简单触觉编码数据。
20.一种使计算机用作解码装置的程序，所述解码装置包括
解码单元，所述解码单元被配置为基于已经接收的编码方法信息来解码多条编码数据，所接收的比特流数据包括其中触觉信号的多个片段已经被分别编码的所述多条编码数据，
其中，所述编码方法信息包括指示所述触觉信号的各个片段已经以多种编码方法中的哪种编码方法编码的信息，
所述多种编码方法包括对应于与所述触觉信号的开始片段相关的简单触觉信号的简单触觉编码方法，
所述多条编码数据包括简单触觉编码数据，其中，所述简单触觉信号已经用所述简单触觉编码方法编码，并且
在所述编码方法信息指示所述简单触觉编码方法的情况下，所述解码单元解码所述简单触觉编码数据。
CN202080007744.XA 2019-02-01 2020-01-24 解码装置、解码方法和程序 Pending CN113260488A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-017136 2019-02-01
JP2019017136 2019-02-01
PCT/JP2020/002482 WO2020158596A1 (ja) 2019-02-01 2020-01-24 復号装置、復号方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN113260488A true CN113260488A (zh) 2021-08-13

Family

ID=71840951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080007744.XA Pending CN113260488A (zh) 2019-02-01 2020-01-24 解码装置、解码方法和程序

Country Status (4)

Country Link
US (1) US11947723B2 (zh)
KR (1) KR20210119964A (zh)
CN (1) CN113260488A (zh)
WO (1) WO2020158596A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021176842A1 (zh) * 2020-03-04 2021-09-10

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101120593A (zh) * 2005-04-13 2008-02-06 诺基亚公司 可扩展性信息的编码、存储和信号发送
CN101895371A (zh) * 2009-05-19 2010-11-24 索尼公司 信息处理设备、编码方法和帧同步方法
CN104460978A (zh) * 2013-09-12 2015-03-25 株式会社东海理化电机制作所 操作装置
JP2015130169A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
JP2018171514A (ja) * 2018-08-02 2018-11-08 任天堂株式会社 振動制御システム、振動制御方法、振動出力装置、ゲームコントローラ、振動出力プログラム、および振動出力方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163579A (ja) * 2004-12-03 2006-06-22 Sony Corp 情報処理システム、情報処理装置及び情報処理方法
US20110032088A1 (en) 2009-08-10 2011-02-10 Electronics And Telecommunications Research Institute Method of encoding haptic information on image, method of decoding haptic information from image and apparatus of processing haptic information for the same
US9437087B2 (en) * 2013-05-24 2016-09-06 Immersion Corporation Method and system for haptic data encoding and streaming using a multiplexed data stream
JP6445921B2 (ja) 2015-04-21 2018-12-26 任天堂株式会社 振動信号生成プログラム、振動信号生成システム、振動信号生成装置、振動信号生成方法、およびデータ出力プログラム
EP3118723A1 (en) * 2015-07-13 2017-01-18 Thomson Licensing Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)
EP3332310B1 (en) * 2015-08-05 2019-05-29 Dolby Laboratories Licensing Corporation Low bit rate parametric encoding and transport of haptic-tactile signals
JP2018060313A (ja) 2016-10-04 2018-04-12 ソニー株式会社 受信装置および方法、送信装置および方法、並びにプログラム
JPWO2021176842A1 (zh) * 2020-03-04 2021-09-10
WO2021176904A1 (ja) * 2020-03-05 2021-09-10 ソニーグループ株式会社 ビットストリーム生成方法、符号化装置、復号装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101120593A (zh) * 2005-04-13 2008-02-06 诺基亚公司 可扩展性信息的编码、存储和信号发送
CN101895371A (zh) * 2009-05-19 2010-11-24 索尼公司 信息处理设备、编码方法和帧同步方法
CN104460978A (zh) * 2013-09-12 2015-03-25 株式会社东海理化电机制作所 操作装置
JP2015130169A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
JP2018171514A (ja) * 2018-08-02 2018-11-08 任天堂株式会社 振動制御システム、振動制御方法、振動出力装置、ゲームコントローラ、振動出力プログラム、および振動出力方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭凤华;张彩明;: "利用曲线拟合对触觉数据的压缩", 计算机辅助设计与图形学学报, no. 03, pages 508 - 513 *

Also Published As

Publication number Publication date
WO2020158596A1 (ja) 2020-08-06
KR20210119964A (ko) 2021-10-06
US20220187915A1 (en) 2022-06-16
US11947723B2 (en) 2024-04-02

Similar Documents

Publication Publication Date Title
JP6664137B2 (ja) 触感記録および再生
KR102417688B1 (ko) 선택 햅틱 메타데이터를 가지는 햅틱 브로드캐스트
JP6664069B2 (ja) 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
RU2721410C2 (ru) Способ и устройство для обеспечения осязательной обратной связи и интерактивности на основе осязательного пространства (hapspace) пользователя
US20240030936A1 (en) Decoding apparatus, decoding method, and program
US20230419795A1 (en) Encoding apparatus, encoding method, decoding apparatus, decoding method, transmission system, receiving apparatus, and program
JP2017005709A (ja) ブロードキャスト用ハプティクスアーキテクチャ
US11482086B2 (en) Drive control device, drive control method, and program
WO2021176842A1 (ja) 復号装置、復号方法、プログラム、符号化装置、符号化方法
WO2023098332A1 (zh) 一种音频处理方法、装置、设备、介质及程序产品
US11947723B2 (en) Decoding device, decoding method, and program
US20230122545A1 (en) Bit stream generation method, encoding device, and decoding device
CN114339443B (zh) 一种音视频倍速播放方法及装置
CN115811590A (zh) 行动影音装置及影音播放控制方法
US11594113B2 (en) Decoding device, decoding method, and program
US20230145547A1 (en) Decoding device, decoding method, program, encoding device, and encoding method
US20220244784A1 (en) Information processing device, information processing method, and program
WO2019054012A1 (ja) 情報処理装置、及びプログラム
US20240135912A1 (en) Audio cancellation system and method
EP4358084A1 (en) Audio cancellation system and method
CN116709115A (zh) 一种广场舞专用广播音频播放方法
WO2020031527A1 (ja) 信号生成装置、信号生成方法、プログラム、再生装置
JP2007079416A (ja) 画像データ作成装置、画像データ作成方法及びプログラム
KR20090050415A (ko) 리치미디어 서버와 리치미디어 전송 시스템 및 리치미디어전송 방법
JP2006289112A (ja) ゲーム機における音声発生装置及び方法並びに媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination