CN115190990A - 比特流生成方法、编码装置和解码装置 - Google Patents

比特流生成方法、编码装置和解码装置 Download PDF

Info

Publication number
CN115190990A
CN115190990A CN202180017669.XA CN202180017669A CN115190990A CN 115190990 A CN115190990 A CN 115190990A CN 202180017669 A CN202180017669 A CN 202180017669A CN 115190990 A CN115190990 A CN 115190990A
Authority
CN
China
Prior art keywords
signal
additional information
data
section
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180017669.XA
Other languages
English (en)
Inventor
锦织修一郎
竹田裕史
渡边高弘
铃木志朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115190990A publication Critical patent/CN115190990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

用于生成通过多路复用至少包括触觉信号的多个信号而获得的传输数据的比特流的该比特流生成方法包括：确定不要求传输触觉信号的区段；并且当存在不要求信号传输的区段时，生成除了触觉信号之外的附加信息被插入到不要求信号传输的区段中的比特流。

Description

比特流生成方法、编码装置和解码装置
技术领域
本技术涉及比特流生成方法、编码装置以及解码装置，并且具体地涉及用于传输包括触觉信号的多个信号的技术。
背景技术
近年来，已经开发了一种由用户佩戴的装置振动以向用户给予触觉刺激的技术。此处，触觉刺激指通过振动现象等使用户感觉触感的物理现象。此外，生成触觉刺激将被称为触觉呈现。
在各种领域的装置中使用用于执行触觉呈现的技术。
例如，在包括诸如智能电话的触摸面板的终端装置中，触摸面板或响应于来自用户的触摸操作而振动并且向用户的手指给予触觉刺激，使得可以表达在触摸面板上显示的按钮等上的触摸感觉。
此外，例如，在诸如耳机的音乐收听装置中，可根据音乐再现通过给予触觉刺激来强调正在再现的音乐中的重低音声音。
此外，例如，在提供计算机游戏、虚拟现实(VR)等的装置中，根据使用控制器的操作或内容的场景，通过再现声音和振动控制器等来给予触觉刺激，可以提高用户沉浸在内容中的感觉。
此外，已经开发了基于从外部装置接收的触觉信号向用户给予触觉刺激的技术。例如，下面的专利文献1公开了在基于所接收的信号改变振动的频率和振幅的同时向用户给予触觉刺激的技术。
引用列表
专利文献
专利文献1：日本专利申请公开第2004-219914号。
发明内容
本发明要解决的问题
顺便提及，在通过使用如上所述的装置再现声音和振动的情况下，因为有线实现复杂，所以期望无线实现。例如，在考虑诸如蓝牙(注册商标)的近场无线通信中的实现的情况下，声学信号和振动信号被同步编码然后被传输至再现装置。然而，在当前的音频无线通信中，需要通过将数据有效地存储在通信数据包中来执行传输。因此，作为编码数据的最小处理单位的帧大小通常是固定长度(即，固定比特率)。振动信号是类似于声学信号的一维信号，并且不可避免的是，帧大小也以固定长度编码。
在当前的音频无线通信中，因为在有限的通信频带中执行编码和传输，所以存在这样的问题：由于由通信条件的劣化引起的数据包丢失而发生声音中断，并且为了在这种情况下进一步添加和传输触觉信号，除了触觉信号的信息压缩之外，还需要进一步提高通信的效率。
此外，不存在在标准范围之外自由有效地使用对用户有效的信息的手段，并且对如何享受各种应用存在限制。
因此，本技术的目的是当无线通信信号时，通过关注包括触觉信号(例如，音频信号和触觉信号)的多个信号的特性来实现通信的高效和有效使用。
问题的解决方案
根据本技术的比特流生成方法是用于生成多路复用至少包括触觉信号的多个信号的传输数据的比特流的比特流生成方法，并且包括确定触觉信号的信号传输未要求区段，并且在存在信号传输未要求区段的情况下，生成除了触觉信号之外的附加信息被插入到信号传输未要求区段的比特流。
例如，在假设音频信号和触觉信号被多路复用和传输的情况下，当在时间轴方向上考虑时，音频信号经常是指示连续的声音信息的信号，但是触觉信号很少是连续的信号。因此，在编码数据的最小处理单位具有固定长度(固定比特率)的情况下，不要求信号传输的区段出现在比特流中。因此，例如，附加信息被插入到这种信号传输未要求区段中。
注意，“区段”可指时间轴方向上的范围或者可指编码格式中的比特范围。
在上述根据本技术的比特流生成方法中，可以考虑信号传输未要求区段是触觉信号被确定为不可感知信号的区段的情况。
例如，触觉信号是非信号的区段或者触觉信号的振幅电平较小并且不能被人感知的区段被定义为信号传输未要求区段。
在上述根据本技术的比特流生成方法中，可以考虑信号传输未要求区段是由于对触觉信号进行编码而已变成剩余区域的比特区段的情况。
在对触觉信号进行编码时，存在由于编码效率的差异，相对于具有固定长度的最小处理单位(例如，帧)的数据长度，以小数据量生成编码数据的情况。在这种情况下，剩余区域通常用作填充等。用作剩余区域的比特区段被设置为信号传输未要求区段。
在上述根据本技术的比特流生成方法中，可以考虑被插入到信号传输未要求区段中的附加信息是要在最小处理单位中与触觉信号多路复用的另一信号的编码数据的情况，该最小处理单位在时间轴方向上比信号传输未要求区段所对应的最小处理单位晚的时间点。
即，将较晚时间点的最小处理单位(例如，下一帧)的另一信号(例如，音频信号)的编码数据插入到较早时间点的触觉信号的信号传输未要求区段中。
在上述根据本技术的比特流生成方法中，可以考虑附加信息是文本数据或图像数据的情况。
例如，将用于呈现一些信息的文本数据或图像数据插入到触觉信号的信号传输未要求区段中。
在上述根据本技术的比特流生成方法中，可以考虑附加信息是位置或时间的校正数据的情况。
例如，用于终端用户侧的装置的位置校正、时间校正等的数据被预先插入到触觉信号的信号传输未要求区段中。
在上述根据本技术的比特流生成方法中，可以考虑与触觉信号多路复用的信号是音频信号或图像信号的情况。
即，在将音频信号或图像信号与触觉信号多路复用的情况下，触觉信号中的信号传输未要求区段用于附加信息的传输。
根据本技术的编码装置包括：信号编码单元，其对至少包括触觉信号的多个信号中的每个信号进行编码；附加信息编码单元，其确定触觉信号的编码数据中的信号传输未要求区段，并且在存在信号传输未要求区段的情况下对除了触觉信号之外的附加信息进行编码并将编码后的附加信息插入到信号传输未要求区段中；多路复用单元，生成通过多路复用包括插入有附加信息的触觉信号的编码数据的多个编码数据而获得的传输数据。
即，编码装置在将附加信息插入到触觉信号的信号传输未要求区段之后，生成通过多路复用包括触觉信号的多个信号而获得的传输数据。
在上述根据本技术的编码装置中，可以考虑将指示附加信息的存在/不存在的存在/不存在确定信息添加到传输数据的情况。
例如，在最小处理单位(例如，帧)的编码格式中提供指示是否包括附加信息的信息。
根据本技术的解码装置包括：解多路复用单元，解多路复用通过多路复用至少包括触觉信号的多个信号的编码数据而获得的传输数据；附加信息确定单元，确定通过解多路复用获得的触觉信号的编码数据是否包括附加信息；以及附加信息编码数据解码单元，在确定包括附加信息的情况下，通过对附加信息的编码数据进行解码来获得附加信息。
即，在附加信息被插入触觉信号的信号传输未要求区段的情况下，解码装置对附加信息的编码数据进行解码。
在上述根据本技术的解码装置中，可以考虑以下情况：如果指示附加信息的存在/不存在的存在/不存在确定信息被添加到传输数据，则附加信息确定单元通过使用存在/不存在确定信息来确定是否包括附加信息。
例如，在最小处理单位(例如，帧)的编码格式中提供指示是否包括附加信息的存在/不存在确定信息的情况下，参考存在/不存在确定信息。
附图说明
图1是根据本技术的实施例的系统配置的框图。
图2是根据实施例的编码装置的框图。
图3是根据实施例的听觉/触觉传输装置的框图。
图4是根据实施例的解码装置的框图。
图5是根据实施例的从听觉/触觉记录到再现的概要的说明图。
图6是根据实施例的可穿戴扬声器的说明图。
图7是音频信号和触觉信号的说明图。
图8是根据实施例的编码单元的框图。
图9是根据实施例的信号传输未要求区段的说明图。
图10是人听觉上的相等响度轮廓和人触觉上的振动检测阈值曲线的说明图。
图11是根据实施例的附加信息插入示例的说明图。
图12是根据实施例的文本和图像的附加信息的说明图。
图13是根据实施例的时间校正和位置校正的说明图。
图14是根据实施例的帧格式的说明图。
图15是根据实施例的帧中的信道数据的说明图。
图16是根据实施例的编码处理的流程图。
图17是根据实施例的解码单元的框图。
图18是根据实施例的解码处理的流程图。
具体实施方式
在下文中，将按照以下顺序描述实施例。
<1.听觉/触觉记录/再现系统>
<2.编码装置>
<3.听觉/触觉传输装置>
<4.解码装置>
<5.听觉/触觉记录/再现系统的具体示例>
<6.音频信号和触觉信号的主要配置>
<7.编码单元>
<8.编码数据>
<9.编码处理>
<10.解码单元>
<11.解码处理>
<12.结论和修改示例>
注意，在本公开中使用的术语定义如下。
触觉刺激：用于使人感知触感的物理现象，诸如振动现象。
触觉呈现：生成触觉刺激。
触觉信号：表示触觉刺激的模式的信号，诸如表示振动波形的信号。
触感特性：与人的触感相关的特性，其取决于部位(手、脸、脚等)。
编码数据：通过对信号进行编码而获得的数据。流和帧用作更具体的概念。
触觉编码数据：通过对触觉信号进行编码获得的数据。
听觉/触觉编码数据：通过对音频信号进行编码获得的数据和通过对触觉信号进行编码获得的数据的通用术语。
<1.听觉/触觉记录/再现系统>
将参考图1描述本技术的听觉/触觉记录/再现系统的配置。图1的听觉/触觉记录/再现系统包括听觉/触觉记录系统11、听觉/触觉传输装置15和听觉/触觉再现系统16。
听觉/触觉记录系统11是对音频信号和触觉信号进行记录和编码的系统。听觉/触觉记录系统11包括音频记录装置12、触觉记录装置13和编码装置14。
音频记录装置12通过麦克风等将声音转换为音频信号。
触觉记录装置13通过触觉传感器、触觉拾音器、加速度传感器等将振动转换为触觉信号。
编码装置14输入音频信号和触觉信号，根据预定编码方法对音频信号和触觉信号进行编码，并生成听觉/触觉编码数据D1作为传输数据。
注意，还假定设置多个音频记录装置12和多个触觉记录装置13的配置。
听觉/触觉传输装置15将由编码装置14生成的听觉/触觉编码数据D1传输至听觉/触觉再现系统16。
听觉/触觉再现系统16将记录的音频信号和触觉信号分别再现为声音和振动。听觉/触觉再现系统16包括解码装置19、音频再现装置17和触觉再现装置18。
解码装置19通过根据预定编码方法对输入的听觉/触觉编码数据D1进行解码来生成音频信号和触觉信号。
音频再现装置17经由扬声器、耳机等将输入的音频信号再现为声音。
触觉再现装置18经由振动器、致动器等将输入的触觉信号再现为振动。
<2.编码装置>
图2示出了编码装置14的内部配置示例。
编码单元23、存储单元25、控制单元26和通信单元27经由总线24互连，并且可以彼此进行数据通信。
放大器21A放大从音频记录装置12A输入的音频信号。ADC 22A是模拟数字转换器，并且将音频信号的模拟信号转换为数字信号。
放大器21B放大从触觉记录装置13输入的触觉信号。作为模拟数字转换器的ADC22B将触觉信号的模拟信号转换为数字信号。
编码单元23根据预定编码方法对输入的音频信号和触觉信号以及从附加信息输入单元28输入的附加信息进行编码，并生成听觉/触觉编码数据D1。
附加信息输入单元28将从外部装置输入的附加信息输入到编码单元23。
注意，稍后将描述根据本实施例的触觉信号的编码。此外，稍后将描述附加信息。
控制单元26包括微型计算机，该微型计算机例如包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等，并且通过根据存储在ROM中的程序执行处理来执行编码装置14的整体控制。
存储单元25全面地表示诸如硬盘驱动器(HDD)和固态驱动器(SSD)的存储装置，并且用于将各种类型的数据存储在编码装置14中。
例如，存储单元25存储控制单元26的控制所需的数据。此外，基于控制单元26的控制，可以将由编码单元23获得的听觉/触觉编码数据D1存储在存储单元25中。
通信单元27基于控制单元26的控制与外部装置执行数据通信。例如，由编码单元23获得的听觉/触觉编码数据D1可被传输至听觉/触觉再现系统16。
<3.听觉/触觉传输装置>
图3示出了听觉/触觉传输装置15的内部配置示例。无线通信单元31、存储单元32、控制单元33、介质驱动器34和通信单元35经由总线36互连，并且可以彼此执行数据通信。
控制单元33包括微型计算机，该微型计算机包括CPU、ROM、RAM等，并且通过根据存储在ROM中的程序执行处理来执行听觉/触觉传输装置15的整体控制。
通信单元35被配置为能够经由诸如因特网、家庭网络、局域网(LAN)或卫星通信网络的网络与外部装置执行数据通信。
控制单元33可以经由通信单元35与连接到网络的外部装置执行数据通信。具体地，可以经由通信单元35从诸如网络上的服务器的外部装置接收听觉/触觉编码数据D1。
介质驱动器34被配置为使得便携式存储介质可附接至介质驱动器34并且从介质驱动器34可拆卸，并且介质驱动器34被配置为能够向所附接的存储介质写入数据和从所附接的存储介质读取数据的读取器/写入器单元。由介质驱动器支持的存储介质的示例包括便携式闪存和光盘存储介质。介质驱动器34使得能够读取记录在便携式存储介质中的听觉/触觉编码数据D1。
存储单元32全面地表示诸如HDD、SSD的存储装置，并且用于将各种类型的数据存储在听觉/触觉传输装置15中。例如，存储单元32存储控制单元33的控制所需的数据。
此外，存储单元32还可以基于控制单元33的控制将由介质驱动器34读取的听觉/触觉编码数据D1和由通信单元35从外部装置接收的听觉/触觉编码数据D1存储在存储单元32中。
无线通信单元31通过诸如蓝牙(注册商标)的通信方法执行短程无线通信。
此处，作为上述整体控制的一部分，控制单元33执行用于使通信单元35接收或者使介质驱动器34读取听觉/触觉编码数据D1的控制。
此外，控制单元33执行控制以使无线通信单元31将经由通信单元35或介质驱动器34获得的听觉/触觉编码数据D1传输至解码装置19。
<4.解码装置>
图4示出了解码装置19的内部配置示例。解码单元43、存储单元44、控制单元45和无线通信单元46经由总线47互连，并且可以彼此执行数据通信。
控制单元45例如包括微型计算机，该微型计算机包括CPU、ROM、RAM等，并且执行解码装置19的整体控制。
无线通信单元46通过能够与听觉/触觉传输装置15的无线通信单元31通信的方法来执行近场无线通信。近场无线通信方法的示例包括蓝牙。在解码装置19中，由无线通信单元46接收从听觉/触觉传输装置15传输的听觉/触觉编码数据D1。
存储单元44全面表示诸如HDD、SSD的存储装置，并且用于将各种类型的数据存储在解码装置19中。例如，存储单元44存储控制单元45的控制所需的数据。
解码单元43通过稍后描述的方法对经由无线通信单元46输入的听觉/触觉编码数据D1进行解码，以获得音频信号和触觉信号。
DAC 42A是数字模拟转换器，并且将音频信号的数字信号转换为模拟信号。放大器41A放大音频信号，并且将音频信号输出至音频再现装置17。
作为数字模拟转换器的DAC 42B将触觉信号的数字信号转换为模拟信号。放大器41B放大触觉信号，并且将触觉信号输出至触觉再现装置18。
附加信息输出单元48将由解码单元43解码的附加信息输出到外部装置。该附加信息是由图2中的附加信息输入单元28输入并且插入到听觉/触觉编码数据D1中的附加信息。
<5.听觉/触觉记录/再现系统的具体示例>
作为实际使用上述的听觉/触觉记录系统11和听觉/触觉再现系统16的示例，在图5中示出了结合振动的视频内容CT的制作、分发以及用户的再现。
在图5中，内容制作公司使用摄像机和听觉/触觉记录系统11记录(ST51)电影、电视剧等的视频、声音和振动。
此后，离线执行编辑(ST52)。编辑工作的示例包括视频的剪切和粘贴、声音和振动的混合等。
在编辑之后，将完成的结合振动的视频内容CT记录(ST53)为数据。
记录的结合振动的视频内容CT存储在服务器中，并且由分发公司进行分发(ST55)，以便用户根据需要下载到接收装置并且进行再现。
当用户观看结合振动的视频内容CT时，用户访问上述服务器并且将他们喜欢的内容下载到诸如电视装置123的接收装置(ST56)。
在再现时，可以在已经将所有内容数据下载到接收装置之后执行再现，或者可以经由流式传输执行再现。
在再现时，视频由电视装置再现，并且音频和振动从电视装置123无线传输至例如由用户佩戴的可穿戴扬声器110(ST57)，并且再现(ST58)。
可穿戴扬声器110例如是主动(有源，active)振动耳机或主动振动可穿戴扬声器。
图6示出了作为可穿戴扬声器110的主动振动可穿戴扬声器的示例。图6示出了可穿戴扬声器110的主体112的上表面和用户的佩戴状态。
在使用中，如图所示，形成为大致U形的主体112的壳体113通过悬挂在肩膀上而被使用。
从再现声音的扬声器114再现声音，并且安装在壳体113的背面的振动器115振动以在触觉上刺激用户的锁骨附近。
此外，小型监视器116设置在扬声器114附近，并且可以显示诸如剩余电池电量的装置的状态或通过与外部装置通信接收的信息。
这种结合振动的视频内容CT包括振动信号以及音频信号和视频信号，并且这些信号被多路复用和传输。在这种情况下，在本技术中，如下所述，附加信息被插入振动信号。
注意，在本实施例的配置和处理中，为了简化描述，关注音频信号和振动信号而不参考视频信号来给出描述。
<6.音频信号和触觉信号的主要配置>
图7示出了用作结合振动的视频内容CT等的传输数据的听觉/触觉编码数据D1中的音频信号和触觉信号的主要配置。
音频信号通常包括背景声音(诸如环境声音、乐器声音或歌曲)、语音(诸如人物的对白或旁白)以及用于增强内容的附加声音效果。因此，音频信号在如在图7所示的波形的内容的大部分场景中不变成无信号(静音)。
另一方面，触觉信号例如包括表示人物触摸对象的感觉或对象的碰撞冲击的振动信号。通常，触觉刺激通常仅在特征场景中用于有效使用。此外，如果用户一直感受到振动，则用户可能感觉不舒服或者他们的健康可能受损。因此，触觉信号不像声音那样总是生成。
因此，触觉信号是间歇信号，其中，如在所示波形中，在生成短时间信号之后，无信号持续一段时间。
<7.编码单元>
将参考图8描述编码装置14中的编码单元23(参考图2)的细节。
在编码单元23中，对每个信道的预定数量的样本输入预定数量的信道的音频信号和触觉信号。在以下描述中，假设对每个信道执行类似的处理。
信号输入单元71将输入的音频信号和触觉信号中的每一个剪切成特定处理块单位(时间样本的数量)，并且此后，对这些处理块单位中的每一个执行处理。
信号编码单元72根据预定编码方法对输入信号进行编码，并输出编码数据。
注意，音频信号的编码方法的示例包括MPEG-1音频层III(MP3)和高级音频编码(AAC)作为一般音频编码方法。
另外，由于触觉信号是与音频信号类似的一维信号，因此音频编码方法可被用作编码方法，并且由于考虑到人的触觉特性可以在大约IkHz的频带(采样频率：2kHz)中表示触觉信号，所以在信道的数量少的情况下可以使用线性脉冲编码调制(LPCM)、自适应差分脉冲编码调制(ADPCM)等。
附加信息编码单元73确定可在由信号编码单元72编码的编码数据中插入附加信息的区段。然后，在确定不存在可以插入附加信息的区段的情况下，附加信息被传递，并且编码数据被输出到多路复用单元74。
相反，在确定存在可以插入附加信息的区段的情况下，从附加信息输入单元28输入的附加信息或在音频信号编码时输入的稍后描述的附加信息由附加信息编码单元73进行编码，并且然后被插入到被确定为可插入区段的编码数据的剩余部分中或作为编码数据的替代被记录。注意，稍后将描述可插入附加信息编码数据的区段和附加信息的类型。
多路复用单元74根据预定的编码数据格式对从附加信息编码单元73输入的音频信号的编码数据、触觉信号的编码数据和附加信息的编码数据进行多路复用，并输出听觉/触觉编码数据D1。注意，稍后将描述编码数据格式。
<8.编码数据>
此处，将首先描述附加信息编码数据。
图9A和图9B所示的以下情况可被视为插入附加信息编码数据的区段。
首先，如图9A所示，存在当编码数据的帧大小固定(固定比特率)并且编码效率高时发生的作为编码剩余区域的区段。由于编码后的数据量根据数据的编码效率而改变，因此在以固定帧大小进行格式化时，可能出现剩余区域。该剩余区域是可以插入附加信息的区段。
此外，如图9B所示，编码处理单位(对应于编码的一帧的区段)的信号是无信号的区段(无信号区段)，或者用户不能感知听感或触感的区段(不可感知区段)也是可插入附加信息的区段。
注意，无信号区段也是不可感知的，并且因此包括在不可感知区段中。
此处，将参考图10A和图10B描述不可感知区段。
图10A说明人的听觉中的相等响度轮廓，其中，垂直轴表示声压级，水平轴表示频率，并且在底部显示的曲线图表示最小可听值。在每个频率处声压级低于最小可听值的声音是不可感知的。
图10B示出了人的触觉中的振动检测阈值曲线，并且在每个频率处振幅低于检测阈值的振动是不可感知的。
通过使用如上所述的指标，被确定为不可感知的时间区段可被确定为不可感知区段。
可选地，更简单地，如图9B所示，可设置阈值th1和th2，并且可将信号振幅在阈值th1和th2的范围内的区段设置为不可感知区段。
注意，附加信息编码数据由于其性质可以不必每帧发送而是间歇的，因此，不期望以规则的时间间隔规则传输的信息被用作附加信息。
尽管上述图10A是对音频信号的不可感知区段的描述，但是在本实施例中，附加信息主要插入到触觉信号的不可感知区段中。然而，将附加信息插入到音频信号的不可感知区段中也可被视为修改示例。
注意，如从图10A和图10B的上述示例中可以看出，本公开中的“区段”可以是指时间轴方向上的范围，或者可以是指编码格式中的比特范围。
接下来，将描述附加信息的各种示例。
作为附加信息的示例，可以考虑作为音频信号的数据包丢失的对策的冗余数据。
图11示出了音频编码数据和触觉编码数据的时间序列。
在这种情况下，描述了在帧F1中传输音频和触感的每个编码数据的示例，并且在帧F2中，传输下一帧(帧F3)的音频编码数据作为触觉编码数据的附加信息编码数据。
存储附加信息编码数据，直到下一帧的数据成功到达。此后，假设由于通信条件等的劣化，在帧F3中发生数据包丢失，并且不传输帧F3的数据。
在这种情况下，虽然发生触觉信号中断，但是通过使用预先接收并存储的帧F3的音频编码数据作为替代，避免了音频信号中断。虽然触觉信号中断的轻微发生对用户感知的影响较小，但是声音的中断在很大程度上引起不适感。因此，作为听觉/触觉记录/再现系统，可以避免音频信号中断是有效的。
这样的附加信息不保证每帧传输，但可减小声音中断的概率。
此外，作为附加信息的示例，可以考虑文本/图像数据。
例如，如图12所示，当电视装置123和可穿戴扬声器110执行听觉/触觉再现时，在电视装置123的屏幕上或者可穿戴扬声器110的小监视器116上，实时突发新闻或者用户定制的信息被显示为文本，或者诸如经由社交网络服务(SNS)上传的图片的幻灯片的信息与视频数据分开显示。因此，可以以低频率更新呈现必要且充分的信息。
此外，作为附加信息的示例，可以考虑时间/位置信息的校正数据。
例如，在当使用可穿戴扬声器110时执行根据位置和时间的控制(例如，通过位置定位声音、通过时间自动音量调整等的控制)的情况下，考虑到成本、劳动力和设置精度等，难以安装使用全球定位系统(GPS)卫星的无线电波的定位功能、来自标准无线电塔的标准无线电波接收功能或通过与网络时间协议(NTP)服务器通信的时间对准功能。
因此，如图13所示，从GPS卫星121和标准无线电塔/NTP服务器122传输的位置信息和时间信息例如由电视装置123或智能电话124接收，并且将该信息作为附加信息传输至可穿戴扬声器110。
以这种方式，可以使用低频率更新中作为必要且充分的信息的时间/位置信息。
接下来，将描述编码数据格式。
图14示出由编码单元23编码的听觉/触觉编码数据D1的一帧的帧数据130的格式。
同步字131是表示帧开头的识别码，并且记录尽可能不包括在其他数据中的比特串。
在信道配置ID 132中，记录音频编码数据和触觉编码数据的所有信道配置的模式ID。
信道配置ID的示例包括0：单声道声音、1：立体声声音、2：单声道声音+单声道触感、3：立体声声音+单声道触感和4：立体声声音+立体声触感。
在帧大小133中，记录整个帧数据130的字节数。
作为信道数据140，记录每个信道(ch1、ch2)的音频信号或触觉信号的编码数据。当信道的数量是三个或更多个时，进一步连续记录信道的数量。
在图15中示出每个信道数据140的一个信道的细节。
在附加信息标志141中，以1比特记录附加信息是否包括在信道数据中。标记的示例包括0：无附加信息，以及1：有附加信息。
在附加信息记录开始位置142中，通过从信道数据140的开头起的字节数记录在信道数据140中执行从信号编码数据144到附加信息的切换并且开始记录的位置。注意，在不存在附加信息的情况下，不记录附加信息记录开始位置142。
在附加信息ID 143中，记录包括在信道数据140中的附加信息的类型的模式。
附加信息ID 143的示例包括0：下一帧的音频编码数据、1：文本数据、2：图像数据、3：时间校正数据和4：位置校正数据。注意，在不存在附加信息的情况下，不记录附加信息ID143。
作为信号编码数据144，记录通过对音频信号或触觉信号进行编码而获得的编码数据。
注意，在信道数据140中不存在信号编码数据144的情况下(在附加信息记录开始位置142为“0”的情况下)，不记录信号编码数据144。
作为附加信息编码数据145，记录通过对由附加信息ID 143指定的附加信息进行编码而获得的编码数据。
注意，在信道数据140中不存在附加信息编码数据的情况下(在附加信息标志141为“0”的情况下)，不记录附加信息编码数据。
例如，通过以上述格式执行编码，即使在窄带通信中也可以传输有效的附加信息而不影响信号的质量。
<9.编码处理>
图16示出了在图8所示的编码单元23的配置中执行的用于生成一帧的听觉/触觉编码数据D1的编码处理的流程图。
在步骤S101中，编码单元23输入对所有信道输入以一帧的样本数量切出的信号。
在步骤S102中，编码单元23对每个信道执行信号分析，并且确定是否存在如图9B所示的具有不可感知区段的信道。
如果存在不可感知区段，则编码单元23在附加信息标志141中记录“1”，将不可感知区段开始的位置(从信道数据140的开头开始的字节数)记录为信道数据140中的附加信息记录开始位置142，并且进行到步骤S103。
如果不存在不可感知区段，则编码单元23进行到步骤S104。
在步骤S103中，编码单元23基于从附加信息输入单元28输入的数据，将附加信息的类型ID记录为附加信息ID 143，并将编码后的附加信息从附加信息开始位置开始记录为附加信息编码数据145。
在步骤S104中，编码单元23根据预定编码方法对每个信道的信号进行编码，并记录编码信号作为信号编码数据144。
在步骤S105中，编码单元23确定在编码每个信道时是否存在比特剩余的信道。
如果存在如图9A所示的剩余区域，则编码单元23在附加信息标志141中记录“1”，将比特剩余区域开始的位置(从信道数据140的开头开始的字节数)记录为信道数据140中的附加信息记录开始位置142，并且进行到步骤S106。
当不存在剩余区域时，编码单元23进行到步骤S107。
在步骤S106中，编码单元23基于从附加信息输入单元28输入的数据，将附加信息的类型ID记录为附加信息ID 143，并将编码的附加信息从附加信息开始位置开始记录为附加信息编码数据145。
在步骤S107中，编码单元23记录同步字131、信道配置ID 132和帧大小133，并生成一帧的比特流。
在该处理示例的情况下，在步骤S102中检查不可感知区段的存在或不存在，并且在步骤S105中检查剩余区域，使得在一帧的处理中两次确定信号传输未要求区段。即，插入附加信息的机会每帧出现两次，使得容易获得同样多的附加信息插入机会。
<10.解码单元>
接下来，将参考图17描述解码装置19中的解码单元43(参见图4)的细节。
编码数据输入单元61输入一帧的输入的听觉/触觉编码数据D1。注意，从同步字131确定一帧的开头。
解多路复用单元62根据图14的编码数据格式获取每条信息。
附加信息确定单元63参考编码数据格式的帧数据130的附加信息标志141，以确定是否包括附加信息。
信号编码数据解码单元64从每个信道的信号编码数据144对信号进行解码。
附加信息编码数据解码单元65从每个信道的附加信息编码数据145对附加信息进行解码。
信号输出单元66将由信号编码数据解码单元64解码的信号输出至DAC 42A和42B(参见图4)。
附加信息处理单元67将通过附加信息编码数据解码单元65解码的附加信息输出至附加信息输出单元48(参见图4)。
注意，可在信号编码数据解码单元64中使用附加信息。例如，如图11的示例，存在插入备用音频数据作为附加信息的情况。
<11.解码处理>
图18示出了在图17所示的解码单元43的配置中执行的用于一帧的听觉/触觉编码数据D1的解码处理的流程图。即，在解码处理中，对一帧的比特流进行解码以获得信号和附加信息。
在步骤S201中，解码单元43基于编码数据格式分析输入的听觉/触觉编码数据D1，以获得信道配置ID 132、帧大小133和每个信道数据140。
然后，解码单元43对每个信道数据执行步骤S202至S205的处理。
在步骤S202中，解码单元43确定附加信息标志141是否是“1”。
如果附加信息标志141是“1”，则解码单元43进行到步骤S204。如果附加信息标志141不是“1”，则解码单元43进行到步骤S203。
在步骤S203中，解码单元43对信号编码数据(振动信号编码数据和音频信号编码数据)进行解码。
在步骤S204中，解码单元43针对附加信息ID 143指定的附加信息，从由附加信息记录开始位置142指示的字节位置读出附加信息编码数据，并对该附加信息编码数据进行解码。
在步骤S205中，解码单元43执行作为信号编码数据的用于将所有时间信号设置为0来生成无信号的处理和信号编码数据的解码处理。
例如，当帧的振动信号被设置为不可感知区段并且振动信号的整个区段被设置为附加信息时，振动信号被生成为整个信号被设置为零的无信号。相反，在将附加信息插入作为振动信号编码数据的剩余区域的区段的情况下，存在振动信号编码数据，因此，对振动信号编码数据进行解码。在这些情况中的任一情况下，对音频信号编码数据进行解码。
在步骤S206中，确定所有频道的处理是否已完成。
如果完成所有信道的处理，则解码单元43结束一帧的解码处理，并且如果存在剩余的信道，则进行到步骤S202以对未处理的信道中的一个信道执行处理。
<12.结论和修改示例>
根据以上实施例，可获得以下效果。
在本实施例中，在生成通过多路复用至少包括触觉信号的多个信号而获得的传输数据的比特流的情况下，确定触觉信号的信号传输未要求区段，即，剩余区域的区段或不可察觉区段，并且在存在信号传输未要求区段的情况下，生成除了触觉信号之外的附加信息被插入到信号传输未要求区段的比特流。
因此，可以在不降低信号质量的情况下传输附加信息。即，可在不不必要地减少原始音频信号或触觉信号的信息量或提高压缩率的情况下传输附加信息。
此外，不必提供用于传输附加信息的附加信道等。
注意，例如，信号传输未要求区段不必为一帧中的一个区段，并且可以被划分为多个区段。
此外，一个单位的附加信息不限于被插入到一个连续的信号传输未要求区段中，并且可以被划分和插入到多个信号传输未要求区段中。
在实施例中，作为信号传输未要求区段的示例，已经描述了触觉信号被确定为不可感知的不可感知区段。
首先，在触觉信号是无信号的区段中或者当振幅电平是如预定值或预定值以下的低电平并且不能被人感知时，不需要传输触觉信号。因此，通过设置诸如用于插入附加信息的信号传输未要求区段的区段，可以在不阻碍原始触觉信号的传输的情况下传输附加信息。
在本实施例中，作为信号传输未要求区段的示例，已经描述了由于对触觉信号进行编码而已变成剩余区域的比特区段。
在对触觉信号进行编码时，存在由于编码效率的差异，相对于具有固定长度的最小处理单位(例如，帧)的数据长度，以小数据量生成编码数据的情况。在这种情况下，剩余区域通常用作填充等。用作剩余区域的比特区段被设置为信号传输未要求区段。通过使用这样的用于插入附加信息的区段，可以在不阻碍原始触觉信号的传输的情况下传输附加信息。
注意，通过采用如图16的示例中每帧多次执行信号传输未要求区段的确定的配置，变得更容易获得附加信息插入机会。即，通过采用分别确定不可感知区段和用作剩余区域的比特区段两者的配置，变得更容易插入附加信息。
在本实施例中，已经描述了如下示例：被插入到信号传输未要求区段中的附加信息是要在最小处理单位(例如，下一帧)中与触觉信号多路复用的另一信号的编码数据，该最小处理单位在时间轴方向上比信号传输未要求区段所对应的最小处理单位(帧)晚的时间点。
例如，如参考图11描述的示例，通过将下一个帧的音频编码数据设置为附加信息，能够防止在由于通信条件的劣化引起的数据包丢失而发生声音中断。具体地，再现的声音的中断给终端用户带来极大的不适感，并且因此即使存在数据包丢失也可以继续再现的声音的效果较大。
即，将稍后时间点的帧的另一信号的编码数据插入到触觉信号的信号传输未要求区段对于在数据包丢失等时提高再现质量是有效的。要插入的其他信号不限于音频信号，并且可以是图像信号、文本信号等。
在本实施例中，已经描述了附加信息是文本数据或图像数据的示例。
例如，用于呈现一些信息的文本数据或图像数据被插入到触觉信号的信号传输未要求区段中。因此，文本数据和图像数据可在不符合特殊标准的情况下被传输。例如，如图12所示，可以通过可穿戴扬声器110、电视装置123等容易地显示字符和图像以向终端用户呈现信息。
在本实施例中，已经描述了附加信息是位置或时间的校正数据的示例。
例如，用于终端用户侧的装置的位置校正、时间校正等的数据被预先插入到触觉信号的信号传输未要求区段中。
因此，位置信息或时间信息的校正数据可在不符合特殊标准的情况下被传输。例如，也可将校正数据传输至终端用户侧的装置(诸如图13中的可穿戴扬声器110或电视装置123)以执行时间校正或位置校正。
在本实施例中，已经描述了触觉信号和音频信号被多路复用的示例，但是当然这不是限制性的。例如，在视频信号和触觉信号被多路复用为结合振动的视频内容CT等的情况下，或者在音频信号和视频信号两者都与触觉信号被多路复用的情况下，触觉信号中的信号传输未要求区段可以被用于附加信息的传输。
由于音频信号或视频信号通常是指示连续声音或图像信息的信号，所以通过使用触觉信号侧的信号传输未要求区段来传输附加信息，可在不中断连续声音或视频信息的情况下传输附加信息。
注意，另一触觉信号可以被视为要与该触觉信号多路复用的另一信号。即，在多路复用多个信道的触觉信号的情况下，可以考虑将附加信息插入到触觉信号中的至少一个的信号传输未要求区段中。
此外，不限于视频信号作为运动图像，并且还可应用于将静止图像信号与触觉信号多路复用的情况。
根据本实施例的编码装置14(编码单元23)包括：信号编码单元72，对至少包括触觉信号的多个信号中的每个信号进行编码；附加信息编码单元73，确定触觉信号的编码数据中的信号传输未要求区段，并在存在信号传输未要求区段的情况下对除触觉信号之外的附加信息进行编码并将编码后的附加信息插入到信号传输未要求区段中；以及多路复用单元74，生成通过多路复用包括插入有附加信息的触觉信号的编码数据的多个编码数据而获得的传输数据(参见图8)。
因此，编码装置14可以在将附加信息插入到触觉信号的信号传输未要求区段之后，生成通过对包括触觉信号的多个信号进行多路复用而获得的传输数据。
另外，将指示附加信息的存在/不存在的存在/不存在确定信息添加到传输数据。
例如，如图14和图15所示，在作为最小处理单位的帧的编码格式中，附加信息标记141被设置为指示是否包括附加信息的信息。
这使得在解码时可以容易地和精确地确定该帧是否包括附加信息。
根据本实施例的解码装置19(解码单元43)包括：解多路复用单元62，对通过多路复用至少包括触觉信号的多个信号的编码数据而获得的传输数据进行解多路复用；附加信息确定单元63，确定通过解多路复用获得的触觉信号的编码数据是否包括附加信息；以及附加信息编码数据解码单元65，在确定包括附加信息的情况下，通过对附加信息的编码数据进行解码来获得附加信息(参见图17)。
因此，在附加信息被插入触觉信号的信号传输未要求区段的情况下，解码装置19可以对附加信息的编码数据进行解码。
此外，附加信息确定单元63可以通过使用作为存在/不存在确定信息的附加信息标志141来确定是否包括附加信息，来容易且精确地确定该帧是否包括附加信息。
注意，附加信息可以是以复杂的方式包括文本数据、音频数据、运动图像数据、静止图像数据、触觉数据、振动数据、时间和位置的校正数据、控制数据等的信息。
此外，信号传输未要求区段可以在一帧中作为多个区段存在。在这种情况下，一个单位的附加信息可以被划分并插入到多个区段中。
此外，一个单位的附加信息可以被划分并插入到多个帧的信号传输未要求区段中。
作为本公开的技术，还假设用于使信息处理设备执行包括如实施例所描述的比特流生成的编码处理和解码处理的程序。
例如，程序使信息处理设备执行图16中的编码处理和图18中的解码处理。
根据这样的程序，上述编码装置14和解码装置19可以例如通过便携式终端装置、个人计算机或能够执行信息处理的其他装置来实现。
用于实现编码装置14和解码装置19的这样的程序可以提前记录在作为结合在诸如计算机装置的装置中的记录介质的HDD、包括CPU的微型计算机中的ROM等中。
可选地，程序可以临时或永久地存储(记录)在可移动记录介质中，诸如软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、蓝光盘(注册商标)、磁盘、半导体存储器或存储卡。可以设置这种可移动记录介质作为所谓的封装软件。
此外，这样的程序可以从可移动记录介质安装到个人计算机等，或者可以经由诸如局域网(LAN)或因特网的网络从下载站点下载。
此外，这种程序适于在宽范围中提供实施例的编码装置14和解码装置19。例如，通过将程序下载到便携式终端装置(诸如智能电话或平板电脑、移动电话、个人计算机、游戏装置、视频装置、个人数字助理(PDA)等)，可以使智能电话等用作本公开的编码装置14和解码装置19。
注意，在本说明书中描述的效果仅作为示例示出，而不是限制性地，并且还可以存在其他效果。
注意，本技术还可以采用以下配置。
(1)一种比特流生成方法，用于生成多路复用至少包括触觉信号的多个信号的传输数据的比特流，该比特流生成方法包括：
确定触觉信号的信号传输未要求区段，并且在存在信号传输未要求区段的情况下，生成除了触觉信号之外的附加信息被插入到信号传输未要求区段的比特流。
(2)根据上述(1)的比特流生成方法，其中，
信号传输未要求区段是触觉信号被确定为不可感知信号的区段。
(3)根据上述(1)或(2)的比特流生成方法，其中，
信号传输未要求区段是由于对触觉信号进行编码而已变成剩余区域的比特区段。
(4)根据(1)至(3)中任一项的比特流生成方法，其中，
被插入到信号传输未要求区段中的附加信息是要在最小处理单位中与触觉信号多路复用的另一信号的编码数据，该最小处理单位在时间轴方向上比信号传输未要求区段所对应的最小处理单位晚的时间点。
(5)根据(1)至(4)中任一项的比特流生成方法，其中，
附加信息是文本数据或图像数据。
(6)根据(1)至(5)中任一项的比特流生成方法，其中，
附加信息是位置或时间的校正数据。
(7)根据(1)至(6)中任一项的比特流生成方法，其中，
与触觉信号多路复用的信号是音频信号或图像信号。
(8)一种编码装置，包括：
信号编码单元，其对至少包括触觉信号的多个信号中的每个信号进行编码；
附加信息编码单元，其确定触觉信号的编码数据中的信号传输未要求区段，并且在存在信号传输未要求区段的情况下对除了触觉信号之外的附加信息进行编码并将编码后的附加信息插入到信号传输未要求区段中；以及
多路复用单元，生成通过多路复用包括插入有附加信息的触觉信号的编码数据的多个编码数据而获得的传输数据。
(9)根据上述(8)的编码装置，其中，
将指示附加信息的存在/不存在的存在/不存在确定信息添加到传输数据。
(10)一种解码装置，包括：
解多路复用单元，其解多路复用通过多路复用至少包括触觉信号的多个信号的编码数据而获得的传输数据；
附加信息确定单元，确定通过解多路复用获得的触觉信号的编码数据是否包括附加信息；以及
附加信息编码数据解码单元，在确定包括附加信息的情况下，通过对附加信息的编码数据进行解码来获得附加信息。
(11)根据上述(10)的解码装置，其中，
指示附加信息的存在/不存在的存在/不存在确定信息被添加到传输数据数据；并且
附加信息确定单元通过使用该存在/不存在确定信息来确定是否包括附加信息。
此外，本技术还可以采用以下配置。
(12)一种使信息处理设备执行处理的程序，该处理用于：
当生成多路复用至少包括触觉信号的多个信号的传输数据的比特流时，
确定触觉信号的信号传输未要求区段，并且在存在信号传输未要求区段的情况下，生成除了触觉信号之外的附加信息被插入到信号传输未要求区段的比特流。
参考标记列表
11 听觉/触觉记录系统
12 音频记录装置
13 触觉记录装置
14 编码装置
15 听觉/触觉传输装置
16 听觉/触觉再现系统
17 声音再现装置
18 触觉再现装置
23 编码单元
28 附加信息输入单元
43 解码单元
61 编码数据输入单元
62 解多路复用单元
63 附加信息确定单元
64 信号编码数据解码单元
65 附加信息编码数据解码单元
66 信号输出单元
67 附加信息处理单元
71 信号输入单元
72 信号编码单元
73 附加信息编码单元
74 多路复用单元
110 可穿戴扬声器
123 电视装置
130 帧数据
140 信道数据
141 附加信息标志
142 附加信息记录开始位置
143 附加信息ID
144 信号编码数据
145 附加信息编码数据。

Claims (11)

1.一种比特流生成方法，用于生成多路复用至少包括触觉信号的多个信号的传输数据的比特流，所述比特流生成方法包括：
确定所述触觉信号的信号传输未要求区段，并且在存在所述信号传输未要求区段的情况下，生成除了所述触觉信号之外的附加信息被插入到所述信号传输未要求区段的所述比特流。
2.根据权利要求1所述的比特流生成方法，其中，所述信号传输未要求区段是所述触觉信号被确定为不可感知信号的区段。
3.根据权利要求1所述的比特流生成方法，其中，所述信号传输未要求区段是由于对所述触觉信号进行编码而已变成剩余区域的比特区段。
4.根据权利要求1所述的比特流生成方法，其中，
被插入到所述信号传输未要求区段中的所述附加信息是要在最小处理单位中与所述触觉信号多路复用的另一信号的编码数据，所述最小处理单位在时间轴方向上比所述信号传输未要求区段所对应的最小处理单位晚的时间点。
5.根据权利要求1所述的比特流生成方法，其中，所述附加信息是文本数据或图像数据。
6.根据权利要求1所述的比特流生成方法，其中，所述附加信息是位置或时间的校正数据。
7.根据权利要求1所述的比特流生成方法，其中，与所述触觉信号多路复用的信号是音频信号或图像信号。
8.一种编码装置，包括：
信号编码单元，对至少包括触觉信号的多个信号中的每个信号进行编码；
附加信息编码单元，确定所述触觉信号的编码数据中的信号传输未要求区段，并且在存在所述信号传输未要求区段的情况下对除了所述触觉信号之外的附加信息进行编码并将编码后的所述附加信息插入到所述信号传输未要求区段中；以及
多路复用单元，生成通过多路复用包括插入有所述附加信息的所述触觉信号的编码数据的多个编码数据而获得的传输数据。
9.根据权利要求8所述的编码装置，其中，将指示所述附加信息的存在/不存在的存在/不存在确定信息添加到所述传输数据。
10.一种解码装置，包括：
解多路复用单元，解多路复用通过多路复用至少包括触觉信号的多个信号的编码数据而获得的传输数据；
附加信息确定单元，确定通过所述解多路复用获得的所述触觉信号的编码数据是否包括附加信息；以及
附加信息编码数据解码单元，在确定包括所述附加信息的情况下，通过对所述附加信息的编码数据进行解码来获得所述附加信息。
11.根据权利要求10所述的解码装置，其中，
指示所述附加信息的存在/不存在的存在/不存在确定信息被添加到所述传输数据；并且
所述附加信息确定单元通过使用所述存在/不存在确定信息来确定是否包括所述附加信息。
CN202180017669.XA 2020-03-05 2021-01-28 比特流生成方法、编码装置和解码装置 Pending CN115190990A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-037687 2020-03-05
JP2020037687 2020-03-05
PCT/JP2021/003093 WO2021176904A1 (ja) 2020-03-05 2021-01-28 ビットストリーム生成方法、符号化装置、復号装置

Publications (1)

Publication Number Publication Date
CN115190990A true CN115190990A (zh) 2022-10-14

Family

ID=77614022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180017669.XA Pending CN115190990A (zh) 2020-03-05 2021-01-28 比特流生成方法、编码装置和解码装置

Country Status (5)

Country Link
US (1) US20230122545A1 (zh)
JP (1) JPWO2021176904A1 (zh)
CN (1) CN115190990A (zh)
DE (1) DE112021001487T5 (zh)
WO (1) WO2021176904A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210119964A (ko) * 2019-02-01 2021-10-06 소니그룹주식회사 복호 장치, 복호 방법 및 프로그램
WO2023105749A1 (ja) * 2021-12-10 2023-06-15 株式会社ソニー・インタラクティブエンタテインメント 力覚提示装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62178032A (ja) * 1986-01-31 1987-08-05 Toshiba Corp 複合端末装置
JPH03210845A (ja) * 1990-01-16 1991-09-13 Hitachi Ltd 音声伝送方式
US8527267B2 (en) * 2008-12-04 2013-09-03 Linear Accoustic, Inc. Adding additional data to encoded bit streams
JP5682536B2 (ja) * 2011-10-24 2015-03-11 株式会社Ｊｖｃケンウッド 送信装置、受信装置、送信方法、受信方法
GB2500287B (en) * 2012-11-02 2014-04-16 Broadcom Corp Method and apparatus for improving transmission resource utilization
EP2806353B1 (en) * 2013-05-24 2018-07-18 Immersion Corporation Method and system for haptic data encoding
EP3065410B1 (en) * 2013-11-01 2019-02-06 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method

Also Published As

Publication number Publication date
DE112021001487T5 (de) 2023-01-12
WO2021176904A1 (ja) 2021-09-10
US20230122545A1 (en) 2023-04-20
JPWO2021176904A1 (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
KR101844388B1 (ko) 개인용 오디오의 전달을 위한 시스템들 및 방법들
JP5541928B2 (ja) オーディオ信号の処理方法及び装置
EP3311379B1 (en) Loudness control for user interactivity in audio coding systems
US7680451B2 (en) Method and apparatus for providing a motion signal with a sound signal using an existing sound signal encoding format
KR101761041B1 (ko) 음량 및 동적 범위 제어에 대한 메타데이터
JP3822224B1 (ja) 情報提供システム
CN102812651B (zh) 发送装置及方法
ES2814900T3 (es) Descodificación de una señal de audio codificada usando perfiles DRC
EP2268012A2 (en) Display device with object-oriented stereo sound coordinate display
JP5319704B2 (ja) オーディオ信号の処理方法及び装置
US20230122545A1 (en) Bit stream generation method, encoding device, and decoding device
JP3834579B1 (ja) 情報提供システム
CN112470104B (zh) 编码设备、编码方法、解码设备、解码方法、发送系统、接收设备和程序
CN101167255A (zh) 编码运动信号与声信号的方法和设备
US20230091281A1 (en) Method and device for processing audio signal, using metadata
CN107005591B (zh) 数据处理设备、数据处理方法及程序
JP5909100B2 (ja) ラウドネスレンジ制御システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラム
US20150228286A1 (en) Processing Audio Objects in Principal and Supplementary Encoded Audio Signals
WO2021176842A1 (ja) 復号装置、復号方法、プログラム、符号化装置、符号化方法
JPWO2019069710A1 (ja) 符号化装置および方法、復号装置および方法、並びにプログラム
JP2007195105A (ja) 音情報を利用した携帯情報端末による情報取得支援システム及び情報取得方法
WO2021124903A1 (ja) 信号処理装置および方法、並びにプログラム
US20220092952A1 (en) Decoding device, decoding method, and program
US20220103948A1 (en) Method and system for performing audio ducking for headsets
WO2016009850A1 (ja) 音声信号再生装置、音声信号再生方法、プログラム、および、記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination