CN113196790A - 发送设备、发送方法、接收设备和接收方法 - Google Patents

发送设备、发送方法、接收设备和接收方法 Download PDF

Info

Publication number
CN113196790A
CN113196790A CN201980084062.6A CN201980084062A CN113196790A CN 113196790 A CN113196790 A CN 113196790A CN 201980084062 A CN201980084062 A CN 201980084062A CN 113196790 A CN113196790 A CN 113196790A
Authority
CN
China
Prior art keywords
signal
transmission
channel
channels
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980084062.6A
Other languages
English (en)
Other versions
CN113196790B (zh
Inventor
市村元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113196790A publication Critical patent/CN113196790A/zh
Application granted granted Critical
Publication of CN113196790B publication Critical patent/CN113196790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43632—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明的目的是良好地发送触觉振动信号。音频信号用的多个帧形成的每个块的发送信号通过预定发送线路被顺次地发送到接收侧。发送信号包括具有预定通道数的触觉振动信号。例如，触觉振动信号是基于与音频信号相关的媒体信号生成的。例如，具有预定通道数的触觉振动信号的配置信息被添加到发送信号。例如，配置信息是通过使用为每个块配置的通道状态的预定的位区域添加的。

Description

发送设备、发送方法、接收设备和接收方法
技术领域
本技术涉及发送设备、发送方法、接收设备和接收方法，并且更具体地，涉及处理触觉振动信号的发送设备、发送方法、接收设备和接收方法。
背景技术
诸如5.1通道音频应用和7.1通道音频应用之类的多通道音频应用是通过命名通道以识别每个通道的使用来操作的。通道例如是右通道、左通道、中央通道、低频音效(LFE)通道等。期望这些被输送到布置在由它们的名称指示的位置处的扬声器并被再现为声音。
近年来，提出了多媒体应用，包括与音频-视频同步使用的触觉振动应用等。例如，专利文献1描述了用于发送触觉振动信号(触觉信号)，并在接收侧基于触觉振动信号使振动部振动的技术。
引文列表
专利文献
专利方向1：日本专利申请公开No.2018-060313
发明内容
本发明要解决的问题
在与音频-视频同步使用的触觉振动应用中，期望与音频信号同步地发送触觉振动信号。此外，还存在不要求音频信号的应用以及想要发送许多触觉振动信号通道的应用。
本技术的目的是满意地发送触觉振动信号。
问题的解决方案
本技术的概念在于
一种发送设备，包括
发送单元，该发送单元将音频信号用的包括多个帧的每个块的发送信号经由预定发送线路顺次地发送到接收侧，其中
发送信号包括预定通道数的触觉振动信号。
在本技术中，发送单元将音频信号用的包括多个帧的每个块的发送信号经由预定发送线路顺次地发送到接收侧。这里，发送信号包括预定通道数的触觉振动信号。例如，预定发送线路可以包括同轴线缆、光缆、以太网(IEC 61883-6)线缆、HDMI线缆、MHL线缆或者显示端口线缆。
例如，还可以包括信息添加单元，该信息添加单元将预定通道数的触觉振动信号的配置信息添加到发送信号。在这种情况下，例如，配置信息可以包括关于触觉振动信号的采样频率的信息、关于触觉振动信号的位数的信息、关于预定通道数的信息，或指示振动部位信息的有无的信息。例如，可以通过使用为每个块配置的通道状态的预定的位区域来添加配置信息。
如上所述，在本技术中，音频信号用的包括多个帧的每个块的发送信号经由预定发送线路被顺次地发送到接收侧，并且发送信号包括预定通道数的触觉振动信号。因此，可以通过使用音频信号用的发送信号来满意地发送预定通道数的触觉振动信号。
此外，本技术的另一个概念在于
一种接收设备，包括
接收单元，该接收单元经由预定发送线路从发送侧顺次地接收音频信号用的包括多个帧的每个块的发送信号，其中
发送信号包括预定通道数的触觉振动信号。
在本技术中，接收单元经由预定发送线路从发送侧顺次地接收音频信号用的包括多个帧的每个块的发送信号。这里，发送信号包括预定通道数的触觉振动信号。例如，预定发送线路可以包括同轴线缆、光缆、以太网(IEC 61883-6)线缆、HDMI线缆、MHL线缆或者显示端口线缆。
例如，还可以包括处理单元，该处理单元处理发送信号，并输出预定通道数的触觉振动信号。另外，在这种情况下，例如，发送信号可以包括预定通道数的触觉振动信号的配置信息，并且处理单元可以基于配置信息处理发送信号，并输出预定通道数的触觉振动信号。此外，例如，可以通过使用为每个块配置的通道状态的预定的位区域来添加配置信息。
如上所述，在本技术中，经由预定发送线路从发送侧顺次地接收音频信号用的包括多个帧的每个块的发送信号，并且发送信号包括预定通道数的触觉振动信号。因此，可以通过使用音频信号用的发送信号来满意地接收预定通道数的触觉振动信号。
附图说明
图1是图示作为实施例的AV系统的配置示例的框图。
图2是通过比较来图示视频信号、音频信号和触觉振动信号的动态范围、采样频率、连续/不连续和维度的示例的示图。
图3是图示电视接收器的HDMI接收单元和音频放大器的HDMI发送单元的配置示例的框图。
图4是图示在TMDS通道中发送宽度×长度为1920像素×1080行的图像数据的情况下的各种发送数据段(section)的示图。
图5是图示HDMI连接器的引脚布置的示图。
图6是图示电视接收器的高速总线接口的配置示例的示图。
图7是图示音频放大器的高速总线接口的配置示例的示图。
图8是图示IEC 60958标准中的帧配置的示图。
图9是图示IEC 60958标准中的子帧配置的示图。
图10是图示IEC 60958标准中的信号调制系统的示图。
图11是图示IEC 60958标准中的前导码(preamble)的通道编码的示图。
图12是图示多通道发送格式中的帧配置的示例的示图。
图13是示意性地图示IEC 60958标准中的通道状态的格式的示图。
图14是图示多通道配置的值与由该值指示的音频通道组之间的对应关系的示图。
图15是图示指定每个高度的扬声器的数目的分组的示例的示图。
图16是图示指定相对于多通道组中的发送次序发送哪个编号的音频通道的分组的示例的示图。
图17是图示指定多通道发送格式中的多通道组1至4的方法的具体示例的示图。
图18是图示在同时发送多通道音频信号和预定通道数的触觉振动信号的情况下的多通道发送格式的帧配置的示例的示图。
图19是图示包括5.1通道音频和2通道触觉振动信号的发送信号的示图。
图20是用于说明通过第二方法来指定用于同时发送多通道音频信号和预定通道数的触觉振动信号的多通道子组的示例的示图。
图21是图示在发送预定通道数的触觉振动信号的情况下的多通道发送格式(多触觉信号格式)的帧配置的示例的示图。
图22是用于说明子帧中的24位时隙(slot)按8位被划分为三个，并且分配3通道触觉振动信号的示图。
图23是图示LPCM格式与多触觉信号之间的对应的示例的示图。
图24是示意性地图示IEC 60958标准中的通道状态的格式的示图。
图25是图示“多通道配置值”的值与触觉振动信号模式之间的对应关系的示例的示图。
图26是图示“多通道配置值”的值与触觉振动信号模式之间的对应关系的另一示例的示图。
图27是图示预先规定的32通道振动部位的示例的示图。
图28是用于说明本技术可应用于的AV系统的另一配置示例的示图。
具体实施方式
下面将说明实现本发明的方式(下面称为“实施例”)。注意，将按照以下顺序进行说明。
1.实施例
2.变形例
<1.实施例>
[AV系统的配置示例]
图1图示作为实施例的音频/视觉(AV)系统10的配置示例。AV系统10包括电视接收器100和音频放大器200。电视广播的接收天线121、蓝光光盘(BD)播放器122和互联网123连接到电视接收器100。此外，2通道或多通道扬声器系统250以及1通道或多通道振动系统260连接到音频放大器200。注意，“蓝光”是注册商标。
电视接收器100和音频放大器200经由HMDI线缆300连接。注意，“HDMI”是注册商标。电视接收器100设置有HDMI端子101，HDMI接收单元(HDMI RX)102和构成通信单元的高速总线接口103连接到HDMI端子101。音频放大器200设置有HDMI端子201，HDMI发送单元(HDMI TX)202和构成通信单元的高速总线接口203连接到HDMI端子201。HDMI线缆300的一端连接到电视接收器100的HDMI端子101，并且HDMI线缆300的另一端连接到音频放大器200的HDMI端子201。
电视接收器100包括HDMI接收单元102、高速总线接口103和SPDIF发送电路104。此外，电视接收器100包括系统控制器105、数字广播接收电路107、内容再现电路108、显示单元109和以太网接口110。注意，“以太网”以及“Ethernet”是注册商标。此外，在图示的示例中，为了简化说明，适当省略了图像系统的每个部分。
系统控制器105控制电视接收器100的每个部分的操作。数字广播接收电路107处理从接收天线121输入的电视广播信号，以输出与广播内容相关的第一模式信号(视频信号、多通道音频信号(线性PCM信号)和预定通道数的触觉振动信号)或第二模式信号(预定通道数的触觉振动信号)。
这里，多通道音频信号包括多个通道数的音频信号。此外，与第一模式信号相关的预定通道数的触觉振动信号用于获得与视频或音频同步的振动。另外，与第二模式信号相关的预定通道数的触觉振动信号用于获得例如不直接与视频或音频相关的按摩、治疗等的振动。
以太网接口110经由互联网123与外部服务器通信，以输出与网络内容相关的第一模式信号(视频信号、多通道音频信号(线性PCM信号)和预定通道数的触觉振动信号)或第二模式信号(预定通道数的触觉振动信号)。
此外，BD播放器122通过重放操作来输出与再现的内容相关的第一模式信号(视频信号、多通道音频信号(线性PCM信号)和预定通道数的触觉振动信号)或第二模式信号(预定通道数的触觉振动信号)。
内容再现电路108选择性地提取由数字广播接收电路107、以太网接口110或BD播放器122获得的第一模式信号或第二模式信号。
内容再现电路108随后在提取第一模式信号的情况下将视频信号发送到显示单元109。显示单元109显示基于该视频信号的图像。
此外，在提取第一模式信号的情况下，内容再现电路108将多通道音频信号和预定通道数的触觉振动信号发送到SPDIF发送电路104。SPDIF发送电路104同时将多通道音频信号(线性PCM信号)和预定通道数的触觉振动信号发送到音频放大器200。
此外，在提取第二模式信号的情况下，内容再现电路108将预定通道数的触觉振动信号发送到SPDIF发送电路104。SPDIF发送电路104将预定通道数的触觉振动信号发送到音频放大器200。
SPDIF发送电路104是用于发送IEC 60958标准的数字音频发送信号(下面适当地称为“SPDIF信号”)的电路。该SPDIF发送电路104是符合IEC 60958标准的发送电路。注意，SPDIF信号的细节将在后面说明。
如上所述，SPDIF发送电路104在处理第一模式信号的情况下，将多通道音频信号(线性PCM信号)和预定通道数的触觉振动信号发送到音频放大器200，而在处理第二模式信号的情况下，只将预定通道数的触觉振动信号发送到音频放大器200。
这种情况下，作为SPDIF信号，包括多个帧(这里192帧)的每个块的发送信号被顺次地发送。此外，发送信号包括与第一模式信号相关的多通道音频信号和预定通道数的触觉振动信号，或者与第二模式信号相关的预定通道数的触觉振动信号。
与第一模式信号相关的多通道音频信号和预定通道数的触觉振动信号或与第二模式信号相关的预定通道数的触觉振动信号的配置信息被添加到发送信号中。例如，该配置信息是通过使用为每个块配置的通道状态的预定的位区域来添加的。
HDMI接收单元102通过符合HDMI的通信来接收经由HDMI线缆300供给到HDMI端子101的视频数据和音频数据。高速总线接口103是通过使用构成HDMI线缆300的备用线和热插拔检测(HPD)线配置的双向通信路径接口。注意，HDMI接收单元102和高速总线接口103的细节将在后面说明。
音频放大器200包括HDMI发送单元202、高速总线接口203和SPDIF接收电路204。此外，音频放大器200包括系统控制器205、音频放大器208、振动放大器209和以太网接口210。
系统控制器205控制音频放大器200的每个部分的操作。HDMI发送单元202通过符合HDMI的通信将视频数据和音频数据从HDMI端子201发送到HDMI线缆300。高速总线接口203是通过使用构成HDMI线缆300的备用线和热插拔检测(HPD)线配置的双向通信路径接口。注意，HDMI发送单元202和高速总线接口203的细节将在后面说明。
SPDIF接收电路204接收作为SDPIF信号(IEC 60958标准的数字音频信号)的发送信号，并获取包含在发送信号中的与第一模式信号相关的多通道音频信号和预定通道数的触觉振动信号，或与第二模式信号相关的预定通道数的触觉振动信号。这种情况下，SPDIF接收电路204基于包含在发送信号中的配置信息来提取与第一模式信号相关的多通道音频信号和预定通道数的触觉振动信号，或与第二模式信号相关的预定通道数的触觉振动信号。
音频放大器208针对每个通道放大由SPDIF接收电路204提取的与第一模式信号相关的多通道音频信号，并将多通道音频信号发送到扬声器系统250，扬声器系统250包括与通道对应的扬声器。利用该配置，扬声器系统250基于多通道音频信号执行音频再现。
此外，振动放大器209针对每个通道放大由SPDIF接收电路204提取的与第一模式信号相关的预定通道数的触觉振动信号或与第二模式信号相关的预定通道数的触觉振动信号，并将触觉振动信号发送到振动系统260，振动系统260包括与通道对应的振动设备。利用该配置，振动系统260基于预定通道数的触觉振动信号执行振动再现。
这种情况下，如上所述，在处理第一模式信号的情况下，由于预定通道数的触觉振动信号是与多通道音频信号同时发送的，因此该振动再现与音频再现正确地同步，并且还与电视接收器100的显示单元109上的视频显示同步。此外，在处理第二模式信号的情况下，由于只发送预定通道数的触觉振动信号，因此不执行音频再现，并且例如只执行按摩、治疗等的振动再现。
图2通过比较来图示视频信号、音频信号和触觉振动信号的动态范围、采样频率、连续/不连续以及维度的示例。视频信号是动态范围为48-96dB，采样频率为60Hz，并且不连续的二维或三维的信号。此外，音频信号是动态范围为96dB-144dB，采样频率为48kHz，并且连续的一维的信号。
此外，触觉振动信号是动态范围为40-60dB，采样频率为2kHz，并且连续的一维的信号。如上所述，类似于音频信号，触觉振动信号是具有高采样频率的连续信号。因此，如上所述，通过使用用于音频信号的发送线路来发送触觉振动信号，使得可以简单且容易地发送触觉振动信号。
注意，如上所述，触觉振动信号被认为具有40-60dB的动态范围和DC-1kHz的频带，与视频信号相比更接近音频信号。能够发送线性PCM的数字音频接口也可以发送触觉振动信号。这种情况下，关于DC区域，可以用加号表示“推”，用减号表示“拉”或“拖”。
“HDMI发送单元/接收单元的配置示例”
图3图示了图1的AV系统10中的电视接收器100的HDMI接收单元102和音频放大器200的HDMI发送单元202的配置示例。
在有效图像部分(以下适当地称为“活动视频部分”)中，HDMI发送单元202通过多个通道沿一个方向将一个画面的基带(未压缩)图像数据的差分信号发送到HDMI接收单元102，有效图像部分是通过从由某个垂直同步信号到下一个垂直同步信号的部分(以下适当地称为“视频场(video field)”)中排除水平消隐时段和垂直消隐时段而获得的部分。此外，在水平消隐时段和垂直消隐时段中，HDMI发送单元202通过多个通道在一个方向上将与伴随图像数据的音频数据和控制分组(Control Packet)、其他辅助数据等对应的差分信号发送到HDMI接收单元102。
HDMI发送单元202包括源信号处理单元71和HDMI发送器72。基带未压缩图像(Video)数据和音频(Audio)数据被供给到源信号处理单元71。源信号处理单元71对供给的图像数据和音频数据执行需要的处理，并将图像数据和音频数据供给到HDMI发送器72。另外，源信号处理单元71根据需要与HDMI发送器72交换控制信息、通知状态的信息(Control/Status)等。
HDMI发送器72将从源信号处理单元71供给的图像数据转换成对应的差分信号，并通过作为多个通道的三个TMDS通道#0、#1和#2沿一个方向将差分信号发送到经由HDMI线缆300连接的HDMI接收单元102。
另外，由发送器72和源信号处理单元71供给的伴随未压缩图像数据的音频数据、控制分组和其他辅助数据(auxiliary data)，以及诸如垂直同步信号(VSYNC)和水平同步信号(HSYNC)之类的控制数据(control data)被转换成对应的差分信号，并且通过三个TMDS通道#0、#1和#2沿一个方向被发送到经由HDMI线缆300连接的HDMI接收单元102。
此外，发送器72通过TMDS时钟通道将与通过三个TMDS通道#0、#1和#2发送的图像数据同步的像素时钟发送到经由HDMI线缆300连接的HDMI接收单元102。
HDMI接收单元102在活动视频部分中接收通过多个通道从HDMI发送单元202沿一个方向发送的与图像数据对应的差分信号，并且还在水平消隐时段和垂直消隐时段中接收通过多个通道从HDMI发送单元202发送的与辅助数据和控制数据对应的差分信号。
HDMI接收单元102包括HDMI接收器81和信宿(sink)信号处理单元82。HDMI接收器81与类似地从HDMI发送单元202通过TMDS时钟通道发送的像素时钟同步地接收通过TMDS通道#0、#1和#2从经由HDMI线缆300连接的HDMI发送单元202沿一个方向发送的与图像数据对应的差分信号，以及与辅助数据和控制数据对应的差分信号。此外，HDMI接收器81将差分信号转换成对应的图像数据、辅助数据和控制数据，并根据需要将图像数据、辅助数据和控制数据供给到信宿信号处理单元82。
信宿信号处理单元82对从HDMI接收器81供给的数据执行需要处理，并输出该数据。另外，信宿信号处理单元82根据需要与HDMI接收器81交换控制信息、通知状态的信息(Control/Status)等。
除了用于与像素时钟同步地从HDMI发送单元202向HDMI接收单元102沿一个方向串行发送图像数据、辅助数据和控制数据的三个TMDS通道#0、#1和#2以及作为用于发送像素时钟的发送通道的TMDS时钟通道之外，HDMI发送通道还包括显示数据通道(DDC)83和称为CEC线路84的发送通道。
DDC 83包括包含在HDMI线缆300中的未图示的两条线路(信号线)，并且被用于使得源设备从经由HDMI线缆300连接的信宿设备读取增强-扩展显示标识(E-EDID)。即，信宿设备包括EDID ROM 85。源设备经由DDC 83从经由HDMI线缆300连接的信宿设备读取存储在EDID ROM 85中的E-EDID，并且基于E-EDID识别信宿设备的设定和性能。
CEC线路84包括包含在HDMI线缆300中的未图示的一条线路，并且被用于源设备与信宿设备之间的控制数据的双向通信。
此外，HDMI线缆300还包括连接到被称为热插拔检测(HPD)的引脚的线路86。源设备可以通过使用线路86检测信宿设备的连接。此外，HDMI线缆300还包括用于从源设备向信宿设备供电的线路87。另外，HDMI线缆300包括备用线路88。
图4图示在TMDS通道中发送宽度×长度为1920像素×1080行的图像数据的情况下的各种发送数据部分。在发送数据通过三个HDMI TMDS通道被发送的视频场(Video Field)中，取决于发送数据的类型，存在三种类型的部分，即，视频数据部分24(Video DataPeriod)、数据岛部分25(Data Island Period)和控制部分26(Control Period)。
这里，视频场部分是从某个垂直同步信号的上升沿(Active Edge)到下一个垂直同步信号的上升沿(Active Edge)的部分，并且被划分为水平回扫周期22(HorizontalBlanking)、垂直回扫周期23(Vertical Blanking)和有效像素部分21(Active Video)，有效像素部分21是通过从视频场部分中排除水平回扫周期和垂直回扫周期而获得的部分。
视频数据部分24被分配给有效像素部分21。在该视频数据部分24中，发送具有构成未压缩的一个画面的图像数据的1920像素(pixel)×1080行的有效像素(Active Pixel)的数据。数据岛部分25和控制部分26被分配给水平回扫周期22和垂直回扫周期23。在数据岛部分25和控制部分26中，发送辅助数据(Auxiliary Data)。
即，数据岛部分25被分配给水平回扫周期22和垂直回扫周期23的一部分。在数据岛部分25中，例如发送辅助数据中作为与控制无关的数据的音频数据的分组等。控制部分26被分配给水平回扫周期22和垂直回扫周期23的其他部分。在控制部分26中，例如发送辅助数据中作为与控制有关的数据的垂直同步信号、水平同步信号和控制分组等。
图5图示HDMI连接器的引脚布置。该引脚布置是类型A(type-A)的示例。充当发送作为TMDS通道#i的差分信号的TMDS Data#i+和TMDS Data#i-的差分线路的两条线路连接到分配有TMDS Data#i+的引脚(具有引脚编号1、4和7的引脚)，和分配有TMDS Data#i-的引脚(具有引脚编号3、6和9的引脚)。
此外，发送作为控制数据的CEC信号的CEC线路84连接到具有引脚编号13的引脚，并且具有引脚编号14的引脚为空闲(备用)引脚。另外，发送E-EDID等的串行数据(SDA)信号的线路连接到具有引脚编号16的引脚，并且发送作为在SDA信号的发送/接收时用于同步的时钟信号的串行时钟(SCL)信号的线路连接到具有引脚编号15的引脚。上述DDC 83包括发送SDA信号的线路和发送SCL信号的线路。
此外，如上所述，用于源设备检测信宿设备的连接的HPD线路86连接到具有引脚编号19的引脚。另外，如上所述，用于供电的电源线87连接到具有引脚编号18的引脚。
“高速总线接口的配置示例”
图6图示图1的AV系统10中的电视接收器100的高速总线接口103的配置示例。以太网接口110通过使用构成HDMI线缆300的多个线路中的包括一对线路的发送线路执行局域网(LAN)通信，即，以太网信号的发送和接收，该一对线路包括备用线路和HPD线路。SPDIF发送电路104通过使用上述包括一对线路的发送线路来发送SPDIF信号。
电视接收器100包括LAN信号发送电路441、端接电阻器442、AC耦合电容器443和444、LAN信号接收电路445、减法电路446、加法电路449和450、以及放大器451。这些构成高速总线接口103。此外，电视接收器100包括构成插头连接发送电路128的扼流(choke)线圈461以及电阻器462和463。
AC耦合电容器443、端接电阻器442和AC耦合电容器444的串联电路连接在HDMI端子101的14引脚端子521和19引脚端子522之间。此外，电阻器462和463的串联电路连接在电源线(+5.0V)和接地线之间。另外，电阻器462和463之间的连接点经由扼流线圈461连接到19引脚端子522与AC耦合电容器444之间的连接点Q4。
AC耦合电容器443与端接电阻器442之间的连接点P3连接到加法电路449的输出侧并且还连接到LAN信号接收电路445的正输入侧。此外，AC耦合电容器444与端接电阻器442之间的连接点P4连接到加法电路450的输出侧并且还连接到LAN信号接收电路445的负输入侧。
加法电路449的一个输入侧连接到LAN信号发送电路441的正输出侧，并且从SPDIF发送电路104输出的SPDIF信号经由放大器451被供给到加法电路449的另一个输入侧。此外，加法电路450的一个输入侧连接到LAN信号发送电路441的负输出侧，并且从SPDIF发送电路104输出的SPDIF信号经由放大器451被供给到加法电路450的另一个输入侧。
发送信号(发送数据)SG417从以太网接口110被供给到LAN信号发送电路441的输入侧。此外，LAN信号接收电路445的输出信号SG418被供给到减法电路446的正侧端子，并且发送信号SG417被供给到减法电路446的负侧端子。在该减法电路446中，从LAN信号接收电路445的输出信号SG418中减去发送信号SG417，并且获得接收信号(接收数据)SG419。在LAN信号(以太网信号)作为差分信号经由备用线路和HPD线路发送的情况下，接收信号SG419是该LAN信号。接收信号SG419被供给到以太网接口110。
图7图示图1的AV系统10中的音频放大器200的高速总线接口203的配置示例。以太网接口210通过使用构成HDMI线缆610的多个线路中的包括一对线路的发送线路执行局域网(LAN)通信，即，以太网信号的发送和接收，该一对线路包括备用线路和HPD线路。SPDIF接收电路204通过使用上述包括一对线路的发送线路来接收SPDIF信号。
音频放大器200包括LAN信号发送电路411、端接电阻器412、AC耦合电容器413和414、LAN信号接收电路415、减法电路416、加法电路419、以及放大器420。这些构成高速总线接口203。此外，音频放大器200包括构成插头连接检测电路221的下拉电阻器431、电阻器432、电容器433和比较器434。这里，电阻器432和电容器433构成低通滤波器。
AC耦合电容器413、端接电阻器412和AC耦合电容器414的串联电路连接在HDMI端子201的14引脚端子511和19引脚端子512之间。AC耦合电容器413和端接电阻器412之间的连接点P1连接到LAN信号发送电路411的正输出侧，并且还连接到LAN信号接收电路415的正输入侧。
AC耦合电容器414和端接电阻器412之间的连接点P2连接到LAN信号发送电路411的负输出侧，并且连接到LAN信号接收电路415的负输入侧。发送信号(发送数据)SG411从以太网接口210被供给到LAN信号发送电路411的输入侧。
LAN信号接收电路415的输出信号SG412被供给到减法电路416的正侧端子，并且发送信号(发送数据)SG411被供给到减法电路416的负侧端子。在该减法电路416中，从LAN信号接收电路415的输出信号SG412中减去发送信号SG411，并且获得接收信号SG413。在LAN信号(以太网信号)作为差分信号经由备用线路和HPD线路发送的情况下，接收信号SG413是该LAN信号。接收信号SG 413被供给到以太网接口210。
AC耦合电容器414和19引脚端子512之间的连接点Q2经由下拉电阻器431连接到接地线，并且还经由电阻器432和电容器433的串联电路连接到接地线。另外，在电阻器432和电容器433之间的连接点获得的低通滤波器的输出信号被供给到比较器434的一个输入端子。在该比较器434中，比较低通滤波器的输出信号与供给到另一输入端子的基准电压Vref2(+1.4V)。比较器434的输出信号SG415被供给到未图示的音频放大器200的控制单元(CPU)。
此外，AC耦合电容器413和端接电阻器412之间的连接点P1连接到加法电路419的一个输入端子。另外，AC耦合电容器414和端接电阻器412之间的连接点P2连接到加法电路419的另一个输入端子。加法电路419的输出信号经由放大器420被供给到SPDIF接收电路204。在SPDIF信号作为同相信号经由备用线路和HPD线路发送的情况下，加法电路419的输出信号是该SPDIF信号。
“SPDIF信号的细节”
首先，将描述IEC 60958标准的概况。图8图示IEC 60958标准中的帧配置。每个帧包括2个子帧。在2通道立体声音频的情况下，第一子帧包括左通道信号，并且第二子帧包括右通道信号。
如后所述，在子帧的头部设置前导码，“M”作为前导码被赋予左通道信号，“W”作为前导码被赋予右通道信号。然而，表示块的开始的“B”被赋予给在每192帧的头部的前导码。即，一个块包括192帧。块是构成后面描述的通道状态的单位。
图9图示IEC 60958标准中的子帧配置。子帧包括第0个到第31个时隙，总共32个时隙。第0个到第3个时隙指示前导码(同步前导码)。如上所述，该前导码指示“M”、“W”或“B”中的一个，以便区分左通道和右通道并且表示块的开始位置。
第4个到第27个时隙是主数据字段，并且在采用24位代码范围的情况下，整个第4个到第27个时隙表示音频数据。此外，在采用20位代码范围的情况下，第8个到第27个时隙表示音频数据(音频样本字)。在后一种情况下，第4个到第7个时隙可以用作附加信息(辅助样本位)。图示的示例例示了后一种情况。
第28个时隙是主数据字段的有效标志(Validity flag)。第29个时隙表示1位的用户数据(User data)。跨帧累积第29个时隙使得可以配置一系列的用户数据。用户数据的消息包括作为单位的8位信息单元(Information Unit：IU)，并且一个消息包括3～129个信息单元。
在信息单元之间可以存在0～8位的“0”。信息单元的头部由起始位“1”识别。消息中的前7个信息单元被保留，并且用户可以在第8个和随后的信息单元中设定任何信息。消息由8个或更多位的“0”分隔。
第30个时隙指示1位的通道状态(Channel status)。跨帧累积每个块的第30个时隙使得可以配置一系列通道状态。注意，如上所述，块的头部位置由前导码“B”(第0个到第3个时隙)指示。
第31个时隙是奇偶校验位(Parity bit)。该奇偶校验位被给定使得包括在第4个到第31个时隙中的“0”和“1”的数目为偶数。
图10图示IEC 60958标准中的信号调制系统。子帧中排除前导码的第4个到第31个时隙经受双相标记调制。在这种双相标记调制中，使用速度为原始信号(源编码)的两倍的时钟。当原始信号的时钟周期被划分为前半部分和后半部分时，双相标记调制的输出总是在前半部分的时钟周期的边沿处被反转。此外，在后半部分的时钟周期的边沿处，双相标记调制的输出在原始信号指示“1”时被反转，而在原始信号指示“0”时不被反转。利用该配置，可以从经受双相标记调制的信号中提取原始信号的时钟分量。
图11图示IEC 60958标准中的前导码的通道编码。如上所述，子帧的第4个到第31个时隙经受双相标记调制。另一方面，第0个到第3个时隙的前导码被视为与双倍速度时钟同步的位模式，而不经受通常的双相标记调制。即，向第0个到第3个时隙中的每个时隙分配两个位，以获得如图中所示的8位模式。
如果紧接在前的状态为“0”，那么分别向前导码“B”、“M”和“W”分配“11101000”,“11100010”和“1100100”。另一方面，如果紧接在前的状态为“1”，那么分别向前导码“B”、“M”和“W”分配“00010111”、“00011101”和“00011011”。
“与第一模式信号相关的多通道音频信号和预定通道数的触觉振动信号的同时发送”
将描述与第一模式信号相关的多通道音频信号和预定通道数的触觉振动信号的同时发送。这种情况下，发送是通过使用基于IEC 60958标准的多通道发送格式执行的。
首先将描述多通道发送格式。图12图示多通道发送格式中的帧配置的示例。在IEC60958标准中，一个块包括192帧，并且192帧包括包含预定的子帧数的多通道组(Multichannel group)的重复。每个子帧部分构成多通道指令。包括在多通道组中的子帧数可以通过使用为每个块配置的通道状态的预定的位区域来指示。
此外，在多通道组中形成各自用于发送多通道音频信号的一个或多个多通道子组。多通道子组包括一个或多个多通道指令。多通道音频信号的各个通道的信号被顺次地布置在包括在多通道子组中的对应的多通道指令中。在多通道组中形成什么种类的多通道子组可以通过使用为每个块配置的通道状态的预定的位区域来指示，也可以通过使用预定的帧数的用户数据位来指示。
在图示的示例中，一个多通道组包括8个子帧，即，多通道指令1～8。此外，在多通道组中形成四个多通道子组1～4。
多通道子组1包括多通道指令1～3，并且3通道多通道音频信号的各个通道的信号(具有通道编号65、66和67的信号)被依次布置在对应的多通道指令中。这里，通道编号65指示左前(FL)，通道编号66指示右前(FR)，并且通道编号67指示前中(FC)。
此外，多通道子组2包括多通道指令4和5，并且2通道多通道音频信号的各个通道的信号(具有通道编号77和78的信号)被依次布置在对应的多通道指令中。这里，通道编号77指示高左前(HFL)，并且通道编号78指示右前(HFR)。
此外，多通道子组3包括多通道指令6，并且1通道多通道音频信号(具有通道编号80的信号)布置在该多通道指令中。这里，通道编号80指示头顶中央(OhC)。
此外，多通道子组4包括多通道指令7和8，并且2通道多通道音频信号(具有通道编号65和66的信号)被依次布置在该多通道指令中。
下面将描述指定在多通道组中形成的多通道子组的方法。作为指定多通道子组的方法，例如，存在以下第一种方法到第三种方法。
第一种方法是基于存储在为每个块配置的通道状态的位63至60中的多通道配置信息来直接指定多通道子组的方法。这里，多通道配置指示预先组合预定音频通道的音频通道组。在该第一种方法中，只能够指定预先组合预定音频通道的音频通道组。
第二种方法是通过使用存储在为每个块配置的通道状态的位165～191中的多通道映射并在与适用通道对应的位中设定“1”来指定通道子组的方法。在该第二种方法中，可以指定组合任何音频通道的音频通道组，但是发送次序是音频通道在多通道映射中出现的次序，不能是任何发送次序。
图13示意地图示IEC 60958标准中的通道状态的格式。通道状态是通过针对每个块累积子帧中的第30个时隙而获得的(参见图9)。在该图中，在纵向方向上每一个字节地布置通道状态的内容，在横向方向上例示了每个字节中的位配置。注意，这里，将在假设用于消费者使用(Consumer use)的格式的情况下进行说明。
第0位(位0)a被设定为“0”，以指示该通道状态用于消费者使用。此外，第1位(位1)b被设定为“0”，以指示该通道状态是线性PCM样本。另外，第6位和第7位(位6-7)指示通道状态的模式。
此外，第44～47位(位44-47)构成“多通道计数(Multichannel Count)”的4位字段，并且指示包含在多通道组中的子帧的数目。例如，“0000”指示2ch LPCM，即，包含在多通道组中的子帧的数目为2，“1011”指示64ch LPCM，即，包含在多通道组中的子帧的数目为64，“1100”指示32ch LPCM，即，包含在多通道组中的子帧的数目为32，“1101”指示16chLPCM，即，包含在多通道组中的子帧的数目为16，“1110”指示8ch LPCM，即，包含在多通道组中的子帧的数目为8，并且“1111”指示4ch LPCM，即，包含在多通道组中的子帧的数目为4。
此外，第53～60位构成“多通道配置值(Multichannel configuration value)”的8位字段，并且指示用于通过第一种方法指定多通道子组的多通道配置值。
图14图示多通道配置值与由该值指示的音频通道组之间的对应关系。每个音频通道组由ISO/IEC 23001-8 2016确定，并由多通道配置值来识别。注意，也可以指定由ITU-RBS.2094-1所规定的音频通道组，或者IEC独有的音频通道组，不过图14中未例示这些音频通道组。
如果多通道配置值为“10000000”，那么指示存在具有通道配置1(ChannelConfiguration 1)的音频通道组(多通道子组)，并且该音频通道组只包括音频通道“67:FC”。此外，如果多通道配置值为“01000000”，那么指示存在具有通道配置2(ChannelConfiguration 2)的音频通道组(多通道子组)，并且该音频通道组包括音频通道“65:FL”和“66:FR”，并且音频通道被依次发送。
此外，如果多通道配置值为“11000000”，那么指示存在具有通道配置3(ChannelConfiguration 3)的音频通道组(多通道子组)，并且该音频通道组包括音频通道“65:FL”、“66:FR”和“67:FC”，并且音频通道被依次发送。此外，如果多通道配置值为“00100000”，那么指示存在具有通道配置4(ChannelConfiguration 4)的音频通道组(多通道子组)，并且该音频通道组包括音频通道“65:FL”、“66:FR”、“67:FC”和“184:MS”，并且音频通道被依次发送。
此外，如果多通道配置值为“10100000”，那么指示存在具有通道配置5(ChannelConfiguration 5)的音频通道组(多通道子组)，并且该音频通道组包括音频通道“65:FL”、“66:FR”、“67:FC”、“69:LS”和“70:RS”，并且音频通道被依次发送。
此外，如果多通道配置值为“01100000”，那么指示存在具有通道配置6(ChannelConfiguration 6)的音频通道组(多通道子组)，并且该音频通道组包括音频通道“65:FL”、“66:FR”、“67:FC”、“68:LFE”、“69:LS”和“70:RS”，并且音频通道被依次发送。
此外，如果多通道配置值为“11100000”，那么指示存在具有通道配置7(ChannelConfiguration 7)的音频通道组(多通道子组)，并且该音频通道组包括音频通道“65:FL”、“66:FR”、“67:FC”、“68:LFE”、“69:LS”、“70:RS”、“109:FLmid”和“110:FRmid”，且音频通道是被依次发送。
这里，诸如65、66、67、68、69、70、109和110之类的编号是由在第二种方法中使用的多通道映射所确定的音频通道特有的编号，并且每个编号对应于特定扬声器。例如，左前扬声器是编号65，而右前扬声器是编号66。这些编号也用于第三种方法。这些扬声器位置和编号是由基于ITU-R BS.2094-1和ISO/IEC 23001-8的IEC 62574确定的，不过不限于该标准的确定，并且可以存在独立分配的其他通道。注意，在多通道配置值为“00000000”的情况下，指示不存在由第一种方法指定的音频通道组(多通道子组)。
返回图13，第64位(位64)指示是否通过使用第65～191位的多通道映射来指定音频通道组(多通道子组)。例如，“0”指示不通过使用多通道映射来指定音频通道组，而“1”指示通过使用多通道映射来指定音频通道组。在第65～191位的多通道映射中，位编号直接对应于通道特有的编号。
例如，第65位对应于音频通道“65:FL”，并且在该音频通道“65:FL”被包括在由第二种方法指定的音频通道组中的情况下，在第65位中设定“1”。尽管省略了详细说明，不过在其他音频通道被包括在由第二种方法指定的音频通道组中的情况下，这同样适用。
第三种方法是通过使用预定的连续帧数的用户数据位来指定多通道子组。在该第三种方法中，可以指定组合任何音频通道的音频通道组，并且可以任意设定音频通道的发送次序。
第三种方法是通过使用用户数据位来分组和嵌入多通道配置信息的方法。这种情况下，首先，发送指定每个高度的扬声器的数目的分组。图15图示分组的示例。这里，高度的类型是“头顶”、“高”、“中”、“低”和“LFE”。规定了在每层总共布置多少个扬声器。在分组中重复这种机制使得能够配置多个多通道子组。接下来，发送指定相对于多通道组中的发送次序发送哪个编号的音频通道的分组。图16图示该分组的示例。
第三种方法作为指定音频通道组(多通道子组)的方法具有最高的自由度，能够按特定次序发送特定音频通道，并且还能够多次发送音频通道。
图17图示在上述图12中图示的多通道发送格式中的帧配置的示例中指定多通道组1～4的方法的具体示例。多通道子组1由第一种方法指定。这种情况下，通道状态的第53～60位的“多通道配置值”的值被设定为“11000000”，并且指示存在包括音频通道“65:FL”、“66:FR”和“67:FC”的音频通道组(多通道子组)(参见图14)。
此外，多通道子组2由第二种方法指定。这种情况下，通道状态的第64位被设定为“1”，以指示存在由使用多通道映射的第二种方法指定的音频通道组(多通道子组)。此外，在第77位和第78位的每个中设定“1”，以指示该音频通道组(多通道子组)依次包括音频通道“77:HFL”和“78:HFR”。
此外，多通道子组3和4由第三种方法指定。这种情况下，关于多通道子组3，指定每个高度的扬声器的数目的分组(参见图15)指示头顶扬声器的数目为1，并且指定发送哪个编号的音频通道的分组(参见图16)指示音频通道“80:OhC”。
此外，关于多通道子组4，指定每个高度的扬声器的数目的分组(参见图15)指示底部扬声器的数目为2，并且指定发送哪个编号的音频通道的分组(参见图16)指示音频通道“65:FL”和“66:FR”。
在本实施例中，由上述第一种方法到第三种方法指定的多通道子组用于同时发送多通道音频信号和预定通道数的触觉振动信号。注意，目前ISO/IEC 23001-8 2016没有定义包括触觉振动信号的组。然而，如果未来定义包括触觉振动信号的组，那么也可以通过第一种方法指定用于同时发送多通道音频信号和预定通道数的触觉振动信号的多通道子组。
此外，为了通过第二种方法来指定同时发送多通道音频信号和预定通道数的触觉振动信号的多通道子组，可以设想在构成通道状态的多通道映射的第65～191位中的未定义的位中新定义触觉振动信号。在本实施例中，例如，如在图13中图示，在第120～122位中定义触觉振动信号。
作为一种多媒体信号的触觉振动信号是用于振动附接到人体的致动器的信号。尽管可以通过使用未压缩音频信号发送线路来发送触觉振动信号，但是该信号被偏向低频。在一些情况下，触觉振动信号可以包含表示压力的DC分量。
当由常规的音频放大器再现触觉振动信号时，不能正确地执行再现，放大元件可能由于热损伤等而损坏，或者在连接扬声器的情况下，音圈在最坏的情况下可能破损。为了避免该问题，向触觉振动信号分配唯一的通道编号，以区分触觉振动信号和音频通道信号。例如，右臂的振动信号被设定为编号120，并在多通道映射的第120位中定义。此外，例如，左臂的振动信号被设定为编号121，并在多通道映射的第121位中定义。另外，双脚的振动信号被设定为编号122，并在多通道映射的第122位中定义。注意，触觉振动信号不限于这些信号，并且通过向其他触觉振动信号分配唯一的编号可以将这些其他触觉振动信号与音频通道信号区分开。
此外，也可以使用由上述第二种方法确定的触觉振动信号的通道编号来通过第三种方法指定用于同时发送多通道音频信号和预定通道数的触觉振动信号的多通道子组。可替代地，也可以在该第三种方法中独立地确定触觉振动信号的通道编号，并独立地运用触觉振动信号的通道编号。
注意，对于每个块(192帧)可以改变用于同时发送多通道音频信号和预定通道数的触觉振动信号的多通道子组的指定，并且通过时间划分，可以发送比分配给多通道子组的触觉振动信号的通道数多的通道的触觉振动信号。例如，可以设想将大量的振动单元附接到用户的全身，并且每秒从下部单元到上部单元使振动单元振动。
图18图示在同时发送多通道音频信号和预定通道数的触觉振动信号的情况下的多通道发送格式的帧配置的示例。尽管详细说明被省略，但是图18的帧配置整体类似于图12的帧配置。
在这个示例中，在包括8个子帧，即，多通道指令1～8的多通道组中形成作为一个多通道子组的多通道子组1。另外，如图19中图示的，该示例是通过一个多通道子组发送5.1通道音频和2通道触觉振动信号的示例。
多通道音频信号和预定通道数的触觉振动信号的各个通道的信号(通道编号65、66、67、68、69、78、120和121的信号)依次布置在构成多通道子组1的多通道指令1～8中。
这里，通道编号65～70指示构成多通道音频信号的对应的音频通道，“65”指示左前(FL)，“66”指示右关(FR)，“67”指示前中(FC)，“68”指示LFE，“69”指示左环绕，“70”指示右环绕。此外，通道编号120和121指示触觉振动信号的对应的通道，“120”指示左手(右臂的振动信号)，并且“121”指示右手(左臂信号的信号)。
注意，在图18的帧配置中，示出在多通道组中形成一个多通道子组的示例，不过也可以设想在多通道组中形成多个多通道子组。另外，不仅可以设想在所有的多通道子组中依次布置多通道音频信号和预定通道数的触觉振动信号的各个通道的信号的情况，而且可以设想在多通道子组的一部分中只布置多通道音频信号的各个通道的信号，或者在一些多通道子组中只布置预定通道数的触觉振动信号的各个通道的信号的情况。
还可以通过上述第一种方法到第三种方法指定其中依次布置多通道音频信号和预定通道数的触觉振动信号的各个通道的信号的多通道子组。这种情况下的指定信息还充当多通道音频信号和预定通道数的触觉振动信号的配置信息。该配置信息包括用于区分触觉振动信号和音频信号的标识信息。此外，该标识信息包括关于预定通道数的触觉振动信号中的每个所针对的振动位置的信息。
图20图示通过第二种方法在上述图18中图示的多通道发送格式中的帧配置的示例中指定多通道子组1的情况。这种情况下，通道状态(参见图13)的第64位被设定为“1”，以指示存在由使用多通道映射的第二种方法指定的多通道子组。
另外，在通道状态的第65～70位及第120和121位的每个中设定“1”，指示该多通道子组依次包括音频通道“65:FL”、“66:FR”、“67:FC”、“68:LFE”、“69:LS”和“70:RS”，并且还依次包括触觉振动信号通道“120:左手”和“121:左手”。
“只发送与第二模式信号有关的预定通道数的触觉振动信号”
将描述只发送与第二模式信号有关的预定通道数的触觉振动信号。这种情况下，发送也是通过使用基于IEC 60958标准的多通道发送格式执行的。
IEC 60958标准具有采样频率：32kHz、44.1kHz和48kHz的3种系统。这里，32kHz用于广播系统，44.1kHz用于CD系统，并且48kHz用于音频-视频系统。作为触觉振动信号的采样频率，考虑到与视频信号同步，采用了与48kHz有很好的亲和力的3kHz、6kHz、12kHz等系列。
由于48kHz是3kHz的16倍，并且16是2的阶乘，因此可以简单地执行下采样处理和上采样处理。即，当实际对触觉信号采样时以48kHz对触觉信号采样且被下采样到3kHz、6kHz、12kHz等，并且在再现时以3kHz、6kHz、12kHz等采样的触觉信号被上采样到48kHz就足够了。由于音频设备广泛支持48kHz，因此可以低成本地实现触觉信号的采样处理。
例如，通过32个通道以16倍的速度发送3kHz采样的触觉振动信号使得能够以与48kHz采样的LPCM 2ch发送相同的速度发送触觉振动信号。此外，例如，通过16个通道以8倍的速度发送6kHz采样的触觉振动信号使得能够以与48kHz采样的LPCM 2ch发送相同的速度发送触觉振动信号。
图21图示在发送预定通道数的触觉振动信号的情况下的多通道发送格式，即，多触觉信号格式的帧配置的示例。如上所述，在IEC60958标准中，一个块包括192帧，并且192帧包括包含预定的子帧数的多触觉通道组(Multi-Haptic channel group)的重复。每个子帧部分构成多通道指令。
包括在多触觉通道组中的子帧的数目是与通道的数目对应的值。例如，在通过32个通道以16倍的速度发送3kHz采样的触觉振动信号的情况下，包括在多触觉通道组中的子帧的数目为32。此外，例如，在通过16个通道以8倍的速度发送6kHz采样的触觉振动信号的情况下，包括在多触觉通道组中的子帧的数目为16。
另外，多触觉通道组包括多个多通道指令。每个通道的触觉振动信号被顺次地布置在构成该多触觉通道组的对应的多通道指令中。在图示的示例中，示出了通过32个通道以16倍的速度发送3kHz采样的触觉振动信号的情况。
这里，由于一个块包括192帧，因此，48kHz-LPCM获得192×2/2＝192个样本。在3kHz-32通道的情况下，每个通道的样本数为192×2/32＝12个样本，这是192个样本的1/16，而在6kHz-16通道的情况下，每个通道的样本数为192×2/16＝24个样本，这是192个样本的1/8。
注意，通过向IEC 60958-1的子帧中的24位时隙分配多通道触觉振动信号，而不是分配1通道触觉振动信号，可以增加发送通道的数目。例如，如图22中图示，在子帧中的24位时隙按8位被划分为三个，并且分配3通道触觉振动信号的情况下，发送通道的数目被增至3倍。此外，例如，尽管未图示，但是在子帧中的24位时隙按12位被划分为两个并且分配2通道触觉振动信号的情况下，发送通道的数目被增至2倍。
这里，还可以设想用加权处理来划分24位时隙，而不是等分24位时隙。例如，在子帧中的24位时隙被划分成三个的情况下，可以将24位时隙划分成10位、7位和7位，而不是将24位时隙等分成每个8位。
此外，在LPCM格式中，当发送频率被加倍时，采样频率被加倍。然而，在多触觉信号格式的情况下，采样频率相同，而通道数被加倍。图23图示LPCM格式与多触觉信号之间的对应的示例。
例如，在发送频率为128×48kHz的情况下，3kHz-32通道(channels)-24位(bits)、3kHz-96通道-8位和3kHz-64通道-12位的多触觉信号格式对应于48kHz-2通道-24位的LPCM格式。此外，例如，在发送频率为128×96kHz的情况下，3kHz-64通道-24位、3kHz-192通道-8位和3kHz-128通道-12位的多触觉信号格式对应于96kHz-2通道-24位的LPCM格式。
注意，在通道状态中，由于一个块包括192位，因此可以识别的通道的最大数为384个通道(在分成两个的情况下768个通道，而在分成三个的情况下1152个通道)。
多触觉信号格式是通过使用为每个块配置的通道状态来识别的。另外，待发送的预定通道数的触觉振动信号的配置信息被添加到该通道状态中。
图24示意性地图示IEC 60958标准中的通道状态的格式。通道状态是通过针对每个块累积子帧中的第30个时隙获得的(参见图9)。在该图中，在纵向方向上每一个字节地布置通道状态的内容，并且在横向方向上例示了每个字节中的位配置。注意，这里，将在假设用于消费者使用(Consumer use)的格式的情况下进行说明。
第0位(位0)a被设定为“0”，以指示该通道状态用于消费者使用。此外，第1位(位1)b被设定为“0”，以指示该通道状态是线性PCM样本。另外，第6位和第7位(位6-7)指示通道状态的模式。
注意，从第3位到第5位的三个位在LPCM格式中为“000”，并且即使多触觉信号格式中的从第3位到第5位的三个位具有相同的值，该格式也充分地运用。然而，多触觉信号格式可以具有不同的值，以与LPCM格式区分。在图示的示例中，该值为“001”。
第24～27位以及第30位和31位(位24-27和30-31)的字段指示诸如48kHz、96kHz或192kHz之类的采样频率，即，帧速率。第49～52位(位49-52)的字段构成“多通道配置类型”的4位字段。例如，设定“1100”，以指示触觉振动模式，即，多触觉信号格式。
此外，第53～60位(位53-60)构成“多通道配置值”的8位字段，并且指示触觉振动信号模式(触觉模式)。这里，该模式信息包括关于作为预定通道数的触觉振动信号的配置信息的位数和采样频率的信息。根据该模式信息和上述的帧速率信息可以指定发送的触觉振动信号的通道数(参见图23)。
图25图示“多通道配置值”的值与触觉振动信号模式之间的对应关系的示例。注意，该示例例示了无振动部位信息的示例。例如，“10000000”指示采样频率为3kHz，并且位数为24位(无振动部位信息)。此外，例如，“01000000”指示采样频率为3kHz，并且位数为12位(无振动部位信息)。
在无振动部位信息的模式，即，没有如上所述指定振动部位的模式的情况下，振动部位在与IEC 60958发送线路不同的发送线路中被指定，或者预先确定。关于不同发送线路中的指定，在HDMI中使用CEC或HEC(以太网)。此外，关于预先确定，例如，存在振动部位被纵向地和横向地依次布置在平面上并且依次向振动部位分配通道编号的情况。这种情况下，当人接触平面时，根据人所接触的位置发送振动。
图26图示“多通道配置值”的8位字段的值与触觉振动信号模式之间的对应关系的另一个示例。注意，该示例例示具有振动部位信息的示例。例如，“10000001”指示采样频率为3kHz，位数为24位(具有振动部位信息)。此外，例如，“01000001”指示采样频率为3kHz，位数为12位(具有振动部位信息)。
在存在振动部位信息的模式，即，如上所述指定振动部位的模式的情况下，特定振动部位的组合是根据通道数预先规定的，并在再现预定通道数的触觉振动信号时参考。图27图示32通道振动部位的示例。
注意，进一步细分振动部位的间隔或者将振动部位形成矩阵形状，使得可以进一步增加通道数。具体地，矩阵形状指示例如存在长和宽为5×8的总共80个通道的情况。此外，在即使采样频率和位数相同，但是振动部位不同的情况下，分配并使用新的位。具体地，例如，设定指示3kHz-24位(具有振动部位信息)的“10000001”，并且设定指示3kHz-24位(具有与上述振动部位信息不同的振动部位信息)的“10000011”。此外，不需要支持所有的组合，只要进入实际使用的组合就足够了。
此外，在上面的说明中，“多通道配置值”的8位字段指示关于作为预定通道数的触觉振动信号的配置信息的位数和采样频率的信息，但是也可以设想在分开的字段中指示关于采样频率的信息和关于位数的信息，并组合地使用这些信息。此外，在上面的说明中，触觉振动信号模式(触觉模式)是由通道状态的“多通道配置值”的8位字段指示的，不过该模式也可以由用户数据来指定。此外，还可以用该用户数据来指定与通道对应的振动部位。
如上所述，在图1中图示的AV系统10中，使用音频信号用的包括多个帧的每个块的发送信号，使得可以选择性地、简单并且容易地发送与第一模式信号相关的多通道音频信号和预定通道数的触觉振动信号，或者与第二模式信号相关的预定通道数的触觉振动信号。
这种情况下，在处理第一模式信号的情况下，包括预定通道数的音频信号和预定通道数的触觉振动信号的包括192帧的每个块的信号经由HDMI线缆300被从电视接收器100发送到音频放大器200。因此，触觉振动信号可以与音频信号同步地被满意地从电视接收器100发送到音频放大器200。
此外，在处理第二模式信号的情况下，包括预定通道数的触觉振动信号的包括192帧的每个块的信号经由HDMI线缆300被从电视接收器100发送到音频放大器200。因此，只有触觉振动信号可以被满意地从电视接收器100发送到音频放大器200。
注意，本说明书中描述的效果仅仅是示例而非限制，可以具有附加效果。
<2.变形例>
注意，在上述实施例中，示出了通过使用IEC 60958发送线路从电视接收器100向音频放大器200发送与第一模式信号相关的多通道音频信号和预定通道数的触觉振动信号或者与第二模式信号相关的预定通道数的触觉振动信号的AV系统10的示例。然而，本技术可以应用于的AV系统不限于此。
图28(a)图示本技术可以应用于的AV系统30的配置示例。该AV系统10A包括BD播放器310、具有扬声器的按摩椅320和电视接收器330。这种情况下，尽管详细说明被省略，不过，具有扬声器的按摩椅320具有与上述AV系统10中的音频放大器200、扬声器系统250和振动系统260类似的功能。
在BD播放器310再现第一模式信号(视频信号、多通道音频信号和预定通道数的触觉振动信号)的情况下，视频信号通过例如HDMI发送线路被发送到电视接收器330以显示图像。
此外，这种情况下，多通道音频信号和预定通道数的触觉振动信号通过IEC 60958发送线路被发送到具有扬声器的按摩椅320(参见图18)，并且同步地执行来自扬声器的音频输出和来自振动系统的与音频和图像相关的振动产生。利用该配置，增强了观看者/收听者的内容的观看/收听效果。注意，这种情况下，不总是需要产生与音频和图像相关的振动，并且可以产生用于按摩的振动，以缓解由观看/收听而导致的观看者/收听者的疲劳。
另一方面，在BD播放器310再现第二模式信号(预定通道数的触觉振动信号)的情况下，预定通道数的触觉振动信号通过IEC 60958发送线路被发送到具有扬声器的按摩椅320(参见图21)，并且振动系统执行振动产生，从而向观看者/收听者给予例如用于按摩、治疗等的振动。
图28(b)图示本技术可以应用于的AV系统40的配置示例。该AV系统10A包括BD播放器310和具有显示器和扬声器的按摩椅420。这种情况下，尽管详细说明被省略，不过，除了具有与上述AV系统10中的音频放大器200、扬声器系统250和振动系统260类似的功能之外，具有显示器和扬声器的按摩椅320还包括显示器。
在BD播放器410再现第一模式信号(视频信号、多通道音频信号和预定通道数的触觉振动信号)的情况下，视频信号通过例如HDMI发送线路被发送到按摩椅420，以在显示器上显示图像。
此外，这种情况下，多通道音频信号和预定通道数的触觉振动信号通过IEC 60958发送线路被发送到按摩椅420，并且同步地执行来自扬声器的音频输出和来自振动系统的与音频和图像相关的振动产生。利用该配置，增强了观看者/收听者的内容的观看/收听效果。注意，这种情况下，不总是需要产生与音频和图像相关的振动，并且可以产生用于按摩的振动，以缓解由观看/收听而导致的观看者/收听者的疲劳。
另一方面，在BD播放器410再现第二模式信号(预定通道数的触觉振动信号)的情况下，预定通道数的触觉振动信号通过IEC 60958发送线路被发送到按摩椅420，并且振动系统执行振动产生，从而向观看者/收听者给予例如用于按摩、治疗等的振动。
此外，在上面的描述中，给出了按摩椅的示例作为设置振动系统的示例，不过另外，本技术可以应用于飞机座椅、火车座椅、公共汽车座椅、摇篮、床(包括护理床和疲劳恢复床)、沙发、游戏机座椅、电影院座椅等。注意，在飞机座椅、火车座椅、公共汽车座椅等的情况下，还可以设想产生抵消来自交通工具本身的振动的振动。
注意，在上述实施例中，示出了使用HDMI ARC作为IEC 60958发送线路的示例，不过，也可以设想使用同轴线缆或光缆作为IEC 60958发送线路的示例。另外，还可以设想使用HDMI发送线路作为IEC 60958发送线路的示例。这种情况下，SPDIF信号(IEC 60958信号)被映射到音频样本分组(audio sample packet)，并且如在视频发送中一样，在前向方向上被发送。类似地，作为IEC 60958发送线路，还可以设想使用IEC 61883-6发送线路、MHL发送线路、显示端口发送线路(DP发送线路)等的示例。在这些情况下，SPDIF信号(IEC 60958信号)也被映射到音频样本分组(audio sample packet)，并且如在视频发送中一样，在前向方向上被发送。
此外，尽管上面参考附图详细说明了本公开的优选实施例，不过，本公开的技术范围不限于该示例。显然本公开的技术领域的普通技术人员可以在记载在权利要求书中的技术思想的范围内设想各种变化或修改，并且应理解的是这些变化和修改也属于本公开的技术范围。
此外，本技术可以具有以下配置。
(1)一种发送设备，包括
发送单元，该发送单元将音频信号用的包括多个帧的每个块的发送信号经由预定发送线路顺次地发送到接收侧，其中
发送信号包括预定通道数的触觉振动信号。
(2)按照(1)所述的发送设备，还包括
信息添加单元，该信息添加单元将预定通道数的触觉振动信号的配置信息添加到发送信号。
(3)按照(2)所述的发送设备，其中
配置信息包括关于触觉振动信号的采样频率的信息。
(4)按照(2)或(3)所述的发送设备，其中
配置信息包括关于触觉振动信号的位数的信息。
(5)按照(2)-(4)任意之一所述的发送设备，其中
配置信息包括关于预定通道数的信息。
(6)按照(2)-(5)任意之一所述的发送设备，其中
配置信息包括指示振动部位信息的有无的信息。
(7)按照(2)-(6)任意之一所述的发送设备，其中
信息添加单元通过使用为每个块配置的通道状态的预定的位区域来添加配置信息。
(8)按照(1)-(7)任意之一所述的发送设备，其中
预定发送线路包括同轴线缆、光缆、以太网(IEC 61883-6)线缆、HDMI线缆、MHL线缆或者显示端口线缆。
(9)一种发送方法，包括
将音频信号用的包括多个帧的每个块的发送信号经由预定发送线路顺次地发送到接收侧的步骤，其中
发送信号包括预定通道数的触觉振动信号。
(10)一种接收设备，包括
接收单元，该接收单元经由预定发送线路从发送侧顺次地接收音频信号用的包括多个帧的每个块的发送信号，其中
发送信号包括预定通道数的触觉振动信号。
(11)按照(10)所述的接收设备，还包括
处理单元，该处理单元处理发送信号，并输出预定通道数的触觉振动信号。
(12)按照(11)所述的接收设备，其中
发送信号包括预定通道数的触觉振动信号的配置信息，并且
处理单元基于配置信息处理发送信号，并输出预定通道数的触觉振动信号。
(13)按照(12)所述的接收设备，其中
配置信息是通过使用为每个块配置的通道状态的预定的位区域来添加的。
(14)按照(10)-(13)任意之一所述的接收设备，其中
预定发送线路包括同轴线缆、光缆、以太网(IEC 61883-6)线缆、HDMI线缆、MHL线缆或者显示端口线缆。
(15)一种接收方法，包括
经由预定发送线路从发送侧顺次地接收音频信号用的包括多个帧的每个块的发送信号的步骤，其中
发送信号包括预定通道数的触觉振动信号。
(16)一种发送设备，包括
发送单元，该发送单元将音频信号用的包括多个帧的每个块的发送信号经由预定发送线路顺次地发送到接收侧，其中
发送信号选择性地包括包含预定通道数的音频信号的第一模式信号或仅包含预定通道数的触觉振动信号的第二模式信号。
(17)一种接收设备，包括
接收单元，该接收单元经由预定发送线路从发送侧顺次地接收音频信号用的包括多个帧的每个块的发送信号，其中
发送信号选择性地包括包含预定通道数的音频信号的第一模式信号或仅包含预定通道数的触觉振动信号的第二模式信号。
附图标记列表
10,30,40 AV系统
100 电视接收器
101 HDMI端子
102 HDMI接收单元
103 高速总线接口
104 SPDIF发送电路
105 系统控制器
107 数字广播接收电路
108 内容再现电路
109 显示单元
110 以太网接口
121 接收天线
122 BD播放器
123 互联网
200 音频放大器
201 HDMI端子
202 HDMI发送单元
203 高速总线接口
204 SPDIF接收电路
205 系统控制器
208 音频放大器
209 振动放大器
210 以太网接口
250 扬声器系统
260 振动系统
300 HDMI线缆
310 BD播放器
320 具有扬声器的按摩椅
330 电视接收器
410 BD播放器
420 具有显示器和扬声器的按摩椅

Claims (17)

1.一种发送设备，包括
发送单元，所述发送单元将音频信号用的包括多个帧的每个块的发送信号经由预定发送线路顺次地发送到接收侧，其中
发送信号包括预定通道数的触觉振动信号。
2.按照权利要求1所述的发送设备，还包括
信息添加单元，所述信息添加单元将预定通道数的触觉振动信号的配置信息添加到发送信号。
3.按照权利要求2所述的发送设备，其中
配置信息包括关于触觉振动信号的采样频率的信息。
4.按照权利要求2所述的发送设备，其中
配置信息包括关于触觉振动信号的位数的信息。
5.按照权利要求2所述的发送设备，其中
配置信息包括关于预定通道数的信息。
6.按照权利要求2所述的发送设备，其中
配置信息包括指示振动部位信息的有无的信息。
7.按照权利要求2所述的发送设备，其中
信息添加单元通过使用为每个块配置的通道状态的预定的位区域来添加配置信息。
8.按照权利要求1所述的发送设备，其中
预定发送线路包括同轴线缆、光缆、以太网(IEC 61883-6)线缆、HDMI线缆、MHL线缆或者显示端口线缆。
9.一种发送方法，包括
将音频信号用的包括多个帧的每个块的发送信号经由预定发送线路顺次地发送到接收侧的步骤，其中
发送信号包括预定通道数的触觉振动信号。
10.一种接收设备，包括
接收单元，所述接收单元经由预定发送线路从发送侧顺次地接收音频信号用的包括多个帧的每个块的发送信号，其中
发送信号包括预定通道数的触觉振动信号。
11.按照权利要求10所述的接收设备，还包括
处理单元，所述处理单元处理发送信号，并输出预定通道数的触觉振动信号。
12.按照权利要求11所述的接收设备，其中
发送信号包括预定通道数的触觉振动信号的配置信息，并且
处理单元基于配置信息处理发送信号，并输出预定通道数的触觉振动信号。
13.按照权利要求12所述的接收设备，其中
配置信息是通过使用为每个块配置的通道状态的预定的位区域来添加的。
14.按照权利要求10所述的接收设备，其中
预定发送线路包括同轴线缆、光缆、以太网(IEC 61883-6)线缆、HDMI线缆、MHL线缆或者显示端口线缆。
15.一种接收方法，包括
经由预定发送线路从发送侧顺次地接收音频信号用的包括多个帧的每个块的发送信号的步骤，其中
发送信号包括预定通道数的触觉振动信号。
16.一种发送设备，包括
发送单元，所述发送单元将音频信号用的包括多个帧的每个块的发送信号经由预定发送线路顺次地发送到接收侧，其中
发送信号选择性地包括包含预定通道数的音频信号的第一模式信号或仅包含预定通道数的触觉振动信号的第二模式信号。
17.一种接收设备，包括
接收单元，所述接收单元经由预定发送线路从发送侧顺次地接收音频信号用的包括多个帧的每个块的发送信号，其中
发送信号选择性地包括包含预定通道数的音频信号的第一模式信号或仅包含预定通道数的触觉振动信号的第二模式信号。
CN201980084062.6A 2018-12-26 2019-12-18 发送设备、发送方法、接收设备和接收方法 Active CN113196790B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018242454 2018-12-26
JP2018-242454 2018-12-26
PCT/JP2019/049718 WO2020137767A1 (ja) 2018-12-26 2019-12-18 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN113196790A true CN113196790A (zh) 2021-07-30
CN113196790B CN113196790B (zh) 2024-04-09

Family

ID=71126212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980084062.6A Active CN113196790B (zh) 2018-12-26 2019-12-18 发送设备、发送方法、接收设备和接收方法

Country Status (6)

Country Link
US (1) US20220038656A1 (zh)
EP (1) EP3905705A4 (zh)
JP (1) JP7396300B2 (zh)
KR (1) KR20210106993A (zh)
CN (1) CN113196790B (zh)
WO (1) WO2020137767A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022168547A1 (ja) * 2021-02-08 2022-08-11 ソニーグループ株式会社 触覚刺激を与える制御装置
US20230260537A1 (en) * 2022-02-16 2023-08-17 Google Llc Single Vector Digital Voice Accelerometer
WO2023189162A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 送信装置、受信装置および送受信システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060256972A1 (en) * 2005-04-26 2006-11-16 Philippe Roy Method and apparatus for providing a motion signal with a sound signal using an existing sound signal encoding format
WO2009103162A1 (en) * 2008-02-20 2009-08-27 D-Box Technologies Inc. Transporting vibro-kinetic signals in a digital cinema environment
WO2014104007A1 (ja) * 2012-12-28 2014-07-03 株式会社ニコン データ処理装置、およびデータ処理プログラム
EP2881945A1 (en) * 2013-11-19 2015-06-10 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115482A (en) * 1996-02-13 2000-09-05 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
US7375728B2 (en) * 2001-10-01 2008-05-20 University Of Minnesota Virtual mirror
JP4016709B2 (ja) * 2002-04-26 2007-12-05 日本電気株式会社 オーディオデータの符号変換伝送方法と符号変換受信方法及び装置とシステムならびにプログラム
JP2004072345A (ja) * 2002-08-05 2004-03-04 Pioneer Electronic Corp 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、コンピュータプログラム、並びにデータ構造
JP2007187941A (ja) * 2006-01-16 2007-07-26 Sony Corp データの変換方法およびクライアント・サーバシステム
US8321211B2 (en) * 2008-02-28 2012-11-27 University Of Kansas-Ku Medical Center Research Institute System and method for multi-channel pitch detection
JP4752865B2 (ja) * 2008-05-12 2011-08-17 ソニー株式会社 インターフェース回路
CA2705418C (en) * 2009-05-27 2017-06-20 Maria Karam System and method for displaying sound as vibrations
KR101641513B1 (ko) * 2010-10-22 2016-07-21 엘지전자 주식회사 이동 단말기의 영상 촬영 장치 및 그 방법
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
US20130243208A1 (en) * 2012-03-19 2013-09-19 Mark S. Fawer Computer user alertness monitoring system
US20140100839A1 (en) * 2012-09-13 2014-04-10 David Joseph Arendash Method for controlling properties of simulated environments
US9164587B2 (en) * 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9460638B2 (en) * 2014-06-30 2016-10-04 Jeff Baker Smart injection training device and system
US9648412B2 (en) * 2015-02-06 2017-05-09 Skullcandy, Inc. Speakers and headphones related to vibrations in an audio system, and methods for operating same
US10593337B2 (en) * 2015-07-10 2020-03-17 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
EP3118723A1 (en) * 2015-07-13 2017-01-18 Thomson Licensing Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)
US9918154B2 (en) * 2015-07-30 2018-03-13 Skullcandy, Inc. Tactile vibration drivers for use in audio systems, and methods for operating same
JP2018060313A (ja) 2016-10-04 2018-04-12 ソニー株式会社 受信装置および方法、送信装置および方法、並びにプログラム
US10152296B2 (en) * 2016-12-28 2018-12-11 Harman International Industries, Incorporated Apparatus and method for providing a personalized bass tactile output associated with an audio signal
US20180364898A1 (en) * 2017-06-14 2018-12-20 Zihan Chen Systems, Devices, and/or Methods for Managing Text Rendering
CN112585982B (zh) * 2018-08-30 2024-04-16 索尼公司 发送装置、发送方法、接收装置和接收方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060256972A1 (en) * 2005-04-26 2006-11-16 Philippe Roy Method and apparatus for providing a motion signal with a sound signal using an existing sound signal encoding format
WO2009103162A1 (en) * 2008-02-20 2009-08-27 D-Box Technologies Inc. Transporting vibro-kinetic signals in a digital cinema environment
WO2014104007A1 (ja) * 2012-12-28 2014-07-03 株式会社ニコン データ処理装置、およびデータ処理プログラム
EP2881945A1 (en) * 2013-11-19 2015-06-10 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream

Also Published As

Publication number Publication date
JPWO2020137767A1 (ja) 2021-11-11
EP3905705A1 (en) 2021-11-03
US20220038656A1 (en) 2022-02-03
JP7396300B2 (ja) 2023-12-12
EP3905705A4 (en) 2022-02-16
WO2020137767A1 (ja) 2020-07-02
CN113196790B (zh) 2024-04-09
KR20210106993A (ko) 2021-08-31

Similar Documents

Publication Publication Date Title
CN113196790B (zh) 发送设备、发送方法、接收设备和接收方法
US10986070B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
JP7439758B2 (ja) 送信装置、送信方法、受信装置および受信方法
US20230004340A1 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
JP7452526B2 (ja) 送信装置、送信方法、受信装置および受信方法
US11942103B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method for transmitting and receiving an audio signal including a mixed signal simultaneously transmitted by mixing a compressed audio signal and a linear pulse code modulation signal
WO2019225449A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2016163329A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR101765566B1 (ko) 데이터 전송 장치, 데이터 수신 장치, 데이터 송수신 시스템, 데이터 전송 방법, 데이터 수신 방법
WO2021039189A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP6514648B2 (ja) データ送信装置、データ受信装置及びデータ送受信システム
WO2023189162A1 (ja) 送信装置、受信装置および送受信システム
CN114341972A (zh) 发送装置、发送方法、接收装置和接收方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant