CN112136176A - 发送设备、发送方法、接收设备和接收方法 - Google Patents

发送设备、发送方法、接收设备和接收方法 Download PDF

Info

Publication number
CN112136176A
CN112136176A CN201980032554.0A CN201980032554A CN112136176A CN 112136176 A CN112136176 A CN 112136176A CN 201980032554 A CN201980032554 A CN 201980032554A CN 112136176 A CN112136176 A CN 112136176A
Authority
CN
China
Prior art keywords
signal
linear pcm
unit
audio signal
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980032554.0A
Other languages
English (en)
Other versions
CN112136176B (zh
Inventor
市村元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112136176A publication Critical patent/CN112136176A/zh
Application granted granted Critical
Publication of CN112136176B publication Critical patent/CN112136176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
    • G10L19/113—Regular pulse excitation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明令人满意地实现压缩音频信号和线性PCM信号的同时传输和再现。预定单位的音频信号通过预定传输线路，被依次发送给接收侧。所述预定单位的音频信号是压缩音频信号和线性PCM信号的混合信号。例如，所述预定单位的音频信号是子帧单位的音频信号。这种情况下，例如，在所述子帧单位的音频信号中，压缩音频信号被布置在上位比特侧，而线性PCM信号被布置在下位比特侧。

Description

发送设备、发送方法、接收设备和接收方法
技术领域
本技术涉及发送设备、发送方法、接收设备和接收方法。
背景技术
作为数字音频接口，按照IEC 60958的线性PCM信号的传输已被广泛使用。例如，专利文献1包括与IEC 60958相关的描述。此外，在IEC 60958协议上传输压缩音频信号所依据的IEC 61937也已普及，用于各种类型的音频编解码器传输。
这些已经通过将IEC 60958协议映射到在实际产品中，称为索尼飞利浦数字接口(SPDIF)的同轴端子和光学输出端子，以及作为包括视频的多媒体接口的高清多媒体接口(HDMI)、移动高清连接(MHL)和显示端口(DisplayPort)的格式而在商业上使用。
引文列表
专利文献
专利文献1：日本专利申请公开No.2009-130606
发明内容
本发明要解决的问题
在电视接收机充当发送器，而音频放大器充当接收器/再现机器的情况下，只有在电视接收机的屏幕上显示的内容的声音部分被发送到音频放大器进行再现。在所述内容中，通常使用压缩音频编解码器，诸如多通道或对象音频之类能够进行高质量再现的技术得到了发展。这些编解码器需要用于解码的较高的数字信号处理器(DSP)性能，或者需要布置具有5.1通道等的大量扬声器。
于是，在电视接收机内部，在解码和再现时施加了沉重的负荷。从而，通常将压缩形式的声音部分经由数字音频接口发送到音频放大器，并将再现留给音频放大器。内容的形式不断增加，通过广播接收内容，再现诸如蓝光光盘之类的介质并将内容输入到电视接收机，或者通过因特网流式传输-分发或下载内容。
另一方面，在电视接收机内部，需要再现声音的并不仅仅是内容的再现。与内容的再现相比，在许多情况下要求实时性，例如，诸如遥控器之类的用户接口的应答声音，由人工智能(AI)功能或导航功能产生的人工语音合成的声音，应对多种语言(内容原本包括多种语言，在因特网上、电视接收机内部等进行实时翻译)等。在这些情况下，传输线性PCM信号，从而避免由解码引起的延迟。在车辆中的车载设备之间的数字音频传输中出现类似的情形。
这里，如果在依次切换压缩音频信号的传输和线性PCM信号的传输时进行再现，那么内容再现的连续性显著丧失，再现质量降低。提出了一种解码压缩音频信号，将解码信号和线性PCM信号混合，然后发送信号的方法。然而，电视接收机不具有解码所有压缩音频信号的功能。此外，在解码和混合的过程中发生延迟，于是在一些情况下，在要求上述实时性的应用中，这种方法并不可取。例如，在游戏内容的情况下，背景音乐是按照MPEG-4AAC提供的。然而，如果作为对用户在游戏控制器上所进行的操作的响应的线性PCM信号等被延迟，那么用户就不能舒适地玩游戏。
换句话说，问题在于还没有提供能够实现压缩音频信号和线性PCM信号的同时传输和再现的数字音频接口方法和设备。因此，例如，从电视接收机内部的低质量扬声器只再现线性PCM信号，但是用户体验的质量显著降低。此外，如果包括多个数字音频接口，并且压缩音频信号和线性PCM信号被发送给不同的音频放大器进行再现，那么可以解决这个问题。然而，成本增加，设备的设置变得更加复杂，系统也不容易为一般用户所用。
本技术的目的是令人满意地实现压缩音频信号和线性PCM信号的同时传输和再现。
问题的解决方案
本技术的概念是：
一种发送设备，包括：
通过预定传输线路，向接收侧依次发送预定单位的音频信号的发送单元，
其中所述预定单位的音频信号包括压缩音频信号和线性PCM信号的混合信号。
在本技术中，发送单元通过预定传输线路，向发送侧依次发送预定单位的音频信号。例如，预定传输线路可以是同轴线缆、光缆、以太网(IEC 61883-6)线缆、HDMI线缆、MHL线缆或者显示端口线缆。
预定单位的音频信号是压缩音频信号和线性PCM信号的混合信号。例如，线性PCM信号可以是要求实时性的音频信号。此外，例如，还可以包括获取压缩单就信号的第一获取单元和获取线性PCM信号的第二获取单元。
此外，例如，预定单位的音频信号可以是子帧单位的音频信号。这种情况下，例如，在子帧单位的音频信号中，压缩音频信号可被布置在上位比特侧(upper-order bitside)，而线性PCM信号可被布置在下位比特侧。
如上所述，在本技术中，作为压缩音频信号和线性PCM信号的混合信号的预定单位的音频信号通过预定传输线路被依次发送到接收侧。于是，可以令人满意地实现压缩音频信号和线性PCM信号的同时传输。
注意在本技术中，例如，还可以包括向将由发送单元发送的音频信号添加标识信息的信息添加单元，所述标识信息指示预定单位的音频信号是压缩音频信号和线性PCM信号的混合信号。这种情况下，例如，信息添加单元可以通过使用为预定数目的预定单位构成的每个块的通道状态的预定比特区域来添加标识信息。如上所述，通过添加标识信息，接收侧可以容易地识别预定单位的音频信号是压缩音频信号和线性PCM信号的混合信号。
此外，在本技术中，例如，还可以包括向将由发送单元发送的音频信号添加构成信息的信息添加单元，所述构成信息指示线性PCM信号的构成。这种情况下，例如，信息添加单元可以通过使用为预定数目的预定单位构成的每个块的通道状态的预定比特区域来添加构成信息。如上所述，通过添加构成信息，接收侧可以容易地识别线性PCM信号的构成。
此外，在本技术中，例如，还可包括向将由发送单元发送的音频信号添加与线性PCM信号相关的信息的信息添加单元。这种情况下，例如，信息添加单元可以通过使用连续的预定数目的预定单位的用户数据比特来添加与线性PCM信号相关的信息。如上所述，通过添加与线性PCM信号相关的信息，接收侧可以适当地处理线性PCM信号。
此外，本技术的另一个概念是：
一种接收设备，包括：
通过预定传输线路，从发送侧依次接收预定单位的音频信号的接收单元，
其中所述预定单位的音频信号包括压缩音频信号和线性PCM信号的混合信号。
在本技术中，接收单元通过预定传输线路，从发送侧依次接收预定单位的音频信号。预定单位的音频信号是压缩音频信号和线性PCM信号的混合信号。例如，还可包括处理压缩音频信号和线性PCM信号，从而获得输出线性PCM信号的处理单元。
如上所述，在本技术中，通过预定传输线路，从发送侧依次接收作为压缩音频信号和线性PCM信号的混合信号的预定单位的音频信号。于是，可以令人满意地实现压缩音频信号和线性PCM信号的同时再现。
注意，在本技术中，例如，构成信息可能已被添加到接收单元接收到的音频信号中，构成信息指示线性PCM信号的构成，处理单元可基于构成信息处理线性PCM信号。这使处理单元能够按照线性PCM信号的构成，适当地处理该线性PCM信号。
此外，在本技术中，例如，与线性PCM信号相关的信息可能已被添加到接收单元接收到的音频信号中，处理单元可基于该信息处理线性PCM信号。这使处理单元能够基于与线性PCM信号相关的信息，适当地处理该线性PCM信号。
本发明的效果
按照本技术，能够令人满意地实现压缩音频信号和线性PCM信号的同时传输和再现。注意，记载在本文中的效果仅仅是例证性的，而不是限制性的，可以表现出另外的效果。
附图说明
图1是图解说明作为实施例的AV系统的构成例子的方框图。
图2是图解说明音频放大器的显示单元上的语言名称的显示例子的示图。
图3是图解说明电视接收机的HDMI接收单元和音频放大器的HDMI发送单元的构成例子的方框图。
图4是图解说明在通过TMDS通道，传输其中宽度×高度为1920像素×1080行的图像数据的情况下的各种传输数据的时段的图。
图5是图解说明HDMI连接器的引脚分配的图。
图6是图解说明电视接收机的高速总线接口的构成例子的图。
图7是图解说明音频放大器的高速总线接口的构成例子的图。
图8是图解说明按照IEC 60958标准的帧构成的图。
图9是图解说明按照IEC 60958标准的子帧构成的图。
图10是图解说明按照IEC 60958标准的信号调制方案的图。
图11是图解说明按照IEC 60958标准的前导码的通道编码的图。
图12是图解说明IEC 61937-1接口格式的图。
图13是图解说明在同时发送压缩音频信号和线性PCM信号的情况下的接口格式的图。
图14是示意图解说明在同时发送压缩音频信号和线性PCM信号的情况下的通道状态的格式的图。
图15是图解说明“多通道构成值(MCV)”的值与线性PCM信号的构成之间的对应关系的例子的图。
图16是图解说明在8比特2通道的情况和16比特1通道的情况下的帧构成的例子的图。
图17是图解说明在16比特2通道的情况和16比特立体声2通道的情况下的帧构成的例子的图。
图18是图解说明在传输立体声2通道线性PCM信号和5.1通道线性PCM信号的情况下的帧构成的例子的示图。
图19是图解说明用户数据消息的例子的图。
图20是图解说明与线性PCM信号相关的信息的例子的图。
图21是用于说明在从电视接收机侧进行声音(语言)切换操作的情况下的操作的图。
图22是图解说明在将游戏机连接到电视接收机，并进行游戏的情况下的构成例子的方框图。
图23是图解说明在将麦克风连接到电视接收机，并进行卡拉OK的情况下的构成例子的方框图。
图24是图解说明在将导航系统连接到电视接收机，并使用该导航系统的情况下的构成例子的方框图。
具体实施方式
下面说明实现本发明的方式(以下称为“实施例”)。注意，说明是按照以下顺序进行的。
1.实施例
2.变形例
<1.实施例>
[AV系统的构成例子]
图1图解说明作为实施例的AV系统10的构成例子。该AV系统10包括电视接收机100和音频放大器200。电视接收机100连接到电视广播的接收天线121、蓝光光盘(BD)播放器122和因特网123。此外，音频放大器200连接到2通道或多通道的扬声器系统250。注意，“蓝光”是注册商标。
电视接收机100和音频放大器200经由HDMI线缆300连接。注意，“HDMI”是注册商标。电视接收机100设置有HDMI端子101，HDMI端子101连接到HDMI接收单元(HDMI RX)102和构成通信单元的高速总线接口103。音频放大器200设置有HDMI端子201，HDMI端子201连接到HDMI发送单元(HDMI TX)202和构成通信单元的高速总线接口203。HDMI线缆300的一端连接到电视接收机100的HDMI端子101，HDMI线缆300的另一端连接到音频放大器200的HDMI端子201。
电视接收机100包括HDMI接收单元102、高速总线接口103和SPDIF发送电路104。此外，电视接收机100包括系统控制器105、用户接口106、数字广播接收电路107、内容再现电路108、声音合成电路109、以太网接口110和下混合单元111。注意，“以太网”是注册商标。此外，在例示的例子中，为了简化说明，适当省略了图像系统的各个单元。
系统控制器105控制电视接收机100的各个单元的操作。用户接口106连接到系统控制器105。该用户接口106构成用户用于进行各种操作的操作单元，例如包括通过使用遥控器、触摸面板、鼠标、键盘或相机检测指令的输入的手势输入单元，通过使用声音输入指令的声音输入单元，等等。
数字广播接收电路107处理从接收天线121输入的电视广播信号，并输出与广播内容相关的压缩音频信号。以太网接口110通过因特网123与另一个服务器执行通信。内容再现电路108有选择地提取由数字广播接收电路107获得的广播内容的压缩音频信号，从BD播放器122提供的再现内容的压缩音频信号，或者由以太网接口110获得的因特网内容的压缩音频信号，并将提取的压缩音频信号发送到SPDIF发送电路104。
声音合成电路109从系统控制器105接收与在用户接口106上进行的操作对应的操作声音数据，生成操作声音的线性PCM信号，并将该线性PCM信号发送到SPDIF发送电路104。这种操作声音的线性PCM信号要求实时性。此外，声音合成电路109从系统控制器105接收向用户报告已接收到电子邮件的报告声音数据，生成报告声音的线性PCM信号，并将该线性PCM信号发送到SPDIF发送电路104。
此外，声音合成电路109从数字广播接收电路107接收字幕数据，通过使用字幕读取软件生成字幕声音的线性PCM信号，并将该线性PCM信号发送到SPDIF发送电路104。这种字幕声音的线性PCM信号要求实时性。例子包括其中广播内容是外国电影，由压缩音频信号指示的声音的语言是外语，和字幕是日语字幕的情况，以及其他情况。注意，关于该字幕声音，类似的情况适用于其中存在与来自BD播放器122的再现内容而不是广播内容相关的字幕数据的情况。
此外，声音合成电路109接收以太网接口110已从翻译服务器(图1中未示出)接收的翻译声音的文本数据，生成翻译声音的线性PCM信号，并将该线性PCM信号发送到SPDIF发送电路104。
这里，以太网接口110例如通过音频放大器200的HDMI发送单元202和电视接收机100的HDMI接收单元102，接收由音频放大器200的后述压缩音频解码电路206获得的第一语言的对白(line)的PCM声音信号，并且将该第一语言的对白的PCM声音信号发送到翻译服务器，于是，以太网接口110从翻译服务器接收第二语言的对白的翻译声音的文本数据。
下混合单元111对由内容再现电路108提取的多通道压缩音频信号进行解码和下混合处理，以生成立体声2通道线性PCM信号，并将生成的信号发送到SPDIF发送电路104。这使得能够从SPDIF发送电路104同时发送多通道压缩音频信号和立体声2通道线性PCM信号。这种情况下，要再现哪个信号留给接收侧决定。这在具有不同再现性能的各个再现设备存在于多个房间中的情况下是有效的，不过图解所示的例子仅仅示出了音频放大器200，作为接收侧的再现设备。
HDMI接收单元102通过符合HDMI的通信，接收经由HDMI线缆300提供给HDMI端子101的图像或声音的数据。高速总线接口103是通过使用构成HDMI线缆300的备用线(reserve line)和热插拔检测(HPD)线构成的双向通信路径的接口。注意，HDMI接收单元102和高速总线接口103的细节将在后面说明。
SPDIF发送电路104是用于发送按照IEC 60958标准的数字音频传输信号(下面适当地称为“SPDIF信号”)的电路。该SPDIF发送电路104是符合IEC 60958标准的发送电路。在本实施例中，SPDIF发送电路104同时发送压缩音频信号和线性PCM信号。这种情况下，子帧单位的音频信号是压缩音频信号和线性PCM信号的混合信号。
此时，指示子帧单位的音频信号是压缩音频信号和线性PCM信号的混合信号的标识信息、指示线性PCM信号的构成的构成信息、与线性PCM信号相关的信息等被添加到将从该SPDIF发送电路104发送的SPDIF信号中。构成信息指示例如8比特线性PCM信号的2通道构成、8比特线性PCM信号的立体声2通道构成、16比特线性PCM信号的1通道构成等。此外，与线性PCM信号相关的信息例如是诸如语言或扬声器位置之类的信息。注意，SPDIF信号的细节将在后面说明。
音频放大器200包括HDMI发送单元202、高速总线接口203和SPDIF接收电路204。此外，音频放大器200包括系统控制器205、压缩音频解码电路206、音频混合器207、放大器208、显示单元209和以太网接口210。
系统控制器205控制音频放大器200的各个单元的操作。HDMI发送单元202通过符合HDMI的通信，将基带中的视频(图像)和声音的数据从HDMI端子201发送到HDMI线缆300。高速总线接口203是通过使用构成HDMI线缆300的备用线和热插拔检测(HPD)线构成的双向通信路径的接口。注意，HDMI发送单元202和高速总线接口203的细节将在后面说明。SPDIF接收电路204是用于接收SDPIF信号(按照IEC 60958标准的数字音频信号)的电路。该SPDIF接收电路204是符合IEC 60958标准的接收电路。
压缩音频解码电路206对由SPDIF接收电路204获得的压缩音频信号进行解码处理，结果获得2通道或多通道线性PCM信号。音频混合器207基于指示线性PCM信号的构成的构成信息，将由压缩音频解码电路206获得的线性PCM信号与由SPDIF接收电路204获得的线性PCM信号混合，结果获得2通道或多通道输出线性PCM信号。注意，这里说明的混合处理还包括只选择其中之一。此外，在发送多个通道的线性PCM信号的情况下，这里说明的混合处理还包括选择线性PCM信号中任何一个。
这里，音频混合器207进行呈现处理，以获得与扬声器系统250的构成对应的通道的PCM声音信号。此外，在例如扬声器位置信息已作为与线性PCM信号相关的信息被添加到由SPDIF接收电路204获得的线性PCM信号中的情况下，以使得线性PCM信号所指示的声音定位于扬声器位置信息的扬声器位置的方式进行呈现处理。放大器208放大由音频混合器207获得的2通道或多通道输出线性PCM信号，并将该2通道或多通道输出线性PCM信号提供给扬声器系统250。
显示单元209显示音频放大器200的状态等。例如，当来自压缩音频解码电路206的线性PCM信号是第一语言，而SPDIF接收电路204所获得的线性PCM信号是第二语言时，音频混合器207选择两个线性PCM信号中的任何一个，与所选线性PCM信号相关的语言的名称被显示在显示单元208上。这里，来自压缩音频解码电路206的线性PCM信号的语言信息已被嵌入压缩音频信号本身中，而SPDIF接收电路204所获得的线性PCM信号的语言信息已被添加到由SPDIF接收电路204接收的音频信号中。图2(a)、2(b)和2(c)图解说明显示单元209上的语言名称的显示的例子。
“HDMI发送单元/接收单元的构成例子”
图3图解说明图1的AV系统10中的电视接收机100的HDMI接收单元102和音频放大器200的HDMI发送单元202的构成例子。
在有效图像时段(以下适当地称为“活动视频时段”)期间，HDMI发送单元202沿一个方向通过多个通道，将一个屏幕的基带(未压缩)图像数据的差分信号发送到HDMI接收单元102，所述有效图像时段是通过从由某个垂直同步信号至下一个垂直同步信号的时段(以下适当地称为“视频场”)中排除水平消隐间隔和垂直消隐间隔而获得的时段。此外，在水平消隐间隔和垂直消隐间隔内，HDMI发送单元202沿一个方向通过多个通道，将与伴随图像数据的声音数据和控制分组，以及其他辅助数据等对应的差分信号发送到HDMI接收单元102
HDMI发送单元202包括源信号处理单元71和HDMI发送器72。源信号处理单元71被供给图像(视频)和声音(音频)的基带未压缩数据。源信号处理单元71对供给的图像和声音的数据进行所需处理，并将该数据提供给HDMI发送器72。此外，源信号处理单元71根据需要与HDMI发送器72交流控制用信息、报告状态的信息(控制/状态)等。
HDMI发送器72将从源信号处理单元71供给的图像数据变换成对应的差分信号，并沿一个方向通过作为多个通道的3个TMDS通道#0、#1和#2，将所述差分信号发送给经由HDMI线缆300连接的HDMI接收单元102。
此外，从发送器72和源信号处理单元71供给的伴随未压缩的图像数据的声音数据和控制分组等的辅助数据，以及垂直同步信号(VSYNC)、水平同步信号(HSYNC)等的控制数据被变换成对应的差分信号，并且所述差分信号沿一个方向通过三个TMDS通道#0、#1和#2，被发送到经由HDMI线缆300连接的HDMI接收单元102。
此外，发送器72通过TMDS时钟通道，将与要通过三个TMDS通道#0、#1和#2发送的图像数据同步的像素时钟发送到经由HDMI线缆300连接的HDMI接收单元102。
HDMI接收单元102在活动视频时段中，接收沿一个方向通过多个通道从HDMI发送单元202发送的与图像数据对应的差分信号，并且还在水平消隐间隔和垂直消隐间隙中，接收通过多个通道从HDMI发送单元202发送的与辅助数据或控制数据对应的差分信号。
HDMI接收单元102包括HDMI接收器81和信宿信号处理单元82。HDMI接收器81与类似地从HDMI发送单元202通过TMDS时钟通道发送的像素时钟同步地，接收沿一个方向通过TMDS通道#0、#1和#2从经由HDMI线缆300连接的HDMI发送单元202发送的与图像数据对应的差分信号，和与辅助数据或控制数据对应的差分信号。此外，HDMI接收器81将差分信号变换为对应于所述差分信号的图像数据、辅助数据和控制数据，并根据需要将所述图像数据、辅助数据和控制数据提供给信宿信号处理单元82。
信宿信号处理单元82对从HDMI接收器81提供的数据进行所需处理，并输出该数据。另外，信宿信号处理单元82根据需要与HDMI接收器81交流控制用信息和报告状态的信息(控制/状态)等。
按照HDMI的传输通道包括用于从HDMI发送单元202向HDMI接收单元102，与像素时钟同步地沿一个方向串行传输图像数据、辅助数据和控制数据的三个TMDS通道#0、#1和#2，用作传输像素时钟的传输通道的TMDS时钟通道，显示数据通道(DDC)83，以及称为CEC线路84的传输通道。
DDC 83包括包含在HDMI线缆300中的两条未图示的线路(信号线)，供信源设备从经由HDMI线缆300连接的信宿设备读取增强-扩展显示标识(E-EDID)。换句话说，信宿设备包括EDID ROM 85。信源设备通过DDC 83从经由HDMI线缆300连接的信宿设备读取由EDIDROM 85存储的E-EDID，并且基于该E-EDID识别信宿设备的设定和性能。
CEC线路84包括包含在HDMI线缆300中的一条未图示的线路，用于在信源设备和信宿设备之间进行控制用数据的双向通信。
此外，HDMI线缆300包括连接到称为热插拔检测(HPD)的引脚的线路86。信源设备通过利用线路86，可以检测信宿设备的连接。此外，HDMI线缆300包括用于从信源设备向信宿设备供电的线路87。此外，HDMI线缆300包括备用线88。
图4图解说明在通过TMDS通道传输其中宽度×高度为1920像素×1080行的图像数据的情况下的各种类型的传输数据的时段。其中通过按照HDMI的三个TMDS通道传送传输数据的视频场按照传输数据的类型，包括三个时段，即，视频数据时段24、数据岛时段25和控制时段26。
这里，视频场时段是从某个垂直同步信号的上升沿(active edge)到下一个垂直同步信号的上升沿的时段，并且被划分为水平消隐间隔22(水平消隐)、垂直消隐间隔23(垂直消隐)和有效像素时段21(活动视频)，有效像素时段21用作通过从视频场时段中排除水平消隐间隔和垂直消隐间隔而获得的时段。
视频数据时段24被分配给有效像素时段21。在该视频数据时段24中，传输构成一个屏幕的未压缩图像数据的1920像素×1080行的有效像素的数据。数据岛时段25和控制时段26被分配给水平消隐间隔22和垂直消隐间隔23。在上面说明的数据岛时段25和控制时段26中，传输辅助数据。
换句话说，数据岛时段25被分配给水平消隐间隔22和垂直消隐间隔23的一部分。在该数据岛时段25中，传输辅助数据中与控制无关的数据，例如声音数据的分组等。控制时段26被分配给水平消隐间隔22和垂直消隐间隔23的其他部分。在该控制时段26中，传输辅助数据中与控制有关的数据，例如垂直同步信号、水平同步信号，控制分组等。
图5图解说明HDMI连接器的引脚分配。该引脚分配是类型A的例子。充当通过其传输作为TMDS通道#i的差分信号的TMDS Data#i+和TMDS Data#i-的差分线路的两条线路连接到TMDS Data#i+被分配给的引脚(引脚编号分别为1、4、7的引脚)，和TMDS Data#i-被分配给的引脚(引脚编号分别为3、6、9的引脚)。
此外，通过其传输作为控制用数据的CEC信号的CEC线路84与引脚编号为13的引脚连接，引脚编号为14的引脚为备用引脚。此外，通过其传输诸如E-EDID之类串行数据(SDA)信号的线路连接到引脚编号为16的引脚，而通过其传输用作在SDA信号的发送或接收时同步使用的时钟信号的串行时钟(SCL)信号的线路连接到引脚编号为15的引脚。上述DDC 83由通过其传输SDA信号的线路和通过其传输SCL信号的线路构成。
此外，如上所述用于信源设备检测信宿设备的连接的HPD线路86连接到引脚编号为19的引脚。此外，如上所述用于供电的电源线87连接到引脚编号为18的引脚。
“高速总线接口的构成例子”
图6图解说明图1的AV系统10中的电视接收机100的高速总线接口103的构成例子。以太网接口110通过使用由构成HDMI线缆300的多个线路中的一对线路(即，备用线路和HPD线路)构成的传输线路，进行局域网(LAN)通信，即，以太网信号的发送或接收。SPDIF发送电路104通过使用由上述一对线路构成的传输线路来发送SPDIF信号。
电视接收机100包括LAN信号发送电路441、端接电阻器442、AC耦合电容443和444、LAN信号接收电路445、减法电路446、加法电路449和450、以及放大器451。它们构成高速总线接口103。此外，电视接收机100包括构成插头连接传输电路128的扼流圈461、电阻器462和电阻器463。
在HDMI端子101的14引脚端子521和19引脚端子522之间，连接AC耦合电容443、端接电阻器442和AC耦合电容444的串联电路。此外，在电源线(+5.0V)和接地线之间，连接电阻器462和电阻器463的串联电路。然后，这些电阻器462和463的互连点经由扼流线圈461，连接到19引脚端子522和AC耦合电容444的连接点Q4。
AC耦合电容443和端接电阻器442的互连点P3连接到加法电路449的输出侧，还连接到LAN信号接收电路445的正输入侧。此外，AC耦合电容444和端接电阻器442的互连点P4连接到加法电路450的输出侧，还连接到LAN信号接收电路445的负输入侧。
加法电路449的一个输入侧连接到LAN信号发送电路441的正输出侧，从SPDIF发送电路104输出的SPDIF信号经由放大器451被提供给该加法电路449的另一个输入侧。此外，加法电路450的一个输入侧连接到LAN信号发送电路441的负输出侧，从SPDIF发送电路104输出的SPDIF信号经由放大器451被提供给该加法电路450的另一个输入侧。
发送信号(发送数据)SG417从以太网接口110被提供给LAN信号发送电路441的输入侧。此外，LAN信号接收电路445的输出信号SG418被提供给减法电路446的正侧端子，并且发送信号SG417被提供给该减法电路446的负侧端子。在该减法电路446中，从LAN信号接收电路445的输出信号SG418中减去发送信号SG417，获得接收信号(接收数据)SG419。在LAN信号(以太网信号)作为差分信号经由备用线路和HPD线路发送的情况下，该接收信号SG419充当该LAN信号。该接收信号SG419被提供给以太网接口110。
图7图解说明图1的AV系统10中的音频放大器200的高速总线接口203的构成例子。以太网接口210通过使用由构成HDMI线缆610的多个线路中的一对线路(即，备用线路和HPD线路)构成的传输线路，进行局域网(LAN)通信，即，以太网信号的发送或接收。SPDIF接收电路204通过使用由上述一对线路构成的传输线路来接收SPDIF信号。
音频放大器200包括LAN信号发送电路411、端接电阻器412、AC耦合电容413和414、LAN信号接收电路415、减法电路416、加法电路419和放大器420。它们构成高速总线接口203。此外，音频放大器200包括构成插头连接检测电路221的下拉电阻器431、电阻器432、电容433和比较器434。这里，电阻器432和电容433构成低通滤波器。
在HDMI端子201的14引脚端子511和19引脚端子512之间，连接AC耦合电容413、端接电阻器412和AC耦合电容414的串联电路。AC耦合电容413和端接电阻器412的互连点P1连接到LAN信号发送电路411的正输出侧，还连接到LAN信号接收电路415的正输入侧。
AC耦合电容414和端接电阻器412的互连点P2连接到LAN信号发送电路411的负输出侧，还连接到LAN信号接收电路415的负输入侧。发送信号(发送数据)SG411从以太网接口210被提供给LAN信号发送电路411的输入侧。
LAN信号接收电路415的输出信号SG412被提供给减法电路416的正侧端子，发送信号(发送数据)SG411被提供给该减法电路416的负侧端子。在该减法电路416中，从LAN信号接收电路415的输出信号SG412中减去发送信号SG411，获得接收信号SG413。在LAN信号(以太网信号)作为差分信号经由备用线路和HPD线路发送的情况下，该接收信号SG413充当该LAN信号。该接收信号SG 413被提供给以太网接口210。
AC耦合电容414和19引脚端子512的连接点Q2经由下拉电阻器431连接到接地线，还经由电阻器432和电容433的串联电路连接到接地线。然后，在电阻器432和电容433的互连点获得的低通滤波器的输出信号被提供给比较器434的一个输入端子。在该比较器434中，比较低通滤波器的输出信号与提供给另一输入端子的参考电压Vref2(+1.4V)。该比较器434的输出信号SG 415被提供给未图示的音频放大器200的控制单元(CPU)。
此外，AC耦合电容413和端接电阻器412的互连点P1连接到加法电路419的一个输入端子。此外，AC耦合电容414和端接电阻器412的互连点P2连接到加法电路419的另一个输入端子。该加法电路419的输出信号经由放大器420被提供给SPDIF接收电路204。在SPDIF信号作为同相信号经由备用线路和HPD线路发送的情况下，该加法器电路419的输出信号充当该SPDIF信号。
“SPDIF信号的细节”
首先，说明IEC 60958标准的概况。图8图解说明按照IEC 60958标准的帧构成。每个帧由2个子帧构成。在双通道立体声的情况下，左通道信号包括在第一子帧中，而右通道信号包括在第二子帧中。
在子帧的头部，如后所述设置前导码，“M”作为前导码被赋予左通道信号，“W”作为前导码被赋予右通道信号。然而，每192帧向第一个前导码赋予指示块的开始的“B”。换句话说，一个块由192帧构成。块是构成后面说明的通道状态的单位。
图9图解说明按照IEC 60958标准的子帧构成。子帧由32个时隙(第0个到第31个时隙)构成。第0个到第3个时隙指示前导码(同步前导码)。如上所述，该前导码指示“M”、“W”或“B”中的任意一个，以便指示左通道和右通道的区别或者块的开始位置。
第4个到第27个时隙是主数据字段，在采用24位代码范围的情况下，整体指示音频数据。此外，在采用20位代码范围的情况下，第8个到第27个时隙指示音频数据(音频样本字)。在后一种情况下，第4个到第7个时隙可以用作附加信息(辅助样本位)。图解所示的例子指示了后一种情况。
第28个时隙是主数据字段的有效性标志。第29个时隙指示用户数据的1个比特。通过累积各个帧的该第29个时隙，可以构成一系列的用户数据。通过在每一帧上累积该第29时隙来构成一系列用户数据。该用户数据的消息以8比特的信息单元(IU)为单位构成，一个消息包含3～129个信息单元。
在信息单元之间可以存在0～8比特的“0”。信息单元的头部由起始位“1”标识。在消息中，前7个信息单元被保留，用户可以在第8个信息单元和随后的信息单元中设置任何信息。消息由8个或更多比特的“0”分隔。
第30个时隙指示通道状态的1个比特。通过累积每个块的各个帧的第30个时隙，可以构成一系列的通道状态。注意如上所述，块的头部位置由前导码“B”(第0个到第3个时隙)指示。
第31个时隙是奇偶校验位。该奇偶校验位是以包含在第4个到第31个时隙中的“0”和“1”的数目为偶数的方式给出的。
图10图解说明按照IEC 60958标准的信号调制方案。对通过从子帧中排除前导码而获得的第4个到第31个时隙进行双相标记调制。在这种双相标记调制中，使用具有原始信号(源编码)的两倍速度的时钟。当原始信号的时钟周期被分为前半部分和后半部分时，双相标记调制的输出总是在时钟周期的前半部分的边缘处被反转。此外，在时钟周期的后半部分的边缘，当原始信号指示“1”时，输出被反转，而当原始信号指示“0”时，输出不被反转。于是，可以从双相标记调制之后的信号中提取原始信号中的时钟分量。
图11图解说明按照IEC 60958标准的前导码的通道编码。如上所述，对子帧的第4个到第31个时隙进行双相标记调制。另一方面，不对第0个到第3个时隙的前导码进行通常的双相标记调制，而是将该前导码视为与2倍速时钟同步的比特模式。换句话说，通过向第0个到第3个时隙中的每个时隙分配两个比特，获得如图所示的8比特模式。
如果最近状态为“0”，那么将“11101000”分配给前导码“B”，将“11100010”分配给“M”，将“1100100”分配给“W”。相反，如果最近状态为“1”，那么将“00010111”分配给前导码“B”，将“00011101”分配给“M”，将“00011011”分配给“W”。
根据按照IEC 60958标准的协议传输压缩音频信号的格式由IEC61937-1标准规定。图12图解说明IEC 61937-1接口格式。图12(a)图解说明帧构成。192帧构成一个块，各个块是连续的。图12(b)图解说明每个帧包括两个子帧。
在子帧的头部设置前导码，块的第一子帧的前导码被赋予指示块的开始的“B”。然后，随后的各个子帧的第一前导码被交替赋予“W”和“M”。
图12(c)图解说明子帧构成。在包括预定数量的通道的压缩音频信号的SPDIF信号的情况下，压缩音频信号的比特流被分割并被顺序插入到每个子帧的第12个到第27个时隙中。换句话说，在每个子帧的第4个到第27个时隙中的24比特音频数据区域中，上位(higher-order)16比特用于传输压缩音频信号。
在本实施例中，同时发送压缩音频信号和线性PCM信号。这种情况下，子帧单位的音频信号是压缩音频信号和线性PCM信号的混合信号。图13图解说明在同时发送压缩音频信号和线性PCM信号的情况下的接口格式。图13(a)和13(b)分别与图12(a)和12(b)相同。图13(c)图解说明子帧构成。在每个子帧的第4个到第27个时隙中的24比特音频数据区域中，上位16比特用于传输压缩音频信号，下位8比特用于传输线性PCM信号。
如上所述，指示子帧单位的音频信号是压缩音频信号和线性PCM信号的混合信号的标识信息，和指示线性PCM信号的构成的构成信息被添加到要从该SPDIF发送电路104发送的音频信号中。在该实施例中，通过使用通道状态位来添加这些信息。
图14示意图解说明在同时发送压缩音频信号和线性PCM信号的情况下的通道状态的格式。整个通道状态包括第0个到第23个字节。第0比特的‘a＝“0”’指示该通道状态为消费者使用。此外，与IEC61937-1接口格式类似，第1比特的‘b＝“1”’指示在压缩数字音频信号的传输中的使用。
注意，在传统的IEC 61937-1接口格式中，第3比特到第5比特的3比特为“000”，并且即使同样应用它，也能充分地进行操作。然而，另一个值可用于与传统IEC 61937-1接口格式相区别。在图解所示的例子中，使用“100”。
在传统的IEC 61937-1接口格式中，第49比特到第52比特的4比特为“0000”。然而，设定与此不同的值，并且该值用作指示子帧单位的音频信号是压缩音频信号和线性PCM信号的混合信号的标识信息。在图解所示的例子中，使用“1111”。此外，当第49比特到第52比特的4比特指示混合信号时，随后的第53比特到第60比特的8比特被启用。
这8比特是指示线性PCM信号的构成的构成信息。图15图解说明第53比特到第60比特的8比特的“多通道构成值(MCV)”的值与线性PCM信号的构成之间的对应关系的例子。例如，“10000000”指示“8比特LPCM 2通道”，即，8比特2通道的构成。此外，例如，“01000000”指示“8比特LPCM立体声2通道”，即，8比特立体声2通道的构成。
此外，例如，“00100000”指示“16比特LPCM 1通道”，即，16比特1通道的构成。此外，例如，“10100000”指示“16比特LPCM 2通道”，即，16比特2通道的构成。此外，例如，“01100000”指示“16比特LPCM立体声2通道”，即，16比特立体声2通道的构成。此外，例如，“11100000”指示“16比特LPCM 4通道”，即，16比特4通道的构成。
图16(a)图解说明在8比特2通道的情况下的帧构成的例子。这种情况下，通道1的8比特线性PCM信号被分配给A通道的下位8比特，通道2的8比特线性PCM信号被分配给B通道的下位8比特。
图16(b)图解说明在16比特1通道的情况下的帧构成的例子。这种情况下，通道1的上位8比特线性PCM信号被分配给A通道的下位8比特，通道1的下位8比特线性PCM信号被分配给B通道的下位8比特。
图17(a)图解说明在16比特2通道的情况下的帧构成的例子。在传送速率被增大为2倍的情况下，例如，在原始采样频率为48kHz并且传送速率为96kHz的情况下，使线性PCM信号的采样频率保持为48kHz，而不是96kHz。
这种情况下，从块的开始处计数，通道1的上位8比特线性PCM信号被分配给奇数编号的A通道的下位8比特，通道1的下位8比特线性PCM信号被分配给奇数编号的B通道的下位8比特，通道2的上位8比特线性PCM信号被分配给偶数编号的A通道的下位8比特，而通道2的下位8比特线性PCM信号被分配给奇数编号的B通道的下位8比特。
图17(b)图解说明在16比特立体声2通道的情况下的帧构成的例子。在传送速率被增大为2倍的情况下，例如，在原始采样频率为48kHz并且传送速率为96kHz的情况下，使线性PCM信号的采样频率保持为48kHz，而不是96kHz。
这种情况下，从块的开始处计数，L通道的上位8比特线性PCM信号被分配给奇数编号的A通道的下位8比特，L通道的下位8比特线性PCM信号被分配给奇数编号的B通道的下位8比特，R通道的上位8比特线性PCM信号被分配给偶数编号的A通道的下位8比特，而R通道的下位8比特线性PCM信号被分配给奇数编号的B通道的下位8比特。
此外，尽管图示被省略，但是在16比特4通道的情况下的帧构成中，传送速率被增大为4倍，并分配4通道的线性PCM信号。此外，尽管详细说明被省略，但是类似地，可以增大通道的数量，或者比特深度可被设定为32比特。此外，可以传输5.1通道等的线性PCM信号。
图18图解说明在传输立体声2通道线性PCM信号和5.1通道线性PCM信号的情况下的帧构成的例子。这种情况下，从块的开始处计数，立体声2通道线性PCM信号被分配给最初的一对A通道和B通道，5.1通道线性PCM信号被分配给随后的三对A通道和B通道，然后，重复该过程。
如上所述，与线性PCM信号相关的各种信息被添加到要从SPDIF发送电路104发送的音频信号中。在该实施例中，通过使用用户位添加这些信息。
图19图解说明用户数据消息的例子。该用户数据消息由10个信息单元(IU)构成。“IEC 61937-1 ID”的信息，即，指示信息的种类的标识信息被布置在第2个IU的第4比特到第0比特和第3个IU的第5比特到第2比特中。随后，在第3个IU的第1比特到第0比特和第4个到第8个IU的第5比特到第0比特中，设置4字节的信息字段。注意，信息字段不限于4字节的信息字段。
图20图解说明信息的例子。例如，在“IEC 61937-1 ID”为“10000000”的情况下，这指示由线性PCM信号指示的声音的语言信息。这种情况下，指示语言名称的缩写的ASCII字符信息布置在4字节的信息字段中。此外，例如，在“IEC 61937-1 ID”为“01000000”的情况下，这指示由线性PCM信号指示的声音的再现扬声器位置的信息。这种情况下，指示通道编号、角度、高度和距离的信息布置在4字节的信息字段中。注意，这里说明的信息仅仅是例子，而不是限制性的。通过使用用户数据消息，如图19中图解所示，与线性PCM信号相关的各种信息可被传送给接收侧。
如上所述，在图1中图解说明的AV系统10中，压缩音频信号和线性PCM信号的混合信号可以在子帧单位中从电视接收机100被发送到音频播放器200。于是，电视接收机100可以令人满意地实现压缩音频信号和线性PCM信号的同时传输，并且音频播放器200可以令人满意地实现压缩音频信号和线性PCM信号的同时再现。
此外，在图1中图解所示的AV系统10中，例如，当在电视接收机100上观看广播内容的图像的同时，在音频放大器200中享受5.1通道环绕系统时，可以进行如下操作：(1)可以再现报告电子邮件的接收的报告声音。(2)可以再现用户接口106的操作声音。(3)可以再现字幕数据被转换成的声音。(4)可以在音频放大器200中切换再现的声音的语言，并且语言名称可被显示在音频放大器200的显示单元209上。(5)可以再现由线性PCM信号指示的声音，并且其定位可以基于扬声器位置信息来改变。
<2.变形例>
注意，在上述实施例中，在压缩音频信号所指示的声音为第一语言，而线性PCM信号所指示的声音为第二语言的情况下，可以按照用户在音频放大器200上进行的操作切换语言。然而，还可以想到可以从电视接收机100侧进行该切换操作。
图21是用于说明这种情况下的操作的图，与该操作相关的路径用虚线表示。在图21中，对应于图1的部分用相同的附图标记例示。首先，用户通过使用电视接收机100的用户接口106，比如遥控器进行声音切换操作。响应于此，电视接收机100的系统控制器105经由HDMI线缆300的CEC线路，向音频放大器200的系统控制器205发送声音切换命令。
音频放大器200的系统控制器205基于声音切换命令控制音频混合器207以切换声音，并经由HDMI线缆300的CEC线路，向电视接收机100的系统控制器105报告声音切换的完成。电视接收机100的系统控制器105基于该报告，在显示器112上显示切换后的语言的名称。
图22图解说明在将游戏机124连接到电视接收机100，并进行游戏的情况下的构成例子。图22中，对应于图1的部分用相同的附图标记例示。这种情况下，从游戏机124输出声轨的压缩音频信号，并且还输出游戏控制器的实时响应声音的线性PCM信号。上述多通道压缩音频信号和线性PCM信号被提供给SPDIF发送电路104，并且同时被发送到音频放大器200。在音频放大器200中，声轨和实时响应声音被同时再现。
注意，还可以想到从游戏机124输出定位自由变化的声源的线性PCM信号，该线性PCM信号被提供给SPDIF发送电路104，并且该线性PCM信号与压缩音频信号同时地被发送到音频放大器200的情况。在这种情况下，通过添加扬声器位置信息，作为与线性PCM信号相关的信息，音频放大器200的音频混合器207实时进行定位处理。
图23图解说明在麦克风125连接到电视接收机100，并进行卡拉OK的情况下的构成例子。图23中，对应于图1的部分用相同的附图标记例示。这种情况下，例如，从BD播放器122获得卡拉OK压缩音频信号。此外，从麦克风125获得与用户的歌唱对应的线性PCM信号。卡拉OK压缩音频信号和来自麦克风125的线性PCM信号被提供给SPDIF发送电路104，并被同时发送给音频放大器200。在音频放大器200中，同时再现背景演奏声音和歌唱声音。
这种情况下，背景演奏声音与卡拉OK压缩音频信号相关，相反，歌唱声音与线性PCM信号相关，并且是以比背景演奏声音更高的音质提供的。于是，具有歌唱声音听起来很熟练的优点。此外，歌唱声音是用线性PCM信号发送的。于是，延迟较小，从而这便利歌唱。
图24中，设想了车载使用的情况，图24图解说明在将导航系统126连接到电视接收机100，并使用该导航系统126的情况下的构成例子。图24中，对应于图1的部分用相同的附图标记例示。这种情况下，来自导航系统126的声音指南的线性PCM信号被提供给SPDIF发送电路，并与压缩音频信号被同时发送给音频放大器200。在音频放大器200中，以导航声音被实时叠加在广播内容或再现内容的再现声音上的方式进行再现。
注意，尽管省略了详细说明，不过本技术还可以适用于其中在VR/AR应用中，分开并且同时地传输背景声音和实时变化的合成声音的情况。这种情况下，背景声音是作为压缩音频信号传输的，而合成声音是作为线性PCM信号传输的。此外，本技术还可以适用于其中在医疗保健中，在按摩椅中再现多通道音乐的同时，通过线性PCM通道发送按摩椅各个地方的电动机控制信号。DC电平不能以压缩来表示，但是可以以线性PCM来表示。
注意，在上述实施例中，说明了其中使用HDMI ARC作为IEC 60958传输线路的例子，不过也可以想到其中使用同轴线缆或光缆作为IEC 60958传输线路的例子。此外，还可以想到其中使用HDMI传输线路作为IEC 60958传输线路的例子。这种情况下，SPDIF信号(IEC 60958信号)被映射到音频样本分组中，并且在与视频传输中的方向相同的前向方向上被传输。类似地，可以想到其中使用IEC 61883-6传输线路、MHL传输线路、显示端口传输线路(DP传输线路)等作为IEC 60958传输线路的例子。在这些情况下，类似地，SPDIF信号(IEC 60958信号)被映射到音频样本分组中，并且在与视频传输中的方向相同的前向方向上被传输。
此外，已经参考附图详细说明了本公开的优选实施例，但是本公开的技术范围不限于上述例子。显然，本公开的技术领域的普通技术人员可以在不脱离记载在权利要求中的技术思想的情况下构思各种变化或修改，并且应当理解的是，这些变化或修改落入本公开的技术范围内。
此外，本技术也可以采用以下构成。
(1)一种发送设备，包括：
通过预定传输线路向接收侧依次发送预定单位的音频信号的发送单元，
其中所述预定单位的音频信号包括压缩音频信号和线性PCM信号的混合信号。
(2)记载在上述(1)中的发送设备，
其中所述预定单位的音频信号包括子帧单位的音频信号。
(3)记载在上述(2)中的发送设备，
其中在所述子帧单位的音频信号中，压缩音频信号被布置在上位比特侧，而线性PCM信号被布置在下位比特侧。
(4)记载在上述(1)-(3)任意之一中的发送设备，
其中所述线性PCM信号包括要求实时性的音频信号。
(5)记载在上述(1)-(4)任意之一中的发送设备，还包括：
向由所述发送单元发送的音频信号添加标识信息的信息添加单元，所述标识信息指示所述预定单位的音频信号包括压缩音频信号和线性PCM信号的混合信号。
(6)记载在上述(5)中的发送设备，
其中所述信息添加单元通过使用为预定数目的所述预定单位构成的每个块的通道状态的预定比特区域来添加所述标识信息。
(7)记载在上述(1)-(6)任意之一中的发送设备，还包括：
向由所述发送单元发送的音频信号添加构成信息的信息添加单元，所述构成信息指示线性PCM信号的构成。
(8)记载在上述(7)中的发送设备，
其中所述信息添加单元通过使用为预定数目的所述预定单位构成的每个块的通道状态的预定比特区域来添加所述构成信息。
(9)记载在上述(1)-(8)任意之一中的发送设备，还包括：
向由所述发送单元发送的音频信号添加与线性PCM信号相关的信息的信息添加单元。
(10)记载在上述(9)中的发送设备，
其中所述信息添加单元通过使用连续的预定数目的所述预定单位的用户数据比特来添加与线性PCM信号相关的信息。
(11)记载在上述(1)-(10)任意之一中的发送设备，还包括：
获取所述压缩音频信号的第一获取单元；和获取所述线性PCM信号的第二获取单元。
(12)记载在上述(1)-(11)任意之一中的发送设备，
其中所述预定传输线路包括同轴线缆、光纤、以太网(IEC61883-6)线缆、HDMI线缆、MHL线缆或显示端口线缆。
(13)一种发送方法，包括：
通过预定传输线路向接收侧依次发送预定单位的音频信号的处理，
其中所述预定单位的音频信号包括压缩音频信号和线性PCM信号的混合信号。
(14)一种接收设备，包括：
通过预定传输线路从发送侧依次接收预定单位的音频信号的接收单元，
其中所述预定单位的音频信号包括压缩音频信号和线性PCM信号的混合信号。
(15)记载在上述(14)中的接收设备，还包括：
处理所述压缩音频信号和线性PCM信号，并获得输出线性PCM信号的处理单元。
(16)记载在上述(15)中的接收设备，
其中构成信息已被添加到所述接收单元接收的音频信号中，所述构成信息指示线性PCM信号的构成，和
所述处理单元基于所述构成信息处理线性PCM信号。
(17)记载在上述(15)或(16)中的接收设备，
其中与线性PCM信号相关的信息已被添加到所述接收单元接收的音频信号中，和
所述处理单元基于所述与线性PCM信号相关的信息，处理线性PCM信号。
(18)一种接收方法，包括：
通过预定传输线路从发送侧依次接收预定单位的音频信号的处理，
其中所述预定单位的音频信号包括压缩音频信号和线性PCM信号的混合信号。
附图标记列表
10 AV系统
100 电视接收机
101 HDMI端子
102 HDMI接收单元
103 高速总线接口
104 SPDIF发送电路
105 系统控制器
106 用户接口
107 数字广播接收电路
108 内容再现电路
109 声音合成电路
110 以太网接口
111 下混合单元
112 显示器
121 接收天线
122 BD播放器
123 因特网
124 游戏机
125 麦克风
126 导航系统
200 音频放大器
201 HDMI端子
202 HDMI发送单元
203 高速总线接口
204 SPDIF接收电路
205 系统控制器
206 压缩音频解码电路
207 音频混合器
208 放大器
209 显示单元
210 以太网接口
250 扬声器系统
300 HDMI线缆

Claims (18)

1.一种发送设备，包括：
通过预定传输线路向接收侧依次发送预定单位的音频信号的发送单元，
其中所述预定单位的音频信号包括压缩音频信号和线性PCM信号的混合信号。
2.按照权利要求1所述的发送设备，
其中所述预定单位的音频信号包括子帧单位的音频信号。
3.按照权利要求2所述的发送设备，
其中在所述子帧单位的音频信号中，压缩音频信号被布置在上位比特侧，而线性PCM信号被布置在下位比特侧。
4.按照权利要求1所述的发送设备，
其中所述线性PCM信号包括要求实时性的音频信号。
5.按照权利要求1所述的发送设备，还包括：
向由所述发送单元发送的音频信号添加标识信息的信息添加单元，所述标识信息指示所述预定单位的音频信号包括压缩音频信号和线性PCM信号的混合信号。
6.按照权利要求5所述的发送设备，
其中所述信息添加单元通过使用为预定数目的所述预定单位构成的每个块的通道状态的预定比特区域来添加所述标识信息。
7.按照权利要求1所述的发送设备，还包括：
向由所述发送单元发送的音频信号添加构成信息的信息添加单元，所述构成信息指示线性PCM信号的构成。
8.按照权利要求7所述的发送设备，
其中所述信息添加单元通过使用为预定数目的所述预定单位构成的每个块的通道状态的预定比特区域来添加所述构成信息。
9.按照权利要求1所述的发送设备，还包括：
向由所述发送单元发送的音频信号添加与线性PCM信号相关的信息的信息添加单元。
10.按照权利要求9所述的发送设备，
其中所述信息添加单元通过使用连续的预定数目的所述预定单位的用户数据比特来添加与线性PCM信号相关的信息。
11.按照权利要求1所述的发送设备，还包括：
获取所述压缩音频信号的第一获取单元；和获取所述线性PCM信号的第二获取单元。
12.按照权利要求1所述的发送设备，
其中所述预定传输线路包括同轴线缆、光纤、以太网IEC 61883-6线缆、HDMI线缆、MHL线缆或显示端口线缆。
13.一种发送方法，包括：
通过预定传输线路向接收侧依次发送预定单位的音频信号的处理，
其中所述预定单位的音频信号包括压缩音频信号和线性PCM信号的混合信号。
14.一种接收设备，包括：
通过预定传输线路从发送侧依次接收预定单位的音频信号的接收单元，
其中所述预定单位的音频信号包括压缩音频信号和线性PCM信号的混合信号。
15.按照权利要求14所述的接收设备，还包括：
处理所述压缩音频信号和线性PCM信号并获得输出线性PCM信号的处理单元。
16.按照权利要求15所述的接收设备，
其中构成信息已被添加到所述接收单元接收的音频信号中，所述构成信息指示线性PCM信号的构成，和
所述处理单元基于所述构成信息处理线性PCM信号。
17.按照权利要求15所述的接收设备，
其中与线性PCM信号相关的信息已被添加到所述接收单元接收的音频信号中，和
所述处理单元基于与线性PCM信号相关的信息，处理线性PCM信号。
18.一种接收方法，包括：
通过预定传输线路从发送侧依次接收预定单位的音频信号的处理，
其中所述预定单位的音频信号包括压缩音频信号和线性PCM信号的混合信号。
CN201980032554.0A 2018-05-23 2019-05-15 发送设备、发送方法、接收设备和接收方法 Active CN112136176B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-098382 2018-05-23
JP2018098382 2018-05-23
PCT/JP2019/019407 WO2019225448A1 (ja) 2018-05-23 2019-05-15 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN112136176A true CN112136176A (zh) 2020-12-25
CN112136176B CN112136176B (zh) 2024-06-18

Family

ID=68616107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980032554.0A Active CN112136176B (zh) 2018-05-23 2019-05-15 发送设备、发送方法、接收设备和接收方法

Country Status (5)

Country Link
US (1) US11942103B2 (zh)
EP (1) EP3799042A4 (zh)
KR (1) KR20210011916A (zh)
CN (1) CN112136176B (zh)
WO (1) WO2019225448A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697817A (zh) * 2020-12-30 2022-07-01 华为技术有限公司 音频数据处理系统和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1495776A (zh) * 1998-11-16 2004-05-12 �ձ�ʤ����ʽ���� 声音编码装置和解码装置、光记录介质及声音传输方法
US20060133777A1 (en) * 1998-04-06 2006-06-22 Pioneer Electronic Corporation Data recording medium, and data reproducing apparatus
US20110280307A1 (en) * 1998-11-09 2011-11-17 Macinnis Alexander G Video and Graphics System with Video Scaling
US20120081604A1 (en) * 2010-09-30 2012-04-05 Canon Kabushiki Kaisha Electronic apparatus
CN103177725A (zh) * 2008-10-06 2013-06-26 爱立信电话股份有限公司 用于输送对齐的多通道音频的方法和设备
US20170302633A1 (en) * 2014-09-29 2017-10-19 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
US20180054634A1 (en) * 2015-04-07 2018-02-22 Sony Corporation Transmission device, transmission method, reception device, and reception method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3622365B2 (ja) * 1996-09-26 2005-02-23 ヤマハ株式会社 音声符号化伝送方式
US7295883B2 (en) * 1999-11-23 2007-11-13 Dell Products L.P. Method and apparatus for providing audio signals
KR20040041085A (ko) * 2001-10-03 2004-05-13 소니 가부시끼 가이샤 부호화장치 및 방법, 복호화장치 및 방법, 기록매체의기록장치 및 방법
JP4687216B2 (ja) * 2005-04-18 2011-05-25 ソニー株式会社 画像信号処理装置、カメラシステム、および画像信号処理方法
JP4687215B2 (ja) * 2005-04-18 2011-05-25 ソニー株式会社 画像信号処理装置、カメラシステム、および画像信号処理方法
JP2007288362A (ja) * 2006-04-13 2007-11-01 Sanyo Electric Co Ltd 音量変換装置
JP2009033649A (ja) * 2007-07-30 2009-02-12 Sony Corp コンテンツデータ送受信システム、コンテンツデータ送信装置、コンテンツデータ受信装置、コンテンツデータ送信方法、コンテンツデータ受信処理方法
JP4434267B2 (ja) 2007-11-22 2010-03-17 ソニー株式会社 インターフェース回路
US10593337B2 (en) 2015-07-10 2020-03-17 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
WO2017043378A1 (ja) * 2015-09-07 2017-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2019225449A1 (ja) * 2018-05-23 2019-11-28 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP7452526B2 (ja) * 2019-02-27 2024-03-19 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060133777A1 (en) * 1998-04-06 2006-06-22 Pioneer Electronic Corporation Data recording medium, and data reproducing apparatus
US20110280307A1 (en) * 1998-11-09 2011-11-17 Macinnis Alexander G Video and Graphics System with Video Scaling
CN1495776A (zh) * 1998-11-16 2004-05-12 �ձ�ʤ����ʽ���� 声音编码装置和解码装置、光记录介质及声音传输方法
CN103177725A (zh) * 2008-10-06 2013-06-26 爱立信电话股份有限公司 用于输送对齐的多通道音频的方法和设备
US20120081604A1 (en) * 2010-09-30 2012-04-05 Canon Kabushiki Kaisha Electronic apparatus
US20170302633A1 (en) * 2014-09-29 2017-10-19 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
US20180054634A1 (en) * 2015-04-07 2018-02-22 Sony Corporation Transmission device, transmission method, reception device, and reception method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697817A (zh) * 2020-12-30 2022-07-01 华为技术有限公司 音频数据处理系统和电子设备
CN114697817B (zh) * 2020-12-30 2023-06-02 华为技术有限公司 音频数据处理系统和电子设备

Also Published As

Publication number Publication date
WO2019225448A1 (ja) 2019-11-28
CN112136176B (zh) 2024-06-18
EP3799042A1 (en) 2021-03-31
EP3799042A4 (en) 2021-07-14
US20210249026A1 (en) 2021-08-12
KR20210011916A (ko) 2021-02-02
US11942103B2 (en) 2024-03-26

Similar Documents

Publication Publication Date Title
JP4434267B2 (ja) インターフェース回路
JP4785989B2 (ja) 映像音声送信装置および映像音声受信装置
US12003886B2 (en) Transmission device, transmission method, reception device, and reception method
US10986070B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
CN112136176B (zh) 发送设备、发送方法、接收设备和接收方法
TWI802739B (zh) 送訊裝置、送訊方法、收訊裝置及收訊方法
JP7452526B2 (ja) 送信装置、送信方法、受信装置および受信方法
US12014709B2 (en) Transmission device, transmission method, reception device and reception method
WO2019225449A1 (ja) 送信装置、送信方法、受信装置および受信方法
US12081960B2 (en) Transmission device, transmission method, reception device, and reception method
KR101765566B1 (ko) 데이터 전송 장치, 데이터 수신 장치, 데이터 송수신 시스템, 데이터 전송 방법, 데이터 수신 방법
JP2010200324A (ja) インターフェース回路
US11012736B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
WO2023189162A1 (ja) 送信装置、受信装置および送受信システム
CN114630065A (zh) 多媒体中继装置音讯转换装置及音讯处理方法
JP4596085B2 (ja) インターフェース回路

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant