CN104885483A - 通信方法、音响设备和通信设备 - Google Patents

通信方法、音响设备和通信设备 Download PDF

Info

Publication number
CN104885483A
CN104885483A CN201380068110.5A CN201380068110A CN104885483A CN 104885483 A CN104885483 A CN 104885483A CN 201380068110 A CN201380068110 A CN 201380068110A CN 104885483 A CN104885483 A CN 104885483A
Authority
CN
China
Prior art keywords
audio data
data
multichannel audio
sound
conversion equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380068110.5A
Other languages
English (en)
Inventor
藤田博之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN104885483A publication Critical patent/CN104885483A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一种音响设备包括:获取单元,其获取多通道音频数据;传送单元,其经由通信网络将多通道音频数据传送到转换设备;接收单元,其从转换设备接收通过转换设备将多通道音频数据转换成虚拟声音源而生成的双通道音频数据;以及音频再生单元,其根据双通道音频数据来驱动两个扬声器。

Description

通信方法、音响设备和通信设备
技术领域
本发明涉及一种通过使用两个扬声器来再生多通道声音的技术。
要求2012年12月28日提交的第2012-287209号日本专利申请的优先权,其内容通过引用合并于此。
背景技术
作为这种技术的示例,可以提及专利文献1中所公开的技术。在专利文献1所公开的技术中,以下描述的处理由与左前通道和右前通道各自的扬声器连接的音频放大器执行。根据该处理,可以实现除了左前通道和右前通道外还包括左后通道和右后通道等的多通道声音的再生。也就是说,当提供多通道音频信号时,专利文献1中所公开的音频放大器对后通道的音频信号执行滤波处理,使得后通道的虚拟音频图像定位在后通道的扬声器位置处。音频放大器将已经过滤波处理的音频信号叠加在左前通道和右前通道的音频信号上并将其输出。滤波处理中的滤波系数是通过基于聆听者的头部形状来模拟从后通道的扬声器位置到聆听者的耳朵的传输特性(头部相关传递函数)而获得的系数。上述音频放大器包括:头部形状检测装置,其检测聆听者的头部形状;以及滤波系数供给装置,其根据头部形状检测装置检测的头部形状来计算上述滤波系数,并且将该滤波器系数提供给执行上述滤波处理的滤波器。
[现有技术文献]
[专利文献]
[专利文献1]日本未审查专利申请,第一次公布第2003-230199号
发明内容
本发明要解决的问题
为了根据聆听者的头部形状计算头部相关传递函数,需要具有高处理能力的CPU(中央处理单元)或DSP(数字信号处理器)。然而,当在音频放大器中设置了具有高处理能力的CPU或DSP时,音频放大器的成本变得非常高。
针对上述状况而实现了本发明。本发明的目的的一个示例是提供使得能够在连接至两个扬声器的音响设备中再生多通道音频数据而无需提供具有高处理能力的CPU或DSP的技术。
解决问题的手段
根据本发明的一方面的一种音响设备包括:获取单元,其获取多通道音频数据;传送单元,其经由通信网络将多通道音频数据传送到转换设备;接收单元,其从转换设备接收通过转换设备将多通道音频数据转换成虚拟声音源而生成的双通道音频数据;以及音频再生单元,其根据双通道音频数据来驱动两个扬声器。
在上述音响设备中,经由通信网络连接至音响设备的转换设备将多通道音频数据(例如,各个左环绕通道和右环绕通道以及各个左后通道和右后通道)转换成虚拟声音源(转换设备可以是提供用于针对音响设备将后通道音频数据转换成虚拟声音源的云服务的云服务器)。因此,可以通过使用两个扬声器来再生多通道声音,而无需包括具有高处理能力的CPU或DSP的音响设备。
根据本发明的一方面的一种用于通信系统的通信方法,该通信系统包括:音响设备,其与两个扬声器连接并且连接至通信网络;以及转换设备,其连接至通信网络。该通信方法包括:获取包括左前通道的音频数据、右前通道的音频数据和第一通道的音频数据的多通道音频数据;经由通信网络将多通道音频数据从音响设备传送到转换设备;通过使用头部相关传递函数来将多通道音频数据中的至少第一通道的音频数据转换成虚拟声音源;将转换后的至少第一通道的音频数据叠加在左前通道和右前通道上以生成双通道音频数据;经由通信网络将双通道音频数据从转换设备传送到音响设备;以及根据双通道音频数据来驱动两个扬声器。
根据本发明的一方面的一种通信设备包括:获取单元,其获取多通道音频数据;传送单元,其经由通信网络将多通道音频数据传送到转换设备;接收单元,其经由通信网络从转换设备接收通过转换设备将多通道音频数据转换成虚拟声音源而生成的双通道音频数据;以及输出单元,其将双通道音频数据输出到音响设备。
附图说明
图1是示出根据本发明的第一实施例的通信系统的配置示例的图。
图2是示出第一实施例中的显示设备、相机和两个扬声器的布置示例的图。
图3是示出7.1通道多环绕的扬声器布置示例的图。
图4是图1所示的通信系统中的虚拟声音源获取设备的操作的说明图。
图5A是本发明的第二实施例的虚拟声音源获取设备的操作的说明图。
图5B是本发明的第二实施例的虚拟声音源获取设备的操作的说明图。
图6是示出第一实施例和第二实施例的第二变型示例的通信系统的图。
图7是示出根据第一实施例和第二实施例的第三变型示例的通信系统的图。
图8是示出根据第一实施例和第二实施例的第四变型示例的通信系统的图。
图9是示出根据第一实施例和第二实施例的第五变型示例的通信系统的配置示例。
具体实施方式
下文中,将参照附图描述本发明的实施例。
(第一实施例)
图1是示出根据本发明的第一实施例的通信系统1A的配置示例的图。
通信系统1A包括AV接收器10和虚拟声音源获取设备30。AV接收器10可以是音响设备的具体示例。下文中,将虚拟声音源获取设备30简称为转换设备30。如图1所示,AV接收器10和虚拟声音源获取设备30连接至通信网络20,该通信网络20是诸如互联网的电气通信线路。用于唯一地标识各个装置的通信地址(诸如,IP(互联网协议)地址或MAC(介质访问控制)地址)被预先分配给AV接收器10和转换设备30。AV接收器10和转换设备30经由通信网络20、根据预定的通信协议进行数据通信。
例如,当将数据从AV接收器10传送到转换设备30时,AV接收器10将要传送的数据分割成具有预设数据大小的数据块,并且将预定报头添加到每个数据块中。此外,AV接收器10从第一数据块开始按顺序将各个数据块依次发送到通信网络20。报头包括表示数据块是从要传送的数据中的开头开始的第几个的信息。此外,报头包括作为表示传送源的标识符的AV接收器10的通信地址以及作为表示目的地的标识符的转换设备30的通信地址。因而,从AV接收器10传送的各个数据块经由设置在通信网络20中的中继设备(例如,路由器或交换式集线器)进行路由而到达目的地。作为各个数据块的目的地的转换设备30参考添加到所接收的数据块的报头来连接各个数据块,从而恢复要传送的数据。
如图1所示,内容再生设备40、显示设备50、相机60以及扬声器70L和70R连接至AV接收器10。内容再生设备40可以是例如DVD(数字通用盘)播放器或蓝光碟播放器。一旦从AV接收器10接收到再生开始指令,内容再生设备40就开始读取诸如DVD或蓝光碟的记录介质中所记录的内容数据,并将所读取的内容数据提供至AV接收器10。内容数据包括表示构成内容的视频的视频数据以及表示要与视频显示同步再生的音频的音频数据。显示设备50可以是例如液晶显示器。显示设备50显示与从AV接收器10提供的视频信号相对应的视频。相机60可以是使用例如CCD(电荷耦合器件)图像传感器的数码相机。相机60响应于从AV接收器10提供的成像指令而拍摄图像,并且将表示所拍摄的图像的图像数据提供至AV接收器10。各个扬声器70L和70R将从AV接收器10提供的模拟音频信号输出为声音。
AV接收器10和连接至AV接收器10的各个设备(在本实施例中,为内容再生设备40、显示设备50、相机60以及扬声器70L和70R)可以布置在通过使用AV接收器10来观看内容的用户的起居室中。在以下说明中,可以将AV接收器10和连接至AV接收器10的各个设备(在本实施例中,为内容再生设备40、显示设备50、相机60以及扬声器70L和70R)的组称为“客户端侧设备群”。在图1中,示出了一组客户端侧设备群。然而,客户端侧设备群的数量不限于一个。通信系统1A可以包括多个客户端侧设备群。
图2是示出包括在起居室LR中的一组客户端侧设备群中的显示设备50、相机60以及扬声器70L和70R的布置示例的图。如图2所示,显示设备50布置在坐在观看位置的用户(即,AV接收器10再生的内容的观看者)的前方。扬声器70L布置在用户U的左前方。扬声器70R布置在用户U的右前方。也就是说,扬声器70L起到将从坐在观看位置的用户U的左前方到达的声音进行输出的左前通道扬声器的作用。扬声器70R起到将从用户U的右前方到达的声音进行输出的右前通道扬声器的作用。相机60以成像表面面向观看位置的状态布置在显示设备50中。相机60以该方式布置的原因是为了拍摄坐在观看位置观看内容的用户U的头部的图像。
AV接收器10具有从内容再生设备40接收内容数据并且控制扬声器70L和70R以及显示设备50的启动的音频放大器功能。此外,AV接收器10具有经由通信网络20进行数据通信的通信功能。AV接收器10还具有如在常规AV接收器中一样的调谐器功能。由于调谐器功能与本实施例没有直接关系,因此省略了对调谐器功能的说明。如图1所示,AV接收器10包括输入处理单元110、视频再生单元120、音频处理单元130、相机接口单元140、传送单元150、接收单元160、音频再生单元170以及控制这些各个单元的启动的控制单元180。输入处理单元110和接收单元160可以是获取单元的具体示例。接收单元160可以是输出单元的具体示例。
输入处理单元110可以是例如HDMI(注册商标)(高清晰度多媒体接口)。输入处理单元110经由诸如HDMI线缆的信号线连接至内容再生设备40。输入处理单元110在控制单元180的控制下将再生开始指令提供至内容再生设备40并接收从内容再生设备40传送的内容数据。输入处理单元110从所接收的内容数据分离出视频数据和音频数据。输入处理单元110将视频数据提供至视频再生单元120以及将音频数据提供至音频处理单元130。
视频再生单元120连接至显示设备50。视频再生单元120根据输入处理单元110提供的视频数据生成视频信号,并且将视频信号提供至显示设备50。音频处理单元130对输入处理单元110提供的音频数据进行分析以判别音频数据是针对左侧和右侧中每一侧的单通道音频数据(即,双通道音频数据)还是多通道音频数据。当已确定从输入处理单元110提供的音频数据是双通道音频数据时,音频处理单元130将音频数据提供至音频再生单元170。当已确定音频数据是多通道音频数据时,音频处理单元130将音频数据提供至传送单元150。
相机接口单元140连接至相机60。相机接口单元140在控制单元180的控制下将成像指令提供至相机60,并且将相机60提供的图像数据提供至传送单元150。
传送单元150和接收单元160可以是例如NIC(网络接口卡)。传送单元150和接收单元160连接至通信网络20。传送单元150根据预定的通信协议将音频处理单元130提供的多通道音频数据和相机接口单元140提供的图像数据传送到转换设备30。转换设备30接收以该方式从AV接收器10传送的多通道音频数据。转换设备30将由所接收的多通道音频数据表达的后通道声音转换成虚拟声音源,执行将虚拟声音源叠加在各个左前通道和右前通道上的处理并转换成双通道音频数据,并且将其返回至AV接收器10。稍后将描述其详情。从AV接收器10传送到转换设备30的图像数据用于计算在将声音转换成为虚拟声音源时要使用的头部相关传递函数。接收单元160接收从转换设备30返回的双通道音频数据,并将其提供至音频再生单元170。
音频再生单元170连接至扬声器70L和扬声器70R。音频再生单元170对音频处理单元130提供的双通道音频数据或接收单元160提供的双通道音频数据进行D/A转换,以生成左通道和右通道各自的模拟音频信号。音频再生单元170将所生成的模拟音频信号提供至各个扬声器70L和70R。
以上描述了客户端侧设备群的配置。
接下来将描述转换设备30的配置。
如图1所示,转换设备30包括接收单元310、虚拟声音源生成单元320和传送单元330。下文中,将虚拟声音源生成单元320简称为生成单元320。接收单元310和传送单元330可以是例如NIC。接收单元310和传送单元330连接至通信网络20。接收单元310根据预定的通信协议接收经由通信网络20传送的数据,并且将该数据提供至生成单元320。在本实施例中,所传送的数据是从AV接收器10传送的图像数据或多通道音频数据。传送单元330根据预定的通信协议将生成单元320提供的数据发送到通信网络20。
生成单元320包括诸如CPU或DSP的计算单元321以及诸如RAM(随机存取存储器)的存储单元322(在图6至图9中,仅示出了生成单元320,而省略了计算单元321和存储单元322的图示)。
将描述将图像数据从接收单元310提供至生成单元320的情况。在这种情况下,计算单元321(即,生成单元320,下文类似)生成表示以由图像数据表达的图像被拍摄的用户U的头部形状的头部形状数据(例如,脸部宽度和耳部大小)。此外,虚拟声音计算单元321将头部形状数据与表示图像数据的传送源的标识符相关联地写入到存储单元322中。
将描述将多通道音频数据从接收单元310提供至生成单元320的情况。在这种情况下,计算单元321将多通道音频数据转换成双通道音频数据。更具体地,计算单元321通过使用声音到来的方向以及与声音的聆听者(在本实施例中为用户U)的头部形状相对应的头部相关传递函数,将不同于左前通道和右前通道的各个左通道和右通道的声音转换成虚拟声音源。计算单元321执行将转换成虚拟声音源的各个通道的声音叠加在左前通道和右前通道上以生成双通道音频数据的处理。计算单元321将双通道音频数据提供至传送单元330。作为根据拍摄聆听者的头部的图像数据检测聆听者的头部形状的具体方法,可以使用头部相关传递函数的特定计算方法以及通过使用头部相关传递函数转换成虚拟声音源的特定方法、在第7095865号美国专利中所公开的方法。本申请将第7095865号美国专利的内容通过引用合并于此。
以上描述了根据本实施例的通信系统1A的配置。
作为具体示例,接下来将描述当将7.1-通道音频数据从内容再生设备40提供至AV接收器10时AV接收器10和转换设备30的操作。7.1-通道音频数据包括左前通道FL、右前通道FR、中央通道FC、左环绕侧通道SL、右环绕侧通道SR、左环绕后通道BL、右环绕后通道BR和超低音通道LFE的各个通道的音频数据。中央通道FC代表从坐在观看位置的用户U的前方到达的声音。左环绕侧通道SL代表从用户U的左侧到达的声音。右环绕侧通道SR代表从用户U的右侧到达的声音。左环绕后通道BL代表从用户U的左后方到达的声音。右环绕后通道BR代表从用户U的右后方到达的声音。超低音通道LFE代表超低音调声音。当实际的扬声器再生除了超低音通道LFE外的七个通道的声音时,如图3所示,ITU建议推荐将各个扬声器布置在以聆听者为中心的圆周上。与此相反,根据本实施例的AV接收器10仅连接至两个实际的扬声器,即,起到左前通道FL的扬声器的作用的扬声器70L以及起到右前通道FR的扬声器的作用的扬声器70R。因此,在本实施例中,中央通道FC、左环绕侧通道SL、右环绕侧通道SR、左环绕后通道BL、右环绕后通道BR以及超低音通道LFE各个通道的声音被转换成虚拟声音源。
用户U坐在预设的观看位置(参见图2)以便通过使用AV接收器10观看内容,并且通过使用遥控器等来向AV接收器10指示内容观看的开始。因而,在指示观看开始时,AV接收器10的控制单元10使得相机接口单元140输出成像指令,并且使得输入处理单元110输出再生开始指令。相机60响应于成像指令而进行成像以获取图像数据,并且将图像数据输出至AV接收器10。如上所述,相机60安装在显示设备50上,其成像表面面向观看位置。从而,由图像数据代表的图像包括坐在观看位置的用户U的头部的图像。通过AV接收器10的相机接口单元140和传送单元150的操作来经由通信网络20将从相机60提供至AV接收器10的图像数据传送到转换设备30。在经由接收单元310接收到图像数据时,转换设备30的生成单元320中的计算单元321对图像数据进行分析以生成头部形状数据。此外,计算单元321将头部形状数据与表示图像数据的传送源的标识符相关联地写入到存储单元322中。
内容再生设备40响应于AV接收器10提供的再生启动指令而从记录介质读取内容数据,并将内容数据提供至AV接收器10。在从内容再生设备40接收到内容数据时,AV接收器10的输入处理单元110将包括在内容数据中的音频数据和视频数据分离。输入处理单元110将音频数据提供至音频处理单元130,并且将视频数据提供至视频再生单元120。如上所述,在本操作示例中,要从内容再生设备40提供至AV接收器10的内容数据中包括的音频数据是7.1-通道音频数据。因此,音频处理单元130将输入处理单元110提供的音频数据提供至传送单元150。传送单元150还将音频数据传送到转换设备30。
转换设备30的接收单元310接收经由通信网络20从AV接收器10传送到转换设备30的多通道音频数据。接收单元310将所接收到的多通道音频数据提供至生成单元320。图4示出了在转换设备30中生成单元320对从接收单元310输送的多通道音频数据执行的处理的示例。如图4所示,生成单元320将7.1-通道音频数据(在图4中被示为7.1Ad)转换成双通道音频数据(在图4中被示为2Ad)。更具体地,生成单元320均匀地分发7.1-通道音频数据中的超低音通道LFE和中央通道FC各自的音频数据,并且将它们叠加在左前通道FL和右前通道FR各自的音频数据上。另一方面,生成单元320执行如下处理:将左环绕侧通道SL、右环绕侧通道SR、左环绕后通道BL和右环绕后通道BR中的每一个(即,除了左前通道和右前通道外的左通道和右通道)转换成虚拟声音源,然后将它们叠加在左前通道FL和右前通道FR各自的音频数据上。
更具体地,在将左环绕侧通道SL、右环绕侧通道SR、左环绕后通道BL和右环绕后通道BR中的每一个转换成虚拟声音源的处理中,计算单元321首先基于与表示多通道音频数据的传送源的标识符相关联地存储在存储单元322中的头部形状数据以及表示声音相对于聆听者的到达方向的角度θ(即,对应于通道的角度),针对每个通道计算头部相关传递函数。例如,可以通过假设对于左环绕侧通道SL而言θ=100°、对于右环绕侧通道SR而言θ=-100°、对于左环绕后通道BL而言θ=140°以及对于右环绕后通道BR而言θ=-140°,来计算各个通道的头部相关传递函数。计算单元321将代表所计算出的头部相关传递函数的头部相关传递函数数据与所述标识符和表示通道的信息(例如,表示角度θ的信息)相关联地写入到存储单元322中。
随后,计算单元321执行针对左环绕侧通道SL、右环绕侧通道SR、左环绕后通道BL和右环绕后通道各自的音频数据对所计算的头部相关函数进行卷积的滤波处理。计算单元321将经滤波处理的各个音频数据分发给左前分量和右前分量,并且执行对各个分量的延迟量的调整、串音消除等。接下来,计算单元321将已经过各种处理的各个音频数据叠加在左前通道FL和右前通道FR各自的音频数据上,并且输出叠加后的音频数据。当从同一传送源接收到随后的多通道音频数据时,计算单元321可以通过使用与表示传送源的标识符相关联地存储在存储单元321中的头部相关传递函数来将各个通道的音频数据转换成虚拟声音源。
如上所述,传送单元330将生成单元320输出的双通道音频数据返回到多通道音频数据的传送源(在本操作示例中为AV接收器10)。在接收到从转换设备30返回的双通道音频数据时,AV接收器10的接收单元160将双通道音频数据提供至音频再生单元170。音频再生单元170将根据音频数据所生成的左前通道FL的音频信号提供至扬声器70L。此外,音频再生单元170将根据音频数据所生成的右前通道FR的音频信号提供至扬声器70R。AV接收器10的用户U聆听以该方式从扬声器70L和70R输出的声音。从而,向用户U提供了仿佛左环绕侧通道SL、右环绕侧通道SR、左环绕后通道BL和右环绕后通道BR的声音从用户后面到达的听觉感受,并且向用户U提供了仿佛中央通道FC和超低音通道LFE的声音从扬声器70L和70R的中心位置到达的听觉感受。
如上所述,在第一实施例中,使得转换设备30将多通道音频数据转换成双通道音频数据。从而,不需要在AV接收器10中设置具有高处理能力的CPU或DSP。也就是说,根据第一实施例,可以通过使用左右单通道扬声器来再生多通道声音,而无需在AV接收器10中设置具有高处理能力的CPU或DSP。此外,如果使用了具有足够高处理能力的转换设备30,则即使当向多组客户端侧设备群提供转换服务时,也可以无任何问题地执行内容的实时再现。
(第二实施例)
在第一实施例中,使得连接至通信网络20的转换设备30执行从多通道音频数据到双通道音频数据的转换处理。结果,在第一实施例中,可以通过使用左右单通道扬声器来再生多通道声音,而无需在AV接收器10中设置具有高处理能力的CPU或DSP。第二实施例不同于第一实施例之处在于,分析从接收单元310提供的图像数据以检测用户U的面部的方向,并且根据用户U的面部的方向对要转换成虚拟声音源的声音的到来方向进行校正,从而计算头部相关传递函数。下文中,将描述基于相机60拍摄的图像来检测用户U的面部方向的方法。
第二实施例的生成单元320分析从接收单元310接收到的图像数据以识别包括在由图像数据代表的图像中的用户U的面部。在第7095865号美国专利中所公开的技术可以用作用于识别面部的技术。图5A是生成单元320识别的用户U的面部的示意图。生成单元320指定通过使用上述的面部识别技术而识别的面部中的眼睛的位置以指定两只眼睛之间的中心位置。更具体地,生成单元320获得眼睛之间的间距X(参见图5A),并且将从一只眼睛的位置趋向另一只眼睛的X/2处的位置指定为两只眼睛之间的中心位置。
此外,生成单元320根据第7095865号美国专利中所公开的方法来获得用户U的面部的宽度Y(参见图5A),并且将从面部的一端趋向另一端间隔Y/2的位置指定为用户U的面部的中心位置。生成单元320获得用户U的两只眼睛之间的中心位置与用户U的面部的中心位置之间的差Z。生成单元320根据以下等式(1)获得代表用户U的面部的方向的角度θdiff。在用户U面向前方的状态(即,用户的两只眼睛之间的中心位置与面部的中心位置匹配)的情况下,θdiff=0°。等式(1)右边的sin-1()表示反正弦函数。可以通过等式(1)计算代表用户U的面部的方向的角度θdiff的原因根据图5B所示的几何关系是显而易见的。
θdiff=sin-1(2Z/Y)         (1)
接下来,生成单元320根据角度θdiff来校正代表虚拟声音源的定位位置的方向的角度θ。生成单元320将校正后的角度θ和用户U的头部形状考虑在内来计算头部相关传递函数。作为具体示例,将描述计算将角度θ指定为θdiff=20°的头部相关传递函数的情况。在这种情况下,将表示左环绕后通道BL的到来方向的角度θ校正为120°(=140°-20°),并且将表示右环绕后通道BR的到来方向的角度θ校正为-160°(=-140°-20°),以计算头部相关传递函数。
以除了内容的观看者的头部形状外还将观看者的面部的方向考虑在内的方式计算头部相关传递函数的原因如下所述。如果通过使用在观看者的面部的方向偏离前方的状态下假设观看者面向前方而获得的头部相关传递函数而转换成后通道的虚拟声音源,则虚拟声音源的定位位置因观看者的面部的方向的偏离而相对地偏离。在诸如电影的内容中,假设观看者面向前方,通常通过将戏剧效果纳入考虑来设定各个通道的声音的到来方向。从而,如果虚拟声音源的定位位置由于观看者的面部的方向的偏离而相对地偏移,则内容制作方预期的戏剧效果可能会受到损害。相比之下,根据第二实施例,由于考虑了观看者的面部的方向来计算头部相关传递函数以校正虚拟声音源的定位位置,因此,即使观看者的面部的方向偏离前方,内容制作方等所预期的戏剧效果也不会受到损害。这是因为,在除了考虑观看者的头部的形状之外,还考虑了观看者的面部的方向来计算头部相关传递函数。
以该方式,根据第二实施例,通过考虑观看者的面部的方向,可以更灵敏地将后通道声音转换成虚拟声音源,并且可以通过使用左右单通道扬声器来再生多通道声音。
此外,在第二实施例中,转换设备30执行将后通道声音转换成虚拟声音源的处理。因此,同样在第二实施例中,不必在AV接收器10中设置具有高处理能力的CPU或DSP。
每次经过预定的时间,AV接收器10就可以将图像数据传送到转换设备30。AV接收器10确定相机60获取的当前图像数据是否不同于先前图像数据。当确定这两个图像数据彼此不同时,AV接收器10可以将所获取的图像数据传送到转换设备30(例如,AV接收器10确定由当前图像数据表示的用户的头部的形状是否不同于由先前图像数据表示的用户的头部的形状)。计算单元321可以在每次接收到图像数据时计算头部相关传递函数,并且将头部相关传递函数写入存储单元322中。当以该方式执行该处理时,如果观看内容的用户执行诸如改变面部的方向的运动,则可以跟随该运动来更新虚拟声音源的定位位置。也就是说,当执行这样的处理时,即使用户在AV接收器10再生声音期间改变面部的方向,也可以使用跟随该运动的头部相关传递函数。结果,可以根据用户的运动来改变虚拟声音源的定位位置。
(变型示例)
以上描述了本发明的第一实施例和第二实施例。如以下描述那样对这些实施例进行变型。
(第一变型示例)
在第一实施例和第二实施例中,提供给AV接收器10的内容数据包括音频数据和视频数据。然而,该配置不限于此。内容数据可以仅包括音频数据。在这种情况下,可以省略输入处理单元110和视频再生单元120。
(第二变型示例)
在第一实施例和第二实施例中,针对AV接收器10的内容数据的供给源是经由诸如HDMI线缆的信号线连接至AV接收器10的内容再生设备40。然而,该配置不限于此。图6示出了根据第二变型示例的通信系统1B。通信系统1B至少包括分发内容数据CD的内容服务器80。内容服务器80连接至通信网络20。内容服务器80可以是针对AV接收器10的内容数据CD的供给源。在这种情况下,如图6所示,接收单元160可以执行将经由通信网络20接收到的内容数据CD提供至输入处理单元110的处理。也就是说,接收单元160可以具有获取内容数据的作用。
(第三变型示例)
图7示出了根据第三变型示例的通信系统1C。通信系统1C至少包括AV放大器12、内容再生设备40、相机60和通信适配器设备90。如图7所示,通信适配器设备90包括输入处理单元110、音频处理单元130、相机接口单元140、传送单元150、接收单元160和控制单元180。通信适配器设备90连接至内容再生设备40、相机60和通信网络20。此外,通信适配器设备90连接至AV放大器12。AV放大器12经由通信适配器设备90连接至通信网络20。根据该配置,即使使用仅具有视频再生单元120和音频再生单元170的AV放大器12,也可以获得与第一实施例和第二实施例的效果相同的效果。通信适配器设备90可以是通信设备的具体示例。
(第四变型示例)
图8示出了根据第四变型示例的通信系统1D。如图8所示,通信系统1D包括代替图7所示的通信适配器设备90的通信适配器设备92。通信适配器设备92连接至AV放大器12以经由通信网络20从内容服务器80获取内容数据CD。通信适配器设备92可以是通信设备的具体示例。
(第五变型示例)
图9示出了根据第五变型示例的通信系统1E。通信系统1E包括AV接收器14、转换设备30、内容服务器80和中继设备94。中继设备94根据预定的通信协议来中继内容服务器80执行的数据通信。具体地,中继设备94在AV接收器14与内容服务器80之间中继通信。如图9所示,中继设备94连接至通信网络20。通信网络20连接至内容服务器80和转换设备30。中继设备94包括第一传送单元150A、第一接收单元160A、第二传送单元150B、第二接收单元160B和中继控制单元200。第一传送单元150A和第一接收单元160A连接至通信网络20。第二传送单元150B和第二接收单元160B连接至与AV接收器14连接的通信网络120。第一传送单元150A被提供有来自中继控制单元200的数据,并且将该数据发送至通信网络20。第二传送单元150B被提供有来自中继控制单元20的数据,并且将数据发送至通信网络120。第一接收单元160A将从通信网络20接收到的数据提供至中继控制单元200。第二接收单元160B将从通信网络120接收到的数据提供至中继控制单元200。
中继控制单元200接收经由第二接收单元160B从AV接收器14接收到的内容下载请求(传送到内容服务器80的内容下载请求),并且将内容下载请求提供至第一传送单元150A,以将其传递至内容服务器80。中继控制单元200从AV接收器14接收图像数据,并且将图像数据提供至第一传送单元150A以将图像数据传递至转换设备30。内容服务器80接收中继设备94以该方式传递的内容下载请求。内容服务器80将通过内容下载请求来请求下载的内容经由中继设备94和通信网络120传送到AV接收器14。转换设备30接收中继设备94传递的图像数据。转换设备30对图像数据进行分析以生成表示观看者的头部形状的头部形状数据,并且将该头部形状数据与表示图像数据的传送源的标识符相关联地进行存储。
中继控制单元200包括上述的音频处理单元130。中继控制单元200经由第一接收单元160A从内容服务器80接收内容数据。中继控制单元200将包括在内容数据中的音频数据提供至音频处理单元130。中继控制单元200使得音频处理单元130判别音频数据是双通道音频数据还是多通道音频数据。当判别出该音频数据是双通道音频数据时,中继控制单元200将所接收到的内容数据提供至第二传送单元150,以将其传递至其目的地(即,AV接收器14是内容下载请求的传送源)。当判别出该音频数据是多通道音频数据时,中继控制单元200将作为表示传送源的标识符的AV接收器14的通信地址添加到多通道音频数据中,并且将其传送到转换设备30。中继控制单元200经由第一接收单元160A接收从转换设备30传送到AV接收器14的双通道音频数据。中继控制单元200用双通道音频数据替代包括在内容数据中的多通道音频数据,并且将内容数据传递到AV接收器14。根据第五变型示例可以获得与第一实施例和第二实施例的效果相同的效果。
(第六变型示例)
在从多个AV接收器(传送源)10接收到多通道音频数据时,根据第一实施例和第二实施例的转换设备30按接收顺序将多通道音频数据转换成双通道音频数据。然而,该配置不限于此。转换设备30可以执行所谓的QoS(服务质量)。具体地,转换设备30预先对多通道音频数据的传送源进行优先级排序。
作为具体示例,将描述在将第一传送源的优先级设置为高于第二传送源的优先级的状况下,接收单元330获取与第一传送源相关联的第一多通道音频数据和与第二传送源相关联的第二多通道音频数据的情况。在这种情况下,计算单元321将第一传送源的优先级与第二传送源的优先级进行比较以确定第一传送源的优先级较高。从而,计算单元321首先开始将第一多通道音频数据转换成虚拟声音源。在将第一多通道音频数据转换成虚拟声音源时,计算单元321将从第二传送源接收到的多通道音频数据存储在存储单元(队列)322中。直到计算单元321完成将从第一传送源接收到的多通道音频数据转换成虚拟声音源并且传送单元330传送了转换成虚拟声音源的多通道音频数据,计算单元321才开始将第二传送源的多通道音频数据转换成虚拟声音源。
作为另一具体示例,将描述在将第一传送源的优先级设置为高于第二传送源的优先级的状况下,在计算单元321将从第二传送源接收到的第二多通道音频数据转换成虚拟声音源的同时接收单元320从第一传送源接收第一多通道音频数据的情况。在这种情况下,计算单元321停止将第二多通道音频数据转换成虚拟声音源,并且开始将第一多通道音频数据转换成虚拟声音源。在这种情况下,在完成将第一多通道因数据转换成虚拟声音源之后,计算单元321重新开始将第二多通道音频数据转换成虚拟声音源。
转换设备30可以根据所接收到的多通道音频数据的内容而不是根据传送源的优先级来执行QoS。例如,转换设备30对代表音乐(诸如乐曲或歌声的音乐演出声音)的多通道音频数据的处理赋予高于代表诸如谈话的话音的多通道音频数据的处理的优先级。执行这样的处理的原因在于:通常,即使间歇地再生谈话中的话音,也不存在较大影响;然而,在音乐的情况下,间歇再生的影响很大。
作为具体示例,将描述在将第一内容(音乐)的优先级设置为高于第二内容(话音)的状况下,接收单元330获取与第一内容相关联的第一多通道音频数据和与第二内容相关联的第二多通道音频数据的情况。在这种情况下,计算单元321将第一内容的优先级与第二内容的优先级进行比较从而确定第一内容的优先级较高。因此,计算单元321优先将第一多通道音频数据转换成虚拟声音源。
将描述图9所示的中继设备94执行QoS的情况。在这种情况下,音频处理单元130根据内容数据的目的地的优先级来控制多条音频数据的处理顺序。
工业应用性
本发明可以应用于通信方法、音响设备和通信设备。
附图标记
1A、1B、1C、1D、1E 通信系统
10 AV接收器
12 AV放大器
110 输入处理单元
120 视频再生单元
130 音频处理单元
140 相机接口单元
150 传送单元
160 接收单元
170 音频再生单元
180 控制单元
20  通信网络
30  转换设备
310 接收单元
320 虚拟声音源生成单元
330 传送单元
80  内容服务器
90、92 通信适配器设备
94 中继设备
150A 第一传送单元
160A 第一接收单元
150B 第二传送单元
160B 第二接收单元
200 中继控制单元

Claims (9)

1.一种用于通信系统的通信方法,所述通信系统包括:音响设备,其与两个扬声器连接并且连接至通信网络;以及转换设备,其连接至所述通信网络,所述通信方法包括:
获取包括左前通道的音频数据、右前通道的音频数据和第一通道的音频数据的多通道音频数据;
经由所述通信网络将所述多通道音频数据从所述音响设备传送到所述转换设备;
通过使用头部相关传递函数来将所述多通道音频数据中的至少所述第一通道的音频数据转换成虚拟声音源;
将转换后的至少所述第一通道的音频数据叠加至所述左前通道和所述右前通道以生成双通道音频数据;
经由所述通信网络将所述双通道音频数据从所述转换设备传送到所述音响设备;以及
根据所述双通道音频数据来驱动所述两个扬声器。
2.根据权利要求1所述的通信方法,还包括:
获取表示用户的头部的图像数据;
将所述图像数据从所述音响设备传送到所述转换设备;以及
分析所述图像数据以检测所述用户的头部形状,
其中,所述转换成虚拟声音源包括根据所述用户的头部形状、利用头部相关传递函数来将所述第一通道的音频数据转换成虚拟声音源。
3.根据权利要求2所述的通信方法,还包括:
分析所述图像数据以检测所述用户的脸的方向;以及
将所述用户的脸的方向考虑在内来计算所述头部相关传递函数。
4.根据权利要求1所述的通信方法,包括:
在每个预定时间将表示用户的头部的图像数据从所述音响设备传送到所述转换设备;以及
每当在所述转换设备中接收到所述图像数据时分析所述图像数据,以检测所述用户的头部形状,
其中,所述转换成虚拟声音源包括根据所述用户的头部形状、利用头部相关传递函数来将所述第一通道的音频数据转换成虚拟声音源。
5.根据权利要求1所述的通信方法,还包括:
在获取表示用户的头部的第一图像数据之后获取表示所述用户的头部的第二图像数据;
将所述第一图像数据从音响设备传送到所述转换设备;
确定所述第二图像数据是否不同于所述第一图像数据;
响应于所述第二图像数据不同于所述第一图像数据的确定而将所述第二图像数据从所述音响设备传送到所述转换设备;以及
分析所述第二图像数据以检测所述用户的头部形状,
其中,所述转换成虚拟声音源包括根据所述用户的头部形状、利用头部相关传递函数来将所述第一通道的音频数据转换成虚拟声音源。
6.根据权利要求1所述的通信方法,
其中,所述多通道音频数据是与第一传送源相关联的第一多通道音频数据,并且
所述通信方法还包括:
获取与优先级比所述第一传送源高的第二传送源相关联的第二多通道音频数据;
确定所述第一传送源和所述第二传送源中的哪一个具有更高优先级;以及
相对于将所述第一多通道音频数据转换成虚拟声音源,优先将与被确定为具有更高优先级的所述第二传送源相关联的所述第二多通道音频数据转换成虚拟声音源。
7.根据权利要求1所述的通信方法,
其中,所述多通道音频数据是表示第一内容的第一多通道音频数据,并且
所述通信方法还包括:
获取表示优先级比所述第一内容高的第二内容的第二多通道音频数据;
确定所述第一内容和所述第二内容中的哪一个具有更高优先级;以及
相对于将所述第一多通道音频数据转换成虚拟声音源,优先将表示被确定为具有更高优先级的所述第二内容的所述第二多通道音频数据转换成虚拟声音源。
8.一种音响设备,包括:
获取单元,其获取多通道音频数据;
传送单元,其经由通信网络将所述多通道音频数据传送到转换设备;
接收单元,其从所述转换设备接收由通过所述转换设备将所述多通道音频数据转换成虚拟声音源而生成的双通道音频数据;以及
音频再生单元,其根据所述双通道音频数据来驱动两个扬声器。
9.一种通信设备,包括:
获取单元,其获取多通道音频数据;
传送单元,其经由通信网络将所述多通道音频数据传送到转换设备;
接收单元,其经由所述通信网络从所述转换设备接收由通过所述转换设备将所述多通道音频数据转换成虚拟声音源而生成的双通道音频数据;以及
输出单元,其将所述双通道音频数据输出到音响设备。
CN201380068110.5A 2012-12-28 2013-12-03 通信方法、音响设备和通信设备 Pending CN104885483A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012287209A JP2014131140A (ja) 2012-12-28 2012-12-28 通信システム、avレシーバ、および通信アダプタ装置
JP2012-287209 2012-12-28
PCT/JP2013/082443 WO2014103627A1 (ja) 2012-12-28 2013-12-03 通信方法、音響装置、および通信装置

Publications (1)

Publication Number Publication Date
CN104885483A true CN104885483A (zh) 2015-09-02

Family

ID=51020721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380068110.5A Pending CN104885483A (zh) 2012-12-28 2013-12-03 通信方法、音响设备和通信设备

Country Status (5)

Country Link
US (1) US20150319550A1 (zh)
EP (1) EP2941021A4 (zh)
JP (1) JP2014131140A (zh)
CN (1) CN104885483A (zh)
WO (1) WO2014103627A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113302950A (zh) * 2019-01-24 2021-08-24 索尼集团公司 音频系统、音频重放设备、服务器设备、音频重放方法和音频重放程序

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6582722B2 (ja) * 2015-08-19 2019-10-02 ヤマハ株式会社 コンテンツ配信装置
US9980077B2 (en) * 2016-08-11 2018-05-22 Lg Electronics Inc. Method of interpolating HRTF and audio output apparatus using same
CN111050271B (zh) * 2018-10-12 2021-01-29 北京微播视界科技有限公司 用于处理音频信号的方法和装置
JP7440293B2 (ja) * 2020-02-27 2024-02-28 株式会社ディーアンドエムホールディングス Avアンプ装置
US20220191638A1 (en) * 2020-12-16 2022-06-16 Nvidia Corporation Visually tracked spatial audio
WO2022249594A1 (ja) * 2021-05-24 2022-12-01 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003230199A (ja) * 2002-02-04 2003-08-15 Yamaha Corp バーチャルスピーカアンプ
CN1630434A (zh) * 2003-12-17 2005-06-22 三星电子株式会社 再现虚拟声音的设备和方法
JP2007306470A (ja) * 2006-05-15 2007-11-22 Sharp Corp 映像音声再生装置、及びその音像移動方法
CN101212843A (zh) * 2006-12-27 2008-07-02 三星电子株式会社 基于个体听觉特性的再现两声道立体声音响的方法和装置
CN101300580A (zh) * 2005-06-24 2008-11-05 杜比实验室特许公司 沉浸式音频通信
JP2012109643A (ja) * 2010-11-15 2012-06-07 National Institute Of Information & Communication Technology 音再現システム、音再現装置および音再現方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5647016A (en) * 1995-08-07 1997-07-08 Takeyama; Motonari Man-machine interface in aerospace craft that produces a localized sound in response to the direction of a target relative to the facial direction of a crew
US6052470A (en) * 1996-09-04 2000-04-18 Victor Company Of Japan, Ltd. System for processing audio surround signal
JP4006842B2 (ja) * 1998-08-28 2007-11-14 ソニー株式会社 オーディオ信号再生装置
US7262789B2 (en) * 2002-01-23 2007-08-28 Tenebraex Corporation Method of creating a virtual window
JP2005184632A (ja) * 2003-12-22 2005-07-07 Nec Access Technica Ltd 通信端末における消費電力削減方法及び通信端末
JP2005343431A (ja) * 2004-06-07 2005-12-15 Denso Corp 車両用情報処理システム
CN101002500A (zh) * 2004-08-12 2007-07-18 皇家飞利浦电子股份有限公司 音频源选择
KR101118214B1 (ko) * 2004-09-21 2012-03-16 삼성전자주식회사 청취 위치를 고려한 2채널 가상 음향 재생 방법 및 장치
US8270616B2 (en) * 2007-02-02 2012-09-18 Logitech Europe S.A. Virtual surround for headphones and earbuds headphone externalization system
JP2008312096A (ja) * 2007-06-18 2008-12-25 Victor Co Of Japan Ltd 音響再生装置及びテレビ受像機
JP4416017B2 (ja) * 2007-07-18 2010-02-17 ソニー株式会社 撮像システム
JP5483899B2 (ja) * 2009-02-19 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JPWO2013105413A1 (ja) * 2012-01-11 2015-05-11 ソニー株式会社 音場制御装置、音場制御方法、プログラム、音場制御システム及びサーバ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003230199A (ja) * 2002-02-04 2003-08-15 Yamaha Corp バーチャルスピーカアンプ
CN1630434A (zh) * 2003-12-17 2005-06-22 三星电子株式会社 再现虚拟声音的设备和方法
CN101300580A (zh) * 2005-06-24 2008-11-05 杜比实验室特许公司 沉浸式音频通信
JP2007306470A (ja) * 2006-05-15 2007-11-22 Sharp Corp 映像音声再生装置、及びその音像移動方法
CN101212843A (zh) * 2006-12-27 2008-07-02 三星电子株式会社 基于个体听觉特性的再现两声道立体声音响的方法和装置
JP2012109643A (ja) * 2010-11-15 2012-06-07 National Institute Of Information & Communication Technology 音再現システム、音再現装置および音再現方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113302950A (zh) * 2019-01-24 2021-08-24 索尼集团公司 音频系统、音频重放设备、服务器设备、音频重放方法和音频重放程序
US11937069B2 (en) 2019-01-24 2024-03-19 Sony Corporation Audio system, audio reproduction apparatus, server apparatus, audio reproduction method, and audio reproduction program

Also Published As

Publication number Publication date
WO2014103627A1 (ja) 2014-07-03
EP2941021A1 (en) 2015-11-04
JP2014131140A (ja) 2014-07-10
EP2941021A4 (en) 2016-11-16
US20150319550A1 (en) 2015-11-05

Similar Documents

Publication Publication Date Title
CN104885483A (zh) 通信方法、音响设备和通信设备
JP5990345B1 (ja) サラウンド音場の生成
US9426599B2 (en) Method and apparatus for personalized audio virtualization
CN101212843B (zh) 基于个体听觉特性的再现两声道立体声音响的方法和装置
US7864631B2 (en) Method of and system for determining distances between loudspeakers
CN1658709B (zh) 声音再现设备和声音再现方法
CN102144410B (zh) 增强多个音频通道的再现的方法和设备
JP3920404B2 (ja) 音声再生モジュール
JP4692803B2 (ja) 音響処理装置
JP2011244310A (ja) 音声信号処理装置および音声信号処理方法
WO2020182020A1 (zh) 一种音频信号播放方法及显示设备
CN101401450A (zh) 声音采集/再现方法和设备
CN101489173B (zh) 信号处理装置和信号处理方法
WO2013103256A1 (ko) 다채널 음향 신호의 정위 방법 및 장치
CN113348677B (zh) 沉浸式和双耳声音的组合
US7457421B2 (en) Circuit and program for processing multichannel audio signals and apparatus for reproducing same
CN103229520B (zh) 信息处理设备、音响处理设备、音响处理系统和程序
KR20140146491A (ko) 오디오 시스템, 오디오 장치 및 오디오 장치의 채널 맵핑 방법
JP4735920B2 (ja) 音響処理装置
JP5691130B2 (ja) 聴者を取り囲むように配置される複数のスピーカで音響再生を行う際にクロストークをキャンセルする装置、方法、プログラム、およびシステム
JPH10174197A (ja) サラウンド信号処理装置と方法及び映像音声再生方法、記録媒体への記録方法及び記録装置、記録媒体、処理プログラムの伝送方法及び受信方法、並びに記録データの伝送方法及び受信方法
CN102196354A (zh) 视听装置
CN105979469A (zh) 一种录音处理方法及终端
JP2017135669A (ja) 音響再生装置及びプログラム
KR20210118820A (ko) 오디오 시스템, 오디오 재생 장치, 서버 장치, 오디오 재생 방법 및 오디오 재생 프로그램

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150902