CN102972047A - 用于再现立体声的方法和设备 - Google Patents
用于再现立体声的方法和设备 Download PDFInfo
- Publication number
- CN102972047A CN102972047A CN2011800332478A CN201180033247A CN102972047A CN 102972047 A CN102972047 A CN 102972047A CN 2011800332478 A CN2011800332478 A CN 2011800332478A CN 201180033247 A CN201180033247 A CN 201180033247A CN 102972047 A CN102972047 A CN 102972047A
- Authority
- CN
- China
- Prior art keywords
- sound
- depth information
- power
- signal
- target voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Abstract
方法和设备再现立体声。该方法包括:获得声音深度信息,声音深度信息表示声音信号内的至少一个对象与参考位置之间的距离;基于声音深度信息将声音立体感提供给从扬声器输出的声音对象。
Description
技术领域
与示例性实施例一致的设备和方法涉及再现立体声,更具体地讲,涉及再现立体感被赋予声音对象的立体声。
背景技术
随着视频技术的发展,用户现在可观看三维(3D)立体图像。通过使用各种方法(诸如,例如双眼视差方法),3D立体图像使左视点图像数据显示给左眼,右视点图像数据显示给右眼。因此使用3D视频技术,用户可逼真地体会前移到屏幕外的对象或返回到屏幕内的对象。
另一方面,立体声技术可通过将多个扬声器布置在用户周期使得用户能够感受声音的位置和存在。然而,采用现有技术的立体声技术,与接近用户的图像对象或者离开用户的图像对象相关的声音不能被有效地表达,因此与立体图像对应的声音效果不能被提供。
发明内容
技术方案
示例性实施例可至少解决以上问题和/或缺点以及以上没有描述的其他缺点。另外,示例性实施例不需要克服上述缺点,并且示例性实施例可不克服上述任何问题。
一个或多个示例性实施例提供用于有效地再现立体声的方法和设备,更具体地讲,涉及用于通过将立体感赋予声音对象来有效地表达接近用户的声音或离开用户的声音的方法和设备。
发明的有益效果
根据现有技术,由于图像对象的深度信息将被提供为附加信息或者由于图像对象的深度信息需要通过分析图像数据而被获得,因此难于获得深度信息。然而,根据示例性实施例,基于关于图像对象的位置的信息可被包括在声音信号中的事实,通过分析声音信号来产生深度信息。因此,可容易地获得图像对象的深度信息。
另外,根据现有技术,使用声音信号不适当地表达这样的现象,诸如图像对象从屏幕前移或图像对象返回到屏幕内。然而,根据示例性实施例,通过表达由于图像对象伸出屏幕或返回屏幕而产生的声音对象,用户可感受到更逼真的立体声效果。
此外,根据示例性实施例,产生声音对象的位置与参考位置之间的距离可被有效地表达。具体地讲,由于立体感被赋予每个声音对象,因此用户可有效地感受到立体声效果。
示例性实施例可被实现为计算机程序并且可被实现在通用数字计算机中,该通用数字计算机使用计算机可读记录介质来执行程序。
计算机可读记录介质的示例包括存储介质,诸如,例如磁存储介质(例如,ROM、软盘、硬盘等)和光记录介质(例如,CD-ROM或DVD)。
前述示例性实施例和优点仅是示例性的并且不被解释为限制。本教导可被容易地应用到其他类型的设备。另外,示例性实施例的描述意于示出,并且不意于限制权利要求的范围,并且许多替换、修改和变形将对于本领域的技术人员是明显的。
附图说明
通过参照附图对特定示例性实施例进行描述,以上和/或其他方面将变得更加明显,其中:
图1是示出根据示例性实施例的立体声再现设备的框图;
图2是示出根据示例性实施例的声音深度信息获得单元的框图;
图3是示出根据示例性实施例的通过使用两个声道声音信号提供立体声的立体声再现设备的框图;
图4A、4B、4C和4D示出根据示例性实施例的提供立体声的示例;
图5示出根据示例性实施例的基于声音信号产生声音深度信息的方法的流程图;
图6A、6B、6C和6D示出根据示例性实施例的从声音信号产生声音深度信息的示例;
图7示出根据示例性实施例的再现立体声的方法的流程图。
最佳实施方式
根据示例性实施例的一方面,提供了一种再现立体声的方法,所述方法包括:获得声音深度信息,声音深度信息表示声音信号内的至少一个声音对象与参考位置之间的距离;基于声音深度信息来将声音立体感赋予声音对象。
声音信号可被划分为多个相邻部分,获得声音深度信息的步骤包括:通过将先前部分中的声音信号与当前部分中的声音信号进行比较来获得声音深度信息。
获得声音深度信息的步骤可包括:计算先前部分和当前部分的每一个的每一频带的功率;基于每个频带的功率来将具有预定值或更大值的功率并且与相邻部分共有的频带确定为公共频带;基于当前部分中的公共频带的功率与先前部分中的公共频带的功率之间的差来获得声音深度信息。
所述方法可还包括:获得中心声道信号,中心声道信号从声音信号输出到中心扬声器,并且其中,计算功率的步骤包括:基于中心声道信号来计算每个频带的功率。
赋予声音立体感的步骤可包括:基于声音深度信息来调整声音对象的功率。
赋予声音立体感的步骤可包括:基于声音深度信息来调整由于反射声音对象而产生的反射信号的增益和延迟时间。
赋予声音立体感的步骤可包括:基于声音深度信息来调整声音对象的低带分量的尺寸。
赋予声音立体感的步骤可包括:调整将从第一扬声器输出的声音对象的相位与将从第二扬声器输出的声音对象的相位之间的相位差。
所述方法可还包括:使用左侧环绕扬声器或右侧环绕扬声器或使用左侧前扬声器和右侧前扬声器,来输出赋予了立体感的声音对象。
所述方法可还包括:通过使用声音信号来将音场定位在扬声器的外部。
根据示例性实施例的另一方面,提供了一种立体声再现设备,包括:信息获得单元,获得声音深度信息,声音深度信息表示声音信号内的至少一个声音对象与参考位置之间的距离;立体感提供单元,基于声音深度信息来将声音立体感赋予声音对象。
具体实施方式
以下参照附图对特定示例性实施例进行更加详细地描述。
在以下描述中,即使在不同的附图中,相同的附图标号用于相同的元件。在说明书中定义的内容(诸如详细的构造和元件)被提供以帮助对示例性实施例的全面理解。然而,在没有那些具体限定的内容的情况下,可实施示例性实施例。
首先,为了便于描述,在示例性实施例中使用的术语被描述。
声音对象是指包括在声音信号中的每个声音元素。在声音信号中,各种声音对象可被包括。例如,在通过记录管弦乐器演奏的实际场景而产生的声音信号中,从各种音乐乐器(诸如,吉他、小提琴、双簧管等)产生的各种声音对象被包括。
声音源是指产生声音对象的对象,诸如音乐乐器或声音。在示例性实施例中,产生声音对象的对象和用户认为已经产生声音对象的对象被称为声音源。例如,如果用户正在观看电影时苹果从屏幕飞向用户,则正在飞的苹果产生的声音(声音对象)被包括在声音信号中。声音对象可以是通过记录当苹果正在被扔时产生的实际声音而产生的声音,或者可以是先前记录的声音对象的重放声音。然而,在任何情况下,用户察觉到苹果已经产生了声音对象,从而苹果也被认为是在示例性实施例中定义的声音源。
声音深度信息是表示声音对象和参考位置之间的距离。详细地,声音深度信息是指产生声音对象的位置(声音源的位置)与参考位置之间的距离。
在上述示例中,如果用户正在观看电影时苹果正从屏幕飞向用户,则声音源与用户之间的距离减小。为了有效地表达接近的苹果,产生与图像对象相应的声音对象的位置需要被表达为逐渐接近用户,并且表达此方面的信息是声音深度信息。
参考位置可包括各种位置,诸如,例如预定声音源的位置、扬声器的位置、用户的位置等。
声音立体感是用户通过声音对象体验的一种感受。通过听到声音对象,用户察觉产生声音对象的位置,也就是,已经产生声音对象的声音源的位置。产生声音对象的位置与用户的位置之间的距离的感受被称为声音立体感。
下文中,参照附图对示例性实施例进行描述。
图1是示出根据示例性实施例的立体声再现设备100的框图。
立体声再现设备100包括声音深度信息获得单元110和立体感提供单元120。
声音深度信息获得单元110获得关于包括在声音信号中的至少一个声音对象的声音深度信息。在至少一个声音源中产生的声音被包括在声音信号中。声音深度信息是指这样的信息,该信息表示产生声音的位置(例如声音源的位置)与参考位置之间的距离。
声音深度信息可指对象与参考位置之间的绝对距离和/或对象相对于参考位置的相对距离。根据另一示例性实施例,声音深度信息可指声音对象与参考位置之间的距离的变化。
声音深度信息获得单元110可通过分析声音信号、分析3D图像数据、或者从图像深度图,获得声音深度信息。在示例性实施例中,基于声音深度信息获得单元110通过分析声音信号获得声音深度信息的示例来提供描述。
声音深度信息获得单元110通过将构成声音信号的多个部分(section)与其相邻部分进行比较来获得声音深度信息。将声音信号划分为多个部分的各种方法可被使用。例如,声音信号可被划分为预定数量的采样。每个划分的部分可被称为帧或块。以下参照图2对声音深度信息获得单元110的示例进行详细描述。
立体感提供单元120基于声音深度信息处理声音信号,从而用户可感受到声音立体感。立体感提供单元120为了使得用户有效地感受到声音立体感来执行以下描述的操作。然而,由立体感提供单元120执行的操作是示例,示例性实施例不限于此。
立体感提供单元120基于声音深度信息来调整声音对象的功率。产生的声音对象离用户越近,声音对象的功率越大。
立体感提供单元120基于声音深度信息来调整反射信号的增益和延迟时间。用户听到对象没有受到障碍物反射而产生的直接声音信号以及对象受到障碍物反射而产生的反射声音信号。反射声音信号具有比直接声音信号小的幅度,并且当反射声音信号到达用户的位置时,与直接声音信号相比被延迟预定时间段。具体地讲,如果在用户附近产生声音对象,则与直接声音信号相比,反射声音信号实质上较晚到达,从而反射声音信号实质上具有比直接声音信号小的幅度。
立体感提供单元120基于声音深度信息调整声音对象的低频带分量。如果在用户附近产生声音对象,则用户察觉到低频道分量较大。
立体感提供单元120基于声音深度信息调整声音对象的相位。将从第一扬声器输出的声音对象的相位与将从第二扬声器输出的声音对象的相位之间的差越大,用户察觉到声音对象越近。
下面参照图3提供对立体感提供单元120的操作的详细描述。
图2是示出根据示例性实施例的声音深度信息获得单元110的框图。
声音深度信息获得单元110包括功率计算单元210、确定单元220和产生单元230。
功率计算单元210计算构成声音信号的多个部分中的每个的频带的功率。
确定频带的尺寸的方法可根据示例性实施例改变。下文中,确定频带的尺寸的两种方法被描述,但是示例性实施例不限于此。
声音信号的频率分量可被划分为相同的频带。人类可听到的可听频率范围是20-20000Hz。如果可听频率被划分为十个相同的频带,则每个频带的尺寸大约是200Hz。将声音信号的频带划分为相同的频带的方法可被称为等效矩形带宽划分方法。
声音信号的频率分量可被划分为不同尺寸的频带。当收听低频声音时,人类听觉甚至可识别出小的频率改变,而当收听高频声音时,人类甚至不能识别出小的频率改变。因此,考虑到人类的听觉,低频带被密集地划分,而高频带被粗粒度划分。因此,低频带具有窄宽度,而高频带具有较宽的宽度。
基于每个频带的功率,确定单元220将具有预定值或者更大值的功率并且与相邻部分共有的频带确定为公共频带。例如,确定单元220选择当前部分中具有A或更大值的功率的频带、至少一个先前部分中具有A或更大值的功率的频带(或者当前部分中具有第五最大功率的频带或者先前部分中具有第五最大功率的频带),并且将从先前部分和当前部分中选择的频带确定为公共频带。限于预定值或更大值的频带的原因在于:获得具有大的信号幅度的声音对象的位置。因此,具有小的信号幅度的声音对象的影响可被最小化,并且主声音对象的影响可被最大化。确定单元220确定公共频带的另一原因在于:确定不存在于先前部分中的新的声音对象是否在当前部分中产生或者先前存在的声音对象的特性(例如,产生位置)是否已经改变。
产生单元230基于先前部分的公共频带的功率与当前部分的公共频带的功率之间的差来产生声音深度信息。为了描述方便,公共频带被假设为3000-4000Hz。如果先前部分中的3000-4000Hz的频率分量的功率是3W,当前部分中的3000-4000Hz的频率分量的功率是4.5W,则其指示公共频带的功率已经增加。这可被看作在距用户较近的位置产生当前部分的声音对象的指示。也就是,如果相邻部分之间的公共频率的功率值的差值大于阈值,则其可以是声音对象与参考位置之间的位置改变的指示。
根据示例性实施例,当相邻部分的公共频带的功率改变时,基于关于3D图像的深度图信息来确定是否存在接近用户的图像对象,也就是,从屏幕前移的图像对象。如果当公共频带的功率改变时图像对象正在接近用户,则可根据图像对象的移动来确定产生声音对象的位置正在移动。
产生单元230可确定:先前部分与当前部分之间的公共频带的功率的变化越大,与先前部分中的公共频带相应的声音对象相比,在当前部分中产生的与公共频带相应的声音对象距用户越近。
图3是示出根据示例性实施例的通过使用两个声道声音信号提供立体声的立体声再现设备300的框图。
如果输入信号是多声道声音信号,则使用立体声信号来执行下混合,随后示例性实施例的方法可被应用。
快速傅里叶变换(FFT)单元310执行FFT。
快速傅里叶逆变换(IFFT)单元320针对执行了FFT的信号执行IFFT。
中心信号提取单元330从立体声信号提取与中心声道相应的中心信号。中心信号提取单元330从立体声信号提取具有大相关性的信号。在图3中,假设基于中心声道信号来产生声音深度信息。然而,这是示例,并且可使用其他声道信号(诸如,例如左或右前声道信号或者左或右环绕声道信号)来产生声音深度信息。
音场(sound stage)扩展单元350扩展音场。音场扩展单元350人工地将时间差或相位差提供给立体声信号,从而音场位于扬声器的外部。
声音深度信息获得单元360基于中心信号获得声音深度信息。
参数计算单元370基于声音深度信息确定将声音立体感提供给声音对象所需要的控制参数值。
级别控制单元371控制输入信号的幅度。
相位控制单元372调整输入信号的相位。
反射效果提供单元373对由例如墙反射的输入信号产生的反射信号进行模拟。
近距离效果提供单元374对在距用户近距离产生的声音信号进行模拟。
混合单元380混合至少一个信号并将混合的信号输出到扬声器。
下文中,以时间顺序描述立体声再现设备300的操作。
首先,当输入多声道声音信号时,使用下混合器(未显示)将多声道声音信号转换为立体声信号。
FFT单元310对立体声信号执行FFT并将立体声信号输出到中心信号提取单元330。
中心信号提取单元330将变换的立体声信号进行比较,并具有最大相关性的信号作为中心声道信号输出。
声音深度信息获得单元360基于中心声道信号产生声音深度信息。以上参照图2描述了通过使用声音深度信息获得单元360产生声音深度信息的方法。也就是,首先,构成中心声道信号的部分的每一个的每个频带的功率被计算,并且基于计算的功率来确定公共频带。随后,至少两个相邻部分中的公共频带的功率变化被测量,并且深度指数(depth index)根据功率变化被设置。随着接近用户,相邻部分的公共频带的功率变化越大,与公共频带相应的声音对象需要被表达得更大,从而声音对象的大的深度指数值被设置。
参数计算单元370基于深度指数值来计算将应用到用于赋予声音立体感的模块的参数。
相位控制单元371在将中心声道信号复制为两个信号之后,根据计算的参数来调整被复制的信号的相位。当使用左侧扬声器和右侧扬声器再现不同相位的声音信号时,可发生模糊。模糊越强烈,用户越难于精确地察觉到产生声音对象的位置。由于此现象,当与其他立体感赋予方法一起使用相位控制方法时,提供立体感的效果可增加。产生声音对象的位置距用户越近(或产生位置接近用户越快),相位控制单元372可设置得复制的信号的相位之间的相位差越大。调整了相位的复制信号通过IFFT单元320以被发送给反射效果提供单元373。
反射效果提供单元373对反射信号进行模拟。如果产生的声音对象远离用户,则直接发送给用户而没有受到例如墙反射的直接信号以及受到例如墙反射而产生的反射声音具有类似的幅度,并且到达用户的直接声音和反射声音之间几乎不存在时间差。然而,如果在用户附近产生声音对象,则直接声音和反射声音之间的幅度差大,并且到达用户的直接声音和反射声音的时刻差大。因此,产生的声音对象距用户越近,反射效果提供单元373减小反射信号的增益值并且进一步增加时间延迟或增加直接声音的幅度的程度越大。反射效果提供单元373将与反射信号一起考虑的中心声道信号发送给近距离效果提供单元374。
近距离效果提供单元374基于通过使用参数计算单元370计算的参数值来对在距用户近距离产生的声音对象进行模拟。如果在距用户近的位置产生声音对象,则低带分量变为显著。产生声音对象的位置距用户越近,近距离效果提供单元374增加中心信号的低带分量越大。
接收到立体声输入信号的音场扩展单元350处理立体声输入信号,从而立体声输入信号的音场位于扬声器的外部。如果扬声器之间的距离适当,则用户可听到存在立体声。
音场扩展单元350将立体声输入信号变换为加宽的立体声信号。音场扩展单元350可包括加宽滤波器(通过左/右双耳合成和串扰取消器的卷积来获得加宽滤波器)以及超常滤波器(通过加宽滤波器和左/右直接滤波器的卷积来获得超常滤波器)。加宽滤波器基于在立体声信号的预定位置测量的头相关传递函数(HRTF)针对任意位置形成虚拟声音,并且基于反映HRTF的滤波器系数来取消虚拟声音源的串扰。左和右直接滤波器调整信号特性,诸如,例如原始立体声信号与取消了串扰的虚拟声音源之间的增益或延迟。
级别控制单元360基于通过使用参数计算单元370计算的深度指数来调整声音对象的功率值。当越靠近用户产生声音对象时,级别控制单元360可还增加声音对象的功率值。
混合单元380将由级别控制单元360发送的立体声输入信号与由近距离效果提供单元374发送的中心信号进行组合。
图4A至4D示出根据示例性实施例的提供立体声的示例。
图4A示出根据示例性实施例的立体声对象不操作的情况。
用户使用至少一个扬声器收听声音对象。如果用户使用单个扬声器再现单声道信号,则用户不能感受到立体声效果,但是当使用两个或更多个扬声器来再现立体声信号时,用户可感受到立体声效果。
图4B示出深度指数为0的声音对象被再现的情况。参照图4A至图4D,假设深度指数具有从0到1的值。产生的声音对象将被表达为距用户越近,深度指数的值变得越大。
由于声音对象的深度指数为0,因此不执行向声音对象赋予立体感的操作。然而,通过允许音场位于扬声器的外部,使用立体声信号能够使得用户感受到更好的立体声效果。根据示例性实施例,将音场定位在扬声器的外部的技术被称为加宽。
通常,需要多个声道的声音信号来再现立体声信号。因此,当输入单声道信号时,通过上混合来产生与至少两个声道相应的声音信号。
通过经左侧扬声器再现第一声道的声音信号,通过经右侧扬声器再现第二声道的声音信号,来再现立体声信号。用户可通过收听在不同的位置产生的至少两个声音来感受到立体声效果。
然而,如果左侧扬声器和右侧扬声器被布置得彼此太近,则用户察觉到声音在相同位置产生,因此不会感受到立体声效果。在这种情况下,声音信号被处理,从而声音被察觉为不是从扬声器的实际位置产生,而是从扬声器的外部产生;也就是,从扬声器外部的区域(诸如,例如,环绕扬声器或与扬声器相邻的区域)产生。
图4C示出根据示例性实施例的具有深度指数0.3的声音对象被再现的情况。
由于声音对象的深度指数大于0,因此除了加宽技术之外,与深度指数0.3相应的立体感被赋予声音对象。因此,用户可感受到比其实际产生的位置距用户更近的位置产生的声音对象。
例如,假设用户正在观看3D图像数据,并且图像对象被表达为从屏幕突出。在图4C中,声音立体感被赋予与图像对象相应的声音对象,从而将声音对象处理为就如同其正在接近用户。用户察觉到正在突出的图像数据以及正在接近的声音对象,从而感受到更逼真的立体声效果。
图4D示出具有深度指数1的声音对象被再现的情况。
由于声音对象的深度指数大于0,因此除了加宽技术之外,与深度指数1相应的声音立体感被赋予声音对象。由于图4D中示出的声音对象的深度指数大于图4C的声音对象的深度指数,因此用户可感受到在比图4C的位置更近的位置产生的声音对象。
图5示出根据示例性实施例的基于声音信号产生声音深度信息的方法的流程图。
在操作S510,计算构成声音信号的部分的每一个的频带的功率。
在操作S520,基于每个频带的功率来确定公共频带。
公共频带是指具有预定值或更大值的功率并且是先前部分和当前部分共有的频带。这里,具有小功率的频带可以是无意义的声音对象(诸如,例如噪声),因此可从公共频带排除。例如,可以以功率值的降序选择预定数量的频带,随后可在选择的多个频带中确定公共频带。
在操作S530,将先前部分的公共频带的功率和当前部分的公共频带的功率进行比较,并且基于比较结果来确定深度指数值。如果当前部分的公共频带的功率大于先前部分的公共频带的功率,则确定与公共频带相应的声音对象将在距用户较近的位置产生。如果当前部分的公共频带的功率与先前部分的公共频带的功率类似,则确定声音对象没有正在接近用户。
图6A至图6D示出根据示例性实施例的从声音信号产生声音深度信息的示例。
图6A示出根据示例性实施例的沿着时间轴划分为多个部分的声音信号。
图6B至图6D示出第一部分601、第二部分602和第三部分603中的频带的功率。在图6B至图6D中,第一部分601和第二部分602是先前部分,第三部分603是当前部分。
参照图6B和图6C,在第一部分601和第二部分602中,3000-4000Hz、4000-5000Hz和5000-6000Hz的频带的功率类似。因此,3000-4000Hz、4000-5000Hz和5000-6000Hz的频带被确定为公共频带。
参照图6C和图6D,当假设3000-4000Hz、4000-5000Hz和5000-6000Hz的频带的功率在所有的第一部分601、第二部分602和第三部分603中是预定值或更大值时,3000-4000Hz、4000-5000Hz和5000-6000Hz的频带被确定为公共频带。
然而,与第二部分602中的5000-6000Hz的频带的功率相比,在第三部分603中,5000-6000Hz的频带的功率实质上增加。因此,与5000-6000Hz的频带相应的声音对象的深度指数被确定为0或更大。根据示例性实施例,图像深度图可被参考,以确定深度对象的深度指数。
例如,与第二部分602中的5000-6000Hz的频带的功率相比,在第三部分603中的5000-6000Hz的频带的功率实质上增加。根据情况,这可能是产生与5000-6000Hz的频带相应的声音对象的位置还没有接近用户,但是仅功率的值在相同的位置增加的情况。这里,如果当参照图像深度图时在与第三部分603相应的图像帧中存在从屏幕前移的图像对象,则与5000-6000Hz的频带相应的声音对象对应于图像对象的可能性可能很高。在这种情况下,产生声音对象的位置逐渐接近用户,因此声音对象的深度指数被设置0或更大。另一方面,如果在与第三部分603相应的图像帧中不存在从屏幕突出的图像对象,则这可被认为是仅声音对象的功率增加同时相同位置被保持,因此,声音对象的深度指数可被设置为0。
图7是示出根据示例性实施例的再现立体声的方法的流程图。
在操作S710,获得声音深度信息。声音深度信息是指表示声音信号内的至少一个声音对象与参考位置之间的距离的信息。
在操作S720,基于声音深度信息将声音立体感赋予声音对象。操作S720可包括操作S721和S722中的至少一个。
在操作S721,基于声音深度信息来调整声音对象的功率增益。
在操作S722,基于声音深度信息来调整由于障碍物反射声音对象而产生的反射信号的增益和延迟时间。
在操作S723,基于声音深度信息来调整声音对象的低带分量。
在操作S724,调整将从第一扬声器输出的声音对象的相位与将从第二扬声器输出的声音对象的相位之间的相位差。
Claims (15)
1.一种再现立体声的方法,所述方法包括:
获得声音深度信息,声音深度信息表示声音信号内的至少一个声音对象与参考位置之间的距离;
基于声音深度信息来将声音立体感提供给从扬声器输出的声音对象。
2.如权利要求1所述的方法,其中,声音信号被划分为多个相邻部分,
获得声音深度信息的步骤包括:通过将先前部分中的声音信号与当前部分中的声音信号进行比较来获得声音深度信息。
3.如权利要求2所述的方法,其中,获得声音深度信息的步骤包括:
计算先前部分和当前部分的每一个的每一频带的功率;
基于计算的每个频带的功率来将具有预定值或更大值的功率并且与相邻部分共有的频带确定为公共频带;
基于当前部分中的公共频带的功率与先前部分中的公共频带的功率之间的差来获得声音深度信息。
4.如权利要求3所述的方法,还包括:
获得中心声道信号,中心声道信号从声音信号输出到中心扬声器,并且其中,
计算功率的步骤包括:基于中心声道信号来计算每个频带的功率。
5.如权利要求1所述的方法,其中,提供声音立体感的步骤包括:
基于声音深度信息来调整声音对象的功率。
6.如权利要求1所述的方法,其中,提供声音立体感的步骤包括:
基于声音深度信息来调整由于反射声音对象而产生的反射信号的增益和延迟时间。
7.如权利要求1所述的方法,其中,提供声音立体感的步骤包括:
基于声音深度信息来调整声音对象的低带分量的尺寸。
8.如权利要求1所述的方法,其中,提供声音立体感的步骤包括:
调整将从第一扬声器输出的声音对象的相位与将从第二扬声器输出的声音对象的相位之间的相位差。
9.如权利要求1所述的方法,还包括:
使用左侧环绕扬声器或右侧环绕扬声器或使用左侧前扬声器和右侧前扬声器,来输出提供了立体感的声音对象。
10.如权利要求1所述的方法,还包括:
通过使用声音信号来将音场定位在扬声器的外部区域。
11.一种立体声再现设备,包括:
信息获得单元,获得声音深度信息,声音深度信息表示声音信号内的至少一个声音对象与参考位置之间的距离;
立体感提供单元,基于声音深度信息来将声音立体感提供给声音对象。
12.如权利要求11所述的立体声再现设备,其中,声音信号被划分为多个相邻部分,并且信息获得单元通过将先前部分中的声音信号与当前部分中的声音信号进行比较来获得声音深度信息。
13.如权利要求12所述的立体声再现设备,其中,信息获得单元包括:
功率计算单元,计算先前部分和当前部分的每一个的每个频带的功率;
确定单元,基于计算的每个频带的功率来将具有预定值或更大值的功率并且与相邻部分共有的频带确定为公共频带;
产生单元,基于当前部分中的公共频带的功率与先前部分中的公共频带的功率之间的差来产生声音深度信息。
14.如权利要求13所述的立体声再现设备,还包括:
信号获得单元,获得中心声道信号,中心声道信号从声音信号输出到中心扬声器,
其中,功率计算单元基于与中心声道信号相应的声道信号来计算每个频带的功率。
15.一种在其上实现有当由计算机执行时使得计算机执行如权利要求1-10中的任意一个所述的方法的程序的非暂时性计算机可读记录介质。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US33098610P | 2010-05-04 | 2010-05-04 | |
US61/330,986 | 2010-05-04 | ||
KR1020110022451A KR101764175B1 (ko) | 2010-05-04 | 2011-03-14 | 입체 음향 재생 방법 및 장치 |
KR10-2011-0022451 | 2011-03-14 | ||
PCT/KR2011/003337 WO2011139090A2 (en) | 2010-05-04 | 2011-05-04 | Method and apparatus for reproducing stereophonic sound |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102972047A true CN102972047A (zh) | 2013-03-13 |
CN102972047B CN102972047B (zh) | 2015-05-13 |
Family
ID=45393150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180033247.8A Active CN102972047B (zh) | 2010-05-04 | 2011-05-04 | 用于再现立体声的方法和设备 |
Country Status (12)
Country | Link |
---|---|
US (2) | US9148740B2 (zh) |
EP (1) | EP2561688B1 (zh) |
JP (1) | JP5865899B2 (zh) |
KR (1) | KR101764175B1 (zh) |
CN (1) | CN102972047B (zh) |
AU (1) | AU2011249150B2 (zh) |
BR (1) | BR112012028272B1 (zh) |
CA (1) | CA2798558C (zh) |
MX (1) | MX2012012858A (zh) |
RU (1) | RU2540774C2 (zh) |
WO (1) | WO2011139090A2 (zh) |
ZA (1) | ZA201209123B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105323701A (zh) * | 2014-06-26 | 2016-02-10 | 冠捷投资有限公司 | 根据三维影像调整音效的方法与应用此方法的影音系统 |
CN105794230A (zh) * | 2013-10-24 | 2016-07-20 | 三星电子株式会社 | 生成多通道音频信号的方法和用于执行该方法的装置 |
CN108806560A (zh) * | 2018-06-27 | 2018-11-13 | 四川长虹电器股份有限公司 | 屏幕发声显示屏及声场画面同步定位方法 |
CN112639683A (zh) * | 2018-09-04 | 2021-04-09 | 三星电子株式会社 | 显示装置及其控制方法 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101717787B1 (ko) * | 2010-04-29 | 2017-03-17 | 엘지전자 주식회사 | 디스플레이장치 및 그의 음성신호 출력 방법 |
JP2012151663A (ja) * | 2011-01-19 | 2012-08-09 | Toshiba Corp | 立体音響生成装置及び立体音響生成方法 |
JP5776223B2 (ja) * | 2011-03-02 | 2015-09-09 | ソニー株式会社 | 音像制御装置および音像制御方法 |
FR2986932B1 (fr) * | 2012-02-13 | 2014-03-07 | Franck Rosset | Procede de synthese transaurale pour la spatialisation sonore |
CN104429063B (zh) * | 2012-07-09 | 2017-08-25 | Lg电子株式会社 | 增强3d音频/视频处理装置和方法 |
CN103686136A (zh) * | 2012-09-18 | 2014-03-26 | 宏碁股份有限公司 | 多媒体处理系统及音频信号处理方法 |
EP2733964A1 (en) * | 2012-11-15 | 2014-05-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Segment-wise adjustment of spatial audio signal to different playback loudspeaker setup |
EP3028273B1 (en) | 2013-07-31 | 2019-09-11 | Dolby Laboratories Licensing Corporation | Processing spatially diffuse or large audio objects |
CN104683933A (zh) | 2013-11-29 | 2015-06-03 | 杜比实验室特许公司 | 音频对象提取 |
US10163295B2 (en) * | 2014-09-25 | 2018-12-25 | Konami Gaming, Inc. | Gaming machine, gaming machine control method, and gaming machine program for generating 3D sound associated with displayed elements |
US9930469B2 (en) | 2015-09-09 | 2018-03-27 | Gibson Innovations Belgium N.V. | System and method for enhancing virtual audio height perception |
US11032508B2 (en) * | 2018-09-04 | 2021-06-08 | Samsung Electronics Co., Ltd. | Display apparatus and method for controlling audio and visual reproduction based on user's position |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030053680A1 (en) * | 2001-09-17 | 2003-03-20 | Koninklijke Philips Electronics N.V. | Three-dimensional sound creation assisted by visual information |
CN1714600A (zh) * | 2002-10-15 | 2005-12-28 | 韩国电子通信研究院 | 产生和消费具有扩展空间性的声源的三维音频场景的方法 |
WO2009116800A2 (ko) * | 2008-03-20 | 2009-09-24 | Park Seung-Min | 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06269096A (ja) | 1993-03-15 | 1994-09-22 | Olympus Optical Co Ltd | 音像制御装置 |
DE19735685A1 (de) | 1997-08-19 | 1999-02-25 | Wampfler Ag | Vorrichtung zur berührungslosen Übertragung elektrischer Energie |
JPH11220800A (ja) * | 1998-01-30 | 1999-08-10 | Onkyo Corp | 音像移動方法及びその装置 |
DE69924896T2 (de) | 1998-01-23 | 2005-09-29 | Onkyo Corp., Neyagawa | Vorrichtung und Verfahren zur Schallbildlokalisierung |
KR19990068477A (ko) | 1999-05-25 | 1999-09-06 | 김휘진 | 입체음향시스템및그운용방법 |
RU2145778C1 (ru) * | 1999-06-11 | 2000-02-20 | Розенштейн Аркадий Зильманович | Система формирования изображения и звукового сопровождения информационно-развлекательного сценического пространства |
DK1277341T3 (da) * | 2000-04-13 | 2004-10-11 | Qvc Inc | System og fremgangsmåde til digital radio med audio-indhold målretning |
RU23032U1 (ru) * | 2002-01-04 | 2002-05-10 | Гребельский Михаил Дмитриевич | Система передачи изображения со звуковым сопровождением |
WO2004036955A1 (en) | 2002-10-15 | 2004-04-29 | Electronics And Telecommunications Research Institute | Method for generating and consuming 3d audio scene with extended spatiality of sound source |
GB2397736B (en) | 2003-01-21 | 2005-09-07 | Hewlett Packard Co | Visualization of spatialized audio |
RU2232481C1 (ru) * | 2003-03-31 | 2004-07-10 | Волков Борис Иванович | Цифровой телевизор |
KR100677119B1 (ko) | 2004-06-04 | 2007-02-02 | 삼성전자주식회사 | 와이드 스테레오 재생 방법 및 그 장치 |
JP2006128816A (ja) * | 2004-10-26 | 2006-05-18 | Victor Co Of Japan Ltd | 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア |
KR100688198B1 (ko) * | 2005-02-01 | 2007-03-02 | 엘지전자 주식회사 | 음향 재생 수단을 구비한 단말기 및 입체음향 재생방법 |
US20060247918A1 (en) * | 2005-04-29 | 2006-11-02 | Microsoft Corporation | Systems and methods for 3D audio programming and processing |
JP4835298B2 (ja) * | 2006-07-21 | 2011-12-14 | ソニー株式会社 | オーディオ信号処理装置、オーディオ信号処理方法およびプログラム |
KR100922585B1 (ko) * | 2007-09-21 | 2009-10-21 | 한국전자통신연구원 | 실시간 e러닝 서비스를 위한 입체 음향 구현 방법 및 그시스템 |
KR101415026B1 (ko) * | 2007-11-19 | 2014-07-04 | 삼성전자주식회사 | 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치 |
JP5274359B2 (ja) | 2009-04-27 | 2013-08-28 | 三菱電機株式会社 | 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体 |
KR101690252B1 (ko) | 2009-12-23 | 2016-12-27 | 삼성전자주식회사 | 신호 처리 방법 및 장치 |
-
2011
- 2011-03-14 KR KR1020110022451A patent/KR101764175B1/ko active IP Right Grant
- 2011-05-04 WO PCT/KR2011/003337 patent/WO2011139090A2/en active Application Filing
- 2011-05-04 MX MX2012012858A patent/MX2012012858A/es active IP Right Grant
- 2011-05-04 CN CN201180033247.8A patent/CN102972047B/zh active Active
- 2011-05-04 AU AU2011249150A patent/AU2011249150B2/en active Active
- 2011-05-04 US US13/100,442 patent/US9148740B2/en active Active
- 2011-05-04 EP EP11777571.8A patent/EP2561688B1/en active Active
- 2011-05-04 CA CA2798558A patent/CA2798558C/en active Active
- 2011-05-04 RU RU2012151848/08A patent/RU2540774C2/ru active
- 2011-05-04 JP JP2013508997A patent/JP5865899B2/ja active Active
- 2011-05-04 BR BR112012028272-7A patent/BR112012028272B1/pt active IP Right Grant
-
2012
- 2012-12-03 ZA ZA2012/09123A patent/ZA201209123B/en unknown
-
2015
- 2015-08-25 US US14/835,303 patent/US9749767B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030053680A1 (en) * | 2001-09-17 | 2003-03-20 | Koninklijke Philips Electronics N.V. | Three-dimensional sound creation assisted by visual information |
CN1714600A (zh) * | 2002-10-15 | 2005-12-28 | 韩国电子通信研究院 | 产生和消费具有扩展空间性的声源的三维音频场景的方法 |
WO2009116800A2 (ko) * | 2008-03-20 | 2009-09-24 | Park Seung-Min | 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105794230A (zh) * | 2013-10-24 | 2016-07-20 | 三星电子株式会社 | 生成多通道音频信号的方法和用于执行该方法的装置 |
US9883316B2 (en) | 2013-10-24 | 2018-01-30 | Samsung Electronics Co., Ltd. | Method of generating multi-channel audio signal and apparatus for carrying out same |
CN105794230B (zh) * | 2013-10-24 | 2018-08-14 | 三星电子株式会社 | 生成多通道音频信号的方法和用于执行该方法的装置 |
CN105323701A (zh) * | 2014-06-26 | 2016-02-10 | 冠捷投资有限公司 | 根据三维影像调整音效的方法与应用此方法的影音系统 |
CN108806560A (zh) * | 2018-06-27 | 2018-11-13 | 四川长虹电器股份有限公司 | 屏幕发声显示屏及声场画面同步定位方法 |
CN112639683A (zh) * | 2018-09-04 | 2021-04-09 | 三星电子株式会社 | 显示装置及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
RU2540774C2 (ru) | 2015-02-10 |
AU2011249150B2 (en) | 2014-12-04 |
US9148740B2 (en) | 2015-09-29 |
US20150365777A1 (en) | 2015-12-17 |
JP5865899B2 (ja) | 2016-02-17 |
WO2011139090A2 (en) | 2011-11-10 |
MX2012012858A (es) | 2013-04-03 |
RU2012151848A (ru) | 2014-06-10 |
AU2011249150A1 (en) | 2012-12-06 |
ZA201209123B (en) | 2017-04-26 |
KR20110122631A (ko) | 2011-11-10 |
CA2798558A1 (en) | 2011-11-10 |
EP2561688A4 (en) | 2015-12-16 |
CA2798558C (en) | 2018-08-21 |
BR112012028272B1 (pt) | 2021-07-06 |
EP2561688B1 (en) | 2019-02-20 |
US20110274278A1 (en) | 2011-11-10 |
US9749767B2 (en) | 2017-08-29 |
BR112012028272A2 (pt) | 2016-11-01 |
JP2013529017A (ja) | 2013-07-11 |
KR101764175B1 (ko) | 2017-08-14 |
WO2011139090A3 (en) | 2012-01-05 |
EP2561688A2 (en) | 2013-02-27 |
CN102972047B (zh) | 2015-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102972047B (zh) | 用于再现立体声的方法和设备 | |
JP5944840B2 (ja) | 立体音響の再生方法及びその装置 | |
CN106165452B (zh) | 音频信号处理方法和设备 | |
CN106105269B (zh) | 音频信号处理方法和设备 | |
US8885834B2 (en) | Methods and devices for reproducing surround audio signals | |
KR101572894B1 (ko) | 오디오 신호의 디코딩 방법 및 장치 | |
KR20100017860A (ko) | 오디오 데이터를 처리하기 위한 디바이스 및 방법 | |
KR20080060640A (ko) | 개인 청각 특성을 고려한 2채널 입체 음향 재생 방법 및장치 | |
JP2019512952A (ja) | 音響再生システム | |
CA2744429C (en) | Converter and method for converting an audio signal | |
KR20130080819A (ko) | 다채널 음향 신호의 정위 방법 및 장치 | |
US20120101609A1 (en) | Audio Auditioning Device | |
US10321252B2 (en) | Transaural synthesis method for sound spatialization | |
JP2005157278A (ja) | 全周囲音場創生装置、全周囲音場創生方法、及び全周囲音場創生プログラム | |
CN109923877A (zh) | 对立体声音频信号进行加权的装置和方法 | |
CN110312198A (zh) | 用于数字影院的虚拟音源重定位方法及装置 | |
Matsumura et al. | Embedded 3D sound movement system based on feature extraction of head-related transfer function | |
Grosse et al. | Evaluation of a perceptually optimized room-in-room reproduction method for playback room compensation | |
KR20060091966A (ko) | 머리 모델링을 이용한 입체음향 합성방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |