CN1119799C - 用于增强对语音进行三维定位的方法和装置 - Google Patents

用于增强对语音进行三维定位的方法和装置 Download PDF

Info

Publication number
CN1119799C
CN1119799C CN98803591A CN98803591A CN1119799C CN 1119799 C CN1119799 C CN 1119799C CN 98803591 A CN98803591 A CN 98803591A CN 98803591 A CN98803591 A CN 98803591A CN 1119799 C CN1119799 C CN 1119799C
Authority
CN
China
Prior art keywords
sampling rate
digital signals
frequency
audio digital
mentioned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN98803591A
Other languages
English (en)
Other versions
CN1251195A (zh
Inventor
M·利维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN1251195A publication Critical patent/CN1251195A/zh
Application granted granted Critical
Publication of CN1119799C publication Critical patent/CN1119799C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04Time compression or expansion
    • G10L21/043Time compression or expansion by changing speed
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Machine Translation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种存储着要由一处理器来执行的指令序列的计算机可读介质。这些指令可使上述处理器执行下列步骤以增强对语音源进行3-D定位。接收一数字语音信号(200)。确定所述数字语音信号的最大频率(202)。提高对所述数字语音信号的取样率(208)。然后,给所述数字语音信号加上宽带高斯噪音(210),以形成具有较高频率的宽带数字语音信号。最后,可用有限冲激响应滤波器来确定上述宽带数字语音信号的位置。

Description

用于增强对语音进行三维定位的方法和装置
1、本发明的领域
本发明涉及语音处理。具体地说,本发明涉及到用于增强对语音进行三维定位的方法和设备。
2、对相关技术的说明
正常的人类语音包含多种频率成份:通常从约100Hz(赫兹)到几KHz(千赫)。例如,人类语音具有低频基频,但人类语音的谐音则具有相当广的范围。由于人类语音中有多种频率,故一个人在与另一个人讲话时可确定声源的位置。换句话说,一个人通常能个性化地确定声源的位置并识别该声源。
为了确定语音的可理解性或信息,收听者并不需要包含在语音中的较高频率的成份。所以,诸如蜂窝式电话、视频电话以及使用语音压缩算法的电话系统之类的多种通讯系统均摒弃了声源中的高频信息。因此,摒弃了大部分4千赫(KHz)以上的高频内容。在不需要确定语音的位置时,这一方案是适用的。但是,对要确定语言的位置的应用(例如虚拟现实)来说,业已证明,缺少语音的高频成份是不利的。这是因为,为了进行语音定位,收听者需要较高的频率。语音中高频内容有助于收听者在精神上感觉出声音位于什么地方。例如,高频内容有助于收听者确定声音位于自己的上方还是下方、或者是位于右方还是左方、或位于前方还是后方。因此,所需要的是一种对业已通过摒弃了高频内容的通讯系统来加以传输的语音进行转换的方法。这种方法应能在不损失语音的可理解性的情况下使收听者确定出经过转换的语音的位置。
发明概述
公开了一种由计算机实现的用于增强对语音进行3-D(三维)定位的方法。接收业已按每秒预定速率进行了取样的语音信号。确定所述语音信号的最大频率。提高前述预定的取样率。给所述语音信号加上低电平、宽带噪音以形成一具有较高频率成份的新语音信号。
对附图的简要说明
在附图中,用举例但非限制性的方式说明了本发明,附图中相同的标号表示相似的部分。
图1说明了可实施本发明的示例性计算机;
图2是说明本发明一个实施例的流程图;
图3说明了一个可在本发明中使用的硬件实施例。
详细说明
以下描述用于增强对语音进行3-D(三维)定位的方法和设备。在以下的说明中,说明了多种具体细节以便于对本发明作详尽的理解。但是,本技术领域的人士将会看到,在没有这些细节的情况下也可以实施本发明。在其它情况下,以框图中的形式示出了周知的结构和设备,以防使本发明难以理解。
本发明通过将高频内容加给语音而增强语音的3-D定位。需要语音的高频内容是因为在传输过程中语音压缩算法通常都要除掉语音的高频内容(例如高于4KHz)。结果,会丢失语音中可用作空间定位线索的高频成份。因此,经压缩和局部化的语音的收听者不能精确地感觉出声源的位置。所以,本发明通过在提高取样率之后并在进行定位之前给压缩后的语音增加高频宽带噪音来解决这一问题。
参照图1,标号100示出可实施本发明实施例的示例性计算机系统。计算机系统100包括:一总线或传递信息的其它通讯设备101;以及,一处理信息的处理器102,它连接于总线101。系统100还包括与总线101相连的随机存储存储器(RAM)或其它动态存储设备104(称为主存储器),它存储着信息以及要由处理器102来执行的指令。在处理器102执行指令过程中,主存储器还可用于存储临时变量或其它中间信息。
计算机系统100还包括一与总线101相连的只读存储器(ROM)和/或其它静态存储设备106,它存储有静态信息和用于处理器102的指令。数据存储设备107与总线101相连并存储有信息和指令。诸如磁盘或光盘之类的数据存储设备107及其相应的盘驱动器与可计算机系统100相连。网络接口103与总线101相连。网络接口103可使计算机系统100与计算机系统网络(未示出)连接起来。
计算机系统100还可通过总线101与诸如阴极射线管(CRT)之类用来向计算机用户显示信息的显示设备121相连。一包括其它按键上的字符在内的字符输入设备122通常与总线101相连,以便向处理器102传递信息和命令选择。另一种类型的用户输入设备是诸如时标、跟踪球、光标方向按键之类用于向处理器102传递方向信息和命令选择并用于控制光标在显示器121上移动的光标控制器123。这种输入设备一般具有两种自由度和两种入口即第一入口(例如X轴)和第二入口(例如Y轴),它们使得该输入设备能够指定平面中的位置。
另外,可以用诸如指示笔或输入笔之类的其它输入设备与显示器互动。可用指示笔或输入笔来接触所显示的对象从而选定显示在计算机屏幕上的对象。所述计算机通过使用触敏屏幕来检测选择。例如,系该也可以缺乏诸如标号122之类的键盘,可通过指示笔来将所有的接口提供为一(类似输入笔的)书写装置,并用光学字符识别(OCR)技术来解释写出的文本。此外,压缩后的语音信号也可以通过诸如因特网或局域网(LAN)连接之类的通讯信道到达计算机。
图2说明了本发明的一个实施例。在步骤200中,从通讯网络中接收一数字语音源(信号)。例如,可能的数字语音源是蜂窝电话、视频电话以及视频远程会议。在这些系统中,通常摒弃了语音中的高频内容(例如大于4KHz)。这是因为,就语音的可理解性而言,不需要语音的高频成份。此外,语音压缩算法也摒弃了语音的高频成份。
在步骤202中,对接收到的数字语音的频率内容进行分析。在步骤204中,根据接收到的信号的取样率按着尼奎斯特(Nyquist)法则计算出数字语音信号的最大频率。换句话说,假定信号的取样率是所传输的信号的最大频率的两倍。例如,如果,数字语音源的取样率是8千赫兹(KHz),那么,最大频率就等于(8KHz)的一半,为4KHz。因此,所传输的信号的最大频率为4000赫兹。
这里,已经(例如通过语音压缩算法)除掉了语音的高频内容,从而,不可能通过空间线索用语音的高频内容来提供方向特性。必须将较多的高频信息加到语音上以便增强3-D定位。这一点是通过首先按较高的速率对语音进行重新取样而实现的。在步骤208中,将取样率(例如8KHZ)增加到通常是原有取样率的二至六倍。在一个实施例中,可将取样率从8KHz增加到1 6KHz至48KHz的值。在一个实施例中,可将取样率从每秒8000次增加到每秒22050次(约22KHz)。每秒22050次的取样率对中音域的音乐来说是标准的取样率并与FM(调频)无线广播的质量相类似。例如,人可在22KHz听到更为自然的语音;人还能听出乐器和声音效果的音质。因此,虽然提高了取样率,但没有增加额外的高频成份。
在步骤210中,向具有提高了的取样率的语音信号增加宽带高斯噪音。一般地说,所增加的宽带高斯噪音具有与提高后的取样率相对应的尼奎斯特(Nyquist)频率。例如,如果将取样率增加至22KHz或每秒22050次,那么,所述宽带高斯噪音还会有11025赫兹或提高后的取样率一半的频带。应该注意,所述高斯噪音可具有不同于提高后的取样率的频率。还应该注意,所述宽带高斯噪音可具有与提高后的取样率成比例的频率。在一个实施例中,所增加的宽带高斯噪音在约8KHz至约24KHz之间。该宽带高斯噪音的能量通常非常低,因此,不会影响语音的可理解性。结果,所增加的宽带高斯噪音约比开始时接收到的数字语音信号低20至30分贝。
所述宽带高斯噪音将高频成份增加给了原始的数字语音源。这一点对增强声源的3-D定位来说很重要,所说的定位例如可用一滤波器来进行以便为收听者重新形成有虚拟现实感受的语音源。在一个实施例中,于步骤212中将合成的宽带语音传输给计算机系统内的3-D语音定位例程。此外,这时还可增加与所述数字语音源有关的位置信息。
与语音源相对应的位置信息可形成更为实际的虚拟感受。例如,如果一个人正在出席有五个不同的人的多点视频会议,每个人的图像均可在计算机屏幕上看到,那么,所说的位置信息就可将语音与显示屏上的适当人的图像联系起来。例如,如果图像显示上屏幕左侧的人正在讲话,那么,语音源就应该听起来是来自屏幕的左侧。收听者不应感觉到语音是来自图像被显示在屏幕右侧的那个人。
本发明的另一应用是应用于3-D虚拟现实场景。例如,一个人正处于共享的虚拟空间或3-D空间内,在这种空间中,与每个人的3-D图像会面和交谈。如果某个人的3-D图像正以能听得见的方式讲话而不是以文本的方式说话,那么,本发明就能使语音的接收者将该语音作为语音源与适当的3-D图像联系起来。因此,如果用户从一组讲话人走到另一组讲话人,则该用户接收到的语音应因此而发生变化。
图3中示出了本发明的一个硬件实施例300。接收器303接收一数字语音信号301。数字语音信号301是从诸如蜂窝电话之类的通讯网络上发送来的。通常,人的语音首先被接收为模拟信号,然后被转换为数字语音信号。通常在数字语音信号301到达接收器303之前对该信号进行压缩和频带限制。因此,通常会去掉数字语音信号301的高频成份(例如大于4KHZ的成份)。
接收器303还确定所接收到的数字语音信号的最大频率。在一个实施例中,接收器303利用尼奎斯特(Nyquist)法则根据数字取样率来确定数字语音信号的最大频率。例如,如果取样率为6KHz,则依照尼奎斯特(Nyquist)法则的最大频率是3KHz,该值是取样率的一半。然后,转换器305将上述最小取样率转换成或提高至一提高后的取样率。在一个实施例中,提高后的取样率可比先前的取样率大二至六倍。
此后,一发生器307形成宽带高斯噪音以增加接收到的数字语音信号301的高频内容。这是必需的,因为,语音的高频内容能使收听者更好地确定数字语音的位置。换句话说,在进行了3-D定位之后,语音的高频内容可使收听者确定语音源是位于收听者的左侧还是右侧,是位于收听者的上方还是下方,是位于收听者的前方还是后方。对语音的3-D定位可增强收听者对语音的感受。在加法器309中将具有提高后的取样率的语音信号与宽带高斯噪音合成起来。然后,在一个实施例中,在传输给滤波器生成装置313之前将合成的宽带语音信号存储到存储器311内。在一个实施例中,所述滤波器可以是有限脉冲响应(FIR)滤波器。应该注意,也可以使用其它的滤波器。在先有技术中,通常将没有高频内容(例如4KHz以上)的数字语音信号301直接传输给滤波器生成装置313。结果,这种合成的数字语音通常缺乏可以感觉到的3-D定位线索。而明显相反,本发明则能使收听者有提高了的对语音源的3-D定位能力或感知能力。因此,收听者可以有对语音源的更为真实的感受。
在以上的说明中,给出了若干特定细节来说明本发明,但并非用来限制本发明。本领域的普通技术人员可以在没有这些细节的情况下也能实施本发明。此外,未详细说明特定的语音处理设备和算法,以便不使得本发明难于理解。因此,本发明的方法和设备是由后附权利要求所限定的。
所以,说明了用于增强对语音源进行3-D定位的方法。

Claims (14)

1、一种由计算机实现的用来增强对语音源进行3-D定位的方法,该方法包括:
接收一业已按预定取样率进行取样的语音信号;
确定上述数字语音信号的最大频率;
提高对上述数字语音信号的取样率;以及
给上述数字语音信号增加一低电平、宽带噪音以形成一具有较高频率成份的新数字语音信号。
2、如权利要求1的方法,其特征在于,该方法还包括下列步骤:
传送上述新数字语音信号。
3、如权利要求1的方法,其特征在于,提高后的取样率至少是前述最大频率的两倍。
4、如权利要求3的方法,其特征在于,将所述取样率增加到二至六倍。
5、如权利要求1的方法,其特征在于,所述低电平、宽带噪音具有约为提高后的取样率一半的频率。
6、如权利要求1的方法,其特征在于,所述低电平、宽带噪音比前述语音信号低约20至30分贝。
7、如权利要求1的方法,其特征在于,所述低电平、宽带噪音具有约8KHz至约24KHz范围内的频率。
8、一种用于增强对语音进行3D定位的可编程设备,该设备包括:
一接收器,用于接收一数字语音信号;
一连接于上述接收器的转换器,用于将所述数字语音信号取样率提高至一提高后的取样率;
一发生器,用于产生宽带噪音;
一连接于上述转换器和发生器的加法器,它用于将上述宽带噪音与具有提高后的取样率的数字语音信号合成起来,以形成一宽带数字语音信号;以及
一连接于上述加法器的存储器,其中该存储器中存储着上述宽带数字语音信号;以及
一连接于上述存储器的滤波器,它用于确定前述宽带数字语音信号的位置。
9、如权利要求8的可编程设备,其特征在于,所述数字语音信号具有约4KHz的频率。
10、如权利要求8的可编程设备,其特征在于,所述数字语音信号具有小于4KHZ的频率。
11、如权利要求8的可编程设备,其特征在于,所述转换器确定前述数字语音信号的最大频率然后将该数字语音信号的取样率提高到是上述最大频率的二至六倍。
12、如权利要求11的可编程设备,其特征在于,所述宽带噪音具有约为提高后的取样率的一半的带宽。
13、如权利要求8的可编程设备,其特征在于,所述宽带噪音比前述数字语音信号低约20至30分贝。
14、如权利要求12的可编程设备,其特征在于,所述宽带噪音具有一定的频率,该频率不同于前述提高后的取样率的频率。
CN98803591A 1997-03-26 1998-01-06 用于增强对语音进行三维定位的方法和装置 Expired - Fee Related CN1119799C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/826016 1997-03-26
US08/826,016 1997-03-26
US08/826,016 US5864790A (en) 1997-03-26 1997-03-26 Method for enhancing 3-D localization of speech

Publications (2)

Publication Number Publication Date
CN1251195A CN1251195A (zh) 2000-04-19
CN1119799C true CN1119799C (zh) 2003-08-27

Family

ID=25245475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN98803591A Expired - Fee Related CN1119799C (zh) 1997-03-26 1998-01-06 用于增强对语音进行三维定位的方法和装置

Country Status (10)

Country Link
US (1) US5864790A (zh)
EP (1) EP0970464B1 (zh)
KR (1) KR100310283B1 (zh)
CN (1) CN1119799C (zh)
AT (1) ATE250271T1 (zh)
AU (1) AU5734498A (zh)
DE (1) DE69818238T2 (zh)
HK (1) HK1025176A1 (zh)
TW (1) TW403892B (zh)
WO (1) WO1998043239A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0954849B1 (en) * 1997-10-31 2003-05-28 Koninklijke Philips Electronics N.V. A method and apparatus for audio representation of speech that has been encoded according to the lpc principle, through adding noise to constituent signals therein
US7371175B2 (en) * 2003-01-13 2008-05-13 At&T Corp. Method and system for enhanced audio communications in an interactive environment
CN114023351B (zh) * 2021-12-17 2022-07-08 广东讯飞启明科技发展有限公司 一种基于嘈杂环境的语音增强方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3974336A (en) * 1975-05-27 1976-08-10 Iowa State University Research Foundation, Inc. Speech processing system
JPS52134303A (en) * 1976-05-06 1977-11-10 Tadamutsu Hirata Device for processing audio pitch correcting signal
CA1214112A (en) * 1983-10-12 1986-11-18 William A. Cole Noise reduction system
CA1220282A (en) * 1985-04-03 1987-04-07 Northern Telecom Limited Transmission of wideband speech signals
US5083310A (en) * 1989-11-14 1992-01-21 Apple Computer, Inc. Compression and expansion technique for digital audio data
JP2779886B2 (ja) * 1992-10-05 1998-07-23 日本電信電話株式会社 広帯域音声信号復元方法
US5561736A (en) * 1993-06-04 1996-10-01 International Business Machines Corporation Three dimensional speech synthesis
US5487113A (en) * 1993-11-12 1996-01-23 Spheric Audio Laboratories, Inc. Method and apparatus for generating audiospatial effects
JPH07160299A (ja) * 1993-12-06 1995-06-23 Hitachi Denshi Ltd 音声信号帯域圧縮伸張装置並びに音声信号の帯域圧縮伝送方式及び再生方式
DE4343366C2 (de) * 1993-12-18 1996-02-29 Grundig Emv Verfahren und Schaltungsanordnung zur Vergrößerung der Bandbreite von schmalbandigen Sprachsignalen
US5687243A (en) * 1995-09-29 1997-11-11 Motorola, Inc. Noise suppression apparatus and method

Also Published As

Publication number Publication date
US5864790A (en) 1999-01-26
AU5734498A (en) 1998-10-20
TW403892B (en) 2000-09-01
KR20010005660A (ko) 2001-01-15
EP0970464A1 (en) 2000-01-12
CN1251195A (zh) 2000-04-19
DE69818238D1 (de) 2003-10-23
EP0970464A4 (en) 2000-12-27
HK1025176A1 (en) 2000-11-03
ATE250271T1 (de) 2003-10-15
WO1998043239A1 (en) 1998-10-01
EP0970464B1 (en) 2003-09-17
KR100310283B1 (ko) 2001-09-29
DE69818238T2 (de) 2004-04-08

Similar Documents

Publication Publication Date Title
JP4938015B2 (ja) 3次元音声を生成する方法及び装置
JP4921470B2 (ja) 頭部伝達関数を表すパラメータを生成及び処理する方法及び装置
US8509454B2 (en) Focusing on a portion of an audio scene for an audio signal
Shilling et al. Virtual auditory displays
Avendano et al. Frequency domain techniques for stereo to multichannel upmix
Wenzel Three-dimensional virtual acoustic displays
CN102984496A (zh) 视频会议中的视音频信息的处理方法、装置及系统
CN114203163A (zh) 音频信号处理方法及装置
Sodnik et al. Spatial auditory human-computer interfaces
JP2000207170A (ja) 情報処理装置および情報処理方法
CN111145773A (zh) 声场还原方法和装置
CN1119799C (zh) 用于增强对语音进行三维定位的方法和装置
Crispien et al. Using spatial audio for the enhanced presentation of synthesised speech within screen-readers for blind computer users
JPH01296900A (ja) 音像定位制御方式
CN114520950B (zh) 音频输出方法、装置、电子设备及可读存储介质
CN114501297B (zh) 一种音频处理方法以及电子设备
Hardman et al. Enhanced reality audio in interactive networked environments
CN112433697B (zh) 一种资源展示方法、装置、电子设备及存储介质
Seligmann et al. Providing assurances in a multimedia interactive environment
JPH07264700A (ja) 音像定位装置
CN116320144B (zh) 一种音频播放方法及电子设备、可读存储介质
JP3246040U (ja) 自動通訳システム
KR102504088B1 (ko) 가상현실 출력 기기를 통한 입체음향 콘텐츠 생성 시스템
Sodnik et al. Spatial speaker: 3D Java text-to-speech converter
CN116092476A (zh) 音频流播放方法、装置以及车辆

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20030827

Termination date: 20160106