CN101847415B - 混音装置、方法 - Google Patents

混音装置、方法 Download PDF

Info

Publication number
CN101847415B
CN101847415B CN2009102246096A CN200910224609A CN101847415B CN 101847415 B CN101847415 B CN 101847415B CN 2009102246096 A CN2009102246096 A CN 2009102246096A CN 200910224609 A CN200910224609 A CN 200910224609A CN 101847415 B CN101847415 B CN 101847415B
Authority
CN
China
Prior art keywords
coding
arrowband
audio signal
wideband
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009102246096A
Other languages
English (en)
Other versions
CN101847415A (zh
Inventor
青柳弘美
薄叶伸司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Publication of CN101847415A publication Critical patent/CN101847415A/zh
Application granted granted Critical
Publication of CN101847415B publication Critical patent/CN101847415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Telephonic Communication Services (AREA)

Abstract

一种混音装置，即使窄带和宽带的音频信号并存也能高效实现处理量。对输入编码窄带音频数据译码，并将输入编码窄带音频数据分离为窄带部分和宽带部分，对窄带部分的编码音频数据译码。根据译码后的整体窄带音频信号检测说话人。当来自说话人的编码音频数据处于窄带时，将窄带音频信号扩展为宽带后，对扩展后的窄带之外部分编码。当来自说话人的编码音频数据处于宽带时，将窄带之外部分的编码音频数据取出用于输出。通过窄带音频信号进行混合。发送目的地是窄带对应终端时，对混合后的窄带音频信号编码后输出；是宽带对应终端时，对混合后的窄带音频信号编码，获得窄带部分的编码音频数据，使用说话人的音频数据作为窄带之外部分的编码音频数据。

Description

混音装置、方法
技术领域
本发明涉及混音装置、方法和程序以及音频会议系统，例如可应用于不对应宽带的终端和对应宽带的终端并存的音频会议系统(语音会议系统)的混音。 
背景技术
近些年来，广泛普及了使用IP网络的音频通信(VoIP)。VoIP中不存在固定电话网那样的音频频带的限制(电话频带：300Hz～3.4kHz)，因而可实现更为接近人声的音频(宽带音频)下的通信。为了传输这种宽带音频而使用宽带音频编码。其中，具有非专利文献1所述技术那样的与现有音频编码的兼容性较高的可扩展性结构。 
在该音频编码中，将现有的音频编码(G.711：电话频带的音频编码)作为核心的编码数据，通过对其附加超过电话频带的频带(以下称之为宽带部分或高频部分)下的编码数据，形成为宽带的音频编码数据。由此实现的特征之一就是便于进行混音处理。 
在进行音频会议系统等多地点通信中的混音时，需要对各地点发出的音频进行译码、再编码处理。仅在处理负担较轻的现有音频编码部分实施该必要的音频译码、再编码处理，通过向各地点复制说话人的编码信息来实现宽带部分。由此，可以通过较少的运算量来实现宽带音频的混音。 
【在先技术文献】 
【非专利文献】 
【非专利文献1】佐々木茂明他著、「広帯域音声符号化の国際標準ITU-T G.711.1(G.711 Wideband extention)」、NTT技術ジヤ一ナル、2008.5、pp.34-37」：佐佐木茂明等人著，《宽带音频编码的国际标准ITU-T G.711.1 (G.711 Wideband extention)》，NTT技术期刊、2008.5、pp.34-37 
但是，在处于与现有音频编码(电话频带)对应的终端同与宽带音频编码(宽带)对应的终端并存的多地点通信的情况下，如果说话人的终端是现有音频编码的终端，则混合发布的音频仅为电话频带的音频，存在无法充分发挥宽带编码的效果的问题。进而，当电话频带和宽带并存的情况下，本身就会出现电话频带终端发出的声音在接收侧为宽带终端的情况下也会成为电话频带的音频的问题。 
发明内容
鉴于上述问题，本发明的目的在于提供一种多地点通信之中即便处于电话频带音频信号与宽带音频信号并存的情况下，也能提供在音质、处理量方面能进行有效的混频的混音装置、方法和程序以及音频会议系统。 
本发明的第1方面提供一种混音装置，其被赋予由N个窄带终端发送的编码窄带音频数据、以及由M个宽带终端发送的针对窄带部分的编码音频数据与针对窄带之外部分的编码音频数据的层级结构下的编码宽带音频数据，进行混合，其中，N是大于等于1的整数，M是大于等于1的整数，该混音装置的特征在于，具有：(1)第1窄带译码单元，其对所输入的各编码窄带音频数据分别进行译码；(2)第1宽带译码单元，其将所输入的各编码宽带音频数据分别分离为针对窄带部分的编码音频数据和针对窄带之外部分的编码音频数据，并且针对窄带部分的编码音频数据进行译码；(3)最大窄带音频信号检测单元，其从通过上述第1窄带译码单元的译码获得的N个窄带音频信号与通过上述第1宽带译码单元的译码获得的M个窄带音频信号这共计N+M个窄带音频信号中检测电平最大的窄带音频信号；(4)窄带之外部分编码音频数据选择单元，其在最大电平的窄带音频信号是通过第1窄带译码单元获得的窄带音频信号的情况下，在将该窄带音频信号扩展为宽带音频信号之后，将通过扩展得到的窄带之外部分编码并输出，另一方面，当最大电平的窄带音频信号是通过第1宽带译码单元获得的窄带音频信号的情况下，输出该 窄带音频信号被译码之前的针对窄带部分的编码音频数据和针对构成了层级结构的窄带之外部分的编码音频数据；(5)第1混合单元，其混合通过上述第1窄带译码单元的译码获得的窄带音频信号和通过上述第1宽带译码单元的译码获得的窄带音频信号；(6)第1窄带编码单元，其当发送目的地终端是编码窄带音频数据的对应终端的情况下，对从上述混合单元输出的混合后的窄带音频信号进行编码；以及(7)第1宽带编码单元，其当发送目的地终端是编码宽带音频数据的对应终端的情况下，对从上述混合单元输出的混合后的窄带音频信号中的窄带部分进行编码，获得针对窄带部分的编码音频数据，并与通过上述窄带之外部分编码音频数据选择单元所选择的针对窄带之外部分的编码音频数据一起层级结构的编码宽带音频数据。 
本发明的第2方面提供一种混音装置，其被赋予由N个窄带终端发送的编码窄带音频数据、以及由M个宽带终端发送的针对窄带部分的编码音频数据与针对窄带之外部分的编码音频数据的层级结构下的编码宽带音频数据，进行混合，其中，N是大于等于1的整数，M是大于等于1的整数，该混音装置的特征在于，具有：(1)第2窄带译码单元，其对所输入的各编码窄带音频数据分别进行译码；(2)第2宽带译码单元，其对所输入的各编码宽带音频数据分别进行译码；(3)频带扩展单元，其分别将通过上述第2窄带译码单元的译码获得的N个窄带音频信号扩展为宽带音频信号；(4)第2混合单元，其混合通过上述第2宽带译码单元的译码获得的宽带音频信号和通过上述频带扩展单元获得的宽带音频信号；(5)频带限制单元，其当发送目的地终端是编码窄带音频数据的对应终端的情况下，将从上述混合单元输出的混合后的宽带音频信号转换为窄带音频信号；(6)第2窄带编码单元，其对从上述频带限制单元输出的窄带音频信号进行编码；以及(7)第2宽带编码单元，其当发送目的地终端是编码宽带音频数据的对应终端的情况下，对从上述混合单元输出的混合后的宽带音频信号进行编码，获得层级结构的编码宽带音频数据。 
本发明的第3方面提供一种混音方法，被赋予由N个窄带终端发送 的编码窄带音频数据、以及由M个宽带终端发送的针对窄带部分的编码音频数据与针对窄带之外部分的编码音频数据的层级结构下的编码宽带音频数据，进行混合，其中，N是大于等于1的整数，M是大于等于1的整数，该混音方法的特征在于，(1)第1窄带译码单元对所输入的各编码窄带音频数据分别进行译码，(2)第1宽带译码单元将所输入的各编码宽带音频数据分别分离为针对窄带部分的编码音频数据和针对窄带之外部分的编码音频数据，并且针对窄带部分的编码音频数据进行译码，(3)最大窄带音频信号检测单元从通过上述第1窄带译码单元的译码获得的N个窄带音频信号与通过上述第1宽带译码单元的译码获得的M个窄带音频信号这共计N+M个窄带音频信号中检测电平最大的窄带音频信号，(4)在最大电平的窄带音频信号是通过第1窄带译码单元获得的窄带音频信号的情况下，窄带之外部分编码音频数据选择单元在将该窄带音频信号扩展为宽带音频信号之后，将通过扩展得到的窄带之外部分编码并输出，另一方面，当最大电平的窄带音频信号是通过第1宽带译码单元获得的窄带音频信号的情况下，窄带之外部分编码音频数据选择单元输出该窄带音频信号被译码之前的针对窄带部分的编码音频数据和针对构成了层级结构的窄带之外部分的编码音频数据，(5)第1混合单元混合通过上述第1窄带译码单元的译码获得的窄带音频信号和通过上述第1宽带译码单元的译码获得的窄带音频信号，(6)当发送目的地终端是编码窄带音频数据的对应终端的情况下，第1窄带编码单元对从上述混合单元输出的混合后的窄带音频信号进行编码，(7)当发送目的地终端是编码宽带音频数据的对应终端的情况下，第1宽带编码单元对从上述混合单元输出的混合后的窄带音频信号中的窄带部分进行编码，获得针对窄带部分的编码音频数据，构成针对通过上述窄带之外部分编码音频数据选择单元所选择的窄带之外部分的编码音频数据以及层级结构的编码宽带音频数据。 
本发明的第4方面提供一种混音方法，被赋予由N个窄带终端发送的编码窄带音频数据、以及由M个宽带终端发送的针对窄带部分的编码音频数据与针对窄带之外部分的编码音频数据的层级结构下的编码宽带 音频数据，进行混合，其中，N是大于等于1的整数，M是大于等于1的整数，该混音方法的特征在于，(1)第2窄带译码单元对所输入的各编码窄带音频数据分别进行译码，(2)第2宽带译码单元对所输入的各译码宽带音频数据分别进行译码，(3)频带扩展单元分别将通过上述第2窄带译码单元的译码获得的N个窄带音频信号扩展为宽带音频信号，(4)第2混合单元混合通过上述第2宽带译码单元的译码获得的宽带音频信号和通过上述频带扩展单元获得的宽带音频信号，(5)当发送目的地终端是编码窄带音频数据的对应终端的情况下，频带限制单元将从上述混合单元输出的混合后的宽带音频信号转换为窄带音频信号，(6)第2窄带编码单元对从上述频带限制单元输出的窄带音频信号进行编码，(7)当发送目的地终端是编码宽带音频数据的对应终端的情况下，第2宽带编码单元对从上述混合单元输出的混合后的宽带音频信号进行编码，获得层级结构的编码宽带音频数据。 
本发明的第5方面提供一种混音程序，其被赋予由N个窄带终端发送的编码窄带音频数据、以及由M个宽带终端发送的针对窄带部分的编码音频数据与针对窄带之外部分的编码音频数据的层级结构下的编码宽带音频数据，进行混合，其中，N是大于等于1的整数，M是大于等于1的整数，该混音程序的特征在于，使计算机作为如下单元发挥作用：(1)第1窄带译码单元，其对所输入的各编码窄带音频数据分别进行译码；(2)第1宽带译码单元，其将所输入的各编码宽带音频数据分别分离为针对窄带部分的编码音频数据和针对窄带之外部分的编码音频数据，并且针对窄带部分的编码音频数据进行译码；(3)最大窄带音频信号检测单元，其从通过上述第1窄带译码单元的译码获得的N个窄带音频信号与通过上述第1宽带译码单元的译码获得的M个窄带音频信号这共计N+M个窄带音频信号中检测电平最大的窄带音频信号；(4)窄带之外部分编码音频数据选择单元，其在最大电平的窄带音频信号是通过第1窄带译码单元获得的窄带音频信号的情况下，在将该窄带音频信号扩展为宽带音频信号之后，将通过扩展得到的窄带之外部分编码并输出，另一方面，当最大电平的窄带音频信号是通过第1宽带译码单元获得的窄带音频信 号的情况下，输出该窄带音频信号译码之前的针对窄带部分的编码音频数据和构成了层级结构的针对窄带之外部分的编码音频数据；(5)第1混合单元，其混合通过上述第1窄带译码单元的译码获得的窄带音频信号和通过上述第1宽带译码单元的译码获得的窄带音频信号；(6)第1窄带编码单元，其当发送目的地终端为编码窄带音频数据的对应终端的情况下，对从上述混合单元输出的混合后的窄带音频信号进行编码；以及(7)第1宽带编码单元，其当发送目的地终端为编码宽带音频数据的对应终端的情况下，对从上述混合单元输出的混合后的窄带音频信号中的窄带部分进行编码，获得针对窄带部分的编码音频数据，与通过上述窄带之外部分编码音频数据选择单元所选择的针对窄带之外部分的编码音频数据一起构成层级结构的编码宽带音频数据。 
本发明的第6方面提供一种混音程序，其被赋予由N个窄带终端发送的编码窄带音频数据、以及由M个宽带终端发送的针对窄带部分的编码音频数据与针对窄带之外部分的编码音频数据的层级结构下的编码宽带音频数据，进行混合，其中，N是大于等于1的整数，M是大于等于1的整数，该混音程序的特征在于，使计算机作为如下单元发挥作用：(1)第2窄带译码单元，其对所输入的各编码窄带音频数据分别进行译码；(2)第2宽带译码单元，其对所输入的各译码宽带音频数据分别进行译码；(3)频带扩展单元，其分别将通过上述第2窄带译码单元的译码获得的N个窄带音频信号扩展为宽带音频信号；(4)第2混合单元，其混合通过上述第2宽带译码单元的译码获得的宽带音频信号和通过上述频带扩展单元获得的宽带音频信号；(5)频带限制单元，其当发送目的地终端为编码窄带音频数据的对应终端的情况下，将从上述混合单元输出的混合后的宽带音频信号转换为窄带音频信号；(6)第2窄带编码单元，其对从上述频带限制单元输出的窄带音频信号进行编码；以及(7)第2宽带编码单元，其当发送目的地终端为编码宽带音频数据的对应终端的情况下，对从上述混合单元输出的混合后的宽带音频信号进行编码，获得层级结构的编码宽带音频数据。 
本发明的第7方面为音频会议系统，其特征在于具有本发明的混音 装置。 
根据本发明，在多地点通信中，即便处于窄带音频信号和宽带音频信号并存的情况下，也能实现音质、处理量方面有效的混频。 
附图说明
图1是表示第1实施方式的混音装置的功能构成的框图。 
图2是表示第1实施方式涉及的音频会议系统的构成的框图。 
图3是表示第2实施方式的混音装置的功能构成的框图。 
图4是表示第3实施方式的混音装置的功能构成的框图。 
符号说明 
100音频会议系统；101-1～101-N电话频带终端；102-1～102-M宽带终端；103网络；104、104A、104B混音装置；201-1～201-N电话频带译码电路；202-1～202-M宽带译码电路；203-1～203-N频带扩展电路；204-1～204-(N+M)混合电路；205-1～205-N电话频带编码电路；206-1～206-M宽带编码电路；207说话人检测电路；208宽带部分编码电路；209宽带部分选择电路；301-1～301-N电话频带译码电路；302-1～302-M宽带译码电路；303-1～303-N频带扩展电路；304-1～304-(N+M)混合电路；305-1～305-N频带限制电路；306-1～306-N电话频带编码电路；307-1～307-M宽带编码电路 
具体实施方式
(A)第1实施方式 
下面，参照附图详细叙述本发明的混音装置、方法和程序以及音频会议系统的第1实施方式。 
(A-1)第1实施方式的构成 
图2是表示第1实施方式涉及的音频会议系统100的构成的框图。 
图2中，第1实施方式涉及的音频会议系统100具有N个电话频带终端101-1～101-N、M个宽带终端102-1～102-M以及混音装置104，其中N和M均是大于等于1的整数，这些构成要素通过网络103连接在一起。 
电话频带终端101-n是对电话频带(例如300Hz～3.4kHz)的音频信号进行编码或译码的终端，其中n为1～N。 
宽带终端102-m是对宽带(例如300Hz～7kHz)的音频信号进行编码或译码的终端，其中m为1～M。针对宽带终端102-m的宽带编码方式，应用非专利文献1所述的可扩展性结构的编码方式。即，应用了这样的编码方式：将编码了电话频带(例如300Hz～3.4kHz)的数据和编码了超过电话频带的高频部分(例如300Hz～7kHz)的数据合并在一起作为实施了层级化的编码音频数据。 
混音装置104经由网络103被输入来自各电话频带终端101-1～101-N的编码音频数据和来自各宽带终端102-1～102-M的编码音频数据，混音装置104对来自各终端的编码数据进行译码，对得到的音频信号进行混频，对混音信号进行编码，再通过网络103发送到各电话频带终端101-1～101-N和各宽带终端102-1～102-M。 
并且，只要是能对编码音频数据进行通信处理的结构即可，与网络103的种类无关。例如也可以是企业网络那样的封闭的网络。 
图1是表示第1实施方式的混音装置104的功能构成的框图。混音装置104例如构成为在服务器级别的计算机上安装了混音程序，混音装置104的功能可以通过图1来表现。 
图1中，混音装置104具有N个电话频带译码电路201-1～201-N、M个宽带译码电路202-1～202-M、N个频带扩展电路203-1～203-N、N+M个混合电路204-1～204-(N+M)、N个电话频带编码电路205-1～205-N、M个宽带编码电路206-1～206-M、说话人检测电路207、宽带部分编码电路208以及宽带部分选择电路209。 
电话频带译码电路201-n对来自对应电话频带终端101-n的电话频带的编码音频数据进行译码。 
宽带译码电路202-m仅对来自对应的宽带终端102-m的层级化的编码音频数据中的电话频带的编码音频数据进行译码并输出，并且原样输出高频部分的编码音频数据。 
说话人检测电路207从通过电话频带译码电路201-1～201-N和宽带 译码电路202-1～202-M译码后的电话频带的音频数据中检测电平最大的音频数据。说话人检测电路207将输出了电平最大的音频数据的译码电路的信息赋予给宽带部分编码电路208，并且当输出了电平最大的音频数据的译码电路是电话频带译码电路201-1～201-N中的某个的情况下，说话人检测电路207进行这样的控制，即：使与该电话频带译码电路201-n对应的频带扩展电路203-n执行扩展处理，并且使宽带部分编码电路209处理该输出。并且，说话人检测电路207还可以向宽带部分编码电路208赋予要选择的输入接口的指示信号，以代替译码电路的信息。 
频带扩展电路203-n当通过说话人检测电路207发来指示的时候，将从对应的电话频带译码电路201-n输出的电话频带音频数据扩展为宽带音频数据。此处说明了频带扩展电路203-1～203-N择一工作的情况(也可能都不工作)，也可以由全部频带扩展电路203-1～203-N进行扩展处理，根据说话人检测电路207的控制，从所扩展的N个宽带音频数据中选择1个宽带音频数据。另外，还可以仅准备1个频带扩展电路，由说话人检测电路207从电话频带译码电路201-1～201-N中对该唯一的频带扩展电路指示要赋予电话频带音频数据的电话频带译码电路201-n。 
宽带部分编码电路208获得对所输入的经过了频带扩展的音频数据中的超过了电话频带的高频部分进行编码后的数据。宽带部分编码电路208通过可扩展性结构的编码方式进行编码，输出该高频部分的编码音频数据。并且，当任一个频带扩展电路203-1～203-N都没有输出经过了频带扩展的音频数据的情况下，宽带部分编码电路208当然不会执行处理。 
宽带部分选择电路209被输入有从宽带译码电路202-1～202-M输出的高频部分的编码音频数据、以及由宽带部分编码电路208生成的高频部分的编码音频数据。宽带部分选择电路209在说话人检测电路207的控制下，选择并输出最大电平的说话人的高频部分的编码音频数据。所输出的最大电平的说话人的高频部分的编码音频数据被赋予给全部宽带编码电路206-1～206-M。 
各混合电路204-1～204-N+M分别被赋予了从对应的译码电路之外的共计N+M-1个译码电路输出的电话频带音频数据。例如混合电路 204-1被赋予了从译码电路201-2～201-N、202-1～202-M输出的电话频带音频数据。另外，例如混合电路204-(N+1)被赋予了从译码电路201-1～201-N、202-2～202-M输出的电话频带音频数据。各混合电路204-1～204-(N+M)分别对所输入的N+M-1个电话频带音频数据进行混合(混频)。并且，各混合电路204-1～204-(N+M)也可以混合全部(N+M个)电话频带音频数据。 
电话频带编码电路205-n对从对应的混合电路204-n赋予的电话频带的混合音频数据进行编码，经过网络103发送给对应的电话频带终端101-n。 
宽带编码电路206-m对从对应的混合电路204-(N+M)赋予的电话频带的混合音频数据进行编码，将该电话频带的编码音频数据与从宽带部分选择电路209赋予的最大电平的说话人的高频部分的编码音频数据合在一起形成层级结构的编码音频数据，经过网络103发送给对应的宽带终端102-m。 
(A-2)第1实施方式的工作 
下面说明第1实施方式中混音装置104的工作(混音方法)。 
从电话频带终端101-n输出的电话频带的编码音频数据被赋予给对应的电话频带译码电路201-n进行译码。 
另外，从宽带终端102-m输出的层级化的编码音频数据被赋予给对应的宽带译码电路202-m，仅对层级化编码音频数据中的电话频带编码音频数据进行译码并输出，同时高频部分的编码音频数据不经译码就被原样输出。 
说话人检测电路207被赋予了通过电话频带译码电路201-1～201-N和宽带译码电路202-1～202-M译码的电话频带的音频数据，并检测电平最大的音频数据。 
这里，设输出了电平最大的音频数据的译码电路是宽带译码电路202-m。此时，通过宽带部分选择电路209选择从宽带译码电路202-m输出的高频部分的编码音频数据，赋予给全部宽带编码电路206-1～206-M。 
与此相对，设输出了电平最大的音频数据的译码电路是电话频带译 码电路201-n。此时，从电话频带译码电路201-n输出的电话频带音频数据通过频带扩展电路203-n扩展为宽带音频数据，之后通过宽带部分编码电路208对经过了频带扩展的音频数据中的、超过了电话频带的高频部分进行编码，通过宽带部分选择电路209选择如上获得的高频部分的编码音频数据，赋予给全部宽带编码电路206-1～206-M。 
所输入的N+M-1个电话频带音频数据在各混合电路204-1～204-(N+M)中被混合，并被赋予给对应的电话频带编码电路205-1～205-N、宽带编码电路206-1～206-M。 
在电话频带编码电路205-n中，对从对应的混合电路204-n赋予的电话频带的混合音频数据进行编码，电话频带的编码音频数据经过网络103被赋予给对应的电话频带终端101-n。 
与此相对，在宽带编码电路206-m中，对从对应的混合电路204-(N+m)赋予的电话频带的混合音频数据进行编码，该电话频带的编码音频数据与从宽带部分选择电路209赋予的最大电平的说话人的高频部分的编码音频数据合并后形成层级结构的编码音频数据，经过网络103赋予给对应的宽带终端102-m。 
(A-3)第1实施方式的效果 
根据第1实施方式，在电话频带终端与宽带终端并存的电话会议系统之中，即便说话人位于电话频带终端，也能将该说话人的音频信号扩展为宽带后获得高频部分的编码数据，使其包含在提供给宽带终端的层级化的宽带编码数据之中，因此，能够通过较少的处理量由宽带终端使用者听取宽带音频，而与说话人终端的种类无关。 
(B)第2实施方式 
下面，参照附图详细叙述本发明的混音装置、方法和程序以及音频会议系统的第2实施方式。 
(B-1)第2实施方式的构成 
第2实施方式在混音装置的内部功能构成上不同于第1实施方式。换言之，音频会议系统的整体构成的第2实施方式也能通过第1实施方式所涉及的图2来表现。 
图3是表示第2实施方式的混音装置(以下符号使用“104A”)的功能构成的框图。 
图3中，混音装置104A具有N个电话频带译码电路301-1～301-N、M个宽带译码电路302-1～302-M、N个频带扩展电路303-1～303-N、N+M个混合电路304-1～304-(N+M)、N个频带限制电路305-1～305-N、N个电话频带编码电路306-1～306-N、以及M个宽带编码电路307-1～307-M。 
电话频带译码电路301-n对来自对应的电话频带终端101-n的电话频带的编码音频数据进行译码。 
宽带译码电路302-m对来自对应的宽带终端102-m的层级化的编码音频数据进行译码。即，第2实施方式的宽带译码电路302-m对电话频带的编码音频数据进行译码，并且对高频部分的编码音频数据进行译码，获得宽带的音频数据。 
频带扩展电路303-n将从对应的电话频带译码电路301-n输出的电话频带音频数据扩展为宽带音频数据。 
各混合电路304-1～304-(N+M)分别被赋予了从对应的频带扩展电路或宽带译码电路以外的共计N+M-1个电路输出的宽带音频数据。例如，混合电路301-1被赋予了从频带扩展电路301-2～301-N和宽带译码电路302-1～302-M输出的宽带音频数据。另外，例如混合电路304-(N+1)被赋予了从译码电路301-1～301-N和宽带译码电路302-1～302-M输出的宽带音频数据。各混合电路304-1～304-(N+M)分别对被输入的N+M-1个宽带音频数据进行混合(混频)。并且，各混合电路304-1～304-(N+M)也可以混合全部(N+M个)宽带音频数据。 
频带限制电路305-n将从对应的混合电路304-n赋予的宽带混合音频数据限制为电话频带的音频数据。 
电话频带编码电路306-n对从对应的频带限制电路305-n赋予的电话频带的音频数据进行编码，经过网络103发送给对应的电话频带终端101-n。 
宽带编码电路307-m对从对应的混合电路304-(N+m)赋予的宽带的混合音频数据进行编码，形成层级结构的编码音频数据，再经过网络 103发送给对应的宽带终端102-m。 
(B-2)第2实施方式的工作 
接着，说明第2实施方式的混音装置104A的工作(混音方法)。 
从电话频带终端101-n输出的电话频带的编码音频数据被赋予给对应的电话频带译码电路301-n进行译码，之后在频带扩展电路303-n中被扩展为宽带音频数据。 
另外，从宽带终端102-m输出的层级化的编码音频数据被赋予给对应的宽带译码电路302-m进行译码。通过第2实施方式的宽带译码电路302-m对电话频带的编码音频数据和高频部分的编码音频数据同时进行译码。 
在各混合电路304-1～304-(N+M)中，混合着从既定的频带扩展电路和宽带译码电路输入的N+M-1个宽带音频数据，并将这些数据赋予给对应的电话频带限制电路305-1～305-N和宽带编码电路307-1～307-M。 
在电话频带限制电路305-n中，从对应的混合电路304-n赋予的宽带的混合音频数据被限制为电话频带的音频数据，之后在电话频带编码电路306-n中被编码，再经过网络103发送到对应的电话频带终端101-n。 
在宽带编码电路307-m中，由对应的混合电路304-(N+m)赋予的宽带的混合音频数据被编码，并形成层级结构的编码音频数据，再经过网络103发送到对应的宽带终端102-m。 
(B-3)第2实施方式的效果 
根据第2实施方式，在电话频带终端与宽带终端并存的电话会议系统之中，对译码后的全部电话频带音频数据进行频带扩展使其成为宽带音频数据，之后再进行混合处理，再次编码并发布，因此只要是宽带终端使用者就可以实现宽带音频的听取。 
(C)第3实施方式 
接着，参照附图详细叙述本发明的混音装置、方法和程序以及音频会议系统的第3实施方式。 
图4是表示第3实施方式的混音装置(以下符号使用“104B”)的功能构成的框图。 
图4中，第3实施方式的混音装置104B具有：具备与第1实施方式的混音装置104相同的构成的第1混频部401，具备与第2实施方式的混音装置104A相同的构成的第2混频部402，N个电话频带开关403-1～403-N，M个宽带开关404-1～404-M，以及开关控制电路405。 
并且，也可以一并使用第1混频部401中的电话频带译码电路201-1～201-N、频带扩展电路203-1～203-N、电话频带编码电路205-1～205-N(参见图1)与第2混频部402中的电话频带译码电路301-1～301-N、频带扩展电路303-1～303-N、电话频带编码电路306-1～306-N(参见图3)。 
电话频带开关403-n在开关控制电路405的控制下，选择从第1混频部401内的电话频带编码电路205-n(参见图1)发出的电话频带的编码音频数据和从第2混频部402内的电话频带编码电路306-n(参见图3)发出的电话频带的编码音频数据中的任一者。 
宽带开关404-m在开关控制电路405的控制下，选择从第1混频部401内的宽带编码电路206-m(参见图1)发出的宽带编码音频数据和从第2混频部402内的宽带编码电路307-n(参见图3)发出的宽带编码音频数据中的任一者。 
在该电话会议系统104B启动时，开关控制电路405从全部终端101-1～101-N、102-1～102-M获得用于选择第1混频部401和第2混频部402中的哪个的混频输出的信息，并按照该信息控制电话频带开关403-1～403-N、宽带开关404-1～404-M。 
并且，使用者预先进行对终端101-1～101-N、102-1～102-N中的哪个进行混频输出的选择操作。 
根据第3实施方式，作为宽带终端使用者所听取的高频部分的音频，可以选择是包含唯一的说话人的音频还是包含全部会议参加者的音频。 
(D)其他实施方式 
在上述实施方式中示出了在电话会议系统中应用混音装置的结构，而混音装置的用途不限于此。例如，用于混频的编码音频数据的发送源终端可以不同于被发出了经过混频的编码音频数据的终端。 
另外，上述各实施方式中的宽带音频是对电话频带(窄带)的音频附加了高频部分而得到的音频，也可以将对电话频带(窄带)的音频附加了高频部分和低频部分而得到的宽带音频作为对象，这种情况下，只要针对宽带音频信号而言的编码数据为层级结构，就可以应用本发明。 
此外，在上述各实施方式的说明中示出了对音频信号进行混频的情况，而对乐曲信号等音响信号进行混频的情况下也可以应用本发明。要求保护的范围中的“音频信号”这一用语也包括“音响信号”。 

Claims (6)

1.一种混音装置，其被赋予由N个窄带终端发送的编码窄带音频数据以及由M个宽带终端发送的编码宽带音频数据，并对该编码窄带音频数据和该编码宽带音频数据进行混合，上述编码宽带音频数据是针对窄带部分的编码音频数据与针对窄带之外部分的编码音频数据的层级结构，其中，N是大于等于1的整数，M是大于等于1的整数，该混音装置的特征在于，具有：
第1窄带译码单元，其对所输入的各编码窄带音频数据分别进行译码；
第1宽带译码单元，其将所输入的各编码宽带音频数据分别分离为针对窄带部分的编码音频数据和针对窄带之外部分的编码音频数据，并且针对窄带部分的编码音频数据进行译码；
最大窄带音频信号检测单元，其从通过上述第1窄带译码单元的译码获得的N个窄带音频信号与通过上述第1宽带译码单元的译码获得的M个窄带音频信号这共计N+M个窄带音频信号中检测电平最大的窄带音频信号；
窄带之外部分编码音频数据选择单元，在最大电平的窄带音频信号是通过第1窄带译码单元获得的窄带音频信号的情况下，该窄带之外部分编码音频数据选择单元在将该最大电平的窄带音频信号扩展为宽带音频信号之后，将通过扩展得到的窄带之外部分编码并输出，另一方面，在最大电平的窄带音频信号是通过第1宽带译码单元获得的窄带音频信号的情况下，上述窄带之外部分编码音频数据选择单元输出该最大电平的窄带音频信号被译码之前的针对窄带部分的编码音频数据和构成了层级结构的针对窄带之外部分的编码音频数据；
第1混合单元，其混合通过上述第1窄带译码单元的译码获得的窄带音频信号和通过上述第1宽带译码单元的译码获得的窄带音频信号；
第1窄带编码单元，在发送目的地终端是编码窄带音频数据的对应终端的情况下，该第1窄带编码单元对从上述混合单元输出的混合后的窄带音频信号进行编码；以及
第1宽带编码单元，在发送目的地终端是编码宽带音频数据的对应终端的情况下，该第1宽带编码单元对从上述混合单元输出的混合后的窄带音频信号中的窄带部分进行编码，获得针对窄带部分的编码音频数据，与通过上述窄带之外部分编码音频数据选择单元所选择的针对窄带之外部分的编码音频数据一起构成层级结构的编码宽带音频数据。
2.根据权利要求1所述的混音装置，其特征在于，上述混音装置还具有：
第2窄带译码单元，其对所输入的各编码窄带音频数据分别进行译码；
第2宽带译码单元，其对所输入的各编码宽带音频数据分别进行译码；
频带扩展单元，其将通过上述第2窄带译码单元的译码获得的N个窄带音频信号分别扩展为宽带音频信号；
第2混合单元，其混合通过上述第2宽带译码单元的译码获得的宽带音频信号与通过上述频带扩展单元获得的宽带音频信号；
频带限制单元，其在发送目的地是编码窄带音频数据的对应终端的情况下，将从上述混合单元输出的混合后的宽带音频信号转换为窄带音频信号；
第2窄带编码单元，其对从上述频带限制单元输出的窄带音频信号进行编码；
第2宽带编码单元，其在发送目的地终端是编码宽带音频数据的对应终端的情况下，对从上述混合单元输出的混合后的宽带音频信号进行编码，获得层级结构的编码宽带音频数据；以及
混合输出选择单元，其选择来自上述第1窄带编码单元的编码窄带音频数据或来自上述第2窄带编码单元的编码窄带音频数据，并且选择来自上述第1宽带编码单元的编码宽带音频数据或来自上述第2宽带编码单元的编码宽带音频数据。
3.一种混音装置，其被赋予由N个窄带终端发送的编码窄带音频数据和由M个宽带终端发送的编码宽带音频数据，并对该编码窄带音频数据和该编码宽带音频数据进行混合，上述编码宽带音频数据是针对窄带部分的编码音频数据与针对窄带之外部分的编码音频数据的层级结构，其中，N是大于等于1的整数，M是大于等于1的整数，该混音装置的特征在于，具有：
第2窄带译码单元，其对所输入的各编码窄带音频数据分别进行译码；
第2宽带译码单元，其对所输入的各编码宽带音频数据分别进行译码；
频带扩展单元，其分别将通过上述第2窄带译码单元的译码获得的N个窄带音频信号扩展为宽带音频信号；
第2混合单元，其混合通过上述第2宽带译码单元的译码获得的宽带音频信号和通过上述频带扩展单元获得的宽带音频信号；
频带限制单元，其在发送目的地终端是编码窄带音频数据的对应终端的情况下，将从上述混合单元输出的混合后的宽带音频信号转换为窄带音频信号；
第2窄带编码单元，其对从上述频带限制单元输出的窄带音频信号进行编码；以及
第2宽带编码单元，其在发送目的地终端是编码宽带音频数据的对应终端的情况下，对从上述混合单元输出的混合后的宽带音频信号进行编码，获得层级结构的编码宽带音频数据。
4.一种混音方法，在该方法中，被赋予由N个窄带终端发送的编码窄带音频数据和由M个宽带终端发送的编码宽带音频数据，并对该编码窄带音频数据和该编码宽带音频数据进行混合，上述编码宽带音频数据是针对窄带部分的编码音频数据与针对窄带之外部分的编码音频数据的层级结构，其中，N是大于等于1的整数，M是大于等于1的整数，该混音方法的特征在于：
第1窄带译码单元对所输入的各编码窄带音频数据分别进行译码；
第1宽带译码单元将所输入的各编码宽带音频数据分别分离为针对窄带部分的编码音频数据和针对窄带之外部分的编码音频数据，并且针对窄带部分的编码音频数据进行译码；
最大窄带音频信号检测单元从通过上述第1窄带译码单元的译码获得的N个窄带音频信号与通过上述第1宽带译码单元的译码获得的M个窄带音频信号这共计N+M个窄带音频信号中检测电平最大的窄带音频信号；
在最大电平的窄带音频信号是由第1窄带译码单元获得的窄带音频信号的情况下，窄带之外部分编码音频数据选择单元将该最大电平的窄带音频信号扩展为宽带音频信号之后，将通过扩展得到的窄带之外部分编码并输出，另一方面，在最大电平的窄带音频信号是由第1宽带译码单元获得了的窄带音频信号的情况下，上述窄带之外部分编码音频数据选择单元输出该最大电平的窄带音频信号被译码之前的针对窄带部分的编码音频数据和构成层级结构的针对窄带之外部分的编码音频数据；
第1混合单元混合通过上述第1窄带译码单元的译码获得的窄带音频信号和通过上述第1宽带译码单元的译码获得的窄带音频信号；
在发送目的地终端是编码窄带音频数据的对应终端的情况下，第1窄带编码单元对从上述混合单元输出的混合后的窄带音频信号进行编码；以及
在发送目的地终端是编码宽带音频数据的对应终端的情况下，第1宽带编码单元对从上述混合单元输出的混合后的窄带音频信号中的窄带部分进行编码，获得针对窄带部分的编码音频数据，并与通过上述窄带之外部分编码音频数据选择单元所选择的针对窄带之外部分的编码音频数据一起构成层级结构的编码宽带音频数据。
5.根据权利要求4所述的混音方法，其特征在于，
第2窄带译码单元对所输入的各编码窄带音频数据分别进行译码，
第2宽带译码单元对所输入的各编码宽带音频数据分别进行译码，
频带扩展单元将通过上述第2窄带译码单元的译码获得的N个窄带音频信号分别扩展为宽带音频信号，
第2混合单元混合通过上述第2宽带译码单元的译码获得的宽带音频信号与通过上述频带扩展单元获得的宽带音频信号，
在发送目的地是编码窄带音频数据的对应终端的情况下，频带限制单元将从上述混合单元输出的混合后的宽带音频信号转换为窄带音频信号，
第2窄带编码单元对从上述频带限制单元输出的窄带音频信号进行编码，
在发送目的地终端是编码宽带音频数据的对应终端的情况下，第2宽带编码单元对从上述混合单元输出的混合后的宽带音频信号进行编码，获得层级结构的编码宽带音频数据，
混合输出选择单元选择来自上述第1窄带编码单元的编码窄带音频数据或来自上述第2窄带编码单元的编码窄带音频数据，并且选择来自上述第1宽带编码单元的编码宽带音频数据或来自上述第2宽带编码单元的编码宽带音频数据。
6.一种混音方法，在该方法中，被赋予由N个窄带终端发送的编码窄带音频数据和由M个宽带终端发送的编码宽带音频数据，并对该编码窄带音频数据和该编码宽带音频数据进行混合，上述编码宽带音频数据是针对窄带部分的编码音频数据与针对窄带之外部分的编码音频数据的层级结构，其中，N是大于等于1的整数，M是大于等于1的整数，该混音方法的特征在于，
第2窄带译码单元对所输入的各编码窄带音频数据分别进行译码，
第2宽带译码单元对所输入的各编码宽带音频数据分别进行译码，
频带扩展单元分别将通过上述第2窄带译码单元的译码获得的N个窄带音频信号扩展为宽带音频信号，
第2混合单元混合通过上述第2宽带译码单元的译码获得的宽带音频信号和通过上述频带扩展单元获得的宽带音频信号，
在发送目的地终端是编码窄带音频数据的对应终端的情况下，频带限制单元将从上述混合单元输出的混合后的宽带音频信号转换为窄带音频信号，
第2窄带编码单元对从上述频带限制单元输出的窄带音频信号进行编码，
在发送目的地终端是编码宽带音频数据的对应终端的情况下，第2宽带编码单元对从上述混合单元输出的混合后的宽带音频信号进行编码，获得层级结构的编码宽带音频数据。
CN2009102246096A 2009-03-23 2009-11-20 混音装置、方法 Active CN101847415B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-070810 2009-03-23
JP2009070810A JP5267257B2 (ja) 2009-03-23 2009-03-23 音声ミキシング装置、方法及びプログラム、並びに、音声会議システム

Publications (2)

Publication Number Publication Date
CN101847415A CN101847415A (zh) 2010-09-29
CN101847415B true CN101847415B (zh) 2012-03-21

Family

ID=42738401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102246096A Active CN101847415B (zh) 2009-03-23 2009-11-20 混音装置、方法

Country Status (3)

Country Link
US (1) US8484039B2 (zh)
JP (1) JP5267257B2 (zh)
CN (1) CN101847415B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102810312A (zh) * 2011-06-01 2012-12-05 北京市特立信电子技术有限责任公司 语音合成系统
CN102890936A (zh) * 2011-07-19 2013-01-23 联想(北京)有限公司 一种音频处理方法、终端设备及系统
CN103327014B (zh) * 2013-06-06 2015-08-19 腾讯科技（深圳）有限公司 一种语音处理方法、装置及系统
CN110290538B (zh) * 2019-07-19 2022-06-24 中国铁道科学研究院集团有限公司通信信号研究所 基于lte+dmr宽窄带融合技术的铁路站场综合承载系统
WO2021087734A1 (zh) * 2019-11-05 2021-05-14 海能达通信股份有限公司 宽窄带互通环境下语音通讯方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0475196A2 (en) * 1990-08-28 1992-03-18 Mitsubishi Denki Kabushiki Kaisha Method for processing audio signals in a sub-band coding system
US6256358B1 (en) * 1998-03-27 2001-07-03 Visteon Global Technologies, Inc. Digital signal processing architecture for multi-band radio receiver
CN1516987A (zh) * 2001-01-17 2004-07-28 ����ɭ�绰�ɷ����޹�˾ 窄带应用与宽带传输相结合
CN101107650A (zh) * 2005-01-14 2008-01-16 松下电器产业株式会社 语音切换装置及语音切换方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2838946B2 (ja) * 1992-08-25 1998-12-16 三菱電機株式会社 多地点間音声通信装置
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
US7330814B2 (en) * 2000-05-22 2008-02-12 Texas Instruments Incorporated Wideband speech coding with modulated noise highband excitation system and method
US7136810B2 (en) * 2000-05-22 2006-11-14 Texas Instruments Incorporated Wideband speech coding system and method
SE0001926D0 (sv) * 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
JP4033840B2 (ja) * 2004-02-12 2008-01-16 日本電信電話株式会社 音声ミキシング方法、音声ミキシング装置、音声ミキシングプログラム及びこれを記録した記録媒体
CA3057366C (en) * 2009-03-17 2020-10-27 Dolby International Ab Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0475196A2 (en) * 1990-08-28 1992-03-18 Mitsubishi Denki Kabushiki Kaisha Method for processing audio signals in a sub-band coding system
US6256358B1 (en) * 1998-03-27 2001-07-03 Visteon Global Technologies, Inc. Digital signal processing architecture for multi-band radio receiver
CN1516987A (zh) * 2001-01-17 2004-07-28 ����ɭ�绰�ɷ����޹�˾ 窄带应用与宽带传输相结合
CN101107650A (zh) * 2005-01-14 2008-01-16 松下电器产业株式会社 语音切换装置及语音切换方法

Also Published As

Publication number Publication date
US8484039B2 (en) 2013-07-09
JP5267257B2 (ja) 2013-08-21
US20100241435A1 (en) 2010-09-23
JP2010224177A (ja) 2010-10-07
CN101847415A (zh) 2010-09-29

Similar Documents

Publication Publication Date Title
CN101847415B (zh) 混音装置、方法
US7012901B2 (en) Devices, software and methods for generating aggregate comfort noise in teleconferencing over VoIP networks
US6385192B1 (en) Method and apparatus for DTMF signaling on compressed voice networks
US20070025546A1 (en) Method and apparatus for DTMF detection and voice mixing in the CELP parameter domain
US8982744B2 (en) Method and system for a subband acoustic echo canceller with integrated voice activity detection
CN101304391A (zh) 一种基于即时通讯系统的语音通话方法及系统
KR20090113894A (ko) 일련의 데이터 패킷들을 전송하기 위한 장치와 방법, 디코더, 및 일련의 데이터 패킷들을 디코딩하기 위한 장치
US8010346B2 (en) Method and apparatus for transmitting wideband speech signals
CN103500580A (zh) 混音处理方法及系统
CN107613147B (zh) 一种电话专线智能切换装置、测试系统及测试方法
CN100584106C (zh) 语音通信设备
CN103718466B (zh) 通过使用参量立体声改善fm立体声无线电接收器
CN101502043A (zh) 用于实施语音会议的方法和语音会议系统
CN103686059B (zh) 分布式混音处理方法及系统
JP4992979B2 (ja) 多地点間音声通話装置
GB2294841A (en) Digital audio signal transmitting apparatus with a bypass to reduce quantization errors
US7181000B2 (en) Voice transmission device and voice transmission system
CA2747196A1 (en) Echo suppression for wireless handsets and headsets
Wyrembelski et al. Privacy in bidirectional relay networks
Simeone et al. A broadcast approach to robust communications over unreliable multi-relay networks
KR100274086B1 (ko) 사설교환기의 다중회의장치
US20220124201A1 (en) Multipoint control method, apparatus and program
JP3155485U (ja) 電話線を経由してイーサネット（登録商標）（登録商標）伝送を行う装置
JPH0774733A (ja) ディジタル無線電話装置
CN102833434A (zh) 一种网络侧双音多频信号的检测方法、相关装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant