CN101926159A - 声音混合装置和方法以及多点会议服务器 - Google Patents

声音混合装置和方法以及多点会议服务器 Download PDF

Info

Publication number
CN101926159A
CN101926159A CN2009801029381A CN200980102938A CN101926159A CN 101926159 A CN101926159 A CN 101926159A CN 2009801029381 A CN2009801029381 A CN 2009801029381A CN 200980102938 A CN200980102938 A CN 200980102938A CN 101926159 A CN101926159 A CN 101926159A
Authority
CN
China
Prior art keywords
voice signal
signal
sampling frequency
addition
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801029381A
Other languages
English (en)
Inventor
伊藤博纪
小泽一范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN101926159A publication Critical patent/CN101926159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Telephonic Communication Services (AREA)

Abstract

一种声音混合装置包括根据抽样频率设置的混合处理单元11到1k。混合处理单元11到1k的每一个将具有相同抽样频率的输入声音信号相加以生成第一相加声音信号，将该第一相加声音信号的抽样频率转换成可由其他混合处理单元处理的抽样频率，以及将已转换至该抽样频率的声音信号提供给其他混合处理单元，将由自己生成的第一相加声音信号与已转换至自己可处理的抽样频率且从其他混合处理单元所提供的第一相加声音信号相加，以生成第二相加声音信号。

Description

声音混合装置和方法以及多点会议服务器
技术领域
本发明涉及用于混合多个声音信号的技术，且更具体地，涉及用于使用在提供多点会议服务的服务器等中的声音信号的混合技术。
背景技术
作为提供多点会议系统的系统，第2000-175170号日本早期公开专利公开了一种多点视频会议系统。该多点视频会议系统包括多个会议终端和与这些会议终端相连接的多点控制装置。该会议终端被分配给参与者。
在此多点视频会议系统中，各自的会议终端发送声学信号到多点控制装置，该声学信号与由会议终端检测的声音(语言)相关。多点控制装置将从各自会议终端接收到的声学信号相加。对于每个会议终端，多点控制装置从已相加的声学信号中减去从会议终端接收的声学信号，将作为相减的结果所获得的声学信号进行编码，以及将已编码的声学信号发送到会议终端。
多点控制装置可被应用在诸如线路交换网络、移动网络和分组网络之类的各种通信网络中。在线路交换网络中，使用由ITU-T(电信同盟电信标准化部门)推荐的H323和H.324指定的通信协议。在移动网络中，使用由3G-324M指定的通信协议。在基于IP(因特网协议)的分组网络中，使用IETF(因特网工程任务组)的RFC3550RTP。“RFC”是“Request for Comments(请求注解)”的缩写，而“RTP”是“Real-time Transport Protocol(实时传输协议)”的缩写。
作为多点控制装置，存在挂载有用于电话频带声音的声音编码器的多点控制装置，该声音具有8kHz的抽样频率，并在3.4kHz频带传输，以及存在挂载有用于宽带声音的声音编码器的多点控制装置，该声音具有16kHz的抽样频率，并在7kHz频带传输。作为用于电话频带声音的声音编码器，使用了在ITU-T推荐的G.711、G.729和3GPP中采纳的AMR(适应性多速率)系统的声音编码器、在ITU-T推荐的3GPP2中采纳的EVRC(增强的可变速率编码)系统的声音编码器，以及类似的声音编码器。作为宽带声音的声音编码器，使用了由ITU-T推荐的G.722和3GPPTS26.190指定的AMR-WB(宽带)系统的声音编码器。可以通过使用MPEG-4AAC(高级音频编码)等在更宽的频带处理声音信号。
发明内容
当考虑在使用多点会议服务中的方便度时，需要能在不同频带发送和接收声音(声学的)信号的终端之间提供多点会议服务，例如，使用电话频带的终端和使用宽带的终端之间。
但是，上述多点控制装置仅处理在诸如用于电话频带声音或宽带声音的声音信号之类的单一频带中的声音信号。因此，在不同频带中发送和接收声音信号的终端之间提供多点会议服务是困难的。
本发明的示例性目的即是解决上述问题并提供可在具有不同抽样频率的多个频带中混合声音信号的声音混合装置、声音混合方法和多点会议服务器。
根据本发明的示例性方面的声音混合装置包括根据抽样频率设置的多个混合处理单元，其中
多个混合处理单元的每个处理单元将同一抽样频率的输入声音信号相加以生成第一相加声音信号，将第一相加声音信号的抽样频率转换成其他混合处理单元可处理的抽样频率，将已转换至该抽样频率的声音信号提供给其他混合处理单元，以及将自己生成的第一相加声音信号与已转换至自己可处理的抽样频率并从其他混合处理单元提供的第一相加声音信号相加，以生成第二相加声音信号。
根据本发明的另一示例性方面的声音混合方法包括：
第一步骤，根据抽样频率将具有不同抽样频率的多个输入声音信号分类为多个组；
第二步骤，对于在第一步骤中已被分类的每个组，将具有相同抽样频率的输入声音信号相加以生成第一相加声音信号，将所述第一相加声音信号的抽样频率转换成其他组中可处理的抽样频率，以及将已转换至所述抽样频率的声音信号分配给其他组；以及
第三步骤，对于在第一步骤中已被分类的每个组，将在所述组中生成的第一相加声音信号与已转换至所述组中可处理的抽样频率且从其他组中分配的第一相加声音信号相加，以生成第二相加声音信号。
根据本发明的其他示例性方面的多点会议服务器经由网络与多个通信终端相连接，该多点会议服务器包括：
信号分类器，该信号分类器根据抽样频率对从所述多个通信终端接收的多个声音信号进行分类；以及
多个混合处理单元，该多个混合处理单元根据抽样频率被设置，其中
所述多个混合处理单元的每个处理单元将具有相同抽样频率的输入声音信号相加以生成第一相加声音信号，将所述第一相加声音信号的抽样频率转换成可由其他混合处理单元处理的抽样频率，将已转换至所述抽样频率的声音信号提供给其他混合处理单元，以及，将由自己生成的第一相加声音信号与已转换至自己可处理的抽样频率且从其他混合处理单元提供的第一相加声音信号相加，以生成第二相加声音信号。
附图说明
图1是根据示例性实施例的声音混合装置的配置的框图；
图2是使用挂载有在图1中示出的混合装置的多点会议服务器的多点会议系统的配置的框图；以及
图3是图1中示出的声音混合装置的混合处理的过程的流程图。
标号说明
11-1k  混合处理单元
101-1010，201-20n，301-30n  声音信号输入终端
131-13k  组信号加法器
141-14k-1，121-12k-1，131-13k-1  抽样转换器
151-15k    全信号加法器
161-16n，261-26n，361-36n    信号减法器
171-17n，271-27n，371-37n    编码器
191-19n，291-29n，391-39n    声音信号输出终端
具体实施方式
接下来，将参照附图来说明本发明的示例性实施例。
图1是根据示例性实施例的声音混合装置的配置的框图。
图1所示的声音混合装置被挂载在多点会议服务器上，该多点会议服务器是多点控制装置，并具有k个混合处理单元11到1k。可使多点会议服务器在具有不同抽样频率的多个频带中接收声音信号。混合处理单元被提供给各自频带。混合处理单元11到1k的数量与多点会议服务器可处理的频带的最大数目相关。多点会议服务器被配置用于在k个不同频带B1到Bk中接收声音信号。已接收的声音信号被提供给根据频带提供的混合处理单元11到1k。
在描述根据此示例性实施例的声音混合装置的详尽配置之前，将简要说明与根据此示例性实施例的声音混合装置挂载的多点会议服务器的配置。
图2是多点会议系统的配置的框图，该系统使用挂载有图1中示出的声音混合装置的多点会议服务器。该多点会议系统包括多个终端200和多点会议服务器100，这些终端200经由传输线300与多点会议服务器100相连接。
传输线300包括多个通信网络，例如，线路交换网络、移动网络和分组网络。当声音信号在终端200和多点会议服务器100间被发送和接收时，声音信号的呼叫连接信息(包括关于发送声音信号的终端的地址信息、关于频带的信息，以及关于抽样频率的信息)通过各自通信网络的协议被提供给多点会议服务器100。
多个终端200包括具有不同频带和抽样频率的声音信号的多个终端，该声音信号经由传输线300被发送和接收。例如，具有8kHz的抽样频率并在3.4kHz频带传输的用于电话频带声音的终端，以及具有16kHz的抽样频率并在7kHz频带传输的用于宽带声音的终端被用作终端200。终端200的配置基本上是一样的。
终端200中的每一个包括AD转换器201、编码器202、发送机203、DA转换器204、解码器205，以及接收机206。
AD转换器201将来自麦克风207的声音信号(模拟信号)转换到数字信号。编码器202将从AD转换器201提供的声音信号(数字信号)进行编码。发送器203将从编码器202提供的已编码的声音信号经由传输线300发送到多点会议服务器100。
接收机206经由传输线300从多点会议服务器接收已编码的声音信号(数字信号)。解码器205将从接收机206提供的已编码声音信号进行解码。DA转换器204将来自解码器205的已解码声音信号(数字信号)转换到模拟信号。已转换为模拟信号的声音信号从DA转换器204被提供给扬声器208。
多点会议服务器100包括接收机101、多个解码器102、信号分类器103、声音混合装置104，以及发送机105。声音混合装置104是图1中示出的声音混合装置。
接收机101经由传输线300从每个终端200接收声音信号。已接收的声音信号从接收机101被提供给多个解码器102中的任意一个。解码器102将从接收机101提供的声音信号进行解码。已解码的声音信号从解码器102被提供给信号分类器103。
信号分类器103根据从解码器102提供的已解码声音信号的抽样频率将已解码声音信号提供给混合处理单元，该混合处理单元是图1中示出的混合处理单元11到1k中与该已解码声音信号相对应的混合处理单元。信号分类器103将从声音混合装置104提供的声音信号提供给发送机105。已解码声音信号的抽样频率可从呼叫控制信息中获得，该呼叫控制信息是当接收机101接收声音信号时获得的。
发送机105经由传输线300将从信号分类器103提供的声音信号发送到多个终端200中的相对应终端。作为发送目的地的终端可基于呼叫控制信息被识别，该呼叫控制信息是当接收机101接收声音信号时获得的。
声音混合装置104将从信号分类器103提供的根据抽样频率分类的多个声音信号进行混合和编码，并将已编码的声音信号提供给信号分类器103。
参照图1具体说明了声音混合装置104的配置。
声音混合装置104包括混合处理单元11到1k。混合处理单元11到1k基本上具有同样的配置。为了方便说明，图1中示出了关于混合处理单元11、混合处理单元12，和混合处理单元1k的具体配置。
【混合处理单元11的配置】
混合处理单元11包括声音信号输入终端101到10n、组信号加法器131、抽样转换器141到14k-1、全信号加法器151、信号减法器161到16n、编码器171到17n，以及声音信号输出终端191到19n。
在频带B1中的声音信号被分配给声音信号输入终端101到10n。例如，当n个声音信号被接收作为频带B1中的声音信号时，已接收的声音信号被提供给声音信号输入终端101到10n中的每一个。
来自声音信号输入终端101的声音信号被提供给信号减法器161的第一输入部分和组信号加法器131。同样地，来自声音信号输入终端102到10n的声音信号被提供给信号减法器162到16n的第一输入部分和组信号加法器131。
组信号加法器131将来自声音信号输入终端101到10n的声音信号相加，并输出相加的结果。组信号加法器131的输出被提供给抽样转换器141到14k-1和全信号加法器151。
除去频带B1，抽样转换器141到14k与其他频带B2到Bk相关联地提供。抽样转换器141将从组信号加法器131提供的声音信号(相加的结果)的抽样频率进行转换，使得该抽样频率与在频带B2中的声音信号的抽样频率相符。例如，当在频带B1中的声音信号的抽样频率是8kHz且在频带B2中的声音信号的抽样频率是16kHz时，抽样转换器141将来自组信号加法器131的声音信号的抽样频率从8kHz转换到16kHz。同样地，抽样转换器142到14k-1中的每个转换器将来自组信号加法器131中的声音信号的抽样频率转换到与转换器相对应的频带中的声音信号的抽样频率。
抽样转换器141的输出被提供给与频带B2相对应的混合处理单元12的全信号加法器。同样地，抽样转换器142到14k-1的输出被提供给与频带B3到Bk相对应的混合处理单元13到1k的全信号加法器。
全信号加法器151接收来自组信号加法器131的声音信号，并接收来自其他混合处理单元12到1k的组信号加法器的声音信号作为输入，以及将这些输入信号相加。全信号加法器151的输出被提供给信号减法器161到16n。
信号减法器161接收来自声音信号输入终端101的声音信号作为第一输入，接收来自全信号加法器151的声音信号作为第二输入，并且输出通过从第二输入减去第一输入所获得的声音信号。信号减法器161的输出被提供给编码器171。同样地，信号减法器162到16n的每一个接收来自声音信号输入终端102到10n中与之相对应的输入终端的声音信号作为第一输入，接收来自全信号加法器151的声音信号作为第二输入，并且输出通过从第二输入减去第一输入所获得的声音信号。来自信号减法器162到16n的输出被提供给编码器172到17n。
编码器171将来自信号减法器161的声音信号进行编码。同样地，编码器172到17n将来自信号减法器162到16n中与之相对应的信号减法器的声音信号进行编码。编码器171到17n的输出被提供给声音信号输出终端191到19n。声音信号输出终端191到19n将已输入的声音信号提供给图2中示出的信号分类器103。
【混合处理单元12的配置】
混合处理单元12包括声音信号输入终端201到20n、组信号加法器132、抽样转换器241到24k-1、全信号加法器152、信号减法器261到26n、编码器271到27n，以及声音信号输出终端291到29n。
在频带B2的声音信号被分配给声音信号输入终端201到20n。声音信号输入终端201到20n的数量可与其他混合处理单元的声音信号输入终端的数量相同或不同。
来自声音信号输入终端201的声音信号被提供给信号减法器261的第一输入部分和组信号加法器132。同样地，来自声音信号输入终端202到20n的声音信号被提供给信号减法器262到26n的第一输入部分和组信号加法器132。
组信号加法器将来自声音信号输入终端201到20n的声音信号相加，并且输出相加的结果。组信号加法器132的输出被提供给抽样转换器241到24k-1和全信号加法器152。
除去频带B2，抽样转换器241到24k-1与其他频带B1和B3到Bk相关联地提供。抽样转换器241将从组信号加法器132提供的声音信号(相加的结果)的抽样频率进行转换，使得该抽样频率与频带B1中的声音信号的抽样频率相符。同样地，抽样转换器242到24k-1中的每个转换器将来自组信号加法器132的声音信号的抽样频率转换到与转换器相对应的频带中的声音信号的抽样频率。
抽样转换器241的输出被提供给与频带B1相对应的混合处理单元11的全信号加法器。同样地，抽样转换器242到24k-1的输出被提供给与频带B3到Bk相对应的混合处理单元13到1k的全信号加法器。
全信号加法器152接收来自组信号加法器132的声音信号和来自其他混合处理单元11和13到1k的组信号加法器的信号作为输入，并且将这些输入声音信号相加。全信号加法器152的输出被提供给信号减法器261到26n。
信号减法器261接收来自声音信号输入终端201的声音信号作为第一输入，接收来自全信号加法器152的声音信号作为第二输入，并且输出通过从第二输入减去第一输入所获得的声音信号。信号减法器261的输出被提供给编码器271。同样地，信号减法器262到26n中的每一个接收来自声音信号输入终端202到20n中与之相对应的声音信号输入终端的声音信号作为第一输入，且将来自全信号加法器152的声音信号作为第二输入，以及输出通过从第二输入中减去第一输入所获得的声音信号。信号减法器262到26n的输出被提供给编码器272到27n。
编码器将来自信号减法器261的声音信号进行编码。同样地，编码器272到27n将来自信号减法器262到26n中与之相对应的信号减法器的声音信号进行编码。编码器271到27n的输出被提供给声音信号输出终端291到29n。声音信号输出终端291到29n将已输入的声音信号提供给图2中示出的信号分类器103。
【混合处理单元1k的配置】
混合处理单元1k包括声音信号输入终端301到30n、组信号加法器13k、抽样转换器341到34k-1、全信号加法器15k、信号减法器361到36n、编码器371到37n，以及声音信号输出终端391到39n。
在频带Bk中的声音信号被分配给声音信号输入终端301到30n。声音信号输入终端301到30n的数量可与其他混合处理单元的声音信号输入终端的数量相同或不同。
来自声音信号输入终端301的声音信号被提供给信号减法器361的第一输入部分和组信号加法器13k。同样地，来自声音信号输入终端302到30n的声音信号被提供给信号减法器362到36n的第一输入部分和组信号加法器13k。
组信号加法器13k将来自声音信号输入终端301到30n的声音信号相加，并且输出相加的结果。组信号加法器13k的输出被提供给抽样转换器341到34k-1和全信号加法器15k。
除去频带Bk，抽样转换器341到34k-1与其他频带B1到Bk-1相关联地提供。抽样转换器341将从组信号加法器13k提供的声音信号(相加的结果)的抽样频率进行转换，使得该抽样频率与在频带B1中的声音信号的抽样频率相符。同样地，抽样转换器342到34k-1中的每个转换器将来自组信号加法器13k的声音信号的抽样频率转换到与该转换器相对应的频带中的声音信号的抽样频率。
抽样转换器341的输出被提供给与频带B1相对应的混合处理单元11的全信号加法器。同样地，抽样转换器342到34k-1的输出被提供给与频带B1到Bk-1相对应的混合处理单元11到1k-1的全信号加法器。
全信号加法器15k接收来自组信号加法器13k的声音信号和来自其他混合处理单元11到1k-1的组信号加法器的声音信号作为输入，并且将这些输入声音信号相加。全信号加法器15k的输出被提供给信号减法器361到36n。
信号减法器361接收来自声音信号输入终端301的声音信号作为第一输入，接收来自全信号加法器15k的声音信号作为第二输入，并且输出通过从第二输入减去第一输入所获得的声音信号。同样地，信号减法器362到36n的每一个接收来自声音信号输入终端302到30n中与之相对应的声音信号输入终端的信号作为第一输入，并且信号减法器362到36n的每一个将来自全信号加法器15k的声音信号作为第二输入，以及输出通过从第二输入中减去第一输入所获得的声音信号。信号减法器361到36n的输出被提供给编码器371到37n。
编码器371将来自信号减法器361的声音信号进行编码。同样地，编码器372到37n将来自信号减法器362到36n中与之相对应的信号减法器的声音信号进行编码。编码器371到37n的输出被提供给声音信号输出终端391到39n。已输入到声音信号输出终端391到39n的声音信号被提供给图2中示出的信号分类器103。
其他混合处理单元13到1k-1的配置基本上与上述混合处理单元11、12和1k相同。
下面将详尽描述根据本示例性实施例的声音混合装置的操作。
图3是示出在图1中的声音混合装置的混合处理的过程的流程图。
混合处理单元11到1k的操作基本上是相同的。参照图1和图3，描述了当图2中示出的信号分类器103将在频带B1到Bk中的声音信号提供给混合处理单元11到1k时混合处理单元11的操作。在频带B1到Bk中的声音信号的抽样频率分别是抽样频率F1到Fk。
作为在频带B1中的声音信号，具有抽样频率F1DE多个声音信号S1到Sn被提供给声音信号输入装置101到10n(步骤S10)。来自声音信号输入终端101到10n的声音信号S1到Sn被提供给信号减法器161到16n的第一输入部分和组信号加法器131的第一输入部分。
组信号加法器131将来自声音信号输入终端101到10n的声音信号S1到Sn相加，以生成第一个相加声音信号(步骤S11)。第一相加声音信号被提供给抽样转换器141到14k-1和全信号加法器151。
抽样转换器141将从组信号加法器131提供的在同样频带中的第一相加声音信号的抽样频率F1转换成抽样频率F2。同样地，抽样转换器142到14k-1将从组信号加法器131提供的在同样频带中的第一相加声音信号的抽样频率F1转换成抽样频率F3到Fk。在同样频带中的第一相加声音信号被提供给其他混合处理单元12到1k的全信号加法器152到15k，该第一相加声音信号的抽样频率被抽样转换器141到14k-1转换成在其他频带中的抽样频率(步骤S12)。
全信号加法器151将从组信号加法器131提供的在同一频带中的第一相加声音信号和来自其他混合处理单元12到1k的在同一频带中的其他第一相加声音信号(其抽样频率已被转换)相加，并且输出具有同样抽样频率F1的第二相加声音信号(步骤S13)。从全信号加法器151输出的具有相同抽样频率F1的第二相加声音信号被提供给信号减法器161到16n。
信号减法器161输出通过从第二相加声音信号(第二输入)中减去输入声音信号(第一输入)所获得的声音信号，该输入声音信号被从声音信号输入终端101提供，而第二相加声音信号被从全信号加法器151提供。编码器171将来自信号减法器161的声音信号进行编码。同样地，信号加法器收集部件162到16n中的每一个输出通过从第二相加声音信号(第二输入)中减去声音信号(第一输入)所获得的声音信号，该声音信号(第一输入)被从声音信号输入终端102到10n中相对应的输入终端提供，而第二相加声音信号被从全信号加法器151提供。编码器172到17n将来自信号减法器162到16n的声音信号进行编码(步骤S14)。
编码器171到17n的输出被经由声音信号输出终端192到19n提供给图2中示出的信号分类器103(步骤S15)。
在其他混合处理单元12到1k中，声音混合处理依照与步骤S10到S15相同的过程被执行。
将通过参照抽样频率的具体数值来说明根据此示例性实施例的声音混合装置的各自混合处理单元的操作。
图2中示出的多个终端200包括第一终端组、第二终端组和第三终端组，第一终端组发送和接收具有8kHz抽样频率的声音信号(例如，G.729系统和AMR系统的声音数据)，第二终端组发送和接收具有16kHz抽样频率的声音信号(例如，G.722系统和AMR-WB系统的声音数据)，第三终端组发送和接收具有32kHz抽样频率的声音信号(例如，AAC系统的声音数据)。
来自第一终端组的声音信号被提供给混合处理单元11，来自第二终端组的声音信号被提供给混合处理单元12，以及来自第三终端组的声音信号被提供给混合处理单元13。
在混合处理单元11中，用于来自第一终端组的声音信号的混合处理根据图3中示出的过程被执行。在此混合处理中，抽样转换器141将来自组信号加法器131的同一频带中的相加声音信号的8kHz抽样频率转换成可由混合处理单元12处理的16kHz抽样频率。
例如，在从8kHz抽样频率到16kHz的上抽样转换中，一个具有值0的样本被插入到具有8kHz频率的声音信号的样本间，从而生成了具有双倍数量样本的声音信号。所生成的声音信号经过限频带滤波器，该滤波器仅允许传输等于或低于4kHz的频率的频带，从而获得了具有16kHz抽样频率的声音信号。
抽样转换器142将来自组信号加法器131的同一频带中的相加声音信号的8kHz抽样频率转换成可由混合处理单元13处理的32kHz抽样频率。
例如，在从8kHz抽样频率到32kHz的上抽样转换中，三个具有值0的样本被插入到具有8kHz频率的声音信号的样本间，从而生成了具有四倍数量样本的声音信号。所生成的声音信号经过限频带滤波器，该滤波器仅允许传输等于或低于4kHz的频率的频带，从而获得了具有32kHz抽样频率的声音信号。
例如，关于抽样转换的细节，可参照文档“J.O.Smith的“A Flexible Sampling-Rate Conversion Method(一种灵活的抽样速率转换方法)”，Proc.IEEEICASSP’84第9卷，第一部分，112页到115页”。
例如，当上抽样转换被执行时，为了防止由混合不同频带的声音信号所致的听觉不适，可应用用于在高频带加入伪信号的频带扩展处理。例如，关于频带扩展处理的细节，可参照文档“Yan Ming Cheng，O.Shaughnessy和D.Mermelstein的“Statistical Recovery of Wideband Speech from Narrowband speech(从窄带语音到宽带语音的统计恢复)”，语音和音频处理(Speech and Audio Processing)，IEEE Transactions，卷2，第4期，1994年10月，544页到548页”。
同样在混合处理单元12中，用于来自第二终端组的声音信号的混合处理根据图3中示出的过程被执行。在此混合处理中，抽样转换器241将来自组信号加法器132在同一频带中的相加声音信号的16kHz抽样频率转换成可由混合处理单元11处理的8kHz抽样频率。
例如，在从16kHz抽样频率转换到8kHz抽样频率的下抽样中，在具有16kHz抽样频率的声音信号经过仅允许传输等于或低于4kHz的频率的频带的限频带滤波器之后，声音信号的数据被每两个样本地稀疏化，从而获得了具有8kHz抽样频率的声音信号。
抽样转换器242将来自组信号加法器132的同一频带中的相加声音信号的16kHz抽样频率转换成可由混合处理单元13处理的32kHz抽样频率。
例如，在从16kHz抽样频率到32kHz的上抽样转换中，一个具有值0的样本被插入到具有16kHz频率的声音信号的样本间，从而生成了具有双倍数量样本的声音信号。所生成的声音信号经过限频带滤波器，该滤波器仅允许传输等于或低于8kHz的频率的频带，从而获得了具有32kHz抽样频率的声音信号。
同样在混合处理单元13中，用于来自第三终端组的声音信号的混合处理根据图3中示出的过程被执行。在此混合处理中，抽样转换器341将来自组信号加法器133在同一频带中的相加声音信号的32kHz抽样频率转换成可由混合处理单元11处理的8kHz抽样频率。
例如，在从32kHz抽样频率转换到8kHz抽样频率的下抽样中，在具有32kHz抽样频率的声音信号经过仅允许传输等于或低于4kHz的频率的频带的限频带滤波器之后，声音信号的数据被每三个样本地稀疏化，从而获得了具有8kHz抽样频率的声音信号。
抽样转换器342将来自组信号加法器132的同一频带中的相加声音信号的32kHz抽样频率转换成可由混合处理单元12处理的16kHz抽样频率。
例如，在从32kHz抽样频率转换到16kHz抽样频率的下抽样中，在具有32kHz抽样频率的声音信号经过仅允许传输等于或低于8kHz的频率的频带的限频带滤波器之后，声音信号的数据被每两个样本地稀疏化，从而获得了具有16kHz抽样频率的声音信号。
根据如上所述的抽样频率的转换处理，在根据频带提供的混合处理单元的每个处理单元中，提供给处理单元的声音信号可与提供给其他混合处理单元的声音信号相混合。
如上所述，在根据本示例性实施例的声音混合装置中，混合处理单元11到1k的每一个将在同一频带中的已输入相加声音信号的抽样频率转换成可由其他混合处理单元处理的抽样频率。另外，混合处理单元11到1k的每个处理单元将其自己生成的在同一频带中的相加声音信号与抽样频率被转换成其自己可处理的抽样频率并从其他混合处理单元提供的在同一频带中的相加声音信号相加，以生成具有同一抽样频率的相加信号。混合处理单元11到1k的每一个从具有同样抽样频率的相加信号中减去输入声音信号，并将作为相减的结果所获得的声音信号进行编码。
根据上述配置，通过将在同一频带中的相加声音信号的抽样频率转换成可由其他混合处理单元处理的抽样频率，以及通过将自己生成的在同一频带的相加声音信号与其抽样频率被转换成自己可处理的抽样频率并从其他混合处理单元提供的在同一频带的相加声音信号相加，混合处理单元11到1k的每一个处理单元可混合在多个不同频带的声音。因此，例如，可以在不同频带发送和接收声音信号的终端间提供多点会议服务，诸如使用电话频带的终端和使用宽带的终端之间。
当混合处理单元11到1k的每个处理单元将由处理单元生成的在同一频带中的相加声音信号与在同一频带的相加信号相加时，该相加信号的抽样频率被转换成该处理单元的抽样频率并由其他混合处理单元所提供，处理单元可将伪声音信号与相加信号相加，所述伪声音信号具有预先设置的高频分量。这使得可以防止当上抽样转换被执行时，由混合不同频带的声音信号所致的听觉不适以及提升具有低抽样频率的信号的声音质量。
根据本示例性实施例的声音混合装置是本发明的一个示例。可以在不偏离本发明的精神的条件下，恰当地变更配置和操作。
例如，在图1中示出的声音混合装置中，混合处理单元11到1k可使用输出自全信号加法器151到15k的声音信号或通过对输出声音信号进行编码所获得的声音数据作为其输出信号。
在图1中示出的声音混合装置中，混合处理单元11到1k的编码器(例如，编码器171到17k、271到27k，和371到37k)可以是预测编码器。
在图1和图2所示的配置中，解码器和信号分类器可被提供在声音混合装置或接收机中。
图2中示出的多点会议服务器可由根据程序操作的计算机系统来实现。该计算机系统的一个主要部分包括收集程序、数据等的存储器设备、诸如键盘和鼠标之类的输入设备、诸如LCD(液晶显示器)的显示设备、诸如调制解调器之类的与外界通信的通信设备、诸如打印机的输出设备，以及控制设备(CPU：中央处理单元)，该控制设备根据存储在存储器设备中的程序运行，从输入设备接收输入，并控制通信设备、输出设备和显示设备的操作。作为可被使用的程序，致使CPU执行图3中示出的混合处理的程序被存储在存储器设备中。该程序可通过记录介质或因特网被提供。作为可使用的程序，致使DSP(数字信号处理器)执行图3中示出的混合处理的程序也可被提供。
如上所述，根据本发明，因为可以对具有不同抽样频率的多个频带执行用于混合声音信号的声音混合，所以可以在终端间提供多点会议服务，该终端在不同频带发送和接收声音(语音)信号，例如，使用电话频带的终端和使用宽带的终端之间。因此，可以实现在多点声音会议服务中的便利性的改进。
除了提供多点会议服务的系统外，本发明可被应用于执行声音混合的通用装置。例如，本发明可被应用于提供各种媒体服务的系统。系统由3GPP指定的MRF(媒体资源功能)和与呼叫控制单元相对应的MRCF(媒体资源控制功能)来实现。MRF和MRCF被使用以实现所谓的多点会议系统的多点控制装置(MCU：多点控制单元)的功能。
虽然本发明通过参照示例性实施例来被说明，但是本发明并不限于上述示例性实施例。本领域的技术人员应当理解，在不偏离本发明的精神的范围内，可对本发明的配置和操作进行多种修改。
本申请基于并要求于2008年2月4日递交日本专利局的第2008-23976号日本专利申请的优先权，其内容通过引用被结合于此。

Claims (8)

1.一种包括根据抽样频率而设置的多个混合处理单元的声音混合装置，其中
多个混合处理单元的每个处理单元将同一抽样频率的输入声音信号相加以生成第一相加声音信号，将第一相加声音信号的抽样频率转换成其他混合处理单元可处理的抽样频率，将已转换至该抽样频率的声音信号提供给其他混合处理单元，以及将自己生成的第一相加声音信号与已转换至自己可处理的抽样频率并从其他混合处理单元提供的第一相加声音信号相加，以生成第二相加声音信号。
2.如权利要求1所述的声音混合装置，其中，所述多个混合处理单元的每个处理单元对于具有相同抽样频率的输入声音信号的每一个生成相减声音信号，并且将所述相减声音信号进行编码，所述相减声音信号是通过从所述第二相加声音信号中减去输入声音信号获得的。
3.如权利要求1或2所述的声音混合装置，其中，所述多个混合处理单元的每个处理单元将伪声音信号与所述第二相加声音信号相加，所述伪声音信号具有预先设置的高频分量。
4.如权利要求1到3的任一个所述的声音混合装置，其中，所述多个混合处理单元的每个处理单元包括：
组信号加法器，该组信号加法器将具有同样抽样频率的输入声音信号相加以生成所述第一相加声音信号；
全信号加法器，该全信号加法器将由所述组信号加法器所生成的第一相加声音信号与已转换到所述处理单元可处理的抽样频率且从其他混合处理单元提供的第一相加声音信号相加，以生成所述第二相加声音信号；
多个信号减法器，该多个信号减法器是针对具有相同抽样频率的所述输入声音信号的每一个而设置的，接收所提供的输入声音信号作为第一输入，接收由所述全信号加法器生成的所提供的所述第二相加声音信号作为第二输入，以及从所述第二输入中减去所述第一输入；以及
多个编码器，该多个编码器分别对从所述多个信号减法器输出的声音信号进行编码。
5.一种声音混合方法，包括：
第一步骤，根据抽样频率将具有不同抽样频率的多个输入声音信号分类为多个组；
第二步骤，对于在第一步骤中已被分类的每个组，将具有相同抽样频率的输入声音信号相加以生成第一相加声音信号，将所述第一相加声音信号的抽样频率转换成其他组中可处理的抽样频率，以及将已转换至所述抽样频率的声音信号分配给其他组；以及
第三步骤，对于在第一步骤中已被分类的每个组，将在该组中生成的第一相加声音信号与已转换至该组中可处理的抽样频率且从其他组分配的第一相加声音信号相加，以生成第二相加声音信号。
6.如权利要求5所述的声音混合方法，还包括如下步骤：在所述第一步骤中已被分类的组中的每一个中，对具有相同抽样频率的声音输入信号的每一个生成相减声音信号并对所述相减声音信号进行编码，该相减声音信号是通过从所述第二相加声音信号中减去所述输入声音信号获得的。
7.如权利要求5或6所述的声音混合方法，还包括如下步骤：在所述第一步骤中已被分类的所述组中的每一个中，将伪声音信号与所述第二相加声音信号相加，所述伪声音信号具有预先设置的高频分量。
8.一种经由网络与多个通信终端相连接的多点会议服务器，所述多点会议服务器包括：
信号分类器，该信号分类器根据抽样频率对从所述多个通信终端接收的多个声音信号进行分类；以及
多个混合处理单元，该多个混合处理单元根据抽样频率被设置，其中所述多个混合处理单元的每个处理单元将具有相同抽样频率的输入声音信号相加以生成第一相加声音信号，将所述第一相加声音信号的抽样频率转换成其他混合处理单元可处理的抽样频率，将已转换至所述抽样频率的声音信号提供给其他混合处理单元，以及，将由自己生成的第一相加声音信号与已转换至自己可处理的抽样频率且从其他混合处理单元提供的第一相加声音信号相加，以生成第二相加声音信号。
CN2009801029381A 2008-02-04 2009-01-28 声音混合装置和方法以及多点会议服务器 Pending CN101926159A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008023976 2008-02-04
JP2008-023976 2008-02-04
PCT/JP2009/051302 WO2009098975A1 (ja) 2008-02-04 2009-01-28 音声ミキシング装置および方法ならびに多地点会議サーバ

Publications (1)

Publication Number Publication Date
CN101926159A true CN101926159A (zh) 2010-12-22

Family

ID=40952053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801029381A Pending CN101926159A (zh) 2008-02-04 2009-01-28 声音混合装置和方法以及多点会议服务器

Country Status (5)

Country Link
US (1) US8489216B2 (zh)
EP (1) EP2239931A4 (zh)
JP (1) JP5158099B2 (zh)
CN (1) CN101926159A (zh)
WO (1) WO2009098975A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427389A (zh) * 2013-08-27 2015-03-18 安诺德公司 基于多媒体内容投入式声音信号的广告系统及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103259943B (zh) * 2012-02-21 2015-04-22 深圳市东进软件开发有限公司 一种pstn电话会议混音方法
GB2524984B (en) 2014-04-08 2018-02-07 Acano (Uk) Ltd Audio mixer
JP6476768B2 (ja) * 2014-11-07 2019-03-06 沖電気工業株式会社 音声処理装置、プログラム及び方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63314946A (ja) * 1987-06-17 1988-12-22 Nippon Telegr & Teleph Corp <Ntt> 音声加算方式
JPH1075310A (ja) * 1996-08-29 1998-03-17 Nec Corp 多地点テレビ会議システム
JP2000069179A (ja) * 1998-08-19 2000-03-03 Sony Corp 多地点会議装置及びその方法並びに多地点会議用端末装置
JP4033840B2 (ja) * 2004-02-12 2008-01-16 日本電信電話株式会社 音声ミキシング方法、音声ミキシング装置、音声ミキシングプログラム及びこれを記録した記録媒体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2102857C (en) 1992-12-31 1998-06-23 Alexander Feiner Technique for reducing echoes in conference communications
US5621805A (en) * 1994-06-07 1997-04-15 Aztech Systems Ltd. Apparatus for sample rate conversion
US5647008A (en) * 1995-02-22 1997-07-08 Aztech Systems Ltd. Method and apparatus for digital mixing of audio signals in multimedia platforms
JP3592879B2 (ja) 1997-02-20 2004-11-24 京セラ株式会社 音声情報通信システム及び多地点制御装置
US5907295A (en) * 1997-08-04 1999-05-25 Neomagic Corp. Audio sample-rate conversion using a linear-interpolation stage with a multi-tap low-pass filter requiring reduced coefficient storage
JPH11213558A (ja) * 1998-01-27 1999-08-06 Toshiba Corp 音声データ処理装置およびコンピュータシステム並びに音声データ処理方法
JP2000175170A (ja) 1998-12-04 2000-06-23 Nec Corp 多地点テレビ会議システム及びその通信方法
US7369665B1 (en) * 2000-08-23 2008-05-06 Nintendo Co., Ltd. Method and apparatus for mixing sound signals
US6889182B2 (en) 2001-01-12 2005-05-03 Telefonaktiebolaget L M Ericsson (Publ) Speech bandwidth extension
US7409056B2 (en) 2002-12-16 2008-08-05 Broadcom Corporation Switchboard for dual-rate single-band communication system
JP2005020639A (ja) 2003-06-30 2005-01-20 Nec Engineering Ltd 衛星を利用した多地点テレビ会議システム
JP4305307B2 (ja) * 2004-07-13 2009-07-29 ヤマハ株式会社 ミキサ構成をプログラム可能なディジタルミキサ、ミキサ構成編集装置、及び、ディジタルミキサの制御を行う制御アプリケーションプログラム
JP4250578B2 (ja) 2004-09-07 2009-04-08 株式会社リコー 音声オーディオ装置
US20080215681A1 (en) * 2006-05-01 2008-09-04 Thomas Darcie Network architecture for multi-user collaboration and data-stream mixing and method thereof
US8334891B2 (en) * 2007-03-05 2012-12-18 Cisco Technology, Inc. Multipoint conference video switching
JP5239453B2 (ja) * 2008-03-31 2013-07-17 ヤマハ株式会社 編集装置及び音響信号処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63314946A (ja) * 1987-06-17 1988-12-22 Nippon Telegr & Teleph Corp <Ntt> 音声加算方式
JPH1075310A (ja) * 1996-08-29 1998-03-17 Nec Corp 多地点テレビ会議システム
JP2000069179A (ja) * 1998-08-19 2000-03-03 Sony Corp 多地点会議装置及びその方法並びに多地点会議用端末装置
JP4033840B2 (ja) * 2004-02-12 2008-01-16 日本電信電話株式会社 音声ミキシング方法、音声ミキシング装置、音声ミキシングプログラム及びこれを記録した記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427389A (zh) * 2013-08-27 2015-03-18 安诺德公司 基于多媒体内容投入式声音信号的广告系统及方法
CN104427389B (zh) * 2013-08-27 2018-06-26 广州艾缔亿生物科技有限公司 基于多媒体内容投入式声音信号的广告系统及方法

Also Published As

Publication number Publication date
JPWO2009098975A1 (ja) 2011-05-26
EP2239931A1 (en) 2010-10-13
EP2239931A4 (en) 2012-01-11
US8489216B2 (en) 2013-07-16
JP5158099B2 (ja) 2013-03-06
WO2009098975A1 (ja) 2009-08-13
US20100290645A1 (en) 2010-11-18

Similar Documents

Publication Publication Date Title
EP2100397B1 (en) Audio conferencing utilizing packets with unencrypted power level information
CN101601269B (zh) 用户媒体与通告媒体之间切换的方法，系统及通告服务器
CN103379232B (zh) 通信服务器、通信终端和语音通信方法
US7486694B2 (en) Media-gateway controller and a call set up processing method for non-same codec communication
US7936705B1 (en) Multiplexing VoIP streams for conferencing and selective playback of audio streams
CN101926159A (zh) 声音混合装置和方法以及多点会议服务器
CN101502043B (zh) 用于实施语音会议的方法和语音会议系统
EP2158753B1 (en) Selection of audio signals to be mixed in an audio conference
EP1889257A1 (en) A method and system for recording an electronic communication and extracting constituent audio data therefrom
US7406090B2 (en) Managing a buffer for media processing
Chinna Rao et al. Real-time implementation and testing of VoIP vocoders with asterisk PBX using wireshark packet analyzer
CN114979386A (zh) 小程序语音通信方法、装置、电子设备、存储介质
US8509460B2 (en) Sound mixing apparatus and method and multipoint conference server
US7313233B2 (en) Tone clamping and replacement
US7619994B2 (en) Adapter for use with a tandem-free conference bridge
Varun et al. Transcoding of Voice Codecs G. 711 to G. 729 and Vice-versa Implementation on FPGA
CN101729701A (zh) 一种能够实现利用电话获取服务的系统和电话接入网关
Seung-Han et al. The development of HD-VoIP application with G. 711.1 for smartphone
US9058221B2 (en) Signal processing at a telecommunications endpoint
Varga On Development of New Audio Codecs
Åberg Transcoding SIP gateway
Fredholm et al. Implementing an application for communication and quality measurements over UMTS networks
CN101098337A (zh) 网络通话系统及方法
KR20090003411A (ko) 인터넷폰 시스템 및 인터넷폰의 음성 데이터 전송 방법
Fredholm et al. Implementing an application for communication and quality measurements over UMTS networks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20101222