CN1406066A - 音频输入装置、音频输入方法以及音频输入和输出装置 - Google Patents

音频输入装置、音频输入方法以及音频输入和输出装置 Download PDF

Info

Publication number
CN1406066A
CN1406066A CN02143140A CN02143140A CN1406066A CN 1406066 A CN1406066 A CN 1406066A CN 02143140 A CN02143140 A CN 02143140A CN 02143140 A CN02143140 A CN 02143140A CN 1406066 A CN1406066 A CN 1406066A
Authority
CN
China
Prior art keywords
microphone
sound
input
loudspeaker
audio frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN02143140A
Other languages
English (en)
Other versions
CN1215717C (zh
Inventor
辻纯吾
铃木隆治
岩佐隆司
佐藤美智江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2001280029A external-priority patent/JP2003087887A/ja
Priority claimed from JP2001280028A external-priority patent/JP2003087890A/ja
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1406066A publication Critical patent/CN1406066A/zh
Application granted granted Critical
Publication of CN1215717C publication Critical patent/CN1215717C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H04M3/569Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants using the instant speaker's algorithm
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00Public address systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种用于视频会议系统的音频输入装置,包括:设置在相反方向上的两个方向性话筒,该两个方向性话筒形成一对,并且多对话筒位于相互偏离的方向上;消除装置,用于从输入到该话筒对的该两个方向性话筒的声音中消除相同相位的声音成份;提取装置,用于从输入到该话筒对的该方向性话筒的声音中提取语音频带的声音成份;计算装置,用于计算由该提取装置对于该话筒对的该两个方向性话筒所提取的语音频带的声音成份的电平之差,以确定在具有最大电平差值的该对话筒中具有较大电平的一个方向性话筒;以及选择装置,用于从输入到由该计算装置所确定的方向性话筒的声音中选择由该消除装置消除具有相同相位的该声音成份的声音作为输入语音。

Description

音频输入装置、音频输入方法以及音频输入和输出装置
技术领域
本发明涉及例如用于视频会议系统这样的远程会议系统中的一种音频输入装置、一种音频输入方法和一种音频输入和输出装置。
背景技术
许多部件或公司到目前为止已经引进一种系统,通过该系统,在多个远程位置的参加者可以经过高速线路发送和接收音频信号而参加会议。
图1为示出作为这样一种远程会议系统的轮廓的方框图。如图1中所示,会议室Ra包括话筒101a、扩音器102a、回声消除器103a、摄像机104a、投影仪105a、编解码器106a和DSU(数字服务单元)107a。
如图1中所示,在远离会议室Ra的一个会议室Rb同样包括话筒101b、扩音器102b、回声消除器103b、摄像机104b、投影仪105b、编解码器106b和DSU(数字服务单元)107a。DSU107a和DSU107b通过专用线路108和ISDN109相互连接。
回声消除器103a、103b适用于抑制由于一种现象所造成的回声,其中被输入到一侧的话筒的声音在该声音由另一侧的扩音器输出并且输入到另一侧的话筒之后又再次从本侧的扩音器输出,并且适用于抑制由于这种回声所造成的啸叫。该回声消除器103a、103b例如通过在DSP(数字信号处理器)中安装数字滤波器软件而构成。
在会议室Ra中的一个参加者的声音被输入到话筒101a并且顺序地通过回音消除器103a、编解码器106a、DSU107a、专用线路108或ISDN109、DSU107b、编解码器106b和回声消除器103b,从会议室Rb中的扩音器102b输出。在该会议室Rb中的一个参加者的声音也被输入到话筒101b,并且从会议室Ra中的话筒102a输出。
一种与该视频会议系统相类似的通过高速线路在多个远程位置之间发送和接收语音来举型会议的已知系统(在本说明书中被称为“远程位置会议系统”)到目前为止已经采用如下系统(1)、(2)或(3)作为一种当多个参加者位于一个位置时通过话筒输入参加者的声音的系统。
(1):一种无方向性话筒位于一个会议室中,并且输入到该无方向性话筒的声音被直接提供到一个回音消除器。
(2):多个方向性话筒作为一个整体被设置在参加者所在的桌子的中央,使得来自所有参加者的声音可以输入到该话筒中(来自每个座位的声音可以输入到各个方向性话筒中)。输入到各个方向性话筒的声音被合成并且提供到一个回声消除器。
(3):多个方向性话筒作为一个整体被设置在参加者所在的桌子的中央,使得来自所有参加者的声音可以输入到该话筒中(来自每个座位的声音可以输入到各个方向性话筒中)。然后,被输入超过预定参考电平(在会议室中的普通噪声电平)的声音的一个话筒被从这些方向性话筒中选择出来,并且仅仅输入到该话筒的声音被提供到回声消除器。
到目前为止,远程位置会议系统通常采用一种装置,其中话筒和扩音器形成为一个整体(在图1中,话筒101a和扩音器102a集成为一体,并且话筒101b和扩音器102b集成为一体)。在下文的描述中,该装置被简称为“话筒/扩音器集成装置”。
图2A为示出根据现有技术的话筒/扩音器集成装置的结构的一个例子的透视图,以及图2B为示出图2A中所示的话筒/扩音器所在位置的透视图。如图2A中所示,在该话筒/扩音器集成装置中,扩音器121被设置为使其前轴向上,面向垂直方向,而多个话筒122被设置在扩音器121的周围,面对水平方向(尽管由于观察该话筒/扩音器集成装置的角度使得在图2A中仅仅示出一个话筒,但是用于显示话筒的开始状态的LED(发光二极管)灯123被提供在每个话筒的上侧,并且对应于图2A中所示的3个话筒122的LED灯123在图2A中所示)。如图2B中所示,该话筒/扩音器集成装置124被设置在该会议室中参加者所在的桌子125的中央。
图3A为示出根据现有技术的话筒/扩音器集成装置的正视图。图3B为示出图3A中所示的话筒/扩音器集成装置所在的位置的透视图。如图3A中所示,该话筒/扩音器集成装置包括一个其前轴面对水平方向的扩音器125、一个其正面面对与扩音器126相同方向的话筒127以及一个其图像拍摄透镜面对与扩音器相同方向的摄像机128,所有这些被形成为一体。如图3B中所示,该话筒/扩音器集成装置129被设置在桌子125的一角,使其可以面对桌子125的中央。
图4为示出根据现有技术的话筒/扩音器集成装置的结构的另一个例子以及这种话筒/扩音器集成装置所在的位置。该话筒/扩音器集成装置可以由会议中的每个参加者所使用。如图4中所示,该话筒/扩音器集成装置包括扩音器130、话筒131和用于开启和关闭话筒131的操作开关132。该话筒/扩音器集成装置被设置在每个参加者的座位的前方(用于该视频会议系统中的控制单元133被设置在桌子125的中央,每个话筒/扩音器集成装置连接到控制单元133,并且摄像机134被设置在控制单元133上,使得它可以面向桌子125的中央)。
但是,上述已有的系统(1)至(3)具有如下缺点。
具体来说,根据上述系统(1),当被输入到该非方向性话筒中的坐在与非方向性话筒相接近的位置处(大约在一米以内)的一个参加者的声音的电平的绝对值较大并且与其它背景噪声的输入电平相对比值较大时,被输入到该非方向性话筒的坐在远离该非方向性话筒(大约大于一米)的位置处的一个参加者的声音的电平的绝对值相当低,并且与其它背景噪声的输入电平相对比值相当低。因此,在远离该非方向性话筒的位置处的参加者的声音不能够有效地被非方向性话筒所采集。结果,当坐在远离非方向性话筒的位置处的参加者说话时,该说话的参加者的声音不能够从远程位置处的会议室的扩音器中清楚地发出。然后,这会导致会议不能够顺利地进行。
作为已有系统(1)的一种改进,如果可以由操作按键所开启和关闭的一个辅助话筒位于远离非方向性话筒的参加者的位置附近,并且当该参加者说话时,该话筒被开启,上述缺点被克服。但是,该话筒将在该参加者每次说话时被开启。另外,由于该话筒所在的位置和要设置的话筒数目必须根据参加者所在的位置和参加会议的参加者的数目而改变。相应地,这会导致新的缺点,即对于用户来说话筒的操作和设置话筒的工作将是很麻烦的。
接着,根据该已有系统(2),当每个参加者的声音被输入到一个或者最多两个方向性话筒时,在整个会议室中传播的噪声(来自空调器的声音、来自投影机的散热风扇的声音,等等)被输入到所有方向性话筒并且被合成,从而提供到回声消除器的声音信号把噪声电平相对于参加者的声音电平增加到超过一个实际电平。结果,参加者的声音不能够清楚地从远程位置处的另一个会议室的扩音器中发出。然后,这会导致会议不能够顺利地进行。
在上述系统(3)中,当高电平的特定噪声(例如,当某人在方向性话筒前翻页时产生的声音、当在该方向性话筒前开门或关门时产生的声音,等等)被仅仅输入到一个方向性话筒,该方向性话筒被选择,从而在远程位置处的另一个会议室中的扩音器主要发出这种噪声。结果,该参加者的声音不能够清楚地从在远程位置处的另一个会议室中的扩音器发出。然后,这会导致会议不能够顺利地进行。
另外,图2至4中所示的根据现有技术的话筒/扩音器集成装置不能够避免如下缺点。
在图2中所示的话筒/扩音器集成装置中,由于声音从扩音器121向上传输,因此在该声音被会议室的天花板或墙壁所反射之后到达参加者的耳中。结果,在一个会议室中的参加者不能够清楚地听到在远程位置处的另一个会议室中的参加者的声音(当某人在一个会议室中说话时,该人的声音不能够清楚地从在远程位置处的另一个会议室中的话筒/扩音器集成装置129的扩音器126输出)。
通常,当具有图2中所示的结构的话筒/扩音器集成装置电源开关被开启时,所有话筒122都被开启,从而在整个会议室中传播的噪声(来自空调器的声音、来自投影机的散热风扇的声音,等等)都被输入到该话筒并且被合成。结果,由于噪声电平相对于参加者的声音电平增加到超过实际电平,从这一观点来看,在远程位置处的另一个会议室中的话筒/扩音器集成装置129不能够清楚地输出参加者的声音。
另外,在图2中所示的话筒/扩音器集成装置中,从话筒121输出的声音传送到话筒122,并且输入到话筒122。因此,由于要求回声消除器(图1中的噪声消除器103a、103b)具有较高的抑制噪声或啸叫的能力,因此不可避免地增加开发由构成该回声消除器的DSP所执行的软件的负担,并且还增加用作为回声消除器的硬件电路的成本。
下面,在图3所示的话筒/扩音器集成装置中,当许多参加者参加会议时(当桌子125较大时),输入到话筒127的远离话筒/扩音器集成装置129的参加者的声音电平的绝对值降低,并且与其它背景噪声的输入电平的相对比值也降低。因此,远离话筒/扩音器集成装置129的参加者的声音不能够有效地被话筒127所采集。相应地,当远离话筒/扩音器集成装置129的参加者说话时,由于该参加者的声音不能够清楚地从在远程位置处的另一个话筒/扩音器集成装置129的扩音器126输出,这会导致会议不能够顺利地进行。
在图3中所示的话筒/扩音器集成装置中,由于从扩音器126输出的声音向话筒127泄漏,并且被输入到话筒127,因此需要该回声消除器具有较强功能。结果,不可避免地增加对于回声消除器的开发的负担,并且增加用作为回声消除器的硬件电路的成本。
另外,当许多参加者参加会议时(当桌子125较大时),扩音器126的输出电平应当增加,以使得远离话筒/扩音器集成装置129的参加者能够清楚地听到来自扩音器126的声音。但是,当扩音器126的输出电平增加时,由于从扩音器126向话筒127泄漏并且输入到话筒127的声音的电平也增加,这样进一步要求该回声消除器具有较强功能。
当话筒/扩音器集成装置129不设置在桌子的边角上(如图3B中所示)而是设置在桌子125的中央时,由于坐在话筒/扩音器集成装置129的背后和侧面方向的参加者的声音不能够有效地被话筒127所采集,因此在远程位置处的另一个话筒/扩音器集成装置129的扩音器126不能够清楚地输出位于这些方向上的参加者的声音。
即使当话筒/扩音器集成装置129被设置在桌子125的中央时,话筒126的输出电平应当增加,以使得坐在话筒/扩音器集成装置129的背后和侧面方向上的参加者能够清楚地听到从扩音器126产生的声音。结果,进一步要求该回声收集器具有较强功能。
接着,在图4中所示的话筒/扩音器集成装置中,由于话筒131和扩音器130位于各个参加者附近,因此参加者可以清楚地听到位于远程位置的另一个会议室中的参加者的声音。
但是,需要根据参加者的数目而提供许多话筒/扩音器集成装置,因此不可避免地增加音频输入装置的成本。
另外,由于说话的参加者必需在开始说话之前通过操作该操作开关132而开启话筒131,并且该参加者在说话完毕之后必须操作该操作开关132来关闭话筒131,这种开启或关闭开关132的操作对用户来说是很麻烦的。
另外,由于设置话筒/扩音器集成装置的位置以及所需话筒/扩音器集成装置的数目相应于参加者所在位置和参加者的数目而改变,因此对于用户来说设置话筒的工作变得很麻烦。
并且,在图4中所示的话筒/扩音器集成装置中,由于从扩音器130输出的声音向话筒131泄漏并且输入到话筒131中,因此该回声消除器需要具有较强功能,从而增加对于开发该回声消除器的负担以及还增加音频输入装置的成本。
发明内容
考虑到上述方面,本发明的一个目的是提供一种音频输入装置、音频输入方法以及音频输入和输出装置,其中参加者的声音可以稳定而清楚地从例如视频会议系统这样的远程位置会议系统中一个远程位置的另一个说话者输出。
本发明的另一个目的是提供一种音频输入装置、音频输入方法以及音频输入和输出装置,其中可以简化用于开启和关闭话筒的操作以及用于设置话筒的工作,以避免麻烦。
本发明的另一个目的是提供一种音频输入装置、音频输入方法以及音频输入和输出装置,其中可以降低开发高效率的回声消除器的负担和成本。
根据本发明的一个方面,在此提供一种音频输入装置,其中包括被设置在相反方向上的两个方向性话筒,所述两个方向性话筒形成一对,并且多对话筒位于相互偏离的方向上;消除装置,用于从输入到该对的两个方向性话筒的声音中消除相同相位的声音成份;提取装置,用于从输入到该对的方向性话筒的声音中提取语音频带的声音成份;计算装置,用于计算由提取装置对于该对的两个方向性话筒所提取的语音频带的声音成份的电平之差,并且确定在具有最大电平差值的该对话筒中具有较大电平的一个方向性话筒;以及选择装置,用于从输入到由所述计算装置所确定的方向性话筒的声音中选择由消除装置消除具有相同相位的声音成份的声音作为要输入的语音。
在该音频输入装置中,被设置在相反方向上(即,对于从相反方向导入的声音具有高灵敏度)的两个方向性话筒构成一对。然后,多对话筒位于相互偏离的方向上(对于从互不相同的方向上导入的声音具有高灵敏度)。
该消除装置从输入到同一对中的两个方向性话筒的声音中消除相同相位的声音成份。因此,从输入到两个方向性话筒的声音中消除扩散在整个会议室中传播的噪声(来自空调器的声音、来自投影仪的散热风扇的声音,等等)。
并且,提取装置从输入到每对的方向性话筒的声音中提取各个声音频带的声音成份。然后,计算装置计算声音频带的声音成份的输入电平之间的差值,并且从具有最大电平差的一对话筒中选择具有较大电平的一个方向性话筒。结果,从每对方向性话筒中确定接收当前说话的参加者的声音最有效的一个话筒。
相应地,由选择装置从输入到由计算装置所选择的方向性话筒(接收当前说话的参加者的声音效率最高的话筒)的声音中选择消除相同相位的声音成份(在整个会议室中传播的噪声)的声音作为输入语音。
如上文所述,根据该音频输入装置,不是根据输入到各个话筒的声音电平而选择话筒,而是根据对于每对的两个方向性话筒在语音频带的声音成份的输入电平之间的差别而选择最有效地接收当前说话的参加者的声音的话筒,以及选择从输入到被选择的话筒中的声音除去在整个会议室中传播的噪声所获得的声音,作为该输入语音。
从而,例如在视频会议系统这样的远程会议系统中,在另一个会议室中的说话者可以清楚而稳定地输出一个参加者的语音。由于所输入的语音被自动选择,因此可以简化用于开启和关闭话筒的操作。另外,由于仅仅需要例如把每对音频输入装置的方向性话筒设置在参加者所在的桌子的中央,因此可以防止话筒的设置工作变得麻烦。
最好,该输入装置进一步包括:多个图像拍摄装置,其基本上面对与具有方向性的该对方向性话筒相同的方向,以及选择装置,用于选择指向基本上与由计算装置所确定的方向性话筒相同方向的图像拍摄装置所拍摄的图像。
因此,自动选择由面向基本上与最有效地接收当前说话的参加者的语音的话筒相同方向上的图像拍摄装置所拍摄的图像(即,最佳地示出参加者的图像)。
相应地,当仅仅有一个摄像机设置在每个会议室中时,在该视频会议系统中,该摄像机必须以手动的方式面对当前说话的参加者。根据本发明的这一方面,不需要这样麻烦的摄像工作,并且会议将更加顺利地进行。
根据本发明的另一方面,在此提供一种声频输入方法,其中包括如下步骤:把两个方向性话筒设置在相反方向上,该两个方向性话筒形成一对,并且多对话筒位于相互偏离的方向上;从输入到该对的两个方向性话筒的声音中消除相同相位的声音成份;从输入到该对的方向性话筒的声音中提取语音频带的声音成份;计算由提取步骤对于该对的两个方向性话筒所提取的语音频带的声音成份的电平之差,并且确定在具有最大电平差值的该对话筒中具有较大电平的一个方向性话筒;其中从输入到由所述计算步骤所确定的方向性话筒的声音中选择由消除步骤消除具有相同相位的声音成份的声音作为输入语音。
根据该音频输入方法,完全与根据本发明的上述音频输入装置相同的方式,例如在视频会议系统这样的远程位置会议系统中,在一个远程位置的另一个会议室中的说话者可以稳定而清楚地输出参加者的语音,并且避免麻烦的用于开启和关闭话筒的操作以及用于设置话筒的工作。
最好,该音频输入方法进一步包括如下步骤:把多个图像拍摄装置设置为基本上面对与具有方向性的该对方向性话筒相同的方向,以及选择指向基本上与由计算步骤所确定的方向性话筒相同方向的图像拍摄装置所拍摄的图像。
根据该音频输入方法,由于自动选择最佳地示出当前说话的参加者的图像,因此该会议将顺利地进行。
根据本发明的另一方面,在此提供一种音频输入和输出装置(话筒/扩音器集成装置)包括:多个设置在扩音器上方的方向性话筒,使得该话筒的指向大约与扩音器的前轴相垂直的方向;提供在所述扩音器和所述多个方向性话筒之间的反射部件,用于在基本上与扩音器的前轴相垂直的方向上反射从该扩音器输出的声音;以及位于该扩音器和多个方向性话筒之间的屏蔽部件,用于把该扩音器和多个方向性话筒相互分离。
在该音频输入和输出装置中,用于在基本上与扩音器的前轴相垂直的方向上反射从扩音器输出的声音的反射部件存在于该扩音器与多个方向性话筒之间。相应地,当该音频输入和输出装置被设置在会议室的桌面上使得扩音器的前轴面对垂直方向时,来自扩音器的声音被反射部件大约在水平方向上反射。
从而,由于来自扩音器的声音到达参加者的耳中,而不在会议室的天花板或墙壁上反射,因此在远程位置的另一个会议室的扩音器可以输出该参加者的清晰的语音。
另外,在该音频输入和输出装置中,按照这样一种方式来提供多个方向性话筒,使得该话筒指向大约与扩音器的前轴相垂直的方向。因此,当该音频输入和输出装置被设置在会议室的桌面上使得扩音器的前轴面向垂直方向时,这些方向性话筒的方向大约为水平方向(指向桌子上的参加者的方向)。
从而,由于这些方向性话筒可以高效地接收来自各个参加者的语音,因此该参加者的语音可以从远程位置的另一个音频输入和输出装置的扩音器输出。
另外,由于仅仅需要把该音频输入和输出装置设置在参加者所在的桌子的中央,因此可以降低成本以及可以防止设置话筒的工作和操作变得复杂。
另外,在该音频输入和输出装置中,由于用来分离扩音器和多个方向性话筒的屏蔽部件位于该扩音器这些方向性话筒之间,因此可以相当大地降低从扩音器输出的声音中向方向性话筒泄漏的声音量。因此,由于从扩音器输入到方向性话筒的声音的电平被相当大地降低,因此不需要回声消除器的处理就可以相当大地抑制回声和啸叫。
结果,由于不需要回声消除器具有更高的性能,因此可以减轻开发由构成回声消除器的DSP(数字信号处理器)所执行软件的负担以及可以降低用作为回声消除器的硬件电路的成本。
另外,由于从扩音器输入到方向性话筒的声音电平被降低,因此可以由该方向性话筒高效率地接收参加者的语音。
该反射部件例如可以包括一个圆锥部件,其具有面向扩音器方向的圆锥顶点,使该圆锥的中轴大约与该扩音器的前轴相对齐。
另外,在该音频输入和输出装置中,最好多个方向性话筒可以包括一对置于相互相反方向上的方向性话筒以及多对话筒被置于相互偏离的方向上。
当多个方向性话筒按照上文所述方式设置的音频输入和输出装置被设置在会议室的桌子的中央时,参加者的语音可以更加有效地被这些方向性话筒所接收。
附图简述
图1为示出普通视频会议系统的轮廓的方框图;
图2A为示出根据现有技术的话筒/扩音器集成装置的一种结构的透视图;
图2B为图2A中所示的话筒/扩音器集成装置被设置在会议室中的方式的透视图;
图3A为示出根据现有技术的话筒/扩音器集成装置的结构的正视图;
图3B为示出图3A中所示的话筒/扩音器集成装置被设置在会议室中的方式的透视图;
图4为示出根据现有技术的话筒/扩音器集成装置的一种结构以及该话筒/扩音器集成装置被设置在会议室中的方式的透视图;
图5为以截面方式部分地示出可以应用本发明的音频输入和输出装置的话筒/扩音器部分的外观的正视图;
图6为示出可以应用本发明的音频输入和输出装置的话筒/扩音器外观的平面视图;
图7为示出可以应用本发明的音频输入和输出装置的话筒/扩音器部分的透视图;
图8为示出可以应用本发明的音频输入和输出装置的信号处理系统的电路结构的方框图;
图9为用于说明由图8中所示的计算电路所执行的处理的流程图;
图10为示出使用可以应用本发明的音频输入和输出装置的视频会议系统的轮廓的方框图;
图11为示出要设置在图10中所示的视频会议系统中的音频输入和输出装置的位置的透视图;
图12为示出参加者和话筒之间的位置关系的示意图;
图13为部分地以截面方式示出可以应用本发明的音频输入和输出装置的第一变型例子的正视图;
图14为示出可以应用本发明的音频输入和输出装置的第二变型例子的方框图;
图15为用于说明由图14中所示的DSP所执行的处理的流程图;
图16为部分地以截面方式示出可以应用本发明的音频输入和输出装置的第三变型例子的正视图;
图17为示出可以应用本发明的音频输入和输出装置的第三变型例子的平面视图;
图18为示出可以应用本发明的音频输入和输出装置的第三变型例子的方框图;
图19为示出可以应用本发明的音频输入和输出装置的第三变型例子的方框图;
图20为示出可以应用本发明的音频输入和输出装置的第四变型例子的平面视图;
图21为示出可以应用本发明的音频输入和输出装置的第四变型例子的平面视图;
图22为示出可以应用本发明的音频输入和输出装置的第五变型例子的平面视图;以及
图23为示出可以应用本发明的音频输入和输出装置的第五变型例子的平面视图。
具体实施方式
下面参照附图详细描述本发明。
图5和6分别为示出可以应用本发明的音频输入和输出装置的话筒/扩音器部分的外观的正视图(部分地以截面方式)和平面视图。图7为示出该话筒/扩音器部分的外观的透视图。
该音频输入和输出装置是例如视频会议系统这样的可以用于远程位置会议系统中的一个装置,其中话筒和扩音器被整体形成(即,用于输入在会议室中的一个参加者的语音的话筒和用于输出在另一个会议室中的参加者的语音的扩音器被形成为一个整体)。
如图所示,在该音频输入和输出装置中,动态扩音器6被容纳在具有大约150毫米的直径的圆筒壳体5中,该动态扩音器6的前轴向上面对垂直方向。
在壳体5的上边缘部分,在垂直方向上延伸的长支架7分别附着到与扩音器6的前轴相对称的两个位置。该长支架7可以由具有刚性的树质或金属所制成。在壳体5A的上侧上,通过镙钉把具有大约199mm的直径的圆锥形反射板4固定到支架7的上端部分,使得圆锥的顶点面向下方向,并且圆锥的中心轴大约与扩音器6的前轴相对齐。
从反射板4的顶点到通过镙钉把反射板4固定到支架7的上端部的位置相对于中心轴方向的距离比支架7的高度略短。结果,反射板4的顶点可以在不与扩音器6的振动膜相接触的范围内到达充分接近于扩音器6的振动膜的位置。反射板4由ABS(丙烯腈-丁二烯-苯乙烯)树脂所制成。
如图5中所示,具有大约300mm的直径的盘状屏蔽板3隔着衬垫材料2附着到反射板4的上侧,使得其板表面大约位于水平板内,并且盘的中轴大约与反射板4的中轴相对齐。该盘状屏蔽板3也由ABS树脂所制成。
该屏蔽板3在该板表面的中央部分具有一个通孔,以及在垂直方向上延伸的圆柱支架8(由具有刚性的树脂或金属所制成)附着到屏蔽板3的上侧,使得其下端部分通过该孔延伸。具有大约30mm的直径的盘状部件9(由具有则性的树脂或金属所制成)附着到支架8的上端部分,使得该盘的中轴大约与支架8的中轴相对齐。
具有大约30mm的直径的盘状部件11(由具有刚性的树脂或金属所制成)附着到部件9的上侧,使得该盘的中轴大约与支架8的中轴相对齐。从支架8的下端部沿着垂直方向到部件11的上端部的距离大约为65mm。
一对通孔在相互等间距的4个位置通过部件11的板表面的周边部分,并且具有环状部分的锁扣12a至12d通过上述4个孔附着到部件11。
如图6中所示,具有大约94mm的长度和大约10mm的直径并且具有在正面方向上的方向性的一个单向话筒(在下文中简称“话筒”)1a被保持在盘状部件11的大约水平的平面内,其后端部分被锁扣12a锁住,使得从锁扣12a观察时,其正面几乎与盘状部件11的中轴相反。
与话筒1a相同类型的话筒1b被保持在盘状部件11的大约水平的平面内,其后端部分被位于相对盘状部件11的中轴与锁扣12a相对称位置的锁扣12b锁住,使得从锁扣12b观察时,其正面几乎与盘状部件11的中轴相反(即,其方向性被设置为与话筒1a的方向相反)。
相同类型的话筒1c被保持在盘状部件11的大约水平的平面内,其后端部分被锁扣12c锁住,使得从锁扣12c观察时,其正面几乎与盘状部件11的中轴相反(即,其方向性与话筒1a或1b的方向相差90度)。
相同类型的话筒1d被保持在盘状部件11的大约水平的平面内,其后端部分被位于相对盘状部件11的中轴与锁扣12c相对称位置的锁扣12d锁住,使得从锁扣12d观察时,其正面几乎与盘状部件11的中轴相反(即,其方向性与话筒1a或1b的方向相差90度)。
如上文所述,如图7中所示,在该音频输入和输出装置中,包括位于相反方向上的两个单向话筒1a和1b的一对话筒(被称为“对A”)以及包括位于相反方向的两个单向话筒1c和1d的一对话筒(被称为“对B”)被置于扩音器6的上侧上,该扩音器的前轴面向垂直方向,通过该反射板4和屏蔽板3,使得该话筒的方向性大约相互偏移90度。
图8为示出可以应用本发明的一个音频输入和输出装置的信号处理系统的电路结构的方框图。该信号处理系统被包含在向外附着到图2至4中所示的话筒/扩音器部分上的一个壳体(未示出)内。另外,作为另一个例子,该信号处理系统可以被包含在图5至7中所示的话筒/扩音器部分的壳体5内产生的空间中。
参见图8,从构成对A的话筒1a、1b输出的声音信号被提供到信号处理系统,其中该声音信号被话筒放大器21a、21b有选择地放大,并且提供到减法器22a、22b的正(+)输入端,并且还提供到同相声音检测电路23。
同相声音检测电路23具有一个电路,用于通过比较所输入的两个声音信号的电平、所输入的两个声音信号的频率成份和所输入的两个声音信号的相位而从两个声音信号中提取同向的声音成份,以及该电路可以包括数字滤波器或模拟滤波器。由同相声音检测电路23所提供的声音成份信号被提供到减法器22a、22b的负(-)输入端。
输入到构成对B的话筒1c、1d的声音信号分别被话筒放大器21c、21d所放大,在此之后,它们被分别提供到减法器22c、22d的正输入端和同相声音检测电路24。
同相声音检测电路24是具有与同相声音检测电路23相同电路结构的一种电路。由同相声音检测电路24所提取的声音成份信号被分别提供到减法器22c、22d的负输入端。
从减法器22a至22d输出的声音信号被分别提供到开关元件27a至27d。开关元件27a至27d的输出端连接到该音频输入和输出装置的音频输出端28。信号被从在下文中所述的计算电路26提供到开关元件27a至27d的控制输入端。
另一方面,从构成对A的话筒1a、1b输出的声音信号也被分别通过话筒放大器21a、21b提供到语音频带滤波器25a、25b。从构成对B的话筒1c、1d输出的声音信号也被分别通过话筒放大器21c、21d提供到语音频带滤波器25c、25d。
该语音频带滤波器25a至25d是通过人的语音频带(100Hz至4kHz)的带通滤波器。通过语音频带滤波器25a至25d的声音信号被提供到计算电路26。
计算电路是用于重复执行图9中所示的步骤的一个电路。在该处理中,首先如图9中所示,在第一步骤S1,计算电路26计算来自语音频带滤波器25a和25b的声音信号电平之差(即,来自构成对A的话筒1a和1b的语音频带信号的电平之差),并且还计算来自语音频带滤波器25c和25d的声音信号电平之差(即,来自构成对B的话筒1c和1d的语音频带信号的电平之差)。
在下一步骤S2,计算电路26通过比较对A和B而确定该信号电平差的绝对值较大的一对话筒。然后,控制进行到下一步骤S3,其中计算电路26通过比较构成如此确定的话筒对的两个话筒而确定具有较大信号电平的一个话筒。
在下一步骤S4,在开关元件27a至27d中,计算电路26提供一个信号,以仅仅启动对应于如此确定的话筒的一个开关元件(如果所确定的话筒例如是话筒1a,则该信号仅仅被提供到开关元件27a)。
然后,在下一步骤S5,在如图8中所示的分别提供在该音频输入和输出装置的壳体表面上与话筒1a至1d相对应的LED(发光二极管)单元29a至29d中,计算电路26提供一个信号,用于仅仅启动与如此确定的话筒相对应的LED显示单元的LED。
该计算电路26可以通过结合具有分别对应于各个处理步骤S1至S5的多个硬件电路(减法器、比较器等等)而构成,或者可以通过在DSP上安装用于执行步骤S1至S5的软件而构成。
如图8中所示,输入到该音频输入和输出装置的音频输入端30的音频信号被通过扩音放大器31提供到扩音器6。
图10为示出使用该音频输入和输出装置的视频会议系统的轮廓的方框图,其中与图1中相同的元件和部件由相同的参考标号所表示。
如图10中所示,会议室Ra被提供有音频输入和输出装置41,并且还包括回声消除器103a、摄像机104a、投影仪105a、编解码器106a和DSU107a。
位于远离会议室Ra的一个地点的会议室Rb还具有该音频输入和输出装置41,并且还包括回声消除器103b、摄像机104b、投影仪105b、编解码器106b和DSU107b。DSU107a和107b通过专用线路108或ISDN109相互连接。
如图11中所示,在每个会议室Ra和Rb中,音频输入和输出装置41的话筒/扩音器部分被设置在所有参加者所在的桌子110的中央。
从位于会议室Ra中的音频输入和输出装置41的音频输出端28输出的音频信号被顺序地通过回声消除器103a、编解码器106a、DSU107a、专用线路108或ISDN109、DSU107b、编解码器106b和回声消除器103b输入到会议室Rb中的音频输入和输出装置41的音频输入端30。从会议室Rb的音频输入和输出装置41的音频输出端28输出的音频信号还被按照相同的方式输入到会议室Ra中的音频输入和输出装置41的音频输入端30。
接着,将描述图10中所示的视频会议系统中会议进行的方式。
例如图12中所示,假设在会议室Ra中的桌子110(图11)处的参加者中,坐在最接近于音频输入和输出装置41的话筒1a至1d的话筒1a的前方的一个参加者P正在说话。
在此时,该参加者P的语音和其它背景噪声被输入到音频输入和输出装置41的各个话筒1a至1b。然后,减法器22a、22b和同相声音检测电路23从构成对A的话筒1a、1b的所输出音频信号中减去同相位的声音成份的信号,从而同样被输入到话筒1a、1b的声音成份的信号(例如作为在整个会议室Ra中传输的噪声的空调器和投影仪105a的散热风扇的声音)被从位于相反方向的两个话筒1a、1b的所输出声音信号中消除。
类似地,减法器22c、22d和同相声音检测电路24从构成对B的话筒1c、1d的所输出音频信号中减去同相位的声音成份的信号,从而例如作为在整个会议室Ra中传输的噪声的空调器和投影仪105a的散热风扇的声音被从位于相反方向的两个话筒1c、1d的所输出声音信号中消除。
在此时,由于参加者P的位置最接近于话筒1a的正面(即,该位置最近离话筒1b的正面),参加者P的语音被话筒1a至1d中的话筒1a以最高的效率而接收,并且几乎不被话筒1b所接收。
相应地,当计算电路26根据从语音频带滤波器25a至25d输出的声音信号而执行图9中所示的计算处理时,由于在步骤S1、S2计算电路26确定对A为语音频带信号的电平之差具有较大的绝对值的一对话筒,并且计算电路26在步骤S3确定话筒1a为具有较高语音频带信号电平的话筒,计算电路26在步骤S4提供用于仅仅启动开关元件27a至27d中的开关元件27a的信号。
结果,在会议室Ra中的音频输入和输出装置41中,输入到在话筒1a至1d中接收参加者P的语音效率最高的话筒1a然后通过减法器22a和同相声音检测电路23减去在整个房间Ra中传输的噪声之后的声音被在开关元件27a至27d中选择作为所输入语音,并且如此选择的声音信号被从音频输出端28输出。
在另一个会议室Rb中的音频输入和输出装置41的扩音器6可以输出该声音,其中在整个会议室Ra中传播的噪声被从输入到会议室Ra内的音频输入和输出装置41的话筒1a的声音中除去。
因此,在会议室Rb中的音频输入和输出装置41的扩音器6可以输出参加者P的清晰语音。
尽管到目前为止我们已经描述坐在离话筒1a至1d的话筒1a的正面最近的参加者说话的例子,但是本发明不限于上述例子,并且还可以由如下变型。当坐在最接近于话筒1b、1c或1d的正面的参加者说话时,或者当参加者P在移动到最接近于话筒1b、1c或1d的正面的同时不停说话时,在会议室Ra内的音频输入和输出装置41可以选择一个声音信号,其中在整个会议室Ra中传输的噪声被从输入到话筒1b、1c或1d的声音中消除,并且可以按照相同的方式从音频输出端28输出所选择的声音信号。
因此,在会议室Rb内的音频输入和输出装置41的6可以稳定在输出在会议室Ra中的参加者的清晰语音。
尽管到目前为止我们已经描述在会议室Ra中的参加者说话的例子,但是本发明不限于上述例子。也就是说,当在会议室Rb中的参加者说话时,在会议室Ra中的音频输入和输出装置41的扩音器6可以稳定地输出在会议室Rb中说话的参加者的清晰语音。
如上文所述,根据该音频输入装置,由于可以根据对于构成每对A、b的两个方向性话筒的语音频带声音成份的输入电平之间的差别而确定可以最有效地接收说话者的语音的话筒,并且可以选择从输入到所确定话筒的声音中消除在整个会议室中传输的噪声的声音作为所输入声音,因此在远程位置的另一个会议室中的扩音器可以稳定的输出一个参加者的清晰语音。
另外,根据该音频输入装置,如图5至7中所示,由于具有圆锥型的反射板4存在于扩音器6上方,从扩音器6向上输出的声音被反射板4在水平方向上反射。结果,来自扩音器的声音可以到达参加者的耳中,而不被会议室的天花板或墙壁所反射。从这一观点来看,参加者也可以从该扩音器6中获得在远程位置的另一个会议室中的参加者的清晰语音。
另外,根据该音频输入装置,如图5至7所示,由于屏蔽板3存在于反射板4上方,从而把话筒1a至1d与反射板4相分离,在被反射板4所反射的声音中,可以相当大程度地减小泄漏到话筒1a至1d的声音量,从而在由扩音器6输出之后被输入到话筒1a至1d的声音电平可以相当大地降低。
另外,由于话筒1a至1d相对于扩音器6具有相同的位置关系,因此从扩音器6输入到话筒1a至1d的声音为具有相同相位的声音。相应地,在从扩音器6输出之后输入到话筒1a至1d的声音具有非常低的电平,从而可以被图8中所示的减法器22a至22d和同相声音检测电路23、24所消除。
另外,由于如图11中所示音频输入和输出装置41被设置在桌子110的中央(即,扩音器6的位置接近于每个参加者),在会议室中的参加者可以清楚的听到在远程位置处的另一个会议室中的参加者语音,而不需要增加从扩音器6输出的声音电平。因此,从这一观点来看,被进一步降低在从扩音器6输出之后被输入到话筒1a至1d的声音电平。
相应地,回声和由于回声所造成的啸叫是被相当大地抑制,而不需要回声消除器103a、103b的处理,回声是这样一种现象,其中作为输入到一个会议室中的音频输入和输出装置41的话筒1a至1d声音被通过另一个会议室中的音频输入和输出装置41再次从本会议室中的音频输入和输出装置41的扩音器6输出。
结果,由于回声消除器103a、103b不需要具有较高性能,因此当开发由构成回声消除器103a、103b的DSP所执行的软件时,可以减轻开发软件的负担以及可以减轻用作为回声消除器103a、103b的硬件电路的成本。
由于来自扩音器6的声音被输入到话筒1a至1d中的电平非常低,并且音频输入和输出装置41被设置在参加者所在桌子110的中央,如图11中所示(话筒1a至1d接近于每个参加者,并且具有方向性的话筒1a至1d的方向面向参加者的方向),因此被输入到话筒1a至1d的每个参加者的声音电平的绝对值增加,并且还可以增加相对于背景噪声的输入电平(来自扩音器6的声音、来自空调器的声音、来自投影仪的散热风扇的声音,等等)。因此,话筒1a至1d可以有效地接收参加者的声音。
接着,将描述该音频输入和输出装置的几个例子。
图13为示出第一变型例子的正视图(以部分截面方式),其中位于扩音器6上方的反射板的形状被改变。在图13中,与图5中相同的元件和部件由相同的参考标号所表示。
在第一变型例子中,如图13中所示,与图5中所示的锥形反射板不同,在圆锥部件周围形成在与圆锥的顶点相同方向上弯曲的边缘部分的反射板51通过镙钉附着到反射部分7的上端部,使得圆锥的顶点面向下方方向,并且圆锥的中轴几乎与扩音器6的前轴相对齐。在反射板51的边缘部分的曲率大约为22.5mm,并且边缘部分沿着垂直方向延伸的长度也大约为22.5mm。
在除了图13中的反射板51之外的其它部分具有与图5中所示相同的结构。
根据第一变型例子,由于反射板51的边缘部分象伞一样覆盖扩音器6,因此在反射板51上反射的声音中,泄漏到话筒1a至1d的声音量可以进一步减小,从而在从扩音器6输出之后输入到话筒1a至1d的声音电平可以进一步降低。
图14为示出第二变形例子的示意方框图,其中一个DSP可以实现图8中所示电路的减法器22a至22d、同相声音检测电路23、24、语音频带滤波器25a至25d和开关元件27a至27d的所有功能。在图14中,与图8中相同的元件和部件由相同参考标号所表示。
在第二变型例子中,从构成对A的话筒1a至1d输出的声音信号分别被话筒放大器21a、21b所放大,并且被A/D(模数)转换器61a、61b转换为数字信号然后它能被提供到DSP62。从构成对B的话筒1c、1d所输出的声音信号被分别通过话筒放大器21c、21d和A/D转换器61c、61d提供到DSP62。
用于使DSP62重复执行图15中所示的处理步骤的软件被安装在DSP62中。在该处理中,首先,作为对应于减法器22a至22d和同相声音检测电路23、24的功能的处理,具有相同相位的声音成份被从来自A/D转换器61a、61b的两个声音信号中提取,并且具有相同相位的声音成份被从两个声音信号中提取。类似地,具有相同相位的声音成份被从来自A/D转换器61c、61d的两个声音信号提取,并且在步骤S11中,具有相同像位的声音成份被从两个声音信号中减去。
在下一步骤S12,作为对应于图8中所示的语音频带滤波器25a至25d的功能的处理,人的语音频带(100Hz至4kHz)的声音成份被分别从来自A/D转换器61a至61d的声音信号提取。
从而,控制进行到步骤S13至S15,执行与图9中所示的步骤S1至S3相同的处理作为与图8中所示的计算电路26的功能相等价的处理。
在步骤S16,作为与图8中所示的计算电路26和开关元件27a至27d的功能相等价的处理,在步骤S11中,从来自对应于在步骤S15确定的话筒的A/D转换器(例如,当确定话筒1a时,为A/D转换器61a)的声音信号中减去同相声音成份的声音信号被提供到如图14中所示的D/A转换器63。
然后,控制进行到下一个步骤S17,DSP62执行与图8中所示的计算电路26的功能等价的图9中所示的步骤S5相同的处理。
如图14中所示,在DSP62的处理步骤S16中已经被提供到D/A转换器63的声音信号被D/A转换器63转换为模拟信号,并且从音频输出端28输出。
根据第二变型例子,由于可以使该电路尺寸减小,因此可以减小整个音频输入和输出装置的尺寸。
图16、17、18和19分别为示出第三变型例子的正视图(部分截面方式)、平面视图、电路方框图和系统方框图,其中不但话筒和扩音器而且摄像机被整体形成作为视频输入和输出装置的整体。在图16、17、18和19中,与图5、6、8和10相同的元件和部分由相同的参考标号所表示。
在第三变型例子中,如图16和17所示,除了图5中所示的部件11之外,具有与部件11相同结构并具有通过板表面的中央部分的通孔的盘状部件71通过衬热材料10附着到部件9的上侧。
在垂直方向上延伸的柱状支架72(由具有刚性的树脂或金属所制成)通过部件71的中央部分延伸的通孔附着到部件9的上侧。支架71在垂直方向上的上端部具有比话筒1a至1d的高度更高的高度。
具有大约方形形状的部件73(由刚性的树脂或材料所制成)附着到该支架72的上端部分。4个CCD(电荷耦合器件)摄像机74a至74d分别附着到部件73上,使得它们面向与话筒1a至1d相同的方向。
除了图16和17中所示的部件71、支架72、部件73和CCD摄像机74a至74d之外的结构与图5和6中所示的结构相同。
在第三变形例子,如图18中所示,从CCD摄像机74a至74d输出的图像信号被分别提供到开关元件75a至75d。开关元件75a至75d的输出端连接到音频输入和输出装置的图像输出端76。
从计算电路26提供到LED显示单元29a至29d以在图9中所示的步骤S5开启LED灯的信号也被提供到开关元件75a至75d的控制输入端,作为用于启动各个开关元件的信号。
在第三变型例子中,如图19中所示,会议室Ra包括根据第三变型例子的音频输入和输出装置81,并且进一步包括回声消除器103a、投影仪105a、编解码器106a和DSU107a。位于远离会议室Ra的地点处的另一个会议室Rb还包括根据第三变型例子的音频输入和输出装置81,并且进一步包括回声消除器103b、投影仪105b、编解码器106b和DSU107b。
从会议室Ra中的音频输入和输出装置81的图像输出端76输出的图像信号被顺序通过编解码器106a、DSU107a、专用线路108或ISDN109、DSU107b和编解码器106b,提供到另一个会议室Rb中的投影仪105b。来自另一个会议室Rb中的音频输入和输出装置81的图像输出端76的图像信号被类似地提供到会议室Ra中的投影仪105a。
根据第三变型例子,当坐在最接近于话筒1a至1d中的话筒1a前方的参加者P说话时(如图12中所示),例如仅仅在开关元件75a至75d中的开关元件75a导通,从而来自面对与话筒1a相同方向的CCD摄像机74a的图像信号(即,最佳捕获的参加者P的图像)被从来自CCD摄像机74a至74d的图像信号中选择,然后从音频输入和输出装置81输出,并且发送到到另一个会议室中的投影仪。
如上文所述,根据第三变型例子,最佳拍摄正在说话的参加者的CCD摄像机被自动选择并且来自所选择CD摄像机的图像被另一个会议室中的投影仪所投影。
因此,根据仅仅在每个会议室中提供一个摄像机的现有远程位置会议系统,摄像机需要用手动的方式指向当前说话的参加者,以拍摄图像。根据第三变型例子,由于不需要这种用于控制摄像机的繁琐,因此会议将更加顺利地进行。
图20和21分别为示出改变话筒的数目和布局的第四个例子的正视图(以部分截面方式)和平面视图。在图20和21中,与图5和6相同的元件和部分由相同的参考标号所表示。图22和23分别为示出改变话筒的数目和布局的第五个例子的正视图(以部分截面方式)和平面视图。在图22和23中,与图5、6、20和21相同的元件和部分由相同的参考标号所表示。
在第四变型例子中,与图5中所示的部件11不同,比部件11更宽的盘状部件61(由具有刚性的树脂或金属所制成)通过衬垫材料10附着到部件9的上侧(尽管在图20和21中没有示出衬垫材料10的下方的部分,但是该部分具有与图5和6中所示相同的结构)。
在垂直方向上延伸的柱状支架92(由具有刚性的树脂或金属所制成)附着到部件91的平板表面的中央部分。由具有相反的方向性的话筒1a和1b所构成的话筒对(上述对A)、由具有类似相反的方向性的话筒1c和1d所构成的话筒对(上述对B)、以及具有相反的方向性的与话筒1a至1d相同类型的两个单向话筒1e和1f所构成的话筒对(现在称为“对C”)被安装在支架92周围,使得它们的方向性相互偏移60度。
在第五变型例子中,与图5中所示的部件11不同,部件91通过衬垫材料10附着到部件9的上侧(尽管在图22和23中没有示出衬垫材料10的下方的部分,但是该部分具有与图5和6中所示相同的结构)。
在垂直方向上延伸的6个柱状支架93(由具有刚性的树脂或金属所制成)1等间距附着到部件91的平板表面的外边缘部分。由具有相反的方向性的话筒1a和1b所构成的话筒对(上述对A)、由具有相反的方向性的话筒1c和1d所构成的话筒对(上述对B)、以及具有相反的方向性的话筒1e和1f所构成的话筒对(上述对C)被安装在支架93上,使得它们的方向性相互偏移60度。一个盘状部件94在由各个支架93所包围的位置附着到对A、B和C上,作为一个盖子。
尽管未示出,根据第四和第五变型例子的音频输入和输出装置的信号处理系统可以用这样的一种方式来构成,使得例如图8中的信号处理系统可以响应三对话筒,即对A、B和C,而改变(可以另外提供用于对C的话筒放大器、减法器、同相信号检测电路、语音频带滤波器、开关元件等等,并且可以由计算电路26分别对该三对话筒A、B和C执行图9中所述的处理)。
根据第四和第五变型例子,由于话筒对的数目增加,因此即使当多个参加者参加会议也可以更加有效地收集参加者的语音。
在上述实施例中,尽管本发明已经应用于包括图8中所示的信号处理系统的音频输入和输出装置,但是本发明不限于这些实施例,并且可以应用于没有这种声音处理系统的音频输入和输出装置(即,音频输入和输出装置仅仅包括图5至7中所示的话筒/扩音器部分)。
当该音频输入和输出装置不包括信号处理系统时,在该话筒/扩音器中的话筒可以被按照这样一种方式来设置,使得该话筒不包括例如上述对A或B这样的话筒对(两个话筒不被设置为相互之间方向性相反)。
尽管在上述实施例中该话筒/扩音器部分具有圆锥型的反射板,但是该反射板的形状可以任意改变,只要该反射板可以把来自扩音器的声音向着大约与扩音器的前轴相垂直的方向反射即可。
尽管该话筒/扩音器部分具有在上述实施例中的盘状屏蔽板,但是该屏蔽板的形状可以任意改变,只要该屏蔽板可以把扩音器与话筒相互分离即可(只要该屏蔽板可以防止扩音器的声音泄漏到话筒中即可)。
尽管在上述实施例中,该反射板和屏蔽板被提供在话筒/扩音器部分中,但是可以在该话筒/扩音器部分中提供一个具有反射和屏蔽板功能的一个部件。
尽管在上述实施例中本发明用于该视频会议系统中,但是本发明可以采用除了视频会议系统之外的其它远程位置会议系统。
如上文所述,根据本发明的音频输入装置和音频输入方法,在类似于视频会议系统的远程位置会议系统中,在远程位置的另一个扩音器可以稳定地输出参加者的清晰语音,并且可以防止用于操作该话筒和设置音频输入装置的工作变得繁琐。
另外,根据本发明的音频输入装置和音频输入方法,由于当前说话的参加者被最佳拍摄的图像被自动选择作为输入图像,因此会议可以更加顺利地进行。
另外,根据本发明的音频输入和输出装置,在类似于该视频会议系统的远程位置会议系统中,在远程位置处的另一个扩音器可以稳定地输出参加者的清晰语音,可以防止该音频输入和输出装置的成本增加,可以防止用于操作该话筒和设置音频输入装置的工作变得繁琐,并且可以降低开发回声消除器的负担和成本。
尽管上文已经参照附图描述本发明的优选实施例,但是应当知道本发明不限于这些具体的实施例,并且本领域的专业人员可以实现各种改变和变型而不脱离在所附权利要求中所确定的本发明的精神或范围。

Claims (8)

1.一种音频输入装置,其中包括:
被设置在相反方向上的两个方向性话筒,所述两个方向性话筒形成一对,并且多对话筒位于相互偏离的方向上;
消除装置,用于从输入到所述话筒对的所述两个方向性话筒的声音中消除相同相位的声音成份;
提取装置,用于从输入到所述话筒对的所述方向性话筒的声音中提取语音频带的声音成份;
计算装置,用于计算由所述提取装置对于所述话筒对的所述两个方向性话筒所提取的语音频带的声音成份的电平之差,以确定在具有最大电平差值的该对话筒中具有较大电平的一个方向性话筒;以及
选择装置,用于从输入到由所述计算装置所确定的方向性话筒的声音中选择由所述消除装置消除具有相同相位的所述声音成份的声音作为输入语音。
2.根据权利要求1所述的音频输入装置,其中进一步包括:
多个图像拍摄装置,其基本上面对与具有方向性的该对方向性话筒相同的方向,以及
选择装置,用于选择指向基本上与由所述计算装置所确定的方向性话筒相同方向的图像拍摄装置所拍摄的图像。
3.一种音频输入方法,其中包括如下步骤:
把两个方向性话筒设置在相反方向上,所述两个方向性话筒形成一对,并且多对话筒位于相互偏离的方向上;
从输入到所述话筒对的所述两个方向性话筒的声音中消除相同相位的声音成份;
从输入到所述话筒对的所述方向性话筒的声音中提取语音频带的声音成份;
计算由所述提取步骤对于所述话筒对的所述两个方向性话筒所提取的语音频带的声音成份的电平之差,以确定在具有最大电平差值的该对话筒中具有较大电平的一个方向性话筒;以及
从输入到由所述计算步骤所确定的方向性话筒的声音中选择由所述消除步骤消除具有相同相位的所述声音成份的声音作为输入语音。
4.根据权利要求3所述的音频输入方法,进一步包括如下步骤:
把多个图像拍摄装置设置为基本上面对与具有方向性的所述话筒对的所述方向性话筒相同的方向,以及
选择指向基本上与由所述计算步骤所确定的方向性话筒相同方向的图像拍摄装置所拍摄的图像。
5.一种音频输入和输出装置,其中包括:
多个设置在扩音器上方的方向性话筒,使得该话筒的指向大约与所述扩音器的前轴相垂直的方向;
提供在所述扩音器和所述多个方向性话筒之间的反射部件,用于在基本上与所述扩音器的所述前轴相垂直的方向上反射从所述扩音器输出的声音;以及
位于所述扩音器和所述多个方向性话筒之间的屏蔽部件,用于把所述扩音器和所述多个方向性话筒相互分离。
6.根据权利要求5所述的音频输入和输出装置,其特征在于:
所述反射部件例如可以包括一个圆锥部件,并且所述圆锥部件被设置为使其圆锥顶点面向扩音器方向,并且所述圆锥的中轴大约与所述扩音器的前轴相对齐。
7.根据权利要求5所述的音频输入和输出装置,其特征在于:
所述多个方向性话筒包括一对置于相互相反方向上的方向性话筒以及所述多对话筒被置于相互偏离的方向上。
8.根据权利要求6所述的音频输入和输出装置,其特征在于:
所述多个方向性话筒包括一对置于相互相反方向上的方向性话筒以及所述多对话筒被置于相互偏离的方向上。
CNB02143140XA 2001-09-14 2002-09-13 音频输入装置、音频输入方法以及音频输入和输出装置 Expired - Fee Related CN1215717C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2001280029A JP2003087887A (ja) 2001-09-14 2001-09-14 音声入出力装置
JP280029/2001 2001-09-14
JP2001280028A JP2003087890A (ja) 2001-09-14 2001-09-14 音声入力装置及び音声入力方法
JP280028/2001 2001-09-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CNA2004101010990A Division CN1638532A (zh) 2001-09-14 2002-09-13 音频输入装置、音频输入方法以及音频输入和输出装置

Publications (2)

Publication Number Publication Date
CN1406066A true CN1406066A (zh) 2003-03-26
CN1215717C CN1215717C (zh) 2005-08-17

Family

ID=26622254

Family Applications (2)

Application Number Title Priority Date Filing Date
CNA2004101010990A Pending CN1638532A (zh) 2001-09-14 2002-09-13 音频输入装置、音频输入方法以及音频输入和输出装置
CNB02143140XA Expired - Fee Related CN1215717C (zh) 2001-09-14 2002-09-13 音频输入装置、音频输入方法以及音频输入和输出装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNA2004101010990A Pending CN1638532A (zh) 2001-09-14 2002-09-13 音频输入装置、音频输入方法以及音频输入和输出装置

Country Status (2)

Country Link
US (2) US20030059061A1 (zh)
CN (2) CN1638532A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100484178C (zh) * 2004-11-15 2009-04-29 索尼株式会社 麦克风系统和麦克风装置
CN101455093B (zh) * 2006-05-25 2012-06-13 雅马哈株式会社 语音会议装置
CN101455094B (zh) * 2006-05-26 2012-07-18 雅马哈株式会社 声音发射和采集设备以及声音发射和采集设备的控制方法
CN101809998B (zh) * 2007-09-26 2012-11-07 思科技术公司 用于多显示切换视频会议系统的音频方向性控制
CN103117064A (zh) * 2011-09-30 2013-05-22 斯凯普公司 处理信号
US8981994B2 (en) 2011-09-30 2015-03-17 Skype Processing signals
US9031257B2 (en) 2011-09-30 2015-05-12 Skype Processing signals
US9042573B2 (en) 2011-09-30 2015-05-26 Skype Processing signals
US9042574B2 (en) 2011-09-30 2015-05-26 Skype Processing audio signals
US9042575B2 (en) 2011-12-08 2015-05-26 Skype Processing audio signals
US9111543B2 (en) 2011-11-25 2015-08-18 Skype Processing signals
US9210504B2 (en) 2011-11-18 2015-12-08 Skype Processing audio signals
CN105191353A (zh) * 2013-03-15 2015-12-23 罗伯特·博世有限公司 代表单元和具有该代表单元的会议系统
US9269367B2 (en) 2011-07-05 2016-02-23 Skype Limited Processing audio signals during a communication event
CN105575399A (zh) * 2014-10-29 2016-05-11 通用汽车环球科技运作有限责任公司 用于选择音频过滤方案的系统和方法
CN107077859A (zh) * 2014-10-31 2017-08-18 英特尔公司 针对音频处理的基于环境的复杂度减小
CN109313887A (zh) * 2016-05-20 2019-02-05 剑桥声音管理公司 用于声音掩蔽的自供电扬声器
CN110191244A (zh) * 2019-05-17 2019-08-30 四川易简天下科技股份有限公司 远程互动方法及系统
CN110719546A (zh) * 2019-09-25 2020-01-21 成都九洲迪飞科技有限责任公司 一种嵌入式数字会议方法以及会议系统
CN114630070A (zh) * 2022-02-26 2022-06-14 安徽华迈信息科技有限公司 一种视频会议系统

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343262A (ja) * 2003-05-13 2004-12-02 Sony Corp マイクロフォン・スピーカ一体構成型・双方向通話装置
JP4123046B2 (ja) * 2003-05-13 2008-07-23 ソニー株式会社 スピーカ装置
JP4196726B2 (ja) * 2003-05-14 2008-12-17 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP2005086365A (ja) * 2003-09-05 2005-03-31 Sony Corp 通話装置、会議装置および撮像条件調整方法
JP3972921B2 (ja) * 2004-05-11 2007-09-05 ソニー株式会社 音声集音装置とエコーキャンセル処理方法
CA2616305C (en) * 2005-07-27 2013-12-31 Kabushiki Kaisha Audio-Technica Conference audio system
JP4965847B2 (ja) * 2005-10-27 2012-07-04 ヤマハ株式会社 音声信号送受信装置
JP5028786B2 (ja) * 2005-11-02 2012-09-19 ヤマハ株式会社 収音装置
US8238584B2 (en) * 2005-11-02 2012-08-07 Yamaha Corporation Voice signal transmitting/receiving apparatus
WO2007058130A1 (ja) * 2005-11-15 2007-05-24 Yamaha Corporation 遠隔会議装置及び放収音装置
US7925004B2 (en) * 2006-04-27 2011-04-12 Plantronics, Inc. Speakerphone with downfiring speaker and directional microphones
WO2007145876A2 (en) * 2006-06-02 2007-12-21 Electro-Media Design, Ltd Communication system, apparatus and method
US9641947B2 (en) * 2006-06-02 2017-05-02 Ideaworkx Llc Communication system and method
JP4984683B2 (ja) * 2006-06-29 2012-07-25 ヤマハ株式会社 放収音装置
JP4449987B2 (ja) * 2007-02-15 2010-04-14 ソニー株式会社 音声処理装置、音声処理方法およびプログラム
JP5338040B2 (ja) * 2007-06-04 2013-11-13 ヤマハ株式会社 音声会議装置
US8526632B2 (en) * 2007-06-28 2013-09-03 Microsoft Corporation Microphone array for a camera speakerphone
US8111583B2 (en) * 2007-08-21 2012-02-07 Schwartz Adam L Method and apparatus for determining and indicating direction and type of sound
JP2009089133A (ja) * 2007-10-01 2009-04-23 Yamaha Corp 放収音装置
JP5369993B2 (ja) 2008-08-22 2013-12-18 ヤマハ株式会社 録音再生装置
US8154588B2 (en) * 2009-01-14 2012-04-10 Alan Alexander Burns Participant audio enhancement system
US8977684B2 (en) 2009-04-14 2015-03-10 Citrix Systems, Inc. Systems and methods for computer and voice conference audio transmission during conference call via VoIP device
EP2360940A1 (en) * 2010-01-19 2011-08-24 Televic NV. Steerable microphone array system with a first order directional pattern
EP2615850A4 (en) * 2011-03-11 2014-06-25 Sanyo Electric Co AUDIO RECORDING DEVICE
US9060224B1 (en) 2012-06-01 2015-06-16 Rawles Llc Voice controlled assistant with coaxial speaker and microphone arrangement
US9779757B1 (en) 2012-07-30 2017-10-03 Amazon Technologies, Inc. Visual indication of an operational state
US9721586B1 (en) 2013-03-14 2017-08-01 Amazon Technologies, Inc. Voice controlled assistant with light indicator
US10372407B2 (en) * 2013-08-19 2019-08-06 Avaya Inc. Pairwise audio capture device selection
CN104080025A (zh) * 2014-07-25 2014-10-01 赵春宁 扬声器系统及扬声器系统低频的控制方法
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
CN105706442A (zh) * 2016-01-19 2016-06-22 王晓光 一种视频网络会议的麦克控制方法及系统
EP3430821B1 (en) * 2016-03-17 2022-02-09 Sonova AG Hearing assistance system in a multi-talker acoustic network
US10701483B2 (en) * 2017-01-03 2020-06-30 Dolby Laboratories Licensing Corporation Sound leveling in multi-channel sound capture system
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US10455321B2 (en) * 2017-04-28 2019-10-22 Qualcomm Incorporated Microphone configurations
US10863035B2 (en) * 2017-11-30 2020-12-08 Cisco Technology, Inc. Microphone assembly for echo rejection in audio endpoints
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
CN112335261B (zh) 2018-06-01 2023-07-18 舒尔获得控股公司 图案形成麦克风阵列
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
US10587951B1 (en) * 2018-09-13 2020-03-10 Plantronics, Inc. Equipment including down-firing speaker
WO2020061353A1 (en) 2018-09-20 2020-03-26 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
WO2020191380A1 (en) 2019-03-21 2020-09-24 Shure Acquisition Holdings,Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN114051738B (zh) 2019-05-23 2024-10-01 舒尔获得控股公司 可操纵扬声器阵列、系统及其方法
US11302347B2 (en) 2019-05-31 2022-04-12 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
WO2021041275A1 (en) 2019-08-23 2021-03-04 Shore Acquisition Holdings, Inc. Two-dimensional microphone array with improved directivity
US11039260B2 (en) * 2019-09-19 2021-06-15 Jerry Mirsky Communication system for controlling the sequence and duration of speeches at public debates
US12028678B2 (en) 2019-11-01 2024-07-02 Shure Acquisition Holdings, Inc. Proximity microphone
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
EP4256558A4 (en) 2020-12-02 2024-08-21 Hearunow Inc ACCENTUATION AND STRENGTHENING OF THE DYNAMIC VOICE
EP4285605A1 (en) 2021-01-28 2023-12-06 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system
CN113707165B (zh) * 2021-09-07 2024-09-17 联想(北京)有限公司 音频处理方法、装置及电子设备和存储介质
CN116390008B (zh) * 2023-05-31 2023-09-01 泉州市音符算子科技有限公司 一种实现特定区域内免提式的无感扩音系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4449238A (en) * 1982-03-25 1984-05-15 Bell Telephone Laboratories, Incorporated Voice-actuated switching system
FR2682251B1 (fr) * 1991-10-02 1997-04-25 Prescom Sarl Procede et systeme de prise de son, et appareil de prise et de restitution de son.
US5625697A (en) * 1995-05-08 1997-04-29 Lucent Technologies Inc. Microphone selection process for use in a multiple microphone voice actuated switching system
JP3797751B2 (ja) * 1996-11-27 2006-07-19 富士通株式会社 マイクロホンシステム
US6137887A (en) * 1997-09-16 2000-10-24 Shure Incorporated Directional microphone system
JP3344647B2 (ja) * 1998-02-18 2002-11-11 富士通株式会社 マイクロホンアレイ装置

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100484178C (zh) * 2004-11-15 2009-04-29 索尼株式会社 麦克风系统和麦克风装置
CN101455093B (zh) * 2006-05-25 2012-06-13 雅马哈株式会社 语音会议装置
CN101455094B (zh) * 2006-05-26 2012-07-18 雅马哈株式会社 声音发射和采集设备以及声音发射和采集设备的控制方法
CN101809998B (zh) * 2007-09-26 2012-11-07 思科技术公司 用于多显示切换视频会议系统的音频方向性控制
US9269367B2 (en) 2011-07-05 2016-02-23 Skype Limited Processing audio signals during a communication event
CN103117064A (zh) * 2011-09-30 2013-05-22 斯凯普公司 处理信号
US8981994B2 (en) 2011-09-30 2015-03-17 Skype Processing signals
US9031257B2 (en) 2011-09-30 2015-05-12 Skype Processing signals
CN103117064B (zh) * 2011-09-30 2015-05-20 斯凯普公司 用于处理信号的方法和设备
US9042573B2 (en) 2011-09-30 2015-05-26 Skype Processing signals
US9042574B2 (en) 2011-09-30 2015-05-26 Skype Processing audio signals
US9210504B2 (en) 2011-11-18 2015-12-08 Skype Processing audio signals
US9111543B2 (en) 2011-11-25 2015-08-18 Skype Processing signals
US9042575B2 (en) 2011-12-08 2015-05-26 Skype Processing audio signals
CN105191353A (zh) * 2013-03-15 2015-12-23 罗伯特·博世有限公司 代表单元和具有该代表单元的会议系统
CN105191353B (zh) * 2013-03-15 2018-10-12 罗伯特·博世有限公司 代表单元和具有该代表单元的会议系统
CN105575399A (zh) * 2014-10-29 2016-05-11 通用汽车环球科技运作有限责任公司 用于选择音频过滤方案的系统和方法
CN107077859A (zh) * 2014-10-31 2017-08-18 英特尔公司 针对音频处理的基于环境的复杂度减小
CN107077859B (zh) * 2014-10-31 2022-03-25 英特尔公司 针对音频处理的基于环境的复杂度减小
CN109313887A (zh) * 2016-05-20 2019-02-05 剑桥声音管理公司 用于声音掩蔽的自供电扬声器
CN110191244A (zh) * 2019-05-17 2019-08-30 四川易简天下科技股份有限公司 远程互动方法及系统
CN110191244B (zh) * 2019-05-17 2021-08-31 四川易简天下科技股份有限公司 远程互动方法及系统
CN110719546A (zh) * 2019-09-25 2020-01-21 成都九洲迪飞科技有限责任公司 一种嵌入式数字会议方法以及会议系统
CN114630070A (zh) * 2022-02-26 2022-06-14 安徽华迈信息科技有限公司 一种视频会议系统

Also Published As

Publication number Publication date
CN1638532A (zh) 2005-07-13
US20030059061A1 (en) 2003-03-27
CN1215717C (zh) 2005-08-17
US20050207591A1 (en) 2005-09-22

Similar Documents

Publication Publication Date Title
CN1215717C (zh) 音频输入装置、音频输入方法以及音频输入和输出装置
CN1213634C (zh) 扬声器及移动终端设备
CN1311622A (zh) 头戴耳机系统
CN1547829A (zh) 无线通信设备、无线通信方法、无线通信系统、记录介质和程序
CN1993968A (zh) 便携式通信终端
CN1655646A (zh) 拾音设备和方法
CN1239044C (zh) 电气-机械-音响变换器及携带式终端装置
CN1783897A (zh) 电子装置及状态信息提示装置
CN1788524A (zh) 集成式话筒与扬声器配置型双向通信设备
CN1897598A (zh) 声音输出装置和声音输出方法
CN1930875A (zh) 移动终端、在移动终端中记录/再现广播的方法、和广播记录/再现程序
CN1345506A (zh) 用于多个音频辅助设备的便携式电信设备
CN1704888A (zh) 便携式电子设备、控制输入操作的方法、以及用于控制输入操作的程序
CN1543171A (zh) 折叠式移动通信装置
CN1943227A (zh) 移动终端装置及其控制方法、程序以及半导体装置
JP2003087890A (ja) 音声入力装置及び音声入力方法
CN1802032A (zh) 平板扬声器的安装构造和安装方法、振动板、平板扬声器和电子设备
CN101060553A (zh) 通信系统、信息处理设备、信息处理方法以及程序
CN1705359A (zh) 墙内型多功能电视机
CN1747528A (zh) 信息处理装置、信息处理方法及程序
CN1638391A (zh) 移动信息终端设备、信息处理方法、记录介质和程序
CN1297130C (zh) 通信终端装置
CN101047742A (zh) 电话系统和电话终端装置
JP2003087887A (ja) 音声入出力装置
CN1968320A (zh) 实现语音播放业务的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20050817

Termination date: 20091013