CN102918825A - 集合住宅用对讲系统的住户机 - Google Patents

集合住宅用对讲系统的住户机 Download PDF

Info

Publication number
CN102918825A
CN102918825A CN2010800670446A CN201080067044A CN102918825A CN 102918825 A CN102918825 A CN 102918825A CN 2010800670446 A CN2010800670446 A CN 2010800670446A CN 201080067044 A CN201080067044 A CN 201080067044A CN 102918825 A CN102918825 A CN 102918825A
Authority
CN
China
Prior art keywords
mentioned
bag
resident family
voice data
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800670446A
Other languages
English (en)
Other versions
CN102918825B (zh
Inventor
福岛实
吉田惠一
鹫哲平
冈田幸夫
土桥和生
木村克彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102918825A publication Critical patent/CN102918825A/zh
Application granted granted Critical
Publication of CN102918825B publication Critical patent/CN102918825B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers

Abstract

在住户机(A)中,在对方的通话终端为模拟传输方式的情况下由通话处理部(2)执行第一软件、在包传输方式的情况下由通话处理部(2)执行第二软件,由此能够选择性地执行适于各个传输方式的通话处理。

Description

集合住宅用对讲系统的住户机
技术领域
本发明涉及一种在集合住宅用对讲系统中使用的设置于集合住宅的各住户处的住户机。
背景技术
以往,提供了一种集合住宅用对讲系统,该集合住宅用对讲系统具备:共用部装置(大厅对讲机),其设置于集合住宅的共用门厅;住户机,其设置于集合住宅的各住户内;以及门电话子机(ドアホン子機),其设置于各住户的外门厅。共用部装置上连接有信号干线,从该信号干线分支的住户线上连接有各住户机。另外,在各住户处,住户内的住户机与外门厅的门电话子机通过子机连接线进行连接。并且,在各住户内,也有时通过住宅内连接线连接其它住户机。其中,连接在住户线上的住户机被称为住户机母机,通过住宅内连接线连接在住户机母机上的住户机被称为住户机分机。此外,在日本专利公开2010-28771号公报中,记载了以下的集合住宅用对讲系统:通过将经由信号干线和住户线的声音传输方式设为包传输方式,使得在共用部装置与住户机的通话过程中,其它住户机(住户机母机)之间能够进行通话。
另外,在住户机处进行各种通话处理、例如用于免提通话(扩音通话)的通话方向切换处理、回波抑制处理等。并且,在如上述的现有文献所记载的以往例那样,在使共用部装置与多个住户机能够进行数字通信而在将共用部装置与各住户机进行连接的信号干线和住户线中传输数字数据的情况下,在对声音进行包传输的设备中,为了提高通话质量,需要进行对由伴随包传输的包损失、延迟以及波动(抖动(jitter))引起的声音的缺失进行补偿的通话处理。
另一方面,在门电话子机、住户机分机中有时会使用以往的廉价的设备、即以模拟传输方式来传输声音的设备。在这种情况下,采用模拟传输方式作为住户机(住户机母机)与门电话子机、或者住户机母机与住户机分机之间的声音传输方式。在模拟传输方式中也需要进行用于免提通话(扩音通话)的通话方向切换处理、回波抑制处理等,而若考虑如上所述那样经由信号干线传输数字数据的情况,则在包传输方式中必需的声音缺失补偿处理在模拟传输方式中是不需要的。
在此,在住户机(住户机母机)中,必须执行与模拟传输方式和包传输方式这两个方式对应的通话处理,若利用各自不同的硬件(通话处理用的电路)来实现这些通话处理,则会导致电路结构的复杂化和成本上升。
发明内容
因此,本发明的目的在于提供一种如下集合住宅用对讲系统的住户机:在抑制电路结构的复杂化和成本上升的同时,能够在经由信号干线的声音传输中使用包传输方式并且在不经由信号干线的住宅内附近的声音传输中使用模拟传输方式,并且能够实现通话质量的提高。
本发明的集合住宅用对讲系统的住户机具有:共用部装置,其设置于集合住宅的共用门厅;住户机,其设置于该集合住宅的各住户内;门电话子机,其设置于上述集合住宅的外门厅;信号干线,其连接至上述共用部装置;住户线,其从该信号干线分支而连接至各上述住户机;以及子机连接线,其将上述住户机与上述门电话子机进行连接。在上述共用部装置与上述住户机之间以及在上述住户机彼此之间经由上述信号干线和上述住户线来通过包传输方式传输通话声音,在上述住户机与上述门电话子机之间经由上述子机连接线来通过模拟传输方式传输通话声音。具备:麦克风和扬声器;传输处理部,其经由上述住户线以及上述信号干线传输包含通话用的声音数据的声音包以及包含呼叫控制用的控制数据的控制包;模拟信号传输部,其经由上述子机连接线传输模拟的声音信号;第一转换处理部,其将从上述麦克风输出的模拟的声音信号转换为声音数据,将声音数据转换为模拟的声音信号并输出到上述扬声器;第二转换处理部,其将由上述模拟信号传输部接收的模拟的声音信号转换为声音数据,将声音数据转换为模拟的声音信号并输出到上述模拟信号传输部;通话处理部,其对声音数据进行规定的通话处理;门电话呼叫检测部,其检测来自上述门电话子机的呼叫;存储部,其存储针对通过模拟传输方式传输的声音数据的通话处理用的第一软件以及针对通过包传输方式传输的声音数据的通话处理用的第二软件;以及控制部,其对上述通话处理部指示通话处理的执行。在本发明的第一特征中,该控制部在上述门电话呼叫检测部检测出上述呼叫的情况下,对上述通话处理部进行指示以使其执行上述第一软件,在从上述共用部装置或者上述住户机接收到呼叫控制用的控制数据的情况下,对上述通话处理部进行指示以使其执行上述第二软件。在本发明中,在对方的通话终端为模拟传输方式的情况下,由上述通话处理部执行上述第一软件,在包传输方式的情况下,由上述通话处理部执行上述第二软件,因此在抑制电路结构的复杂化和成本上升的同时,能够在经由信号干线的声音传输中使用包传输方式并且在不经由信号干线的住宅内附近的声音传输中使用模拟传输方式,且能够实现通话质量的提高。
在一个实施方式中,优选的是,上述第二软件包括声回波抑制处理的程序和残留回波抑制处理的程序,该声回波抑制处理的程序对通过上述麦克风与上述扬声器的声耦合而产生的声回波进行抑制,该残留回波抑制处理的程序对在上述声回波抑制处理中未抑制完的残留回波进行抑制。在本发明中,上述第二软件包括声回波抑制处理的程序和残留回波抑制处理的程序,因此,能够进一步提高包传输方式中的通话质量。
在一个实施方式中,优选的是,上述第二软件包括波动吸收处理的程序,该波动吸收处理的程序吸收上述传输处理部中的传输延迟的波动。在本发明中,上述第二软件包括波动吸收处理的程序,因此能够进一步提高包传输方式中的通话质量。
在一个实施方式中,优选的是,还具备波动吸收用缓冲器,该波动吸收用缓冲器储存由上述传输处理部接收到的上述声音包中包含的声音数据。上述波动吸收处理的程序使上述通话处理部进行计数步骤和缓冲器大小变更步骤,在该计数步骤中,以不长于上述声音包的分包周期的周期对储存在上述波动吸收用缓冲器中的声音数据的包数进行计数来计算包计数值,在该缓冲器大小变更步骤中,基于通过上述计数步骤计算出的上述包计数值,在上述波动吸收用缓冲器中插入或删除包。在本发明中,上述通话处理部进行基于通过上述计数步骤计算出的上述包计数值来在上述波动吸收用缓冲器中插入或删除包的缓冲器大小变更步骤,因此能够实现包枯竭的防止、通话延迟的降低,能够进一步提高通话质量。
在一个实施方式中,优选的是,上述波动吸收处理的程序在上述缓冲器大小变更步骤中使上述通话处理部进行以下的处理:以上述包计数值的过去的历史记录为基础来计算包计数值的代表值,在计算出的代表值大于规定的基准值的情况下,从上述波动吸收用缓冲器删除包,在上述代表值小于上述基准值的情况下,在上述波动吸收用缓冲器中插入包。在本发明中,能够更高精确度地实现包枯竭的防止、通话延迟的降低。
在一个实施方式中,优选的是,上述波动吸收处理的程序使上述通话处理部记录最新的包的接收时刻,在上述计数步骤中使上述通话处理部进行以下的处理:将上述最新的包的计数值设定为使作为上述包计数值的计算时机的计算时刻与上述接收时刻之差除以上述分包周期后得到的值,将上述最新的包以外的包的计数值设定为1,来计算上述包计数值。在本发明中,上述通话处理部将上述最新的包以外的包的计数值设定为1来计算上述包计数值,因此只要仅记录最新的包的接收时刻即可,能够节约用于记录接收时刻的记录介质中的记录容量。
在一个实施方式中,优选的是,上述波动吸收处理的程序在上述计数步骤中使上述通话处理部保存过去N次的包计数值,在上述缓冲器大小变更步骤中使上述通话处理部进行以下的处理:将上述过去N次的包计数值中的第n小的包计数值设为上述代表值,其中,N为正整数值,n为小于N的正整数值。在本发明中,能够更高精确度地实现包枯竭的防止、通话延迟的降低。
在一个实施方式中,优选的是,上述波动吸收处理的程序在上述计数步骤中使上述通话处理部进行以下的处理:基于上述过去N次的包计数值来判断是否存在突发延迟(スパイク遅延),在判断为发生了该突发延迟的情况下,从上述过去N次的包计数值中提取过去M次的包计数值,上述波动吸收处理的程序在上述缓冲器大小变更步骤中使上述通话处理部进行以下的处理:将通过上述计数步骤提取出的过去M次的包计数值中的第m小的包计数值计算为上述代表值,其中,M为M<N的正整数值,m为小于M的整数。在本发明中,能够排除仅偶尔发生的突发延迟来计算上述代表值。
在一个实施方式中,优选的是,上述波动吸收处理的程序在上述计数步骤中使上述通话处理部进行以下的处理:在上述包计数值连续为零的情况下,将随着该连续为零的次数增大而绝对值增大的负值计算为上述包计数值。在本发明中,上述波动吸收处理用程序将随着连续为零的次数增大而绝对值增大的负值计算为上述包计数值,因此能够考虑虽然能够定期地接收包但是在计算时刻储存包数偶尔会变为0的情况与无法定期地接收包的情况的差别来计算包计数值。因而,在后者的情况下,比前者难以删除包。
在一个实施方式中,优选的是,上述第二软件包括声音数据缺失补偿处理的程序,该声音数据缺失补偿处理的程序在由上述传输处理部接收到的上述声音包中包含的声音数据的全部或一部分缺失的情况下,利用未缺失的声音数据来对缺失的上述声音数据的全部或一部分进行补偿。在本发明中,声音数据缺失补偿处理在声音数据的全部或一部分缺失的情况下,利用未缺失的声音数据来对缺失部分进行补偿,因此能够进一步提高包传输方式中的通话质量。
在一个实施方式中,优选的是,还具备波动吸收用缓冲器,该波动吸收用缓冲器储存由上述传输处理部接收到的上述声音包中包含的声音数据,上述波动吸收处理的程序使上述通话处理部进行计数步骤和缓冲器大小变更步骤,在该计数步骤中,对储存在上述波动吸收用缓冲器中的声音数据的包数进行计数来计算包计数值,在该缓冲器大小变更步骤中,基于通过上述计数步骤计算出的上述包计数值,在上述波动吸收用缓冲器中插入或删除包,并且,上述波动吸收处理的程序在上述缓冲器大小变更步骤中使上述通话处理部进行以下的处理:在要从上述波动吸收用缓冲器删除一个包的情况下,如果连续存在两个以上包含声音数据的有效包,则将这些连续的有效包中的位于中间的连续的两个有效包重叠相加来删除一个包。在本发明中,上述通话处理部将位于中间的连续的两个有效包重叠相加来删除一个包,因此能够减小包丢失隐藏处理所引起的声音劣化。
在一个实施方式中,优选的是,上述波动吸收处理的程序在上述缓冲器大小变更步骤中使上述通话处理部进行以下的处理:在要在上述波动吸收用缓冲器中插入包的情况下,如果存在连续的两个有效包,则在这两个有效包之间插入不包含声音的无效包。在本发明中,如果存在连续的两个有效包,则上述通话处理部在这两个有效包之间插入不包含声音的无效的包,因此能够减小包丢失隐藏处理所引起的声音劣化。
在一个实施方式中,优选的是,上述第二软件包括:声音数据缺失检测处理的程序,其检测上述传输处理部所输出的声音数据的全部或一部分的缺失;音高周期检测处理的程序,其基于上述声音数据来检测声音的音高周期(pitch);以及声音数据缺失补偿处理的程序,其基于通过上述声音数据缺失检测处理检测出声音数据的缺失时通过上述音高周期检测处理检测出的音高周期,对缺失的声音数据进行补偿,上述音高周期检测处理的程序使上述通话处理部进行以下的处理:将从当前时刻朝向过去的某一时宽的声音信号设定为基准信号;以及通过使上述基准信号相对于上述声音信号从当前时刻朝向过去滑动,求出上述基准信号与上述声音信号的相关,来检测上述声音信号的音高周期,并且,随着上述基准信号的滑动量增大,使上述基准信号的时宽增大。在本发明中,随着上述基准信号的滑动量增大,上述基准信号的时宽增大,因此能够精确度良好地检测紧接在丢失产生时间点之前的声音信号的音高周期。
在一个实施方式中,优选的是,上述音高周期检测处理的程序使上述通话处理部进行以下的处理:将上述基准信号的时宽设定为规定的初始时宽,直到上述基准信号的滑动量变为规定的滑动基准值为止。在本发明中,即使在上述基准信号的滑动量小的情况下,也能够将上述基准信号的时宽确保为一定的大小以上,从而能够精确度良好地求出上述基准信号与声音信号之间的相关。
在一个实施方式中,优选的是,上述音高周期检测处理的程序使上述通话处理部进行以下的处理:利用平均幅度差函数法来求出上述基准信号与上述声音信号的相关。在本发明中,能够以比较少的计算量来精确度良好地求出上述基准信号与上述声音信号的相关。
在一个实施方式中,优选的是,上述音高周期检测处理的程序使上述通话处理部进行以下的处理:使用式(1)的平均幅度差函数来求出上述基准信号与上述声音信号的相关。
[式1]
&phi; ( &tau; ) = 1 N &Sigma; j = k + 1 k + N | x ( j ) - x ( j - &tau; ) | , N = a &CenterDot; &tau; - - - ( 1 )
其中,φ(τ)表示相关值,N表示上述基准信号的时宽,x(j)表示上述基准信号,x(j-τ)表示上述声音信号,k+1表示上述基准信号的开始点,a表示预先确定的系数,τ表示上述基准信号的滑动量。在本发明中,能够通过使用式(1)来进一步精确度良好地求出上述基准信号与上述声音信号的相关。
在本发明的第二特征中,上述第二软件包括:声音数据缺失检测处理的程序,其检测上述传输处理部所输出的声音数据的全部或一部分的缺失;音高周期检测处理的程序,其基于上述声音数据来检测声音的音高周期;声音数据缺失补偿处理的程序,其基于通过上述声音数据缺失检测处理检测出声音数据的缺失时通过上述音高周期检测处理检测出的音高周期,来对缺失的声音数据进行补偿;以及语速转换处理的程序,其利用通过上述音高周期检测处理检测的音高周期来延长或者压缩上述声音数据。在本发明中,在上述声音数据缺失补偿处理和上述语速转换处理中共用通过上述音高周期检测处理检测出的音高周期,因此与声音数据缺失补偿处理的程序和语速转换处理的程序分别配备音高周期检测处理的程序的结构相比,能够抑制加载程序的存储器的消耗。
在一个实施方式中,优选的是,上述音高周期检测处理对规定的检测周期进行计数并且与该检测周期同步地重复检测上述音高周期,在通过上述声音数据缺失检测处理检测出声音数据的缺失时,在该声音数据缺失的检测时间点检测上述音高周期并且从该检测时间点起重新开始上述检测周期的计数。在本发明中,能够保持声音数据缺失补偿处理后的声音的质量。
在一个实施方式中,优选的是,上述音高周期检测处理仅检测规定的频率范围的音高周期。在本发明中,不会进行不需要的频率范围的音高周期检测,因此能够减轻处理负荷。
在一个实施方式中,优选的是,上述语速转换处理检测上述声音数据的声音区间,仅对该声音区间的声音数据进行语速转换。在本发明中,不会在声音区间以外的区间(例如,无音区间)进行语速转换处理,因此能够减轻语速转换处理中的处理负荷。
在一个实施方式中,优选的是,上述声音数据缺失检测处理与使与一个包相当的上述声音数据的时长除以正整数后得到的第一时间间隔和上述声音数据的输入时机同步地检测声音数据的缺失,上述音高周期检测处理与上述第一时间间隔的正整数倍的上述检测周期和该第一时间间隔同步地检测音高周期。在本发明中,上述音高周期检测处理与上述第一时间间隔的正整数倍的上述检测周期和该第一时间间隔同步地检测音高周期,因此具有执行音高周期检测处理的时机的控制变得简便的优点。
在一个实施方式中,优选的是,在上述声音数据缺失检测处理检测出声音数据的缺失时要进行语速转换的情况下,上述语速转换处理使用紧接在上述声音数据缺失检测处理检测出声音数据的缺失之前通过上述音高周期检测处理检测出的音高周期来进行语速转换。在本发明中,能够抑制上述语速转换处理所引起的声音的质量劣化。
在一个实施方式中,优选的是,在上述声音数据缺失检测处理检测出声音数据的缺失时要进行语速转换的情况下,上述语速转换处理使用通过上述音高周期检测处理基于通过上述声音数据缺失补偿处理进行补偿后的声音数据检测出的音高周期来进行语速转换。在本发明中,即使在声音数据已缺失时开始上述语速转换处理的情况下,也只要以一定的检测周期执行上述音高周期检测处理即可,因此具有执行上述音高周期检测处理的时机的控制变得简便的优点。
在一个实施方式中,优选的是,上述音高周期检测处理对上述声音数据的声音区间和非声音区间进行判别,使上述非声音区间中的上述检测周期比上述声音区间中的上述检测周期长。在本发明中,在上述声音区间中以相对短的检测周期进行音高周期检测,因此能够确保语速转换处理的质量,在上述非声音区间中以相对长的检测周期进行音高周期检测,因此能够减轻处理负荷。
在本发明的第三特征中,优选的是,上述第二软件包括声音切换处理的程序,该声音切换处理的程序降低由通过上述麦克风与上述扬声器的声耦合而产生的声回波路径形成的闭环的环路增益来抑制啸声(howling),该声音切换处理的程序使上述通话处理部进行以下的处理:估计上述声回波路径的反馈增益,基于该反馈增益的估计值来计算使从上述传输处理部输出的接听的声音数据衰减的接听侧衰减量与使输入到上述传输处理部的讲话的声音数据衰减的讲话侧衰减量的总和,并且监视讲话和接听的各声音数据来估计通话状态,根据该通话状态的估计结果和上述总和的计算值来决定上述讲话侧衰减量和上述接听侧衰减量的分配,使上述总和与上述反馈增益的估计值的减少量相应地减少。在本发明中,上述通话处理部根据上述通话状态的估计结果和上述总和的计算值来决定上述讲话侧衰减量和上述接听侧衰减量的分配,使上述总和与上述反馈增益的估计值的减少量相应地减少,因此能够进一步提高包传输方式中的通话质量。
在本发明的第四特征中,优选的是,还具备内线连接线和内线用模拟信号传输部,设置于住宅内的通话装置连接至该内线连接线,该内线用模拟信号传输部经由该内线连接线传输模拟的声音信号,由上述通话处理部执行上述第一软件来进行通话处理而得到的声音数据经由上述内线连接线从上述内线用模拟信号传输部传输到上述通话装置。在本发明中,能够与上述通话装置进行基于模拟传输方式的内线通话。
在本发明的第五特征中,优选的是,上述第一软件包括语速转换处理的程序,该语速转换处理的程序基于对上述模拟的声音信号进行A/D转换后得到的数字的声音信号来检测声音的音高周期,并且利用该音高周期来延长或者压缩上述数字的声音信号。在本发明中,上述第一软件包括语速转换处理的程序,因此即使在模拟传输方式的通话中,也能够加快或减慢对方所发出的声音的语速。
附图说明
进一步详细描述本发明的优选实施方式。可以联系下面的详细描述和附图来进一步了解本发明的其它特征和优点。
图1是表示本发明的实施方式1的住户机的框图以及包括该住户机的集合住宅用对讲系统的系统结构图。
图2是由本发明的实施方式1的通话处理部执行第一软件时的框图。
图3是用于说明本发明的实施方式1的声音切换的处理的流程图。
图4中,图4的A是用于说明本发明的实施方式1的与门电话子机进行对讲通话时的动作的框图,图4的B是用于说明本发明的实施方式1的与分机(副親機)进行内线通话时的动作的框图。
图5中,图5的A是用于说明本发明的实施方式1的与大厅对讲机进行对讲通话时的动作的框图,图5的B是用于说明本发明的实施方式1的与管理室装置进行对讲通话时的动作的框图,图5的C是用于说明本发明的实施方式1的与其它住户机进行对讲通话时的动作的框图,图5的D是用于说明本发明的实施方式1的大厅对讲机或管理室装置与分机进行对讲通话时的动作的框图。
图6是由本发明的实施方式1的通话处理部执行第二软件时的框图。
图7是用于说明本发明的实施方式1的回波抑制器(echosuppressor)的处理的流程图。
图8是表示本发明的实施方式1的声音数据缺失补偿处理部的框图。
图9是用于说明本发明的实施方式1的声音数据缺失补偿处理的基本原理的声音信号(接听声音信号)的波形图。
图10是用于说明本发明的实施方式1的模板设定部和音高周期检测部的处理的接听声音信号的波形图。
图11是示出了使用以往的模板时的模板与接听声音信号的相关值的运算结果的图表。
图12是说明本发明的实施方式1的模板设定部和音高周期检测部的处理的图。
图13示出了本发明的实施方式1的相关值的图表。
图14是表示本发明的实施方式1的声音数据缺失补偿处理的流程图。
图15是表示本发明的实施方式1的波动吸收处理部的框图。
图16是由本发明的实施方式1的计数部进行的包计数值的计算处理的说明图。
图17是用于说明本发明的实施方式1的抖动缓冲器的作用的图。
图18是表示传输延迟与发生频率之间的关系的传输延迟特性的一例的图。
图19是用于说明本发明的实施方式1的抖动缓冲器的最佳缓冲器大小的图。
图20是表示本发明的实施方式1的波动吸收处理的流程图。
图21是表示本发明的实施方式1的包计数值的计算处理的详情的流程图。
图22是示出了本发明的实施方式1的包计数值与包计数值的计算时刻之间的关系的图表。
图23中,图23的A是示出了由缓冲器大小变更部进行包插入时的处理的示意图,图23的B是示出了由缓冲器大小变更部进行包删除时的处理的示意图。
图24是本发明的实施方式1的包计数值的另一种计算方法的说明图。
图25是表示本发明的实施方式1的包计数值的另一种计算处理的流程图。
图26是用于说明本发明的实施方式1的判断是否存在突发延迟的判断处理的图表。
图27是表示本发明的实施方式1的发生了突发延迟的情况下的包计数值与索引之间的关系的图表。
图28中,图28的A和图28的B是说明本发明的实施方式1的计数部的处理的图。
图29中,图29的A、图29的B以及图29的C是缓冲器大小变更部通过重叠相加来删除一个包的处理的说明图。
图30中,图30的A和图30的B是缓冲器大小变更部删除一个无效包的处理的说明图。
图31的A和图31的B是缓冲器大小变更部通过重叠相加来插入一个包的处理的说明图。
图32的A和图32的B是用于说明对抖动缓冲器一次插入五个包的情况下的处理的图。
图33的A、图33的B以及图33的C是说明删除了无效包之后接收到与已删除的无效包对应的有效包的情况下的处理的图。
图34的A和图34的B是说明缓冲器大小变更部使进行隐藏处理后的包代替无效包插入到抖动缓冲器的情况下的处理的图。
图35是示出了由缓冲器大小变更部进行的删除处理的流程图。
图36是示出了由缓冲器大小变更部进行的插入处理的流程图。
图37是本发明的实施方式2的由声音数据缺失补偿处理部和语速转换处理部共用声音的音高周期时的通话处理部的框图。
图38是本发明的实施方式2的音高周期检测部的动作说明图。
图39的A和图39的B是本发明的实施方式3的声音数据缺失检测部和音高周期检测部的动作说明图。
图40是本发明的实施方式3的动作说明图。
图41是本发明的实施方式3的动作说明图。
图42是本发明的实施方式3的动作说明图。
具体实施方式
(实施方式1)
下面,参照图1~图36来详细说明本发明的实施方式1。首先,说明包含本发明所涉及的住户机的集合住宅用对讲系统。
如图1所示,本实施方式中的集合住宅用对讲系统具有:共用部装置(大厅对讲机)LI,其设置于集合住宅的共用门厅(大厅);住户机A(图示中只有一台),其设置于集合住宅的各住户内;门电话子机B,其设置于各住户的外门厅;信号干线Ls,其与大厅对讲机LI连接;住户线Ld,其从信号干线Ls分支,与各住户的住户机A连接;以及子机连接线Lb,其将住户机A与门电话子机B进行连接。另外,具有:控制装置CT,其经由信号干线Ls及住户线Ld而与住户机A及大厅对讲机LI连接;以及管理室装置X,其设置于集合住宅的管理人室等,经由信号干线Ls而与大厅对讲机LI、各住户机A之间授受声音信息等。并且,在住户内设置有一个至多个(在图示例中为两台)通话装置(分机)C,通过内线连接线Lc将住户机(母机)A与分机C进行连接。
门电话子机B具备:麦克风和扬声器;呼叫按钮,其受理来访者的呼叫操作;以及通信部,其经由子机连接线Lb发送呼叫信号并且与住户机A之间发送接收(模拟传输)声音信号。此外,在门电话子机B带有照相机的情况下,通过照相机拍摄到的来访者的影像经由子机连接线Lb从门电话子机B被模拟传输到住户机A。住户机A将从门电话子机B传输的影像经由内线连接线Lc传输到分机C。在住户机A和分机C中,将从门电话子机B传输的影像显示在监视器(显示部3)上,如果对住户机A的应答按钮进行按下操作,则住户机A与门电话子机B之间能够进行通话,如果对分机C的应答按钮进行按下操作,则分机C与门电话子机B之间能够进行通话。
另外,分机C具备麦克风和扬声器、受理内线呼叫的呼叫操作的呼叫按钮、通信部等,其中,该通信部经由内线连接线Lc发送呼叫信号,并且发送接收(模拟传输)声音信号。
大厅对讲机LI具备:拍摄来访者的摄像装置;麦克风和扬声器;用于使来访者输入访问目的地的住户的住户编号的数字键盘或触摸面板;通过信号干线Ls对声音信息、影像信息进行包传输的传输部等。在大厅对讲机LI中,当数字键盘或触摸面板被操作而受理了某个住户的住户编号的操作输入时,由传输部经由信号干线Ls向控制装置CT的地址发送(包传输)在数据字段中保存有该住户编号的包以及在数据字段中保存有由摄像装置拍摄到的来访者的影像(影像信息)的包。
管理室装置X具备:麦克风和扬声器;用于使管理人输入联络目的地的住户的住户编号的数字键盘或触摸面板;通过信号干线Ls对声音信息进行包传输的传输部等。在管理室装置X中,当数字键盘或触摸面板被操作而受理了某个住户的住户编号的操作输入时,由传输部经由信号干线Ls向控制装置CT的地址发送在数据字段中保存有该住户编号的包。
控制装置CT中存储有被分配给各住户的住户机A的地址与该住户的住户编号之间的对应关系,通过将从大厅对讲机LI、管理室装置X接收到的包的数据字段中所保存的住户编号与上述对应关系进行对照来转换为地址,将在目的地地址字段中保存有该地址且在数据字段中保存有用于通知来自大厅对讲机LI或管理室装置X的呼叫的呼叫命令的包以及在数据字段中保存有上述影像信息的包发送到信号干线Ls。其中,如上所述的大厅对讲机LI、管理室装置X、控制装置CT是以往周知的,因此省略详细结构的图示以及说明。
住户机A具备控制部1、麦克风2a和扬声器2b、通话处理部2、显示部3、影像处理部4、存储部5、呼叫检测部6、传输处理部7、对分机通信处理部8、模拟信号传输部9、第一转换处理部10、第二转换处理部11、第一切换部12、第二切换部13、第三切换部14等。
从麦克风2a输出的模拟的声音信号(讲话声音信号)在被放大器AMP1放大之后被第一转换处理部10的A/D转换器10a转换为数字的讲话声音信号(讲话声音数据)而输入到通话处理部2。另外,由通话处理部2进行通话处理之后的数字的声音信号(接听声音信号)在被第一转换处理部10的D/A转换器10b转换为模拟的接听声音信号之后被放大器AMP2放大而输出到扬声器2b。
另一方面,在后述的门电话通话或内线通话的情况下,由通话处理部2进行通话处理后的数字的讲话声音信号(讲话声音数据)在被第二转换处理部11的D/A转换器11a转换为模拟的讲话声音信号之后被放大器AMP3放大而输出到模拟信号传输部9。其中,在后述的对讲通话、住户间通话的情况下,由通话处理部2进行通话处理之后的数字的讲话声音信号直接被输出到传输处理部7。另外,从模拟信号传输部9输出的模拟的接听声音信号在被放大器AMP4放大之后被第二转换处理部11的A/D转换器11b转换为数字的接听声音信号(接听声音数据)而输入到通话处理部2。其中,从传输处理部7输出的数字的接听声音信号直接被输入到通话处理部2。此外,模拟信号传输部9包括以往周知的2线/4线转换器(混合变压器)。
模拟信号传输部9的2线侧上连接有第一切换部12。第一切换部12在将模拟信号传输部9的2线侧连接到子机连接线Lb的状态与将该2线侧连接到第二切换部13的状态之间择一地进行切换。另外,第二切换部13在将第一切换部12连接到内线连接线Ld的状态与不连接的状态之间择一地进行切换。并且,第三切换部14在将子机连接线Lb与内线连接线Lc连接的状态和不连接的状态之间择一地进行切换。此外,第一~第三切换部12、13、14的切换都是由控制部1控制的。
控制部1以微计算机为主结构要素,进行包括上述切换控制在内的住户机A整体的控制。显示部3具有液晶显示器等显示设备和驱动该显示设备的驱动电路、作为输入设备的触摸面板等。影像处理部4如后所述那样对从传输处理部7接收到的影像信号进行信号处理来将影像显示在显示部3上。具体地说,将从大厅对讲机LI被包传输的来访者的影像(静止图像或运动图像)显示在显示部3上。
通话处理部2具备微处理器、ASIC(Application SpecificIntegrated Circuit:专用集成电路)或者DSP(Digital SignalProcessor:数字信号处理器)等,进行用于通话处理的各种控制和各种运算,其对数字的声音信号(讲话声音数据和接听声音数据)进行各种信号处理(通话处理)。存储部5包括能够电重写的非易失性的半导体存储器(快闪存储器(Flash Memory)等),存储有第一软件和第二软件。第一软件包括用于对由模拟信号传输部9通过模拟传输方式传输的声音信号进行各种通话处理的多个程序的集合体。而第二软件包括用于对由传输处理部7通过包传输方式传输的声音信号进行各种通话处理的多个程序的集合体。此外,各个程序的详情在后面叙述。
传输处理部7经由信号干线Ls(包括住户线Ld。下同。)而与控制装置CT、其它住户机A之间进行包传输。传输处理部7将由控制部1制作的控制信号(控制数据)分割来制作包(控制包),同样地将由通话处理部2制作的讲话声音信号(讲话声音数据)分割来制作包(声音包)。并且,传输处理部7对控制包、声音包进行编码,并且将编码所得到的位串转换(调制)为电信号来使其在信号干线Ls中流动。另外,传输处理部7将在信号干线Ls中流动的电信号转换(解调)为位串,并且从解调所得到的位串解码得到包(声音包、控制包、影像包)。此外,在传输处理部7中,在解码得到的包的地址与自己的地址(住户机A的地址)不一致的情况下废弃该包,在地址一致的情况下,如果该包的数据字段中包含的数据是影像数据(影像信号),则输出到影像处理部4,如果是控制数据(控制信号),则输出到控制部1,如果是声音数据(声音信号),则输出到通话处理部2。
对分机通信处理部8将由控制部1制作的分机用的控制数据进行编码和频率调制后经由内线连接线Lc发送到分机C,并且将对经由内线连接线Lc从分机C发送的控制信号进行频率解调和解码而得到的控制数据传送给控制部1。
接着,说明本实施方式中的集合住宅用对讲系统的动作。首先,说明住户机A与门电话子机B的门电话通话。当由来访者对门电话子机B的呼叫按钮进行了操作时,从门电话子机B经由子机连接线Lb发送呼叫信号。在住户机A中,检测出呼叫信号的呼叫检测部6向控制部1输出呼叫检测信号。接收到呼叫检测信号的控制部1使扬声器2b鸣响呼叫音。在此,在门电话子机B带有照相机的情况下,在呼叫按钮被操作之后启动照相机来拍摄来访者,将该拍摄到的影像从门电话子机B经由子机连接线Lb进行传输。在住户机A中,由影像处理部4使显示部3显示经由子机连接线Lb传输过来的影像。然后,当听到呼叫音的居民确认了显示在显示部3上的来访者的影像而对设置于住户机A的应答按钮(未图示)进行操作时,控制部1控制第一切换部12来使模拟信号传输部9的2线侧连接到子机连接线Lb,并且将第三切换部14切换为非连接状态,对通话处理部2进行指示来使其加载存储部5中存储的第一软件并执行。然后,如图4的A所示,由通话处理部2执行第一软件来进行通话处理,由此,住户的居民与来访者能够使用住户机A和门电话子机B来进行门电话通话。
在此,接收到呼叫检测信号的控制部1使对分机通信处理部8发送门电话呼叫的控制信号,并且通过将第三切换部14切换为连接状态来将经由子机连接线Lb传输过来的影像经由内线连接线Lc传输到分机C。在接收到该控制信号的分机C中,从扬声器鸣响呼叫音,并且在监视器上显示来访者的影像。然后,当听到呼叫音的居民确认了显示在监视器上的来访者的影像而对分机C的应答按钮进行操作时,经由内线连接线Lc从分机C向住户机A传输门电话应答的控制信号。在住户机A中,从对分机通信处理部8向控制部1输出门电话应答的控制信号(控制数据),接收到该控制数据的控制部1使第三切换部14的连接状态维持原样。其结果,住户的居民与来访者能够使用分机C和门电话子机B来进行门电话通话。此外,在这种情况下,住户机A的通话处理部2完全不进行通话处理。
接着,说明住户机A与分机C的内线通话。当由居民对分机C的内线呼叫按钮进行了操作时,从分机C经由内线连接线Lc发送内线呼叫的控制信号。在住户机A中,从对分机通信处理部8向控制部1输出内线呼叫的控制信号(控制数据)。接收到内线呼叫的控制数据的控制部1使扬声器2b鸣响呼叫音。然后,当听到呼叫音的其它居民对设置于住户机A的应答按钮进行了操作时,控制部1控制第一切换部12来使模拟信号传输部9的2线侧连接到第二切换部13,并且控制第二切换部13来使第一切换部12连接到内线连接线Lc。并且,控制部1对通话处理部2进行指示来使其加载存储部5中存储的第一软件并执行。然后,如图4的B所示,由通话处理部2执行第一软件来进行通话处理,由此,同一住户的居民之间能够使用住户机A和分机C来进行内线通话。
此外,从一方分机C发送的内线呼叫的控制信号不仅被住户机A接收,也被另一方分机C接收。然后,当在接收到该控制信号的另一方分机C中应答按钮被操作时,经由内线连接线Lc在两台分机C、C之间形成通话路径,同一住户的居民之间能够使用各个分机C、C来进行内线通话。
在此,说明由通话处理部2执行第一软件来进行的通话处理。在第一软件中包含有:切换通话方向的声音切换处理的程序、抑制声回波的声侧回波消除处理的程序、抑制线路回波的线路侧回波消除处理的程序以及使从扬声器2b输出的通话对方的声音的速度(语速)减慢或加快的语速转换处理的程序。
如图2所示,执行第一软件的通话处理部2具备声音切换器VS、声侧回波消除器EC1、线路侧回波消除器EC2、语速转换处理部SE。其中,声音切换器VS、声侧回波消除器EC1、线路侧回波消除器EC2、语速转换处理部SE是通过由构成通话处理部2的DSP等信号处理电路分别执行声音切换处理的程序、声侧回波消除处理的程序、线路侧回波消除处理的程序、语速转换处理的程序来实现的。另外,在图2中,省略了第一转换处理部10和第二转换处理部11的图示。
声侧回波消除器EC1具有包括自适应滤波器ADF1和减法器SUB1的以往周知的结构,通过自适应滤波器ADF1自适应地同定由扬声器2b-麦克风2a之间的声耦合形成的反馈路径(声回波路径)HAC的脉冲响应,通过减法器SUB1从来自第一转换处理部10的输入信号(讲话声音信号)减去基于参照信号(向第一转换处理部10的输出信号)估计出的回波成分(声回波),由此抑制回波成分。另外,线路侧回波消除器EC2也具有包括自适应滤波器ADF2和减法器SUB2的以往周知的结构,通过自适应滤波器ADF2自适应地同定由因模拟信号传输部9与传输路径(子机连接线Lb或内线连接线Lc)之间的阻抗的不匹配所导致的反射以及对方侧的扩音通话装置(门电话子机B或分机C)中的扬声器-麦克风之间的声耦合形成的反馈路径(线路回波路径)HLIN的脉冲响应,通过减法器SUB2从接听声音信号减去基于参照信号(向第二转换处理部11的输出信号、即讲话声音信号)估计出的回波成分(线路回波),由此抑制回波成分。
另外,在声侧回波消除器EC1与线路侧回波消除器EC2之间设置有声音切换器VS。该声音切换器VS具备:讲话侧衰减器100,其使讲话声音信号衰减;接听侧衰减器101,其使接听声音信号衰减;以及插入损失量控制部102,其对讲话侧和接听侧的各衰减器100、101中的衰减量(插入损失量)进行控制。插入损失量控制部102由总损失量计算部103和插入损失量分配处理部104构成。总损失量计算部103估计从接听侧衰减器101的输出点Rout经由声回波路径HAC向讲话侧衰减器100的输入点Tin反馈的路径(下面称为“声侧反馈路径”)的声侧反馈增益α,并且估计从讲话侧衰减器100的输出点Tout经由线路回波路径HLIN向接听侧衰减器101的输入点Rin反馈的路径(下面称为“线路侧反馈路径”)的线路侧反馈增益β,基于声侧和线路侧的各反馈增益α、β的估计值α'、β'来计算应该插入到闭环中的损失量的总和(讲话侧衰减器100的衰减量<插入损失量>与接听侧衰减器101的衰减量<插入损失量>之和)。插入损失量分配处理部104监视讲话声音信号和接听声音信号来估计通话状态,根据该估计结果和总损失量计算部103的计算值来决定讲话侧衰减器100和接听侧衰减器101的各衰减量(插入损失量)的分配。
在总损失量计算部103中,使用整流平滑器、低通滤波器等来估计讲话侧衰减器100的输入信号(讲话声音信号)在短时间内的时间平均功率,同样地使用整流平滑器、低通滤波器等来估计接听侧衰减器101的输出信号(接听声音信号)在短时间内的时间平均功率,在声侧反馈路径HAC中设想的最大延迟时间内求出接听侧衰减器101的输出信号的时间平均功率的估计值的最小值,将讲话侧衰减器100的输入信号的时间平均功率的估计值除以该最小值所得到的值作为声侧反馈增益α的估计值α'。并且,总损失量计算部103使用整流平滑器、低通滤波器等来估计接听侧衰减器101的输入信号(接听声音信号)在短时间内的时间平均功率,同样地使用整流平滑器、低通滤波器等来估计讲话侧衰减器100的输出信号(讲话声音信号)在短时间内的时间平均功率,在线路侧反馈路径HLIN中设想的最大延迟时间内求出讲话侧衰减器100的输出信号的时间平均功率的估计值的最小值,将接听侧衰减器101的输入信号(接听声音信号)的时间平均功率的估计值除以该最小值所得到的值设为线路侧反馈增益β的估计值β′。然后,总损失量计算部103基于声侧反馈增益α和线路侧反馈增益β的各估计值α'、β'来计算为了得到所期望的增益裕量MG而所需的总损失量Lt,将该值Lt输出到插入损失量分配处理部104。
在插入损失量分配处理部104中,监视讲话侧衰减器100的输入输出信号和接听侧衰减器101的输入输出信号,基于这些信号的功率水平的大小关系以及声音的有无等信息来判断通话状态(接听状态、讲话状态等),并且以按与判断出的通话状态相应的比例将总损失量Lt分配给讲话侧衰减器100和接听侧衰减器101的方式,对各衰减器100、101的衰减量(插入损失量)进行调整。
另外,总损失量计算部103具有更新模式和固定模式这两种动作模式,在该更新模式中,如上所述,基于各反馈增益α、β的估计值α'、β'来计算应该插入到闭环的损失量的总和来进行自适应更新,在该固定模式中,将总损失量固定为规定的初始值。然后,总损失量计算部103在与对方侧通话终端开始通话起到声侧和线路侧的回波消除器EC1、EC2充分收敛为止的期间内以固定模式进行动作,并且在声侧和线路侧的回波消除器EC1、EC2已充分收敛之后的期间内以更新模式进行动作。即,总损失量计算部103在声侧反馈增益α和线路侧反馈增益β的估计值α'、β'都从开始通话起持续规定时间(数百毫秒)以上低于规定的阈值ε(例如,比通话开始时的各估计值α'、β'小10dB~15dB的值)的时间点,视为声侧和线路侧的回波消除器EC1、EC2已充分收敛,在上述时间点之前以将总损失量固定为初始值的固定模式进行动作,在上述时间点以后将动作模式切换为基于各估计值α'、β'自适应地更新总损失量的更新模式。此外,固定模式下的总损失量的初始值被设定为比在更新模式下被随时更新的总损失量充分大的值。
于是,在刚开始通话后的声侧和线路侧的回波消除器EC1、EC2尚未充分收敛的状态下,通过以固定模式进行动作的总损失量计算部103将设定为充分大的值的初始值的总损失量插入到闭环,因此能够抑制不舒服的回波(声回波和线路回波)、啸声的产生而实现稳定的半双工通话。另外,在从开始通话起经过一定时间而声侧和线路侧的回波消除器EC1、EC2已充分收敛的状态下,总损失量计算部103的动作模式从固定模式切换为更新模式,插入到闭环的总损失量减小为充分低于初始值的值,因此能够实现双方向的同时通话。
在此,参照图3的流程图来说明更新模式下的总损失量计算部103的具体动作。
总损失量计算部103在从固定模式转变为更新模式的时间点起以规定的采样周期执行声侧反馈增益α和线路侧反馈增益β的估计处理来计算其估计值α'(n)、β'(n)(步骤1),基于这两个估计值α'(n)、β'(n)的积和增益裕量MG,通过下式来计算为了将闭环的增益裕量保持为MG[dB]而所需的总损失量期望值Lr(n)(步骤2)。
Lr(n)=20log|α'(n)·β'(n)|+MG[dB]
此外,α'(n)、β'(n)、Lr(n)分别表示通过从转变为更新模式的时间点起的第n次采样计算出的反馈增益的估计值以及总损失量期望值。并且,关于基于上式计算出的第n次的总损失量期望值Lr(n),总损失量计算部103在本次计算出的总损失量期望值Lr(n)大于上次(第n-1次)的总损失量Lt(n-1)、即通过上次的处理来决定并实际插入的总损失量的情况下,将使上次的总损失量Lt(n-1)与微小的增加量Δi[dB]相加所得到的值设为本次的总损失量Lt(n)=Lt(n-1)+Δi(步骤3、步骤4),在本次计算出的总损失量期望值Lr(n)小于上次的总损失量Lt(n-1)的情况下,将从上次的总损失量Lt(n-1)减去微小的减少量Δd[dB]所得到的值设为本次的总损失量Lt(n)=Lt(n-1)-Δd(步骤5、步骤6)。
通过这样将总损失量计算部103对总损失量的增减抑制为Δi或Δd的微小的值,即使在如刚开始与对方侧通话终端(门电话子机B或分机C)通话之后那样由于声侧和线路侧的回波消除器EC1、EC2朝向收敛积极地更新系数而声侧反馈增益α和线路侧反馈增益β的变化激烈的状态下,也能够消除听觉上的不适感。
语速转换处理部SE通过延长或者压缩声音(接听声音)来对原本的声音的语速进行转换,例如基于被称为PICOLA(PointerInterval Controlled OverLap and Add)的以往周知的语速转换算法,以音高周期为单位来进行波形的插入或删除,由此转换(加快或减慢)语速。此外,“音高周期”是指由声带的振动周期决定的音的高度,当声带的振动周期短时音的高度高,当振动周期长时音的高度低。因而,如果在与门电话子机B进行门电话通话时、与分机C进行内线通话时使语速转换处理部SE进行语速转换处理,则能够使从住户机A的扬声器2b鸣响的通话对方的声音的语速比实际由通话对方发出的声音的语速加快或减慢。
接着,说明住户机A与大厅对讲机LI的对讲通话。在大厅对讲机LI中,当来访者对数字键盘或触摸面板进行操作而受理了某一住户的住户编号的操作输入时,由传输部经由信号干线Ls向控制装置CT的地址发送(包传输)在数据字段中保存有该住户编号的包以及在数据字段中保存有由摄像装置拍摄到的来访者的影像(影像数据)的包。控制装置CT将在数据字段中保存有用于通知来自大厅对讲机LI的呼叫的呼叫命令的包以及在数据字段中保存有上述影像数据的包送出到信号干线Ls。
在设置于上述住户编号的住户处的住户机A中,当经由住户线Ld由传输处理部7接收到上述包时,将该包的数据字段中保存的呼叫命令(控制信号)输出到控制部1,并且将数据字段中保存的影像数据输出到影像处理部4。控制部1当接收到呼叫命令时使扬声器2b鸣响呼叫音。另外,影像处理部4对从传输处理部7接收到的影像信号进行处理来使显示部3显示来访者的影像。然后,当听到呼叫音的居民在确认了显示在住户机A的显示部3上的来访者的影像之后对应答按钮进行操作时,控制部1对通话处理部2进行指示来使其加载存储部5中存储的第二软件并执行。然后,如图5的A所示,由通话处理部2执行第二软件来进行通话处理,由此,住户的居民与来访者能够使用住户机A和大厅对讲机LI来进行对讲通话。在此,大厅对讲机LI如图5的A的左侧所示那样具有除了语速转换处理部SE以外与图5的A的右侧的住户机A几乎相同的结构,为了简化说明,对具有与住户机A的各部相同的功能的各部附加相同的标记。
接着,说明住户机A与管理室装置X的对讲通话。在管理室装置X中,当管理人对数字键盘或触摸面板进行操作而受理了某一住户的住户编号的操作输入时,由传输部经由信号干线Ls向控制装置CT的地址发送(包传输)在数据字段中保存有该住户编号的包。控制装置CT将在数据字段中保存有用于通知来自管理室装置X的呼叫的呼叫命令的包送出到信号干线Ls。
在设置于上述住户编号的住户处的住户机A中,当经由住户线Ld由传输处理部7接收到上述包时,将该包的数据字段中保存的呼叫命令(控制信号)输出到控制部1。控制部1当接收到呼叫命令时使扬声器2b鸣响呼叫音。然后,当听到呼叫音的居民对应答按钮进行操作时,控制部1对通话处理部2进行指示来使其加载存储部5中存储的第二软件并执行。然后,如图5的B所示,由通话处理部2执行第二软件来进行通话处理,由此,住户的居民与管理人能够使用住户机A和管理室装置X来进行对讲通话。在此,管理室装置X如图5的B的左侧所示那样具有除了语速转换处理部SE以外与图5的B的右侧的住户机A几乎相同的结构,为了简化说明,对具有与住户机A的各部相同的功能的各部附加相同的标记。
其中,也能够由分机C对来自大厅对讲机LI、管理室装置X的呼叫进行应答。而且,在由分机C对来自大厅对讲机LI、管理室装置X的呼叫进行了应答的情况下,如图5的D所示,由住户机A的通话处理部2执行第二软件来进行通话处理,由此,住户的居民与来访者或管理人能够使用分机C和大厅对讲机LI或管理室装置X进行对讲通话。
进一步说明设置于不同的住户处的住户机A之间的对讲通话。在住户机A中,当居民操作数字键盘而受理了其它住户的住户编号的操作输入时,由传输部经由信号干线Ls向控制装置CT的地址发送(包传输)在数据字段中保存有该住户编号的包。控制装置CT将在数据字段中保存有用于通知来自住户机A的呼叫的呼叫命令的包送出到信号干线Ls。
在设置于上述住户编号的住户处的其它住户机A中,当经由住户线Ld由传输处理部7接收到上述包时,将该包的数据字段中保存的呼叫命令(控制信号)输出到控制部1。控制部1当接收到呼叫命令时使扬声器2b鸣响呼叫音。然后,当听到呼叫音的居民对应答按钮进行操作时,控制部1对通话处理部2进行指示来使其加载存储部5中存储的第二软件并执行。然后,如图5的C所示,由各个住户的住户机A中的通话处理部2执行第二软件来进行通话处理,由此,不同的住户的居民之间能够使用各自的住户机A来进行对讲通话。
在此,说明由通话处理部2执行第二软件来进行的通话处理。在第二软件中包含有:切换通话方向的声音切换处理的程序、抑制声回波的声侧回波消除处理的程序、抑制残留回波的回波抑制处理的程序、对由伴随包传输的包损失引起的声音数据的缺失进行补偿的声音数据缺失补偿处理的程序、吸收伴随包传输的延迟和波动(抖动)的波动吸收处理的程序以及减慢或加快从扬声器2b输出的通话对方的声音的速度(语速)的语速转换处理的程序。
如图6所示,执行第二软件的通话处理部2具备声音切换器VS、声侧回波消除器EC1、回波抑制器ES、语速转换处理部SE、声音数据缺失补偿部VC、波动吸收处理部JA。其中,声音切换器VS、声侧回波消除器EC1、回波抑制器ES、语速转换部SE、声音数据缺失补偿部VC、波动吸收处理部JA是通过由构成通话处理部2的DSP等信号处理电路分别执行声音切换处理的程序、声侧回波消除处理的程序、回波抑制处理的程序、语速转换处理的程序、声音数据缺失补偿处理的程序、波动吸收处理的程序来实现的。另外,在图6中,省略了第一转换处理部10和第二转换处理部11的图示。
声侧回波消除器EC1具有与执行第一软件的情况下的声侧回波消除器EC1共同的结构,因此省略详细结构的图示。另外,声音切换器VS也具有与执行第一软件的情况下的声音切换器VS共同的结构,因此省略详细结构的图示。但是,第二软件中的声音切换器VS在以下方面与第一软件中的声音切换器VS不同:使由总损失量计算部103计算的总损失量与声侧反馈增益α的估计值α'的减少量相应地减少。即,在与模拟传输方式对应的第一软件中的声音切换器VS中,总损失量计算部103需要考虑声侧反馈增益α和线路侧反馈增益β这两种反馈增益来计算总损失量。另一方面,在包传输方式中由于不形成反馈路径,因此无需考虑线路侧反馈增益β。因此,在第二软件中的声音切换器VS中,能够通过如上所述那样使由总损失量计算部103计算的总损失量与声侧反馈增益α的估计值α'的减少量相应地减少,来更可靠地实现双方向的同时通话。
回波抑制器ES设置于讲话声音信号的信号路径上的传输处理部7与声音切换器VS之间,使残留回波(未能由声侧回波消除器EC1抑制的声回波。下同。)衰减。即,在将声音数据分割为包来进行传输的包传输方式中,与模拟传输方式相比传输延迟变长,会产生由声侧回波消除器EC1未抑制完的残留回波,因此需要通过回波抑制器ES来增加回波抑制量。此外,回波抑制器ES需要使残留回波有效衰减,而另一方面,需要使应该送出的声音信号(讲话声音信号)不衰减。
回波抑制器ES与声音切换器VS连动地使讲话声音信号衰减,具体地说,如图7的流程图所示那样进行动作。即,回波抑制器ES始终监视声音切换器VS的状态(插入损失量分配处理部104对通话状态<接听状态或讲话状态>的估计结果)(步骤1),在声音切换器VS处于接听状态的情况下视为不存在应该送出到信号路径的讲话声音信号,通过使输入信号乘以规定的衰减系数(乘法运算)来使输入信号衰减后输出(步骤2)。另一方面,在声音切换器VS不是接听状态的情况下,回波抑制器ES判断为不存在应该消除的残留回波或存在应该送出的讲话声音信号,不使输入信号乘以衰减系数,由此使输入信号不衰减地以原本的水平输出(步骤3)。
于是,即使在与对方侧的通话装置(大厅对讲机LI、管理室装置X、其它住户机A)之间传输的声音中发生传输延迟的情况下,也能够通过回波抑制器ES来使由于该传输延迟而在讲话声音信号的信号路径中产生的残留回波衰减。其结果,在包传输方式下也能够可靠地实现双方向的同时通话。在此,在声音切换器VS不是接听状态的情况下,例如处于讲话状态的情况下,若回波抑制器ES对讲话声音信号进行衰减,则会错误地使近端侧讲话者(用住户机A进行通话的居民)所发出的声音衰减,由此有可能产生从对方侧的通话装置听到的近端侧讲话者的声音忽大忽小的声音的抑扬。然而在本实施方式中,在声音切换器VS处于接听状态时,回波抑制器ES使输入信号衰减,而在声音切换器VS不是接听状态时回波抑制器ES不使输入信号衰减,因此不会产生如上所述的声音的抑扬,而能够仅使通话时的不舒服的回波(残留回波)衰减。此外,语速转换处理部SE是执行与第一软件中包含的语速转换处理的程序相同的程序来实现的,因此省略说明。
图9是用于说明声音数据缺失补偿处理(下面简称为“补偿处理”)的基本原理的声音信号的波形图。在图9中,纵轴表示从传输处理部7输入到通话处理部2的接听声音信号的强度,横轴表示时间。当声音包的接收失败而产生包丢失(声音数据的缺失)时,声音数据缺失补偿处理部VC将紧接在产生包丢失之前的规定期间的接听声音信号设定为基准信号(模板(template))。
接着,使该模板相对于接听声音信号从产生包丢失的时间点向过去滑动,并且执行模板与接听声音信号的相关运算,检测紧接在产生包丢失之前的接听声音信号的基本周期(音高周期)。然后,从包丢失产生起朝向过去追溯来取出一个音高周期的接听声音信号,通过将该接听声音信号重复应用于丢失期间来对丢失期间(声音数据缺失的期间。下同。)进行补偿。在此,以一个音高周期的接听声音信号对丢失期间进行补偿是因为,在讲话者例如发出“啊”的声音的情况下,该“啊”的声音被划分(分包)为20msec左右而载入一个声音包上被发送,因此在丢失期间,紧接在产生包丢失之前的一个音高周期的接听声音信号重复的可能性高。
如图8所示,声音数据缺失补偿处理部VC具备延迟波动吸收缓冲器(抖动缓冲器)20、计时器21、包丢失检测部22、检测处理部23以及补偿处理部24。其中,这些各部是通过由通话处理部2的DSP执行声音数据缺失补偿处理程序来实现的。
在此,声音包的头中保存有对原本的声音信号进行分割(分包)时按顺序分配的编号(序列号),能够通过使声音包的声音数据(接听声音信号)按序列号的顺序接在一起来恢复原本的声音信号。然后,传输处理部7按照序列号将接收到的接听声音信号(接听声音数据)按时间序列顺序输出到抖动缓冲器20。此外,声音包的头中除序列号以外还包含有时间戳。序列号表示声音包的发送顺序,时间戳表示声音信号在原本的声音波形中的相对位置。
抖动缓冲器20暂时保存从传输处理部7输出的接听声音数据,通过使该接听声音数据延迟规定时间后输出到检测处理部23来吸收声音包的延迟波动。
计时器21在包丢失检测部22检测包丢失时使用。包丢失检测部22在抖动缓冲器20向检测处理部23输出了接听声音数据的时间点使计时器21的计时开始,在抖动缓冲器20输出下一个接听声音数据之前计时器21的计时时间已超过设想为已产生包丢失的规定时间的情况下,判断为产生了包丢失。
在由包丢失检测部22检测出包丢失的情况下,检测处理部23对从抖动缓冲器20输出的接听声音数据进行基本周期(音高周期)的检测处理,在未由包丢失检测部22检测出包丢失的情况下,不对接听声音数据进行任何处理。此外,检测处理部23保存有过去固定期间的接听声音数据。
在此,检测处理部23具备模板设定部23a和音高周期检测部23b。模板设定部23a将从产生包丢失的丢失产生时间点起朝向过去的规定时宽的接听声音数据设定为模板。在此,随着音高周期检测部23b使模板的滑动量增大,模板设定部23a使模板的上述时宽增大。
音高周期检测部23b使由模板设定部23a设定的模板相对于接听声音数据从丢失产生时间点朝向过去滑动,求出模板与接听声音数据的互相关,基于模板与接听声音数据的相关峰呈现为最强时的滑动量来检测紧接在丢失产生时间点之前的接听声音信号的音高周期。
图10是用于说明模板设定部23a和音高周期检测部23b的处理的接听声音信号的波形图。此外,图10所示的纵轴表示接听声音信号的强度,横轴以样本数示出了时间。另外,图10所示的模板TJ表示在以往的补偿处理中使用的模板。
当产生包丢失时,在以往,例如将从丢失产生时间点RT起的过去的规定期间的接听声音信号设定为模板TJ。然后,通过使该模板TJ相对于接听声音信号从丢失产生时间点RT朝向过去滑动,来求出接听声音信号与模板TJ的互相关,基于得到最强的相关峰时的模板TJ的滑动量来检测接听声音信号的音高周期。
图11是示出了使用以往的模板TJ时的模板TJ与接听声音信号的相关值的运算结果的图表。此外,在图11中,使用以往周知的平均幅度差函数(Average Magnitude Difference Function)来计算相关值。另外,在图11中,纵轴表示相关值,横轴以样本数示出了将丢失产生时间点RT设为0时的时间。另外,图11是利用AMDF得到的相关值,因此值越小,接听声音信号与模板TJ的相关越强。
在图11中,首先,在第37个样本的时间点出现下凸的相关峰PK1,接着,在第47个样本的时间点出现下凸的相关峰PK2,以后,以大致37个样本的周期重复出现下凸的相关峰。而且,相关峰PK1出现得比相关峰PK2小。因此,在以往的方法中导致37个样本被检测为接听声音信号的音高周期。
另一方面,如图10所示,紧接在丢失产生时间点RT之前的接听声音信号的音高周期为47个样本。因此可知,通过以往的方法无法精确度良好地检测紧接在丢失产生时间点RT之前的接听声音信号的音高周期。
认为其原因如下:模板TJ的时宽远大于47个样本,在模板TJ中,只包含一个周期的作为检测对象的音高周期为47个样本的接听声音信号,而包含三个周期的不是检测对象的音高周期为37个样本的接听声音信号,因此在第37个样本处出现强的相关峰。
在这种情况下,从丢失产生时间点RT起朝向过去追溯来取出37个样本的接听声音信号,将该接听声音信号重复应用于丢失期间,由此进行补偿处理。
因此,丢失期间的波形与除丢失期间以外的波形难以平滑地连接,从而难以精确度良好地进行补偿处理。
另一方面,在模板的时宽小于47个样本的情况下,无法检测出47个样本的音高周期。
因此,在本实施方式中的检测处理部23中,如图10所示,随着模板TM的滑动量增大,来增大模板TM的时宽。
因此,例如如图10的第三段所示的模板TM那样,在使模板TM滑动某种程度时,该模板中会几乎只包含作为检测对象的47个样本的接听声音信号。另一方面,在图10的第四段的模板TM中,除了音高周期为47个样本的接听声音信号以外,还包含音高周期为37个样本的接听声音信号。因此,第三段的模板TM与接听声音信号的相关比第四段的模板TM与接听声音信号的相关表现得更强,能够精确度良好地检测紧接在丢失产生时间点RT之前的接听声音信号的音高周期。
在此,优选的是,音高周期检测部23b采用例如式(1)所示的AMDF来作为相关运算。
[数2]
&phi; ( &tau; ) = 1 N &Sigma; j = k + 1 k + N | x ( j ) - x ( j - &tau; ) | , N = a &CenterDot; &tau; - - - ( 1 )
其中,φ(τ)表示相关值,N表示模板TM的时宽,x(j)表示模板TM,x(j-τ)表示接听声音信号,k+1表示模板TM的开始点,a表示预先确定的系数,τ表示模板TM的滑动量,j表示接听声音信号的各采样点的采样编号。
另外,优选的是,模板设定部23a将模板TM的时宽设定为规定的初始时宽,直到模板TM的滑动量变为规定的滑动基准值为止。
通过这样,在模板TM的滑动量比较小的情况下,模板TM的时宽被设定为初始时宽,即使在滑动量小的情况下也能够将模板TM的时宽确保为一定的大小以上,从而能够更加精确度良好地求出模板TM与接听声音信号(输入信号)之间的相关。
并且,在模板TM的滑动量变为滑动基准值之前模板TM的时宽被设定为初始时宽,但是能够通过使该初始时宽比较短来减少计算量。
此外,作为初始时宽,优选采用所设想的接听声音信号的音高周期的最小值左右。另外,作为滑动基准值,例如采用初始时宽即可。
图12是说明模板设定部23a和音高周期检测部23b的处理的图。图12所示的直线上的各点表示接听声音信号的采样点。另外,右端的采样点表示丢失产生时间点RT,各采样点随着趋向左而示出过去的采样点。另外,将丢失产生时间点RT设为第0个采样点。接听声音信号的音高周期在短的情况下为3msec左右,当将采样频率设为8kHz时,相当于24个样本。因而,作为初始时宽,例如设为24个样本即可,而在图12中,为了便于说明,将模板TM的初始时宽设为4,设a=1,将滑动基准值设为5。
首先,当产生包丢失时,音高周期检测部23b设定为τ=0,由于模板TM的初始时宽为4,因此将从丢失产生时间点RT起的向左第四个采样点设定为基准采样点k,以随着从k趋向丢失产生时间点RT逐次增加1的方式对各采样点赋予采样编号,以随着从k朝向过去逐次减少1的方式对各采样点赋予采样编号。
然后,模板设定部23a将接听声音信号x(k+1)~x(k+4)设定为模板TM0。
然后,音高周期检测部23b使用式(1)来计算模板TM0与接听声音信号x(j-0)的相关值φ(0)。在这种情况下,模板TM0被应用在声音信号x(k+1)~x(k+4)。
接着,音高周期检测部23b设定为τ=1,与τ=0同样地,使用式(1)来计算模板TM0与声音信号x(j-1)的相关值φ(1)。在这种情况下,模板TM0被应用在声音信号x(k)~x(k+3)。
以下,直到成为τ=4为止,使模板TM0相对于接听声音信号朝向过去滑动,使用式(1)来计算φ(2)、φ(3)、φ(4)。
接着,音高周期检测部23b若设定为τ=5,则τ≥滑动基准值(=5),因此将从丢失产生时间点RT起的向左第五个采样点设定为基准采样点k。然后,模板设定部23a将声音信号x(k+1)~x(k+5)设定为模板TM5。然后,音高周期检测部23b使用式(1)来求出模板TM5与声音信号x(j-5)的相关值φ(5)。在这种情况下,模板TM5被应用在声音信号x(k-4)~x(k)。
接着,音高周期检测部23b设定为τ=6,将从丢失产生时间点RT起的向左第六个采样点设定为基准采样点k。然后,模板设定部23a将接听声音信号x(k+1)~x(k+6)设定为模板TM6。然后,音高周期检测部23b使用式(1)来求出模板TM6与接听声音信号x(j-6)的相关值φ(6)。在这种情况下,模板TM6被应用在声音信号x(k-5)~x(k)。
以后,直到τ变为作为最大滑动量的τmax为止,音高周期检测部23b重复进行上述处理并求出φ(τ)。由此,模板TM的时宽随着滑动量增大而增大。
图13示出了针对图10所示的接听声音信号使用本实施方式的方法来求出相关值φ(τ)时的相关值φ(τ)的图表。此外,在图13中,纵轴表示相关值φ(τ),横轴以样本数示出了时间。另外,在图13中,通过AMDF来计算相关值φ(τ)。因而,与图11同样地,越是相关值低的相关峰,接听声音信号与模板TM的相关越强。
在图13中,在从丢失产生时间点RT(=0)起经过大约47个样本时出现下凸的相关峰PK1,接着,在从相关峰PK1出现起经过大约37个样本时出现下凸的相关峰PK2,以后,每经过大约37个样本就会出现下凸的相关峰。另外,相关峰的值随着时间经过而变大,模板TM与接听声音信号的相关变弱。此外,当将采样频率设为8kHz时,37个样本相当于37×0.125msec=4.625msec,47个样本相当于47×0.125=5.875msec。
即,图13所示的相关峰中的使模板TM偏离47个样本时的相关峰PK1最小。
因此,音高周期检测部23b将作为最小的相关峰PK1出现的时刻的47个样本检测为紧接在丢失产生时间点RT之前的接听声音信号的音高周期。因而可知,音高周期检测部23b能够检测出作为图10所示的紧接在丢失产生时间点RT之前的接听声音信号的音高周期的47个样本。
补偿处理部24从丢失产生时间点RT起朝向过去取出由音高周期检测部23b检测出的一个音高周期的接听声音信号,进行利用所取出的接听声音信号来补偿产生包丢失的丢失期间的补偿处理。
在此,补偿处理部24例如被输入图10所示的接听声音信号,当音高周期检测部23b检测出47个样本作为音高周期时,该补偿处理部24从丢失产生时间点RT起朝向过去取出47个样本的接听声音信号,将所取出的接听声音信号重复应用至丢失期间的最后来对丢失期间进行补偿。
图14是表示声音数据缺失补偿处理部VC的动作(声音数据缺失补偿处理)的过程的流程图。此外,在图14的流程图中,为了便于说明,设a=1。首先,在步骤S1中,当包丢失检测部22检测出包丢失时(步骤S1),音高周期检测部23b设定为τ=0(步骤S2)。
接着,模板设定部23a基于接听声音信号设定与τ的值相应的时宽的模板TM(步骤S3)。此时,在τ<滑动基准值的情况下,模板设定部23a将模板TM的时宽设定为初始时宽,在τ≥滑动基准值的情况下,模板设定部23a将模板TM的时宽设定为N=τ。
接着,音高周期检测部23b设定基准采样点k以使k+1为模板TM的开始点,并对各采样点赋予采样编号(步骤S4)。
接着,音高周期检测部23b使用式(1)来计算模板TM与接听声音信号的相关值(步骤S5)。
接着,音高周期检测部23b使τ=τ+1(步骤S6)。接着,在τ≥滑动基准值的情况下(步骤S7),即模板TM的滑动量超过了滑动基准值的情况下,音高周期检测部23b使处理进入步骤S8,在τ<滑动基准值的情况下(步骤S7),音高周期检测部23b使处理返回到步骤S5。通过重复步骤S5~S7的处理,在变为滑动基准值之前,初始时宽的模板TM相对于接听声音信号朝向过去滑动。
在步骤S8中,在τ<τmax的情况下(步骤S8),处理返回到步骤S3,重复步骤S3~S8的处理直到τ≥τmax为止。由此,模板TM的时宽随着作为滑动量的τ增大而增大。
在步骤S8中,在变为τ≥τmax的情况下(步骤S8),音高周期检测部23b基于通过步骤S5计算出的相关值来检测相关峰,确定所检测出的相关峰中的、模板TM与接听声音信号的相关最强的相关峰的滑动量,基于所确定的滑动量来检测音高周期(步骤S9)。在此,在采用了式(1)的情况下,相关值表示最小值的相关峰表示模板TM与接听声音信号的最强的相关。
另外,音高周期检测部23b只要通过使所确定的滑动量乘以声音信号的采样周期来计算音高周期即可。
接着,补偿处理部24按照通过步骤S9检测出的音高周期取出接听声音信号,使用所取出的接听声音信号对丢失期间进行补偿(步骤S10)。
此外,在图12的说明中,模板设定部23a设定为a=1,但是并不限定于此,也可以在模板TM的滑动量超过规定的变更基准值之前将a设定为1≤a<2的范围内的规定的固定值,当滑动量超过变更基准值时,随着滑动量接近最大滑动量(τmax),使a的值逐渐减少以接近1。例如能够采用上述的滑动基准值来作为变更基准值。
由此,在滑动量小的情况下,能够将模板TM的时宽设定为比滑动量大,在滑动量大的情况下,能够将模板TM的时宽设定为滑动量程度的值。因此,在滑动量小的情况下,能够防止由于模板TM的时宽过小所导致的相关运算精确度的降低。
另外,作为相关运算,也可以采用以往周知的互相关、平均方差函数(Average Square Difference Function)等的方法来代替式(1)所示的AMDF。
这样,根据本实施方式中的声音数据缺失补偿处理部VC,将从包丢失的产生时间点RT起朝向过去的某一时宽的接听声音信号设定为模板TM。然后,使所设定的模板TM相对于接听声音信号从当前时刻朝向过去滑动。然后,求出模板TM与接听声音信号的相关,检测接听声音信号的音高周期。
在此,模板TM的时宽随着滑动量增大而增大。因而,在滑动量小的比较初始的阶段,产生将几乎紧接在当前时刻之前的一个音高周期的接听声音信号设为模板TM的时机。此时,在模板TM与接听声音信号之间出现强的相关峰。另一方面,当滑动量变大时,与此相应地模板TM的时宽也增大,使得模板TM中包含多个频率成分。因此,无法得到如上述的时机下得到的相关峰那样强的相关峰。因此,能够精确度良好地检测出几乎紧接在当前时刻之前的接听声音信号的音高周期。
如图15所示,波动吸收处理部JA具备抖动缓冲器30、计数部31、缓冲器大小变更部32、接收时刻记录部33、基准值存储部34、隐藏处理部35、输出部36以及观测历史记录保存部37。其中,这些各部是通过由通话处理部2的DSP执行第二软件中的波动吸收处理程序来实现的。另外,抖动缓冲器30是与声音数据缺失补偿处理部VC的抖动缓冲器20共用的。
接收时刻记录部33将传输处理部7接收到声音包(接听声音包)的时刻(时间戳)与接收到的包的序列号相对应地进行记录。
抖动缓冲器30例如由环形缓冲器(ring buffer)构成,将由传输处理部7接收到的包按时间序列顺序储存。由此,吸收经由信号干线Ls传输的声音包的传输延迟的波动。此外,作为抖动缓冲器30的大小,采用比后述的基准值大的大小。
计数部31按对声音进行分包的周期(分包周期)以下的规定周期(计数周期),对抖动缓冲器30中储存的储存包数进行计数,由此计算包计数值。然后,由计数部31计算出的包计数值被保存在观测历史记录保存部37中。观测历史记录保存部37例如由易失性的半导体存储器构成,保存由计数部31计算出的过去N(N为正整数)次的包计数值。
图16是由计数部31进行的包计数值的计算处理的说明图。如图16所示,计数部31按计数周期Tb计算包计数值。
在此,计数部31关于从作为包计数值的计算时机的计算时刻Tk起的过去的分包周期Ta内接收到的包PS,将计数值设定为根据ΔT/Ta得到的值,关于从计算时刻Tk起的过去的分包周期Ta以前接收到的包PL,将计数值设定为1,由此计算包计数值。即,关于包PS的包计数值,随着接收时刻接近计算时刻Tk,差ΔT变小,因此其值变小。
在此,关于包PS,在计算其包计数值时使用接收时刻,因此需要保存接收时刻。另一方面,关于包PL,在计算其包计数值时不需要接收时刻,因此无需记录接收时刻。
因此,当包计数值的计算处理结束时,计数部31将从计算时刻Tk起的过去的、分包周期Ta与计数周期Tb之差(=Ta-Tb)以前接收到的包的接收时刻从接收时刻记录部33删除。
由此,在作为包计数值的下一个计算时刻的时刻Tk+1,过去的分包周期Ta内接收到的包的接收时刻保存在接收时刻记录部33中,其结果,计数部31在时刻Tk+1能够获取过去的分包周期Ta内接收到的包的接收时刻。通过这样,能够节约接收时刻记录部33的容量。
缓冲器大小变更部32从观测历史记录保存部37读出由计数部31计算出的包计数值的过去N次的包计数值,从所读出的N次包计数值中,将第n小的包计数值计算为包计数值的代表值,如果计算出的代表值大于规定的基准值,则删除抖动缓冲器30中储存的包,如果代表值小于基准值,则在抖动缓冲器30中插入包。此外,基准值存储在基准值存储部34中。
在此,在代表值小于基准值的情况下,缓冲器大小变更部32只要在抖动缓冲器30中插入包以使代表值变为基准值以上且小于基准值+1即可。例如,在代表值为2.1、基准值为4的情况下,在抖动缓冲器30中插入两个包以使代表值为4.1。另外,在代表值大于基准值的情况下,缓冲器大小变更部32只要从抖动缓冲器30删除包以使代表值变为基准值以上且小于基准值+1即可。例如,在代表值为4.2、基准值为2的情况下,从抖动缓冲器30删除两个包以使代表值为2.2。
此外,作为n,优选采用通过N×α化为整数值后得到的值。另外,作为基准值,采用基于集合住宅用对讲系统在对讲通话(通过包传输方式进行的通话)中允许的通话延迟时间而预先确定的值。即,如果抖动缓冲器30的储存包数大于基准值,则在抖动缓冲器30中,等待输出的包数增大,因此发生通话延迟。因此,在如上所述那样作为第n个包计数值的代表值大于基准值的情况下,通过从抖动缓冲器30删除包,能够防止通话延迟。
另一方面,在作为第n个包计数值的代表值小于基准值的情况下,在抖动缓冲器30中插入包。由此,能够使储存包数为基准值以下的概率为α(=n/N)%。
隐藏处理部35对插入在抖动缓冲器30中的无效包(不包含声音的包。下同。)进行包丢失隐藏处理,并且在抖动缓冲器30中包已枯竭的情况下进行包丢失隐藏处理。在此,作为包丢失隐藏处理,只要例如采用以下的方法即可:基于比无效包靠过去的接听声音信号来检测接听声音信号的音高周期,在紧接在无效包之前的有效包(包含声音的包。下同。)的接听声音信号中,取出末端前的一个音高周期的区间的声音波形,将通过使该声音波形在分包周期(例如20msec)的期间重复而得到的声音波形生成为无效包的接听声音信号。此外,关于音高周期的检测,只要采用与上述的声音数据缺失补偿处理中的音高周期检测处理共同的方法即可。
在抖动缓冲器30的储存包数为基准值以上的情况下,输出部36与分包周期Ta同步地从抖动缓冲器30按时间序列顺序读出包(接听声音数据)并输出到接听声音信号的信号路径。在此,在从抖动缓冲器30取出的包是不包含声音的无效包的情况下,输出部36使隐藏处理部35执行包丢失隐藏处理,输出执行处理后的声音数据。
观测历史记录保存部37例如由非易失性的半导体存储器构成,保存由计数部31计算出的过去N次的包计数值。
图17是用于说明抖动缓冲器30的作用的图。如图17所示,包含接听声音信号的包按分包周期(在图示例中为20msec)从对方的通话终端(大厅对讲机LI、管理室装置X或者其它住户的住户机)进行发送。在图17中,示出了以20msec为间隔发送被附加了1~8的编号(序列号)的8个包的状况。
从对方的通话终端发送的包经由信号干线Ls被住户机A所接收。在此,由于大量的包(声音包、影像包、控制包)经由信号干线Ls进行多路传输,因此从对方的通话终端按分包周期发送的声音包到达住户机A的时间(传输延迟)按每个声音包而大不相同,从而产生所谓的传输延迟的波动。因此,住户机A对声音包的接收间隔为非等间隔。
因此,为了吸收该传输延迟的波动而设置了抖动缓冲器30。在图17中,抖动缓冲器30的缓冲器大小被设为与三个包相当的大小。另外,输出部36在从接收到第1个包后经过了延迟时间Td的时刻T1,对第1个包实施解码处理和D/A转换处理后开始输出。
在图17的情况下,在作为从时刻T1经过20msec后的第2个包的输出时刻的时刻T2,抖动缓冲器30已储存了第2个包。因此,输出部36能够在时刻T2输出第2个包。
另一方面,由于第3个包的传输延迟极大,因此在时刻T3未到达住户机A,在抖动缓冲器30中产生包的枯竭。因此,输出部36在时刻T3无法输出第3个包,从而发生丢音(声音数据的缺失)。
另外,第3~7个包在拥塞解除后短时间内连续到达住户机A,在第7个包到达住户机A时,抖动缓冲器30中存在第5、6个包,但是抖动缓冲器30中仍有空地,因此不将第7个包废弃而保存在抖动缓冲器30中。因此,在时刻T7,从输出部36输出第7个包。
这样,传输延迟的波动的特性动态地发生变化,因此若使抖动缓冲器30的缓冲器大小为固定大小,则不得不使其充分长到比所设想的传输延迟的波动长。另外,如果使抖动缓冲器30的缓冲器大小充分长且使延迟时间Td充分长,则能够防止发生丢音,但是当延迟时间Td长时,在抖动缓冲器30中,等待输出的包增大,从而会发生通话延迟。
图18示出了表示传输延迟与传输延迟的发生频率之间的关系的传输延迟特性的图表的一例。此外,在图18中,纵轴表示发生频率,横轴表示传输延迟。另外,图19是用于说明抖动缓冲器30的最佳缓冲器大小的图。在图18中,dmin表示最小的传输延迟,dmax表示最大的传输延迟。在图19中,第k-1个包的传输延迟为dmin,第k个包的传输延迟为d,第k+1个包的传输延迟为dmax。
在这种情况下,输出部36的最佳的输出等待时间如下所述。i)以dmax到来的包直接输出。ii)以dmin到来的包等待dmax-dmin后输出。iii)以d到来的包等待dmax-d后输出。
因此,为了避免在抖动缓冲器30中包枯竭,只要将抖动缓冲器30的缓冲器大小buf设为buf≥dmax-dmin即可,但是当传输延迟特性的dmax极大时,即当图18的图表的右端的尾极长时,缓冲器大小buf的值会变大。另外,如图18的图表所示,随着传输延迟增大,发生频率降低,因此要观测真正的dmax需要观测庞大数量的包的传输延迟。因此,在图18的图表中,不将真正的dmax视作dmax,而是将舍去传输特性的分布的高位几%的值视作dmax。在这种情况下,当发生被视作dmax的值以上的传输延迟时,发生包的枯竭。
因而,为了防止包枯竭,优选将视作dmax的值设定得大,但是反之若视作dmax的值过大则缓冲器大小buf增大,在抖动缓冲器30中,等待输出的等待包增大,其结果,会发生输出延迟。这种输出延迟在包传输方式的对讲通话中作为通话延迟而出现,因此优选尽可能将其抑制得低。因此,通过执行上述的处理,在防止包枯竭的同时,还谋求防止通话延迟。
图20是表示波动吸收处理部JA的波动吸收处理的流程图。首先,在步骤S1中,计数部31判断是否从上次计算包计数值的计算时机后经过计数周期Tb而变为包计数值的计算时机。然后,计数部31当判断为已变为包计数值的计算时机时(步骤S1:“是”)对作为当前储存在抖动缓冲器30中的包数的储存包数进行计数(步骤S2)。另一方面,计数部31当判断为未变为包计数值的计算时机时(步骤S1:“否”),使处理返回到步骤S1。
接着,计数部31执行包计数值的计算处理,来计算包计数值(步骤S3)。
图21是表示包计数值的计算处理的详情的流程图。首先,计数部31将当前时刻指定为包计数值的计算时刻(步骤S21)。在此,住户机A的控制部1具有钟表功能,因此能够使用该钟表功能来指定计算时刻。
接着,计数部31确定抖动缓冲器30所储存的包中的、如图16所示那样从计算时刻Tk起的过去的分包周期Ta内接收到的各包的接收时刻(步骤S22)。在这种情况下,计数部31通过确定与接收时刻记录部33中记录的接收时刻相对应的序列号,来确定各包的接收时刻。
接着,计数部31关于从计算时刻Tk起的过去的分包周期Ta内接收到的各包,计算计算时刻Tk与接收时刻之差ΔT(步骤S23)。接着,计数部31关于过去的分包周期Ta内接收到的各包,计算ΔT/Ta,将该ΔT/Ta设定为各包的计数值(步骤S24)。
接着,计数部31将抖动缓冲器30所储存的包中的从计算时刻Tk起的过去的分包周期Ta以前接收到的包的计数值设定为1(步骤S25)。
接着,计数部31使用通过步骤S24、S25设定的计数值来对抖动缓冲器30的储存包数进行计数,由此计算出包计数值(步骤S26)。例如,当从计算时刻Tk起的过去的分包周期Ta以前接收到的包数为一个、从计算时刻Tk起的过去的分包周期Ta内接收到的包数为两个、将这两个包的接收时刻设为Ti、Tj时,包计数值为1+(Tk-Ti)/Ta+(Tk-Tj)/Ta。
接着,计数部31将从计算时刻Tk起的过去的Ta-Tb以前接收到的包的接收时刻从接收时刻记录部33删除(步骤S27)。
返回到图20的流程图,在步骤S4中,计数部31使计算时刻Tk的包计数值保存在观测历史记录保存部37中。在这种情况下,计数部31将最旧的包计数值从观测历史记录保存部37删除,使得观测历史记录保存部37中保存的包计数值的个数为N个。
接着,缓冲器大小变更部32将观测历史记录保存部37中存储的N个包计数值中的第n小的包计数值指定为代表值(步骤S5)。
图22是示出了包计数值与包计数值的计算时刻之间的关系的示意图,纵轴表示包计数值,横轴表示包计数值的计算时刻。在图22中,设为N=9、n=3。因而,由于图22示出的从左端起的第2个时刻Tk-7的包计数值为第3小,因此缓冲器大小变更部32将时刻Tk-7的包计数值指定为代表值。
接着,缓冲器大小变更部32判断代表值是否大于基准值,在代表值≥基准值+1的情况下(步骤S6:“是”),从抖动缓冲器30删除使代表值为基准值以上且小于基准值+1的个数的包(步骤S7)。
接着,缓冲器大小变更部32从观测历史记录保存部37所保存的N个包计数值的各个计数值减去步骤S7中删除的包数,来对N个包计数值进行更新,更新观测历史记录(步骤S8)。例如,当设删除的包数为1个时,从N个包计数值全部减去1。由此,使从抖动缓冲器30删除了包的事实反映到观测历史记录中。
另一方面,在步骤S6中,在代表值小于基准值+1(步骤S6:“否”)且代表值为基准值以上(步骤S9:“否”)的情况下,缓冲器大小变更部32不对抖动缓冲器30进行包的删除和插入(步骤S10)。
另一方面,在代表值<基准值的情况下(步骤S9:“是”),缓冲器大小变更部32在抖动缓冲器30中插入使代表值为基准值以上且小于基准值+1的个数的包(步骤S11)。
接着,缓冲器大小变更部32使观测历史记录保存部37所保存的N个包计数值的各个包计数值与步骤S11中插入的包数相加,来对N个包计数值进行更新,更新观测历史记录(步骤S12)。例如,当设插入的包数为1个时,使N个包计数值全部加上1。由此,使对抖动缓冲器30插入了包的事实反映到观测历史记录中。
然后,当步骤S8、S10或S12的处理结束时,处理返回到步骤S1,当下一个包计数值的计算时刻到来时,执行步骤S2以后的处理。
图23的A是示出了由缓冲器大小变更部32进行包插入时的处理的示意图,图23的B是示出了由缓冲器大小变更部32进行包删除时的处理的示意图。在图23的A的例子中,缓冲器大小变更部32在作为有效包的第4个包与第5个包之间插入无效包。在图23的B的例子中,缓冲器大小变更部32将作为有效包的第4个包和第5个包重叠相加来使两个包长成为一个包长,由此删除一个包。
这样,在波动吸收处理部JA中,基于抖动缓冲器30的储存包数来计算包计数值,将过去N次的包计数值中的第n小的包计数值指定为代表值。然后,如果所指定的代表值大于基准值则从抖动缓冲器30删除包。因此,在基于包计数值的过去的历史记录存在抖动缓冲器30的储存包数比基准值大的倾向而发生输出延迟的情况下,从抖动缓冲器30删除包,因此输出延迟降低。另一方面,在基于包计数值的过去的历史记录存在抖动缓冲器30的储存包数比基准值小的倾向而发生包的枯竭的可能性高的情况下,在抖动缓冲器30中插入包,因此能够防止包枯竭。
接着,说明波动吸收处理中的包计数值的另一种计算方法。在此,接收时刻记录部33中仅记录最新的包的接收时刻。
计数部31关于最新的包,将计数值设定为根据计算时刻Tk与最新的包的接收时刻之差ΔT/Ta而得到的值,将除其以外的包的计数值设定为1来计算包计数值。
如图24所示,在抖动缓冲器30中储存有从计算时刻Tk起的过去的分包周期Ta内接收到的包的情况下,计数部31从分包周期Ta内接收到的包中指定接收时刻最新的包PS,将最新的包PS的计数值设定为ΔT/Ta。另一方面,计数部31将抖动缓冲器30所储存的包中的除最新的包PS以外的包PL1、PL2的计数值一律设定为1。在这种情况下,计数部31只要知道作为从计算时刻Tk起的过去的分包周期Ta内接收到的包的最新的包PS的接收时刻即可,因此在包计数值的计算处理结束之后,删除接收时刻记录部33中记录的接收记录。
参照图25的流程图来详细说明上述包计数值的计算处理。图25中的步骤S31、S33、S34、S36与图21中的步骤S21、S23、S24、S26相同,因此省略说明。在图25中的步骤S32中,计数部31指定在抖动缓冲器30中从计算时刻Tk起的过去的分包周期Ta内接收到的包中的最新的包的接收时刻。另外,计数部31将从计算时刻Tk起的除最新的包以外的包的计数值一律设定为1(步骤S35)。然后,在步骤S37中,计数部31将最新的包的接收时刻从接收时刻记录部33删除。
如果通过上述的方法来计算包计数值,则只要记录最新的包的接收时刻即可,因此能够进一步节约接收时刻记录部33的容量。
另外,在通过包传输方式进行的声音传输中,有时会由于在传输路中突然发生包的滞留所导致的突发性延迟变动(突发延迟),而发生500msec以上的断音。因而,在波动吸收处理部JA中,判断是否发生突发延迟,在发生了突发延迟的情况下,优选的是缩短要参照的过去的包计数值的窗宽,基于缩短后的窗宽内的包计数值来计算代表值。
因此,计数部31使计算出的包计数值与用于表示各包计数值的时间序列顺序的索引相对应地保存在观测历史记录保存部37中。具体地说,观测历史记录保存部37保存过去N次的包计数值,因此计数部31以使最新的包计数值的索引为N而最旧的包计数值的索引为1的方式对过去N次的包计数值附加索引,使得索引随着计算时刻变新而增大。另外,计数部31基于观测历史记录保存部37中保存的过去N次的包计数值来判断是否存在突发延迟,在判断为发生了突发延迟的情况下,从过去N次的包计数值中提取过去M(M<N)次的包计数值。
在此,计数部31如下所述那样判断是否存在突发延迟。图26是用于说明判断是否存在突发延迟的判断处理的图表。在图26中,纵轴表示包计数值,横轴表示索引。另外,设N=100。
首先,计数部31确定基准值以下的包计数值。在图26的例子中,点PP1~PP6的包计数值为基准值以下。接着,计数部31确定基准值以下的包计数值中的、索引最小即最旧的点和索引最大即最新的点。在图26的例子中,计数部31指定点PP1和点PP6。
接着,计数部31求出最小的索引与最大的索引之差ΔI。然后,如果该差ΔI小于预先确定的阈值,则计数部31判断为发生了突发延迟,如果该差ΔI大于阈值则判断为未发生突发延迟。
图27是表示发生了突发延迟的情况下的包计数值与索引之间的关系的图表。在图27中,纵轴表示包计数值,横轴表示索引。在图27的例子中,点PP1~点PP5的包计数值为基准值以下。而且,点PP1的索引最小,点PP5的索引最大。而且,点PP1的索引与点PP5的索引之差ΔI小于阈值。因此,计数部31判断为发生了突发延迟。
然后,计数部31当判断为如图27所示那样发生了突发延迟时,提取从计算时刻Tk起的过去M个包计数值。在此,作为M,能够采用将使ΔI乘以规定的系数β(0<β≤1)后得到的值(=β·ΔI)化为整数后得到的值。
然后,缓冲器大小变更部32将过去M个包计数值中的第m小的包计数值计算为代表值。下面,缓冲器大小变更部32将代表值与基准值进行比较,来在抖动缓冲器30中插入或删除包。在此,作为m,能够采用将M×α化为整数后得到的值。
这样,在发生了突发延迟的情况下,缩小要参照的过去的包计数值的窗宽来对抖动缓冲器30进行包的插入或删除。因此,能够排除只偶尔发生的突发延迟来计算代表值。
另外,在波动吸收处理部JA中,在连续产生0的储存包数的情况下,优选如下那样计算包计数值。
具体地说,在连续产生0的储存包数的情况下,计数部31将随着0的储存包数连续的次数增大而绝对值增大的负的值计算为上述包计数值。
图28的A和图28的B是说明上述计数部31的处理的图。在图28的A中,在计数周期Tb的各区间中,在紧接在包计数值的计算时刻Tk-4、Tk-3、Tk-2、Tk-1之后分别接收到包。另外,输出部36在各区间中,在接收到包之后起下一个包计数值的计算时刻Tk-3、Tk-2、Tk-1、Tk经过之前的期间从抖动缓冲器30读出包(接听声音数据)。例如紧接在计算时刻Tk-4之后接收到的包在下一个计算时刻Tk-3经过之前被读出。因此,在各计算时刻Tk-4、Tk-3、Tk-2、Tk-1、Tk,抖动缓冲器30中的储存包数为0。因此,导致计数部31在各个计算时刻Tk-4、Tk-3、Tk-2、Tk-1、Tk,将包计数值计算成0。
另一方面,在图28的B中,在计算时刻Tk-4的不久前接收到一个包以后不再接收到包。此外,在计算时刻Tk-4的不久前接收到的包在计算时刻Tk-4经过后起至下一个计算时刻Tk-3经过之前的期间被读出。在这种情况下,虽然计算时刻Tk-4的储存包数为1,但是除其以外的各计算时刻Tk-3、Tk-2、Tk-1、Tk的储存包数也为0,因此导致计数部31在各个计算时刻Tk-3、Tk-2、Tk-1、Tk,将包计数值计算成0。
然而,在图28的A和图28的B中,信号干线Ls的状况大不相同。即,在图28的A中,包定期地到达住户机A,输出部36能够连续地进行输出,但是在图28的B中,包并非定期地到达住户机A,因此输出部36无法连续地进行输出。
为了对它们加以区分,计数部31进行下述的处理。首先,将计算时刻(当前时刻)与最新的包的接收时刻之差和计数周期Tb进行比较。如果该差小于计数周期Tb,则判断为是图28的A的状况而结束处理。另一方面,在该差大于计数周期Tb的情况下,判断为在上次的计算时刻以后未接收到包、即是图28的B的状况,进行以下的处理。即,如图28的B所示,在计算时刻Tk-3,储存包数为0,在计算时刻Tk-2,储存包数也为0,在计算时刻Tk-2,0的储存包数的连续次数为1次。在这种情况下,计数部31将0计算为计算时刻Tk-2的包计数值。
另外,在计算时刻Tk-1,0的储存包数的连续次数为2次。因此,计数部31将从作为连续次数的2次减去1后得到的值乘以-1后得到的值、即-1计算为计算时刻Tk-1的包计数值。在计算时刻Tk,0的储存包数的连续次数为3,因此计数部23将从作为连续次数的3次减去1后得到的值乘以-1后得到的值、即-2计算为计算时刻Tk的包计数值。因此,计数部31将(连续次数-1)·(-1)计算为包计数值。
由此,能够考虑如图28的A那样虽然能够定期地接收包但是在计算时刻储存包数偶尔会变为0的情况与如图28的B那样无法定期地接收包的情况的差别来计算包计数值。因而,与图28的A的情况相比,在图28的B的情况下难以从抖动缓冲器30删除包。
接着,具体说明在抖动缓冲器30中插入或删除包的处理。缓冲器大小变更部32在要从抖动缓冲器30删除一个包的情况下,如果连续存在两个以上包含声音的有效包,则将该连续的有效包中的位于中间的连续的两个有效包重叠相加,以删除一个包。
图29的A、图29的B以及图29的C是缓冲器大小变更部32通过重叠相加来删除一个包的处理的说明图,图29的A表示删除前的抖动缓冲器30,图29的B表示删除后的抖动缓冲器30。
图29的A、图29的B以及图29的C所示的读指针RP表示具有环形缓冲器结构的抖动缓冲器30的开始地址,写指针WP表示抖动缓冲器30的结束地址。另外,在图29中,各方格表示一个包,方格内的数字表示包的时间序列的顺序。另外,内部为白色的方格表示无效包,内部为灰色的方格表示有效包。
在图29的A的情况下,不是位于第1个~第2个有效包的区间、而是位于第4个~第7个有效包的区间的第5个和第6个有效包如图29的B所示那样通过重叠相加而汇总为一个包,从而删除一个包。
在此,当在图29的A所示的第1个~第2个有效包的区间进行重叠相加时,通过重叠相加而生成的一个包之后存在无效包,因此进行包丢失隐藏处理的情况下的声音劣化有可能会变大。另一方面,当将第5个有效包和第6个有效包重叠相加时,通过重叠相加而生成的一个包的前后的包为有效包,因此能够减小包丢失隐藏处理所引起的声音劣化。
即,如果有效包连续两个以上,则能够通过重叠相加来删除一个包,而在有效包的连续数多的区间进行重叠相加的情况下,更能够减少进行了包丢失隐藏处理时的声音劣化。
因此,在抖动缓冲器30中,在有效包连续的区间存在多个的情况下,使用有效包的连续数多的区间的中间的有效包来进行重叠相加。
在此,作为重叠相加,如图29的C所示,能够采用使用了三角窗函数RF1、RF2的重叠相加。具体地说,缓冲器大小变更部32只要进行以下处理即可:对第5个包的声音信号进行使用了三角窗函数RF1的窗函数处理,对第6个包的声音信号进行使用了三角窗函数RF2的窗函数处理,使窗函数处理后的两个声音信号相加来生成一个声音信号,通过将其分包成一个来进行重叠相加。
在此,作为三角窗函数RF1,能够采用时宽为20msec、最大值为1、最小值为0、且随着时间经过而值减少的一次函数。另外,作为三角窗函数RF2,能够采用时宽为20msec、最大值为1、最小值为0、且随着时间经过而值增大的一次函数。
另外,缓冲器大小变更部32在要从抖动缓冲器30删除包的情况下,如果存在过去插入的无效包,则删除该无效包。
图30的A和图30的B是缓冲器大小变更部32删除一个无效包的处理的说明图,图30的A表示删除前的抖动缓冲器30,图30的B表示删除后的抖动缓冲器30。
在图30的A中,第3个包和第4个包是无效包。因此,缓冲器大小变更部32通过删除第3个包和第4个包中的某一个来删除一个包。在此,在抖动缓冲器30中存在多个无效包的情况下,例如,也可以随机地选择一个无效包并删除所选择的无效包。或者,在连续存在两个以上无效包的情况下,缓冲器大小变更部32也可以优先提取连续的区域的无效包,从提取出的无效包中随机地选择一个无效包来删除。
另外,缓冲器大小变更部32在要对抖动缓冲器30插入包的情况下,如果存在连续的两个有效包,则在这两个有效包之间插入无效包。
图31的A和图31的B是缓冲器大小变更部32插入一个包的处理的说明图,图31的A表示插入前的抖动缓冲器30,图31的B表示插入后的抖动缓冲器30。
如图31的A和图31的B所示,在第5个有效包与第6个有效包之间插入一个无效包。这是因为,在第5个有效包与第6个有效包之间插入一个无效包的情况下连续的有效包的个数会更多。
例如,即使在第1个有效包与第2个有效包之间插入无效包,由于所插入的无效包的前后存在有效包,因此也能够进行包隐藏处理。
然而,由于第2个有效包的前后为无效包,因此有效包的连续数会变小。另一方面,当在第5个有效包与第6个有效包之间插入无效包时,所有有效包都是连续的。在此,在进行包丢失隐藏处理的情况下,在有效包的连续数多时更能够减小声音劣化。因此,在抖动缓冲器30中有效包连续的区间存在多个的情况下,缓冲器大小变更部32在有效包的连续数多的区间的中间插入无效包。
另外,缓冲器大小变更部32预先确定能够一次插入或删除的包数的上限值。
图32的A和图32的B是用于说明对抖动缓冲器30一次插入五个包的情况下的处理的图,图32的A表示插入前的抖动缓冲器30,图32的B表示插入后的抖动缓冲器30。在图32的A和图32的B中,在第1个有效包与第2个有效包之间插入五个无效包。在这种情况下,由于无效包连续存在,因此声音劣化有可能会增大。因此,对无效包的插入个数设置上限值。在此,“一次”是指在上述的计数周期Tb到达时执行的1次处理。
例如,在图32的A中,当设定为上限值=3时,即使在需要插入五个无效包的情况下,也只插入三个无效包。
由此,防止无效包的连续数变为一定个数以上,从而能够减小包丢失隐藏处理所引起的声音劣化。
另外,缓冲器大小变更部32在删除了无效包且在之后接收到与已删除的无效包对应的有效包的情况下,如果除了已删除的无效包以外还存在其它无效包,则用接收到的有效包替换其它无效包。
图33的A、图33的B以及图33的C是用于说明在删除了无效包之后接收到与已删除的无效包对应的有效包的情况下的处理的图,图33的A表示删除前的抖动缓冲器30,图33的B表示删除后的抖动缓冲器30,图33的C表示替换后的抖动缓冲器30。
如图33的A和图33的B所示,第3个无效包被删除。之后,如图33的C所示,接收到与第3个无效包对应的第3个有效包。
在这种情况下,由于第3个无效包之后的第4个包是无效包,因此缓冲器大小变更部32将该第4个无效包替换为接收到的第3个有效包。由此,能够使第3个有效包复活,从而能够降低声音劣化。
在此,缓冲器大小变更部32当抖动缓冲器30中储存有包时判断抖动缓冲器30中是否储存有与所储存的包对应的无效包。然后,在抖动缓冲器30中储存有对应的无效包的情况下,缓冲器大小变更部32判断在该无效包之后是否保存有无效包,在保存有无效包的情况下,只要删除下一个无效包,在删除的位置处插入接收到的有效包,由此用接收到的有效包替换下一个无效包即可。
另一方面,在抖动缓冲器30中未储存与抖动缓冲器30中储存的包对应的无效包的情况下,或者在对应的无效包之后未保存无效包的情况下,缓冲器大小变更部32不进行上述的替换。此外,缓冲器大小变更部32只要在抖动缓冲器30中储存有具有与无效包的序列号相同的序列号的包的情况下,判断为接收到与无效包对应的有效包即可。
另外,缓冲器大小变更部32也可以在要在连续的两个有效包之间插入包的情况下,使隐藏处理部35使用位于前面的有效包来执行包丢失隐藏处理,来生成隐藏处理后的包,将该包插入到抖动缓冲器30。
图34的A和图34的B是说明缓冲器大小变更部32使隐藏处理后的包代替无效包插入到抖动缓冲器30的情况下的处理的图,图34的A表示插入前的抖动缓冲器30,图34的B表示插入后的抖动缓冲器30。
如图34的A和图34的B所示,在第3个有效包与第4个有效包之间插入隐藏处理后的包。
由此,在输出部36从抖动缓冲器30读出包(声音数据)时,不需要执行包丢失隐藏处理,从而能够降低输出时的包丢失隐藏处理的处理延迟。
此外,缓冲器大小变更部32在要插入无效包的情况下,优选在包含母音的声音的连续的两个包之间插入无效包。由此,对所插入的无效包执行包丢失隐藏处理而生成的声音与前后的包所包含的声音连续地连接,从而能够降低声音劣化。
图35是示出了由缓冲器大小变更部32进行的删除处理的流程图。
首先,在步骤S51中,缓冲器大小变更部32判断包的删除请求数是否为预先确定的包最大删除数(上限值)以下,在删除请求数为上限值以下的情况下(步骤S51:“是”),将删除计数值DN设定为删除请求数(步骤S52)。另一方面,在删除请求数大于上限值的情况下,(步骤S51:“否”),将删除计数值DN设定为上限值(步骤S53)。
接着,在抖动缓冲器30中连续的有效包的最大连续数为2以上的情况下(在步骤S54中为2以上),缓冲器大小变更部32判断最大连续数是否为删除计数值DN的两倍以上(步骤S55)。在此,判断最大连续数是否为删除计数值DN的两倍是因为,在要删除一个包的情况下,将两个包重叠相加,因此有效包需要为删除计数值DN的两倍。
然后,缓冲器大小变更部32当判断为最大连续数为删除计数值DN的两倍以上时(步骤S55:“是”),通过重叠相加来删除与删除计数值DN相当的量的包,从删除计数值DN减去已删除的包数来对删除计数值DN进行更新(步骤S58)。
另一方面,在步骤S55中,在最大连续数小于删除计数值DN的两倍的情况下(步骤S55:“否”),缓冲器大小变更部32通过重叠相加来删除可删除的包,从删除计数值DN减去已删除的包数来对删除计数值DN进行更新(步骤S56),使处理返回到步骤S54。
例如,在最大连续数为7、删除计数值DN(=4)×2为8的情况下,将连续的七个有效包中的六个有效包每两个重叠相加,来删除三个包。然后,将删除计数值DN更新为DN=1(=4-3)。
另一方面,在步骤S54中,在连续的有效包的最大连续数为1以下的情况下(在步骤S54中为1以下),删除无效包,从删除计数值DN减去已删除的包数来对删除计数值DN进行更新(步骤S57)。
例如,当设删除计数值DN为4、无效包的个数为3时,删除三个无效包,更新为DN=1(=4-3)。
在步骤S59中,缓冲器大小变更部32判断删除计数值DN是否已变为0,在删除计数值DN为0的情况下(步骤S59:“是”),结束处理。
另一方面,在步骤S59中,在删除计数值DN未变为0的情况下(步骤S59:“否”),如果存在有效包(步骤S60:“是”),则缓冲器大小变更部32删除有效包来结束处理(步骤S61)。在这种情况下,被删除的有效包不与其它有效包连续,因此不是通过重叠相加来删除而是单纯删除。另一方面,如果不存在有效包(步骤S60:“否”),则直接结束处理。
图36是示出了由缓冲器大小变更部32进行的插入处理的流程图。
首先,在步骤S71中,缓冲器大小变更部32判断包的插入请求数是否为预先确定的包最大插入数(上限值)以下,在删除请求数为最大插入数以下的情况下(步骤S71:“是”),将插入数设定为插入请求数(步骤S72)。另一方面,在插入请求数大于最大插入数的情况下(步骤S71:“否”),将插入数设定为最大插入数(步骤S73)。
接着,在抖动缓冲器30中连续的有效包的最大连续数为0的情况下(在步骤S74中为0),缓冲器大小变更部32从抖动缓冲器30的开头插入与插入数相当的量的无效包(步骤S75),结束处理。
另外,在抖动缓冲器30中连续的有效包的最大连续数为2以上的情况下(在步骤S74中为2以上),缓冲器大小变更部32在连续的有效包的区间的正中间插入与插入数相当的量的无效包(步骤S76),结束处理。
另外,在抖动缓冲器30中连续的有效包的最大连续数为1的情况下(在步骤S74中为1),缓冲器大小变更部32紧接在有效包之后插入与插入数相当的量的无效包(步骤S77),结束处理。
这样,在从抖动缓冲器30删除一个包的情况下,将位于两个以上有效包连续的区间的正中间的两个包重叠相加来生成一个包,由此删除一个包,因此能够降低声音的质量劣化。
另外,在抖动缓冲器30中插入包的情况下,如果存在连续的两个有效包,则在这两个有效包之间插入无效包,因此无效包会夹在两个有效包之间,在对该无效包执行包丢失隐藏处理的情况下,能够基于前后的有效包来隐藏无效包,从而能够保证声音的连续性,能够平滑地再现声音。
此外,能够用由上述的声音数据缺失补偿处理部VC进行的声音数据缺失补偿处理来代替由波动吸收处理部JA的隐藏处理部35进行的包丢失隐藏处理。
如上所述,在本实施方式的住户机A中,在对方的通话终端为模拟传输方式的情况下,由通话处理部2执行第一软件,在包传输方式的情况下,由通话处理部2执行第二软件,由此能够选择性地执行适于各个传输方式的通话处理。其结果,在抑制电路结构的复杂化和成本上升的同时,能够在经由信号干线Ls的声音传输中使用包传输方式并且在不经由信号干线Ls的住宅内附近的声音传输中使用模拟传输方式,且能够实现通话质量的提高。
(实施方式2)
下面,参照图37、图38来详细说明本发明的实施方式2。此外,为了明确,对同样的要素分配与实施方式1的集合住宅用对讲系统相同的标记来省略说明。
上述的实施方式1中的声音数据缺失补偿处理和语速转换处理都利用了声音的音高周期,因此分别需要进行检测声音的音高周期的音高周期检测处理。然而,当声音数据缺失补偿处理的程序和语速转换处理的程序分别配备音高周期检测处理的程序(程序模块)时,会无端消耗加载程序的存储器。因此在本实施方式中,特征在于,使检测声音的音高周期的音高周期检测处理的程序独立于声音数据缺失补偿处理和语速转换处理的程序,在声音数据缺失补偿处理和语速转换处理中共用通过音高周期检测处理检测出的音高周期,由此,能够抑制存储器的无端消耗。
下面,说明本实施方式的通话处理部2。此外,本实施方式的语速转换处理部SE也可以执行除语速转换处理以外的音质转换处理、声音区间检测处理、声音强调处理、讲话者判别处理、声音识别处理等。
如图37所示,本实施方式的通话处理部2具备声侧回波消除器EC1、声音切换器VS、声音数据缺失检测部15、音高周期检测部16、声音数据缺失补偿处理部VC、语速转换处理部SE。声音数据缺失检测部15检测从传输处理部7输出的声音数据的缺失,在从传输处理部7的抖动缓冲器输出的声音数据不连续的情况下视为声音数据的缺失来建立检测标志。此外,作为声音数据缺失的原因,如实施方式1中所述,存在伴随传输的包损失、延迟以及抖动(波动)等。
音高周期检测部16基于来自声音数据缺失检测部15的检测标志和音高周期检测部16内部的计数器,基于从声音数据缺失补偿处理部VC输出的声音数据(进行缺失补偿后的声音数据或未进行缺失补偿的声音数据。下同。)来检测声音的音高周期。作为音高周期检测的具体方法,例如考虑使用以下的方式等:一边改变帧长一边计算声音的自相关,将相关最高的帧长估计为该声音的音高周期。声音数据缺失补偿处理部VC基于在声音数据缺失检测部15检测出声音数据的缺失时(建立检测标志时)由音高周期检测部16检测出的音高周期,来对声音数据的缺失进行补偿。具体地说,在声音数据缺失补偿处理部VC中,从缓冲器所保存的过去的声音数据中提取与一个音高周期相当的声音数据来进行填补,由此使声音不中断。其中,如果声音数据不存在缺失,则声音数据缺失补偿处理部VC不对所输入的声音数据进行缺失补偿而直接输出。
语速转换处理部SE通过将从声音数据缺失补偿处理部VC输出的声音数据延长或者压缩来转换原本的声音的语速,例如基于被称为PICOLA(Pointer Interval Controlled OverLap andAdd)的以往周知的语速转换算法来以音高周期为单位进行波形的插入或删除,由此转换(加快或减慢)语速。此外,这些各部是通过使DSP(Digital Signal Proccesor)执行规定的程序来实现的。
在此,在声音数据缺失补偿处理部VC和语速转换处理部SE分别进行了音高周期检测处理的情况下,在通话处理部2中同时执行声音数据缺失补偿处理和语速转换处理时的处理负荷会增大。与此相对,本实施方式的通话处理部2只具备一个音高周期检测部16,声音数据缺失补偿处理部VC和语速转换处理部SE这双方利用由共用的音高周期检测部16检测出的音高周期。因而,声音数据缺失补偿处理部VC和语速转换处理部SE这双方共用由音高周期检测部16检测出的音高周期,由此能够抑制同时执行声音数据缺失补偿处理和语速转换处理时的处理负荷(DSP中的程序处理的负荷)的增大。
如图38所示,本实施方式中的音高周期检测部16对规定的检测周期Tx进行计数,并且与检测周期Tx同步地重复检测音高周期,在由声音数据缺失检测部15检测出声音数据的缺失时在声音数据缺失的检测时间点t1检测音高周期,并且从该检测时间点t1起重新开始检测周期Tx的计数。即,音高周期检测部16与一定的检测周期Tx同步地重复检测音高周期,由此,语速转换处理部SE执行语速转换处理的声音区间的音高周期与由音高周期检测部16检测出的音高周期之间的差异减小,从而能够保持语速转换后的声音的质量。此外,期望将检测周期Tx设定为可以将声音视作正常的时间、例如10毫秒左右。
另一方面,在声音数据的缺失补偿处理中,必须对比语速转换处理长的区间进行补偿,因此需要更正确的音高周期的检测。因而,在由声音数据缺失检测部15检测出声音数据的缺失的情况下,音高周期检测部16与检测周期Tx无关地直接检测音高周期,由此保持声音数据缺失补偿处理部VC的声音数据缺失补偿处理中的质量。
在此,期望音高周期检测部16仅检测规定的频率范围的音高周期。即,通常的声音通话中的声音波形的频率收敛在一百几十赫兹到一千几百赫兹的频率范围内,因此如果仅检测该频率范围的音高周期,则能够通过不进行不需要的频率范围的音高周期检测来减轻处理负荷。
另外,期望语速转换处理部SE检测声音数据的声音区间,仅对该声音区间的声音数据进行语速转换。即,在声音区间以外的区间(例如,无音区间)中不进行语速转换处理,由此能够减轻语速转换处理中的处理负荷。
(实施方式3)
下面,参照图39的A~图42来详细说明本发明的实施方式3。此外,为了明确,对同样的要素分配与实施方式2的集合住宅用对讲系统相同的标记来省略说明。
本实施方式中的声音数据缺失检测部15与使与一个包相当的声音数据的时长τ除以正整数m后得到的第一时间间隔T1(=τ/m)和声音数据的输入时机同步地检测声音数据的缺失。另外,本实施方式中的音高周期检测部16与第一时间间隔T1的正整数n倍的检测周期Tx(=n×τ/m)和第一时间间隔T1同步地检测音高周期。
在此,参照图39的A和图39的B来说明m=n=4的情况下的声音数据缺失检测处理和音高周期检测处理的执行时机。如图39的A所示,声音数据缺失检测部15和音高周期检测部16每隔τ/4时间分别执行声音数据缺失检测处理、音高周期检测处理。然后,如图39的B所示,当设在时刻t=t0的时间点指示了语速转换处理的开始时,语速转换处理部SE利用紧接在该时间点(时刻t=t0)之前由音高周期检测部16检测出的最新的音高周期来执行语速转换处理。
如果这样使执行声音数据的缺失检测处理的时机与执行音高周期检测处理的时机同步,则存在以下的优点:由音高周期检测部16执行音高周期检测处理的时机的控制变得简便。
另外,如图40所示,在指示了语速转换处理的开始的时间点(时刻t=t0)处于检测出声音数据的缺失的状态的情况下,语速转换处理部SE只要使用紧接在检测出声音数据的缺失之前由音高周期检测部16检测出的音高周期来进行语速转换,就能够抑制语速转换处理所引起的声音的质量劣化。
或者,如图41所示,在指示了语速转换处理的开始的时间点(时刻t=t0)处于检测出声音数据的缺失的状态的情况下,语速转换处理部SE也可以使用由音高周期检测部16基于由声音数据缺失补偿处理部VC进行补偿后的声音数据检测出的音高周期来进行语速转换。这样,即使在声音数据已缺失时开始语速转换处理的情况下,也只要由音高周期检测部16按一定的检测周期Tx来执行音高周期检测处理即可,因此存在以下的优点:由音高周期检测部16执行音高周期检测处理的时机的控制变得简便。
在此,考虑以下情况:本实施方式的住户机A具有能够对从声音数据缺失补偿处理部VC输出的声音数据进行录音的录音部(未图示),由语速转换处理部SE对录音声音数据实施语速转换处理。在再现录音的情况下,在不仅对声音区间进行语速转换处理而且对非声音区间也进行语速转换处理时,易于听懂的程度进一步提高。另一方面,当在通常通话时对非声音区间也进行语速转换处理时,语速转换处理所引起的延迟增大,从而妨碍自然的通话。在这样对非声音区间也进行语速转换处理的情况下,如图42所示,期望使非声音区间中的检测周期Tx2比声音区间中的检测周期Tx1长(Tx1<Tx2)。由此,在声音区间中以相对短的检测周期Tx1进行音高周期检测,因此能够确保语速转换处理的质量,在非声音区间中以相对长的检测周期Tx2进行音高周期检测,因此能够减轻处理负荷。
描述了本发明的几个优选实施方式,但是能够由本领域技术人员不脱离本发明的原本的精神和范围、即权利要求书地进行各种修正和变形。

Claims (27)

1.一种集合住宅用对讲系统的住户机,该集合住宅用对讲系统具有:
共用部装置,其设置于集合住宅的共用门厅;住户机,其设置于该集合住宅的各住户内;门电话子机,其设置于上述集合住宅的外门厅;信号干线,其连接至上述共用部装置;住户线,其从该信号干线分支而连接至各上述住户机;以及子机连接线,其将上述住户机与上述门电话子机进行连接,其中,在上述共用部装置与上述住户机之间以及在上述住户机彼此之间经由上述信号干线和上述住户线来通过包传输方式传输通话声音,在上述住户机与上述门电话子机之间经由上述子机连接线来通过模拟传输方式传输通话声音,该住户机的特征在于,具备:
麦克风和扬声器;传输处理部,其经由上述住户线以及上述信号干线传输包含通话用的声音数据的声音包以及包含呼叫控制用的控制数据的控制包;模拟信号传输部,其经由上述子机连接线传输模拟的声音信号;第一转换处理部,其将从上述麦克风输出的模拟的声音信号转换为声音数据,将声音数据转换为模拟的声音信号并输出到上述扬声器;第二转换处理部,其将由上述模拟信号传输部接收的模拟的声音信号转换为声音数据,将声音数据转换为模拟的声音信号并输出到上述模拟信号传输部;通话处理部,其对声音数据进行规定的通话处理;门电话呼叫检测部,其检测来自上述门电话子机的呼叫;存储部,其存储针对通过模拟传输方式传输的声音数据的通话处理用的第一软件以及针对通过包传输方式传输的声音数据的通话处理用的第二软件;以及控制部,其对上述通话处理部指示通话处理的执行,
其中,该控制部在上述门电话呼叫检测部检测出上述呼叫的情况下,对上述通话处理部进行指示以使其执行上述第一软件,在从上述共用部装置或者上述住户机接收到呼叫控制用的控制数据的情况下,对上述通话处理部进行指示以使其执行上述第二软件。
2.根据权利要求1所述的集合住宅用对讲系统的住户机,其特征在于,
上述第二软件包括声回波抑制处理的程序和残留回波抑制处理的程序,该声回波抑制处理的程序对通过上述麦克风与上述扬声器的声耦合而产生的声回波进行抑制,该残留回波抑制处理的程序对在上述声回波抑制处理中未抑制完的残留回波进行抑制。
3.根据权利要求1或2所述的集合住宅用对讲系统的住户机,其特征在于,
上述第二软件包括波动吸收处理的程序,该波动吸收处理的程序吸收上述传输处理部中的传输延迟的波动。
4.根据权利要求3所述的集合住宅用对讲系统的住户机,其特征在于,
还具备波动吸收用缓冲器,该波动吸收用缓冲器储存由上述传输处理部接收到的上述声音包中包含的声音数据,
上述波动吸收处理的程序使上述通话处理部进行计数步骤和缓冲器大小变更步骤,在该计数步骤中,以不长于上述声音包的分包周期的周期对储存在上述波动吸收用缓冲器中的声音数据的包数进行计数来计算包计数值,在该缓冲器大小变更步骤中,基于通过上述计数步骤计算出的上述包计数值,在上述波动吸收用缓冲器中插入或删除包。
5.根据权利要求4所述的集合住宅用对讲系统的住户机,其特征在于,
上述波动吸收处理的程序在上述缓冲器大小变更步骤中使上述通话处理部进行以下的处理:以上述包计数值的过去的历史记录为基础来计算包计数值的代表值,在计算出的代表值大于规定的基准值的情况下,从上述波动吸收用缓冲器删除包,在上述代表值小于上述基准值的情况下,在上述波动吸收用缓冲器中插入包。
6.根据权利要求4或5所述的集合住宅用对讲系统的住户机,其特征在于,
上述波动吸收处理的程序使上述通话处理部记录最新的包的接收时刻,在上述计数步骤中使上述通话处理部进行以下的处理:将上述最新的包的计数值设定为使作为上述包计数值的计算时机的计算时刻与上述接收时刻之差除以上述分包周期后得到的值,将上述最新的包以外的包的计数值设定为1,来计算上述包计数值。
7.根据权利要求5所述的集合住宅用对讲系统的住户机,其特征在于,
上述波动吸收处理的程序在上述计数步骤中使上述通话处理部保存过去N次的包计数值,在上述缓冲器大小变更步骤中使上述通话处理部进行以下的处理:将上述过去N次的包计数值中的第n小的包计数值设为上述代表值,其中,N为正整数值,n为小于N的正整数值。
8.根据权利要求5所述的集合住宅用对讲系统的住户机,其特征在于,
上述波动吸收处理的程序在上述计数步骤中使上述通话处理部进行以下的处理:基于上述过去N次的包计数值来判断是否存在突发延迟,在判断为发生了该突发延迟的情况下,从上述过去N次的包计数值中提取过去M次的包计数值,
上述波动吸收处理的程序在上述缓冲器大小变更步骤中使上述通话处理部进行以下的处理:将通过上述计数步骤提取出的过去M次的包计数值中的第m小的包计数值计算为上述代表值,其中,M为M<N的正整数值,m为小于M的整数。
9.根据权利要求4~8中的任一项所述的集合住宅用对讲系统的住户机,其特征在于,
上述波动吸收处理的程序在上述计数步骤中使上述通话处理部进行以下的处理:在上述包计数值连续为零的情况下,将随着该连续为零的次数增大而绝对值增大的负值计算为上述包计数值。
10.根据权利要求1~9中的任一项所述的集合住宅用对讲系统的住户机,其特征在于,
上述第二软件包括声音数据缺失补偿处理的程序,该声音数据缺失补偿处理的程序在由上述传输处理部接收到的上述声音包中包含的声音数据的全部或一部分缺失的情况下,利用未缺失的声音数据来对缺失的上述声音数据的全部或一部分进行补偿。
11.根据权利要求3所述的集合住宅用对讲系统的住户机,其特征在于,
还具备波动吸收用缓冲器,该波动吸收用缓冲器储存由上述传输处理部接收到的上述声音包中包含的声音数据,
上述波动吸收处理的程序使上述通话处理部进行计数步骤和缓冲器大小变更步骤,在该计数步骤中,对储存在上述波动吸收用缓冲器中的声音数据的包数进行计数来计算包计数值,在该缓冲器大小变更步骤中,基于通过上述计数步骤计算出的上述包计数值,在上述波动吸收用缓冲器中插入或删除包,
并且,上述波动吸收处理的程序在上述缓冲器大小变更步骤中使上述通话处理部进行以下的处理:在要从上述波动吸收用缓冲器删除一个包的情况下,如果连续存在两个以上包含声音数据的有效包,则将这些连续的有效包中的位于中间的连续的两个有效包重叠相加来删除一个包。
12.根据权利要求11所述的集合住宅用对讲系统的住户机,其特征在于,
上述波动吸收处理的程序在上述缓冲器大小变更步骤中使上述通话处理部进行以下的处理:在要在上述波动吸收用缓冲器中插入包的情况下,如果存在连续的两个有效包,则在这两个有效包之间插入不包含声音的无效包。
13.根据权利要求1~12中的任一项所述的集合住宅用对讲系统的住户机,其特征在于,
上述第二软件包括:声音数据缺失检测处理的程序,其检测上述传输处理部所输出的声音数据的全部或一部分的缺失;音高周期检测处理的程序,其基于上述声音数据来检测声音的音高周期;以及声音数据缺失补偿处理的程序,其基于通过上述声音数据缺失检测处理检测出声音数据的缺失时通过上述音高周期检测处理检测出的音高周期,对缺失的声音数据进行补偿,
上述音高周期检测处理的程序使上述通话处理部进行以下的处理:将从当前时刻朝向过去的某一时宽的声音信号设定为基准信号;以及通过使上述基准信号相对于上述声音信号从当前时刻朝向过去滑动,求出上述基准信号与上述声音信号的相关,来检测上述声音信号的音高周期,并且,随着上述基准信号的滑动量增大,使上述基准信号的时宽增大。
14.根据权利要求13所述的集合住宅用对讲系统的住户机,其特征在于,
上述音高周期检测处理的程序使上述通话处理部进行以下的处理:将上述基准信号的时宽设定为规定的初始时宽,直到上述基准信号的滑动量变为规定的滑动基准值为止。
15.根据权利要求13或14所述的集合住宅用对讲系统的住户机,其特征在于,
上述音高周期检测处理的程序使上述通话处理部进行以下的处理:利用平均幅度差函数法来求出上述基准信号与上述声音信号的相关。
16.根据权利要求15所述的集合住宅用对讲系统的住户机,其特征在于,
上述音高周期检测处理的程序使上述通话处理部进行以下的处理:使用式(1)的平均幅度差函数来求出上述基准信号与上述声音信号的相关,
[式1]
&phi; ( &tau; ) = 1 N &Sigma; j = k + 1 k + N | x ( j ) - x ( j - &tau; ) | , N = a &CenterDot; &tau; - - - ( 1 ) ,
其中,φ(τ)表示相关值,N表示上述基准信号的时宽,x(j)表示上述基准信号,x(j-τ)表示上述声音信号,k+1表示上述基准信号的开始点,a表示预先确定的系数,τ表示上述基准信号的滑动量。
17.根据权利要求3所述的集合住宅用对讲系统的住户机,其特征在于,
上述第二软件包括:声音数据缺失检测处理的程序,其检测上述传输处理部所输出的声音数据的全部或一部分的缺失;音高周期检测处理的程序,其基于上述声音数据来检测声音的音高周期;声音数据缺失补偿处理的程序,其基于通过上述声音数据缺失检测处理检测出声音数据的缺失时通过上述音高周期检测处理检测出的音高周期,来对缺失的声音数据进行补偿;以及语速转换处理的程序,其利用通过上述音高周期检测处理检测的音高周期来延长或者压缩上述声音数据。
18.根据权利要求17所述的集合住宅用对讲系统的住户机,其特征在于,
上述音高周期检测处理对规定的检测周期进行计数并且与该检测周期同步地重复检测上述音高周期,在通过上述声音数据缺失检测处理检测出声音数据的缺失时,在该声音数据缺失的检测时间点检测上述音高周期并且从该检测时间点起重新开始上述检测周期的计数。
19.根据权利要求17或18所述的集合住宅用对讲系统的住户机,其特征在于,
上述音高周期检测处理仅检测规定的频率范围的音高周期。
20.根据权利要求17所述的集合住宅用对讲系统的住户机,其特征在于,
上述语速转换处理检测上述声音数据的声音区间,仅对该声音区间的声音数据进行语速转换。
21.根据权利要求18所述的集合住宅用对讲系统的住户机,其特征在于,
上述声音数据缺失检测处理与使与一个包相当的上述声音数据的时长除以正整数后得到的第一时间间隔和上述声音数据的输入时机同步地检测声音数据的缺失,上述音高周期检测处理与上述第一时间间隔的正整数倍的上述检测周期和该第一时间间隔同步地检测音高周期。
22.根据权利要求17所述的集合住宅用对讲系统的住户机,其特征在于,
在上述声音数据缺失检测处理检测出声音数据的缺失时要进行语速转换的情况下,上述语速转换处理使用紧接在上述声音数据缺失检测处理检测出声音数据的缺失之前通过上述音高周期检测处理检测出的音高周期来进行语速转换。
23.根据权利要求17所述的集合住宅用对讲系统的住户机,其特征在于,
在上述声音数据缺失检测处理检测出声音数据的缺失时要进行语速转换的情况下,上述语速转换处理使用通过上述音高周期检测处理基于通过上述声音数据缺失补偿处理进行补偿后的声音数据检测出的音高周期来进行语速转换。
24.根据权利要求18所述的集合住宅用对讲系统的住户机,其特征在于,
上述音高周期检测处理对上述声音数据的声音区间和非声音区间进行判别,使上述非声音区间中的上述检测周期比上述声音区间中的上述检测周期长。
25.根据权利要求1~24中的任一项所述的集合住宅用对讲系统的住户机,其特征在于,
上述第二软件包括声音切换处理的程序,该声音切换处理的程序降低由通过上述麦克风与上述扬声器的声耦合而产生的声回波路径形成的闭环的环路增益来抑制啸声,该声音切换处理的程序使上述通话处理部进行以下的处理:估计上述声回波路径的反馈增益,基于该反馈增益的估计值来计算使从上述传输处理部输出的接听的声音数据衰减的接听侧衰减量与使输入到上述传输处理部的讲话的声音数据衰减的讲话侧衰减量的总和,并且监视讲话和接听的各声音数据来估计通话状态,根据该通话状态的估计结果和上述总和的计算值来决定上述讲话侧衰减量和上述接听侧衰减量的分配,使上述总和与上述反馈增益的估计值的减少量相应地减少。
26.根据权利要求1~25中的任一项所述的集合住宅用对讲系统的住户机,其特征在于,
还具备内线连接线和内线用模拟信号传输部,设置于住宅内的通话装置连接至该内线连接线,该内线用模拟信号传输部经由该内线连接线传输模拟的声音信号,由上述通话处理部执行上述第一软件来进行通话处理而得到的声音数据经由上述内线连接线从上述内线用模拟信号传输部传输到上述通话装置。
27.根据权利要求1~26中的任一项所述的集合住宅用对讲系统的住户机,其特征在于,
上述第一软件包括语速转换处理的程序,该语速转换处理的程序基于对上述模拟的声音信号进行A/D转换后得到的数字的声音信号来检测声音的音高周期,并且利用该音高周期来延长或者压缩上述数字的声音信号。
CN201080067044.6A 2010-05-24 2010-07-27 集合住宅用对讲系统的住户机 Expired - Fee Related CN102918825B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010118723 2010-05-24
JP2010-118723 2010-05-24
JP2010129196 2010-06-04
JP2010-129196 2010-06-04
PCT/JP2010/062581 WO2011148519A1 (ja) 2010-05-24 2010-07-27 集合住宅用インターホンシステムの住戸機

Publications (2)

Publication Number Publication Date
CN102918825A true CN102918825A (zh) 2013-02-06
CN102918825B CN102918825B (zh) 2014-05-07

Family

ID=45003524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080067044.6A Expired - Fee Related CN102918825B (zh) 2010-05-24 2010-07-27 集合住宅用对讲系统的住户机

Country Status (4)

Country Link
JP (1) JP5544012B2 (zh)
CN (1) CN102918825B (zh)
TW (1) TWI442759B (zh)
WO (1) WO2011148519A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104301665A (zh) * 2013-07-08 2015-01-21 弗马克斯设计和开发公司 双线多信道视频门户系统
CN106921851A (zh) * 2015-12-24 2017-07-04 松下知识产权经营株式会社 门电话系统和通信控制方法
CN107004425A (zh) * 2014-12-12 2017-08-01 高通股份有限公司 共享声学空间中的增强型对话通信

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6079179B2 (ja) * 2012-12-03 2017-02-15 株式会社デンソー ハンズフリー通話装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1361741A1 (en) * 2002-05-06 2003-11-12 Sharp Kabushiki Kaisha System and method for virtual multiline telephony in a home-network
JP2005109833A (ja) * 2003-09-30 2005-04-21 Aiphone Co Ltd インタ−ホン装置
US20060092965A1 (en) * 1999-12-07 2006-05-04 Tomiya Miyazaki Information terminal and information terminal system
CN101578231A (zh) * 2007-01-22 2009-11-11 硅绝缘体技术有限公司 表面粗糙化方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0588041U (ja) * 1992-04-27 1993-11-26 日通工株式会社 ホームバス
JP2001211254A (ja) * 2000-01-27 2001-08-03 Matsushita Electric Ind Co Ltd 情報端末と情報端末システム
JP2008061005A (ja) * 2006-08-31 2008-03-13 Aiphone Co Ltd 集合住宅インターホンシステム
JP5049219B2 (ja) * 2008-07-24 2012-10-17 パナソニック株式会社 集合住宅用インターホンシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060092965A1 (en) * 1999-12-07 2006-05-04 Tomiya Miyazaki Information terminal and information terminal system
EP1361741A1 (en) * 2002-05-06 2003-11-12 Sharp Kabushiki Kaisha System and method for virtual multiline telephony in a home-network
JP2005109833A (ja) * 2003-09-30 2005-04-21 Aiphone Co Ltd インタ−ホン装置
CN101578231A (zh) * 2007-01-22 2009-11-11 硅绝缘体技术有限公司 表面粗糙化方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104301665A (zh) * 2013-07-08 2015-01-21 弗马克斯设计和开发公司 双线多信道视频门户系统
CN104301665B (zh) * 2013-07-08 2019-04-09 弗马克斯设计和开发公司 双线多信道视频门户系统
CN107004425A (zh) * 2014-12-12 2017-08-01 高通股份有限公司 共享声学空间中的增强型对话通信
CN107004425B (zh) * 2014-12-12 2020-08-11 高通股份有限公司 共享声学空间中的增强型对话通信
CN106921851A (zh) * 2015-12-24 2017-07-04 松下知识产权经营株式会社 门电话系统和通信控制方法
CN106921851B (zh) * 2015-12-24 2020-03-31 松下知识产权经营株式会社 门电话系统和通信控制方法

Also Published As

Publication number Publication date
CN102918825B (zh) 2014-05-07
TWI442759B (zh) 2014-06-21
JP5544012B2 (ja) 2014-07-09
WO2011148519A1 (ja) 2011-12-01
JPWO2011148519A1 (ja) 2013-07-25
TW201143350A (en) 2011-12-01

Similar Documents

Publication Publication Date Title
US6044068A (en) Silence-improved echo canceller
CN103748865B (zh) 利用不可听音调的声学回音消除器的时钟偏斜补偿
US8098812B2 (en) Method of controlling an adaptation of a filter
CN103391381A (zh) 回声消除方法及装置
US20110228946A1 (en) Comfort noise generation method and system
JPS62107533A (ja) 伝送回路網
SK282101B6 (sk) Sieť s potlačenou ozvenou
CN102137194B (zh) 一种通话检测方法及装置
EP1962436B9 (en) Electricity echo elimination device and method
CN102918825B (zh) 集合住宅用对讲系统的住户机
CN100579156C (zh) 移动站内的网络回波抑制
Ogunfunmi et al. Speech over VoIP networks: Advanced signal processing and system implementation
US7787597B1 (en) Automated tools for testing echo cancellers using natural speech excitations
JP2012147326A (ja) 集合住宅用インターホンシステムの外線転送装置
JP5288500B2 (ja) ハンズフリー電話装置、ハンズフリー通話方法及びハンズフリー通話プログラム
JP3970746B2 (ja) エコーキャンセラ性能評価試験装置
JPH1013526A (ja) 音声スイッチの制御回路
JP3303524B2 (ja) エコーキャンセラ学習方法
JP3756842B2 (ja) 反響抑圧方法、反響抑圧装置、反響抑圧プログラム
Lu et al. Pitch analysis-based acoustic echo cancellation over a nonlinear channel
JP3442535B2 (ja) エコーキャンセラ
JPH07303070A (ja) ダブルトーク検出方法
JP3231699B2 (ja) 音声検出器と音声検出方法および高能率端局装置
KR100414911B1 (ko) 이동통신시스템에서 반향 제거장치 및 방법
JPH0834459B2 (ja) 音声検出器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140507

Termination date: 20180727