JP2016111653A - Echo cancellation device, base device, communication system, and echo cancellation method - Google Patents
Echo cancellation device, base device, communication system, and echo cancellation method Download PDFInfo
- Publication number
- JP2016111653A JP2016111653A JP2014250104A JP2014250104A JP2016111653A JP 2016111653 A JP2016111653 A JP 2016111653A JP 2014250104 A JP2014250104 A JP 2014250104A JP 2014250104 A JP2014250104 A JP 2014250104A JP 2016111653 A JP2016111653 A JP 2016111653A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- echo cancellation
- sound
- collected
- echo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
Description
本発明は、ネットワーク型エコーキャンセル処理を行うエコーキャンセル装置、これに接続する拠点装置、これらで構成される通信システム、及びそのエコーキャンセル方法に関する。 The present invention relates to an echo cancellation apparatus that performs network-type echo cancellation processing, a base apparatus connected to the echo cancellation apparatus, a communication system including these, and an echo cancellation method thereof.
ネットワークを介した音声会議・テレビ会議においては、快適な通話のため、エコーやノイズを抑制する処理(以下、エコーキャンセル処理又はEC処理)を行っている。エコーキャンセル処理については後述する。エコーキャンセル処理は相手側から送られてきた音声、および自拠点で入力された音声の両信号を使い処理を行う。エコーキャンセル処理は、両拠点間で同時に通話するダブルトークと呼ばれる状態、すなわちスピーカからの回り込み音声に加えて、送話者の音声がマイクに入力された場合、信号処理上、エコーキャンセル処理が十分に動作しないという問題がある。このため、ダブルトークが発生する場合はエコーキャンセル処理を止める等の対応をすることで処理に影響が出ないようにしている。 In voice conferences and video conferences over a network, processing for suppressing echo and noise (hereinafter referred to as echo cancellation processing or EC processing) is performed for a comfortable call. The echo cancellation process will be described later. The echo cancellation process is performed using both the voice signal sent from the other party and the voice signal input at the local site. Echo cancellation processing is a state called double talk, in which conversations are made simultaneously between the two locations. That is, when the voice of the sender is input to the microphone in addition to the sneak sound from the speaker, the echo cancellation processing is sufficient for signal processing. There is a problem that does not work. For this reason, when double talk occurs, the processing is not affected by taking measures such as stopping the echo cancellation processing.
エコーキャンセル処理を適用した遠隔会議の実施形態として、実施する拠点に設置された特別な装置で処理されるケース(ケースA:図1)、及び、各映像・音声信号を中継するネットワーク上の設備で行われるケース(以下ネットワークエコーキャンセル処理)が想定される(ケースB:図2)。 As an embodiment of the remote conference to which the echo cancellation processing is applied, a case (case A: FIG. 1) processed by a special device installed at the site to be implemented, and equipment on the network that relays each video / audio signal (Case B: FIG. 2) is assumed.
ケースA(図1)では各相手拠点で送られてきた信号、および、自拠点で集音された信号をそれぞれの拠点装置(10A、10B)内のEC処理部でエコーキャンセル処理を行う。 In case A (FIG. 1), an echo cancellation process is performed by the EC processing unit in each site apparatus (10A, 10B) on the signal sent at each partner site and the signal collected at its own site.
ケースB(図2)では、ネットワーク上にあるエコーキャンセル装置20のEC処理部21、および、EC処理部22でエコーキャンセル処理を行う。すなわち、拠点装置(10A、10B)ではエコーキャンセル処理を行わず、ネットワーク上に置かれたエコーキャンセル装置20で実施される。よって、ケースBでは、各拠点で実施する処理はAD変換、送受信処理といった簡易的な処理のみである。
In Case B (FIG. 2), echo cancellation processing is performed by the
図3は、ケースBの詳細な処理を説明する図である。各処理については以下の通り。
[処置a]:EC処理部21でエコーキャンセル処理された音声信号が拠点装置10A向きに時刻(t)でパケット化され送出される。
[処理b]:処理aのパケットが(t+k)秒後に拠点装置10Aに到着し受信処理される。
[処理c]:時刻(t+k)に、拠点装置10Aで取得された音がパケット化される。
[処理d]:処理bで受信された音声信号とcで拠点装置10Aにて取得された音声信号が処理のセットとして、(t+k)秒といった時間情報により紐づけられる。
[処理e]:紐づけられた音声信号は送受信処理部12からネットワーク上にあるエコーキャンセル装置20に送信される。
[処理f]:エコーキャンセル装置20の送受信処理部22は処理eで送られてきた、処理bとcの音声信号をセットにしてEC処理部21に送信する。
[処理g]:EC処理部21は処理fから送られてきた音声信号を処理し、対向拠点(不図示)へ送信する。
FIG. 3 is a diagram for explaining detailed processing of case B. Each process is as follows.
[Treatment a]: The audio signal subjected to echo cancellation processing by the
[Process b]: The packet of process a arrives at the
[Processing c]: At time (t + k), the sound acquired by the
[Process d]: The audio signal received in process b and the audio signal acquired by the
[Processing e]: The associated audio signal is transmitted from the transmission /
[Processing f]: The transmission /
[Processing g]: The
次にエコーキャンセル処理について説明する。
エコーキャンセル処理は、信号をブロック化し、フレームごとに周波数領域に変換して行う方法が主流である。エコーキャンセル処理中の適応フィルタについて、周波数領域での具体的な処理が特許文献1及び2に記載されている。この処理では、受話信号(=再生信号)のフレームX(i)と集音信号のフレームY(i)を入力とする。受話信号として過去数フレーム〜十数フレームを使用する。ただしiはフレーム番号である。過去4フレームを使う場合を図4に示す。時刻t0では、X(i−3)〜X(i),Y(i)を用いて適応フィルタを更新する。時刻t1では、X(i−2)〜X(i+1),Y(i+1)を用いて適応フィルタを更新する。
Next, echo cancellation processing will be described.
The echo cancellation process is mainly performed by blocking a signal and converting it into a frequency domain for each frame. For adaptive filters during echo cancellation processing, specific processing in the frequency domain is described in
EC処理部は、エコーキャンセル処理を行うため内部状態変数と使い捨て変数の2つを持つ。内部状態変数は、過去フレームに依存する変数であり、適応フィルタの係数やX(i)が含まれる。使い捨て変数は、過去フレームに依存しない変数であり、Y(i)が含まれる。 The EC processing unit has two internal state variables and disposable variables for performing echo cancellation processing. The internal state variable is a variable depending on the past frame, and includes an adaptive filter coefficient and X (i). The disposable variable is a variable that does not depend on the past frame, and includes Y (i).
以下に本発明の課題となる事象を2つ述べる。 Two events that are the subject of the present invention will be described below.
第1の課題はケースBの処理において、ネットワーク側から送られ拠点で受信した音声信号を、拠点側でネットワーク側へ送り返す処理を行うため、音声信号の帯域を多く使うことである。 The first problem is that, in the processing of Case B, a voice signal sent from the network side and received at the site is sent back to the network side at the site side.
第2の課題はネットワークといった伝達経路においてパケットロスといった信号欠損が発生すると、エコーキャンセル処理を実施するための音声が失われ、エコーキャンセル処理が適切に行われないことである。前述したダブルトークについても、ダブルトークが発生時の対応処理はそれぞれの入出力信号で音声が途切れないことが前提として動作するため、本検出処理も動作しなくなる。 The second problem is that when signal loss such as packet loss occurs in a transmission path such as a network, voice for performing echo cancellation processing is lost, and echo cancellation processing is not performed appropriately. Also for the above-described double talk, the corresponding processing when the double talk occurs operates on the premise that the sound is not interrupted by the respective input / output signals, and thus this detection processing also does not work.
図5は、ネットワーク上で音声信号を含んだフレームが欠損した場合のエコーキャンセル処理の劣化について説明した図である。 FIG. 5 is a diagram for explaining deterioration of echo cancellation processing when a frame including an audio signal is lost on the network.
時刻t0においてフレームが欠損した場合、欠損したフレームに含まれていた音声信号を事後対応として0詰めしたとする。X(i)を0詰めするということは、実際の音響系でスピーカのボリュームを0にすることと等価である。仮にボリュームを0にしても、X(i−1)までの過去フレームに起因するエコーはマイクに到達する。そのためY(i)を0詰めすることは、マイクボリュームを0にすることと等価である。実際の音響系では、スピーカ・マイクともボリュームを変えていないにもかかわらずパケットロス等でフレームが欠損すると、EC処理部は、適応フィルタ信号処理において「音響系が急激に変化した」とみなして追随しようとする。このフレーム欠損の影響は、内部状態変数に残存することになる。 When a frame is lost at time t0, it is assumed that the audio signal included in the lost frame is zero-padded as a post-action response. Filling X (i) with zero is equivalent to setting the speaker volume to zero in an actual acoustic system. Even if the volume is set to 0, echoes resulting from past frames up to X (i-1) reach the microphone. Therefore, padding Y (i) with zero is equivalent to setting the microphone volume to zero. In an actual acoustic system, if the frame is lost due to packet loss or the like even though the volume of the speaker / microphone is not changed, the EC processing unit regards that the acoustic system has suddenly changed in adaptive filter signal processing. Try to follow. The effect of this frame loss will remain in the internal state variable.
次に、現フレームは問題ないが過去フレームが欠損している場合について述べる。適応フィルタの更新では、過去フレームの情報X(i−3)〜X(i−1)を使っている。図5のようにX(i−2)に欠損がある場合、適応フィルタを更新してしまうと、欠損が適応フィルタの係数に伝播して残存する。これにより時刻t0及び時刻t1において適応フィルタを更新できなくなる。 Next, a case where there is no problem with the current frame but a past frame is missing will be described. The update of the adaptive filter uses past frame information X (i-3) to X (i-1). If there is a defect in X (i-2) as shown in FIG. 5, if the adaptive filter is updated, the defect propagates to the coefficient of the adaptive filter and remains. As a result, the adaptive filter cannot be updated at time t0 and time t1.
実際の製品では、X(i)のフレーム数は10以上であり、短くない。そのために適応フィルタを更新できない区間の長さは、フレームが欠損している区間の長さよりもずっと長くなる。エコーキャンセル処理のうち、適応フィルタ以外の処理でも、内部状態変数に関わる処理は、フレーム欠損の影響を同じように受ける。したがって欠損がひとたび起きるとその影響は大きい。 In an actual product, the number of frames of X (i) is 10 or more and is not short. Therefore, the length of the section in which the adaptive filter cannot be updated is much longer than the length of the section in which the frame is missing. Of the echo cancellation processing, processing related to the internal state variable is similarly affected by frame loss even in processing other than the adaptive filter. Therefore, once a deficit occurs, the impact is significant.
ケースBではエコーキャンセル処理はネットワーク上で集中的に実施する。そのためエコーキャンセル処理を適切に実施するには、各拠点への音声信号と各拠点からの音声信号とがパケットロスが無い状態、すなわち完璧な状態で取得する必要がある。しかし、図6の[a]のように拠点向けに送られた音声信号がネットワーク通過時に欠損し、[b]のように送受信処理部12で(t+k)の信号が取得できない場合、マッチングをとった音声は無音となる。この場合、エコーキャンセル装置20に送り返される音声は[c]のように元の音声が含まれないものとなる。これにより、EC処理部21には欠損した音声を含んだ信号を渡すことになり、適切なフィルタ形成ができなくなる。
In Case B, the echo cancellation process is concentrated on the network. Therefore, in order to appropriately execute the echo cancellation process, it is necessary to acquire the audio signal to each site and the audio signal from each site with no packet loss, that is, in a perfect state. However, if the audio signal sent to the base as shown in [a] in FIG. 6 is lost when passing through the network and the (t + k) signal cannot be acquired by the transmission /
本発明は、上記第1の課題と第2の課題を解決するため、ネットワーク型のエコーキャンセル処理で伝送ビットレートを下げ、且つ信号欠損に対する耐性が向上するエコーキャンセル装置、拠点装置、通信システム、及びエコーキャンセル方法を提供することを目的とする。 In order to solve the first and second problems, the present invention provides an echo cancellation device, a base device, a communication system, which reduces the transmission bit rate by network-type echo cancellation processing and improves resistance to signal loss, It is another object of the present invention to provide an echo cancellation method.
上記目的を達成するために、本発明は、ネットワーク上のエコーキャンセル装置から拠点装置に送信される音声信号をエコーキャンセル装置に保持しておき、拠点装置から音声信号が送信されてくると当該音声信号と対になる信号をエコーキャンセル装置に保持された音声信号から特定し、特定した音声信号を用いてエコーキャンセル処理を行うことによりパケットロスにより生じるエコーキャンセル処理の劣化を回避することとした。 In order to achieve the above object, the present invention holds an audio signal transmitted from an echo canceling device on a network to a base device in the echo canceling device, and the voice signal is transmitted from the base device when the audio signal is transmitted. A signal paired with the signal is identified from the audio signal held in the echo cancellation device, and the echo cancellation process is performed using the identified audio signal, thereby avoiding the deterioration of the echo cancellation process caused by the packet loss.
具体的には、本発明に係るエコーキャンセル装置は、
音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置と通信しており、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置であって、
前記拠点装置で放音する再生音声の受信信号を記憶する記憶部と、
前記拠点装置からの送信信号が到着したときに、前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を前記記憶部から取り出し、前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うエコーキャンセル処理部と、
を有することを特徴とする。
Specifically, the echo cancellation device according to the present invention is:
The collected sound collected from the sound is transmitted as a transmission signal to the network and communicated with the base device that emits the reproduced sound based on the received signal received from the network, and the sound was emitted when collecting the sound. An echo cancellation apparatus that performs echo cancellation processing on a network to remove the echo from the collected voice including the reproduced voice as an echo,
A storage unit for storing a reception signal of a reproduction sound to be emitted from the base device;
When the transmission signal from the base device arrives, the reception signal corresponding to the reproduced sound reproduced when the collected sound of the transmission signal is collected by the base device is extracted from the storage unit, and the transmission is performed. An echo cancellation processing unit for performing echo cancellation processing using the signal and the received signal from the storage unit;
It is characterized by having.
具体的には、本発明に係る拠点装置は、
音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置と通信しており、音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置であって、
前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報を前記エコーキャンセル装置へ送信する情報生成部を有することを特徴とする。
Specifically, the base device according to the present invention is:
Communicating with an echo cancellation device on the network that performs echo cancellation processing on the network to remove the echo from the collected voice that contains the reproduced voice that was emitted as an echo when collecting the voice. A base device that transmits sound and sound as a transmission signal to a network and emits reproduced sound based on a reception signal received from the network,
An information generation unit that grasps a reception signal corresponding to a reproduction sound reproduced when the collected sound of the transmission signal is collected, and transmits related information between the transmission signal and the reception signal to the echo cancellation device; It is characterized by having.
具体的には、本発明に係る通信システムは、
音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置と、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置と、を備える通信システムでであって、
前記エコーキャンセル装置は、
前記拠点装置で放音する再生音声の受信信号を記憶する記憶部と、
前記拠点装置からの送信信号が到着したときに、前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を前記記憶部から取り出し、前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うエコーキャンセル処理部と、
を有し、
前記拠点装置は、
前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報を前記エコーキャンセル装置へ送信する情報生成部を有する
ことを特徴とする。
Specifically, the communication system according to the present invention is:
The collected sound that has been collected is transmitted to the network as a transmission signal, and the base unit that emits the reproduced sound based on the received signal received from the network, and the reproduced sound that is emitted when the sound is collected are echoed. An echo canceling device for performing echo cancellation processing on the network to remove the echo from the collected voice included as, and a communication system comprising:
The echo canceling device is
A storage unit for storing a reception signal of a reproduction sound to be emitted from the base device;
When the transmission signal from the base device arrives, the reception signal corresponding to the reproduced sound reproduced when the collected sound of the transmission signal is collected by the base device is extracted from the storage unit, and the transmission is performed. An echo cancellation processing unit for performing echo cancellation processing using the signal and the received signal from the storage unit;
Have
The base device is
An information generation unit that grasps a reception signal corresponding to a reproduction sound reproduced when the collected sound of the transmission signal is collected, and transmits related information between the transmission signal and the reception signal to the echo cancellation device; It is characterized by having.
具体的には、本発明に係るエコーキャンセル方法は、
音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置と、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置と、を備える通信システムでのエコーキャンセル方法であって、
前記拠点装置で放音する再生音声の受信信号を前記エコーキャンセル装置の記憶部に記憶しておき、
前記拠点装置で前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報を前記エコーキャンセル装置へ通知し、
前記拠点装置からの送信信号が前記エコーキャンセル装置に到着したときに、前記関連情報に基づいて前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を前記記憶部から取り出し、前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うことを特徴とする。
Specifically, the echo cancellation method according to the present invention is:
The collected sound that has been collected is transmitted to the network as a transmission signal, and the base unit that emits the reproduced sound based on the received signal received from the network, and the reproduced sound that is emitted when the sound is collected are echoed. An echo canceling method in a communication system comprising an echo canceling device that performs echo cancellation processing on a network to remove the echo from the collected voice included as
Store the reception signal of the reproduced sound to be emitted by the base device in the storage unit of the echo cancellation device,
The reception signal corresponding to the reproduction sound reproduced when the collected sound of the transmission signal is collected by the base device is grasped, and related information between the transmission signal and the reception signal is notified to the echo cancellation device. ,
When the transmission signal from the base device arrives at the echo cancellation device, it corresponds to the reproduced sound reproduced when the collected sound of the transmission signal is collected by the base device based on the related information A reception signal is extracted from the storage unit, and echo cancellation processing is performed using the transmission signal and the reception signal from the storage unit.
本エコーキャンセル装置は、拠点装置で再生する受信信号を保持しておくため拠点装置から当該受信信号を送り返す必要がなく、拠点装置へ引き渡す受信信号が途中で失われた(パケットロスした)としても保持した受信信号を用いてEC処理を行うことができる。従って、本発明は、ネットワーク型のエコーキャンセル処理で伝送ビットレートを下げ、且つ信号欠損に対する耐性が向上するエコーキャンセル装置、拠点装置、通信システム、及びエコーキャンセル方法を提供することができる。 Since this echo cancellation device holds the reception signal to be reproduced by the base device, there is no need to send back the reception signal from the base device, and even if the reception signal delivered to the base device is lost (packet loss) in the middle EC processing can be performed using the held received signal. Therefore, the present invention can provide an echo canceling device, a base device, a communication system, and an echo canceling method that reduce the transmission bit rate by the network type echo canceling process and improve the resistance to signal loss.
本発明に係るエコーキャンセル装置は、前記拠点装置で前記送信信号に付加されたパリティを用いて、伝送中の前記送信信号の欠損を復元する誤り訂正機能をさらに有することを特徴とする。 The echo cancellation apparatus according to the present invention further includes an error correction function that restores the loss of the transmission signal being transmitted using the parity added to the transmission signal by the base apparatus.
本発明に係る拠点装置は、前記エコーキャンセル装置で前記受信信号に付加されたパリティを用いて、伝送中の前記受信信号の欠損を復元する誤り訂正機能をさらに有することを特徴とする。 The base apparatus according to the present invention further includes an error correction function that restores a loss of the received signal during transmission using the parity added to the received signal by the echo canceling apparatus.
本発明に係る通信システムは、前記拠点装置と前記エコーキャンセル装置との間の前記送信信号及び前記受信信号にパリティを付加し、伝送中の前記送信信号及び前記受信信号の欠損を復元する誤り訂正機能をさらに有することを特徴とする。 The communication system according to the present invention adds a parity to the transmission signal and the reception signal between the base device and the echo cancellation device, and restores the loss of the transmission signal and the reception signal being transmitted. It further has a function.
本発明に係るエコーキャンセル方法は、前記拠点装置と前記エコーキャンセル装置との間の前記送信信号及び前記受信信号にパリティを付加し、伝送中の前記送信信号及び前記受信信号の欠損を復元することを特徴とする。 The echo cancellation method according to the present invention adds parity to the transmission signal and the reception signal between the base device and the echo cancellation device, and restores the loss of the transmission signal and the reception signal being transmitted. It is characterized by.
エコーキャンセル装置と拠点装置が誤り訂正(FEC)機能を搭載することで、パケットロスが発生した場合でも信号を復元することができる。このため、パケットロスによる「音響系が急激に変化した」状態を回避することができ、適切なエコーキャンセル処理を行える。 Since the echo cancellation apparatus and the base apparatus are equipped with an error correction (FEC) function, a signal can be restored even when a packet loss occurs. For this reason, it is possible to avoid a state in which the “acoustic system has suddenly changed” due to packet loss, and appropriate echo cancellation processing can be performed.
本発明は、ネットワーク型のエコーキャンセル処理で伝送ビットレートを下げ、且つ信号欠損に対する耐性が向上するエコーキャンセル装置、拠点装置、通信システム、及びエコーキャンセル方法を提供することができる。 The present invention can provide an echo canceling device, a base device, a communication system, and an echo canceling method that reduce the transmission bit rate by network-type echo canceling processing and improve resistance to signal loss.
添付の図面を参照して本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。 Embodiments of the present invention will be described with reference to the accompanying drawings. The embodiments described below are examples of the present invention, and the present invention is not limited to the following embodiments. In the present specification and drawings, the same reference numerals denote the same components.
(実施形態1)
本実施形態は、ネットワーク側、拠点側に誤り訂正(FEC)機能を搭載し、信号欠損が発生した場合でも信号を復元し、適切なエコーキャンセル処理を行えるようにする方法である。
(Embodiment 1)
The present embodiment is a method in which an error correction (FEC) function is mounted on the network side and the base side, so that even when signal loss occurs, the signal is restored and appropriate echo cancellation processing can be performed.
図7は、本実施形態の通信システム301を説明する図である。通信システム301は、音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置10Aと、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置20と、を備える。図7で、拠点装置10Aで集音した集音音声の送達先であり、拠点装置10Aで放音させる再生信号の発信元である拠点装置10Bは、記載を省略している。
FIG. 7 is a diagram illustrating the
通信システム301は、拠点装置10Aとエコーキャンセル装置20との間の前記送信信号及び前記受信信号にパリティを付加し、伝送中の前記送信信号及び前記受信信号の欠損を復元する誤り訂正機能を有する。具体的には、図7のように拠点装置10AはFEC処理部15を備え、エコーキャンセル装置20はFEC処理部25を備える。
The
FEC処理部25は、エコーキャンセル装置20がネットワークに拠点装置10A宛の信号(前記受信信号)を送出する際に、パリティと呼ばれる復号用の情報を当該信号に付加する。拠点装置10Aではネットワーク側から送られてきた信号(前記受信信号)の欠損があった場合、FEC処理部15がパリティ情報を利用して欠損した信号を復元する。これと同様に拠点装置10Aから送出する信号(前記送信信号)に対してもFEC処理部15がパリティ情報を追加することで、エコーキャンセル装置20も拠点装置10Aから送られてきた当該信号について復元が可能となる。結果として、エコーキャンセル装置20は本来受け取るべき音声信号を取得できるため、適切なエコーキャンセル処理を行える。
The
(実施形態2)
本実施形態は、いずれの信号が失われたかを拠点側で検出しEC処理時にネットワーク側で補完する方法である。ネットワーク側から送信された音声信号について、拠点側でどの部分の音声が欠落したのかの情報をメタデータとして作成しネットワーク側に送信する。ネットワーク側では拠点側に送信した音声を保持しておく。拠点から送られてきたメタデータに、パケット欠落による音声欠損の情報が含まれていた場合、バッファから音声信号を取得することで音声を復元する。
(Embodiment 2)
This embodiment is a method of detecting which signal is lost on the base side and complementing on the network side during EC processing. About the audio | voice signal transmitted from the network side, the information which part audio | voice was missing in the base side is created as metadata, and is transmitted to the network side. On the network side, the voice transmitted to the base side is retained. When the metadata sent from the base includes information on voice loss due to packet loss, the voice is restored by acquiring the voice signal from the buffer.
図8は、本実施形態の通信システム302を説明する図である。通信システム302は、図7の通信システム301と同様に拠点装置10A、エコーキャンセル装置20、及び不図示の拠点装置10Bで構成される。
FIG. 8 is a diagram illustrating the
エコーキャンセル装置20は、
拠点装置10Aで放音する再生音声の受信信号を記憶する記憶部27と、
拠点装置10Aからの送信信号が到着したときに、拠点装置10Aで前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を記憶部27から取り出し、前記送信信号と記憶部27からの受信信号を用いてエコーキャンセル処理を行うエコーキャンセル処理部21と、
を有する。
また、拠点装置10Aは、
前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報MDをエコーキャンセル装置20へ送信する情報生成部を有する。
なお、本実施形態では、送受信処理部12が前記情報生成部を搭載するものとする。
The
A storage unit 27 for storing a reception signal of a reproduced sound to be emitted from the
When the transmission signal from the
Have
The
An information generation unit that grasps a reception signal corresponding to a reproduction sound reproduced when the collected sound of the transmission signal is collected, and transmits related information MD between the transmission signal and the reception signal to the
In the present embodiment, it is assumed that the transmission /
本実施形態のEC処理をケースCとする。ケースBでは拠点装置10Aはネットワーク側から受信した音声信号(前記受信信号)をエコーキャンセル装置20に送り返す処理をしていた。これに対しケースCでは、エコーキャンセル装置20がネットワーク側から受信した音声信号(前記受信信号)を記憶部27に記憶しておき(処理[a])、拠点装置10Aは受信した音声信号(前記受信信号)をエコーキャンセル装置20へ戻す処理をしない。そして、拠点装置10Aは、ネットワークからの音声信号と自身で集音した音声信号について、ケースBと同様に、EC処理の対になるフレームのマッチング作業を実施する。
The EC process of this embodiment is assumed to be case C. In Case B, the
ケースCでは、拠点装置10Aは、EC処理の対の組み合わせについて、例えば、パケット番号やフレーム番号等の音声信号の単位に付与された番号や時刻などで対応付けたマッチング情報MD(前記関連情報)を生成する(処理[b][c])。拠点装置10Aは、マッチング情報MDをメタデータとしてエコーキャンセル装置20へ送信する(処理[d])。
In the case C, the
エコーキャンセル装置20は、受け取ったマッチング情報MDに記載されているパケット番号等に基づいて記憶部27に格納した音声信号(前記受信信号)を取り出す(処理[e])。そして、エコーキャンセル装置20は、マッチング情報に基づき拠点装置10Aから送られてきた音声信号(前記送信信号)と記憶部27から取り出された音声信号(前記受信信号)とをセットにしてEC処理部21に送る(処理[f])。EC処理部21は前記送信信号と前記受信信号に基づいてEC処理を行う。
The
ここで、図9を用いて実際に信号の欠損が発生した場合を説明する。この場合、拠点装置10Aで再生すべき受信信号“a123”が欠損し、スピーカで再生されない。このため、拠点装置10Aが集音する音声は、“a123”が回り込まない音となる。つまり、集音した送信信号“b456”には回り込み音声が含まれない音声である。拠点装置10Aは、いずれのフレームやパケットの前記受信信号が欠損したかについて把握し、この情報をマッチング情報MDに追記する(処理[b][c])。エコーキャンセル装置20は、マッチング情報MDに記載されている信号欠損の情報を参照し、欠損があった場合には、拠点装置10Aで集音された音声信号に対して信号補完処理を行い、回り込み音声が含まれている音声信号とする(処理[e’])。詳細には、エコーキャンセル装置20は、マッチング情報MDから欠損信号に対応する音声信号“a123”(前記受信信号)を記憶部27から取り出し、集音した音声信号“b456”に重畳させて回り込み音声が含まれている音声信号とする。
Here, a case where a signal loss actually occurs will be described with reference to FIG. In this case, the received signal “a123” to be reproduced by the
エコーキャンセル装置20は、同時にマッチング情報MDからEC処理に対応する音声信号(前記受信信号)を記憶部27から取り出す(処理[e])。そして、エコーキャンセル装置20は、補完処理が行われた音声信号と記憶部27から取り出された音声信号とをセットにしてEC処理部21に渡す。これによりEC処理部21は適切なフィルタ演算が可能となる。
The
ケースCでは、上記処理により、拠点が送られてきた音声信号をそのまま返送せず、マッチング情報というメタデータをネットワーク側に送ることで、途中経路で音声を消失してもエコーキャンセル処理が実施できる。これにより、ネットワークの帯域を使わずにエコーキャンセル処理を実現することができる。 In Case C, echo cancellation processing can be performed even if voice is lost along the route by sending metadata called matching information to the network side without returning the voice signal sent from the base as it is by the above processing. . As a result, echo cancellation processing can be realized without using the network bandwidth.
なお、上記においては、エコーキャンセル装置20は、マッチング情報MDに記載されている信号欠損の情報を参照し、欠損があった場合には、拠点装置10Aで集音された音声信号に対して信号補完処理を行い、回り込み音声が含まれている音声信号とした(処理[e’])。上記と異なり、エコーキャンセル装置20は、拠点側の音声に対して処理を行わず、マッチング情報MDに記載されている信号欠損の情報を参照し、欠損があった場合には、記憶部27から音声を取り出す音声についてa123部分の音声信号部分に0信号を埋め込み、当該信号と拠点側から送られてくる回り込み音声が含まれない音声信号をセットにしてEC処理部21に渡すようにしても良い。
In the above description, the
(実施形態3)
図8の通信システムに図7で説明したFEC機能を搭載してもよい。例えば、通常はFEC処理で信号を復元するが、FEC処理で信号を復元できなかった場合に図9の説明のようにエコーキャンセル装置の記憶部から取得し、信号補完処理をすることで、適切なEC処理を継続可能とする。
(Embodiment 3)
The FEC function described in FIG. 7 may be installed in the communication system of FIG. For example, the signal is normally restored by the FEC process, but when the signal cannot be restored by the FEC process, the signal is acquired from the storage unit of the echo canceling apparatus as illustrated in FIG. EC processing can be continued.
(実施形態4)
本実施形態は、図10に示すように再生音声も集音音声も欠損する場合の動作である。
実施形態2及び3では、伝送路でパケットを欠損するなどで拠点装置10Aで再生する音声を消失した場合、それを復元しEC処理への影響を最小限にとどめることが可能となる場合を説明した。本実施形態では、往路、復路ともに信号を欠損するなど、複合的にパケットロスが発生しFECで救済できない、メタデータの参照ができないといった場合について説明する。
(Embodiment 4)
This embodiment is an operation in the case where both the reproduced sound and the collected sound are lost as shown in FIG.
In the second and third embodiments, a description will be given of a case where, when a voice played back at the
エコーキャンセル装置20は、再生音声も集音音声も欠損していることを認識した場合、当該信号区間(時間)、EC処理を停止する。この区間のフィルタ演算を停止してフィルタ係数を更新しないことで、後のEC処理のフィルタ演算に影響を及ぼさないようにする。
When the
(実施形態5)
本実施形態では、実施形態1から4で説明した通信システムにおけるエコーキャンセル方法について説明する。
(Embodiment 5)
In the present embodiment, an echo cancellation method in the communication system described in the first to fourth embodiments will be described.
本実施形態のエコーキャンセル方法は、どの信号が欠損したかを、エコーキャンセル処理を行うマッチング情報に記載し、その情報に基づいて、あらかじめネットワーク側でバッファされている信号から、欠損信号を復元することとしている。例えばパケットロスした情報として、ロスしたパケット番号がメタデータに記載される。メタデータは各拠点側で作成され、拠点側で取得された音声とEC処理の対になる信号、すなわちネットワーク側から送られてきた信号とのマッチングについての情報を持つ。例えば、拠点側で取得されパケット化された信号のパケット番号がa−10番であり、10番のパケットに含まれる音声信号とEC処理の対になる音声を含んだ、ネットワーク側から送られてきた信号をb−20番とすると、a−10とb−20が対応するといった情報がメタデータに書き込まれる。 In the echo cancellation method of the present embodiment, which signal is lost is described in matching information for performing echo cancellation processing, and the lost signal is restored from the signal buffered in advance on the network side based on the information. I am going to do that. For example, the lost packet number is described in the metadata as the packet loss information. The metadata is created at each site, and has information about matching between the audio acquired at the site and a signal that is a pair of EC processing, that is, a signal sent from the network. For example, the packet number of the signal acquired and packetized at the base side is a-10, and is sent from the network side including the voice signal included in the No. 10 packet and the voice to be paired with EC processing. If the signal is b-20, information that a-10 and b-20 correspond is written in the metadata.
メタデータには、ネットワークから送られてきた信号がパケットロスしているか、していないかの情報も含まれる。なお、メタデータに記載されるメタデータの対となる情報については、パケット番号による対応付けに限らず、受信時間等で紐づけることも想定される。 The metadata includes information on whether or not the signal transmitted from the network has lost a packet. Note that the information that forms a pair of metadata described in the metadata is not limited to association by packet number, but may be associated by reception time or the like.
作成されたメタデータは拠点側からネットワーク側に逐次送られる。ネットワーク側はこれにより拠点側に送り出したパケットのうち、どのパケットがロスしたかを把握し拠点側から送られてきた音声信号と対になる信号を送信時にバッファしていた信号から抽出することが可能になる。 The created metadata is sequentially sent from the base side to the network side. The network side can grasp which packet is lost among the packets sent to the base side and extract the signal paired with the voice signal sent from the base side from the signal buffered at the time of transmission. It becomes possible.
本実施形態のエコーキャンセル方法は、ネットワーク上でのエコーキャンセル処理において、エコーキャンセル処理を適切に動作させるために、ネットワーク側と拠点側のそれぞれにFEC機能を導入し、欠損した信号を復元する機能を持たせてもよい。本手法で、FECを導入することにより、消失に対する耐性が上がり、EC処理への影響をさらに少なくすることができる。 The echo cancellation method of the present embodiment has a function of introducing a FEC function on each of the network side and the base side to restore a missing signal in order to properly operate the echo cancellation process in the echo cancellation process on the network. May be provided. By introducing FEC in this method, tolerance to disappearance is increased, and the influence on EC processing can be further reduced.
本実施形態のエコーキャンセル方法は、FECを導入しても信号を復元しきれない場合、ロスした信号を含むデータ部分についてはEC処理を停止させ、フィルタを更新しないことでデータロスの影響を低減する。 In the echo cancellation method of the present embodiment, when the signal cannot be restored even if FEC is introduced, the EC processing is stopped for the data portion including the lost signal, and the influence of the data loss is reduced by not updating the filter. To do.
図11から図14は、本実施形態のエコーキャンセル方法を説明する図である。本実施形態のエコーキャンセル方法は、FEC機能を備えたケースCの構成におけるIPネットワーク上でのEC処理である。 11 to 14 are diagrams for explaining the echo cancellation method of the present embodiment. The echo cancellation method of this embodiment is EC processing on the IP network in the configuration of case C having the FEC function.
図11は、ネットワーク側から拠点装置へ再生音声を送信する際のエコーキャンセル装置の動作を説明する図である。
再生信号は、ネットワークエコーキャンセル装置100のエコーキャンセル処理部(EC部)101で処理され、FEC送信処理部102に送られる。FEC送信処理部102はFEC処理を行い、パリティ情報計算を行う。パリティ情報計算が行われたのち、再生信号およびパリティはパケット送信処理部103に送られる。
FIG. 11 is a diagram for explaining the operation of the echo canceling apparatus when transmitting the reproduced sound from the network side to the base apparatus.
The reproduction signal is processed by the echo cancellation processing unit (EC unit) 101 of the network
パケット送信処理部103は音声信号およびパリティをパケット化する。この時、パケット送信処理部103は入力された信号を一定のサイズに分割し、分割データごとにパケット番号、および、FEC送信処理部102から取得した時間情報を付与する。また、パケット送信処理部103はパケット番号と取得時間の組み合わせを記したテーブル情報を作成する。
The packet
パケット化された信号、および、テーブル情報がバッファ部104に格納される。また、パケット化された信号は送信部105に渡され、送信部105から拠点装置に向けて送出される。
The packetized signal and table information are stored in the
図12は、ネットワーク側から拠点装置へ再生音声を送信する際の拠点装置の動作を説明する図である。
拠点処理装置200の受信部201は、ネットワーク側から送られてきた信号を受信する。パケット受信処理部202は受信部201から送られてきたパケットから音声信号を取り出し一定量バッファした後に、パケット番号に基づいて音声信号を整列させ、FEC受信処理部203へ音声信号を渡す。また、パケット受信処理部202は信号を整列させた時刻、および、それぞれのパケット番号をセットにした受信信号テーブル情報を作成し、FEC受信処理部203に渡す。
FIG. 12 is a diagram for explaining the operation of the site device when transmitting playback audio from the network side to the site device.
The receiving
FEC受信処理部203は、受信信号テーブル情報から受信したパケットの欠損が発見した場合、パリティを用いて信号を復元する。復元が成功した場合、FEC受信処理部203は、復元信号を欠損箇所に挿入し、テーブル情報に該当するパケット番号を挿入する。復元に失敗した場合は、FEC受信処理部203は、信号に0詰め信号(無音信号)を生成し、失敗したパケット番号、失敗したことを示す情報を受信信号テーブルに追記する。追記した受信信号テーブルはメタ情報作成部209に渡される。
The FEC
FEC受信処理部203からDA処理部204に信号が渡される。DA処理部204はデジタル形式の信号をアナログ形式に変換し、スピーカで出力できる音声として、出力部205に信号を渡す。出力部205は送られてきた信号を出力端子より出力する。
A signal is passed from the FEC
図13は、拠点装置からネットワーク側へ集音音声を送信する際の拠点装置の動作を説明する図である。
入力部206は、マイク等などから集音音声を受信し、AD変換部207へ集音音声を渡す。AD変換部207は、受け取った音声信号をアナログからデジタルへ変換し、FEC送信処理部208へ信号を渡す。FEC送信処理部208は送られてきた信号を受信しパリティ情報を算出する。パリティ情報は音声信号とともにメタ情報作成部209に送られる。
FIG. 13 is a diagram for explaining the operation of the base device when the collected sound is transmitted from the base device to the network side.
The
メタ情報作成部209は送信信号テーブル情報を作成する。具体的には、パケット送信処理部210で定間隔に分割される音声信号それぞれに、FEC送信処理部208から受け取った時刻、パケット送信処理部210で振られるパケット番号を振り、送信信号テーブル情報が作成される。ここで、メタ情報作成部209は、作成された送信信号テーブルとFEC受信処理部203から送られてきた受信信号テーブル情報を参照し、それぞれの時刻情報からEC処理の組み合わせになる、それぞれのパケット番号の組み合わせを抽出し、マッチングテーブルを作成する。マッチングテーブルには受信信号テーブルに記載された、パケット欠損情報も含まれる。なお、EC処理の組み合わせを定める、各テーブルに記載された時刻情報は、拠点処理装置200内の各処理が同一クロックで処理されるため、常に一意に組み合わせが決定する。作成されたマッチングテーブルもパケット処理部210に渡される。
The meta
パケット処理部210は、音声信号をメタ情報作成部209から受信し、受信した信号を定間隔で分割し、それぞれにパケット番号を付与する。また、FEC送信処理部208で作成されたパリティはここでパケットに冗長される。パケット化された信号は送信部211に渡される。またマッチングテーブルについてもパケット送信処理部210でパケット化され、送信部211に送られる。送信部211は、パケット送信処理部210から送られてきたパケット、およびマッチングテーブルをエコーキャンセル装置100へ送信する。
The
図14は、拠点装置からネットワーク側へ集音音声を送信する際のエコーキャンセル装置の動作を説明する図である。
ネットワークエコーキャンセル装置100の受信部106は、拠点処理装置200から送られてきたパケットを受信し、パケット受信処理部107に送る。パケット受信処理部107は、パケットを一定量バッファした後にパケットから音声信号、パリティ、およびマッチングテーブルを抽出する。パケット受信処理部107は、音声信号をパケット番号順に整列してFEC受信処理部108へ音声信号、パリティ、及び受信パケット番号を渡す。パケット受信処理部107は、マッチングテーブルをマッチング処理部109に渡す。
FIG. 14 is a diagram for explaining the operation of the echo canceling device when the collected sound is transmitted from the base device to the network side.
The
FEC受信処理部108は、受信パケット番号を確認し、欠損が発見された場合に音声信号とパリティ情報からパリティを用いて欠損した信号を復元する。復元が成功した場合、FEC受信処理部108は、復元信号を欠損箇所に挿入し、テーブル情報に該当するパケット番号を挿入する。復元が失敗した場合、FEC受信処理部108は、信号に0詰め信号(無音信号)を挿入する。また失敗したパケット番号をEC処理部101に伝達する。FEC受信処理部108は、復元した音声信号をマッチング処理部109に送る。
The FEC
マッチング処理部109は、送られてきたマッチングテーブルに基づいて、拠点装置200から送られてきたそれぞれの信号に対し、EC処理のセットとなる信号をバッファ部104から抽出し、EC処理用の信号セットとしてエコーキャンセル処理部101に送る。また、マッチング処理部109は、マッチングテーブルに欠損情報があるパケット番号について、該当する音声信号をバッファ部104から取り出し、マッチング処理部109へ送るとともに、フィルタ処理部110へも送る。フィルタ処理部110は、バッファ部104から取り出された信号と拠点装置200から送られてきた音声信号(FEC受信処理部で復元した音声信号を含む)を用いて音声を合成する。具体的には、信号欠損のため拠点装置200で再生されず集音音声だけの信号に、バッファ部104で保管されていた欠損音声を合成し、拠点装置200でその音が回り込み集音された場合と同等の信号を合成する。
Based on the sent matching table, the matching
EC処理部101は、送られてきた音声信号のEC処理を行う。EC処理部101は、FEC受信処理部108から受け取った、FEC処理失敗情報に基づきデータが不完全なときを判別する。データが不完全であった場合、EC処理部101は内部状態の更新を行わない。内部状態とは、適応フィルタのフィルタ係数や逐次推定している信号パワー推定値である。EC処理が実施された音声信号は送信先の拠点装置に送られる。
The
バッファ部104は、EC処理部101でEC処理が終わる一定時間後に保持していた音声信号を破棄する。
The
(発明の効果)
本発明の方法は、音声欠損を解消するとともに信号を伝送するためのネットワーク利用帯域を低く抑えられる。また、EC処理で生成するフィルタ内部の内部状態変数の更新に関わる信号処理の停止を大幅に回避できる。そのためフレーム欠損によるEC処理の性能劣化をおおきく改善できる。これより、ネットワークエコーキャンセル処理において、伝送で多数のロスが発生しても影響の出る頻度を大幅に下げられ、快適に音声のやり取りが可能になる。
(Effect of the invention)
According to the method of the present invention, voice loss is eliminated and a network use band for transmitting a signal can be kept low. In addition, it is possible to largely avoid the stop of the signal processing related to the update of the internal state variable inside the filter generated by the EC processing. Therefore, the performance degradation of EC processing due to frame loss can be greatly improved. As a result, in the network echo canceling process, even if a large number of losses occur in the transmission, the frequency of the influence can be greatly reduced, and the voice can be exchanged comfortably.
本発明の方法は、拠点側にエコーキャンセル処理機能を搭載した特殊な装置を設置しなくても、汎用的な機器でもエコーキャンセル処理が施されている音声信号のやり取りが可能となる。 According to the method of the present invention, it is possible to exchange an audio signal on which echo cancellation processing has been performed even with a general-purpose device without installing a special device equipped with an echo cancellation processing function on the site side.
10、10A、10B:拠点装置
20:エコーキャンセル装置
12:送受信処理部
15:FEC処理部
21:EC処理部
22:送受信処理部
25:FEC処理部
27:バッファ部(記憶部)
100:エコーキャンセル装置
101:EC処理部
102:FEC送信処理部
103:パケット送信処理部
104:バッファ部
105:送信部
106:受信部
107:パケット受信処理部
108:FEC受信処理部
109:マッチング処理部
110:フィルタ処理部
200:拠点処理装置
201:受信部
202:パケット受信処理部
203:FEC受信処理部
204:DA処理部
205:出力部
206:入力部
207:AD変換部
208:FEC送信処理部
209:メタ情報作成部
210:パケット送信処理部
211:送信部
301、302:通信システム
10, 10A, 10B: Base device 20: Echo cancel device 12: Transmission / reception processing unit 15: FEC processing unit 21: EC processing unit 22: Transmission / reception processing unit 25: FEC processing unit 27: Buffer unit (storage unit)
100: Echo cancel device 101: EC processing unit 102: FEC transmission processing unit 103: Packet transmission processing unit 104: Buffer unit 105: Transmission unit 106: Reception unit 107: Packet reception processing unit 108: FEC reception processing unit 109: Matching process Unit 110: filter processing unit 200: site processing device 201: reception unit 202: packet reception processing unit 203: FEC reception processing unit 204: DA processing unit 205: output unit 206: input unit 207: AD conversion unit 208: FEC transmission processing Unit 209: meta information creation unit 210: packet transmission processing unit 211:
Claims (8)
前記拠点装置で放音する再生音声の受信信号を記憶する記憶部と、
前記拠点装置からの送信信号が到着したときに、前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を前記記憶部から取り出し、前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うエコーキャンセル処理部と、
を有することを特徴とするエコーキャンセル装置。 The collected sound collected from the sound is transmitted as a transmission signal to the network and communicated with the base device that emits the reproduced sound based on the received signal received from the network, and the sound was emitted when collecting the sound. An echo cancellation apparatus that performs echo cancellation processing on a network to remove the echo from the collected voice including the reproduced voice as an echo,
A storage unit for storing a reception signal of a reproduction sound to be emitted from the base device;
When the transmission signal from the base device arrives, the reception signal corresponding to the reproduced sound reproduced when the collected sound of the transmission signal is collected by the base device is extracted from the storage unit, and the transmission is performed. An echo cancellation processing unit for performing echo cancellation processing using the signal and the received signal from the storage unit;
An echo canceling device comprising:
The echo cancellation apparatus according to claim 1, further comprising an error correction function that restores a loss of the transmission signal being transmitted using the parity added to the transmission signal in the base apparatus.
前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報を前記エコーキャンセル装置へ送信する情報生成部を有することを特徴とする拠点装置。 Communicating with an echo cancellation device on the network that performs echo cancellation processing on the network to remove the echo from the collected voice that contains the reproduced voice that was emitted as an echo when collecting the voice. A base device that transmits sound and sound as a transmission signal to a network and emits reproduced sound based on a reception signal received from the network,
An information generation unit that grasps a reception signal corresponding to a reproduction sound reproduced when the collected sound of the transmission signal is collected, and transmits related information between the transmission signal and the reception signal to the echo cancellation device; A base device characterized by having.
The base apparatus according to claim 3, further comprising an error correction function that restores the loss of the received signal being transmitted using the parity added to the received signal by the echo canceling apparatus.
前記エコーキャンセル装置は、
前記拠点装置で放音する再生音声の受信信号を記憶する記憶部と、
前記拠点装置からの送信信号が到着したときに、前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を前記記憶部から取り出し、前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うエコーキャンセル処理部と、
を有し、
前記拠点装置は、
前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報を前記エコーキャンセル装置へ送信する情報生成部を有する
ことを特徴とする通信システム。 The collected sound that has been collected is transmitted to the network as a transmission signal, and the base unit that emits the reproduced sound based on the received signal received from the network, and the reproduced sound that is emitted when the sound is collected are echoed. An echo canceling device for performing echo cancellation processing on the network to remove the echo from the collected voice included as, and a communication system comprising:
The echo canceling device is
A storage unit for storing a reception signal of a reproduction sound to be emitted from the base device;
When the transmission signal from the base device arrives, the reception signal corresponding to the reproduced sound reproduced when the collected sound of the transmission signal is collected by the base device is extracted from the storage unit, and the transmission is performed. An echo cancellation processing unit for performing echo cancellation processing using the signal and the received signal from the storage unit;
Have
The base device is
An information generation unit that grasps a reception signal corresponding to a reproduction sound reproduced when the collected sound of the transmission signal is collected, and transmits related information between the transmission signal and the reception signal to the echo cancellation device; A communication system comprising:
It further has an error correction function of adding parity to the transmission signal and the reception signal between the base device and the echo cancellation device, and restoring a loss of the transmission signal and the reception signal being transmitted. The communication system according to claim 5.
前記拠点装置で放音する再生音声の受信信号を前記エコーキャンセル装置の記憶部に記憶しておき、
前記拠点装置で前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報を前記エコーキャンセル装置へ通知し、
前記拠点装置からの送信信号が前記エコーキャンセル装置に到着したときに、前記関連情報に基づいて前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を前記記憶部から取り出し、前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うことを特徴とするエコーキャンセル方法。 The collected sound that has been collected is transmitted to the network as a transmission signal, and the base unit that emits the reproduced sound based on the received signal received from the network, and the reproduced sound that is emitted when the sound is collected are echoed. An echo canceling method in a communication system comprising an echo canceling device that performs echo cancellation processing on a network to remove the echo from the collected voice included as
Store the reception signal of the reproduced sound to be emitted by the base device in the storage unit of the echo cancellation device,
The reception signal corresponding to the reproduction sound reproduced when the collected sound of the transmission signal is collected by the base device is grasped, and related information between the transmission signal and the reception signal is notified to the echo cancellation device. ,
When the transmission signal from the base device arrives at the echo cancellation device, it corresponds to the reproduced sound reproduced when the collected sound of the transmission signal is collected by the base device based on the related information An echo cancellation method comprising: extracting a received signal from the storage unit; and performing echo cancellation processing using the transmission signal and the received signal from the storage unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014250104A JP6396780B2 (en) | 2014-12-10 | 2014-12-10 | Echo cancellation device, base device, communication system, and echo cancellation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014250104A JP6396780B2 (en) | 2014-12-10 | 2014-12-10 | Echo cancellation device, base device, communication system, and echo cancellation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016111653A true JP2016111653A (en) | 2016-06-20 |
JP6396780B2 JP6396780B2 (en) | 2018-09-26 |
Family
ID=56125062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014250104A Active JP6396780B2 (en) | 2014-12-10 | 2014-12-10 | Echo cancellation device, base device, communication system, and echo cancellation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6396780B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003110690A (en) * | 2001-09-26 | 2003-04-11 | Toshiba Corp | Hands-free speech system, blocking preventing method, and blocking preventing program |
JP2011130145A (en) * | 2009-12-17 | 2011-06-30 | Toa Corp | Network device |
JP2014036291A (en) * | 2012-08-08 | 2014-02-24 | Nippon Telegr & Teleph Corp <Ntt> | Echo cancellation method, and system and each device therefor |
-
2014
- 2014-12-10 JP JP2014250104A patent/JP6396780B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003110690A (en) * | 2001-09-26 | 2003-04-11 | Toshiba Corp | Hands-free speech system, blocking preventing method, and blocking preventing program |
JP2011130145A (en) * | 2009-12-17 | 2011-06-30 | Toa Corp | Network device |
JP2014036291A (en) * | 2012-08-08 | 2014-02-24 | Nippon Telegr & Teleph Corp <Ntt> | Echo cancellation method, and system and each device therefor |
Also Published As
Publication number | Publication date |
---|---|
JP6396780B2 (en) | 2018-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1708471B1 (en) | System and method for audio multicast | |
US9219958B2 (en) | Systems and methods for acoustic echo cancellation with wireless microphones and speakers | |
JP2015506126A (en) | Method and configuration for echo cancellation in a conference system | |
US8819513B2 (en) | Lost real-time media packet recovery | |
US10848201B2 (en) | Cloud-based acoustic echo canceller | |
TW200931944A (en) | A method and arrangement for echo cancellation of voice signals | |
WO2017206767A1 (en) | Method for diagnosing voice delay, gateway device, and computer storage medium | |
CN108076239A (en) | A kind of method for improving IP phone echo | |
WO2013097372A1 (en) | Multi-receiver end echo cancellation method and system | |
JP2003101662A (en) | Communication method, communication apparatus and communication terminal | |
US8582754B2 (en) | Method and system for echo cancellation in presence of streamed audio | |
JP6396780B2 (en) | Echo cancellation device, base device, communication system, and echo cancellation method | |
JP5574346B2 (en) | Encoding device, decoding device, and methods thereof | |
CN102625205A (en) | Echo suppression for wireless handsets and headsets | |
JP2007194704A (en) | Data communication terminal and data communication system | |
CN104811567A (en) | System and method for carrying out acoustic echo cancellation on two-way duplex hands-free voice of VOIP (voice over internet protocol) system | |
JP5367554B2 (en) | Network equipment | |
US20130142192A1 (en) | Voice communication apparatus for intermittently discarding packets | |
JP2004297236A (en) | Communication system and echo canceller used therefor | |
JP4510742B2 (en) | Voice packet receiving and reproducing method and apparatus, and program recording medium therefor | |
KR102127641B1 (en) | A method and apparatus for controlling reception of a broadcast service provided using application layer forward error correction scheme | |
JP2005136448A (en) | Method and apparatus of canceling multichannel acoustic echo | |
Belim et al. | Network Steganography Based on Error Correction Code | |
JP2005094661A (en) | Simultaneous transmission method and system for video/voice, and transmitter and receiver using the same | |
US8433058B2 (en) | Method and system for distributed speakerphone echo cancellation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180320 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180830 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6396780 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |