JP2016111653A - Echo cancellation device, base device, communication system, and echo cancellation method - Google Patents

Echo cancellation device, base device, communication system, and echo cancellation method Download PDF

Info

Publication number
JP2016111653A
JP2016111653A JP2014250104A JP2014250104A JP2016111653A JP 2016111653 A JP2016111653 A JP 2016111653A JP 2014250104 A JP2014250104 A JP 2014250104A JP 2014250104 A JP2014250104 A JP 2014250104A JP 2016111653 A JP2016111653 A JP 2016111653A
Authority
JP
Japan
Prior art keywords
signal
echo cancellation
sound
collected
echo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014250104A
Other languages
Japanese (ja)
Other versions
JP6396780B2 (en
Inventor
敦 岡田
Atsushi Okada
敦 岡田
孝之 仲地
Takayuki Nakachi
孝之 仲地
暁 江村
Akira Emura
暁 江村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2014250104A priority Critical patent/JP6396780B2/en
Publication of JP2016111653A publication Critical patent/JP2016111653A/en
Application granted granted Critical
Publication of JP6396780B2 publication Critical patent/JP6396780B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an echo cancellation device, a base device, a communication system, and an echo cancellation method for reducing a transmission bit rate by a network type echo cancellation processing, and improving resistance to a signal defect.SOLUTION: A voice signal to be transmitted from an echo cancellation device on a network to a base device is stored in the echo cancellation device, and when the voice signal is transmitted from the base device, a signal paired with the voice signal is specified from the voice signals stored in the echo cancellation device, and echo cancellation processing is performed by using the specified voice signal to avoid deterioration in the echo cancellation processing generated due to a packet loss.SELECTED DRAWING: Figure 8

Description

本発明は、ネットワーク型エコーキャンセル処理を行うエコーキャンセル装置、これに接続する拠点装置、これらで構成される通信システム、及びそのエコーキャンセル方法に関する。   The present invention relates to an echo cancellation apparatus that performs network-type echo cancellation processing, a base apparatus connected to the echo cancellation apparatus, a communication system including these, and an echo cancellation method thereof.

ネットワークを介した音声会議・テレビ会議においては、快適な通話のため、エコーやノイズを抑制する処理(以下、エコーキャンセル処理又はEC処理)を行っている。エコーキャンセル処理については後述する。エコーキャンセル処理は相手側から送られてきた音声、および自拠点で入力された音声の両信号を使い処理を行う。エコーキャンセル処理は、両拠点間で同時に通話するダブルトークと呼ばれる状態、すなわちスピーカからの回り込み音声に加えて、送話者の音声がマイクに入力された場合、信号処理上、エコーキャンセル処理が十分に動作しないという問題がある。このため、ダブルトークが発生する場合はエコーキャンセル処理を止める等の対応をすることで処理に影響が出ないようにしている。   In voice conferences and video conferences over a network, processing for suppressing echo and noise (hereinafter referred to as echo cancellation processing or EC processing) is performed for a comfortable call. The echo cancellation process will be described later. The echo cancellation process is performed using both the voice signal sent from the other party and the voice signal input at the local site. Echo cancellation processing is a state called double talk, in which conversations are made simultaneously between the two locations. That is, when the voice of the sender is input to the microphone in addition to the sneak sound from the speaker, the echo cancellation processing is sufficient for signal processing. There is a problem that does not work. For this reason, when double talk occurs, the processing is not affected by taking measures such as stopping the echo cancellation processing.

エコーキャンセル処理を適用した遠隔会議の実施形態として、実施する拠点に設置された特別な装置で処理されるケース(ケースA:図1)、及び、各映像・音声信号を中継するネットワーク上の設備で行われるケース(以下ネットワークエコーキャンセル処理)が想定される(ケースB:図2)。   As an embodiment of the remote conference to which the echo cancellation processing is applied, a case (case A: FIG. 1) processed by a special device installed at the site to be implemented, and equipment on the network that relays each video / audio signal (Case B: FIG. 2) is assumed.

ケースA(図1)では各相手拠点で送られてきた信号、および、自拠点で集音された信号をそれぞれの拠点装置(10A、10B)内のEC処理部でエコーキャンセル処理を行う。   In case A (FIG. 1), an echo cancellation process is performed by the EC processing unit in each site apparatus (10A, 10B) on the signal sent at each partner site and the signal collected at its own site.

ケースB(図2)では、ネットワーク上にあるエコーキャンセル装置20のEC処理部21、および、EC処理部22でエコーキャンセル処理を行う。すなわち、拠点装置(10A、10B)ではエコーキャンセル処理を行わず、ネットワーク上に置かれたエコーキャンセル装置20で実施される。よって、ケースBでは、各拠点で実施する処理はAD変換、送受信処理といった簡易的な処理のみである。   In Case B (FIG. 2), echo cancellation processing is performed by the EC processing unit 21 and the EC processing unit 22 of the echo cancellation device 20 on the network. That is, the base apparatus (10A, 10B) does not perform the echo cancellation process, but implements it with the echo cancellation apparatus 20 placed on the network. Therefore, in case B, the processes executed at each base are only simple processes such as AD conversion and transmission / reception processes.

図3は、ケースBの詳細な処理を説明する図である。各処理については以下の通り。
[処置a]:EC処理部21でエコーキャンセル処理された音声信号が拠点装置10A向きに時刻(t)でパケット化され送出される。
[処理b]:処理aのパケットが(t+k)秒後に拠点装置10Aに到着し受信処理される。
[処理c]:時刻(t+k)に、拠点装置10Aで取得された音がパケット化される。
[処理d]:処理bで受信された音声信号とcで拠点装置10Aにて取得された音声信号が処理のセットとして、(t+k)秒といった時間情報により紐づけられる。
[処理e]:紐づけられた音声信号は送受信処理部12からネットワーク上にあるエコーキャンセル装置20に送信される。
[処理f]:エコーキャンセル装置20の送受信処理部22は処理eで送られてきた、処理bとcの音声信号をセットにしてEC処理部21に送信する。
[処理g]:EC処理部21は処理fから送られてきた音声信号を処理し、対向拠点(不図示)へ送信する。
FIG. 3 is a diagram for explaining detailed processing of case B. Each process is as follows.
[Treatment a]: The audio signal subjected to echo cancellation processing by the EC processing unit 21 is packetized and transmitted to the base device 10A at time (t).
[Process b]: The packet of process a arrives at the base apparatus 10A after (t + k) seconds and is received and processed.
[Processing c]: At time (t + k), the sound acquired by the base device 10A is packetized.
[Process d]: The audio signal received in process b and the audio signal acquired by the base apparatus 10A in c are linked with time information such as (t + k) seconds as a set of processes.
[Processing e]: The associated audio signal is transmitted from the transmission / reception processing unit 12 to the echo cancellation apparatus 20 on the network.
[Processing f]: The transmission / reception processing unit 22 of the echo canceling apparatus 20 transmits the audio signals of the processing b and c sent in the processing e to the EC processing unit 21 as a set.
[Processing g]: The EC processing unit 21 processes the audio signal sent from the processing f and transmits it to the opposite base (not shown).

次にエコーキャンセル処理について説明する。
エコーキャンセル処理は、信号をブロック化し、フレームごとに周波数領域に変換して行う方法が主流である。エコーキャンセル処理中の適応フィルタについて、周波数領域での具体的な処理が特許文献1及び2に記載されている。この処理では、受話信号(=再生信号)のフレームX(i)と集音信号のフレームY(i)を入力とする。受話信号として過去数フレーム〜十数フレームを使用する。ただしiはフレーム番号である。過去4フレームを使う場合を図4に示す。時刻t0では、X(i−3)〜X(i),Y(i)を用いて適応フィルタを更新する。時刻t1では、X(i−2)〜X(i+1),Y(i+1)を用いて適応フィルタを更新する。
Next, echo cancellation processing will be described.
The echo cancellation process is mainly performed by blocking a signal and converting it into a frequency domain for each frame. For adaptive filters during echo cancellation processing, specific processing in the frequency domain is described in Patent Documents 1 and 2. In this process, the frame X (i) of the received signal (= reproduced signal) and the frame Y (i) of the sound collection signal are input. The past several to ten and several frames are used as the reception signal. However, i is a frame number. FIG. 4 shows a case where the past four frames are used. At time t0, the adaptive filter is updated using X (i-3) to X (i), Y (i). At time t1, the adaptive filter is updated using X (i-2) to X (i + 1), Y (i + 1).

EC処理部は、エコーキャンセル処理を行うため内部状態変数と使い捨て変数の2つを持つ。内部状態変数は、過去フレームに依存する変数であり、適応フィルタの係数やX(i)が含まれる。使い捨て変数は、過去フレームに依存しない変数であり、Y(i)が含まれる。   The EC processing unit has two internal state variables and disposable variables for performing echo cancellation processing. The internal state variable is a variable depending on the past frame, and includes an adaptive filter coefficient and X (i). The disposable variable is a variable that does not depend on the past frame, and includes Y (i).

特開2004−349796号公報JP 2004-349796 A 特開2006−101437号公報JP 2006-101437 A

以下に本発明の課題となる事象を2つ述べる。   Two events that are the subject of the present invention will be described below.

第1の課題はケースBの処理において、ネットワーク側から送られ拠点で受信した音声信号を、拠点側でネットワーク側へ送り返す処理を行うため、音声信号の帯域を多く使うことである。   The first problem is that, in the processing of Case B, a voice signal sent from the network side and received at the site is sent back to the network side at the site side.

第2の課題はネットワークといった伝達経路においてパケットロスといった信号欠損が発生すると、エコーキャンセル処理を実施するための音声が失われ、エコーキャンセル処理が適切に行われないことである。前述したダブルトークについても、ダブルトークが発生時の対応処理はそれぞれの入出力信号で音声が途切れないことが前提として動作するため、本検出処理も動作しなくなる。   The second problem is that when signal loss such as packet loss occurs in a transmission path such as a network, voice for performing echo cancellation processing is lost, and echo cancellation processing is not performed appropriately. Also for the above-described double talk, the corresponding processing when the double talk occurs operates on the premise that the sound is not interrupted by the respective input / output signals, and thus this detection processing also does not work.

図5は、ネットワーク上で音声信号を含んだフレームが欠損した場合のエコーキャンセル処理の劣化について説明した図である。   FIG. 5 is a diagram for explaining deterioration of echo cancellation processing when a frame including an audio signal is lost on the network.

時刻t0においてフレームが欠損した場合、欠損したフレームに含まれていた音声信号を事後対応として0詰めしたとする。X(i)を0詰めするということは、実際の音響系でスピーカのボリュームを0にすることと等価である。仮にボリュームを0にしても、X(i−1)までの過去フレームに起因するエコーはマイクに到達する。そのためY(i)を0詰めすることは、マイクボリュームを0にすることと等価である。実際の音響系では、スピーカ・マイクともボリュームを変えていないにもかかわらずパケットロス等でフレームが欠損すると、EC処理部は、適応フィルタ信号処理において「音響系が急激に変化した」とみなして追随しようとする。このフレーム欠損の影響は、内部状態変数に残存することになる。   When a frame is lost at time t0, it is assumed that the audio signal included in the lost frame is zero-padded as a post-action response. Filling X (i) with zero is equivalent to setting the speaker volume to zero in an actual acoustic system. Even if the volume is set to 0, echoes resulting from past frames up to X (i-1) reach the microphone. Therefore, padding Y (i) with zero is equivalent to setting the microphone volume to zero. In an actual acoustic system, if the frame is lost due to packet loss or the like even though the volume of the speaker / microphone is not changed, the EC processing unit regards that the acoustic system has suddenly changed in adaptive filter signal processing. Try to follow. The effect of this frame loss will remain in the internal state variable.

次に、現フレームは問題ないが過去フレームが欠損している場合について述べる。適応フィルタの更新では、過去フレームの情報X(i−3)〜X(i−1)を使っている。図5のようにX(i−2)に欠損がある場合、適応フィルタを更新してしまうと、欠損が適応フィルタの係数に伝播して残存する。これにより時刻t0及び時刻t1において適応フィルタを更新できなくなる。   Next, a case where there is no problem with the current frame but a past frame is missing will be described. The update of the adaptive filter uses past frame information X (i-3) to X (i-1). If there is a defect in X (i-2) as shown in FIG. 5, if the adaptive filter is updated, the defect propagates to the coefficient of the adaptive filter and remains. As a result, the adaptive filter cannot be updated at time t0 and time t1.

実際の製品では、X(i)のフレーム数は10以上であり、短くない。そのために適応フィルタを更新できない区間の長さは、フレームが欠損している区間の長さよりもずっと長くなる。エコーキャンセル処理のうち、適応フィルタ以外の処理でも、内部状態変数に関わる処理は、フレーム欠損の影響を同じように受ける。したがって欠損がひとたび起きるとその影響は大きい。   In an actual product, the number of frames of X (i) is 10 or more and is not short. Therefore, the length of the section in which the adaptive filter cannot be updated is much longer than the length of the section in which the frame is missing. Of the echo cancellation processing, processing related to the internal state variable is similarly affected by frame loss even in processing other than the adaptive filter. Therefore, once a deficit occurs, the impact is significant.

ケースBではエコーキャンセル処理はネットワーク上で集中的に実施する。そのためエコーキャンセル処理を適切に実施するには、各拠点への音声信号と各拠点からの音声信号とがパケットロスが無い状態、すなわち完璧な状態で取得する必要がある。しかし、図6の[a]のように拠点向けに送られた音声信号がネットワーク通過時に欠損し、[b]のように送受信処理部12で(t+k)の信号が取得できない場合、マッチングをとった音声は無音となる。この場合、エコーキャンセル装置20に送り返される音声は[c]のように元の音声が含まれないものとなる。これにより、EC処理部21には欠損した音声を含んだ信号を渡すことになり、適切なフィルタ形成ができなくなる。   In Case B, the echo cancellation process is concentrated on the network. Therefore, in order to appropriately execute the echo cancellation process, it is necessary to acquire the audio signal to each site and the audio signal from each site with no packet loss, that is, in a perfect state. However, if the audio signal sent to the base as shown in [a] in FIG. 6 is lost when passing through the network and the (t + k) signal cannot be acquired by the transmission / reception processing unit 12 as shown in [b], matching is performed. The voice is silent. In this case, the sound sent back to the echo cancellation apparatus 20 does not include the original sound as in [c]. As a result, a signal including the missing voice is passed to the EC processing unit 21, and an appropriate filter cannot be formed.

本発明は、上記第1の課題と第2の課題を解決するため、ネットワーク型のエコーキャンセル処理で伝送ビットレートを下げ、且つ信号欠損に対する耐性が向上するエコーキャンセル装置、拠点装置、通信システム、及びエコーキャンセル方法を提供することを目的とする。   In order to solve the first and second problems, the present invention provides an echo cancellation device, a base device, a communication system, which reduces the transmission bit rate by network-type echo cancellation processing and improves resistance to signal loss, It is another object of the present invention to provide an echo cancellation method.

上記目的を達成するために、本発明は、ネットワーク上のエコーキャンセル装置から拠点装置に送信される音声信号をエコーキャンセル装置に保持しておき、拠点装置から音声信号が送信されてくると当該音声信号と対になる信号をエコーキャンセル装置に保持された音声信号から特定し、特定した音声信号を用いてエコーキャンセル処理を行うことによりパケットロスにより生じるエコーキャンセル処理の劣化を回避することとした。   In order to achieve the above object, the present invention holds an audio signal transmitted from an echo canceling device on a network to a base device in the echo canceling device, and the voice signal is transmitted from the base device when the audio signal is transmitted. A signal paired with the signal is identified from the audio signal held in the echo cancellation device, and the echo cancellation process is performed using the identified audio signal, thereby avoiding the deterioration of the echo cancellation process caused by the packet loss.

具体的には、本発明に係るエコーキャンセル装置は、
音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置と通信しており、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置であって、
前記拠点装置で放音する再生音声の受信信号を記憶する記憶部と、
前記拠点装置からの送信信号が到着したときに、前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を前記記憶部から取り出し、前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うエコーキャンセル処理部と、
を有することを特徴とする。
Specifically, the echo cancellation device according to the present invention is:
The collected sound collected from the sound is transmitted as a transmission signal to the network and communicated with the base device that emits the reproduced sound based on the received signal received from the network, and the sound was emitted when collecting the sound. An echo cancellation apparatus that performs echo cancellation processing on a network to remove the echo from the collected voice including the reproduced voice as an echo,
A storage unit for storing a reception signal of a reproduction sound to be emitted from the base device;
When the transmission signal from the base device arrives, the reception signal corresponding to the reproduced sound reproduced when the collected sound of the transmission signal is collected by the base device is extracted from the storage unit, and the transmission is performed. An echo cancellation processing unit for performing echo cancellation processing using the signal and the received signal from the storage unit;
It is characterized by having.

具体的には、本発明に係る拠点装置は、
音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置と通信しており、音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置であって、
前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報を前記エコーキャンセル装置へ送信する情報生成部を有することを特徴とする。
Specifically, the base device according to the present invention is:
Communicating with an echo cancellation device on the network that performs echo cancellation processing on the network to remove the echo from the collected voice that contains the reproduced voice that was emitted as an echo when collecting the voice. A base device that transmits sound and sound as a transmission signal to a network and emits reproduced sound based on a reception signal received from the network,
An information generation unit that grasps a reception signal corresponding to a reproduction sound reproduced when the collected sound of the transmission signal is collected, and transmits related information between the transmission signal and the reception signal to the echo cancellation device; It is characterized by having.

具体的には、本発明に係る通信システムは、
音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置と、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置と、を備える通信システムでであって、
前記エコーキャンセル装置は、
前記拠点装置で放音する再生音声の受信信号を記憶する記憶部と、
前記拠点装置からの送信信号が到着したときに、前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を前記記憶部から取り出し、前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うエコーキャンセル処理部と、
を有し、
前記拠点装置は、
前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報を前記エコーキャンセル装置へ送信する情報生成部を有する
ことを特徴とする。
Specifically, the communication system according to the present invention is:
The collected sound that has been collected is transmitted to the network as a transmission signal, and the base unit that emits the reproduced sound based on the received signal received from the network, and the reproduced sound that is emitted when the sound is collected are echoed. An echo canceling device for performing echo cancellation processing on the network to remove the echo from the collected voice included as, and a communication system comprising:
The echo canceling device is
A storage unit for storing a reception signal of a reproduction sound to be emitted from the base device;
When the transmission signal from the base device arrives, the reception signal corresponding to the reproduced sound reproduced when the collected sound of the transmission signal is collected by the base device is extracted from the storage unit, and the transmission is performed. An echo cancellation processing unit for performing echo cancellation processing using the signal and the received signal from the storage unit;
Have
The base device is
An information generation unit that grasps a reception signal corresponding to a reproduction sound reproduced when the collected sound of the transmission signal is collected, and transmits related information between the transmission signal and the reception signal to the echo cancellation device; It is characterized by having.

具体的には、本発明に係るエコーキャンセル方法は、
音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置と、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置と、を備える通信システムでのエコーキャンセル方法であって、
前記拠点装置で放音する再生音声の受信信号を前記エコーキャンセル装置の記憶部に記憶しておき、
前記拠点装置で前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報を前記エコーキャンセル装置へ通知し、
前記拠点装置からの送信信号が前記エコーキャンセル装置に到着したときに、前記関連情報に基づいて前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を前記記憶部から取り出し、前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うことを特徴とする。
Specifically, the echo cancellation method according to the present invention is:
The collected sound that has been collected is transmitted to the network as a transmission signal, and the base unit that emits the reproduced sound based on the received signal received from the network, and the reproduced sound that is emitted when the sound is collected are echoed. An echo canceling method in a communication system comprising an echo canceling device that performs echo cancellation processing on a network to remove the echo from the collected voice included as
Store the reception signal of the reproduced sound to be emitted by the base device in the storage unit of the echo cancellation device,
The reception signal corresponding to the reproduction sound reproduced when the collected sound of the transmission signal is collected by the base device is grasped, and related information between the transmission signal and the reception signal is notified to the echo cancellation device. ,
When the transmission signal from the base device arrives at the echo cancellation device, it corresponds to the reproduced sound reproduced when the collected sound of the transmission signal is collected by the base device based on the related information A reception signal is extracted from the storage unit, and echo cancellation processing is performed using the transmission signal and the reception signal from the storage unit.

本エコーキャンセル装置は、拠点装置で再生する受信信号を保持しておくため拠点装置から当該受信信号を送り返す必要がなく、拠点装置へ引き渡す受信信号が途中で失われた(パケットロスした)としても保持した受信信号を用いてEC処理を行うことができる。従って、本発明は、ネットワーク型のエコーキャンセル処理で伝送ビットレートを下げ、且つ信号欠損に対する耐性が向上するエコーキャンセル装置、拠点装置、通信システム、及びエコーキャンセル方法を提供することができる。   Since this echo cancellation device holds the reception signal to be reproduced by the base device, there is no need to send back the reception signal from the base device, and even if the reception signal delivered to the base device is lost (packet loss) in the middle EC processing can be performed using the held received signal. Therefore, the present invention can provide an echo canceling device, a base device, a communication system, and an echo canceling method that reduce the transmission bit rate by the network type echo canceling process and improve the resistance to signal loss.

本発明に係るエコーキャンセル装置は、前記拠点装置で前記送信信号に付加されたパリティを用いて、伝送中の前記送信信号の欠損を復元する誤り訂正機能をさらに有することを特徴とする。   The echo cancellation apparatus according to the present invention further includes an error correction function that restores the loss of the transmission signal being transmitted using the parity added to the transmission signal by the base apparatus.

本発明に係る拠点装置は、前記エコーキャンセル装置で前記受信信号に付加されたパリティを用いて、伝送中の前記受信信号の欠損を復元する誤り訂正機能をさらに有することを特徴とする。   The base apparatus according to the present invention further includes an error correction function that restores a loss of the received signal during transmission using the parity added to the received signal by the echo canceling apparatus.

本発明に係る通信システムは、前記拠点装置と前記エコーキャンセル装置との間の前記送信信号及び前記受信信号にパリティを付加し、伝送中の前記送信信号及び前記受信信号の欠損を復元する誤り訂正機能をさらに有することを特徴とする。   The communication system according to the present invention adds a parity to the transmission signal and the reception signal between the base device and the echo cancellation device, and restores the loss of the transmission signal and the reception signal being transmitted. It further has a function.

本発明に係るエコーキャンセル方法は、前記拠点装置と前記エコーキャンセル装置との間の前記送信信号及び前記受信信号にパリティを付加し、伝送中の前記送信信号及び前記受信信号の欠損を復元することを特徴とする。   The echo cancellation method according to the present invention adds parity to the transmission signal and the reception signal between the base device and the echo cancellation device, and restores the loss of the transmission signal and the reception signal being transmitted. It is characterized by.

エコーキャンセル装置と拠点装置が誤り訂正(FEC)機能を搭載することで、パケットロスが発生した場合でも信号を復元することができる。このため、パケットロスによる「音響系が急激に変化した」状態を回避することができ、適切なエコーキャンセル処理を行える。   Since the echo cancellation apparatus and the base apparatus are equipped with an error correction (FEC) function, a signal can be restored even when a packet loss occurs. For this reason, it is possible to avoid a state in which the “acoustic system has suddenly changed” due to packet loss, and appropriate echo cancellation processing can be performed.

本発明は、ネットワーク型のエコーキャンセル処理で伝送ビットレートを下げ、且つ信号欠損に対する耐性が向上するエコーキャンセル装置、拠点装置、通信システム、及びエコーキャンセル方法を提供することができる。   The present invention can provide an echo canceling device, a base device, a communication system, and an echo canceling method that reduce the transmission bit rate by network-type echo canceling processing and improve resistance to signal loss.

エコーキャンセル処理を適用した通信システムの形態を説明する図である。It is a figure explaining the form of the communication system to which the echo cancellation process is applied. エコーキャンセル処理を適用した通信システムの形態を説明する図である。It is a figure explaining the form of the communication system to which the echo cancellation process is applied. エコーキャンセル処理を説明する図である。It is a figure explaining an echo cancellation process. エコーキャンセル処理を説明する図である。It is a figure explaining an echo cancellation process. エコーキャンセル処理の不具合を説明する図である。It is a figure explaining the malfunction of an echo cancellation process. エコーキャンセル処理の不具合を説明する図である。It is a figure explaining the malfunction of an echo cancellation process. 本発明に係る通信システムを説明する図である。It is a figure explaining the communication system which concerns on this invention. 本発明に係る通信システムを説明する図である。It is a figure explaining the communication system which concerns on this invention. 本発明に係る通信システムを説明する図である。It is a figure explaining the communication system which concerns on this invention. 本発明に係る通信システムを説明する図である。It is a figure explaining the communication system which concerns on this invention. 本発明に係るエコーキャンセル方法を説明する図である。It is a figure explaining the echo cancellation method which concerns on this invention. 本発明に係るエコーキャンセル方法を説明する図である。It is a figure explaining the echo cancellation method which concerns on this invention. 本発明に係るエコーキャンセル方法を説明する図である。It is a figure explaining the echo cancellation method which concerns on this invention. 本発明に係るエコーキャンセル方法を説明する図である。It is a figure explaining the echo cancellation method which concerns on this invention.

添付の図面を参照して本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。   Embodiments of the present invention will be described with reference to the accompanying drawings. The embodiments described below are examples of the present invention, and the present invention is not limited to the following embodiments. In the present specification and drawings, the same reference numerals denote the same components.

(実施形態1)
本実施形態は、ネットワーク側、拠点側に誤り訂正(FEC)機能を搭載し、信号欠損が発生した場合でも信号を復元し、適切なエコーキャンセル処理を行えるようにする方法である。
(Embodiment 1)
The present embodiment is a method in which an error correction (FEC) function is mounted on the network side and the base side, so that even when signal loss occurs, the signal is restored and appropriate echo cancellation processing can be performed.

図7は、本実施形態の通信システム301を説明する図である。通信システム301は、音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置10Aと、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置20と、を備える。図7で、拠点装置10Aで集音した集音音声の送達先であり、拠点装置10Aで放音させる再生信号の発信元である拠点装置10Bは、記載を省略している。   FIG. 7 is a diagram illustrating the communication system 301 of the present embodiment. The communication system 301 transmits the collected sound, which is collected sound, to the network as a transmission signal, and emits the reproduced sound based on the received signal received from the network, and the sound emission when collecting the sound. And an echo canceling device 20 for performing echo cancellation processing on the network for removing the echo from the collected voice including the reproduced voice as an echo. In FIG. 7, the base device 10B, which is the delivery destination of the collected sound collected by the base device 10A and is the source of the reproduction signal to be emitted by the base device 10A, is not shown.

通信システム301は、拠点装置10Aとエコーキャンセル装置20との間の前記送信信号及び前記受信信号にパリティを付加し、伝送中の前記送信信号及び前記受信信号の欠損を復元する誤り訂正機能を有する。具体的には、図7のように拠点装置10AはFEC処理部15を備え、エコーキャンセル装置20はFEC処理部25を備える。   The communication system 301 has an error correction function that adds parity to the transmission signal and the reception signal between the base device 10A and the echo cancellation device 20 and restores the loss of the transmission signal and the reception signal that are being transmitted. . Specifically, as shown in FIG. 7, the base apparatus 10 </ b> A includes an FEC processing unit 15, and the echo cancellation apparatus 20 includes an FEC processing unit 25.

FEC処理部25は、エコーキャンセル装置20がネットワークに拠点装置10A宛の信号(前記受信信号)を送出する際に、パリティと呼ばれる復号用の情報を当該信号に付加する。拠点装置10Aではネットワーク側から送られてきた信号(前記受信信号)の欠損があった場合、FEC処理部15がパリティ情報を利用して欠損した信号を復元する。これと同様に拠点装置10Aから送出する信号(前記送信信号)に対してもFEC処理部15がパリティ情報を追加することで、エコーキャンセル装置20も拠点装置10Aから送られてきた当該信号について復元が可能となる。結果として、エコーキャンセル装置20は本来受け取るべき音声信号を取得できるため、適切なエコーキャンセル処理を行える。   The FEC processing unit 25 adds decoding information called parity to the signal when the echo cancellation apparatus 20 sends a signal (the received signal) addressed to the base apparatus 10A to the network. In the base device 10A, when there is a loss of a signal (the received signal) sent from the network side, the FEC processing unit 15 restores the lost signal using the parity information. Similarly, the FEC processing unit 15 also adds parity information to the signal transmitted from the base apparatus 10A (the transmission signal), so that the echo cancellation apparatus 20 also restores the signal transmitted from the base apparatus 10A. Is possible. As a result, since the echo cancellation apparatus 20 can acquire an audio signal that should be received, an appropriate echo cancellation process can be performed.

(実施形態2)
本実施形態は、いずれの信号が失われたかを拠点側で検出しEC処理時にネットワーク側で補完する方法である。ネットワーク側から送信された音声信号について、拠点側でどの部分の音声が欠落したのかの情報をメタデータとして作成しネットワーク側に送信する。ネットワーク側では拠点側に送信した音声を保持しておく。拠点から送られてきたメタデータに、パケット欠落による音声欠損の情報が含まれていた場合、バッファから音声信号を取得することで音声を復元する。
(Embodiment 2)
This embodiment is a method of detecting which signal is lost on the base side and complementing on the network side during EC processing. About the audio | voice signal transmitted from the network side, the information which part audio | voice was missing in the base side is created as metadata, and is transmitted to the network side. On the network side, the voice transmitted to the base side is retained. When the metadata sent from the base includes information on voice loss due to packet loss, the voice is restored by acquiring the voice signal from the buffer.

図8は、本実施形態の通信システム302を説明する図である。通信システム302は、図7の通信システム301と同様に拠点装置10A、エコーキャンセル装置20、及び不図示の拠点装置10Bで構成される。   FIG. 8 is a diagram illustrating the communication system 302 according to the present embodiment. The communication system 302 includes a base device 10A, an echo cancellation device 20, and a base device 10B (not shown) as in the communication system 301 of FIG.

エコーキャンセル装置20は、
拠点装置10Aで放音する再生音声の受信信号を記憶する記憶部27と、
拠点装置10Aからの送信信号が到着したときに、拠点装置10Aで前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を記憶部27から取り出し、前記送信信号と記憶部27からの受信信号を用いてエコーキャンセル処理を行うエコーキャンセル処理部21と、
を有する。
また、拠点装置10Aは、
前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報MDをエコーキャンセル装置20へ送信する情報生成部を有する。
なお、本実施形態では、送受信処理部12が前記情報生成部を搭載するものとする。
The echo cancellation device 20
A storage unit 27 for storing a reception signal of a reproduced sound to be emitted from the base device 10A;
When the transmission signal from the base device 10A arrives, the base device 10A takes out the received signal corresponding to the reproduced sound reproduced when the collected sound of the transmission signal is collected from the base device 10A from the storage unit 27, and transmits the transmission signal. An echo cancellation processing unit 21 that performs echo cancellation processing using the signal and a received signal from the storage unit 27;
Have
The base device 10A
An information generation unit that grasps a reception signal corresponding to a reproduction sound reproduced when the collected sound of the transmission signal is collected, and transmits related information MD between the transmission signal and the reception signal to the echo cancellation apparatus 20 Have
In the present embodiment, it is assumed that the transmission / reception processing unit 12 includes the information generation unit.

本実施形態のEC処理をケースCとする。ケースBでは拠点装置10Aはネットワーク側から受信した音声信号(前記受信信号)をエコーキャンセル装置20に送り返す処理をしていた。これに対しケースCでは、エコーキャンセル装置20がネットワーク側から受信した音声信号(前記受信信号)を記憶部27に記憶しておき(処理[a])、拠点装置10Aは受信した音声信号(前記受信信号)をエコーキャンセル装置20へ戻す処理をしない。そして、拠点装置10Aは、ネットワークからの音声信号と自身で集音した音声信号について、ケースBと同様に、EC処理の対になるフレームのマッチング作業を実施する。   The EC process of this embodiment is assumed to be case C. In Case B, the base device 10A performed processing to send back the audio signal (the received signal) received from the network side to the echo cancellation device 20. On the other hand, in case C, the audio signal (the received signal) received by the echo canceling device 20 from the network side is stored in the storage unit 27 (process [a]), and the base device 10A receives the received audio signal (the above-mentioned signal). The process of returning the received signal) to the echo cancel device 20 is not performed. Then, the base device 10A performs the matching operation of the frames that are paired with the EC process, similarly to the case B, on the audio signal from the network and the audio signal collected by itself.

ケースCでは、拠点装置10Aは、EC処理の対の組み合わせについて、例えば、パケット番号やフレーム番号等の音声信号の単位に付与された番号や時刻などで対応付けたマッチング情報MD(前記関連情報)を生成する(処理[b][c])。拠点装置10Aは、マッチング情報MDをメタデータとしてエコーキャンセル装置20へ送信する(処理[d])。   In the case C, the base device 10A matches the matching information MD (the related information) associated with the combination of EC processing by, for example, the number and time assigned to the unit of the audio signal such as the packet number and the frame number. (Process [b] [c]). The base device 10A transmits the matching information MD as metadata to the echo cancellation device 20 (processing [d]).

エコーキャンセル装置20は、受け取ったマッチング情報MDに記載されているパケット番号等に基づいて記憶部27に格納した音声信号(前記受信信号)を取り出す(処理[e])。そして、エコーキャンセル装置20は、マッチング情報に基づき拠点装置10Aから送られてきた音声信号(前記送信信号)と記憶部27から取り出された音声信号(前記受信信号)とをセットにしてEC処理部21に送る(処理[f])。EC処理部21は前記送信信号と前記受信信号に基づいてEC処理を行う。   The echo cancellation apparatus 20 extracts the audio signal (the received signal) stored in the storage unit 27 based on the packet number described in the received matching information MD (process [e]). The echo canceling device 20 sets the audio signal (the transmission signal) transmitted from the base device 10A based on the matching information and the audio signal (the reception signal) extracted from the storage unit 27 as a set. 21 (process [f]). The EC processing unit 21 performs EC processing based on the transmission signal and the reception signal.

ここで、図9を用いて実際に信号の欠損が発生した場合を説明する。この場合、拠点装置10Aで再生すべき受信信号“a123”が欠損し、スピーカで再生されない。このため、拠点装置10Aが集音する音声は、“a123”が回り込まない音となる。つまり、集音した送信信号“b456”には回り込み音声が含まれない音声である。拠点装置10Aは、いずれのフレームやパケットの前記受信信号が欠損したかについて把握し、この情報をマッチング情報MDに追記する(処理[b][c])。エコーキャンセル装置20は、マッチング情報MDに記載されている信号欠損の情報を参照し、欠損があった場合には、拠点装置10Aで集音された音声信号に対して信号補完処理を行い、回り込み音声が含まれている音声信号とする(処理[e’])。詳細には、エコーキャンセル装置20は、マッチング情報MDから欠損信号に対応する音声信号“a123”(前記受信信号)を記憶部27から取り出し、集音した音声信号“b456”に重畳させて回り込み音声が含まれている音声信号とする。   Here, a case where a signal loss actually occurs will be described with reference to FIG. In this case, the received signal “a123” to be reproduced by the base device 10A is lost and is not reproduced by the speaker. For this reason, the sound collected by the base device 10A is a sound that "a123" does not wrap around. That is, the collected transmission signal “b456” is a sound that does not include a wraparound sound. The base apparatus 10A grasps which frame or packet the received signal is lost, and adds this information to the matching information MD (processing [b] [c]). The echo canceling device 20 refers to the signal loss information described in the matching information MD, and if there is a loss, performs signal complement processing on the audio signal collected by the base device 10A, and wraps around The audio signal includes audio (process [e ′]). Specifically, the echo cancellation apparatus 20 extracts the audio signal “a123” (the received signal) corresponding to the missing signal from the matching information MD from the storage unit 27, and superimposes the audio signal “b456” on the collected audio signal “b456”. Is an audio signal.

エコーキャンセル装置20は、同時にマッチング情報MDからEC処理に対応する音声信号(前記受信信号)を記憶部27から取り出す(処理[e])。そして、エコーキャンセル装置20は、補完処理が行われた音声信号と記憶部27から取り出された音声信号とをセットにしてEC処理部21に渡す。これによりEC処理部21は適切なフィルタ演算が可能となる。   The echo cancellation apparatus 20 simultaneously extracts an audio signal (the received signal) corresponding to the EC process from the matching information MD from the storage unit 27 (process [e]). Then, the echo canceling apparatus 20 sets the audio signal that has been subjected to the complementary processing and the audio signal extracted from the storage unit 27 as a set and passes the set to the EC processing unit 21. Thereby, the EC processing unit 21 can perform an appropriate filter calculation.

ケースCでは、上記処理により、拠点が送られてきた音声信号をそのまま返送せず、マッチング情報というメタデータをネットワーク側に送ることで、途中経路で音声を消失してもエコーキャンセル処理が実施できる。これにより、ネットワークの帯域を使わずにエコーキャンセル処理を実現することができる。   In Case C, echo cancellation processing can be performed even if voice is lost along the route by sending metadata called matching information to the network side without returning the voice signal sent from the base as it is by the above processing. . As a result, echo cancellation processing can be realized without using the network bandwidth.

なお、上記においては、エコーキャンセル装置20は、マッチング情報MDに記載されている信号欠損の情報を参照し、欠損があった場合には、拠点装置10Aで集音された音声信号に対して信号補完処理を行い、回り込み音声が含まれている音声信号とした(処理[e’])。上記と異なり、エコーキャンセル装置20は、拠点側の音声に対して処理を行わず、マッチング情報MDに記載されている信号欠損の情報を参照し、欠損があった場合には、記憶部27から音声を取り出す音声についてa123部分の音声信号部分に0信号を埋め込み、当該信号と拠点側から送られてくる回り込み音声が含まれない音声信号をセットにしてEC処理部21に渡すようにしても良い。   In the above description, the echo cancellation device 20 refers to the signal loss information described in the matching information MD, and if there is a loss, the echo cancellation device 20 outputs a signal to the sound signal collected by the base device 10A. Complementary processing was performed to obtain an audio signal including wraparound audio (processing [e ′]). Unlike the above, the echo cancellation apparatus 20 does not process the voice on the base side, refers to the information of the signal loss described in the matching information MD, and if there is a loss, from the storage unit 27 With regard to the audio to be extracted, 0 signal may be embedded in the audio signal portion of the a123 portion, and the audio signal that does not include the wraparound audio transmitted from the base side may be set and passed to the EC processing unit 21. .

(実施形態3)
図8の通信システムに図7で説明したFEC機能を搭載してもよい。例えば、通常はFEC処理で信号を復元するが、FEC処理で信号を復元できなかった場合に図9の説明のようにエコーキャンセル装置の記憶部から取得し、信号補完処理をすることで、適切なEC処理を継続可能とする。
(Embodiment 3)
The FEC function described in FIG. 7 may be installed in the communication system of FIG. For example, the signal is normally restored by the FEC process, but when the signal cannot be restored by the FEC process, the signal is acquired from the storage unit of the echo canceling apparatus as illustrated in FIG. EC processing can be continued.

(実施形態4)
本実施形態は、図10に示すように再生音声も集音音声も欠損する場合の動作である。
実施形態2及び3では、伝送路でパケットを欠損するなどで拠点装置10Aで再生する音声を消失した場合、それを復元しEC処理への影響を最小限にとどめることが可能となる場合を説明した。本実施形態では、往路、復路ともに信号を欠損するなど、複合的にパケットロスが発生しFECで救済できない、メタデータの参照ができないといった場合について説明する。
(Embodiment 4)
This embodiment is an operation in the case where both the reproduced sound and the collected sound are lost as shown in FIG.
In the second and third embodiments, a description will be given of a case where, when a voice played back at the base device 10A is lost due to a packet loss on a transmission path, the voice can be restored and the influence on EC processing can be minimized. did. In the present embodiment, a description will be given of a case where packet loss occurs in a complex manner, such as loss of a signal in both the forward path and the return path, and cannot be relieved by FEC, or metadata cannot be referred to.

エコーキャンセル装置20は、再生音声も集音音声も欠損していることを認識した場合、当該信号区間(時間)、EC処理を停止する。この区間のフィルタ演算を停止してフィルタ係数を更新しないことで、後のEC処理のフィルタ演算に影響を及ぼさないようにする。   When the echo canceling apparatus 20 recognizes that both the reproduced voice and the collected voice are missing, the EC canceling apparatus 20 stops the EC processing for the signal section (time). By stopping the filter operation in this section and not updating the filter coefficient, the filter operation in the subsequent EC processing is not affected.

(実施形態5)
本実施形態では、実施形態1から4で説明した通信システムにおけるエコーキャンセル方法について説明する。
(Embodiment 5)
In the present embodiment, an echo cancellation method in the communication system described in the first to fourth embodiments will be described.

本実施形態のエコーキャンセル方法は、どの信号が欠損したかを、エコーキャンセル処理を行うマッチング情報に記載し、その情報に基づいて、あらかじめネットワーク側でバッファされている信号から、欠損信号を復元することとしている。例えばパケットロスした情報として、ロスしたパケット番号がメタデータに記載される。メタデータは各拠点側で作成され、拠点側で取得された音声とEC処理の対になる信号、すなわちネットワーク側から送られてきた信号とのマッチングについての情報を持つ。例えば、拠点側で取得されパケット化された信号のパケット番号がa−10番であり、10番のパケットに含まれる音声信号とEC処理の対になる音声を含んだ、ネットワーク側から送られてきた信号をb−20番とすると、a−10とb−20が対応するといった情報がメタデータに書き込まれる。   In the echo cancellation method of the present embodiment, which signal is lost is described in matching information for performing echo cancellation processing, and the lost signal is restored from the signal buffered in advance on the network side based on the information. I am going to do that. For example, the lost packet number is described in the metadata as the packet loss information. The metadata is created at each site, and has information about matching between the audio acquired at the site and a signal that is a pair of EC processing, that is, a signal sent from the network. For example, the packet number of the signal acquired and packetized at the base side is a-10, and is sent from the network side including the voice signal included in the No. 10 packet and the voice to be paired with EC processing. If the signal is b-20, information that a-10 and b-20 correspond is written in the metadata.

メタデータには、ネットワークから送られてきた信号がパケットロスしているか、していないかの情報も含まれる。なお、メタデータに記載されるメタデータの対となる情報については、パケット番号による対応付けに限らず、受信時間等で紐づけることも想定される。   The metadata includes information on whether or not the signal transmitted from the network has lost a packet. Note that the information that forms a pair of metadata described in the metadata is not limited to association by packet number, but may be associated by reception time or the like.

作成されたメタデータは拠点側からネットワーク側に逐次送られる。ネットワーク側はこれにより拠点側に送り出したパケットのうち、どのパケットがロスしたかを把握し拠点側から送られてきた音声信号と対になる信号を送信時にバッファしていた信号から抽出することが可能になる。   The created metadata is sequentially sent from the base side to the network side. The network side can grasp which packet is lost among the packets sent to the base side and extract the signal paired with the voice signal sent from the base side from the signal buffered at the time of transmission. It becomes possible.

本実施形態のエコーキャンセル方法は、ネットワーク上でのエコーキャンセル処理において、エコーキャンセル処理を適切に動作させるために、ネットワーク側と拠点側のそれぞれにFEC機能を導入し、欠損した信号を復元する機能を持たせてもよい。本手法で、FECを導入することにより、消失に対する耐性が上がり、EC処理への影響をさらに少なくすることができる。   The echo cancellation method of the present embodiment has a function of introducing a FEC function on each of the network side and the base side to restore a missing signal in order to properly operate the echo cancellation process in the echo cancellation process on the network. May be provided. By introducing FEC in this method, tolerance to disappearance is increased, and the influence on EC processing can be further reduced.

本実施形態のエコーキャンセル方法は、FECを導入しても信号を復元しきれない場合、ロスした信号を含むデータ部分についてはEC処理を停止させ、フィルタを更新しないことでデータロスの影響を低減する。   In the echo cancellation method of the present embodiment, when the signal cannot be restored even if FEC is introduced, the EC processing is stopped for the data portion including the lost signal, and the influence of the data loss is reduced by not updating the filter. To do.

図11から図14は、本実施形態のエコーキャンセル方法を説明する図である。本実施形態のエコーキャンセル方法は、FEC機能を備えたケースCの構成におけるIPネットワーク上でのEC処理である。   11 to 14 are diagrams for explaining the echo cancellation method of the present embodiment. The echo cancellation method of this embodiment is EC processing on the IP network in the configuration of case C having the FEC function.

図11は、ネットワーク側から拠点装置へ再生音声を送信する際のエコーキャンセル装置の動作を説明する図である。
再生信号は、ネットワークエコーキャンセル装置100のエコーキャンセル処理部(EC部)101で処理され、FEC送信処理部102に送られる。FEC送信処理部102はFEC処理を行い、パリティ情報計算を行う。パリティ情報計算が行われたのち、再生信号およびパリティはパケット送信処理部103に送られる。
FIG. 11 is a diagram for explaining the operation of the echo canceling apparatus when transmitting the reproduced sound from the network side to the base apparatus.
The reproduction signal is processed by the echo cancellation processing unit (EC unit) 101 of the network echo cancellation apparatus 100 and sent to the FEC transmission processing unit 102. The FEC transmission processing unit 102 performs FEC processing and calculates parity information. After the parity information calculation is performed, the reproduction signal and the parity are sent to the packet transmission processing unit 103.

パケット送信処理部103は音声信号およびパリティをパケット化する。この時、パケット送信処理部103は入力された信号を一定のサイズに分割し、分割データごとにパケット番号、および、FEC送信処理部102から取得した時間情報を付与する。また、パケット送信処理部103はパケット番号と取得時間の組み合わせを記したテーブル情報を作成する。   The packet transmission processing unit 103 packetizes the audio signal and parity. At this time, the packet transmission processing unit 103 divides the input signal into a certain size, and gives the packet number and time information acquired from the FEC transmission processing unit 102 for each divided data. Further, the packet transmission processing unit 103 creates table information that describes the combination of the packet number and the acquisition time.

パケット化された信号、および、テーブル情報がバッファ部104に格納される。また、パケット化された信号は送信部105に渡され、送信部105から拠点装置に向けて送出される。   The packetized signal and table information are stored in the buffer unit 104. Further, the packetized signal is transferred to the transmission unit 105, and is transmitted from the transmission unit 105 to the base device.

図12は、ネットワーク側から拠点装置へ再生音声を送信する際の拠点装置の動作を説明する図である。
拠点処理装置200の受信部201は、ネットワーク側から送られてきた信号を受信する。パケット受信処理部202は受信部201から送られてきたパケットから音声信号を取り出し一定量バッファした後に、パケット番号に基づいて音声信号を整列させ、FEC受信処理部203へ音声信号を渡す。また、パケット受信処理部202は信号を整列させた時刻、および、それぞれのパケット番号をセットにした受信信号テーブル情報を作成し、FEC受信処理部203に渡す。
FIG. 12 is a diagram for explaining the operation of the site device when transmitting playback audio from the network side to the site device.
The receiving unit 201 of the site processing apparatus 200 receives a signal transmitted from the network side. The packet reception processing unit 202 extracts an audio signal from the packet sent from the reception unit 201 and buffers it for a certain amount, and then aligns the audio signal based on the packet number and passes the audio signal to the FEC reception processing unit 203. Also, the packet reception processing unit 202 creates reception signal table information in which the time when the signals are aligned and the respective packet numbers are set, and passes them to the FEC reception processing unit 203.

FEC受信処理部203は、受信信号テーブル情報から受信したパケットの欠損が発見した場合、パリティを用いて信号を復元する。復元が成功した場合、FEC受信処理部203は、復元信号を欠損箇所に挿入し、テーブル情報に該当するパケット番号を挿入する。復元に失敗した場合は、FEC受信処理部203は、信号に0詰め信号(無音信号)を生成し、失敗したパケット番号、失敗したことを示す情報を受信信号テーブルに追記する。追記した受信信号テーブルはメタ情報作成部209に渡される。   The FEC reception processing unit 203 restores the signal using the parity when the packet loss received from the received signal table information is found. When the restoration is successful, the FEC reception processing unit 203 inserts the restoration signal into the missing part and inserts the packet number corresponding to the table information. When the restoration fails, the FEC reception processing unit 203 generates a zero-padded signal (silence signal) in the signal, and adds the failed packet number and information indicating the failure to the received signal table. The added reception signal table is transferred to the meta information creation unit 209.

FEC受信処理部203からDA処理部204に信号が渡される。DA処理部204はデジタル形式の信号をアナログ形式に変換し、スピーカで出力できる音声として、出力部205に信号を渡す。出力部205は送られてきた信号を出力端子より出力する。   A signal is passed from the FEC reception processing unit 203 to the DA processing unit 204. The DA processing unit 204 converts a digital signal into an analog format, and passes the signal to the output unit 205 as sound that can be output from a speaker. The output unit 205 outputs the transmitted signal from the output terminal.

図13は、拠点装置からネットワーク側へ集音音声を送信する際の拠点装置の動作を説明する図である。
入力部206は、マイク等などから集音音声を受信し、AD変換部207へ集音音声を渡す。AD変換部207は、受け取った音声信号をアナログからデジタルへ変換し、FEC送信処理部208へ信号を渡す。FEC送信処理部208は送られてきた信号を受信しパリティ情報を算出する。パリティ情報は音声信号とともにメタ情報作成部209に送られる。
FIG. 13 is a diagram for explaining the operation of the base device when the collected sound is transmitted from the base device to the network side.
The input unit 206 receives the collected sound from a microphone or the like, and passes the collected sound to the AD conversion unit 207. The AD conversion unit 207 converts the received audio signal from analog to digital, and passes the signal to the FEC transmission processing unit 208. The FEC transmission processing unit 208 receives the transmitted signal and calculates parity information. The parity information is sent to the meta information creation unit 209 together with the audio signal.

メタ情報作成部209は送信信号テーブル情報を作成する。具体的には、パケット送信処理部210で定間隔に分割される音声信号それぞれに、FEC送信処理部208から受け取った時刻、パケット送信処理部210で振られるパケット番号を振り、送信信号テーブル情報が作成される。ここで、メタ情報作成部209は、作成された送信信号テーブルとFEC受信処理部203から送られてきた受信信号テーブル情報を参照し、それぞれの時刻情報からEC処理の組み合わせになる、それぞれのパケット番号の組み合わせを抽出し、マッチングテーブルを作成する。マッチングテーブルには受信信号テーブルに記載された、パケット欠損情報も含まれる。なお、EC処理の組み合わせを定める、各テーブルに記載された時刻情報は、拠点処理装置200内の各処理が同一クロックで処理されるため、常に一意に組み合わせが決定する。作成されたマッチングテーブルもパケット処理部210に渡される。   The meta information creation unit 209 creates transmission signal table information. Specifically, the time received from the FEC transmission processing unit 208 and the packet number assigned by the packet transmission processing unit 210 are assigned to each audio signal divided at regular intervals by the packet transmission processing unit 210, and the transmission signal table information is Created. Here, the meta information creation unit 209 refers to the created transmission signal table and the reception signal table information sent from the FEC reception processing unit 203, and each packet that is a combination of EC processing from each time information. A combination of numbers is extracted and a matching table is created. The matching table also includes packet loss information described in the received signal table. Note that the time information described in each table that defines a combination of EC processes is always uniquely determined because each process in the base processing apparatus 200 is processed with the same clock. The created matching table is also passed to the packet processing unit 210.

パケット処理部210は、音声信号をメタ情報作成部209から受信し、受信した信号を定間隔で分割し、それぞれにパケット番号を付与する。また、FEC送信処理部208で作成されたパリティはここでパケットに冗長される。パケット化された信号は送信部211に渡される。またマッチングテーブルについてもパケット送信処理部210でパケット化され、送信部211に送られる。送信部211は、パケット送信処理部210から送られてきたパケット、およびマッチングテーブルをエコーキャンセル装置100へ送信する。   The packet processing unit 210 receives an audio signal from the meta information creation unit 209, divides the received signal at regular intervals, and assigns a packet number to each. Further, the parity created by the FEC transmission processing unit 208 is made redundant to the packet here. The packetized signal is passed to the transmission unit 211. The matching table is also packetized by the packet transmission processing unit 210 and sent to the transmission unit 211. The transmission unit 211 transmits the packet transmitted from the packet transmission processing unit 210 and the matching table to the echo cancellation apparatus 100.

図14は、拠点装置からネットワーク側へ集音音声を送信する際のエコーキャンセル装置の動作を説明する図である。
ネットワークエコーキャンセル装置100の受信部106は、拠点処理装置200から送られてきたパケットを受信し、パケット受信処理部107に送る。パケット受信処理部107は、パケットを一定量バッファした後にパケットから音声信号、パリティ、およびマッチングテーブルを抽出する。パケット受信処理部107は、音声信号をパケット番号順に整列してFEC受信処理部108へ音声信号、パリティ、及び受信パケット番号を渡す。パケット受信処理部107は、マッチングテーブルをマッチング処理部109に渡す。
FIG. 14 is a diagram for explaining the operation of the echo canceling device when the collected sound is transmitted from the base device to the network side.
The reception unit 106 of the network echo cancellation apparatus 100 receives the packet transmitted from the site processing apparatus 200 and transmits the packet to the packet reception processing unit 107. The packet reception processing unit 107 extracts a voice signal, a parity, and a matching table from the packet after buffering the packet by a certain amount. The packet reception processing unit 107 arranges the audio signals in the order of packet numbers and passes the audio signal, parity, and reception packet number to the FEC reception processing unit 108. The packet reception processing unit 107 passes the matching table to the matching processing unit 109.

FEC受信処理部108は、受信パケット番号を確認し、欠損が発見された場合に音声信号とパリティ情報からパリティを用いて欠損した信号を復元する。復元が成功した場合、FEC受信処理部108は、復元信号を欠損箇所に挿入し、テーブル情報に該当するパケット番号を挿入する。復元が失敗した場合、FEC受信処理部108は、信号に0詰め信号(無音信号)を挿入する。また失敗したパケット番号をEC処理部101に伝達する。FEC受信処理部108は、復元した音声信号をマッチング処理部109に送る。   The FEC reception processing unit 108 confirms the received packet number, and restores the missing signal using the parity from the audio signal and the parity information when the missing is found. When the restoration is successful, the FEC reception processing unit 108 inserts the restoration signal into the missing part and inserts the packet number corresponding to the table information. When the restoration fails, the FEC reception processing unit 108 inserts a zero padded signal (silence signal) into the signal. The failed packet number is transmitted to the EC processing unit 101. The FEC reception processing unit 108 sends the restored audio signal to the matching processing unit 109.

マッチング処理部109は、送られてきたマッチングテーブルに基づいて、拠点装置200から送られてきたそれぞれの信号に対し、EC処理のセットとなる信号をバッファ部104から抽出し、EC処理用の信号セットとしてエコーキャンセル処理部101に送る。また、マッチング処理部109は、マッチングテーブルに欠損情報があるパケット番号について、該当する音声信号をバッファ部104から取り出し、マッチング処理部109へ送るとともに、フィルタ処理部110へも送る。フィルタ処理部110は、バッファ部104から取り出された信号と拠点装置200から送られてきた音声信号(FEC受信処理部で復元した音声信号を含む)を用いて音声を合成する。具体的には、信号欠損のため拠点装置200で再生されず集音音声だけの信号に、バッファ部104で保管されていた欠損音声を合成し、拠点装置200でその音が回り込み集音された場合と同等の信号を合成する。   Based on the sent matching table, the matching processing unit 109 extracts a signal that is a set of EC processing from the buffer unit 104 for each signal sent from the base device 200, and outputs a signal for EC processing. The set is sent to the echo cancel processing unit 101 as a set. In addition, the matching processing unit 109 extracts a corresponding audio signal from the buffer unit 104 for the packet number having the missing information in the matching table, and sends it to the matching processing unit 109 and also to the filter processing unit 110. The filter processing unit 110 synthesizes speech using the signal extracted from the buffer unit 104 and the audio signal (including the audio signal restored by the FEC reception processing unit) sent from the base device 200. Specifically, the missing sound stored in the buffer unit 104 is synthesized with a signal of only the collected sound that is not reproduced by the base device 200 due to a signal loss, and the base device 200 wraps and collects the sound. A signal equivalent to the case is synthesized.

EC処理部101は、送られてきた音声信号のEC処理を行う。EC処理部101は、FEC受信処理部108から受け取った、FEC処理失敗情報に基づきデータが不完全なときを判別する。データが不完全であった場合、EC処理部101は内部状態の更新を行わない。内部状態とは、適応フィルタのフィルタ係数や逐次推定している信号パワー推定値である。EC処理が実施された音声信号は送信先の拠点装置に送られる。   The EC processing unit 101 performs EC processing on the transmitted audio signal. The EC processing unit 101 determines when the data is incomplete based on the FEC processing failure information received from the FEC reception processing unit 108. If the data is incomplete, the EC processing unit 101 does not update the internal state. The internal state is a filter coefficient of the adaptive filter or a signal power estimation value that is sequentially estimated. The audio signal that has been subjected to the EC process is sent to the destination base device.

バッファ部104は、EC処理部101でEC処理が終わる一定時間後に保持していた音声信号を破棄する。   The buffer unit 104 discards the audio signal held after a certain time after the EC processing ends in the EC processing unit 101.

(発明の効果)
本発明の方法は、音声欠損を解消するとともに信号を伝送するためのネットワーク利用帯域を低く抑えられる。また、EC処理で生成するフィルタ内部の内部状態変数の更新に関わる信号処理の停止を大幅に回避できる。そのためフレーム欠損によるEC処理の性能劣化をおおきく改善できる。これより、ネットワークエコーキャンセル処理において、伝送で多数のロスが発生しても影響の出る頻度を大幅に下げられ、快適に音声のやり取りが可能になる。
(Effect of the invention)
According to the method of the present invention, voice loss is eliminated and a network use band for transmitting a signal can be kept low. In addition, it is possible to largely avoid the stop of the signal processing related to the update of the internal state variable inside the filter generated by the EC processing. Therefore, the performance degradation of EC processing due to frame loss can be greatly improved. As a result, in the network echo canceling process, even if a large number of losses occur in the transmission, the frequency of the influence can be greatly reduced, and the voice can be exchanged comfortably.

本発明の方法は、拠点側にエコーキャンセル処理機能を搭載した特殊な装置を設置しなくても、汎用的な機器でもエコーキャンセル処理が施されている音声信号のやり取りが可能となる。   According to the method of the present invention, it is possible to exchange an audio signal on which echo cancellation processing has been performed even with a general-purpose device without installing a special device equipped with an echo cancellation processing function on the site side.

10、10A、10B:拠点装置
20:エコーキャンセル装置
12:送受信処理部
15:FEC処理部
21:EC処理部
22:送受信処理部
25:FEC処理部
27:バッファ部(記憶部)
100:エコーキャンセル装置
101:EC処理部
102:FEC送信処理部
103:パケット送信処理部
104:バッファ部
105:送信部
106:受信部
107:パケット受信処理部
108:FEC受信処理部
109:マッチング処理部
110:フィルタ処理部
200:拠点処理装置
201:受信部
202:パケット受信処理部
203:FEC受信処理部
204:DA処理部
205:出力部
206:入力部
207:AD変換部
208:FEC送信処理部
209:メタ情報作成部
210:パケット送信処理部
211:送信部
301、302:通信システム
10, 10A, 10B: Base device 20: Echo cancel device 12: Transmission / reception processing unit 15: FEC processing unit 21: EC processing unit 22: Transmission / reception processing unit 25: FEC processing unit 27: Buffer unit (storage unit)
100: Echo cancel device 101: EC processing unit 102: FEC transmission processing unit 103: Packet transmission processing unit 104: Buffer unit 105: Transmission unit 106: Reception unit 107: Packet reception processing unit 108: FEC reception processing unit 109: Matching process Unit 110: filter processing unit 200: site processing device 201: reception unit 202: packet reception processing unit 203: FEC reception processing unit 204: DA processing unit 205: output unit 206: input unit 207: AD conversion unit 208: FEC transmission processing Unit 209: meta information creation unit 210: packet transmission processing unit 211: transmission unit 301, 302: communication system

Claims (8)

音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置と通信しており、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置であって、
前記拠点装置で放音する再生音声の受信信号を記憶する記憶部と、
前記拠点装置からの送信信号が到着したときに、前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を前記記憶部から取り出し、前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うエコーキャンセル処理部と、
を有することを特徴とするエコーキャンセル装置。
The collected sound collected from the sound is transmitted as a transmission signal to the network and communicated with the base device that emits the reproduced sound based on the received signal received from the network, and the sound was emitted when collecting the sound. An echo cancellation apparatus that performs echo cancellation processing on a network to remove the echo from the collected voice including the reproduced voice as an echo,
A storage unit for storing a reception signal of a reproduction sound to be emitted from the base device;
When the transmission signal from the base device arrives, the reception signal corresponding to the reproduced sound reproduced when the collected sound of the transmission signal is collected by the base device is extracted from the storage unit, and the transmission is performed. An echo cancellation processing unit for performing echo cancellation processing using the signal and the received signal from the storage unit;
An echo canceling device comprising:
前記拠点装置で前記送信信号に付加されたパリティを用いて、伝送中の前記送信信号の欠損を復元する誤り訂正機能をさらに有することを特徴とする請求項1に記載のエコーキャンセル装置。
The echo cancellation apparatus according to claim 1, further comprising an error correction function that restores a loss of the transmission signal being transmitted using the parity added to the transmission signal in the base apparatus.
音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置と通信しており、音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置であって、
前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報を前記エコーキャンセル装置へ送信する情報生成部を有することを特徴とする拠点装置。
Communicating with an echo cancellation device on the network that performs echo cancellation processing on the network to remove the echo from the collected voice that contains the reproduced voice that was emitted as an echo when collecting the voice. A base device that transmits sound and sound as a transmission signal to a network and emits reproduced sound based on a reception signal received from the network,
An information generation unit that grasps a reception signal corresponding to a reproduction sound reproduced when the collected sound of the transmission signal is collected, and transmits related information between the transmission signal and the reception signal to the echo cancellation device; A base device characterized by having.
前記エコーキャンセル装置で前記受信信号に付加されたパリティを用いて、伝送中の前記受信信号の欠損を復元する誤り訂正機能をさらに有することを特徴とする請求項3に記載の拠点装置。
The base apparatus according to claim 3, further comprising an error correction function that restores the loss of the received signal being transmitted using the parity added to the received signal by the echo canceling apparatus.
音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置と、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置と、を備える通信システムでであって、
前記エコーキャンセル装置は、
前記拠点装置で放音する再生音声の受信信号を記憶する記憶部と、
前記拠点装置からの送信信号が到着したときに、前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を前記記憶部から取り出し、前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うエコーキャンセル処理部と、
を有し、
前記拠点装置は、
前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報を前記エコーキャンセル装置へ送信する情報生成部を有する
ことを特徴とする通信システム。
The collected sound that has been collected is transmitted to the network as a transmission signal, and the base unit that emits the reproduced sound based on the received signal received from the network, and the reproduced sound that is emitted when the sound is collected are echoed. An echo canceling device for performing echo cancellation processing on the network to remove the echo from the collected voice included as, and a communication system comprising:
The echo canceling device is
A storage unit for storing a reception signal of a reproduction sound to be emitted from the base device;
When the transmission signal from the base device arrives, the reception signal corresponding to the reproduced sound reproduced when the collected sound of the transmission signal is collected by the base device is extracted from the storage unit, and the transmission is performed. An echo cancellation processing unit for performing echo cancellation processing using the signal and the received signal from the storage unit;
Have
The base device is
An information generation unit that grasps a reception signal corresponding to a reproduction sound reproduced when the collected sound of the transmission signal is collected, and transmits related information between the transmission signal and the reception signal to the echo cancellation device; A communication system comprising:
前記拠点装置と前記エコーキャンセル装置との間の前記送信信号及び前記受信信号にパリティを付加し、伝送中の前記送信信号及び前記受信信号の欠損を復元する誤り訂正機能をさらに有することを特徴とする請求項5に記載の通信システム。
It further has an error correction function of adding parity to the transmission signal and the reception signal between the base device and the echo cancellation device, and restoring a loss of the transmission signal and the reception signal being transmitted. The communication system according to claim 5.
音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置と、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置と、を備える通信システムでのエコーキャンセル方法であって、
前記拠点装置で放音する再生音声の受信信号を前記エコーキャンセル装置の記憶部に記憶しておき、
前記拠点装置で前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報を前記エコーキャンセル装置へ通知し、
前記拠点装置からの送信信号が前記エコーキャンセル装置に到着したときに、前記関連情報に基づいて前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を前記記憶部から取り出し、前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うことを特徴とするエコーキャンセル方法。
The collected sound that has been collected is transmitted to the network as a transmission signal, and the base unit that emits the reproduced sound based on the received signal received from the network, and the reproduced sound that is emitted when the sound is collected are echoed. An echo canceling method in a communication system comprising an echo canceling device that performs echo cancellation processing on a network to remove the echo from the collected voice included as
Store the reception signal of the reproduced sound to be emitted by the base device in the storage unit of the echo cancellation device,
The reception signal corresponding to the reproduction sound reproduced when the collected sound of the transmission signal is collected by the base device is grasped, and related information between the transmission signal and the reception signal is notified to the echo cancellation device. ,
When the transmission signal from the base device arrives at the echo cancellation device, it corresponds to the reproduced sound reproduced when the collected sound of the transmission signal is collected by the base device based on the related information An echo cancellation method comprising: extracting a received signal from the storage unit; and performing echo cancellation processing using the transmission signal and the received signal from the storage unit.
前記拠点装置と前記エコーキャンセル装置との間の前記送信信号及び前記受信信号にパリティを付加し、伝送中の前記送信信号及び前記受信信号の欠損を復元することを特徴とする請求項7に記載のエコーキャンセル方法。   The parity of the transmission signal and the reception signal between the base device and the echo cancellation device is added to restore the loss of the transmission signal and the reception signal being transmitted. Echo cancellation method.
JP2014250104A 2014-12-10 2014-12-10 Echo cancellation device, base device, communication system, and echo cancellation method Active JP6396780B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014250104A JP6396780B2 (en) 2014-12-10 2014-12-10 Echo cancellation device, base device, communication system, and echo cancellation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014250104A JP6396780B2 (en) 2014-12-10 2014-12-10 Echo cancellation device, base device, communication system, and echo cancellation method

Publications (2)

Publication Number Publication Date
JP2016111653A true JP2016111653A (en) 2016-06-20
JP6396780B2 JP6396780B2 (en) 2018-09-26

Family

ID=56125062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014250104A Active JP6396780B2 (en) 2014-12-10 2014-12-10 Echo cancellation device, base device, communication system, and echo cancellation method

Country Status (1)

Country Link
JP (1) JP6396780B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003110690A (en) * 2001-09-26 2003-04-11 Toshiba Corp Hands-free speech system, blocking preventing method, and blocking preventing program
JP2011130145A (en) * 2009-12-17 2011-06-30 Toa Corp Network device
JP2014036291A (en) * 2012-08-08 2014-02-24 Nippon Telegr & Teleph Corp <Ntt> Echo cancellation method, and system and each device therefor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003110690A (en) * 2001-09-26 2003-04-11 Toshiba Corp Hands-free speech system, blocking preventing method, and blocking preventing program
JP2011130145A (en) * 2009-12-17 2011-06-30 Toa Corp Network device
JP2014036291A (en) * 2012-08-08 2014-02-24 Nippon Telegr & Teleph Corp <Ntt> Echo cancellation method, and system and each device therefor

Also Published As

Publication number Publication date
JP6396780B2 (en) 2018-09-26

Similar Documents

Publication Publication Date Title
EP1708471B1 (en) System and method for audio multicast
US9219958B2 (en) Systems and methods for acoustic echo cancellation with wireless microphones and speakers
JP2015506126A (en) Method and configuration for echo cancellation in a conference system
US8819513B2 (en) Lost real-time media packet recovery
US10848201B2 (en) Cloud-based acoustic echo canceller
TW200931944A (en) A method and arrangement for echo cancellation of voice signals
WO2017206767A1 (en) Method for diagnosing voice delay, gateway device, and computer storage medium
CN108076239A (en) A kind of method for improving IP phone echo
WO2013097372A1 (en) Multi-receiver end echo cancellation method and system
JP2003101662A (en) Communication method, communication apparatus and communication terminal
US8582754B2 (en) Method and system for echo cancellation in presence of streamed audio
JP6396780B2 (en) Echo cancellation device, base device, communication system, and echo cancellation method
JP5574346B2 (en) Encoding device, decoding device, and methods thereof
CN102625205A (en) Echo suppression for wireless handsets and headsets
JP2007194704A (en) Data communication terminal and data communication system
CN104811567A (en) System and method for carrying out acoustic echo cancellation on two-way duplex hands-free voice of VOIP (voice over internet protocol) system
JP5367554B2 (en) Network equipment
US20130142192A1 (en) Voice communication apparatus for intermittently discarding packets
JP2004297236A (en) Communication system and echo canceller used therefor
JP4510742B2 (en) Voice packet receiving and reproducing method and apparatus, and program recording medium therefor
KR102127641B1 (en) A method and apparatus for controlling reception of a broadcast service provided using application layer forward error correction scheme
JP2005136448A (en) Method and apparatus of canceling multichannel acoustic echo
Belim et al. Network Steganography Based on Error Correction Code
JP2005094661A (en) Simultaneous transmission method and system for video/voice, and transmitter and receiver using the same
US8433058B2 (en) Method and system for distributed speakerphone echo cancellation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180830

R150 Certificate of patent or registration of utility model

Ref document number: 6396780

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150