JP2010183434A - Voice communication system and voice communication apparatus - Google Patents

Voice communication system and voice communication apparatus Download PDF

Info

Publication number
JP2010183434A
JP2010183434A JP2009026272A JP2009026272A JP2010183434A JP 2010183434 A JP2010183434 A JP 2010183434A JP 2009026272 A JP2009026272 A JP 2009026272A JP 2009026272 A JP2009026272 A JP 2009026272A JP 2010183434 A JP2010183434 A JP 2010183434A
Authority
JP
Japan
Prior art keywords
terminal
voice data
voice
echo
control signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009026272A
Other languages
Japanese (ja)
Other versions
JP5245884B2 (en
Inventor
Toshiaki Ishibashi
利晃 石橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2009026272A priority Critical patent/JP5245884B2/en
Publication of JP2010183434A publication Critical patent/JP2010183434A/en
Application granted granted Critical
Publication of JP5245884B2 publication Critical patent/JP5245884B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technology for confirming whether voice data transmitted from an own terminal has normally reproduced at an opposite-side terminal, and allowing whether an acoustic state (echo suppression) at each of bases is normal to be confirmed from a remote site, when performing voice communication over a communication network. <P>SOLUTION: An echo cancel section 15 of a terminal 10 uses a filter coefficient stored in a memory 23 to perform echo cancel processing on voice data representing a voice collected by a microphone 11. An adaptive filter of the echo cancel section 15 is initialized by a reset signal supplied from the outside. When the reset signal is received from the outside, a communication/control section 16 rewrites a value of the filter coefficient stored in the memory 23 into a predetermined initial setting value. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、音声通信システム及び音声通信装置に関する。   The present invention relates to a voice communication system and a voice communication apparatus.

近年、通信ネットワークを介して接続された複数の通信端末を用いて会議を行う遠隔会議システムが普及している。特許文献1には、ネットワークを介して接続された複数の拠点同士で音声データを送受信する音声会議システムにおいて、ネットワークを介して接続された他の拠点(自拠点)から伝送された入力音声のエコーの音声信号を他の拠点に送り返すことにより、送り返された他の拠点にて、相手拠点において期待する明瞭な音声品質で再生されているかを確認することができる技術が提案されている。   In recent years, a remote conference system that performs a conference using a plurality of communication terminals connected via a communication network has become widespread. In Patent Document 1, in an audio conference system that transmits and receives audio data between a plurality of sites connected via a network, an echo of an input voice transmitted from another site (own site) connected via the network is disclosed. In other words, a technique has been proposed in which it is possible to confirm whether or not the audio signal is being played back with the clear voice quality expected at the other site at the other site sent back.

特開2007−274176号公報JP 2007-274176 A

しかしながら、特許文献1に記載の技術では、音響エコーキャンセラのON/OFFの両経路を設ける必要があり、従来の装置よりも装置構成が複雑になってしまうという問題がある。また、特許文献1に記載の技術では、音響エコーキャンセラがONしている状況の確認は可能だが適応していく過程は確認出来ないため必要十分かどうかの確認はできない。
本発明は上述した背景に鑑みてなされたものであり、通信ネットワークを介して音声通信を行う際に、自端末から送信した音声データが、相手側端末で正常に再生されているかを確認することができるとともに、各拠点の音響状態(エコー抑圧)が正常か否かを遠隔地から確認可能にする技術を提供することを目的とする。
However, in the technique described in Patent Document 1, it is necessary to provide both ON / OFF paths of the acoustic echo canceller, and there is a problem that the apparatus configuration becomes more complicated than that of the conventional apparatus. Also, with the technique described in Patent Document 1, it is possible to confirm the state in which the acoustic echo canceller is ON, but it is not possible to confirm whether it is necessary or not because the process of adaptation cannot be confirmed.
The present invention has been made in view of the above-described background, and confirms whether audio data transmitted from the own terminal is normally reproduced on the counterpart terminal when performing voice communication via the communication network. An object of the present invention is to provide a technology that enables remote confirmation of whether or not the acoustic state (echo suppression) at each site is normal.

上記課題を解決するために、本発明は、第1の端末と、該第1の端末と通信ネットワークを介して接続された第2の端末とを有する音声通信システムであって、前記第1の端末は、前記第2の端末から音声データを受信する音声データ受信手段と、前記音声データ受信手段により受信された音声データが示す音声を放音する放音手段と、該第1の端末の周囲の音声を収音する収音手段と、前記音声データ受信手段により受信された音声データに基づき擬似エコー信号を生成する適応フィルタと、前記収音手段によって収音された音声を表す音声データから該擬似エコー信号を減算する減算部とを備えたエコーキャンセル手段と、前記適応フィルタの係数を記憶するフィルタ係数記憶手段と、前記エコーキャンセル手段によってエコーキャンセル処理を施された音声データを、前記第2の端末に対して送信する音声データ送信手段と、前記第2の端末からリセット信号を受信するリセット信号受信手段と、前記リセット信号受信手段によって前記リセット信号が受信されたときに、前記フィルタ係数記憶手段に記憶されたフィルタ係数の値を、予め定められた初期設定値に書き換えるフィルタ係数リセット手段と、前記第2の端末から前記エコーキャンセル処理の処理態様を示す制御信号を受信する制御信号受信手段と、前記制御信号受信手段によって前記制御信号が受信されたときに、該受信された制御信号の示す処理態様でエコーキャンセル処理を行うように前記エコーキャンセル手段を制御するエコーキャンセル制御手段とを具備し、前記第2の端末は、残響状況とエコーキャンセル処理の処理態様との対応関係を記憶する対応関係記憶手段と、前記第1の端末に対して前記リセット信号を送信するリセット信号送信手段と、前記第1の端末に対して音声データを送信する送信手段と、前記第1の端末から音声データを受信する受信手段と、前記受信手段により受信された音声データと前記送信手段によって送信された音声データとを用いて、前記第1の端末が設置された空間における残響状況を検出する残響状況検出手段と、前記対応関係記憶手段に記憶された対応関係に基づいて、前記残響状況検出手段によって検出された残響状況に対応する処理の処理態様を特定する特定手段と、前記特定手段によって特定された処理態様を示す制御信号を、前記第1の端末に送信する制御信号送信手段とを具備することを特徴とする音声通信システムを提供する。   In order to solve the above-described problem, the present invention provides a voice communication system including a first terminal and a second terminal connected to the first terminal via a communication network, wherein the first terminal The terminal includes voice data receiving means for receiving voice data from the second terminal, sound emitting means for emitting voice indicated by the voice data received by the voice data receiving means, and surroundings of the first terminal Sound collecting means for picking up the sound, an adaptive filter for generating a pseudo echo signal based on the sound data received by the sound data receiving means, and sound data representing the sound collected by the sound collecting means. An echo canceling means comprising a subtracting section for subtracting a pseudo echo signal; a filter coefficient storage means for storing coefficients of the adaptive filter; and an echo canceling means by the echo canceling means. Audio data transmitting means for transmitting processed audio data to the second terminal, reset signal receiving means for receiving a reset signal from the second terminal, and resetting by the reset signal receiving means Filter coefficient resetting means for rewriting the value of the filter coefficient stored in the filter coefficient storage means to a predetermined initial set value when a signal is received, and processing of the echo cancellation processing from the second terminal A control signal receiving means for receiving a control signal indicating a mode, and when the control signal is received by the control signal receiving means, the echo is performed so as to perform echo cancellation processing in a processing mode indicated by the received control signal. Echo cancellation control means for controlling the cancellation means, and the second terminal is configured to receive a reverberation state and an echo Correspondence relationship storage means for storing the correspondence relationship with the processing mode of cell processing, reset signal transmission means for transmitting the reset signal to the first terminal, and transmission of voice data to the first terminal The first terminal uses the transmission means, the reception means for receiving the voice data from the first terminal, the voice data received by the reception means, and the voice data transmitted by the transmission means. A reverberation state detection unit for detecting a reverberation state in an installed space, and a processing mode of processing corresponding to the reverberation state detected by the reverberation state detection unit based on the correspondence stored in the correspondence storage unit A specifying means for specifying, and a control signal transmitting means for transmitting a control signal indicating the processing mode specified by the specifying means to the first terminal. A voice communication system is provided.

また、本発明は、残響状況とエコーキャンセル処理の処理態様との対応関係を記憶する対応関係記憶手段と、通信ネットワークを介して接続された端末に対してリセット信号を送信するリセット信号送信手段と、前記端末に対して音声データを送信する音声データ送信手段と、前記端末から音声データを受信する音声データ受信手段と、前記音声データ受信手段により受信された音声データと前記音声データ送信手段によって送信された音声データとを用いて、前記端末が設置された空間における残響状況を検出する残響状況検出手段と、前記対応関係記憶手段に記憶された対応関係に基づいて、前記残響状況検出手段によって検出された残響状況に対応する処理態様を特定し、特定した処理態様を示す制御信号を、前記端末に送信する制御信号送信手段とを具備することを特徴とする音声通信装置を提供する。   The present invention also provides a correspondence storage unit that stores a correspondence between a reverberation situation and a processing mode of echo cancellation processing, and a reset signal transmission unit that transmits a reset signal to a terminal connected via a communication network. Voice data transmitting means for transmitting voice data to the terminal, voice data receiving means for receiving voice data from the terminal, voice data received by the voice data receiving means and transmitted by the voice data transmitting means Detected by the reverberation status detection means based on the reverberation status detection means for detecting the reverberation status in the space where the terminal is installed and the correspondence relationship stored in the correspondence relationship storage means. Control for specifying a processing mode corresponding to the specified reverberation situation and transmitting a control signal indicating the specified processing mode to the terminal Providing voice communication apparatus characterized by comprising a No. transmitting means.

本発明の好ましい態様において、前記対応関係記憶手段は、適応フィルタの収束時間とエコーキャンセル処理の処理態様との対応関係を記憶し、前記残響状況検出手段は、前記音声データ受信手段により受信された音声データと前記音声データ送信手段によって送信された音声データとを用いて、前記端末における適応フィルタの収束に要した時間を計測してもよい。   In a preferred aspect of the present invention, the correspondence relationship storage means stores a correspondence relationship between a convergence time of the adaptive filter and a processing aspect of echo cancellation processing, and the reverberation state detection means is received by the voice data reception means. You may measure the time required for the convergence of the adaptive filter in the said terminal using audio | voice data and the audio | voice data transmitted by the said audio | voice data transmission means.

また、本発明の更に好ましい態様において、前記対応関係記憶手段は、残響状況とフィルタ係数との対応関係を記憶し、前記制御信号送信手段は、前記対応関係記憶手段に記憶された対応関係に基づいて、前記残響状況検出手段によって検出された残響状況に対応するフィルタ係数を特定し、特定したフィルタ係数を前記端末へ送信してもよい。   Further, in a further preferred aspect of the present invention, the correspondence relationship storage means stores a correspondence relationship between a reverberation situation and a filter coefficient, and the control signal transmission means is based on the correspondence relationship stored in the correspondence relationship storage means. Then, the filter coefficient corresponding to the reverberation situation detected by the reverberation situation detection means may be specified, and the specified filter coefficient may be transmitted to the terminal.

また、本発明の更に好ましい態様において、前記対応関係記憶手段は、残響状況とサプレッサのパラメータとの対応関係を記憶し、前記制御信号送信手段は、前記対応関係記憶手段に記憶された対応関係に基づいて、前記残響状況検出手段によって検出された残響状況に対応するパラメータを特定し、特定したパラメータを前記端末へ送信してもよい。   Further, in a further preferred aspect of the present invention, the correspondence relationship storage means stores a correspondence relationship between a reverberation situation and a suppressor parameter, and the control signal transmission means has a correspondence relationship stored in the correspondence relationship storage means. Based on this, a parameter corresponding to the reverberation status detected by the reverberation status detection means may be specified, and the specified parameter may be transmitted to the terminal.

また、本発明の更に好ましい態様において、前記残響状況検出手段によって検出された残響状況を報知する報知手段を具備してもよい。   In a further preferred aspect of the present invention, the information processing apparatus may further comprise notification means for notifying the reverberation situation detected by the reverberation situation detection means.

また、本発明の更に好ましい態様において、音声データを記憶する音声データ記憶手段を具備し、前記音声データ送信手段は、前記音声データ記憶手段に記憶された音声データを前記端末に対して送信してもよい。
また、前記音声データ送信手段は、収音手段によって収音された音声を表す音声データを前記端末に対して送信してもよい。
Further, in a further preferred aspect of the present invention, the audio data storing means for storing the sound data is provided, and the sound data transmitting means transmits the sound data stored in the sound data storing means to the terminal. Also good.
The voice data transmitting unit may transmit voice data representing the voice collected by the sound collecting unit to the terminal.

また、本発明は、エコーキャンセル処理を行う際に用いられるフィルタ係数を記憶するフィルタ係数記憶手段と、通信ネットワークを介して接続された端末から音声データを受信する音声データ受信手段と、前記音声データ受信手段により受信された音声データが示す音声を放音する放音手段と、周囲の音声を収音する収音手段と、前記音声データ受信手段により受信された音声データに基づき擬似エコー信号を生成する適応フィルタと、前記収音手段によって収音された音声を表す音声データから該擬似エコー信号を減算する減算部を備えたエコーキャンセル手段と、前記エコーキャンセル手段によってエコーキャンセル処理を施された音声データを、前記端末に対して送信する音声データ送信手段と、前記端末からリセット信号を受信するリセット信号受信手段と、前記リセット信号受信手段によって前記リセット信号が受信されたときに、前記フィルタ係数記憶手段に記憶されたフィルタ係数の値を、予め定められた初期設定値に書き換えるフィルタ係数リセット手段と、前記端末から前記エコーキャンセル処理の処理態様を示す制御信号を受信する制御信号受信手段と、前記制御信号受信手段によって前記制御信号が受信されたときに、該受信された制御信号の示す処理態様でエコーキャンセル処理を行うように前記エコーキャンセル手段を制御するエコーキャンセル制御手段とを具備することを特徴とする音声通信装置を提供する。   The present invention also provides filter coefficient storage means for storing filter coefficients used when performing echo cancellation processing, voice data receiving means for receiving voice data from a terminal connected via a communication network, and the voice data A sound emitting means for emitting the sound indicated by the sound data received by the receiving means, a sound collecting means for collecting the surrounding sound, and a pseudo echo signal is generated based on the sound data received by the sound data receiving means And an echo canceling means provided with a subtracting section for subtracting the pseudo echo signal from the sound data representing the sound collected by the sound collecting means, and the sound subjected to echo cancellation processing by the echo canceling means Voice data transmitting means for transmitting data to the terminal, and receiving a reset signal from the terminal Reset signal receiving means and filter coefficient resetting means for rewriting the value of the filter coefficient stored in the filter coefficient storage means to a predetermined initial set value when the reset signal is received by the reset signal receiving means A control signal receiving means for receiving a control signal indicating a processing mode of the echo cancellation processing from the terminal, and a process indicated by the received control signal when the control signal is received by the control signal receiving means There is provided an audio communication apparatus comprising echo cancellation control means for controlling the echo cancellation means so as to perform echo cancellation processing in a mode.

本発明の好ましい態様において、前記エコーキャンセル制御手段は、前記フィルタ係数記憶手段に記憶されたフィルタ係数の値を、前記制御信号受信手段によって受信された制御信号の示すフィルタ係数の値に書き換えてもよい。   In a preferred aspect of the present invention, the echo cancellation control means may rewrite the filter coefficient value stored in the filter coefficient storage means to a filter coefficient value indicated by the control signal received by the control signal receiving means. Good.

また、本発明の更に好ましい態様において、前記エコーキャンセル処理を施された音声データに対して、設定されたパラメータに従って音響処理を施すサプレッサを具備し、前記エコーキャンセル制御手段は、前記制御信号受信手段によって受信された制御信号の示すパラメータを前記サプレッサに設定してもよい。   Furthermore, in a further preferred aspect of the present invention, there is provided a suppressor that performs acoustic processing on the audio data subjected to the echo cancellation processing according to a set parameter, wherein the echo cancellation control means is the control signal reception means. The parameter indicated by the control signal received by may be set in the suppressor.

本発明によれば、通信ネットワークを介して音声通信を行う際に、自端末から送信した音声データが、相手側端末で正常に再生されているかを確認することができるとともに、各拠点の音響状態(エコー抑圧)が正常か否かを遠隔地から確認することができる。   ADVANTAGE OF THE INVENTION According to this invention, when performing voice communication via a communication network, it can be confirmed whether the audio | voice data transmitted from the own terminal are normally reproduced | regenerated by the other party terminal, and the acoustic state of each base Whether or not (echo suppression) is normal can be confirmed from a remote location.

遠隔会議システムの構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of a remote conference system. 端末の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of a terminal. パラメータテーブルの内容の一例を示す図である。It is a figure which shows an example of the content of a parameter table. 端末が行う処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process which a terminal performs.

<A:構成>
図1は、この発明の一実施形態である遠隔会議システム1の構成を示すブロック図である。この遠隔会議システム1は、各地に設置された複数の端末10a,10b,10c…が、インターネット等の通信ネットワーク100に接続されて構成される。なお、以下の説明においては、説明の便宜上、端末10a,10b,10c…を各々区別する必要がない場合には、これらを「端末10」と称して説明する。遠隔会議の参加者が端末10を用いて音声通信を行うことで、遠隔会議が実現される。
<A: Configuration>
FIG. 1 is a block diagram showing a configuration of a remote conference system 1 according to an embodiment of the present invention. The remote conference system 1 is configured by connecting a plurality of terminals 10a, 10b, 10c... Installed in various places to a communication network 100 such as the Internet. In the following description, for convenience of description, when it is not necessary to distinguish the terminals 10a, 10b, 10c..., These will be referred to as “terminal 10”. A remote conference is realized by a voice conference performed by a participant of the remote conference using the terminal 10.

図2は、端末10の構成の一例を示す図である。図において、マイクロホン11−1,11−2,…,11−16はそれぞれ、会議に参加している者(以下「参加者」という)の音声を収音し、収音した音声を表す音声信号(アナログ信号)を出力する収音手段である。マイクロホン11−1,11−2,…,11−16のそれぞれから出力される音声信号は、アンプ12−1,12−2,…,12−16にそれぞれ出力される。アンプ12−1,12−2,…,12−16は、マイクロホン11−1,11−2,…,11−16から出力される音声信号を増幅し、A/Dコンバータ13−1,13−2,…,13−16に出力する。A/Dコンバータ13−1,13−2,…,13−16はそれぞれ、アンプ12−1,12−2,…,12−16から出力される音声信号をデジタル信号に変換する。以下の説明では、説明の便宜上、マイクロホン11−1,11−2,…,11−16を各々区別する必要がない場合には、これらを「マイクロホン11」と称して説明する。同様に、アンプ12−1,12−2,…,12−16を各々区別する必要がない場合には、これらを「アンプ12」と称して説明する。また、A/Dコンバータ13−1,13−2,…,13−16を各々区別する必要がない場合にはこれらを「A/Dコンバータ13」と称して説明する。   FIG. 2 is a diagram illustrating an example of the configuration of the terminal 10. In the figure, microphones 11-1, 11-2,..., 11-16 each pick up sounds of persons participating in the conference (hereinafter referred to as “participants”), and sound signals representing the picked up sounds. Sound collecting means for outputting (analog signal). The audio signals output from the microphones 11-1, 11-2,..., 11-16 are output to the amplifiers 12-1, 12-2,. The amplifiers 12-1, 12-2,..., 12-16 amplify the audio signals output from the microphones 11-1, 11-2,. 2,..., 13-16. The A / D converters 13-1, 13-2,..., 13-16 convert the audio signals output from the amplifiers 12-1, 12-2,. In the following description, for convenience of description, when it is not necessary to distinguish the microphones 11-1, 11-2,..., 11-16, these will be referred to as “microphones 11”. Similarly, when it is not necessary to distinguish between the amplifiers 12-1, 12-2,..., 12-16, these will be referred to as “amplifiers 12”. Further, when it is not necessary to distinguish the A / D converters 13-1, 13-2,..., 13-16, these will be referred to as “A / D converter 13”.

マイク信号処理部14は、A/Dコンバータ13−1,13−2,…13−16のそれぞれから出力される音声信号に対して、例えば遅延処理を施した後に加算する(遅延和)などの処理をすることにより、指向性特性を示すマイク信号MBを生成する。マイク信号処理部14は生成したマイク信号MBをエコーキャンセル部15に送信する。   The microphone signal processing unit 14 performs, for example, delay processing on the audio signals output from the A / D converters 13-1, 13-2,. By processing, a microphone signal MB indicating directivity characteristics is generated. The microphone signal processing unit 14 transmits the generated microphone signal MB to the echo canceling unit 15.

エコーキャンセル部15は、音響エコーをキャンセルするための機能を有する。音響エコーは、スピーカから放音された音がマイクロホンに回り込む音響帰還により生じるエコーである。スピーカからマイクロホンへのエコーの伝播には、直接伝播する経路以外に、室内の壁や話者で反射する経路がある。音響エコーは、継続時間が長くスピーカやマイクロホンの移動など音響空間の変化により急激に特性が変化することが特徴である。エコーキャンセル部15は、通信/制御部16により制御されるリセット信号によって、適応フィルタ151の学習結果をリセットする。このとき通信/制御部16はリセット信号受信手段およびフィルタ係数リセット手段としての動作を行う。   The echo cancellation unit 15 has a function for canceling the acoustic echo. The acoustic echo is an echo generated by acoustic feedback in which sound emitted from a speaker goes around a microphone. In the propagation of echoes from the speaker to the microphone, there are paths that are reflected by indoor walls and speakers in addition to the paths that propagate directly. The acoustic echo is characterized in that its characteristics are rapidly changed by a change in acoustic space such as movement of a speaker or a microphone with a long duration. The echo cancellation unit 15 resets the learning result of the adaptive filter 151 by a reset signal controlled by the communication / control unit 16. At this time, the communication / control unit 16 operates as a reset signal receiving unit and a filter coefficient reset unit.

通信/制御部16は、通信ネットワーク100と接続され遠隔地にある他の端末10との間で音声データを相互にやりとりする。すなわち、通信/制御部16は音声データ受信手段および音声データ送信手段としての機能も有する。操作部17は、利用者の操作内容に応じた信号を出力する。通信/制御部16は、操作部17から供給される信号に応じて制御動作を実施する。
また通信/制御部16は、他の端末10からエコキャン制御信号を受信すると、受信したパラメータに応じて、エコーサプレッサ22のゲイン又は適応フィルタ151のフィルタ係数を更新する。このとき通信/制御部16は制御信号受信手段及びエコーキャンセル制御手段としての動作を行う。他の端末10から受信したデータが音声データであるか、リセット信号であるか、エコキャン制御信号であるかの判断は、受信データに含まれるヘッダにより行う。
The communication / control unit 16 is connected to the communication network 100 and exchanges voice data with other terminals 10 at remote locations. That is, the communication / control unit 16 also has a function as a voice data receiving unit and a voice data transmitting unit. The operation unit 17 outputs a signal corresponding to the operation content of the user. The communication / control unit 16 performs a control operation in accordance with a signal supplied from the operation unit 17.
When the communication / control unit 16 receives an eco-can control signal from another terminal 10, the communication / control unit 16 updates the gain of the echo suppressor 22 or the filter coefficient of the adaptive filter 151 according to the received parameter. At this time, the communication / control unit 16 operates as a control signal receiving unit and an echo cancellation control unit. Whether the data received from the other terminal 10 is audio data, a reset signal, or an eco-can control signal is determined by a header included in the received data.

スピーカ18−1,18−2,…,18−16は、供給されるスピーカ駆動信号に応じて放音する放音手段である。スピーカ信号処理部19は、遠隔地から送信された音声信号から各スピーカ駆動信号を生成する。指向性制御を行う場合には、スピーカ毎に最適な遅延処理を実施し各D/Aコンバータ20−1,20−2,…20−16に出力する。D/Aコンバータ20−1,20−2,…,20−16は、スピーカ信号処理部19から供給される音声データをアナログ信号に変換し、アンプ21−1,21−2,…21−16に供給する。アンプ21−1,21−2,…21−16はそれぞれ、D/Aコンバータ20−1,20−2,…20−16から供給される音声信号を増幅し、スピーカ18−1,18−2,…,18−16に供給する。以下の説明では、説明の便宜上、スピーカ18−1,18−2,…,18−16を各々区別する必要がない場合には、これらを「スピーカ18」と称して説明する。同様に、アンプ21−1,21−2,…,21−16を各々区別する必要がない場合には、これらを「アンプ21」と称して説明する。また、D/Aコンバータ20−1,20−2,…,20−16を各々区別する必要がない場合にはこれらを「D/Aコンバータ20」と称して説明する。なお、図2に示す例では、16個のマイクロホンを有するアレイマイクと16個のスピーカによるアレイスピーカを示しているが、スピーカ及びマイクロホンの数は16に限定されるものではなく、これより多くても少なくてもよい。   The speakers 18-1, 18-2,..., 18-16 are sound emitting means for emitting sound according to the supplied speaker driving signal. The speaker signal processing unit 19 generates each speaker drive signal from an audio signal transmitted from a remote place. When directivity control is performed, optimum delay processing is performed for each speaker, and output to each D / A converter 20-1, 20-2,... 20-16. The D / A converters 20-1, 20-2,..., 20-16 convert the audio data supplied from the speaker signal processing unit 19 into analog signals, and the amplifiers 21-1, 21-2,. To supply. The amplifiers 21-1, 21-2,..., 21-16 amplify the audio signals supplied from the D / A converters 20-1, 20-2,. ,..., 18-16. In the following description, for convenience of explanation, when it is not necessary to distinguish the speakers 18-1, 18-2,..., 18-16, these will be referred to as “speakers 18”. Similarly, when it is not necessary to distinguish the amplifiers 21-1, 21-2,..., 21-16, these will be referred to as “amplifiers 21”. Further, when it is not necessary to distinguish each of the D / A converters 20-1, 20-2,..., 20-16, these will be referred to as “D / A converter 20”. In the example shown in FIG. 2, an array microphone including an array microphone having 16 microphones and 16 speakers is shown, but the number of speakers and microphones is not limited to 16, and more than this. May be less.

エコーサプレッサ22は、設定されたパラメータに従ってエコーキャンセル部15が出力する信号に音響処理を施して通信/制御部16に出力する。メモリ23には、テスト音声データと、フィルタ係数と、パラメータテーブルとが記憶されている。テスト音声データは、端末10が通信・残響確認処理を行う際に用いられる音声データである。テスト音声データの表す音は高い周波数(例えば3kHz)が好適であるが、後述する残響特性の測定を行うのに適切な音響特性を有していれば良い。   The echo suppressor 22 performs acoustic processing on the signal output from the echo cancellation unit 15 according to the set parameters and outputs the processed signal to the communication / control unit 16. The memory 23 stores test audio data, filter coefficients, and a parameter table. The test voice data is voice data used when the terminal 10 performs communication / reverberation confirmation processing. The sound represented by the test sound data preferably has a high frequency (for example, 3 kHz), but it only needs to have an acoustic characteristic suitable for measuring the reverberation characteristic described later.

フィルタ係数は、端末10がエコーキャンセル処理を行う際に用いられるパラメータである。エコーキャンセル部15は、他の端末10から受信される音声データを、フィルタ係数によりフィルタリングすることにより擬似エコーZを生成し、生成した擬似エコーZをマイク信号MBから差し引くことによってエコーキャンセル処理を行う。   The filter coefficient is a parameter used when the terminal 10 performs an echo cancellation process. The echo cancellation unit 15 generates a pseudo echo Z by filtering audio data received from another terminal 10 using a filter coefficient, and performs echo cancellation processing by subtracting the generated pseudo echo Z from the microphone signal MB. .

次に、メモリ23に記憶されたパラメータテーブルについて説明する。図3に示すように、パラメータテーブルには音響エコーの消去機能を最適化するためのパラメータが収束時間に対応付けて書き込まれている。本実施形態においては、音響エコーの消去機能を最適化するためのパラメータとして、ゲインスペクトルデータが対応付けられている。すなわち、収束時間tが 0≦t<TaのときゲインスペクトルA(f)が対応づけられ、Ta≦t<TbのときゲインスペクトルB(f)が対応付けられ、Tb≦t<TcのときゲインスペクトルC(f)が対応付けられている。ただし、Ta<Tb<Tcである。ゲインスペクトルパラメータは、エコーサプレッサ22が音響エコー成分を除去する際に用いるパラメータである。ゲインスペクトルは、特定の周波数帯域で定義される利得(ゲイン)のスペクトルである。該ゲインスペクトルにおいては、入力される信号に対して、通すべき信号(話者の発言)に由来する周波数成分については高い値が、除去すべき信号(エコーに由来する信号)については低い値が設定されている。エコーサプレッサ22は、FFT処理された音声信号(スペクトル)と設定されたゲインスペクトルを乗算して周波数特性を変化させる。図3のゲインスペクトルデータは、定義された特定の周波数帯域内の任意の周波数fにおいて、A(f)≧B(f)≧C(f)となっている。したがって図3の場合は、収束時間が長いほどエコーサプレッサ22のゲインは小さくなり、音声信号の減衰量が大きくなる。これにより、エコーキャンセル部15によるエコーの消し残しをエコーサプレッサ22で減衰させる効果を奏する。   Next, the parameter table stored in the memory 23 will be described. As shown in FIG. 3, parameters for optimizing the acoustic echo cancellation function are written in the parameter table in association with the convergence time. In the present embodiment, gain spectrum data is associated as a parameter for optimizing the acoustic echo cancellation function. That is, the gain spectrum A (f) is associated when the convergence time t is 0 ≦ t <Ta, the gain spectrum B (f) is associated when Ta ≦ t <Tb, and the gain spectrum when Tb ≦ t <Tc. The spectrum C (f) is associated. However, Ta <Tb <Tc. The gain spectrum parameter is a parameter used when the echo suppressor 22 removes the acoustic echo component. The gain spectrum is a gain spectrum defined in a specific frequency band. In the gain spectrum, the input signal has a high value for a frequency component derived from a signal to be passed (speaker's speech) and a low value for a signal to be removed (a signal derived from an echo). Is set. The echo suppressor 22 multiplies the FFT-processed audio signal (spectrum) and the set gain spectrum to change the frequency characteristics. The gain spectrum data in FIG. 3 satisfies A (f) ≧ B (f) ≧ C (f) at an arbitrary frequency f within a defined specific frequency band. Therefore, in the case of FIG. 3, the longer the convergence time, the smaller the gain of the echo suppressor 22 and the greater the attenuation of the audio signal. As a result, an effect of attenuating the unerased echo by the echo canceler 15 by the echo suppressor 22 is achieved.

以下、エコーキャンセル部15における音声信号の流れについて、図2を用いて説明する。他の端末10から通信ネットワーク100を介して送信された音声データは、通信/制御部16で受信される。受信された音声データはスピーカ信号処理部19に供給されるとともに、適応フィルタ151に供給される。適応フィルタ151は、フィルタ係数を用いて受信された音声データをフィルタリングすることにより擬似エコーZを生成し、生成した擬似エコーZを加算器152へ出力する。適応フィルタ151は、複数の構成単位(タップ)が組み合わされて成り、各タップは単位遅延素子及び乗算器から成る。単位遅延素子は、供給される音声信号を1単位時間だけ遅延させる。各乗算器には時変のフィルタ係数Wn(k)(括弧内は、時刻kであることを示す。以下同様)が設定されている。入力された音声信号は、適応フィルタにて積和演算され、該演算結果が擬似エコーZとして生成される。すなわち、擬似エコーZ(k)は、時刻k及び時刻kより前に入力されたリファレンス信号の各フィルタ係数による積和演算により生成される。   Hereinafter, the flow of the audio signal in the echo cancellation unit 15 will be described with reference to FIG. Voice data transmitted from another terminal 10 via the communication network 100 is received by the communication / control unit 16. The received audio data is supplied to the speaker signal processing unit 19 and also supplied to the adaptive filter 151. The adaptive filter 151 generates pseudo echo Z by filtering the received audio data using the filter coefficient, and outputs the generated pseudo echo Z to the adder 152. The adaptive filter 151 is formed by combining a plurality of structural units (taps), and each tap includes a unit delay element and a multiplier. The unit delay element delays the supplied audio signal by one unit time. Each multiplier is set with a time-varying filter coefficient Wn (k) (in parentheses indicates time k; the same applies hereinafter). The input audio signal is subjected to a product-sum operation by an adaptive filter, and the operation result is generated as a pseudo echo Z. That is, the pseudo echo Z (k) is generated by a product-sum operation using each filter coefficient of the reference signal input before time k and time k.

エコーキャンセル部15は、加算器152から出力される音声信号、すなわちエコーキャンセル処理の処理結果をフィードバックさせることによって、該処理結果が所定の条件を満たすまで(適応フィルタ151が収束するまで)フィルタ係数の修正を行いながらエコーキャンセル処理を行う。   The echo cancellation unit 15 feeds back the audio signal output from the adder 152, that is, the processing result of the echo cancellation processing, and thereby the filter coefficient until the processing result satisfies a predetermined condition (until the adaptive filter 151 converges). Echo cancellation processing is performed while correcting the above.

さて、マイクロホン11から入力された音声信号は、アンプ12,A/Dコンバータ13及びマイク信号処理部14を介して加算器152へ出力される。加算器152では、マイク信号処理部14から音声信号(マイク信号MB)を受け取り、適応フィルタ151から受け取った擬似エコーZを差し引いて、エコーサプレッサ22へ出力する。エコーサプレッサ22は、加算器152から受け取った音声信号に対し、設定されたパラメータに従って音響処理を施して、通信/制御部16に出力する。音声信号は、通信/制御部16を介して通信ネットワーク100に向けて出力される。   Now, the audio signal input from the microphone 11 is output to the adder 152 via the amplifier 12, the A / D converter 13, and the microphone signal processing unit 14. The adder 152 receives the audio signal (microphone signal MB) from the microphone signal processing unit 14, subtracts the pseudo echo Z received from the adaptive filter 151, and outputs the result to the echo suppressor 22. The echo suppressor 22 performs acoustic processing on the audio signal received from the adder 152 according to the set parameters, and outputs the result to the communication / control unit 16. The audio signal is output toward the communication network 100 via the communication / control unit 16.

<B:動作>
次に、端末10の動作について図面を参照しつつ説明する。
<B−1:エコーキャンセル処理>
まず、端末10が行うエコーキャンセル処理について説明する。端末10の適応フィルタ151は、外部から供給されるリセット信号によって初期化される。リセット信号を外部から受信すると、通信/制御部16は、適応フィルタ151を初期化する。すなわち、通信/制御部16は、他の端末10からリセット信号を受信すると、メモリ23に記憶されたフィルタ係数の値を、予め定められた初期設定値に書き換える。初期設定値は端末10が置かれた室の音響環境によって最適な値が異なる。すなわち、適応フィルタ151が収束していない状態であり、かつ、適応フィルタ151が収束していないことにより生じる音響エコーが過大な音響障害とならない程度のエコーキャンセル能力を発揮する範囲が望ましい。この値は端末10を設置後に実験的に定めることができる。しかし、騒音が少なく、残響時間が短い場合等、音響エコーが大きな問題とならない場合は、初期設定値として、フィルタ係数をすべて0にしてもよい。
<B: Operation>
Next, the operation of the terminal 10 will be described with reference to the drawings.
<B-1: Echo cancellation processing>
First, echo cancellation processing performed by the terminal 10 will be described. The adaptive filter 151 of the terminal 10 is initialized by a reset signal supplied from the outside. When receiving the reset signal from the outside, the communication / control unit 16 initializes the adaptive filter 151. That is, when receiving a reset signal from another terminal 10, the communication / control unit 16 rewrites the filter coefficient value stored in the memory 23 to a predetermined initial setting value. The initial setting value differs depending on the acoustic environment of the room where the terminal 10 is placed. That is, it is desirable that the adaptive filter 151 is in a state where it does not converge and that the acoustic echo generated when the adaptive filter 151 is not converged exhibits an echo cancellation capability that does not cause excessive acoustic interference. This value can be determined experimentally after the terminal 10 is installed. However, if the acoustic echo is not a major problem, such as when there is little noise and the reverberation time is short, all the filter coefficients may be set to 0 as the initial setting values.

次に、通信/制御部16は、スピーカ18に対し、他の端末10から受信された音声データに応じて放音させる。スピーカ18から放音される音は、端末10が設置された音響空間において音響エコーを生じる。マイクロホン11は、音響エコーを収音する。マイク信号処理部14はマイクロホン11が収音した音響エコーを表す音声信号の遅延和(以下「エコーY」という)を生成する。エコーキャンセル部15は、このエコーYを用いて、フィルタ係数の更新を行う。簡単には、適応フィルタ151は、他の端末10から受信された音声データとフィルタ係数とから擬似エコーZを生成する。エコーキャンセル部15は、生成された擬似エコーZとエコーYとの差分を算出し、算出結果に基づいて所定のアルゴリズムに従ってフィルタ係数を更新する。このアルゴリズムには、LMS(Least Mean Square)法が用いられる。簡単には、算出される差分信号レベルが最小の音声信号に近づくように、すなわちエコーキャンセル部15のフィルタ処理により生成される擬似エコーZがエコーYに最も近似するようにエコーキャンセル部15はフィルタ係数を更新する。このようにフィルタ係数を更新することにより、エコーYを模した擬似エコーZを生成するために最適化されたフィルタ係数が定まる。なお、エコーキャンセル部15が用いるアルゴリズムはLMS法以外の適応アルゴリズムであっても良い。   Next, the communication / control unit 16 causes the speaker 18 to emit sound according to the audio data received from the other terminal 10. The sound emitted from the speaker 18 generates an acoustic echo in the acoustic space where the terminal 10 is installed. The microphone 11 collects an acoustic echo. The microphone signal processing unit 14 generates a delay sum (hereinafter referred to as “echo Y”) of an audio signal representing an acoustic echo picked up by the microphone 11. The echo cancellation unit 15 uses this echo Y to update the filter coefficient. In brief, the adaptive filter 151 generates the pseudo echo Z from the audio data received from the other terminal 10 and the filter coefficient. The echo cancellation unit 15 calculates the difference between the generated pseudo echo Z and echo Y, and updates the filter coefficient according to a predetermined algorithm based on the calculation result. For this algorithm, the LMS (Least Mean Square) method is used. In brief, the echo cancellation unit 15 performs filtering so that the calculated differential signal level approaches the minimum audio signal, that is, the pseudo echo Z generated by the filter processing of the echo cancellation unit 15 is closest to the echo Y. Update the coefficient. By updating the filter coefficient in this way, the filter coefficient optimized for generating the pseudo echo Z imitating the echo Y is determined. Note that the algorithm used by the echo cancellation unit 15 may be an adaptive algorithm other than the LMS method.

また、通信/制御部16は、相手側端末10からエコキャン制御信号を受信すると、受信したエコキャン制御信号の示す処理態様でエコーキャンセル処理を行うようにエコーキャンセル部15を制御する。この実施形態では、通信/制御部16は、受信されたエコキャン制御信号の示すパラメータをエコーサプレッサ22に設定する。   Further, when receiving the eco-can control signal from the counterpart terminal 10, the communication / control unit 16 controls the echo cancel unit 15 to perform the echo cancel process in the processing mode indicated by the received eco-can control signal. In this embodiment, the communication / control unit 16 sets a parameter indicated by the received eco-can control signal in the echo suppressor 22.

<B−2:通信接続・音響確認処理>
次に、端末10が行う通信接続・音響確認処理について説明する。図4は、端末10が行う通信接続・音響確認処理の流れを示すフローチャートである。まず、端末10は他の端末10との接続を開始する(ステップS1)。端末10の通信/制御部16は、接続が確立されたか否かを判定する(ステップS2)。ここで、通信障害等によって接続が確立されなかった場合には(ステップS2;NO)、ステップS3以降の処理を行わずにそのまま処理を終了する。一方、接続の確立が完了したと判定された場合には(ステップS2;YES)、通信/制御部16は、テスト音声データの送信を開始するとともに、相手側端末10に対してリセット信号を送信する(ステップS3)。
<B-2: Communication connection / acoustic confirmation processing>
Next, communication connection / acoustic confirmation processing performed by the terminal 10 will be described. FIG. 4 is a flowchart showing a flow of communication connection / acoustic confirmation processing performed by the terminal 10. First, the terminal 10 starts connection with another terminal 10 (step S1). The communication / control unit 16 of the terminal 10 determines whether or not a connection has been established (step S2). Here, when the connection is not established due to a communication failure or the like (step S2; NO), the process is terminated without performing the processes after step S3. On the other hand, if it is determined that the establishment of the connection has been completed (step S2; YES), the communication / control unit 16 starts transmitting test voice data and transmits a reset signal to the counterpart terminal 10 (Step S3).

次いで、通信/制御部16は、他の端末10から受信される音声データと、自端末10が相手側端末10へ送信した音声データとを用いて、相手側端末10が設置された空間における音響状態を検出する。この動作例では、通信/制御部16は、受信される音声データにおいて音響エコーの出現が確認できたか否かを判定する(ステップS4)。このとき、相手端末の放音系統又は収音系統に異常がある場合等は、エコー出現が確認されない場合がある。エコー出現が確認できないと判定された場合には(ステップS4;NO)、通信/制御部16は、ステップS5以降の処理を行わずにそのまま処理を終了する。   Next, the communication / control unit 16 uses the audio data received from the other terminal 10 and the audio data transmitted from the own terminal 10 to the other terminal 10, so that the sound in the space where the other terminal 10 is installed is used. Detect state. In this operation example, the communication / control unit 16 determines whether or not the appearance of an acoustic echo has been confirmed in the received audio data (step S4). At this time, when there is an abnormality in the sound emission system or the sound collection system of the counterpart terminal, the echo appearance may not be confirmed. If it is determined that the echo appearance cannot be confirmed (step S4; NO), the communication / control unit 16 ends the process without performing the processes after step S5.

一方、ステップS4において、エコーの出現が確認されたと判定された場合には(ステップS4;YES)、通信/制御部16は、エコーキャンセル部15における適応フィルタ151が収束したか否かを判定する(ステップS5)。適応フィルタ151が収束したと判定された場合には(ステップS5;YES)、通信/制御部16は、そのまま処理を終了する。適応フィルタ151が収束したかどうかの判定は、自端末10が相手側端末10へ送信した音声データの信号レベルに対して、相手側端末10から受信される音声データが一定時間の間所定のレベル以下になっているかどうかにより行う。例えば、受信した音声データが送信した音声データの±1%以内のレベルの状態が1秒間続いたときに収束したと判定する。ただし、このレベル比(1%)と継続時間(1秒間)は端末10の設置環境に応じて変更してもよい。例えば、人の動きが大きい状況ではレベル比を±5%以下としてもよいし、継続時間を0.5秒としてもよい。   On the other hand, if it is determined in step S4 that the appearance of an echo has been confirmed (step S4; YES), the communication / control unit 16 determines whether or not the adaptive filter 151 in the echo cancellation unit 15 has converged. (Step S5). If it is determined that the adaptive filter 151 has converged (step S5; YES), the communication / control unit 16 ends the process as it is. Whether the adaptive filter 151 has converged is determined by determining whether the audio data received from the counterpart terminal 10 is at a predetermined level for a certain period of time with respect to the signal level of the audio data transmitted from the terminal 10 to the counterpart terminal 10. It is done depending on whether it is below. For example, it is determined that the received audio data has converged when the state of the level within ± 1% of the transmitted audio data continues for 1 second. However, this level ratio (1%) and duration (1 second) may be changed according to the installation environment of the terminal 10. For example, in a situation where there is a large amount of human movement, the level ratio may be ± 5% or less, and the duration may be 0.5 seconds.

一方、ステップS5において、適応フィルタが収束していないと判定された場合には(ステップS5;NO)、通信/制御部16は、予め定められた時間T1が経過したか否かを判定する(ステップS6)。時間T1が経過していない場合には(ステップS6;NO)、通信/制御部16は、ステップS5の処理に戻り、適応フィルタの収束判定を行う。一方、ステップS6において、一定時間が経過したと判定された場合には(ステップS6;YES)、通信/制御部16は、経過時間に対応するパラメータをメモリ23に記憶されたパラメータテーブルを参照して特定する。本実施形態においては、T1=Taのとき、エコーサプレッサ22のゲインスペクトルとしてB(f)を特定し、T1=Tbのとき、エコーサプレッサ22のゲインスペクトルC(f)を特定する。次いで、通信/制御部16は、特定したパラメータを相手側端末10へ送信することによって相手側端末10のパラメータを変更し(ステップS7)、ステップS3の処理に戻る。   On the other hand, when it is determined in step S5 that the adaptive filter has not converged (step S5; NO), the communication / control unit 16 determines whether or not a predetermined time T1 has elapsed ( Step S6). If the time T1 has not elapsed (step S6; NO), the communication / control unit 16 returns to the process of step S5 and determines the convergence of the adaptive filter. On the other hand, if it is determined in step S6 that the predetermined time has elapsed (step S6; YES), the communication / control unit 16 refers to the parameter table stored in the memory 23 for the parameter corresponding to the elapsed time. To identify. In this embodiment, B (f) is specified as the gain spectrum of the echo suppressor 22 when T1 = Ta, and the gain spectrum C (f) of the echo suppressor 22 is specified when T1 = Tb. Next, the communication / control unit 16 changes the parameter of the counterpart terminal 10 by transmitting the specified parameter to the counterpart terminal 10 (step S7), and returns to the process of step S3.

すなわち、この動作例では、端末10は、受信した音声データと送信した音声データとを用いて、相手側端末10における適応フィルタの収束に要した時間を計測し、計測結果に応じたパラメータを相手側端末10へ送信する。   That is, in this operation example, the terminal 10 measures the time required for convergence of the adaptive filter in the counterpart terminal 10 using the received voice data and the transmitted voice data, and sets the parameter according to the measurement result to the counterpart. To the terminal 10.

このように本実施形態によれば、遠隔操作によって音響エコーキャンセル機能(適応フィルタ)をリセットする機能を持たせ、リセットした後の収束状態を確認することにより正常に動作しているかを確認することができる。このように、エコー出現を確認することにより、相手に音声が届いているか(通信のOK/NG)を確認できる。   As described above, according to the present embodiment, the function of resetting the acoustic echo cancellation function (adaptive filter) by remote operation is provided, and the normal state is confirmed by checking the convergence state after the reset. Can do. Thus, by confirming the appearance of the echo, it can be confirmed whether the voice has reached the other party (communication OK / NG).

更に、本実施形態によれば、エコーキャンセルの収束状態を確認することにより、エコーキャンセルが正しく動作しているかを確認することができる。このように、音声会議を行う際に各拠点の音響状態(エコー抑圧)が正常か否かを遠隔地から確認することができる。このようにすることにより、最適な音響パラメータ環境で音声会議を実現することができる。また、本実施形態によれば、相手の部屋の音響状況も把握することができるから、これにより、相手の環境に合わせて、パラメータ値を調整することができる。   Furthermore, according to the present embodiment, it is possible to confirm whether the echo cancellation is operating correctly by confirming the convergence state of the echo cancellation. In this way, it is possible to confirm from a remote location whether or not the acoustic state (echo suppression) at each site is normal when performing a voice conference. By doing so, it is possible to realize an audio conference in an optimal acoustic parameter environment. Moreover, according to this embodiment, since the acoustic condition of the other party's room can also be grasped, the parameter value can be adjusted according to the other party's environment.

なお、エコーサプレッサ22が行う音響処理は、上述した処理に限定されるものではなく、上述の適応フィルタを用いてエコーキャンセリング処理により除去しきれない成分を除去するような音響処理であれば良い。他の音響処理を行う場合には、ゲインスペクトルに代えて又は併せて、該処理に係るパラメータをメモリ23に記憶されたパラメータテーブルに対応付けておけば良い。   Note that the acoustic processing performed by the echo suppressor 22 is not limited to the above-described processing, and may be acoustic processing that removes components that cannot be removed by the echo canceling processing using the above-described adaptive filter. . When performing other acoustic processing, the parameter relating to the processing may be associated with the parameter table stored in the memory 23 instead of or in combination with the gain spectrum.

<変形例>
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
(1)上述の実施形態では、本発明に係る端末を用いて遠隔会議を行う場合について説明したが、本発明はこれに限らず、例えば、通信ネットワークを介して講義や講演を行う場合においても本発明を適用することができる。
<Modification>
As mentioned above, although embodiment of this invention was described, this invention is not limited to embodiment mentioned above, It can implement with another various form. An example is shown below. In addition, you may combine each following aspect suitably.
(1) In the above-described embodiment, the case where a remote conference is performed using the terminal according to the present invention has been described. However, the present invention is not limited to this, and for example, when a lecture or lecture is performed via a communication network. The present invention can be applied.

(2)上述の実施形態では、テスト音声データを用いて適応フィルタの収束確認を行ったが、テスト音声データを用いるに代えて、マイクロホン11で収音された音声を表す音声データを用いて適応フィルタの収束確認を行うようにしてもよい。また、これに限らず、例えば、相手側端末10との通信の際に生じる発信音や着信音などを用いるようにしても良い。 (2) In the above-described embodiment, the convergence check of the adaptive filter is performed using the test sound data. However, instead of using the test sound data, the adaptation is performed using the sound data representing the sound collected by the microphone 11. You may make it perform the convergence check of a filter. Further, the present invention is not limited to this, and for example, a dial tone, a ring tone, or the like generated during communication with the counterpart terminal 10 may be used.

(3)上記実施形態では、端末10は有線の通信ネットワーク100でネットワーク接続されている場合について説明したが、無線で各装置をつないでもよい。通信ネットワーク100はインターネットの他、LAN(Local Area Network)などでも良い。 (3) Although the case where the terminal 10 is connected to the network by the wired communication network 100 has been described in the above embodiment, each device may be connected wirelessly. The communication network 100 may be a local area network (LAN) in addition to the Internet.

(4)上述の実施形態では、端末10が、適応フィルタの収束時間を検出するようにしたが、端末10が検出する残響状況はこれに限らず、相手側端末10が設置された空間における残響状況を検出するものであれよく、要は、受信された音声データと送信した音声データとを用いて、相手側端末10が設置された空間における残響状況を検出するものであればよい。 (4) In the above-described embodiment, the terminal 10 detects the convergence time of the adaptive filter, but the reverberation situation detected by the terminal 10 is not limited to this, and the reverberation in the space where the counterpart terminal 10 is installed. What is necessary is just to detect the reverberation situation in the space where the counterpart terminal 10 is installed using the received voice data and the transmitted voice data.

(5)上述の実施形態では、パラメータテーブルにエコーサプレッサ22に設定するパラメータを記憶したが、パラメータテーブルに記憶するパラメータはこれに限らず、例えば、適応フィルタのフィルタ係数であってもよく、要は、残響状況とエコーキャンセル処理の処理態様との対応関係を端末10に予め記憶しておき、端末10が、記憶された対応関係に基づいて、検出された残響状況に対応する処理態様を特定し、特定した処理態様を示す制御信号を、相手側端末10へ送信するようにすればよい。例えば、パラメータとしてフィルタ係数を用いる場合には、端末10は、検出した残響状況に対応するフィルタ係数をパラメータテーブルから読み出し、読み出したフィルタ係数を相手側端末10へ送信する。この場合は、端末10は、相手側端末10からフィルタ係数を受信すると、メモリ23に記憶されたフィルタ係数の値を、受信されたフィルタ係数の値に書き換え、書き換えたフィルタ係数を用いてエコーキャンセル処理を行う。また、フィルタ係数の代わりに適応フィルタのタップ数をパラメータとしてもよい。これにより、残響時間の長短に合わせた適応フィルタのタップ数を設定することができる。 (5) In the above-described embodiment, the parameters to be set in the echo suppressor 22 are stored in the parameter table. However, the parameters stored in the parameter table are not limited to this, and may be filter coefficients of an adaptive filter, for example. Stores the correspondence between the reverberation status and the processing mode of the echo cancellation processing in advance in the terminal 10, and the terminal 10 specifies the processing mode corresponding to the detected reverberation status based on the stored correspondence. Then, a control signal indicating the specified processing mode may be transmitted to the counterpart terminal 10. For example, when using a filter coefficient as a parameter, the terminal 10 reads out the filter coefficient corresponding to the detected reverberation situation from the parameter table, and transmits the read filter coefficient to the counterpart terminal 10. In this case, when receiving the filter coefficient from the counterpart terminal 10, the terminal 10 rewrites the value of the filter coefficient stored in the memory 23 with the value of the received filter coefficient, and performs echo cancellation using the rewritten filter coefficient. Process. The number of taps of the adaptive filter may be used as a parameter instead of the filter coefficient. As a result, the number of taps of the adaptive filter can be set in accordance with the length of the reverberation time.

(6)上述の実施形態において、端末10が、検出した残響状況を報知するようにしてもよい。具体的には、例えば、検出した残響状況を表す画像を液晶ディスプレイ等の表示装置に表示するようにしてもよく、また、例えば、検出した残響状況を模擬するようにしてもよい。 (6) In the above-described embodiment, the terminal 10 may notify the detected reverberation situation. Specifically, for example, an image representing the detected reverberation situation may be displayed on a display device such as a liquid crystal display, or for example, the detected reverberation situation may be simulated.

(7)上述の実施形態における端末10の各部は、ハードウェアとして構成されてもよく、また、CPU(Central Processing Unit)等の制御部がハードディスク等の記憶手段に記憶されたコンピュータプログラムを実行することによってソフトウェアとして実現するようにしてもよい。この場合、制御部によって実行されるプログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由で端末10にダウンロードさせることも可能である。 (7) Each unit of the terminal 10 in the above-described embodiment may be configured as hardware, and a control unit such as a CPU (Central Processing Unit) executes a computer program stored in a storage unit such as a hard disk. It may be realized as software. In this case, the program executed by the control unit is recorded on a computer-readable recording medium such as a magnetic recording medium (magnetic tape, magnetic disk, etc.), an optical recording medium (optical disk, etc.), a magneto-optical recording medium, or a semiconductor memory. Can be provided in the state. It is also possible to download to the terminal 10 via a network such as the Internet.

1…遠隔会議システム、10…端末、11…マイクロホン、12…アンプ、13…A/Dコンバータ、14…マイク信号処理部、15…エコーキャンセル部、16…通信/制御部、17…操作部、18…スピーカ、19…スピーカ信号処理部、20…D/Aコンバータ、21…アンプ、22…エコーサプレッサ、23…メモリ、100…通信ネットワーク、151…適応フィルタ、152…加算器。 DESCRIPTION OF SYMBOLS 1 ... Remote conference system, 10 ... Terminal, 11 ... Microphone, 12 ... Amplifier, 13 ... A / D converter, 14 ... Microphone signal processing part, 15 ... Echo cancellation part, 16 ... Communication / control part, 17 ... Operation part, DESCRIPTION OF SYMBOLS 18 ... Speaker, 19 ... Speaker signal processing part, 20 ... D / A converter, 21 ... Amplifier, 22 ... Echo suppressor, 23 ... Memory, 100 ... Communication network, 151 ... Adaptive filter, 152 ... Adder.

Claims (11)

第1の端末と、該第1の端末と通信ネットワークを介して接続された第2の端末とを有する音声通信システムであって、
前記第1の端末は、
前記第2の端末から音声データを受信する音声データ受信手段と、
前記音声データ受信手段により受信された音声データが示す音声を放音する放音手段と、
該第1の端末の周囲の音声を収音する収音手段と、
前記音声データ受信手段により受信された音声データに基づき擬似エコー信号を生成する適応フィルタと、前記収音手段によって収音された音声を表す音声データから該擬似エコー信号を減算する減算部とを備えたエコーキャンセル手段と、
前記適応フィルタの係数を記憶するフィルタ係数記憶手段と、
前記エコーキャンセル手段によってエコーキャンセル処理を施された音声データを、前記第2の端末に対して送信する音声データ送信手段と、
前記第2の端末からリセット信号を受信するリセット信号受信手段と、
前記リセット信号受信手段によって前記リセット信号が受信されたときに、前記フィルタ係数記憶手段に記憶されたフィルタ係数の値を、予め定められた初期設定値に書き換えるフィルタ係数リセット手段と、
前記第2の端末から前記エコーキャンセル処理の処理態様を示す制御信号を受信する制御信号受信手段と、
前記制御信号受信手段によって前記制御信号が受信されたときに、該受信された制御信号の示す処理態様でエコーキャンセル処理を行うように前記エコーキャンセル手段を制御するエコーキャンセル制御手段と
を具備し、
前記第2の端末は、
残響状況とエコーキャンセル処理の処理態様との対応関係を記憶する対応関係記憶手段と、
前記第1の端末に対して前記リセット信号を送信するリセット信号送信手段と、
前記第1の端末に対して音声データを送信する送信手段と、
前記第1の端末から音声データを受信する受信手段と、
前記受信手段により受信された音声データと前記送信手段によって送信された音声データとを用いて、前記第1の端末が設置された空間における残響状況を検出する残響状況検出手段と、
前記対応関係記憶手段に記憶された対応関係に基づいて、前記残響状況検出手段によって検出された残響状況に対応する処理の処理態様を特定する特定手段と、
前記特定手段によって特定された処理態様を示す制御信号を、前記第1の端末に送信する制御信号送信手段と
を具備することを特徴とする音声通信システム。
An audio communication system having a first terminal and a second terminal connected to the first terminal via a communication network,
The first terminal is
Voice data receiving means for receiving voice data from the second terminal;
Sound emitting means for emitting the sound indicated by the sound data received by the sound data receiving means;
Sound collecting means for collecting sound around the first terminal;
An adaptive filter that generates a pseudo echo signal based on the voice data received by the voice data receiving unit; and a subtracting unit that subtracts the pseudo echo signal from the voice data representing the voice collected by the sound collecting unit. Echo canceling means,
Filter coefficient storage means for storing coefficients of the adaptive filter;
Audio data transmitting means for transmitting the audio data subjected to echo cancellation processing by the echo canceling means to the second terminal;
Reset signal receiving means for receiving a reset signal from the second terminal;
Filter coefficient resetting means for rewriting the value of the filter coefficient stored in the filter coefficient storage means to a predetermined initial setting value when the reset signal is received by the reset signal receiving means;
Control signal receiving means for receiving a control signal indicating a processing mode of the echo cancellation processing from the second terminal;
Echo cancellation control means for controlling the echo cancellation means so as to perform echo cancellation processing in a processing mode indicated by the received control signal when the control signal is received by the control signal receiving means,
The second terminal is
Correspondence storage means for storing the correspondence between the reverberation situation and the processing mode of echo cancellation processing;
Reset signal transmitting means for transmitting the reset signal to the first terminal;
Transmitting means for transmitting voice data to the first terminal;
Receiving means for receiving audio data from the first terminal;
Reverberation condition detecting means for detecting a reverberation condition in a space where the first terminal is installed, using the voice data received by the receiving means and the voice data transmitted by the transmitting means;
Identification means for identifying a processing mode of processing corresponding to the reverberation situation detected by the reverberation situation detection means based on the correspondence relation stored in the correspondence relation storage means;
A voice communication system comprising: a control signal transmitting unit that transmits a control signal indicating the processing mode specified by the specifying unit to the first terminal.
残響状況とエコーキャンセル処理の処理態様との対応関係を記憶する対応関係記憶手段と、
通信ネットワークを介して接続された端末に対してリセット信号を送信するリセット信号送信手段と、
前記端末に対して音声データを送信する音声データ送信手段と、
前記端末から音声データを受信する音声データ受信手段と、
前記音声データ受信手段により受信された音声データと前記音声データ送信手段によって送信された音声データとを用いて、前記端末が設置された空間における残響状況を検出する残響状況検出手段と、
前記対応関係記憶手段に記憶された対応関係に基づいて、前記残響状況検出手段によって検出された残響状況に対応する処理態様を特定し、特定した処理態様を示す制御信号を、前記端末に送信する制御信号送信手段と
を具備することを特徴とする音声通信装置。
Correspondence storage means for storing the correspondence between the reverberation situation and the processing mode of echo cancellation processing;
Reset signal transmitting means for transmitting a reset signal to a terminal connected via a communication network;
Voice data transmitting means for transmitting voice data to the terminal;
Voice data receiving means for receiving voice data from the terminal;
Reverberation condition detecting means for detecting a reverberation condition in the space where the terminal is installed, using the sound data received by the sound data receiving means and the sound data transmitted by the sound data transmitting means;
Based on the correspondence stored in the correspondence storage unit, the processing mode corresponding to the reverberation situation detected by the reverberation situation detection unit is specified, and a control signal indicating the specified processing mode is transmitted to the terminal. A voice communication apparatus comprising: a control signal transmission unit.
前記対応関係記憶手段は、適応フィルタの収束時間とエコーキャンセル処理の処理態様との対応関係を記憶し、
前記残響状況検出手段は、前記音声データ受信手段により受信された音声データと前記音声データ送信手段によって送信された音声データとを用いて、前記端末における適応フィルタの収束に要した時間を計測する
ことを特徴とする請求項2に記載の音声通信装置。
The correspondence storage means stores the correspondence between the convergence time of the adaptive filter and the processing mode of echo cancellation processing,
The reverberation state detecting means measures the time required for convergence of the adaptive filter in the terminal using the voice data received by the voice data receiving means and the voice data transmitted by the voice data transmitting means. The voice communication apparatus according to claim 2.
前記対応関係記憶手段は、残響状況とフィルタ係数との対応関係を記憶し、
前記制御信号送信手段は、前記対応関係記憶手段に記憶された対応関係に基づいて、前記残響状況検出手段によって検出された残響状況に対応するフィルタ係数を特定し、特定したフィルタ係数を前記端末へ送信する
ことを特徴とする請求項2又は3に記載の音声通信装置。
The correspondence storage means stores a correspondence between a reverberation situation and a filter coefficient,
The control signal transmission means identifies a filter coefficient corresponding to the reverberation situation detected by the reverberation situation detection means based on the correspondence relation stored in the correspondence relation storage means, and sends the identified filter coefficient to the terminal. The voice communication apparatus according to claim 2, wherein the voice communication apparatus transmits the voice communication apparatus.
前記対応関係記憶手段は、残響状況とサプレッサのパラメータとの対応関係を記憶し、
前記制御信号送信手段は、前記対応関係記憶手段に記憶された対応関係に基づいて、前記残響状況検出手段によって検出された残響状況に対応するパラメータを特定し、特定したパラメータを前記端末へ送信する
ことを特徴とする請求項2乃至4のいずれか1項に記載の音声通信装置。
The correspondence storage means stores a correspondence between a reverberation situation and a suppressor parameter,
The control signal transmission unit identifies a parameter corresponding to the reverberation situation detected by the reverberation situation detection unit based on the correspondence stored in the correspondence storage unit, and transmits the identified parameter to the terminal. The voice communication apparatus according to any one of claims 2 to 4, wherein the voice communication apparatus is characterized.
前記残響状況検出手段によって検出された残響状況を報知する報知手段
を具備することを特徴とする請求項2乃至5のいずれか1項に記載の音声通信装置。
The voice communication apparatus according to any one of claims 2 to 5, further comprising notification means for notifying a reverberation situation detected by the reverberation situation detection means.
音声データを記憶する音声データ記憶手段
を具備し、
前記音声データ送信手段は、前記音声データ記憶手段に記憶された音声データを前記端末に対して送信する
ことを特徴とする請求項2乃至6のいずれか1項に記載の音声通信装置。
Voice data storage means for storing voice data;
The voice communication apparatus according to any one of claims 2 to 6, wherein the voice data transmitting unit transmits the voice data stored in the voice data storage unit to the terminal.
前記音声データ送信手段は、収音手段によって収音された音声を表す音声データを前記端末に対して送信する
ことを特徴とする請求項2乃至6のいずれか1項に記載の音声通信装置。
The voice communication apparatus according to claim 2, wherein the voice data transmission unit transmits voice data representing the voice collected by the voice collection unit to the terminal.
エコーキャンセル処理を行う際に用いられるフィルタ係数を記憶するフィルタ係数記憶手段と、
通信ネットワークを介して接続された端末から音声データを受信する音声データ受信手段と、
前記音声データ受信手段により受信された音声データが示す音声を放音する放音手段と、
周囲の音声を収音する収音手段と、
前記音声データ受信手段により受信された音声データに基づき擬似エコー信号を生成する適応フィルタと、前記収音手段によって収音された音声を表す音声データから該擬似エコー信号を減算する減算部を備えたエコーキャンセル手段と、
前記エコーキャンセル手段によってエコーキャンセル処理を施された音声データを、前記端末に対して送信する音声データ送信手段と、
前記端末からリセット信号を受信するリセット信号受信手段と、
前記リセット信号受信手段によって前記リセット信号が受信されたときに、前記フィルタ係数記憶手段に記憶されたフィルタ係数の値を、予め定められた初期設定値に書き換えるフィルタ係数リセット手段と、
前記端末から前記エコーキャンセル処理の処理態様を示す制御信号を受信する制御信号受信手段と、
前記制御信号受信手段によって前記制御信号が受信されたときに、該受信された制御信号の示す処理態様でエコーキャンセル処理を行うように前記エコーキャンセル手段を制御するエコーキャンセル制御手段と
を具備することを特徴とする音声通信装置。
Filter coefficient storage means for storing a filter coefficient used when performing echo cancellation processing;
Audio data receiving means for receiving audio data from a terminal connected via a communication network;
Sound emitting means for emitting the sound indicated by the sound data received by the sound data receiving means;
Sound collecting means for collecting surrounding sounds;
An adaptive filter that generates a pseudo echo signal based on the voice data received by the voice data receiving unit; and a subtracting unit that subtracts the pseudo echo signal from the voice data representing the voice collected by the sound collecting unit. Echo cancellation means;
Audio data transmitting means for transmitting the audio data subjected to echo cancellation processing by the echo canceling means to the terminal;
Reset signal receiving means for receiving a reset signal from the terminal;
Filter coefficient resetting means for rewriting the value of the filter coefficient stored in the filter coefficient storage means to a predetermined initial setting value when the reset signal is received by the reset signal receiving means;
Control signal receiving means for receiving a control signal indicating a processing mode of the echo cancellation processing from the terminal;
Echo cancellation control means for controlling the echo cancellation means to perform echo cancellation processing in the processing mode indicated by the received control signal when the control signal is received by the control signal receiving means. A voice communication apparatus characterized by the above.
前記エコーキャンセル制御手段は、前記フィルタ係数記憶手段に記憶されたフィルタ係数の値を、前記制御信号受信手段によって受信された制御信号の示すフィルタ係数の値に書き換える
ことを特徴とする請求項9に記載の音声通信装置。
The echo cancellation control means rewrites the filter coefficient value stored in the filter coefficient storage means to a filter coefficient value indicated by a control signal received by the control signal receiving means. The voice communication device according to the description.
前記エコーキャンセル処理を施された音声データに対して、設定されたパラメータに従って音響処理を施すサプレッサ
を具備し、
前記エコーキャンセル制御手段は、前記制御信号受信手段によって受信された制御信号の示すパラメータを前記サプレッサに設定する
ことを特徴とする請求項9又は10に記載の音声通信装置。
A suppressor for performing acoustic processing on the audio data subjected to the echo cancellation processing according to a set parameter;
The voice communication apparatus according to claim 9 or 10, wherein the echo cancellation control unit sets a parameter indicated by a control signal received by the control signal reception unit in the suppressor.
JP2009026272A 2009-02-06 2009-02-06 Voice communication system and voice communication apparatus Expired - Fee Related JP5245884B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009026272A JP5245884B2 (en) 2009-02-06 2009-02-06 Voice communication system and voice communication apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009026272A JP5245884B2 (en) 2009-02-06 2009-02-06 Voice communication system and voice communication apparatus

Publications (2)

Publication Number Publication Date
JP2010183434A true JP2010183434A (en) 2010-08-19
JP5245884B2 JP5245884B2 (en) 2013-07-24

Family

ID=42764597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009026272A Expired - Fee Related JP5245884B2 (en) 2009-02-06 2009-02-06 Voice communication system and voice communication apparatus

Country Status (1)

Country Link
JP (1) JP5245884B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016111657A (en) * 2014-12-10 2016-06-20 パナソニックIpマネジメント株式会社 Calling device, calling system and program
JPWO2019008733A1 (en) * 2017-07-07 2020-07-09 ヤマハ株式会社 Voice processing method, remote conversation method, voice processing device, remote conversation device, headset, and remote conversation system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002043985A (en) * 2000-07-25 2002-02-08 Matsushita Electric Ind Co Ltd Acoustic echo canceller device
JP2005184256A (en) * 2003-12-17 2005-07-07 Oki Electric Ind Co Ltd Communication system
JP2007019833A (en) * 2005-07-07 2007-01-25 Sharp Corp Telephone call device
JP2007174343A (en) * 2005-12-22 2007-07-05 Oki Electric Ind Co Ltd Echo canceller

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002043985A (en) * 2000-07-25 2002-02-08 Matsushita Electric Ind Co Ltd Acoustic echo canceller device
JP2005184256A (en) * 2003-12-17 2005-07-07 Oki Electric Ind Co Ltd Communication system
JP2007019833A (en) * 2005-07-07 2007-01-25 Sharp Corp Telephone call device
JP2007174343A (en) * 2005-12-22 2007-07-05 Oki Electric Ind Co Ltd Echo canceller

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016111657A (en) * 2014-12-10 2016-06-20 パナソニックIpマネジメント株式会社 Calling device, calling system and program
JPWO2019008733A1 (en) * 2017-07-07 2020-07-09 ヤマハ株式会社 Voice processing method, remote conversation method, voice processing device, remote conversation device, headset, and remote conversation system
US11259116B2 (en) 2017-07-07 2022-02-22 Yamaha Corporation Sound processing method, remote conversation method, sound processing device, remote conversation device, headset, and remote conversation system

Also Published As

Publication number Publication date
JP5245884B2 (en) 2013-07-24

Similar Documents

Publication Publication Date Title
CN107636758B (en) Acoustic echo cancellation system and method
US8842851B2 (en) Audio source localization system and method
US9066167B2 (en) Method and device for personalized voice operated control
CN104751839B (en) Noise canceling system with lower rate emulation
US9264807B2 (en) Multichannel acoustic echo reduction
US8442251B2 (en) Adaptive feedback cancellation based on inserted and/or intrinsic characteristics and matched retrieval
US8391472B2 (en) Acoustic echo cancellation solution for video conferencing
US20170053639A1 (en) Feedback adaptive noise cancellation (anc) controller and method having a feedback response partially provided by a fixed-response filter
JPH11149292A (en) Method and device for attenuating spatial noise by generating antinoise
CN107211063A (en) Non-linear echo paths are detected
TW200908672A (en) Apparatus capable of performing acoustic echo cancellation and a method thereof
CN108141502A (en) Audio signal processing
TW201804816A (en) Method, system for self-tuning active noise cancellation and headset apparatus
US9667803B2 (en) Nonlinear acoustic echo cancellation based on transducer impedance
ES2915843T3 (en) Control of acoustic modes in a room
JP2007096389A (en) Recursive noise canceller
US20130322639A1 (en) Systems and methods for acoustic echo cancellation with wireless microphones and speakers
EP1681899B1 (en) Audio amplification apparatus with howling canceler
EP4282168A1 (en) Measuring speech intelligibility of an audio environment
JP5245884B2 (en) Voice communication system and voice communication apparatus
JP4709714B2 (en) Echo canceling apparatus, method thereof, program thereof, and recording medium thereof
WO2023081535A1 (en) Automated audio tuning and compensation procedure
WO2021258913A1 (en) Echo cancellation device and method, sound pickup device and method, and terminal
JP2011160429A (en) Echo elimination device
JP4872794B2 (en) Acoustic echo canceller

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130325

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160419

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees