JP2015204535A - 放収音装置 - Google Patents
放収音装置 Download PDFInfo
- Publication number
- JP2015204535A JP2015204535A JP2014083209A JP2014083209A JP2015204535A JP 2015204535 A JP2015204535 A JP 2015204535A JP 2014083209 A JP2014083209 A JP 2014083209A JP 2014083209 A JP2014083209 A JP 2014083209A JP 2015204535 A JP2015204535 A JP 2015204535A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- speaker
- filter
- signal
- reverberation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
- H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
- H04M1/6016—Substation equipment, e.g. for use by subscribers including speech amplifiers in the receiver circuit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
- H04M1/62—Constructional arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2203/00—Aspects of automatic or semi-automatic exchanges
- H04M2203/50—Aspects of automatic or semi-automatic exchanges related to audio conference
- H04M2203/509—Microphone arrays
Abstract
【課題】事前にテスト音声を再生しなくても、会議用の収音およびエコーキャンセル機能を利用して残響を抑制できる放収音装置を提供する。【解決手段】スピーカと、スピーカに供給される音声信号である放音信号を処理するフィルタと、指向性を有する複数のマイク、複数のエコーキャンセラ、第1統合部、残響特性推定部および演算部を備える。複数のエコーキャンセラは、複数のマイクの各々に対応して設けられ、各々がその対応するマイクの収音信号からスピーカによって放音された音声の回帰音信号をキャンセルする。第1統合部は、エコーキャンセラから取り出された適応フィルタ係数列を統合する。残響時間推定部は、統合されたフィルタ係数列に基づき、スピーカおよびマイクが存在する空間の周波数帯域ごとの残響時間を推定する。演算部は、残響時間の長い周波数帯域を抽出し、その周波数帯域のパワーを抑制するフィルタ係数を算出してフィルタに設定する。【選択図】図1
Description
この発明は、遠隔の音声会議等に用いられる放収音装置に関し、特に放音される音声の残響の抑制に関する。
拠点間をネットワークで接続して音声を送受信する音声会議システムが実用化されている。会議に使用される会議室の音響特性は様々であり、場合によっては非常に長い残響を有する部屋で会議が行われる場合もある。残響が長いとスピーカから放音される音声の明瞭度が低下する。これに対処するため、放音される音声の残響を抑制する装置が提案されている(特許文献1)。
特許文献1の装置は、参加者Maに対応するキーKiaを操作することにより、参加者Maからマイクロホン31までの空間伝達関数Haの逆フィルタ係数Gaが、ROM41から読み出されてデジタルフィルタ34iに供給され、このデジタルフィルタ34iが逆フィルタ演算をリアルタイムで行って参加者Maの音声信号を逆フィルタリング処理するものである。すなわち、この装置では、各参加者Ma〜Mnの席から複数のマイクロホン31までの空間伝達関数が予め測定されており、各伝達関数の逆フィルタ係数Ga〜GnがROM41に予め格納されている。
しかしながら、上記従来の装置では、予めインパルス応答を測定する必要があるため、会議開始直前にテスト信号を再生するか、会議の途中でテスト信号を再生する必要があり、テスト信号の再生中は静かにしている必要があるため、会議の円滑な進行の妨げになった。
会議参加者が入場する前に行っておくことも考えられるが、参加者が居るときと不在のときとでは会議室の音響特性が変化するため、やはり参加者が揃った時点でするのが好ましい。
この発明は、事前にテスト音声を再生しなくても、会議用の収音およびエコーキャンセル機能を利用して残響を抑制できる放収音装置を提供することを目的とする。
本発明の放収音装置は、スピーカと、スピーカに供給される音声信号である放音信号を処理するフィルタと、指向性を有する複数のマイクと、複数のエコーキャンセラと、第1統合部と、残響特性推定部と、演算部と、を備える。複数のエコーキャンセラは、複数のマイクの各々に対応して設けられ、各々がその対応するマイクの収音信号からスピーカによって放音された音声の回帰音信号をキャンセルする。第1統合部は、エコーキャンセラから取り出された適応フィルタ係数列を統合する。残響時間推定部は、統合されたフィルタ係数列に基づき、スピーカおよびマイクが存在する空間の周波数帯域ごとの残響時間を推定する。演算部は、残響時間の長い周波数帯域を抽出し、その周波数帯域のパワーを抑制するフィルタ係数を算出してフィルタに設定する。
この発明の放収音装置は、会議などに好適化された指向性マイクを複数備える。各マイクには、スピーカ音のエコーをキャンセルするためのエコーキャンセラが設けられている。エコーキャンセラは、模擬回帰音信号を生成する適応フィルタを備え、スピーカとマイクとの間のインパルス応答を模擬した適応フィルタ係数(推定インパルス応答)を持つ。また、この推定インパルス応答は、放音信号およびマイクの収音信号に基づいて常に更新されている。マイクは指向性マイクであるため、この推定インパルス応答はマイクの指向性の方向から到来する残響成分しか多く含まず、会議室全体の残響特性を完全に現しているとはいえない。しかし、第1統合部が、複数の指向性マイクのパラメータを統合することにより、会議用の指向性マイクでありながら、広い範囲の方向から到来する残響成分を含むインパルス応答を模擬することができる。そして、この統合されたパラメータ(推定インパルス応答)を用いて残響時間を算出し、この残響を抑制するようなフィルタ係数を算出する。これにより、会議室全体の残響特性を正確に再現でき、効果的な残響の抑制ができる。また、推定インパルス応答は、エコーキャンセラが回帰音除去に使用するものがそのまま流用できるので、特別な計算量が必要にならず、また、このためにテスト音声を放音する必要も無い。
上記発明において、複数のマイクを、水平の全方向にいずれかのマイクが感度を持つようそれぞれ異なる方向に向けて配置してもよい。マイクをこのように配置することにより、第1統合部で統合されたパラメータをほぼ無指向性のパラメータとすることが可能になる。
上記発明において、複数のマイクおよび複数のエコーキャンセラを含む収音器、および、スピーカおよびフィルタを含む通信器を、それぞれ別体としてもよい。これにより、設置の自由度が増すとともに、収音器を複数設けることも可能になる。
上記発明において、収音器を複数設けるともに、第1統合部を、複数の収音器に対応して複数設け、さらに、残響時間推定部に、各収音器の残響時間を統合する第2統合部をさらに設けてもよい。そして、演算部は、第2統合部によって統合された残響時間に基づいてフィルタ係数を算出するようにしてもよい。
これにより、装置が設置される部屋の複数の場所に集音器を設置することができ、多人数が参加する会議でも漏れなく発話音声を収音することができる。さらに、部屋の各所の残響時間を算出して第2統合部でこれを統合することができるため、偏りのない平均的な残響時間を得ることが可能になる。
この発明によれば、会議に好適な指向性マイクを用い、且つ、エコーキャンセラのパラメータ(適応フィルタのフィルタ係数など)を利用して、適切な残響の抑制が可能になる。
図面を参照して本発明の実施形態である音声会議システムについて説明する。図1は、本発明の実施形態である音声会議システムの設置形態の一例を示す図である。
音声会議システム1は、会議室Cの会議机D上に設置される。音声会議システム1は、1台の通信器10および1または複数台の収音器11を有する(この実施形態では4台)。通信器10は、スピーカ26を有する。収音器11は、複数のマイク素子31を備える。通信器10および収音器11は通信ケーブル12で相互に接続され、デジタル通信を行う。収音器11は、マイク素子31で収音した音声信号およびエコーキャンセラ32(図3参照)のフィルタ係数を通信器11に送信する。通信器10は、ホスト装置であるパーソナルコンピュータ2に接続される。パーソナルコンピュータ2は、インターネットなどのネットワーク3を介して、他の拠点に設置されている他の音声会議システムと通信し、この音声会議システム1の通信器10から入力された(マイク素子31が収音した)音声信号を他の音声会議システムに送信するとともに、他の音声会議システムから受信した音声信号を通信器10に入力する。通信器10は、他の音声会議システムから送られてきた音声信号をスピーカ26から放音する。
図2は、会議室Cにおける音声の反射の形態を説明する図である。スピーカ26から放音された音声は、直接会議の参加者Mおよびマイク素子31に到達するとともに、会議室Cの壁および天井で様々に反射して、参加者Mおよびマイク素子31に到達する。
スピーカ26から放音された音声、すなわち、他拠点に設置された他の音声会議システムで収音された音声が、マイク素子31によって収音され、他の音声会議システムに送信されると、送信した音声が戻って再生されるいわゆるエコーになる。このエコーを防止するため、マイク素子31には、スピーカ26から放音された音声をキャンセルするエコーキャンセラ32(図3参照)が接続される。また、スピーカ26から放音された音声が会議室Cの壁や天井で反射する残響によってこもった音声になり明瞭度が低下するのを改善するため、通信器10には、残響抑制用のフィルタ24(図6参照)が設けられている。このフィルタ24のフィルタ係数は、エコーキャンセラ32の適応フィルタ35(図5参照)のフィルタ係数を利用して算出される。
エコーキャンセラ32および残響抑制用のフィルタ24の機能・動作については、図3以下の図面を参照して後述する。なお、以下に説明する、通信器10および収音器11に内蔵の機能部は、電子回路で構成されてもよく、コンピュータなどのプロセッサとプログラムの協働によって実現されてもよい。
図3は、収音器11のブロック図である。図4は、収音器11の3つのマイク素子31のそれぞれの指向性を示す図である。図5は、収音器11のエコーキャンセラ32のブロック図である。
収音器11は、3つのマイク素子31を備える。図1および図4に示すように、収音器11は円盤状の平面形状をしており、その円周上に120度ずつの間隔で3つのマイク素子31が外向き(法線方向)に放射状に設けられている。各マイク素子31は単一指向性マイクであり、マイク素子31が向いている方向を中心にカージオイド形状の収音特性を有する。各マイク素子31は120度の間隔で設けられ、その指向特性は図4に示すような配置になるため、各マイク素子31の収音信号を合成すればほぼ無指向性に近い特性の信号が得られる。なお、マイク素子31は、指向特性がカージオイドのものに限定されない。後方に若干の指向性を持つものであってもよく、双指向性のものであってもよい。
図3において、各マイク素子31にはそれぞれエコーキャンセラ32が設けられている。エコーキャンセラ32の詳細構成は、図5で説明するが、マイク素子31で収音された音声信号のなかからスピーカ26から放音された音声をキャンセルする。エコーキャンセラ32によって、スピーカ26の回り込み音声をキャンセルされた音声信号が、音声選択部33に入力される。音声選択部33には、3つのマイク素子31で収音された音声信号がそれぞれ入力される。音声選択部33は、入力された3つの音声信号のレベル・持続時間等に基づいて、どのマイク素子31から入力されている音声信号が優勢か、すなわち話者の発話音声信号と推定されるかを推定し、発話音声信号と推定された1つの音声信号を選択する。すなわち、会議における音声信号の収音においては、指向性マイクの特性を活かして、3つのマイク素子31から最適な1つのマイク素子31を選択し、S/N比の良い発話音声を収音している。選択された音声信号は、通信インタフェース34を介して通信器10に送信される。通信器10に複数の収音器11が接続されている場合、通信器10(マイクミキサ22:図6参照)は、各収音器11から受信した音声信号から音声信号のレベル・持続時間・相関度を比較してさらに1つを選択し、または、複数の音声信号をミキシングし、この選択またはミキシングした音声信号を相手システムに送信する。
次に、図5を参照して、エコーキャンセラ32の構成について説明する。図5は、エコーキャンセラ32のブロック図である。エコーキャンセラ32は、フィルタ係数設定部35Bおよび可変フィルタ35Bを有する適応フィルタ35を有し、さらに加算器37を有している。一般的に適応フィルタとは、所定の最適化アルゴリズムに従って自己の伝達関数(適応フィルタ係数列)を自動適応させるフィルタである。
フィルタ係数設定部35Bは、会議室Cの音響伝達系(スピーカ26からマイク素子31に至る音響伝搬経路)の伝達関数を推定し、推定した伝達関数のフィルタとなるようなフィルタ係数を可変フィルタ35Aに設定する。
可変フィルタ35Aには、スピーカ26から放音される音声信号(放音信号)が入力される。可変フィルタ35Aの伝達関数は、会議室Cの音響伝達系(スピーカ26からマイク素子31に至る音響伝搬経路)が模擬された伝達関数であるため、可変フィルタ35Aでフィルタリングされた放音信号は、スピーカ26から放音され会議室Cを伝搬してマイク素子31に収音された音声信号(回帰音信号)を模擬した音声信号(擬似回帰音信号)である。この擬似回帰音信号は加算器37に入力される。
また、加算器37には、マイク素子31が収音した音声信号(収音信号)が、入力される。加算器37は、収音信号から模擬回帰音信号を減算して出力する。収音信号には、会議出席者Mの発話音声信号とともにスピーカ26から放音されて回り込んだ回帰音信号も含まれている。加算器37が、収音信号から模擬回帰音信号を減算することにより、収音信号から回帰音を除去する、すなわちエコーをキャンセルすることができる。エコーをキャンセルされた収音信号は、音声選択部33に入力されるとともに、参照信号としてフィルタ係数設定部35Bに入力される。また、フィルタ係数設定部35Bには、参照信号としてスピーカ26から放音される音声信号である放音信号も入力される。フィルタ係数設定部35Bは、これらの参照信号に基づいてフィルタ係数を継続的に更新する。また、このフィルタ係数の更新は、スピーカ26から音声が放音されていて、かつ、会議室Cにいる参加者Mが発話をしていない時間区間を自動的に検出し、その時間区間の参照信号を用いて行われる。
ここで、可変フィルタ35AはFIRフィルタである。したがって、可変フィルタ35Aに設定されるフィルタ係数は、フィルタ係数設定部35Bが、スピーカ26からマイク素子31に至る音響伝搬経路のインパルス応答を推定して模擬したものである。フィルタ係数設定部35Bは、このフィルタ係数を推定インパルス応答として、通信インタフェース34を介して通信部10に送信する。
上述したように、3つマイク素子31がそれぞれ収音した音声信号は、音声選択部33により、そのうちの1つが選択されて通信器10に送信されるが、3つのマイク素子31に対応する3つの推定インパルス応答は、3つともに通信器10に送信される。後述するように通信器10のパラメータ推定部23では、これら3つの推定インパルス応答が合成される。3つの推定インパルス応答は、図4に示すように対応するマイク素子31の向いている方向から到来する残響成分を含むインパルス応答であるが、3つを合成することにより、全ての方向から到来する残響成分を含む無指向性マイクで収音した会議室Cの全方向からのインパルス応答を模擬することができる。
図6は、通信器10のブロック図である。通信器10は、パーソナルコンピュータ2と通信するための通信インタフェース21、マイクミキサ22、パラメータ推定部23、フィルタ24、オーディオ回路25、スピーカ26および収音器11と通信するための通信インタフェース27を有する。通信インタフェース21は、パーソナルコンピュータ2とデジタル通信を行うためのインタフェースであり、たとえばUSBインタフェースが用いられる。USBインタフェースを用いた場合、パソコン2がホストであり通信器10がオーディオデバイスとなる。通信インタフェース27は複数設けられており、それぞれケーブル12を介して個別の収音器11が接続される。通信インタフェース27は例えば有線LANのインタフェースを用いればよい。
通信器10は、通信インタフェース27を介して収音器11から音声信号(エコーをキャンセルされた収音信号)および3つの推定インパルス応答を受信する。受信した音声信号はマイクミキサ22に入力される。マイクミキサ22には複数の通信インタフェース27から、それぞれ別の収音器11から受信した複数の音声信号が入力される。マイクミキサ22は、複数の収音器11から受信した音声信号を選択またはミキシングしてモノラルの音声信号とし、通信インタフェース21を介してパーソナルコンピュータ2に送信する。パーソナルコンピュータ2は、この音声信号をネットワーク3を介して他拠点の音声会議システムに送信する。マイクミキサ22は、通信器の音声信号のレベル、持続時間または相関度を比較してS/N比の良い音声信号を相手システムに送信する発話音声として選択すればよい。
また、パーソナルコンピュータ2は、他拠点の音声会議システムから音声信号を受信する。この音声信号は、通信インタフェース21を介して入力され、スピーカ26から放音される放音信号としてフィルタ24に入力されるとともに、通信インタフェース27を介して各収音器11に送信される。
フィルタ24は、会議室Cの残響による音声の明瞭度の低下を抑制するようなフィルタ処理を施す。すなわち、放音信号に対して、残響時間の長い周波数帯域のレベルを抑制するような信号処理を行う。特に、低音域の残響が明瞭度の低下の原因になるため、低音域に対しては抑制の度合いを強くする。このようなフィルタ係数は、パラメータ推定部23によって決定される。フィルタ24によって残響時間の長い周波数帯域が抑制された放音信号は、オーディオ回路25に入力される。オーディオ回路25は、放音信号をアナログの音声信号を変換し、所定のレベルで増幅してスピーカ26に入力する。スピーカ26は、この放音信号を音声として会議室Cに放音する。放音された音声は会議の出席者Mに聴取されるとともに、マイク31によって収音される。
通信インタフェース27を介して収音器11に送信された放音信号は、図5に示したエコーキャンセラ32のフィルタ係数設定部35Bに参照信号として入力される。
図7はパラメータ推定部23のブロック図である。また、図8は、パラメータ推定部23を含む音声会議システム1で実行される残響抑制処理の手順を示す図である。また、図9は、残響抑制処理の手順のなかで現れる信号波形を例示した図である。
図8において、指向性のマイク素子31による収音(S101)、エコーキャンセル処理(S102)、および、適応フィルタ35からのフィルタ係数(推定インパルス応答)の取り出し(S103)は、収音器11が行う。収音器11は、3つのマイク素子31に対応して設けられた3つのエコーキャンセラ32のフィルタ係数を推定インパルス応答として通信器10に対して送信する。
図7において、パラメータ推定部23は、接続している収音器11ごとのフィルタ係数統合部40、同じく接続している収音器11ごとの残響時間推定部41、残響時間統合部42、補正特性算出部43、および、フィルタ係数算出部44を備える。
通信器10は、各収音器11から、それぞれ3つずつの推定インパルス応答(フィルタ係数)を受信する。受信した推定インパルス応答は、パラメータ推定部23に入力される。パラメータ推定部23では、入力された推定インパルス応答が、各収音器11ごとに設けられたフィルタ係数統合部40にそれぞれ入力される。フィルタ係数統合部40は、入力された3つの推定インパルス応答を時間軸を揃えて合成する。この合成は、単純に加算合成してもよいし、各推定インパルス応答の重みづけを変えてもよいし、各インパルス応答の時間ずれを補正しても良い。図4に示した3方向の推定インパルス応答を合成することにより、1マイクに関する推定インパルス応答よりも広い方向の範囲から到来する残響成分を含む(理想的には360度無指向性の)インパルス応答を推定することが可能である。この処理が、図8におけるS104の前段統合である。この処理は、接続された(推定インパルス応答が入力された)収音器11毎に行われ、各収音器11の位置におけるインパルス応答が推定される。
フィルタ係数統合部40で合成された広指向性の推定インパルス応答は、残響時間推定部41に入力される。残響時間推定部41では以下の処理が行われる。まず、推定インパルス応答を複数チャンネルのバンド・パス・フィルタに通して帯域を分割する。分割するチャンネルの数や各チャンネルの周波数帯域は任意であるが、例えば、315Hz〜8000Hzまでを15のチャンネルに分割するなどの帯域分割を行えばよい。この処理により、各周波数帯域(チャンネル)の信号成分のインパルス応答が推定される。この処理が図8のS105の処理である。この処理も各収音器11毎に行われる。
残響時間推定部41は、各周波数帯域の推定インパルス応答に基づき、各周波数帯域の信号の残響時間を求める。残響時間は、一般的に信号レベルが−60dB(100万分の1)に減衰するまでの時間を言い、その算出・推定方法は種々あるが、ここではシュレーダー法により残響時間を求めればよい。シュレーダー法は、インパルス応答をシュレーダー積分または後方累積加算によって、図9(A)に例示するようなシュレーダー曲線(残響減衰曲線)を求め、この曲線が−60dBになるまでの時間を求めれば良い。簡略にはシュレーダー曲線の直接音や誤差成分等の含まれない所定区間を取り出してその区間の傾きをこの曲線の傾きとし、この傾きにより0dBから−60dBまで減衰する時間を推定してもよい。この処理が、図8のS106に相当し、各収音器11毎の周波数帯域毎に行われ、各収音器11の位置における周波数帯域毎の残響時間が推定される。
そして、複数の残響時間推定部41によって推定された、各収音器11の位置における周波数帯域毎の残響時間は、残響時間統合部42に入力される。残響時間統合部42は、各収音器11の位置における残響時間を周波数帯域毎に合成する。この処理が図8のS107の後段統合処理であり、各周波数帯域毎に行われる。
この後段統合処理の合成は、周波数帯域毎に各収音器11の残響時間を加算平均することによって行われるが、平均値から極端に離れている残響時間値(外れ値)は、平均から除外してもよい。また、外れ値が多い収音器11については、部屋の隅など偏った特性が出やすい場所に設置されている可能性があるとして、その収音器11の残響時間は全ての周波数帯域において全面的に後段統合処理から除外するようにしてもよい。この除外の処理は、通信器10の判断で行ってもよく、会議室Cにこのシステムを設置する係員が、収音器11または通信器10に対するマニュアル操作で、特定の収音器11、たとえば上記部屋の隅に設置される収音器11などをこの後段統合の対象から除外するように設定可能にしてもよい。この場合、統合対象から除外された収音器11については、S103以下の処理は不要になり、処理が軽減される。
後段統合処理によって求められた各周波数帯域毎の残響時間を周波数軸にプロットすることにより、例えば、図9(B)に示すような会議室C全体の平均した残響特性が求められる。この残響特性に基づき、どの周波数帯域の残響時間が長いかなどの判定が可能になる。
残響時間統合部42によって求められた残響特性は、補正特性算出部43に入力される。補正特性算出部43は、入力された残響特性に基づき、スピーカ26から放音された音声が、その音声の残響音によって覆い隠されないように、残響時間の長い周波数帯域を抑制するような周波数領域の補正特性を決定する。補正特性の決定は、周波数帯域ごとに残響時間の閾値を定めておき、残響時間が閾値を超えている周波数帯域を抽出してこの周波数帯域のパワーを抑制する方法や、残響音を抑制する既知のフィルタリング法、周波数帯域ごとのゲインテーブルを用いることで周波数帯域ごとのパワーの抑制量を定める方法などを選択することができる。周波数帯域ごとのゲインテーブルは図10に示すようなものが使用できる。このゲインテーブルは縦軸がゲイン(dB)、横軸が残響時間RT(秒)となっており、周波数帯域ごとのゲイン値が傾きを有する線分で示されている。f1〜fnの線分は、上述したバンドパスフィルタにより分割された周波数帯域に対応し、f1が低音域側、fnが高音域側となっている。例えば帯域f3において残響時間が1.0秒であればゲインは−30dBと定められる。このゲインテーブルでは低音域の線分がより急峻な傾きをもつように設定されている。高帯域側のf4では残響時間が1.0秒であればゲインは−24dB付近となる。このように低音域の残響時間が長い場合には、この低音域を高音域の残響時間が長い場合よりも強く抑制するような補正特性が決定される。
なお、ゲイン値には下限があり、所定の値(図に示したゲインテーブルでは−30dB)を超える抑制は行われないようにしている。また各周波数帯域において所定の残響時間(f3においては1.0秒)を超えた場合はゲインの下限値を適用するようにしている。また、ゲインテーブルは図11のように複数の線分が収束する収束点が一定の残響時間だけ正方向にずれて設定されているものでもよい。この図の場合は残響時間が1.0秒以下の場合はゲインが0となる。この処理が図8のS108である。決定された補正特性はフィルタ係数算出部44に入力される。
フィルタ係数算出部44は、フィルタ24が補正特性算出部43で算出された補正特性を持つようにフィルタ特性を決定する。フィルタ24は、FIRフィルタやIIRフィルタで構成される。フィルタ係数は、フィルタ24の構成に合わせて、離散時間逆フーリエ変換や、パラメトリックなピークフィルタなどの演算によって算出される。この処理が図8のS109である。算出されたフィルタ係数は、フィルタ24に設定される(S110)。このフィルタ24で放音信号をフィルタリングすることにより、スピーカ26から放音された音声の残響が抑制され、参加者Mにとって明瞭度の高い音声となる。
以上の実施形態では、エコーキャンセラ32のフィルタ係数を用いて会議室Cの残響特性を推定し、残響の長い周波数帯域を抑制することによって放音された音声の明瞭度が低下しないようにした。さらに、エコーキャンセラ32のフィルタ係数を用いて会議室Cの周波数特性を推定し、放音された音声がフラットな特性で聴取されるように、放音信号の周波数特性を、会議室Cの周波数特性をキャンセルするように補正してもよい。これにより、残響だけでなく会議室Cの周波数特性を原因とする明瞭度の低下も防ぐことができる。
図12に、パラメータ推定部の変形例を示す。この図のパラメータ推定部23′は、残響を抑制する補正特性に加えて、周波数特性を補正する補正特性を決定してフィルタ24に設定する。図12において、図7と同一構成の部分は同一番号を付して説明を省略する。この図のパラメータ推定部23′は、図7のパラメータ推定部23の構成に加えて、各収音器11毎の周波数特性推定部45、および、周波数特性統合部46をさらに備えている。
フィルタ係数統合部40から出力された各収音器11毎の広指向性(無指向性)の推定インパルス応答は、残響時間推定部41に入力されるとともに、周波数特性推定部45に入力される。周波数特性推定部45は、入力されたインパルス応答をフーリエ変換して、その収音器11の位置における周波数特性を算出する。この周波数特性は周波数特定統合部46に入力される。周波数特性統合部46は、各周波数特性推定部45から入力された各収音器11における周波数特性を合成して、会議室Cにおける全体の周波数特性の平均値を算出する。この平均値の算出は、単純に相加平均してもよく、各周波数特性を正規化したのち平均を求めても良い。
周波数特性統合部46によって求められた会議室Cの周波数特性は、補正特性算出部43′に入力される。補正特性算出部43′は、残響時間の長い周波数帯域を抑制するような特性であり、且つ、放音された音声が会議室Cに影響された周波数特性をキャンセルしてフラットな伝達特性を経て聴者に届くような補正特性を算出する。またこの算出方法は、フラットな伝達特性を経て聴者に届くような補正特性ではなく、あらかじめ設定された任意の理想的な伝達特性を経て聴者に届くような補正特性を算出してもよい。算出された補正特性はフィルタ係数算出部44に入力される。フィルタ係数算出部44は、フィルタ24が補正特性算出部43で算出された補正特性を持つようにフィルタ特性を決定する。算出されたフィルタ係数は、フィルタ24に設定される。このフィルタ24で放音信号をフィルタリングすることにより、スピーカ26から放音された音声はフラットな伝達特性を経たような特性を有するとともにその残響が抑制され、参加者Mにとって明瞭度の高い音声となる。
上記の実施形態では、前段統合を通信器10が行っているが、これを収音器11に行わせてもよい。図8において、S101−S103の処理は収音器11で行うことが好適である。また、S107以下の処理は通信器10が行うことが好適である。その間のS104−S106の処理は、収音器11、通信器10のいずれが行ってもよい。
上記の実施形態では、スピーカ26を備えた通信器10に、マイク素子31を備えた収音器11が接続される形態の音声会議システムについて説明したが、複数のマイク素子31とスピーカ26を一体に備えた(通信器10のみの)音声会議装置に対しても、本発明は適用可能である。
また、通信器10と収音器11との接続の形態は、有線接続に限定されない。たとえば、無線LANや近距離無線通信規格などの無線接続であってもよい。
また、収音器11の形状やマイク素子31の数は、図1や図4に示したものに限定されない。たとえば、円盤状の筐体の周縁部に2つまたは4つのマイク素子31を等間隔に設けてもよい。この場合、各マイク素子31の角度は、180度または90度となる。また、間隔(角度)は等間隔でなくてもよい。会議参加者Mに向ける方向に片寄せてマイク素子31を設けても良い。
通信器10に複数台の収音器11を接続する場合、図13に示すように、複数の収音器11をケーブル12でディジーチェーン接続する形態でもよい。この接続形態にすることで、全ケーブル長を節約することができる。通信インタフェース21および34をLANインタフェースとすることで、図1のスター型の接続および図13のディジーチェーン型の接続の両方に対応させることも可能である。
また、図14に示すように、1つのマイク素子31を内蔵するマイク51,52,53,54を複数組み合わせて(グループ化)し、この1つのグループ60を1つの収音器11として機能させてもよい。この場合、係員がテーブルマイク51のグルーピング情報を予め通信器10に設定しておくようにしてもよく、通信器10のフロントエンドに信号振分部を設けて、通信器10が自らグルーピングを行うようにしてもよい。この場合、信号振分部は、エコーキャンセラの適応フィルタの時間位置や、収音された音声信号の相関度などに基づき、類似した信号を収音しているテーブルマイク同士を同じグループとしてグルーピングするようにしてもよい。
図14(A)は、複数のテーブルマイク(スタンドマイク)51を組み合わせてグループ60とした例を示している。また、図14(B)は、複数のハンドマイク52をグループ60化した例を示している。ハンドマイク52は有線であっても無線であってもよい。この場合はハンドマイクを持った話者が動くため一定距離に存在する複数のハンドマイク52を1つのグループ60として、各グループ60ごとに適応フィルタ係数列を加算してもよい。ハンドマイク52のグループ60が複数存在する場合は、各グループの残響時間を算出して上述した残響特性を求めればよい。複数のハンドマイク52が一定距離に存在することは、2つのハンドマイク52の収音遅延差を算出することによる位置検出や、ハンドマイク52が発する無線の強度を相互に検出することで判定することができる。
また、収音器11は、会議机D上に載置されるものでなくてもよい。すなわち、図14(C)に示すように、天井から吊り下げられる吊りマイク53や壁面に設置される壁面マイク54などを用いてもよい。勿論、図1の収音器11、テーブルマイク51、ハンドマイク52、吊りマイク53および壁面マイク54が混在していてもよい。
また、本実施形態の音声会議システム1は、会議以外に用いることも当然可能である。また、使用される場所も会議室に限定されない。
C 会議室
D 会議机
M 会議の参加者
1 音声会議システム
2 パーソナルコンピュータ
3 ネットワーク
10 通信器
11 収音器
26 スピーカ
31 マイク素子
51 テーブルマイク
52 ハンドマイク
53 吊りマイク
54 壁面マイク
60 グループ
D 会議机
M 会議の参加者
1 音声会議システム
2 パーソナルコンピュータ
3 ネットワーク
10 通信器
11 収音器
26 スピーカ
31 マイク素子
51 テーブルマイク
52 ハンドマイク
53 吊りマイク
54 壁面マイク
60 グループ
Claims (4)
- スピーカと、
前記スピーカに供給される音声信号である放音信号を処理するフィルタと、
指向性を有する複数のマイクと、
各マイクに対応して設けられた複数のエコーキャンセラであって、各々がその対応するマイクの収音信号から前記スピーカによって放音された音声の回帰音信号をキャンセルするものと、
前記エコーキャンセラから取り出された適応フィルタ係数列を統合する第1統合部と、
統合された前記係数列に基づき、前記スピーカおよびマイクが存在する空間の周波数帯域毎の残響時間を推定する残響時間推定部と、
残響時間の長い周波数帯域を抽出し、該周波数帯域のパワーを抑制するフィルタ係数を算出して前記フィルタに設定する演算部と、
を備えた放収音装置。 - 前記複数のマイクは、水平の全方向にいずれかのマイクが感度を持つようそれぞれ異なる方向に向けて配置されている請求項1に記載の放収音装置。
- 前記複数のマイクおよび前記複数のエコーキャンセラを含む収音器、および、前記スピーカおよび前記フィルタを含む通信器を、それぞれ別体に有する請求項1または請求項2に記載の放収音装置。
- 前記収音器を複数備え、
前記第1統合部は、前記複数の収音器に対応して複数設けられ、
前記残響時間推定部は、各収音器の残響時間を統合する第2統合部をさらに有し、
前記演算部は、前記第2統合部によって統合された残響時間に基づいて、前記フィルタ係数を算出する
請求項3に記載の放収音装置。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014083209A JP6349899B2 (ja) | 2014-04-14 | 2014-04-14 | 放収音装置 |
CN201910526542.5A CN110213453B (zh) | 2014-04-14 | 2015-04-14 | 声音发射和采集装置及声音发射和采集方法 |
KR1020167028694A KR101837529B1 (ko) | 2014-04-14 | 2015-04-14 | 방수음 장치 및 방수음 방법 |
US15/304,159 US9807215B2 (en) | 2014-04-14 | 2015-04-14 | Sound emission and collection device, and sound emission and collection method |
PCT/JP2015/061520 WO2015159901A1 (ja) | 2014-04-14 | 2015-04-14 | 放収音装置及び放収音方法 |
EP15779431.4A EP3133835B1 (en) | 2014-04-14 | 2015-04-14 | Sound emission and collection device, and sound emission and collection method |
CN201580019820.8A CN106233751B (zh) | 2014-04-14 | 2015-04-14 | 声音发射和采集装置及声音发射和采集方法 |
US15/704,321 US10038769B2 (en) | 2014-04-14 | 2017-09-14 | Sound emission and collection device, and sound emission and collection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014083209A JP6349899B2 (ja) | 2014-04-14 | 2014-04-14 | 放収音装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018104604A Division JP6631657B2 (ja) | 2018-05-31 | 2018-05-31 | 放収音装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015204535A true JP2015204535A (ja) | 2015-11-16 |
JP6349899B2 JP6349899B2 (ja) | 2018-07-04 |
Family
ID=54324106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014083209A Active JP6349899B2 (ja) | 2014-04-14 | 2014-04-14 | 放収音装置 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9807215B2 (ja) |
EP (1) | EP3133835B1 (ja) |
JP (1) | JP6349899B2 (ja) |
KR (1) | KR101837529B1 (ja) |
CN (2) | CN106233751B (ja) |
WO (1) | WO2015159901A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170168151A1 (en) * | 2015-12-15 | 2017-06-15 | Hyundai Autron Co., Ltd. | Apparatus and method for optimizing ultrasonic signal |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6349899B2 (ja) * | 2014-04-14 | 2018-07-04 | ヤマハ株式会社 | 放収音装置 |
JP6690309B2 (ja) * | 2016-03-09 | 2020-04-28 | ヤマハ株式会社 | エコー低減装置、及び音声通信装置 |
CN106782584B (zh) * | 2016-12-28 | 2023-11-07 | 北京地平线信息技术有限公司 | 音频信号处理设备、方法和电子设备 |
EP3563561A1 (en) * | 2016-12-30 | 2019-11-06 | Harman Becker Automotive Systems GmbH | Acoustic echo canceling |
US10367948B2 (en) * | 2017-01-13 | 2019-07-30 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
CN106937009B (zh) * | 2017-01-18 | 2020-02-07 | 苏州科达科技股份有限公司 | 一种级联回声抵消系统及其控制方法及装置 |
JP7122756B2 (ja) * | 2017-06-12 | 2022-08-22 | 株式会社オーディオテクニカ | 音声信号処理装置と音声信号処理方法と音声信号処理プログラム |
WO2019070328A1 (en) * | 2017-10-04 | 2019-04-11 | Google Llc | METHODS AND SYSTEMS FOR AUTOMATICALLY EQUALIZING AUDIO OUTPUT BASED ON THE CHARACTERISTICS OF THE PART |
CA3078420A1 (en) | 2017-10-17 | 2019-04-25 | Magic Leap, Inc. | Mixed reality spatial audio |
JP2021514081A (ja) | 2018-02-15 | 2021-06-03 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 複合現実仮想反響音 |
CN108449688A (zh) * | 2018-03-19 | 2018-08-24 | 长沙世邦通信技术有限公司 | 室内广播音频处理方法、装置及系统 |
CN108962272A (zh) * | 2018-06-21 | 2018-12-07 | 湖南优浪语音科技有限公司 | 拾音方法和系统 |
CN108986799A (zh) * | 2018-09-05 | 2018-12-11 | 河海大学 | 一种基于倒谱滤波的混响参数估计方法 |
US10887467B2 (en) | 2018-11-20 | 2021-01-05 | Shure Acquisition Holdings, Inc. | System and method for distributed call processing and audio reinforcement in conferencing environments |
CN110312189A (zh) * | 2019-06-10 | 2019-10-08 | 安徽沧浪网络科技有限公司 | 一种基于无线自组网的音频采集系统 |
US11304017B2 (en) * | 2019-10-25 | 2022-04-12 | Magic Leap, Inc. | Reverberation fingerprint estimation |
CN112804620B (zh) * | 2019-11-14 | 2022-07-19 | 浙江宇视科技有限公司 | 回声处理方法、装置、电子设备及可读存储介质 |
CN111916098A (zh) * | 2020-08-13 | 2020-11-10 | 科大讯飞(苏州)科技有限公司 | 语音信号处理方法、装置及设备 |
CN114390425A (zh) * | 2020-10-20 | 2022-04-22 | 深圳海翼智新科技有限公司 | 会议音频处理方法、设备、系统及存储装置 |
CN113726969B (zh) * | 2021-11-02 | 2022-04-26 | 阿里巴巴达摩院(杭州)科技有限公司 | 混响检测方法、装置及设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6429094A (en) * | 1987-07-24 | 1989-01-31 | Nippon Telegraph & Telephone | Echo erasing device |
JPH10150343A (ja) * | 1996-09-20 | 1998-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 反響消去方法および装置 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09247788A (ja) | 1996-03-13 | 1997-09-19 | Sony Corp | 音声処理装置および会議用音声システム |
ATE394017T1 (de) * | 2004-01-07 | 2008-05-15 | Koninkl Philips Electronics Nv | Audiosystem mit vorkehrungen zum filterkoeffizienten kopieren |
US7856240B2 (en) * | 2004-06-07 | 2010-12-21 | Clarity Technologies, Inc. | Distributed sound enhancement |
JP4946090B2 (ja) | 2006-02-21 | 2012-06-06 | ヤマハ株式会社 | 収音放音一体型装置 |
US7773743B2 (en) * | 2006-04-28 | 2010-08-10 | Microsoft Corporation | Integration of a microphone array with acoustic echo cancellation and residual echo suppression |
CN101106405A (zh) * | 2006-07-12 | 2008-01-16 | 北京大学深圳研究生院 | 回声消除器、回声消除方法及其双端通话检测系统 |
JP2008154056A (ja) * | 2006-12-19 | 2008-07-03 | Yamaha Corp | 音声会議装置および音声会議システム |
JP2008177632A (ja) * | 2007-01-16 | 2008-07-31 | Oki Electric Ind Co Ltd | 無線音声通信回路 |
JP2008288785A (ja) * | 2007-05-16 | 2008-11-27 | Yamaha Corp | テレビ会議装置 |
JP5394373B2 (ja) * | 2007-06-21 | 2014-01-22 | コーニンクレッカ フィリップス エヌ ヴェ | オーディオ信号を処理する装置及び方法 |
US8175871B2 (en) * | 2007-09-28 | 2012-05-08 | Qualcomm Incorporated | Apparatus and method of noise and echo reduction in multiple microphone audio systems |
DE102008039330A1 (de) * | 2008-01-31 | 2009-08-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Berechnen von Filterkoeffizienten zur Echounterdrückung |
JP2009207021A (ja) | 2008-02-29 | 2009-09-10 | Yamaha Corp | 音響エコーキャンセラ |
EP2494792B1 (en) * | 2009-10-27 | 2014-08-06 | Phonak AG | Speech enhancement method and system |
JP5572445B2 (ja) * | 2010-04-30 | 2014-08-13 | 本田技研工業株式会社 | 残響抑圧装置、及び残響抑圧方法 |
US8606572B2 (en) * | 2010-10-04 | 2013-12-10 | LI Creative Technologies, Inc. | Noise cancellation device for communications in high noise environments |
EP2444967A1 (en) * | 2010-10-25 | 2012-04-25 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Echo suppression comprising modeling of late reverberation components |
US8462936B2 (en) * | 2011-02-28 | 2013-06-11 | Qnx Software Systems Limited | Adaptive delay compensation for acoustic echo cancellation |
JP5923994B2 (ja) * | 2012-01-23 | 2016-05-25 | 富士通株式会社 | 音声処理装置及び音声処理方法 |
JP5897343B2 (ja) * | 2012-02-17 | 2016-03-30 | 株式会社日立製作所 | 残響除去パラメータ推定装置及び方法、残響・エコー除去パラメータ推定装置、残響除去装置、残響・エコー除去装置、並びに、残響除去装置オンライン会議システム |
JP5887535B2 (ja) * | 2012-02-17 | 2016-03-16 | パナソニックIpマネジメント株式会社 | エコー消去装置、エコー消去方法、及び、通話装置 |
TWI449438B (zh) * | 2012-04-09 | 2014-08-11 | Quanta Comp Inc | 具有迴音消除機制之通訊系統及方法 |
FR2992459B1 (fr) * | 2012-06-26 | 2014-08-15 | Parrot | Procede de debruitage d'un signal acoustique pour un dispositif audio multi-microphone operant dans un milieu bruite. |
US9386373B2 (en) * | 2012-07-03 | 2016-07-05 | Dts, Inc. | System and method for estimating a reverberation time |
US9549079B2 (en) * | 2013-09-05 | 2017-01-17 | Cisco Technology, Inc. | Acoustic echo cancellation for microphone array with dynamically changing beam forming |
CN103561184B (zh) * | 2013-11-05 | 2015-04-22 | 武汉烽火众智数字技术有限责任公司 | 基于近端音频信号标定和修正的消除变频回声的方法 |
JP6349899B2 (ja) * | 2014-04-14 | 2018-07-04 | ヤマハ株式会社 | 放収音装置 |
-
2014
- 2014-04-14 JP JP2014083209A patent/JP6349899B2/ja active Active
-
2015
- 2015-04-14 KR KR1020167028694A patent/KR101837529B1/ko active IP Right Grant
- 2015-04-14 CN CN201580019820.8A patent/CN106233751B/zh active Active
- 2015-04-14 WO PCT/JP2015/061520 patent/WO2015159901A1/ja active Application Filing
- 2015-04-14 US US15/304,159 patent/US9807215B2/en active Active
- 2015-04-14 EP EP15779431.4A patent/EP3133835B1/en active Active
- 2015-04-14 CN CN201910526542.5A patent/CN110213453B/zh active Active
-
2017
- 2017-09-14 US US15/704,321 patent/US10038769B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6429094A (en) * | 1987-07-24 | 1989-01-31 | Nippon Telegraph & Telephone | Echo erasing device |
JPH10150343A (ja) * | 1996-09-20 | 1998-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 反響消去方法および装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170168151A1 (en) * | 2015-12-15 | 2017-06-15 | Hyundai Autron Co., Ltd. | Apparatus and method for optimizing ultrasonic signal |
US10795008B2 (en) * | 2015-12-15 | 2020-10-06 | Hyundai Autron Co., Ltd. | Apparatus and method for optimizing ultrasonic signal |
Also Published As
Publication number | Publication date |
---|---|
JP6349899B2 (ja) | 2018-07-04 |
KR20160132475A (ko) | 2016-11-18 |
US20180007186A1 (en) | 2018-01-04 |
KR101837529B1 (ko) | 2018-03-12 |
EP3133835A4 (en) | 2017-12-06 |
CN110213453B (zh) | 2021-12-17 |
US10038769B2 (en) | 2018-07-31 |
CN110213453A (zh) | 2019-09-06 |
CN106233751B (zh) | 2019-06-21 |
US9807215B2 (en) | 2017-10-31 |
US20170041445A1 (en) | 2017-02-09 |
EP3133835B1 (en) | 2018-09-12 |
WO2015159901A1 (ja) | 2015-10-22 |
EP3133835A1 (en) | 2017-02-22 |
CN106233751A (zh) | 2016-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6349899B2 (ja) | 放収音装置 | |
US10433098B2 (en) | Apparatus and method for generating a filtered audio signal realizing elevation rendering | |
US8644517B2 (en) | System and method for automatic disabling and enabling of an acoustic beamformer | |
JP2016517679A (ja) | マイクロフォンの位置を決定するための方法及び機器 | |
JP2001309483A (ja) | 収音方法および収音装置 | |
CN103534942A (zh) | 处理音频信号 | |
JP6631010B2 (ja) | マイク選択装置、マイクシステムおよびマイク選択方法 | |
US20230079741A1 (en) | Automated audio tuning launch procedure and report | |
US11902758B2 (en) | Method of compensating a processed audio signal | |
US20230146772A1 (en) | Automated audio tuning and compensation procedure | |
JP6631657B2 (ja) | 放収音装置 | |
TW201635278A (zh) | 音效增益方法 | |
US10916257B2 (en) | Method and device for equalizing audio signals | |
WO2017142916A1 (en) | Diffusivity based sound processing method and apparatus | |
US10923132B2 (en) | Diffusivity based sound processing method and apparatus | |
WO2023081534A1 (en) | Automated audio tuning launch procedure and report | |
JP2005057450A (ja) | マイクロフォン・スピーカ一体構成型・通話装置 | |
CN116417006A (zh) | 声音信号处理方法、装置、设备及存储介质 | |
CN115278500A (zh) | 扩声延时测量方法、装置及扩声系统 | |
JP2016063318A (ja) | 音場制御システム、音場制御方法および同定用信号発生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180521 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6349899 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |