JP2013511743A - 低域オーディオ信号の帯域拡張 - Google Patents
低域オーディオ信号の帯域拡張 Download PDFInfo
- Publication number
- JP2013511743A JP2013511743A JP2012539849A JP2012539849A JP2013511743A JP 2013511743 A JP2013511743 A JP 2013511743A JP 2012539849 A JP2012539849 A JP 2012539849A JP 2012539849 A JP2012539849 A JP 2012539849A JP 2013511743 A JP2013511743 A JP 2013511743A
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- audio signal
- low
- mapping
- energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
- G10L21/0388—Details of processing therefor
Abstract
Description
がもたらされる。この低域オーディオ信号
が、
信号の1組の特徴FLB(後述)を抽出する特徴抽出ブロック16へと送られる。抽出された特徴FLBが、それらを一般化加法モデル(後述)によって少なくとも1つの高域パラメータ(後述)へとマッピングするマッピングブロック18へと送られる。HBパラメータが、高域へと周波数シフトされたLBオーディオ信号
のコピーの包絡線を制御するために使用され、廃棄されたHB部分sHBの予測または推定
がもたらされる。信号
および
が、元のソースオーディオ信号の推定
を再現する合成フィルタバンク20へと送られる。特徴抽出ブロック16およびマッピングブロック18が協働し、HB拡張を生成するための装置30(さらには後述)を形成する。
ΨMINおよびΨMAXは、あらかじめ定められた定数であり、所与の特徴の最小値および最大値に相当する。これにより、特徴の組
が抽出される。
であり、ここで
は、(ランダム)変数X1,・・・,XMに依存する変数Yの推定値である。これが、M=2について、図2Aに示されている。この場合には、
は平面になる。
が導かれる。
を表わす表面が、湾曲する。関数fm(Xm)が、典型的には、図2Bに示されるようなシグモイド関数(おおむね「S」字形の関数)である。シグモイド関数の実施例は、ロジスティック関数、コンペルツ曲線、オジー曲線、および双曲正接関数である。シグモイド関数を規定するパラメータを変えることによって、シグモイド形状を、最小値および最大値の間の近似の線形な形状から、同じ最小値および最大値の間の近似の階段関数へと、連続的に変化させることができる。
によって得られ、ここでg(・)はリンク関数と呼ばれる。これが、図2Cに示されており、表面
がさらに変更されている(
が、式(11)の両側の逆関数g−1(・)(典型的には、やはりシグモイドである)をとることによって得られている)。リンク関数g(・)が恒等関数である特別な場合においては、式(11)が式(10)へと還元される。どちらの場合も興味深いため、本発明の目的において、「一般化加法モデル」は恒等リンク関数の場合も含む。しかしながら、上述のように、関数fm(Xm)のうちの少なくとも1つが非線形であることで、モデルが非線形になる(表面
が湾曲する)。
が、圧縮された(知覚的に動機付けられた)ドメインにおけるHBおよびLBのエネルギーの間の比Y(n)を推定するために使用される。この比は、さらに後述されるように、時間包絡線またはスペクトル包絡線の特定の部分あるいは全体としてのゲインに相当することができる。一実施例は、
であり、ここでβを、例えばβ=0.2として選択することができる。別の実施例は、
である。
をモデル化することによって行なわれる。一実施例が、
によって与えられ、ここでMは、上述のように抽出されたローカル特徴により、M=7である(より少数の特徴でも実現可能である)。式(11)との比較から、
が、変数X1,・・・,Xpに対応し、関数fkが、合計の各項(モデルパラメータ
および恒等リンク関数によって定められるシグモイド関数である)に対応することが、明らかである。一般化加法モデルのパラメータω0およびωは、デコーダに保存され、スピーチフレームのデータベースを学習することによって得られている。学習の手順は、スピーチデータベースについて式(14)によって推定される比
と式(12)(または(13))によって与えられる実際の比Y(n)との間の誤差を最小にすることによって、適切なパラメータω0およびωを発見する。適切な方法(とくにシグモイドパラメータについて)は、例えば[6]に記載のLevenberg−Marquardt法である。
を抽出するように構成された特徴抽出ブロック16を含んでいる。特徴抽出ブロック16へと接続されたマッピングブロック18が、抽出された特徴を一般化加法モデルによって高域パラメータ
へとマッピングするように構成された一般化加法モデルマッピング部32を含んでいる。図示の実施形態においては、低域オーディオ信号
のコピーについて高域への周波数シフトを行なうように構成された周波数シフト部34が、マッピングブロック18に含まれている。図示の実施形態においては、マッピングブロック18が、周波数シフト後のコピーの包絡線を高域パラメータ
によって制御するように構成された包絡線コントローラ36をさらに含んでいる。
が、どのように周波数シフト後のLB信号のコピーの包絡線を制御するために使用されるのか(この場合には、周波数ドメインにおいて)を示している。破線が、LB信号の元のままのゲイン(1.0)を示している。このように、この実施形態においては、HB拡張が、信号の単一の推定されたゲイン
を周波数シフト後のLB信号のコピーへと適用することによって得られる。
によって定義され、ここで
E10.0−11.6は、10.0〜11.6kHzの周波数帯における低域オーディオ信号のエネルギーの推定値であり、
E8.0−11.6は、8.0〜11.6kHzの周波数帯における低域オーディオ信号のエネルギーの推定値である。
によって定義され、ここで
E8.0−11.6は、8.0〜11.6kHzの周波数帯における低域オーディオ信号のエネルギーの推定値であり、
E0.0−11.6は、0.0〜11.6kHzの周波数帯における低域オーディオ信号のエネルギーの推定値である。
に類似しているが、時間ドメインにおいてではなく、周波数ドメインにおいて決定される。さらに、LB信号の他の周波数区間について特徴F1、F2を決定することも、実現可能である。しかしながら、本発明のこの実施形態においては、F1、F2が、低域オーディオ信号のスペクトルの異なる部分の間のエネルギーの比を表わすことが不可欠である。
へのマッピングを、一般化加法モデル
を使用して行うことができ、ここで
k=1,・・・,Kは、周波数シフト後の低域オーディオ信号のコピーのK個のあらかじめ定められた周波数帯について包絡線を制御するゲインを規定する高域パラメータであり、
{w0k,w1mk,w2mk,w3mk}は、それぞれの高域パラメータ
についてのシグモイド関数を定義するマッピング係数の組であり、
Fm(m=1,2)は、低域オーディオ信号のスペクトルの異なる部分の間のエネルギーの比を表わす低域オーディオ信号の特徴である。
にではなく、K個のゲイン
へとマッピングするように構成されている。
が存在している。すなわち、この実施例では、HBの包絡線が、図4の実施例の単一のパラメータ
によってではなく、4つのパラメータ
によって制御される。より少数およびより多数のパラメータも、実現可能である。
が、1組の低域特徴
およびあらかじめ保存されたマッピング係数ωCから予測される。分類インデックスCが、マッピング係数の組を選択するが、マッピング係数の組は、データをクラスタにフィットさせるオフラインでの学習手順によって決定される。それを、HBが完全に予測される(分類がない)状態からHBが完全に量子化される(分類がある)状態への滑らかな移行として見ることができる。後者は、クラスタの数が増すにつれて、マッピングがクラスタの平均を予測する傾向にあるということの結果である。
によって与えられ(図5の上部も参照)、ここで
ES 8.0−11.6は、8.0〜11.6kHzの周波数帯におけるソースオーディオ信号のエネルギーの推定値であり、
ES 11.6−16.0は、11.6〜16.0kHzの周波数帯におけるソースオーディオ信号のエネルギーの推定値である。
に従うマッピングを実施するように構成でき、
ここで
(k=1,・・・,K)は、低域オーディオ信号(
)によって表わされるソースオーディオ信号を分類する信号分類Cに関するゲインを定義するとともに、周波数シフト後の低域オーディオ信号のコピーのK個のあらかじめ定められた周波数帯についての包絡線を制御する高域パラメータであり、
{wC 0k,wC 1mk,wC 2mk,wC 3mk}は、信号分類Cにおけるそれぞれの高域パラメータ
についてのシグモイド関数を定義するマッピング係数の組であり、
Fm(m=1,2)は、低域オーディオ信号のスペクトルの異なる部分の間のエネルギーの比を表わす低域オーディオ信号の特徴である。
を生成するスピーチデコーダ2へと送る(信号分類Cについては、「(分類C)」および破線の信号線によって示されているとおり)。
を推定するためのソフトウェア構成要素110、高域スピーチ信号
を推定するためのソフトウェア構成要素120、ならびに
および
からスピーチ信号
を生成するためのソフトウェア構成要素130を実行するプロセッサ100(例えば、マイクロプロセッサ)にもとづいている。このソフトウェアは、メモリ150に保存される。プロセッサ100が、システムバスを介してメモリと通信する。低域スピーチパラメータ(および、随意による信号分類C)が、I/Oバスを制御する入力/出力(I/O)コントローラ160によって受信され、I/Oバスにはプロセッサ100およびメモリ150が接続されている。この実施形態においては、I/Oコントローラ150によって受信されたパラメータが、メモリ150に保存され、ソフトウェア構成要素によって処理される。ソフトウェア構成要素110が、上述の実施形態のブロック14の機能を実現することができる。ソフトウェア構成要素120が、上述の実施形態のブロック30の機能を実現することができる。ソフトウェア構成要素130が、上述の実施形態のブロック20の機能を実現することができる。ソフトウェア構成要素130から得られるスピーチ信号が、メモリ150からI/Oバスを介してI/Oコントローラ160によって出力される。
)を抽出する。ステップS2が、抽出された特徴を一般化加法モデルによって少なくとも1つの高域パラメータ(
)へとマッピングする。ステップS3が、低域オーディオ信号
のコピーを高域へと周波数シフトさせる。ステップS4が、周波数シフト後の低域オーディオ信号のコピーの包絡線を高域パラメータによって制御する。
BWE 帯域拡張
CELP 符号励振線形予測
DSP デジタル信号プロセッサ
FPGA フィールド・プログラマブル・ゲート・アレイ
GMM 混合ガウス分布モデル
HB 高域
HMM 隠れマルコフモデル
IP インターネットプロトコル
LB 低域
Claims (19)
- マッピングが、
によって与えられ、
k=1,・・・,Kが、低域オーディオ信号(
)によって表わされるソースオーディオ信号を分類する信号分類Cに関するゲインを定義し、周波数シフト後の低域オーディオ信号のコピーであってK個のあらかじめ定められた周波数帯について包絡線を制御する高域パラメータであり、
{wC 0k,wC 1mk,wC 2mk,wC 3mk}が、信号分類Cにおけるそれぞれの高域パラメータ
についてのシグモイド関数を定義するマッピング係数の組であり、
Fm(m=1,2)が、低域オーディオ信号のスペクトルの異なる部分の間のエネルギーの比を表わす低域オーディオ信号の特徴である請求項2に記載の方法。 - K=4である請求項3〜6のいずれか1項に記載の方法。
- 一般化加法モデルマッピング部(32)が、
に従ってマッピングを実施し、
k=1,・・・,Kが、低域オーディオ信号(
)によって表わされるソースオーディオ信号を分類する信号分類Cに関するゲインを定義し、周波数シフト後の低域オーディオ信号のコピーであってK個のあらかじめ定められた周波数帯についての包絡線を制御する高域パラメータであり、
{wC 0k,wC 1mk,wC 2mk,wC 3mk}が、信号分類Cにおけるそれぞれの高域パラメータ
についてのシグモイド関数を定義するマッピング係数の組であり、
Fm(m=1,2)が、低域オーディオ信号のスペクトルの異なる部分の間のエネルギーの比を表わす低域オーディオ信号の特徴である請求項10に記載の装置。 - 請求項9〜16のいずれか1項に記載の装置(30)を含むスピーチデコーダ。
- 請求項17に記載のスピーチデコーダを含むネットワークノード。
- 無線端末である請求項18に記載のネットワークノード。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US26259309P | 2009-11-19 | 2009-11-19 | |
US61/262,593 | 2009-11-19 | ||
PCT/SE2010/050984 WO2011062538A1 (en) | 2009-11-19 | 2010-09-14 | Bandwidth extension of a low band audio signal |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013511743A true JP2013511743A (ja) | 2013-04-04 |
JP5619177B2 JP5619177B2 (ja) | 2014-11-05 |
Family
ID=44059836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012539849A Expired - Fee Related JP5619177B2 (ja) | 2009-11-19 | 2010-09-14 | 低域オーディオ信号の帯域拡張 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8929568B2 (ja) |
EP (1) | EP2502231B1 (ja) |
JP (1) | JP5619177B2 (ja) |
CN (1) | CN102612712B (ja) |
BR (1) | BR112012012119A2 (ja) |
RU (1) | RU2568278C2 (ja) |
WO (1) | WO2011062538A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016507080A (ja) * | 2013-01-29 | 2016-03-07 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | エネルギー制限演算を用いて周波数増強信号を生成する装置および方法 |
JP2016537662A (ja) * | 2013-09-26 | 2016-12-01 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 帯域幅拡張方法および装置 |
JP2018528463A (ja) * | 2015-08-18 | 2018-09-27 | クアルコム,インコーポレイテッド | 帯域幅移行期間中の信号再使用 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8447617B2 (en) * | 2009-12-21 | 2013-05-21 | Mindspeed Technologies, Inc. | Method and system for speech bandwidth extension |
MY167474A (en) * | 2012-03-29 | 2018-08-29 | Ericsson Telefon Ab L M | Bandwith extension of harmonic audio signal |
CN105551497B (zh) | 2013-01-15 | 2019-03-19 | 华为技术有限公司 | 编码方法、解码方法、编码装置和解码装置 |
EP2951822B1 (en) * | 2013-01-29 | 2019-11-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder, method for providing an encoded audio information, method for providing a decoded audio information, computer program and encoded representation using a signal-adaptive bandwidth extension |
FR3017484A1 (fr) | 2014-02-07 | 2015-08-14 | Orange | Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences |
JP2016038435A (ja) * | 2014-08-06 | 2016-03-22 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
US10847170B2 (en) | 2015-06-18 | 2020-11-24 | Qualcomm Incorporated | Device and method for generating a high-band signal from non-linearly processed sub-ranges |
US11216742B2 (en) | 2019-03-04 | 2022-01-04 | Iocurrents, Inc. | Data compression and communication using machine learning |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040002856A1 (en) * | 2002-03-08 | 2004-01-01 | Udaya Bhaskar | Multi-rate frequency domain interpolative speech CODEC system |
US20070067163A1 (en) * | 2005-09-02 | 2007-03-22 | Nortel Networks Limited | Method and apparatus for extending the bandwidth of a speech signal |
US20090144062A1 (en) * | 2007-11-29 | 2009-06-04 | Motorola, Inc. | Method and Apparatus to Facilitate Provision and Use of an Energy Value to Determine a Spectral Envelope Shape for Out-of-Signal Bandwidth Content |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0732687B2 (en) | 1995-03-13 | 2005-10-12 | Matsushita Electric Industrial Co., Ltd. | Apparatus for expanding speech bandwidth |
SE9700772D0 (sv) * | 1997-03-03 | 1997-03-03 | Ericsson Telefon Ab L M | A high resolution post processing method for a speech decoder |
SE512719C2 (sv) | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
US6988066B2 (en) * | 2001-10-04 | 2006-01-17 | At&T Corp. | Method of bandwidth extension for narrow-band speech |
JP3861770B2 (ja) * | 2002-08-21 | 2006-12-20 | ソニー株式会社 | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 |
WO2005078707A1 (en) * | 2004-02-16 | 2005-08-25 | Koninklijke Philips Electronics N.V. | A transcoder and method of transcoding therefore |
EP1638083B1 (en) | 2004-09-17 | 2009-04-22 | Harman Becker Automotive Systems GmbH | Bandwidth extension of bandlimited audio signals |
PL1866915T3 (pl) * | 2005-04-01 | 2011-05-31 | Qualcomm Inc | Sposób i urządzenie do przeciwrozproszeniowego filtrowania sygnału pobudzającego predykcji mowy rozciągniętego na szerokość pasma |
WO2006116025A1 (en) * | 2005-04-22 | 2006-11-02 | Qualcomm Incorporated | Systems, methods, and apparatus for gain factor smoothing |
KR20070037945A (ko) * | 2005-10-04 | 2007-04-09 | 삼성전자주식회사 | 오디오 신호의 부호화/복호화 방법 및 장치 |
US7835904B2 (en) * | 2006-03-03 | 2010-11-16 | Microsoft Corp. | Perceptual, scalable audio compression |
TWI591625B (zh) * | 2009-05-27 | 2017-07-11 | 杜比國際公司 | 從訊號的低頻成份產生該訊號之高頻成份的系統與方法,及其機上盒、電腦程式產品、軟體程式及儲存媒體 |
-
2010
- 2010-09-14 EP EP10831867.6A patent/EP2502231B1/en active Active
- 2010-09-14 BR BR112012012119-7A patent/BR112012012119A2/pt not_active IP Right Cessation
- 2010-09-14 JP JP2012539849A patent/JP5619177B2/ja not_active Expired - Fee Related
- 2010-09-14 RU RU2012125251/08A patent/RU2568278C2/ru not_active IP Right Cessation
- 2010-09-14 US US13/509,859 patent/US8929568B2/en active Active
- 2010-09-14 CN CN201080052278.3A patent/CN102612712B/zh not_active Expired - Fee Related
- 2010-09-14 WO PCT/SE2010/050984 patent/WO2011062538A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040002856A1 (en) * | 2002-03-08 | 2004-01-01 | Udaya Bhaskar | Multi-rate frequency domain interpolative speech CODEC system |
US20070067163A1 (en) * | 2005-09-02 | 2007-03-22 | Nortel Networks Limited | Method and apparatus for extending the bandwidth of a speech signal |
US20090144062A1 (en) * | 2007-11-29 | 2009-06-04 | Motorola, Inc. | Method and Apparatus to Facilitate Provision and Use of an Energy Value to Determine a Spectral Envelope Shape for Out-of-Signal Bandwidth Content |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016507080A (ja) * | 2013-01-29 | 2016-03-07 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | エネルギー制限演算を用いて周波数増強信号を生成する装置および方法 |
US10354665B2 (en) | 2013-01-29 | 2019-07-16 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a frequency enhanced signal using temporal smoothing of subbands |
JP2016537662A (ja) * | 2013-09-26 | 2016-12-01 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 帯域幅拡張方法および装置 |
US10186272B2 (en) | 2013-09-26 | 2019-01-22 | Huawei Technologies Co., Ltd. | Bandwidth extension with line spectral frequency parameters |
JP2018528463A (ja) * | 2015-08-18 | 2018-09-27 | クアルコム,インコーポレイテッド | 帯域幅移行期間中の信号再使用 |
Also Published As
Publication number | Publication date |
---|---|
EP2502231B1 (en) | 2014-06-04 |
US8929568B2 (en) | 2015-01-06 |
US20120230515A1 (en) | 2012-09-13 |
JP5619177B2 (ja) | 2014-11-05 |
EP2502231A1 (en) | 2012-09-26 |
CN102612712A (zh) | 2012-07-25 |
RU2568278C2 (ru) | 2015-11-20 |
RU2012125251A (ru) | 2013-12-27 |
BR112012012119A2 (pt) | 2021-01-05 |
CN102612712B (zh) | 2014-03-12 |
EP2502231A4 (en) | 2013-07-10 |
WO2011062538A1 (en) | 2011-05-26 |
WO2011062538A9 (en) | 2011-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5619177B2 (ja) | 低域オーディオ信号の帯域拡張 | |
KR102237718B1 (ko) | 시간 영역 디코더에서 양자화 잡음을 감소시키기 위한 디바이스 및 방법 | |
US8856049B2 (en) | Audio signal classification by shape parameter estimation for a plurality of audio signal samples | |
US10891964B2 (en) | Generation of comfort noise | |
RU2631988C2 (ru) | Заполнение шумом при аудиокодировании с перцепционным преобразованием | |
CN108831501A (zh) | 用于带宽扩展的高频编码/高频解码方法和设备 | |
KR101892662B1 (ko) | 스피치 처리를 위한 무성음/유성음 결정 | |
JP2010540990A (ja) | 埋め込み話声およびオーディオコーデックにおける変換情報の効率的量子化のための方法および装置 | |
JP6321684B2 (ja) | サブバンドの時間的平滑化を用いて周波数増強信号を生成する装置および方法 | |
JP2016505902A (ja) | 第1の符号化アルゴリズム及び第2の符号化アルゴリズムのうちの1つを選択するための装置及び方法 | |
US20180033444A1 (en) | Audio encoder and method for encoding an audio signal | |
CN110992965A (zh) | 信号分类方法和装置以及使用其的音频编码方法和装置 | |
US9620139B2 (en) | Adaptive linear predictive coding/decoding | |
US20220392458A1 (en) | Methods and system for waveform coding of audio signals with a generative model | |
TWI587287B (zh) | 柔和噪音產生模式選擇之裝置與方法 | |
CN117935840A (en) | Method and device for execution by a terminal device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140819 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140916 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5619177 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |