JP2013190640A - 音響処理装置 - Google Patents
音響処理装置 Download PDFInfo
- Publication number
- JP2013190640A JP2013190640A JP2012057256A JP2012057256A JP2013190640A JP 2013190640 A JP2013190640 A JP 2013190640A JP 2012057256 A JP2012057256 A JP 2012057256A JP 2012057256 A JP2012057256 A JP 2012057256A JP 2013190640 A JP2013190640 A JP 2013190640A
- Authority
- JP
- Japan
- Prior art keywords
- region
- likelihood
- reverberation
- frequency component
- localization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 53
- 230000005236 sound signal Effects 0.000 claims abstract description 6
- 230000004807 localization Effects 0.000 claims description 168
- 238000009499 grossing Methods 0.000 claims description 92
- 230000008859 change Effects 0.000 claims description 22
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 abstract description 54
- 201000005569 Gout Diseases 0.000 abstract description 29
- 230000014509 gene expression Effects 0.000 description 17
- 238000000034 method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000009826 distribution Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 230000007774 longterm Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/07—Synergistic effects of band splitting and sub-band processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/40—Visual indication of stereophonic sound image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Abstract
【解決手段】尤度算定部42は、音響信号x(t)の各周波数成分X(k,m)が定位軸AP上の対象定位範囲SP内の音源に由来する確度を示す領域内尤度Lin(k,m)と、該周波数成分が対象定位範囲SP外の音源に由来する確度を示す領域外尤度Lout(k,m)とを算定する。残響解析部44は、各周波数成分について残響成分の比率に応じた残響指標値R(k,m)を算定する。係数設定部46は、該音響信号のうち対象定位範囲SP内の音源に由来する残響成分または対象定位範囲SP外の音源に由来する残響成分を抑圧、強調するための処理係数G(Gin(k,m),Gout(k,m))を領域内尤度と領域外尤度と残響指標値R(k,m)とに応じて周波数成分X(k,m)毎に生成する。信号処理部52は、各周波数成分X(k,m)に当該周波数成分Xの処理係数Gを作用させる。
【選択図】図1
Description
図1は、本発明の第1実施形態に係る音響処理装置100のブロック図である。図1に示すように、音響処理装置100には信号供給装置200が接続される。信号供給装置200は、相異なる位置の音源が発音した複数の音響(歌唱音や楽器音)の混合音の波形を示す音響信号x(t)を音響処理装置100に供給する。音響信号x(t)は、各音源に対応する音像が相異なる位置に定位するように収音または加工(例えば左右チャネル間の強度差や位相差を調整する処理)された左チャネルの音響信号xL(t)と右チャネルの音響信号xR(t)とで構成されるステレオ信号である。周囲の音響を収音して音響信号x(t)を生成する収音機器や、可搬型または内蔵型の記録媒体から音響信号x(t)を取得する再生装置や、通信網から音響信号x(t)を受信する通信装置が信号供給装置200として採用され得る。なお、音響処理装置100と信号供給装置200とを一体に構成することも可能である。
対象領域S内の音源に由来する初期音成分および残響成分の抑圧(マイナスワン)が利用者から指示された場合、信号処理部52は、以下の数式(8)の演算で周波数成分Y(k,m)を算定する。
対象領域S内の音源に由来する対象領域S外の残響成分の抑圧が利用者から指示された場合、信号処理部52は、以下の数式(9)の演算で周波数成分Y(k,m)を算定する。
対象領域S内の音源に由来する初期音成分および残響成分の抽出が利用者から指示された場合、信号処理部52は、以下の数式(10)の演算で周波数成分Y(k,m)を算定する。
処理係数Gin(k,m)は、対象領域S内の音源に由来する残響成分を抑圧するから、数式(10)の係数{1−Gin(k,m)}は、対象領域S内の音源に由来する残響成分を抽出する。したがって、数式(10)の演算によれば、対象領域S内の音源に由来する対象領域S内の音響成分(初期音成分および残響成分)と対象領域S内の音源に由来する対象領域S外の残響成分とを抽出することが可能である。なお、数式(9)と同様に、数式(10)の演算で算定される周波数成分Y(k,m)の振幅が周波数成分X(k,m)の振幅を上回ることはない。数式(10)の括弧{ }内を、領域内定位情報Γin(k,m)と、領域外定位情報Γout(k,m)および処理係数(1−Gin(k,m))の乗算値との最大値を採択する演算(max{Γin(k,m),Γout(k,m)(1−Gin(k,m))})に置換することも可能である。
対象領域S内の初期音成分(対象領域S内の音源が発音した初期音成分)の抽出が利用者から指示された場合、信号処理部52は、以下の数式(11)の演算で周波数成分Y(k,m)を算定する。
対象領域Sの内側の音源に由来する残響成分の抽出が利用者から指示された場合、信号処理部52は、以下の数式(12)の演算で周波数成分Y(k,m)を算定する。
対象領域S外の音源に由来する対象領域S内の残響成分の抽出が利用者から指示された場合、信号処理部52は、以下の数式(13)の演算で周波数成分Y(k,m)を算定する。
対象領域S外の初期音成分(対象領域S外の音源が発音した初期音成分)の抽出が利用者から指示された場合、信号処理部52は、以下の数式(14)の演算で周波数成分Y(k,m)を算定する。
前掲の数式(11)の説明から理解される通り、数式(14)の演算によれば、対象領域S外の周波数成分X(k,m)のうち対象領域Sの内側の音源に由来する残響成分が充分に抑圧され、音響信号x(t)のうち対象領域S外の初期音成分が抽出された聴感的に自然な音響信号y(t)を生成することが可能である。
対象領域S外の音源に由来する対象領域S外の残響成分の抽出が利用者から指示された場合、信号処理部52は、以下の数式(15)の演算で周波数成分Y(k,m)を算定する。
前掲の数式(12)の説明から理解される通り、数式(15)の演算によれば、対象領域Sの外側の周波数成分X(k,m)の残響成分のうち対象領域Sの外側の音源に由来する残響成分を高精度に抽出することが可能である。
対象領域S内の音源に由来する対象領域S外の残響成分の抽出が利用者から指示された場合、信号処理部52は、以下の数式(16)の演算で周波数成分Y(k,m)を算定する。
前掲の数式(13)の説明から理解される通り、数式(16)の演算によれば、対象領域S内の音源に由来する対象領域S外の残響成分を高精度に抽出することが可能である。
対象領域S内の音源に由来する対象領域S外の残響成分の増強が利用者から指示された場合、信号処理部52は、以下の数式(17)の演算で周波数成分Y(k,m)を算定する。
本発明の第2実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第1実施形態と同様である要素については、第1実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
図7は、第3実施形態における残響解析部44のブロック図である。第3実施形態の残響解析部44は、第1実施形態の第1解析部82A(図4)を第1解析部82Bに置換した構成である。第1解析部82Bは、第1実施形態の第1解析部82Aと同様に第1指標値Q1(k,m)および第2指標値Q2(k,m)を単位期間毎に算定する要素であり、第1平滑部821と第2平滑部822と遅延部823とを含んで構成される。なお、第2解析部84の構成および動作は第1実施形態と同様である。
前述の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は適宜に併合され得る。
Claims (5)
- 定位軸上の対象定位範囲を設定する範囲設定手段と、
音響信号の各周波数成分の定位方向を算定する定位解析手段と、
前記音響信号の各周波数成分について、当該周波数成分が前記対象定位範囲内の音源に由来する確度を示す領域内尤度と、当該周波数成分が前記対象定位範囲外の音源に由来する確度を示す領域外尤度とを、当該周波数成分の定位方向に応じて算定する尤度算定手段と、
前記音響信号の各周波数成分について残響成分の比率に応じた残響指標値を算定する残響解析手段と、
前記音響信号のうち前記対象定位範囲内の音源に由来する残響成分または前記対象定位範囲外の音源に由来する残響成分を抑圧または強調するための処理係数を前記領域内尤度と前記領域外尤度と前記残響指標値とに応じて周波数成分毎に生成する係数設定手段と、
前記音響信号の各周波数成分に当該周波数成分の前記処理係数を作用させる信号処理手段と
を具備する音響処理装置。 - 前記範囲設定手段は、周波数軸上の対象周波数範囲と定位軸上の前記対象定位範囲とで周波数-定位平面内に画定される対象領域を設定し、
前記尤度算定手段は、
前記音響信号の各周波数成分が前記対象領域内に位置するか否かを指定する領域内定位情報と、各周波数成分が前記対象領域外に位置するか否かを指定する領域外定位情報とを、当該周波数成分の定位方向に応じて単位期間毎に算定する領域判定手段と、
前記領域内定位情報の移動平均に応じて前記領域内尤度を算定し、前記領域外定位情報の移動平均に応じて前記領域外尤度を算定する演算処理手段とを含む
請求項1の音響処理装置。 - 前記信号処理手段は、前記音響信号の各周波数成分に対し、当該周波数成分の前記処理係数と、当該周波数成分の前記領域内定位情報および前記領域外定位情報の一方とを作用させる
請求項2の音響処理装置。 - 前記演算処理手段は、
前記領域内定位情報の時系列の平滑化で短時間領域内尤度を算定するとともに前記領域外定位情報の時系列の平滑化で短時間領域外尤度を算定する第1演算手段と、
前記第1演算手段による平滑化の時定数を上回る時定数での平滑化を実行する手段であって、前記領域内定位情報の時系列の平滑化で長時間領域内尤度を算定するとともに前記領域外定位情報の時系列の平滑化で長時間領域外尤度を算定する第2演算手段と、
前記長時間領域外尤度に対する前記短時間領域内尤度に応じた領域内尤度と、前記長時間領域内尤度に対する前記短時間領域外尤度に応じた領域外尤度とを算定する第3演算手段とを含む
請求項2または請求項3の音響処理装置。 - 前記残響解析手段は、
前記音響信号の時間変化に追従する第1指標値と、前記第1指標値と比較して低い追従性で前記音響信号の時間変化に追従する第2指標値とを算定する第1解析手段と、
前記第1指標値と前記第2指標値との相違に応じた前記残響指標値を算定する第2解析手段とを含む
請求項1から請求項4の何れかの音響処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012057256A JP5915281B2 (ja) | 2012-03-14 | 2012-03-14 | 音響処理装置 |
US13/791,015 US9106993B2 (en) | 2012-03-14 | 2013-03-08 | Sound processing apparatus |
EP13001225.5A EP2640096B1 (en) | 2012-03-14 | 2013-03-12 | Sound processing apparatus |
CN201310080322.7A CN103310795B (zh) | 2012-03-14 | 2013-03-13 | 声音处理设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012057256A JP5915281B2 (ja) | 2012-03-14 | 2012-03-14 | 音響処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013190640A true JP2013190640A (ja) | 2013-09-26 |
JP5915281B2 JP5915281B2 (ja) | 2016-05-11 |
Family
ID=47891353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012057256A Expired - Fee Related JP5915281B2 (ja) | 2012-03-14 | 2012-03-14 | 音響処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9106993B2 (ja) |
EP (1) | EP2640096B1 (ja) |
JP (1) | JP5915281B2 (ja) |
CN (1) | CN103310795B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6019969B2 (ja) * | 2011-11-22 | 2016-11-02 | ヤマハ株式会社 | 音響処理装置 |
CN105336335B (zh) * | 2014-07-25 | 2020-12-08 | 杜比实验室特许公司 | 利用子带对象概率估计的音频对象提取 |
KR102197230B1 (ko) | 2014-10-06 | 2020-12-31 | 한국전자통신연구원 | 음향 특성을 예측하는 오디오 시스템 및 방법 |
KR102340202B1 (ko) * | 2015-06-25 | 2021-12-17 | 한국전자통신연구원 | 실내의 반사 특성을 추출하는 오디오 시스템 및 방법 |
US11545130B1 (en) * | 2019-07-12 | 2023-01-03 | Scaeva Technologies, Inc. | System and method for an audio reproduction device |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004325127A (ja) * | 2003-04-22 | 2004-11-18 | Nippon Telegr & Teleph Corp <Ntt> | 音源検出方法、音源分離方法、およびこれらを実施する装置 |
US20070189551A1 (en) * | 2006-01-26 | 2007-08-16 | Tadaaki Kimijima | Audio signal processing apparatus, audio signal processing method, and audio signal processing program |
US20070274528A1 (en) * | 2004-09-03 | 2007-11-29 | Matsushita Electric Industrial Co., Ltd. | Acoustic Processing Device |
JP2008028700A (ja) * | 2006-07-21 | 2008-02-07 | Sony Corp | 音声信号処理装置、音声信号処理方法および音声信号処理プログラム |
US20090117948A1 (en) * | 2007-10-31 | 2009-05-07 | Harman Becker Automotive Systems Gmbh | Method for dereverberation of an acoustic signal |
WO2011054876A1 (en) * | 2009-11-04 | 2011-05-12 | Fraunhofer-Gesellschaft Zur Förderungder Angewandten Forschung E.V. | Apparatus and method for calculating driving coefficients for loudspeakers of a loudspeaker arrangement for an audio signal associated with a virtual source |
US20110132175A1 (en) * | 2009-12-04 | 2011-06-09 | Roland Corporation | User interface apparatus |
JP2011158674A (ja) * | 2010-01-29 | 2011-08-18 | Roland Corp | ユーザインターフェイス装置 |
JP2012109924A (ja) * | 2010-10-28 | 2012-06-07 | Yamaha Corp | 音響処理装置 |
JP2012163861A (ja) * | 2011-02-08 | 2012-08-30 | Yamaha Corp | 信号処理装置 |
JP2013130857A (ja) * | 2011-11-22 | 2013-07-04 | Yamaha Corp | 音響処理装置 |
JP2013138374A (ja) * | 2011-12-28 | 2013-07-11 | Yamaha Corp | 残響解析装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009110578A1 (ja) * | 2008-03-03 | 2009-09-11 | 日本電信電話株式会社 | 残響除去装置、残響除去方法、残響除去プログラム、および記録媒体 |
-
2012
- 2012-03-14 JP JP2012057256A patent/JP5915281B2/ja not_active Expired - Fee Related
-
2013
- 2013-03-08 US US13/791,015 patent/US9106993B2/en not_active Expired - Fee Related
- 2013-03-12 EP EP13001225.5A patent/EP2640096B1/en not_active Not-in-force
- 2013-03-13 CN CN201310080322.7A patent/CN103310795B/zh not_active Expired - Fee Related
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004325127A (ja) * | 2003-04-22 | 2004-11-18 | Nippon Telegr & Teleph Corp <Ntt> | 音源検出方法、音源分離方法、およびこれらを実施する装置 |
US20070274528A1 (en) * | 2004-09-03 | 2007-11-29 | Matsushita Electric Industrial Co., Ltd. | Acoustic Processing Device |
US20070189551A1 (en) * | 2006-01-26 | 2007-08-16 | Tadaaki Kimijima | Audio signal processing apparatus, audio signal processing method, and audio signal processing program |
JP2008028700A (ja) * | 2006-07-21 | 2008-02-07 | Sony Corp | 音声信号処理装置、音声信号処理方法および音声信号処理プログラム |
US20090117948A1 (en) * | 2007-10-31 | 2009-05-07 | Harman Becker Automotive Systems Gmbh | Method for dereverberation of an acoustic signal |
WO2011054876A1 (en) * | 2009-11-04 | 2011-05-12 | Fraunhofer-Gesellschaft Zur Förderungder Angewandten Forschung E.V. | Apparatus and method for calculating driving coefficients for loudspeakers of a loudspeaker arrangement for an audio signal associated with a virtual source |
US20110132175A1 (en) * | 2009-12-04 | 2011-06-09 | Roland Corporation | User interface apparatus |
JP2011158674A (ja) * | 2010-01-29 | 2011-08-18 | Roland Corp | ユーザインターフェイス装置 |
JP2012109924A (ja) * | 2010-10-28 | 2012-06-07 | Yamaha Corp | 音響処理装置 |
JP2012163861A (ja) * | 2011-02-08 | 2012-08-30 | Yamaha Corp | 信号処理装置 |
JP2013130857A (ja) * | 2011-11-22 | 2013-07-04 | Yamaha Corp | 音響処理装置 |
JP2013138374A (ja) * | 2011-12-28 | 2013-07-11 | Yamaha Corp | 残響解析装置 |
Non-Patent Citations (2)
Title |
---|
JPN6016007361; Volder WILLERT, et al.: 'A Probabilistic Model for Binaural Sound Localization' IEEE Transactions on Systems, Man, and Cybernetics Part B, Vol.36, No.5, 200610, pp.982-994, IEEE * |
JPN6016007362; Emmanuel VINCENT, et al.: 'Probabilistic Modeling Paradigms for Audio Source Separation' Machine Audition: Principles, Algorithms and Systems Ch.7, 201007, pp.162-185, Information Science Reference * |
Also Published As
Publication number | Publication date |
---|---|
JP5915281B2 (ja) | 2016-05-11 |
EP2640096B1 (en) | 2015-10-28 |
US20130243211A1 (en) | 2013-09-19 |
CN103310795A (zh) | 2013-09-18 |
EP2640096A3 (en) | 2013-12-25 |
CN103310795B (zh) | 2015-12-23 |
US9106993B2 (en) | 2015-08-11 |
EP2640096A2 (en) | 2013-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6019969B2 (ja) | 音響処理装置 | |
JP5666023B2 (ja) | 残響知覚レベルの大きさを決定する装置及び方法、オーディオプロセッサ並びに信号処理方法 | |
CN107004427B (zh) | 增强多声道音频信号内语音分量的信号处理装置 | |
JP5641186B2 (ja) | 雑音抑圧装置およびプログラム | |
KR102132500B1 (ko) | 조화성 기반 단일 채널 음성 품질 추정 기법 | |
JP6377249B2 (ja) | オーディオ信号の強化のための装置と方法及び音響強化システム | |
JP5915281B2 (ja) | 音響処理装置 | |
US9031248B2 (en) | Vehicle engine sound extraction and reproduction | |
JP2023536104A (ja) | 機械学習を用いたノイズ削減 | |
JP4662912B2 (ja) | 反響のある環境での音源定位に適当な測定ウィンドウの決定 | |
JP4533126B2 (ja) | 近接音分離収音方法、近接音分離収音装置、近接音分離収音プログラム、記録媒体 | |
JP5895529B2 (ja) | 残響解析装置および残響解析方法 | |
US9881633B2 (en) | Audio signal processing device, audio signal processing method, and audio signal processing program | |
JP6790659B2 (ja) | 音響処理装置および音響処理方法 | |
JP2015169901A (ja) | 音響処理装置 | |
JP5760442B2 (ja) | 定位解析装置および音響処理装置 | |
JP5463924B2 (ja) | 音響処理装置 | |
JP5621637B2 (ja) | 音響処理装置 | |
JP2015004959A (ja) | 音響処理装置 | |
JP6930089B2 (ja) | 音響処理方法および音響処理装置 | |
JP6226465B2 (ja) | オーディオ信号処理装置、録音再生装置およびプログラム | |
JP6191238B2 (ja) | 音響処理装置および音響処理方法 | |
JP6531418B2 (ja) | 信号処理装置 | |
JP5494085B2 (ja) | 音響処理装置 | |
JP5454157B2 (ja) | 音響処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150122 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150410 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160321 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5915281 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |