JP2015507228A - マルチチャネルオーディオ信号の適応ダウン及びアップミキシングを実行するための方法及び装置 - Google Patents
マルチチャネルオーディオ信号の適応ダウン及びアップミキシングを実行するための方法及び装置 Download PDFInfo
- Publication number
- JP2015507228A JP2015507228A JP2014556926A JP2014556926A JP2015507228A JP 2015507228 A JP2015507228 A JP 2015507228A JP 2014556926 A JP2014556926 A JP 2014556926A JP 2014556926 A JP2014556926 A JP 2014556926A JP 2015507228 A JP2015507228 A JP 2015507228A
- Authority
- JP
- Japan
- Prior art keywords
- channel
- bitstream
- downmix
- channels
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 48
- 230000005236 sound signal Effects 0.000 title claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims abstract description 56
- 230000006978 adaptation Effects 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000011664 signaling Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
複数の入力チャネルを含むマルチチャネルオーディオ信号の適応ダウンミックスを実行するための方法が提供され、
前記入力チャネルの信号適応変換は、下位互換性のある一次チャネルのセットを提供する固定ブロックと、二次チャネルのセットを提供する信号適応ブロックとを含むダウンミックスブロック行列に、前記入力チャネルを乗算することによって実行される。
下位互換性のある一次ビットストリームは、レガシー復号化器によって復号化され、対応する一次チャネルを再構成し、かつ、
二次ビットストリームは、二次チャネル復号化器によって復号化され、対応する二次チャネルを再構成し、
前記復号化器ビットストリームの信号適応逆変換は、アップミックスブロック行列によって実行され、多くの出力チャネルを含むマルチチャネルオーディオ信号を再構成する。
前記ダウンミックス装置は、
下位互換性のある一次チャネルのセットを提供する固定ブロックを含むとともに、二次チャネルのセットを提供する信号適応ブロックを含むダウンミックスブロック行列に、前記入力チャネルを乗算することによって、前記入力チャネルの信号適応変換を実行するように適合された信号適応変換ユニットを備える。
前記下位互換性のある一次チャネルを符号化し、少なくとも一つの下位互換性のある一次ビットストリームを生成するように適合された少なくとも一つのレガシー符号化器と、
前記二次チャネルを符号化し、少なくとも一つの二次ビットストリームを生成するように適合された少なくとも一つの二次チャネル符号化器と
を備える。
前記アップミックス装置は、
前記復号化された一次ビットストリームに対する固定ブロックと、前記復号化された二次ビットストリームに対する信号適応ブロックとを含むアップミックスブロック行列に、前記復号化されたビットストリームを乗算することによって、前記復号化されたビットストリームの信号適応逆変換を実行するように適合された信号適応再変換ユニットを備える。
少なくとも一つの受信された下位互換性のある一次ビットストリームを復号化し、前記アップミックス装置に供給される少なくとも一つの復号化された一次ビットストリームを生成するように適合された少なくとも一つのレガシー復号化器と、
少なくとも一つの受信された二次ビットストリームを復号化し、前記アップミックス装置に供給された少なくとも一つの復号化された二次ビットストリームを生成するように適合された少なくとも一つの二次チャネル復号化器と
を備える。
本発明の第四の態様に基づく少なくとも一つの符号化装置と、
本発明の第六の態様に基づく少なくとも一つの復号化装置と
を備えるオーディオシステムが提供され、
前記符号化装置及び前記復号化装置は、ネットワークを介してお互いに接続される。
前記入力チャネルの信号適応変換は、数Nの下位互換性のある一次チャネルのセットを提供するための固定ブロック WOと、数M-Nの二次チャネルのセットを提供するための信号適応ブロック Wxと含むダウンミックスブロック行列 WTに、前記入力チャネルを乗算することによって実行される。
の適合された部分Wxは、(9)から計算されてもよく、以下が得られる。
2 符号化装置
3 復号化装置
4 データネットワーク
5 入力信号
6 前処理ブロック
7 ダウンミックス装置
7A 任意のM x M ユニタリーダウンミックスブロック
7B ブロック
8 下位互換性チャネル符号化器
9 二次チャネル符号化器
10 下位互換性チャネル復号化器
11 アップミックス装置
12 二次チャネル復号化器
13 出力信号
14 後処理ブロック
Claims (21)
- 数(M)の入力チャネルを含むマルチチャネルオーディオ信号の適応ダウンミックスを実行するための方法であって、
前記入力チャネルの信号適応変換は、下位互換性のある一次チャネルのセット(N)を提供する固定ブロック(WO)と、二次チャネルのセット(M-N)を提供する信号適応ブロック(Wx)とを含むダウンミックスブロック行列(WT)に、前記入力チャネルを乗算することによって実行される方法。 - 前記ダウンミックスブロック行列(WT)の前記信号適応ブロックは、前記入力チャネルのチャネル間共分散に応じて適合される、請求項1に記載の方法。
- 前記入力チャネルの前記チャネル間共分散に対する補助共分散行列(Σx)は、補助正規直交変換(V)によって計算される、請求項2に記載の方法。
- 前記補助正規直交変換(V)は、グラム・シュミット法のイニシャライズのときに、固定ブロック(WO)に基づいて計算される、請求項3に記載の方法。
- カルーネン・レーベ変換(KLT)行列Qが、前記補助共分散行列(Σx)のブロックに対して計算される、請求項3に記載の方法。
- 前記ダウンミックスブロック行列(WT)の前記信号適応ブロックは、前記KLT行列Qに基づいて計算される、請求項5に記載の方法。
- 前記下位互換性のある一次チャネルは、単一のレガシー符号化器(8)よって、又は、対応する数(N)のレガシー符号化器によって符号化され、下位互換性のある一次レガシービットストリームを生成し、かつ、
前記二次チャネルは、コモンマルチチャネル符号化器(9)によって、又は、対応する数の二次チャネル符号化器によって符号化され、前記それぞれの二次チャネルに対する二次ビットストリームを生成する、請求項1〜6のいずれか一項に記載の方法。 - 前記一次チャネルを再構成するために、前記下位互換性のある一次ビットストリームを復号化するように適合された単一のレガシー復号化器(10)、又は、対応する数のレガシー復号化器と、
前記二次チャネルを再構成するために、前記二次ビットストリームを復号化するように適合された単一の二次チャネル復号化器(12)、又は、対応する数の二次チャネル復号化器と
を備える遠隔の復号化装置に、前記一次ビットストリームが、前記二次ビットストリームとともに送信される請求項7に記載の方法。 - ビットストリームのタイプが、前記遠隔の復号化装置にシグナリングされ、
前記タイプの前記シグナリングは、
少なくとも一つのビットストリームにおいて搬送される補助データによる黙示的なシグナリングによって、又は、
それぞれの前記ビットストリームの前記タイプを示すフラグによる明示的なシグナリングによって、実行される請求項8に記載の方法。 - 前記数(M)の入力チャネルの前記信号適応変換は、前記ダウンミックスブロック行列(WT)に、前記入力チャネルを乗算することによって実行され、下位互換性のある一次チャネルの前記セットと、補助チャネルのセットとを提供し、
補助チャネルの前記セットにカルーネン・レーベ変換(KLT)が適用され、二次チャネルの前記セットを提供する、請求項1〜9のいずれか一項に記載の方法。 - 受信されたビットストリームの適応アップミックスを実行する方法であって、
下位互換性のある一次ビットストリームが、レガシー復号化器(10)によって復号化され、対応する一次チャネルを再構成し、
二次ビットストリームが二次チャネル復号化器(12)によって復号化され、対応する二次チャネルを再構成し、
前記復号化されたビットストリームの信号適応逆変換が、アップミックスブロック行列(W)によって実行され、数(M)の出力チャネルを含むマルチチャネルオーディオ信号を再構成する、方法。 - 前記アップミックスブロック行列(W)の信号適応ブロック(Wx)は、前記入力チャネルの復号化されたチャネル間共分散に応じて適合される、請求項11に記載の方法。
- 前記入力チャネルの前記チャネル間共分散に対する補助共分散行列(Σx)が、復号化される、請求項12に記載の方法。
- 補助正規直交逆変換は、グラム・シュミット法のイニシャライズのときに、固定ブロック(WO)に基づいて計算される、請求項13に記載の方法。
- カルーネン・レーベ変換行列(KLT)が、前記補助共分散行列(Σx)のブロックに対して計算される、請求項13に記載の方法。
- 前記アップミックスブロック行列(W)の前記信号適応ブロック(Wx)が、前記計算されたカルーネン・レーベ変換行列に基づいて計算される、請求項15に記載の方法。
- 数(M)の入力チャネルを含むマルチチャネルオーディオ信号の適応ダウンミックスを実行するように適合されたダウンミックス装置(7)であって、
前記ダウンミックス装置(7)は、
下位互換性のある一次チャネルのセットを提供する固定ブロックW0を含むとともに、二次チャネルのセットを提供する信号適応ブロック(Wx)を含むダウンミックスブロック行列(WT)に、前記入力チャネルを乗算することによって、前記入力チャネルの信号適応変換を実行するように適合された信号適応変換ユニットを備えるダウンミックス装置。 - 請求項17に記載のダウンミックス装置(7)と、
前記下位互換性のある一次チャネルを符号化し、下位互換性のある一次ビットストリームを生成するように適合された少なくとも一つのレガシー符号化器(8)と、
前記二次チャネルを符号化し、二次ビットストリームを生成するように適合された少なくとも一つの二次チャネル符号化器(9)と
を備える符号化装置(2)。 - 復号化された一次ビットストリームと復号化された二次ビットストリームとを含む復号化されたビットストリームの適応アップミックスを実行するように適合されたアップミックス装置(11)であって、
前記アップミックス装置(11)は、
前記復号化された一次ビットストリームに対する固定ブロックと、前記復号化された二次ビットストリームに対する信号適応ブロックとを含むアップミックスブロック行列(W)に、前記復号化されたビットストリームを乗算することによって、前記復号化されたビットストリームの信号適応逆変換を実行するように適合された信号適応再変換ユニットを備えるアップミックス装置。 - 請求項19に記載されたアップミックス装置(11)と、
受信された下位互換性のある一次ビットストリームを復号化し、前記アップミックス装置(11)に提供される復号化された一次ビットストリームを生成するように適合された少なくとも一つのレガシー復号化器(10)と、
受信された二次ビットストリームを復号化し、前記アップミックス装置(11)に提供される復号化された二次ビットストリームを生成するように適合された少なくとも一つの二次チャネル復号化器(12)と
を備える復号化装置(3)。 - 請求項18に記載された少なくとも一つの符号化装置(2)と、
請求項20に記載された少なくとも一つの復号化装置(3)と
を備え、
前記符号化装置(2)及び前記復号化装置(3)は、ネットワーク(4)を介してお互いに接続されるオーディオシステム(1)。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2012/052443 WO2013120510A1 (en) | 2012-02-14 | 2012-02-14 | A method and apparatus for performing an adaptive down- and up-mixing of a multi-channel audio signal |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015507228A true JP2015507228A (ja) | 2015-03-05 |
JP5930441B2 JP5930441B2 (ja) | 2016-06-08 |
Family
ID=45808773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014556926A Expired - Fee Related JP5930441B2 (ja) | 2012-02-14 | 2012-02-14 | マルチチャネルオーディオ信号の適応ダウン及びアップミキシングを実行するための方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9514759B2 (ja) |
EP (1) | EP2815399B1 (ja) |
JP (1) | JP5930441B2 (ja) |
KR (1) | KR101662680B1 (ja) |
CN (1) | CN103493128B (ja) |
WO (1) | WO2013120510A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013131873A1 (en) * | 2012-03-05 | 2013-09-12 | Institut für Rundfunktechnik GmbH | Method and apparatus for down-mixing of a multi-channel audio signal |
EP3503095A1 (en) | 2013-08-28 | 2019-06-26 | Dolby Laboratories Licensing Corp. | Hybrid waveform-coded and parametric-coded speech enhancement |
EP2854133A1 (en) * | 2013-09-27 | 2015-04-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Generation of a downmix signal |
KR20230011480A (ko) | 2013-10-21 | 2023-01-20 | 돌비 인터네셔널 에이비 | 오디오 신호들의 파라메트릭 재구성 |
CN106104679B (zh) * | 2014-04-02 | 2019-11-26 | 杜比国际公司 | 利用沉浸式音频元数据中的元数据冗余 |
KR102051436B1 (ko) | 2015-04-30 | 2019-12-03 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 오디오 신호 처리 장치들 및 방법들 |
WO2016173658A1 (en) * | 2015-04-30 | 2016-11-03 | Huawei Technologies Co., Ltd. | Audio signal processing apparatuses and methods |
EP3469588A1 (en) * | 2016-06-30 | 2019-04-17 | Huawei Technologies Duesseldorf GmbH | Apparatuses and methods for encoding and decoding a multichannel audio signal |
EP3723372A4 (en) * | 2018-09-05 | 2021-03-31 | LG Electronics Inc. | VIDEO SIGNAL CODING / DECODING PROCESS AND ASSOCIATED EQUIPMENT |
GB2611154A (en) | 2021-07-29 | 2023-03-29 | Canon Kk | Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor |
KR20230019016A (ko) | 2021-07-30 | 2023-02-07 | 캐논 가부시끼가이샤 | 액션 카메라로서 사용되는 촬상장치 |
GB2611156B (en) | 2021-07-30 | 2024-06-05 | Canon Kk | Image capture apparatus, control method, and program |
GB2611157A (en) | 2021-07-30 | 2023-03-29 | Canon Kk | Image pickup apparatus used as action camera, calibration system, control method for image pickup apparatus, and storage medium storing control program for... |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002541524A (ja) * | 1999-04-07 | 2002-12-03 | ドルビー・ラボラトリーズ・ライセンシング・コーポレーション | 損失のない符号化・復号へのマトリックス改良 |
JP2011008258A (ja) * | 2009-06-23 | 2011-01-13 | Korea Electronics Telecommun | 高品質マルチチャネルオーディオ符号化および復号化装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5594800A (en) * | 1991-02-15 | 1997-01-14 | Trifield Productions Limited | Sound reproduction system having a matrix converter |
US6534126B1 (en) | 2000-11-13 | 2003-03-18 | Dow Corning Corporation | Coatings for polymeric substrates |
US7813513B2 (en) * | 2004-04-05 | 2010-10-12 | Koninklijke Philips Electronics N.V. | Multi-channel encoder |
SE0402650D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Improved parametric stereo compatible coding of spatial audio |
US7787631B2 (en) * | 2004-11-30 | 2010-08-31 | Agere Systems Inc. | Parametric coding of spatial audio with cues based on transmitted channels |
KR101271069B1 (ko) * | 2005-03-30 | 2013-06-04 | 돌비 인터네셔널 에이비 | 다중채널 오디오 인코더 및 디코더와, 인코딩 및 디코딩 방법 |
US7965848B2 (en) | 2006-03-29 | 2011-06-21 | Dolby International Ab | Reduced number of channels decoding |
EP1853092B1 (en) * | 2006-05-04 | 2011-10-05 | LG Electronics, Inc. | Enhancing stereo audio with remix capability |
RU2439719C2 (ru) * | 2007-04-26 | 2012-01-10 | Долби Свиден АБ | Устройство и способ для синтезирования выходного сигнала |
US20100324915A1 (en) | 2009-06-23 | 2010-12-23 | Electronic And Telecommunications Research Institute | Encoding and decoding apparatuses for high quality multi-channel audio codec |
EP3093843B1 (en) * | 2009-09-29 | 2020-12-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Mpeg-saoc audio signal decoder, mpeg-saoc audio signal encoder, method for providing an upmix signal representation using mpeg-saoc decoding, method for providing a downmix signal representation using mpeg-saoc decoding, and computer program using a time/frequency-dependent common inter-object-correlation parameter value |
EP2560161A1 (en) * | 2011-08-17 | 2013-02-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Optimal mixing matrices and usage of decorrelators in spatial audio processing |
-
2012
- 2012-02-14 WO PCT/EP2012/052443 patent/WO2013120510A1/en active Application Filing
- 2012-02-14 EP EP12707049.8A patent/EP2815399B1/en not_active Not-in-force
- 2012-02-14 CN CN201280009570.6A patent/CN103493128B/zh active Active
- 2012-02-14 KR KR1020147025117A patent/KR101662680B1/ko active IP Right Grant
- 2012-02-14 JP JP2014556926A patent/JP5930441B2/ja not_active Expired - Fee Related
-
2014
- 2014-08-14 US US14/460,074 patent/US9514759B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002541524A (ja) * | 1999-04-07 | 2002-12-03 | ドルビー・ラボラトリーズ・ライセンシング・コーポレーション | 損失のない符号化・復号へのマトリックス改良 |
JP2011008258A (ja) * | 2009-06-23 | 2011-01-13 | Korea Electronics Telecommun | 高品質マルチチャネルオーディオ符号化および復号化装置 |
Non-Patent Citations (3)
Title |
---|
JPN6015029856; G.Hotho, L.F.Villemoes, J.Breebaart: 'A Backward-Compatible Multichannel Audio Codec' IEEE TRANSACTION ON AUDIO,SPEECH,AND LANGUAGE PROCESSING VOL.16,NO.1, 200801, P83-93 * |
JPN7015002037; M.Briand、D.Virette、N.Martin: 'Parametoric coding of stereo audio based on principal component analysis' Proc.of the 9th Conference on Digital Audio Effects(DAFx-06) , 200609, p291-296 * |
JPN7015002038; D.Yang, Hongmei Ai, Chris Kyriakakis, C.C.Jay Kuo: 'Progressive Syntax-Rich Coding of Multichannel Audio Sources' EURASIP Journal on Applied Signal Processing vol.2003, 2003, p980-992 * |
Also Published As
Publication number | Publication date |
---|---|
CN103493128A (zh) | 2014-01-01 |
JP5930441B2 (ja) | 2016-06-08 |
WO2013120510A1 (en) | 2013-08-22 |
US20140355767A1 (en) | 2014-12-04 |
EP2815399A1 (en) | 2014-12-24 |
KR101662680B1 (ko) | 2016-10-05 |
EP2815399B1 (en) | 2016-02-10 |
CN103493128B (zh) | 2015-05-27 |
US9514759B2 (en) | 2016-12-06 |
KR20140130464A (ko) | 2014-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5930441B2 (ja) | マルチチャネルオーディオ信号の適応ダウン及びアップミキシングを実行するための方法及び装置 | |
RU2690885C1 (ru) | Стереофонический кодер и декодер аудиосигналов | |
JP6735053B2 (ja) | マルチチャネル符号化におけるステレオ充填装置及び方法 | |
RU2576476C2 (ru) | Декодер аудиосигнала, кодер аудиосигнала, способ формирования представления сигнала повышающего микширования, способ формирования представления сигнала понижающего микширования, компьютерная программа и бистрим, использующий значение общего параметра межобъектной корреляции | |
KR101823278B1 (ko) | 결합하여 인코딩된 잔류 신호들을 이용하는 오디오 인코더, 오디오 디코더, 방법들 및 컴퓨터 프로그램 | |
JP4601669B2 (ja) | マルチチャネル信号またはパラメータデータセットを生成する装置および方法 | |
US8180061B2 (en) | Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding | |
US9966080B2 (en) | Audio object encoding and decoding | |
TWI497485B (zh) | 用以重塑經合成輸出音訊信號之時域包絡以更接近輸入音訊信號之時域包絡的方法 | |
US10621994B2 (en) | Audio signal processing device and method, encoding device and method, and program | |
CN110648674B (zh) | 多声道音频内容的编码 | |
JP5511848B2 (ja) | 音声符号化装置および音声符号化方法 | |
KR20170063657A (ko) | 오디오 인코더 및 디코더 | |
RU2798009C2 (ru) | Стереофонический кодер и декодер аудиосигналов | |
TW202429446A (zh) | 用於具有元資料之參數化經寫碼獨立串流之不連續傳輸的解碼器及解碼方法 | |
TW202411984A (zh) | 用於具有元資料之參數化經寫碼獨立串流之不連續傳輸的編碼器及編碼方法 | |
WO2024052499A1 (en) | Decoder and decoding method for discontinuous transmission of parametrically coded independent streams with metadata |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140903 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140903 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151020 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5930441 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |