CN103634598A - 视频处理的转置缓冲 - Google Patents

视频处理的转置缓冲 Download PDF

Info

Publication number
CN103634598A
CN103634598A CN201310593765.6A CN201310593765A CN103634598A CN 103634598 A CN103634598 A CN 103634598A CN 201310593765 A CN201310593765 A CN 201310593765A CN 103634598 A CN103634598 A CN 103634598A
Authority
CN
China
Prior art keywords
buffer
transpose
words
engine
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310593765.6A
Other languages
English (en)
Other versions
CN103634598B (zh
Inventor
E.范纳森
L.利平科特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN103634598A publication Critical patent/CN103634598A/zh
Application granted granted Critical
Publication of CN103634598B publication Critical patent/CN103634598B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

转置缓冲器可存储8×8以及更小大小的视频数据块。当更小大小的块到达时，它们可重新配置成适合缓冲器中的可用空间。

Description

视频处理的转置缓冲
技术领域
本发明一般涉及处理视频。
背景技术
由于传送大量包含详细信息的数据的需要，因此希望保存传输媒体的的可用带宽。为此，视频信息可采用各种公知的压缩技术来压缩。可对压缩格式的接收视频进行解压缩。因此，视频可以更紧凑地传送，从而使更低带宽的传输媒体可被利用，同时保存更高带宽的传输媒体的带宽。
若干压缩标准需要数据的二维变换。这种变换一般每次在一维中执行，其中的中间结果存储在转置(transpose)缓冲器或转置随机存取存储器(RAM)中。称作象素的视频信息的8×8块可作为原子单位处理，或者可分为4×8、8×4或4×4子块以便进行处理。
因此，在编码和解码过程中，视频数据块可存储在转置缓冲器中。在某些压缩标准(例如运动图像专家组(ISO／IEC13818)(MPEG-2))中，仅处理8×8块。在其它标准(例如Microsoft Windows
Figure BDA0000419520680000011
9)中，一些8×8块可由两个4×8子块、两个8×4子块或者四个4×4子块来代替。
附图说明
图1是本发明的一个实施例的示意图；
图2是根据本发明的一个实施例、图1所示实施例的一部分的更详细说明；
图3是根据本发明的一个实施例的转置缓冲器的逻辑配置的说明；
图4是根据本发明的一个实施例的写序列；以及
图5是根据本发明的一个实施例的读序列。
具体实施方式
在本发明的一些实施例中，转置缓冲器可与视频压缩和解压缩结合使用。可结合依次执行的一维压缩变换来对转置缓冲器进行写入和读取。在一些实施例中，可管理转置缓冲器以便最有效且高效地缓冲压缩信息。虽然转置缓冲器一般是具有线性寻址(address)的普通64字RAM，但是，便利的是将RAM位置看作如图3所示占用二维阵列中的位置(对这些阵列位置的地址的分配是任意的)。通过这种可视化，可表示逐列(column-wise)写入和逐行(row-wise)读取或者逐行写入和逐列读取(这种转置是RAM的主要目的)。
考虑将要处理8×8块的系列的情况。第一块可逐列写入和逐行读取。第二块也可逐列写入，但之后，第一列无法写入，直到读取完第一块的57个字(前7行以及最后一行的第一个字)。这对处理吞吐量施加极大的限制。但认识到，只要我们分别逐行或逐列读取，逐列还是逐行写入就都是一样的，因此第二块可逐行写入和逐列读取。然后，在只读取第一块的八个字之后就可写入第二块的第一行。在一些实施例中，这可引起极大的吞吐量提高。
当块分为子块集合时出现复杂化。在这种情况下，对于写入和读取没有唯一的最佳顺序，但是，在某些情况下，遵循某些一般原则可使吞吐量为最大并且简化寻址：
1)在已经写入或读取整个块(不是子块)之后，写和读顺序可从逐列转换为逐行或者从逐行转换为逐列。
2)在逐列写入时，每个子块可完全填充n行，其中，对于4×4子块n=2，对于4×8或8×4子块n=4。类似地，在逐行写入时，每个子块可完全填充n列，其中n=2或4。
3)在逐列写入时，寻址可能是这样的：将被读取的第一向量(一个或两个)占用子块的第一缓冲器行。例如，4×4子块可写入以下地址：
注意，要读取的前两个向量占用作为缓冲器的第一行的地址0、8、10、18和20、28、30、38。因此，尽可能迅速地为下一个块清除这一行。类似地，在逐行写入时，寻址可能是这样的：被读取的第一向量(一个或两个)占用子块的第一缓冲器列。
参照图1，基于处理器的系统10例如可能是机顶盒、数字通用盘(DVD)播放器、光盘(CD)播放器、个人数字助理、便携音乐播放器或者汽车立体声系统，这里仅列举几个例子。在本发明的一些实施例中，系统10可采用Windows
Figure BDA0000419520680000033
9逆变换。这种压缩技术处理音频和视频两种信息。
Windows
Figure BDA0000419520680000034
9变换是二维变换，在原理上与离散余弦变换(DCT)相似。与DCT相似，Windows
Figure BDA0000419520680000035
9逆变换是可分离的，意味着Windows
Figure BDA0000419520680000036
9逆变换可分解为依次执行的两个一维(1D)变换。
参照图1，处理器12通过总线13进行耦合，并建立处理器12、存储控制器16、网络接口36、显示控制器14、音频编码器／解码器18和视频编码器／解码器(编解码器)28之间的通信。音频编码器18提供输出音频。显示控制器14可耦合到显示器(未示出)。存储控制器16耦合系统存储器20。作为两个实例，系统存储器可能是动态随机存取存储器或者闪速存储器。网络接口36允许与其它系统(未示出)进行通信。
视频编解码器28一般可操纵视频处理，包括压缩和解压缩。解码器／编码器28可包括运动图像专家组(MPEG)和Windows
Figure BDA0000419520680000037
9(WM9)编码器及解码器30(参见图2)。
在一些实施例中，系统10可能是机顶盒。本发明决不限于以上仅作为实例提供的图1所描述和示出的特定体系结构。
参照图2，视频压缩／解压缩单元30可包括耦合到编码引擎的运动补偿单元。在一个实施例中，编码引擎可能是压缩入局(incoming)视频的Windows
Figure BDA0000419520680000041
9变换引擎。此后，可如图所示实现量化和可变长度编码(variable length coding)。来自编码引擎的输出可提供给变换缓冲器68。变换缓冲器68由变换引擎64读取。
更具体来说，当前8×8象素微块60和预测62被接收，并在65确定其差异以便进行运动补偿。变换引擎64然后分两阶段(pass)进行工作。在第一阶段，变换引擎64逐列操作，并经由多路分配器66将第一个一维操作的结果写入转置缓冲器68。然后，变换引擎64从转置缓冲器68取出这些列以便进行第二阶段。转置缓冲器68中的控制逻辑或软件38可实现第一与第二阶段之间的矩阵转置操作。然后，来自第二阶段的结果被传递到量化及编码和解码级(stage)76。可产生压缩块。压缩块还可由逆量化70、去复用72和逆变换引擎74来接收和解压缩。
参照图4和图5，变换缓冲器68的管理可通过软件、固件或硬件来实现，它们在一个实施例中可与变换引擎64关联地存储。
虽然描述了采用Windows
Figure BDA0000419520680000042
9变换的一个实施例，但是也可采用其它变换，包括离散余弦变换等，例如运动图像专家组(ISO／IEC13818)和VC-1运动图像电视工程师协会(SMPTE)变换。
参照图4，根据一个实施例，转置缓冲器的写过程以80表示。最初，写顺序可设置成逐列，如框82所示。可从1D变换引擎接收字，如框84所示。该序列等待转置缓冲器中的空闲(free)字，如86所示。当空闲字可用时，将字写入缓冲器，如框88所示。
菱形框90中的检查确定是否已经写入该块的最后一个字。如果是，则菱形框92中的检查确定那个块是否为被写入的最后一个块。如果不是，则写顺序从列转换(toggle)到行或者从行转换到列，如框94所示。如果是，则过程结束。
参照图5，根据一个实施例，转置缓冲器的读过程以100表示。最初，读顺序可设置成逐行读，如框102所示。在框104，该序列等待缓冲器中的有效字。然后，在框106，读取缓冲器中的有效字。菱形框108中的检查确定是否已经读取块的最后一个字。如果是，则菱形框110中的检查确定是否已经读取最后一个块。如果不是，则读顺序从列转换到行或者从行转换到列(框112)。如果该块是被读取的最后一个块，则流程结束。
本说明中提到“一个实施例”或“一实施例”表示结合该实施例描述的特定特征、结构或特性包含在本发明所涵盖的至少一个实现中。因此，词语“一个实施例”或“在一实施例中”的出现不一定都表示相同的实施例。此外，特定特征、结构或特性可通过与所述的特定实施例不同的其它适当形式来创立，并且所有这类形式均可由本申请的权利要求书所涵盖。
虽然结合有限的实施例对本发明进行了说明，但本领域的技术人员会从其中知道大量修改和变更。所附权利要求书意在涵盖落入本发明真实精神和范围内的所有这类修改和变更。

Claims (16)

1. 一种使用转置缓冲器来转置视频信息的方法，所述转置缓冲器被设置为包括列和行的二维阵列，所述方法包括：
沿第一方向把要压缩的视频信息的第一块写到所述缓冲器，并且沿与第一方向垂直的第二方向从所述缓冲器中读取第一块；
对于要压缩的视频信息的下一块，确定所述下一块是否是完全填充所述缓冲器的完整块；
如果所述下一块是完整块，则沿所述第二方向写入并且沿所述第一方向读取；以及
如果所述下一块是填充所述缓冲器的n行或n列的部分块，则继续沿所述第一方向写入并且沿所述第二方向读取。
2. 如权利要求1所述的方法，包括确定何时已经读取了足够大小的子块，以接纳要写入的下一个块。
3. 如权利要求1所述的方法，包括对转置随机存取存储器进行写入。
4. 如权利要求3所述的方法，包括在具有64个字的容量的转置缓冲器中接收后面跟随更小块的8×8块。
5. 一种视频处理电路，包括：
转置缓冲器，所述转置缓冲器被设置为包括列和行的二维阵列；以及
耦合到所述转置缓冲器的变换引擎，所述变换引擎配置成执行如以上权利要求中任一项所述的方法。
6. 如权利要求5所述的电路，其中，所述引擎确定何时已从所述缓冲器中读取16个字。
7. 如权利要求6所述的电路，其中，在读取16个字之后，所述引擎将4×4数据块存储在所述缓冲器的可用空间中。
8. 如权利要求7所述的电路，其中，所述引擎确定何时已从所述缓冲器中读取32个字。
9. 如权利要求8所述的电路，其中，在读取32个字之后，所述引擎将8×4或4×8数据块存储在所述缓冲器的可用空间中。
10. 一种系统，包括：
处理器；
耦合到所述处理器的动态随机存取存储器；以及
视频处理电路，包括转置缓冲器以及耦合到所述转置缓冲器的变换引擎，所述转置缓冲器被设置为包括列和行的二维阵列，所述变换引擎配置为执行如权利要求1至4中任一项所述的方法。
11. 如权利要求10所述的系统，其中，所述引擎将4×4视频数据块转换为两个八字行。
12. 如权利要求11所述的系统，其中，所述缓冲器具有64个字的容量，所述引擎转换待存储在所述缓冲器中的两个八字行中的4×4数据块，所述引擎确定何时已从所述缓冲器中读取16个字，并且在读取16个字之后将4×4数据块存储在所述缓冲器的可用空间中。
13. 如权利要求12所述的系统，其中，所述引擎确定何时已从所述缓冲器中读取32个字。
14. 一种非暂时的机器可读介质，其中存储指令，所述指令在被执行时使基于处理器的系统能够执行以下步骤：
采用转置缓冲器来压缩视频数据，所述转置缓冲器被设置为包括列和行的二维阵列；所述压缩包括如权利要求1至4中任一项所述的方法。
15. 如权利要求14所述的介质，还存储在被执行时使基于处理器的系统能够以逐列方式将视频数据块写入转置缓冲器的指令。
16. 如权利要求15所述的介质，还存储在被执行时使所述基于处理器的系统能够接收4×4数据块并将所述4×4数据块写入两个可用的八字行的指令。
CN201310593765.6A 2005-08-26 2006-07-27 视频处理的转置缓冲 Expired - Fee Related CN103634598B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US11/213160 2005-08-26
US11/213,160 2005-08-26
US11/213,160 US20070047655A1 (en) 2005-08-26 2005-08-26 Transpose buffering for video processing
CN2006800310247A CN101248430B (zh) 2005-08-26 2006-07-27 视频处理的转置缓冲

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2006800310247A Division CN101248430B (zh) 2005-08-26 2006-07-27 视频处理的转置缓冲

Publications (2)

Publication Number Publication Date
CN103634598A true CN103634598A (zh) 2014-03-12
CN103634598B CN103634598B (zh) 2018-01-19

Family

ID=37561412

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201310593765.6A Expired - Fee Related CN103634598B (zh) 2005-08-26 2006-07-27 视频处理的转置缓冲
CN2006800310247A Expired - Fee Related CN101248430B (zh) 2005-08-26 2006-07-27 视频处理的转置缓冲

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2006800310247A Expired - Fee Related CN101248430B (zh) 2005-08-26 2006-07-27 视频处理的转置缓冲

Country Status (5)

Country Link
US (1) US20070047655A1 (zh)
CN (2) CN103634598B (zh)
DE (1) DE112006002148B4 (zh)
TW (1) TWI340357B (zh)
WO (1) WO2007024413A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106688234A (zh) * 2014-10-01 2017-05-17 高通股份有限公司 具有改善的转置缓冲器的可缩放变换硬件架构
CN109672923A (zh) * 2018-12-17 2019-04-23 龙迅半导体（合肥）股份有限公司 一种数据处理方法和装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983335B2 (en) * 2005-11-02 2011-07-19 Broadcom Corporation AVC I—PCM data handling and inverse transform in a video decoder
US20070268226A1 (en) * 2006-05-19 2007-11-22 Semiconductor Energy Laboratory Co., Ltd. Video data control circuit, drive method thereof, and display device and electronic device having the video data control circuit
US7761626B2 (en) * 2006-09-28 2010-07-20 Virident Systems, Inc. Methods for main memory in a system with a memory controller configured to control access to non-volatile memory, and related technologies
US7761624B2 (en) * 2006-09-28 2010-07-20 Virident Systems, Inc. Systems and apparatus for main memory with non-volatile type memory modules, and related technologies
US8949555B1 (en) 2007-08-30 2015-02-03 Virident Systems, Inc. Methods for sustained read and write performance with non-volatile memory
US7761623B2 (en) * 2006-09-28 2010-07-20 Virident Systems, Inc. Main memory in a system with a memory controller configured to control access to non-volatile memory, and related technologies
US8806116B2 (en) * 2008-02-12 2014-08-12 Virident Systems, Inc. Memory modules for two-dimensional main memory
US7761625B2 (en) * 2006-09-28 2010-07-20 Virident Systems, Inc. Methods for main memory with non-volatile type memory modules, and related technologies
US9984012B2 (en) 2006-09-28 2018-05-29 Virident Systems, Llc Read writeable randomly accessible non-volatile memory modules
US9921896B2 (en) 2007-08-30 2018-03-20 Virident Systems, Llc Shutdowns and data recovery to avoid read errors weak pages in a non-volatile memory system
WO2009102821A2 (en) * 2008-02-12 2009-08-20 Virident Systems, Inc. Methods and apparatus for two-dimensional main memory
US10237566B2 (en) * 2016-04-01 2019-03-19 Microsoft Technology Licensing, Llc Video decoding using point sprites
TWI616867B (zh) * 2016-09-26 2018-03-01 智原科技股份有限公司 視訊幀轉置裝置與方法
US10743002B2 (en) * 2017-03-03 2020-08-11 Gopro, Inc. Sequential in-place blocking transposition for image signal processing

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481487A (en) * 1994-01-28 1996-01-02 Industrial Technology Research Institute Transpose memory for DCT/IDCT circuit
US5550765A (en) * 1994-05-13 1996-08-27 Lucent Technologies Inc. Method and apparatus for transforming a multi-dimensional matrix of coefficents representative of a signal
US6026217A (en) * 1996-06-21 2000-02-15 Digital Equipment Corporation Method and apparatus for eliminating the transpose buffer during a decomposed forward or inverse 2-dimensional discrete cosine transform through operand decomposition storage and retrieval
KR100239349B1 (ko) * 1996-12-20 2000-01-15 구자홍 역이산 코사인 변환기의 데이타 포멧 변환 회로
KR100313217B1 (ko) * 1998-12-23 2001-12-28 서평원 파이프라인dct장치
KR100357126B1 (ko) * 1999-07-30 2002-10-18 엘지전자 주식회사 메모리 주소 발생 장치 및 그를 이용한 무선 단말기
US6870885B2 (en) * 2001-05-16 2005-03-22 Qualcomm Incorporated Apparatus and method for decoding and computing a discrete cosine transform using a butterfly processor
US7242713B2 (en) * 2002-05-02 2007-07-10 Microsoft Corporation 2-D transforms for image and video coding
US7327786B2 (en) * 2003-06-02 2008-02-05 Lsi Logic Corporation Method for improving rate-distortion performance of a video compression system through parallel coefficient cancellation in the transform
US8423597B1 (en) * 2003-08-29 2013-04-16 Nvidia Corporation Method and system for adaptive matrix trimming in an inverse discrete cosine transform (IDCT) operation
EP1558040A1 (en) * 2004-01-21 2005-07-27 Thomson Licensing S.A. Method and apparatus for generating/evaluating prediction information in picture signal encoding/decoding
KR100826343B1 (ko) * 2004-10-14 2008-05-02 삼성전기주식회사 트랜스 포즈 방법 및 장치
US20060190517A1 (en) * 2005-02-02 2006-08-24 Guerrero Miguel A Techniques for transposition of a matrix arranged in a memory as multiple items per word

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106688234A (zh) * 2014-10-01 2017-05-17 高通股份有限公司 具有改善的转置缓冲器的可缩放变换硬件架构
US10356440B2 (en) 2014-10-01 2019-07-16 Qualcomm Incorporated Scalable transform hardware architecture with improved transpose buffer
CN106688234B (zh) * 2014-10-01 2019-10-25 高通股份有限公司 用于图像变换的处理器系统、视频编解码器和方法
CN109672923A (zh) * 2018-12-17 2019-04-23 龙迅半导体（合肥）股份有限公司 一种数据处理方法和装置

Also Published As

Publication number Publication date
CN103634598B (zh) 2018-01-19
CN101248430B (zh) 2013-12-25
TW200719273A (en) 2007-05-16
DE112006002148T5 (de) 2008-07-03
TWI340357B (en) 2011-04-11
US20070047655A1 (en) 2007-03-01
DE112006002148B4 (de) 2014-01-16
WO2007024413A3 (en) 2007-05-18
WO2007024413A2 (en) 2007-03-01
CN101248430A (zh) 2008-08-20

Similar Documents

Publication Publication Date Title
CN101248430B (zh) 视频处理的转置缓冲
CN101252694B (zh) 基于块的视频解码的帧存储压缩和地址映射系统
US8989279B2 (en) Reference data buffer for intra-prediction of digital video
CN101527849B (zh) 集成视频解码器的存储系统
US20140086309A1 (en) Method and device for encoding and decoding an image
CN101924945B (zh) 具有可变压缩比和用于存储及检索参考帧数据的缓冲器的视频解码器
JP2005510981A (ja) 複数チャネル・ビデオトランスコーディング・システムおよび方法
CN102547283A (zh) 动态视频数据压缩
CN113170140B (zh) 编码数据元素的方法与解码数据流的方法、装置、介质
CN103888777A (zh) 运动图像压缩解压缩装置
US10250912B2 (en) Method and apparatus for entropy decoding with arithmetic decoding decoupled from variable-length decoding
EP0602642A2 (en) Moving picture decoding system
JP2010098352A (ja) 画像情報符号化装置
US20050047510A1 (en) Data processing device for MPEG
US20060222000A1 (en) Decoder architecture systems, apparatus and methods
US10798419B2 (en) Embedded codec circuitry for sub-block based encoding of quantized prediction residual levels
JP2002112268A (ja) 圧縮画像データ復号装置
US8428349B2 (en) Method and apparatus for DRAM 2D video word formatting
TWI565303B (zh) 影像處理系統及影像處理方法
US20090150469A1 (en) Unified inverse discrete cosine transform (idct) microcode processor engine
CN109218725B (zh) 一种视频编码器、视频解码器及视频处理系统
US20090201989A1 (en) Systems and Methods to Optimize Entropy Decoding
CN100576917C (zh) 逆扫描频率系数的方法和系统
US6681051B1 (en) Arrangement for transforming picture data
KR100298456B1 (ko) 동영상복호화장치및복호화방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180119

Termination date: 20190727