CN106031142B - 在视频编码中用于调色板预测和共享的方法和装置 - Google Patents

在视频编码中用于调色板预测和共享的方法和装置 Download PDF

Info

Publication number
CN106031142B
CN106031142B CN201480069231.6A CN201480069231A CN106031142B CN 106031142 B CN106031142 B CN 106031142B CN 201480069231 A CN201480069231 A CN 201480069231A CN 106031142 B CN106031142 B CN 106031142B
Authority
CN
China
Prior art keywords
palette
group
current
coding
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480069231.6A
Other languages
English (en)
Other versions
CN106031142A (zh
Inventor
赖柏霖
刘杉
庄子德
许晓中
夜静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
HFI Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HFI Innovation Inc filed Critical HFI Innovation Inc
Publication of CN106031142A publication Critical patent/CN106031142A/zh
Application granted granted Critical
Publication of CN106031142B publication Critical patent/CN106031142B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Abstract

本发明提供一种用于调色板预测和共享的方法和装置。该方法包括决定用于当前区块的一个或多个调色板共享标志。根据该一个或多个调色板共享标志,相对应的该组颜色组分的一组当前调色板被产生。若第一调色板共享标志被断言,通过该第一调色板共享标志指示的一个或多个当前调色板完全复制来自一组参考调色板之中的一个或多个参考调色板。若第一调色板共享标志不被断言,通过该第一调色板共享标志指示的该一个或多个当前调色板自与视频数据相关的比特流而得到。然后,根据该组当前调色板,将编码或解码应用于该当前区块。

Description

在视频编码中用于调色板预测和共享的方法和装置
交叉引用
本发明主张在2013年12月18日提出的申请号为61/917,474、名称为“Methods andApparatus for Palette Prediction and Sharing in Major Color Based Coding inVideo Compression”的美国临时专利申请的优先权;主张在2014年1月3日提出的申请号为61/923,378、名称为“Methods and Apparatus of Syntax and Processes for PalettePrediction and Sharing in Video Compression”的美国临时专利申请的优先权。因此在全文中合并参考该些专利申请案。
技术领域
本发明是有关于用于视频数据的调色板编码,其可包括在某些区域中具有有限颜色的颜色内容,特别是有关于通过开发更有效的调色板共享来改善性能的技术。
背景技术
高效视频编码(High Efficiency Video Coding,以下简称为HEVC)是近年来开发的新的编码标准。在HEVC系统中,H.264/AVC中固定尺寸的宏块由灵活的区块来代替,并将其命名为编码单元(coding unit,CU)。在编码单元中像素共享相同的编码参数,以改善编码效率。编码单元可开始于最大编码单元(largest CU,LCU),其在HEVC中也被称为编码树单元。除编码单元的概念之外,预测单元的概念也被引入HEVC中。一旦编码单元分层树的分割完成,根据预测类型和预测单元分割,每一个叶编码单元被进一步分割为一个或多个预测单元。
在HEVC标准的发展过程中,也开发了HEVC的扩展版本。HEVC的扩展包括范围扩展(range extensions,以下简称为RExt),其目标在于非4:2:0颜色格式(例如4:2:2和4:4:4)以及更高比特深度视频(例如,每次采样12、14以及16比特)。利用RExt的一个可能的应用是通过有线或无线连接的屏幕共享。由于屏幕内容的具体特点,已开发一些编码工具以及这些编码工具证明编码效率收益显著。在这些编码工具中,调色板编码(也称为基于主要颜色的编码)技术利用至调色板(主要颜色)的索引(indices)而表示区块的像素,并利用空间冗余来编码调色板和索引。尽管可能的颜色组合的总数很大,但是用于典型的屏幕内容的图片区域中的颜色数通常有限。因此,调色板编码十分有效地用于屏幕内容素材(screencontent materials)。
在HEVC RExt的早期开发中,若干提议已被揭示,以处理基于调色板的编码。举例来说,调色板预测和共享技术揭示于JCTVC-N0247中(Guo et al.,“RCE3:Results of Test3.1on Palette Mode for Screen Content Coding”,Joint Collaborative Team onVideo Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,14thMeeting:Vienna,AT,25July–2Aug.2013Document:JCTVC-N0247)。在JCTVC-N0247中,调色板的每一个颜色组分被构建和传送。调色板可自其左相邻的编码单元而被预测(或共享)以降低比特率。在JCTVC-N0247中揭示的方法的伪代码如下所示。
如以上伪代码所示,当如palette_pred[color_index]所示调色板预测模式被使用,具有color_index的当前编码单元的调色板(即,Current CU palette[color_index]),共享来自当前编码单元左侧的具有相同color_index的编码单元的调色板(即,left CUpalette[color_index])。否则,新的调色板自在解码器侧的比特流而被解析,或自在编码器侧的比特流中而被发送。根据JCTVC-N0247的方法不利用来自上方编码单元的调色板预测(共享)。此外,若左侧编码单元不利用调色板模式而被编码,则用于当前编码单元的调色板不会自左侧编码单元而被预测。
另一种调色板编码方法在JCTVC-N0249中揭示(Guo et al.,“non-RCE3:ModifiedPalette Mode for Screen Content Coding”,Joint Collaborative Team on VideoCoding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,14th Meeting:Vienna,AT,25July–2Aug.2013Document:JCTVC-N0249)。在JCTVC-N0249中,在调色板中的每一个元素是三重的(triplet),代表三个颜色组分的特定组合。
又一种调色板编码在JCTVC-O0182中揭示(Guo et al.,“AHG8:Major-color-based screen content coding”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,15th Meeting:Geneva,CH,23Oct.–1Nov.2013,Document:JCTVC-O0182)。在JCTVC-O0182中,每一个组分被构造并被传送。然而,在调色板中的单独的条目可自在上方编码单元或左侧编码单元中提取对应的调色板条目而被预测,而不是自左侧编码单元预测整个调色板。用于在JCTVC-O0182中揭示的方法的伪代码如下所示:
如上所示的伪代码中,当如取值为1的palette_pred[color_index][n]所示调色板预测被选择时,用于当前编码单元的调色板的单独的条目(即,对于顺序位置n处的Current CU palette[color_index][n]),可共享来自上方编码单元(即,Above CUpalette[color_index][n])或左侧编码单元(即,Left CU palette[color_index][n])对应的调色板条目。若如取值为0的palette_pred[color_index][n]所示调色板预测不被选择时,用于当前编码单元的调色板自在解码器侧的比特流而被解析(即,Parse syntax forcurrent CU palette[color_index][n]),或自在编码器侧的比特流而被发送。
如上所示,根据JCTVC-O0182的调色板编码利用逐元素(逐条目)预测编码。因此,解析复杂度(多层)变得较高。此外,由于在相邻编码单元中的调色板元素(调色板条目)不在相同的顺序位置n,即使他们具有相同的值,仍可能不是十分有效。
因此,有必要开发一种方法,以进一步改善编码效率及/或降低与调色板编码相关的复杂度。
发明内容
根据本发明的实施方式,提供一种用于调色板预测和共享的方法和装置。包括本发明实施方式的方法决定用于当前区块的一个或多个调色板共享标志。根据该一个或多个调色板共享标志,对应于该组颜色组分的一组当前调色板被产生。若第一调色板共享标志被断言,通过该第一调色板共享标志指示的一个或多个当前调色板完全复制来自于一组参考调色板中的一个或多个参考调色板。若第一调色板共享标志不被断言,通过该第一调色板共享标志指示的该一个或多个当前调色板自与视频数据相关的比特流而得到。然后,根据该组当前调色板,将编码或解码应用于该当前区块。当前区块对应于编码单元、预测单元、最大编码单元、或编码树区块。
本发明的一方面描述调色板共享标志设计。调色板共享标志可对应于单一的共享标志,以及若该单一的共享标志被断言,该组当前调色板的所有当前调色板完全自该组参考调色板的所有参考调色板而被复制。该一个或多个调色板共享标志中的每一个标志也可对应于该组颜色组分的每一个颜色组分,以及若一个对应的共享标志被断言,完全自具有一个对应的颜色组分的一个对应的参考调色板,复制具有一个对应的颜色组分的一个对应的当前调色板。调色板共享标志也可对应于颜色组分(YUV,RGB,等)的一组共享标志。举例来说,调色板共享标志可对应于亮度调色板共享标志和色度调色板共享标志,以及若该亮度调色板共享标志或该色度调色板共享标志被断言,完全自一个对应的亮度参考调色板或至少一个对应的色度参考调色板,复制当前亮度调色板或至少一个当前色度调色板。
本发明的另一方面描述参考调色板设计。该组参考调色板对应于与一个或多个先前区块相关的新编码的一组或多组调色板之间的最新编码的一组调色板。在本申请中,与一个或多个先前区块相关的新编码一组或多组调色板被称为“调色板书”。该新编码的一组或多组调色板对应于新编码的N组调色板,其中N为大于0的整数。当一组新的调色板被存储时,通过移除最先编码的调色板,而更新调色板书。在一个实施方式中,在调色板书中仅存在新编码的一组调色板,即N=1。
该组参考调色板也可自上方编码单元及/或左侧编码单元而被共享。当调色板共享标志被断言以及上方编码单元和左侧编码单元均被允许时,附加的标志被使用以指示该组调色板是否自上方编码单元或左侧编码单元而被共享。在一个实施方式中,上方编码单元的该组调色板与左侧编码单元的该组调色板进行比较。若它们是完全相同的,则附加的标志被跳过。可选地,一组代替的调色板可用于代替完全相同的该组调色板。该组代替的调色板可对应于左上方编码单元或右上方编码单元的该组调色板。该组代替的调色板也可自一组先前编码的调色板而被确定。
附图说明
图1描述了包括本发明实施方式的基于一个或多个调色板共享标志而自先前处理的调色板来共享调色板的示范性系统的流程图。
具体实施方式
为改善性能并降低调色板编码的复杂度,本发明揭示了各种改善和简化的调色板编码。在本发明的第一类实施方式中,利用左侧编码单元及/或上方编码单元,在逐组分或逐编码单元的基础上,调色板被预测或被共享。当调色板预测以光栅扫描的方式(即,逐行以及从顶行至底行)而被应用于编码单元,上方的编码单元和左侧的编码单元代表先前处理的编码单元。如JCTVC-N-0249中所揭示,基于逐编码单元的调色板共享可被应用于三重调色板格式。在本发明的第二类实施方式中,通过利用“调色板书(palette book)”以便建立先前编码的调色板的历史,而完成预测和共享。在此示例中,将被共享的调色板可能与除上方编码单元和左侧编码单元之外的编码单元相关。举例来说,最近被编码的调色板可被保存于给定的最大编码单元(或成为编码树单元,CTU)中,或于多个最大编码单元(或多个CTU)的给定区域中(例如,编码树单元线),或于当前条带中。在当前最大编码单元中的编码单元(或在多个最大编码单元(多个编码树单元)的给定区域(例如编码树单元线)中,或在当前条带中)可共享此调色板或使用其自身的调色板(新的调色板)。
第一实施方式:自左侧/上方编码单元的组分式调色板共享控制。
在此实施方式中,用于当前编码单元的一个或多个调色板可共享来自上方编码单元或左侧编码单元的一个或多个调色板,以及调色板共享被执行以用于每一个颜色组分。用于每一个颜色组分的指示(例如,palette_pred[color_index])可用于指示调色板预测是否被使用。若调色板预测被使用,则另一指示用于指示预测是否来自于上方编码单元或左侧编码单元。举例来说,指示pred_from_above可被使用。若pred_from_above的值等于1,则自上方的编码单元的调色板预测被选择。否则,调色板预测来自左侧的编码单元。根据本发明实施方式的示范性伪代码如下所示:
在上述示范性伪代码中,当palette_pred[color_index]指示调色板预测被用于特定的颜色组分(由color_index指示),包括具有color_index的特定颜色组分的调色板尺寸的整个调色板可自上方区块或左侧区块的调色板而被复制。在上述示范性伪代码中,当palette_pred[color_index]指示调色板预测不被使用时,用于当前编码单元的新的调色板自比特流而得到(即,Parse syntax num_major_color[color_index])。
第二实施方式:自左侧/上方编码单元的编码单元式调色板共享控制。
与第一实施方式相比,对于所有color_index来说,是否共享当前编码单元的调色板的控制是相同的。换句话说,用于所有color_index的控制标志,palette_pred和pred_from_above是相同的。根据此实施方式的示范性伪代码如下所示:
此外,在上述伪代码中,当palette_pred指示调色板预测被使用时,包括用于所有color_index的调色板尺寸的整个调色板可自上方区块或左侧区块的对应的调色板而被复制。
第三实施方式:自左侧/上方编码单元的亮度/色度式调色板共享控制。此实施方式可被视为组分式调色板共享的示例,其中,颜色组分对应于亮度组分和至少一个色度组分。在一个示例中,自上方/左侧的调色板共享具有两个预测控制标志,其中一个标志用于亮度组分,另一个标志用于色度组分。此可被特定用于在亮度和色度组分中具有不同变化程度的内容。根据此实施方式的用于YUV颜色组分的示范性伪代码如下所示:
在上述伪代码中,单独的共享控制标志pred_from_above_Y和pred_from_above_UV被使用。此外,各自的调色板表(即,palette[Y_index],palette[U_index]和palette[V_index])被用于各个颜色组分。尽管U和V颜色组分共享相同的标志(即,palette_pred_UV),单独的标志可被用于U和V颜色组分。此外,在上述伪代码中,当palette_pred_Y或palette_pred_UV指示调色板预测被使用时,包括用于Y或U/V的调色板尺寸的整个调色板自上方区块或左侧区块的对应的调色板而被复制。
请注意,上述伪代码对应于解码过程。相似的伪代码可被开发以用于编码器侧。举例来说,在编码器侧对应于“解析语法num_major_color[color_index]”的动作会是“发送语法num_major_color[color_index]”。为减少与自上方编码单元的共享的调色板相关的线缓冲器,仅当上方编码单元在当前最大编码单元或编码树中时,根据本发明的变化的实施方式可允许以上共享。符合实施方式变化的编码器,将检查是否上方编码单元和当前编码单元在同一最大编码单元或编码树单元中。尽管上述的示例通常允许当前编码单元的上方的编码单元和左侧的编码单元共享调色板,然而,也会限制仅自一个相邻编码单元(即,仅上方编码单元或仅左侧编码单元)来共享调色板。此外,尽管示例显示调色板编码和共享的间隔尺寸是以编码单元为基础,调色板编码和共享的其他间隔尺寸也可被使用。举例来说,调色板编码和共享可以预测单元、最大编码单元、编码树单元、或多个最大编码单元为基础而被执行。
发送上述实施方式的语法的示例如表1所示。发送比特可以是上下文编码(context-coded)的。对于在第一实施方式中的组分式调色板共享,在表1中的用于每一个颜色组分的语法比特可使用不同上下文以用于CABAC编码,或使用相同上下文。在第三实施方式中,相似的不同上下文可被用于亮度/色度控制方案。
表1
对于第二类实施方式,调色板书(palette book)被使用。各种方式可被用于产生调色板书。举例来说,最近编码的调色板设置(palette sets)的历史可被存储于“调色板书”中。如book_index所示,当前编码单元可选择共享存储于调色板书中的一个调色板组。当前编码单元也可使用其自身的调色板以及当前调色板将代替调色板书中的一个设置。新的调色板被编码并被传送至编码器侧,以使得相同的调色板书更新过程可在编码器和解码器端以相同的方式被执行。存在有各种方式来更新和排序先前已编码的调色板设置。
第四实施方式:利用“调色板书”的编码单元式调色板共享控制。在一个特定的示例中,调色板设置基于其编码顺序被简单地排序,即,最近编码的调色板被存储于“调色板书”中起始位置(即,具有最小的索引),而先前编码的被存储于随后的位置(即,具有较大的索引)。举例来说,具有尺寸为KK的调色板书被使用以存储KK组先前已编码的调色板。为了使得第一条目对于新的已编码的调色板可用,当新的调色板设置被编码时,在“调色板书”中的条目1至条目(KK-1)将被移至条目2至KK。这是简单的先进先出的更新和排序过程。如下所示的伪代码描述了当共享以编码单元为基础进行控制(即,共享用于所有颜色组分)时,利用调色板书的调色板共享的示例。实施方式也可用于在JCTVC-N-0249中揭示的三重调色板格式。
在上述伪代码中,当如值为1的palette_pred所示调色板预测被使用时,调色板书索引(即,book_index)可自比特流而被确定。用于当前编码单元的调色板(即,Current CUpalette[color_index])自具有book_index的调色板书(即,palette_book[book_index][color_index])而得到。若当前编码单元不利用调色板预测,为使得第一条目对于新的已编码的调色板可用,在“palette book”中的条目1至条目(KK-1)将被移至条目2至条目KK(即,palette_book[k][color_index]=palette_book[k-1][color_index]for(k<=KK,k>1,k--))。新的解析的当前编码单元调色板(即,Parse syntax for current CU palette[color_index][n])将被放置在引导调色板书(leading palette book)中(即,palette_book[0][color_index][n]=current CU palette[color_index][n])。
第五实施方式:利用“调色板书”的组分式调色板共享控制。除共享控制为组分式之外,第五实施方式相似于第四实施方式。根据本发明实施方式的用于每一个颜色组分的示范性伪代码如下所示。
第六实施方式:利用“调色板书”的亮度/色度式(Component-wise)调色板共享控制。尽管在第四和第五实施方式中分别描述了利用“调色板书”的编码单元式和组分式调色板共享控制,调色板书的共享控制也为亮度/色度式。亮度组分和色度组分可具有各自的共享控制(例如,一个用于亮度的控制标志和一个用于色度的控制标志)。亮度和色度组分中的每一个具有自己的调色板。这对于在亮度和色度组分中具有不同变化程度的内容特别有用。根据本实施方式的用于YUV颜色格式的示范性伪代码如下所示,其中相同的共享控制标志用于U组分和V组分(即,palette_pred_UV),也可使用各自的控制标志。
尽管如上所示的示例通常允许上方编码单元和左侧编码单元以用于当前编码单元共享其调色板。然而,也可限制允许仅一个相邻编码单元(仅上方编码单元或仅左侧编码单元)来分享调色板。此外,尽管示例描述调色板编码和共享的间隔尺寸是以编码单元为基础,调色板编码和共享的其他间隔尺寸也可被使用。举例来说,调色板编码和共享可以预测单元、最大编码单元、编码树单元、或多个最大编码单元为基础而被执行。
尽管先进先出的方案用于“调色板书”更新和排序的第四实施方式至第六实施方式的伪代码中,只要编码器和解码器可执行相同的处理,其他方式也可被利用。举例来说,计数器可被使用以追踪被选择以共享的每一个调色板设置的频率。然后,根据频率,调色板书可被更新,例如从选择高频到选择低频来排序。
自“调色板书”的条目的选择可在比特流中被发送。最直接的方式是发送具有固定长度编码的书条目。然而,利用“调色板书”的适当顺序,例如先进先出或基于频率,最可能被使用的调色板条目为在“调色板书”前端的调色板条目。另一方面,在“调色板书”末端的条目被使用的可能性较低。因此,更有效的语法设计可被构造以利用这些性能。举例来说,用于具有尺寸等于4的“调色板书”的条目0、1、2、3的选择可利用如表2所示的可变长度的代码而被发送。
表2
book_index 固定长度 可变长度
0 00 0
1 01 10
2 10 110
3 11 111
发送可变长度的代码的比特可为上下文编码。对于在第五实施方式中的组分式调色板共享,在表2中用于每一个颜色组分的语法比特可使用不同的上下文以用于上下文自适应二进制算术编码(context adaptive binary arithmetic coding,CABAC),或可使用相同的上下文。相似地,不同的上下文可被用于在第六实施方式中的亮度/色度控制方案。
由于“调色板书”跟踪并更新最近编码的调色板组,不存在线缓冲器问题。调色板书尺寸的选择成为在提供更好调色板匹配(即,使用较大的调色板书尺寸)和发送边信息(即,使用较小的调色板书尺寸)之间的权衡问题。
另一个设计的考虑是,在被重置之前,调色板持续保持有效。较长的有效期间,例如整个条带/图片,使能调色板较长的存储将可用于区块。然而,差错恢复性能会变差,其是因为损失这样的调色板书将影响在条带/图片中的所有区块的解码。
第七实施方式:利用具有调色板书尺寸kk=1的“调色板书”的编码单元式调色板共享控制。此实施方式对应于调色板书共享的特定示例,其中仅一个最近编码的调色板在调色板书(即,调色板尺寸kk=1)中。由于在调色板书中仅存在一个条目,不需要发送如实施方式4-6中提到的book_index。此外,调色板书的更新过程将变为用当前调色板表来简单代替调色板书。利用调色板书尺寸kk=1以及各种有效期间的“调色板书”的编码单元式调色板共享控制的伪代码如下所示,其中有效期间定义多长时间调色板书将被重置。
如上所示,不需要移动先前的调色板书以为新的调色板书制造空间。如伪代码中所示,调色板书在最大编码单元、最大编码单元行、或条带中每一个的起始处被重置(即,“If(begin new LCU,or begin new LCU row,or begin new slice),Clear palette_book”)。
第八实施方式:利用具有调色板书尺寸kk=1的“调色板书”的组分式调色板共享控制。利用具有调色板尺寸kk=1和各种有效期间的“调色板书”的组分式调色板共享控制的对应的伪代码如下所示:
第九实施方式:利用具有调色板书尺寸kk=1的“调色板书”的亮度/色度式调色板共享控制。利用具有调色板尺寸kk=1和各种有效期间的“调色板书”的亮度/色度式调色板共享控制的对应的伪代码如下所示:
本发明的另一方面与调色板预测的语法相关。用于解析与表1中发送调色板共享相关的语法的伪代码如下所示:
本发明的另一方面描述当调色板共享来自上方编码单元和左侧编码单元时,自上方编码单元和左侧编码单元的调色板相同的情况。如上所示的伪代码描述语法palette_pred先被解析。若palette_pred的值为1,然后语法pred_from_above被解析。根据pred_from_above的值,用于当前编码单元的调色板自上方编码单元或自左侧编码单元而被复制。
第十实施方式:当上方调色板和左侧调色板相同时省略语法pred_from_above。在此实施方式中,如果上述调色板与左侧调色板相同,则当palette_pred的值为1时,不需要区分复制是自上方编码单元还是左侧编码单元。相应地,在此情况下,语法pred_from_above变得冗余。为移除冗余,此实施方式检查上方调色板是否与左侧调色板相同。若是,则pred_from_above不被发送。包括关于上方调色板是否与左侧调色板相同的比较和指示的伪代码如下所示:
如上述伪代码所示,上方调色板与左侧调色板进行比较(即,AbLfEq=(abovepalette==left palette))。若上方调色板和左侧调色板不相同(即,!AbLfEq的值为1)),自上方调色板或左侧调色板的常规调色板共享被执行。否则(即,!AbLfEq的值为0),语法pred_from_above不被解析,以及当前调色板总是自上方调色板而被复制。可选地,由于上方调色板和左侧调色板相同,当前调色板总是自左侧调色板而被复制。
第十一实施方式:当上方调色板和左侧调色板相同时利用代替的相邻调色板。当左侧调色板等于上方调色板时,尽管第十实施方式省略了语法pred_from_above,本实施方式中可使用自相邻区块的其他具有因果关系的调色板(causal palette)来代替上方调色板或左侧调色板。可能的具有因果关系的相邻调色板为,例如,左上方区块或右上方区块。例如,自左上方区块的调色板可用于代替左侧调色板。当上方调色板等于左侧调色板时,使用自另一相邻区块的代替调色板的伪代码如下所示:
第十二实施方式:当上方调色板与左侧调色板相同时利用先前已编码的调色板。此实施方式维持先前已编码的调色板。举例来说,先前已编码的调色板可对应于最近编码的调色板,该最近编码的调色板不是当前区块的上方调色板,也不是左侧的调色板。当当前区块的上方调色板和左侧调色板相同时,先前已编码的调色板可被利用以用于调色板共享。此种方式要求在编码器和解码器侧的更新过程均维持先前已编码的调色板。当上方调色板等于左侧调色板时,利用先前已编码的调色板的伪代码如下所示:
在上述示范性伪代码中,最近编码的调色板被表示为“recent palette”。最近的调色板被用作代替上方或左侧区块的调色板的示例。其他的调色板维持过程也可被使用。
第七实施方式的性能与在JCTVC-P0108中揭示的参照系统(anchor system)进行比较(Guo et al,RCE4:Test 1.Major-color-based screen content coding,JointCollaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC1/SC 29/WG 11,16th Meeting:San José,US,9–17Jan.2014,Document:JCTVC-P0108)。执行如第一列所示的各种测试数据和各种系统配置(AI-MT,AI-HT和AI-SHT)的比较。AI称为“all Intra”,MT称为“Main Tier”,HT称为“High Tier”以及SHT称为“Super High Tier”。基于BD率的性能测量是视频编码领域中熟知的性能测量方式。比较结果如表3所示,其中在表3中的负值表示相对于参照系统的性能改善。如表3所示,本发明的第七实施方式显示了对于屏幕内容数据(例如,屏幕内容数据为SC RGB 444,SC YUV 444,SC(444)GBR Opt.和SC(444)YUV Opt.)的显著性能改善。
表3
图1描述了包括本发明实施方式的基于一个或多个调色板标志而自先前处理的调色板来共享调色板的示范性系统的流程图。如步骤110所示,系统接收与当前区块相关的输入数据,该当前区块包括一组颜色组分。其中,该组颜色组分由一种或多种颜色组成。对于编码侧来说,输入数据对应于利用调色板编码而将被编码的像素数据。对于解码侧来说,输入数据对应于利用调色板编码而将被解码的已编码像素。输入数据可自存储器(例如,计算机存储器、缓冲器(RAM或DRAM)或其他媒体)或自处理器而接收。如步骤120所示,当前区块的一个或多个调色板共享标志被确定。第一调色板共享标志被检测以确定是否被断言。在步骤130中,若结果为“是”,则流程转至步骤140。若结果为“否”,则流程转至步骤150。在步骤140或步骤150的流程之后,流程转至步骤160。在步骤140中,一组当前调色板由该第一调色板共享标志指示的一个或多个当前调色板完全复制来自一组参考调色板组中的一个或多个参考调色板而产生。在步骤150中,该组当前调色板通过自与视频数据相关的比特流得到由该第一调色板共享标志指示的该一个或多个当前调色板而产生。在步骤160中,根据该组当前调色板,编码或解码被应用于该当前区块。
上述的流程图用于描述根据本发明的调色板编码的示例。本领域技术人员可在不脱离本发明精神的前提下,修改、重排列、拆分、或组合各个步骤,以实现本发明。在本申请中,特定的语法和语义用于解释本发明的示范性实施方式。本领域技术人员可在不脱离本发明的精神的前提下,利用等同的语法和语义来取代上述的语法和语义,来实现本发明。
在提供特定应用和其需求的情况下,以上描述使得本领域技术人员能够实现本发明。对本领域技术人员来说,各种修饰是清楚的,以及在此定义的基本原理可以应用与其他实施方式。因此,本发明并不限于描述的特定实施方式,而应与在此公开的原则和新颖性特征相一致的最广范围相符合。在上述详细描述中,为全面理解本发明,描述了各种特定细节。然而,本领域技术人员能够理解本发明可以实现。
以上描述的本发明的实施方式可在各种硬件、软件编码或两者组合中进行实施。例如,本发明的实施方式可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施方式也可为在数据信号处理器(Digital SignalProcessor,DSP)中执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务,其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而,根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
在不脱离本发明精神或本质特征的情况下,可以其他特定形式实施本发明。描述示例被认为仅在所有方面进行说明并且不是限制性的。因此,本发明的范围由权利要求书指示,而非前面描述。所有在权利要求等同的方法与范围中的变化都属于本发明的涵盖范围。

Claims (20)

1.一种在视频编码系统中的视频数据区块的编码方法,其特征在于,该方法利用调色板编码,该方法包括:
接收与当前区块相关的输入数据,该当前区块包括一组颜色组分,其中该组颜色组分由一个或多个颜色组成;
决定用于该当前区块的一个或多个调色板共享标志;
根据该一个或多个调色板共享标志,产生对应于该组颜色组分的一组当前调色板,其中若第一调色板共享标志被断言,产生该组当前调色板的步骤包括由该第一调色板共享标志来指示的一个或多个当前调色板完全复制来自一组参考调色板之中的一个或多个参考调色板,以及若该第一调色板共享标志不被断言,产生该组当前调色板的步骤包括,自与该视频数据相关的比特流,得到由该第一调色板共享标志指示的该一个或多个当前调色板;以及
根据该组当前调色板,编码或解码该当前区块。
2.根据权利要求1所述的在视频编码系统中的视频数据区块的编码方法,其特征在于,该当前区块对应于编码单元、预测单元、最大编码单元、或编码树区块。
3.根据权利要求1所述的在视频编码系统中的视频数据区块的编码方法,其特征在于,该一个或多个调色板共享标志对应于单一的共享标志,以及若该单一的共享标志被断言,产生该组当前调色板的步骤包括完全自该组参考调色板的所有参考调色板而复制该组当前调色板的所有当前调色板。
4.根据权利要求1所述的在视频编码系统中的视频数据区块的编码方法,其特征在于,该一个或多个调色板共享标志中的每一个共享标志对应于该组颜色组分的每一个颜色组分,以及若一个对应的共享标志被断言,产生该组当前调色板的步骤包括完全自具有该一个对应的颜色组分的一个对应的参考调色板,复制具有一个对应的颜色组分的一个对应的当前调色板。
5.根据权利要求1所述的在视频编码系统中的视频数据区块的编码方法,其特征在于,该一个或多个调色板共享标识对应于亮度调色板共享标志和色度调色板共享标志,以及若该亮度调色板共享标志或该色度调色板共享标志被断言,产生该组当前调色板的步骤包括完全自一个对应的亮度参考调色板或至少一个对应的色度参考调色板,复制当前亮度调色板或至少一个当前色度调色板。
6.根据权利要求1所述的在视频编码系统中的视频数据区块的编码方法,其特征在于,该组参考调色板对应于与一个或多个先前区块相关的新编码的一组或多组调色板之间的最新编码的一组调色板。
7.根据权利要求6所述的在视频编码系统中的视频数据区块的编码方法,其特征在于,该新编码的一组或多组调色板对应于新编码的N组调色板,其中N为大于0的整数。
8.根据权利要求7所述的在视频编码系统中的视频数据区块的编码方法,其特征在于,当一组新的调色板被存储于该新编码的N组调色板中时,自该新编码的N组调色板移除最先编码的调色板。
9.根据权利要求7所述的在视频编码系统中的视频数据区块的编码方法,其特征在于,该新编码的N组调色板被重置,以用于每一个最大编码单元、每一个由最大编码单元组成的区域,或每一个条带、以及N等于1。
10.根据权利要求1所述的在视频编码系统中的视频数据区块的编码方法,其特征在于,该组参考调色板对应于一组相邻调色板,该组相邻调色板与该当前区块的上方的相邻区块或左侧的相邻区块相关。
11.根据权利要求10所述的在视频编码系统中的视频数据区块的编码方法,其特征在于,若该第一调色板共享标志被断言,第二调色板共享标志被发送,以自该当前区块的该上方的相邻区块或该左侧的相邻区块选择该组参考调色板。
12.根据权利要求11所述的在视频编码系统中的视频数据区块的编码方法,其特征在于,若该当前区块的该上方的相邻区块和该左侧的相邻区块具有一组相同的调色板,则省略该第二调色板共享标志。
13.根据权利要求11所述的在视频编码系统中的视频数据区块的编码方法,其特征在于,若该当前区块的该上方的相邻区块和该左侧的相邻区块具有一组相同的调色板,该组参考调色板自一组相同的调色板和与代替的相邻区块相关的一组代替的调色板中选择,其中该代替的相邻区块对应于左上方相邻区块或右上方相邻区块。
14.根据权利要求11所述的在视频编码系统中的视频数据区块的编码方法,其特征在于,若该当前区块的该上方的相邻区块和该左侧的相邻区块具有一组相同的调色板,该组参考调色板自一组相同的调色板和一组先前编码的调色板中选择。
15.一种在视频编码系统中的视频数据区块的编码装置,其特征在于,该装置利用调色板编码,该装置包括一个或多个电子电路,被配置为:
接收与当前区块相关的输入数据的装置,该当前区块包括一组颜色组分,其中该组颜色组分由一个或多个颜色组成;
决定用于该当前区块的一个或多个调色板共享标志的装置;
根据该一个或多个调色板共享标志,产生对应于该组颜色组分的一组当前调色板的装置,其中若第一调色板共享标志被断言,该组当前调色板的一个或多个当前调色板由该第一调色板共享标志来指示,该一个或多个当前调色板完全自一组参考调色板之中的一个或多个参考调色板而被复制,以及若该第一调色板共享标志不被断言,该组当前调色板的该一个或多个当前调色板由该第一调色板共享标志来指示,该一个或多个当前调色板自与该视频数据相关的比特流而得到;以及
根据该组当前调色板,编码或解码该当前区块的装置。
16.根据权利要求15所述的在视频编码系统中的视频数据区块的编码装置,其特征在于,该当前区块对应于编码单元、预测单元、最大编码单元、或编码树区块。
17.根据权利要求15所述的在视频编码系统中的视频数据区块的编码装置,其特征在于,该一个或多个调色板共享标志对应于单一的共享标志,以及若该单一的共享标志被断言,该组当前调色板的所有当前调色板完全自该组参考调色板的所有参考调色板而被复制。
18.根据权利要求15所述的在视频编码系统中的视频数据区块的编码装置,其特征在于,该一个或多个调色板共享标志对应于该组颜色组分的每一个颜色组分,以及若一个对应的共享标志被断言,具有一个对应的颜色组分的一个对应的当前调色板完全自具有该一个对应的颜色组分的一个对应的参考调色板而被复制。
19.根据权利要求15所述的在视频编码系统中的视频数据区块的编码装置,其特征在于,该组参考调色板对应于与一个或多个先前区块相关的新编码的一组或多组调色板之间的最新编码的一组调色板。
20.根据权利要求15所述的在视频编码系统中的视频数据区块的编码装置,其特征在于,该组参考调色板对应于一组相邻调色板,该组相邻调色板与该当前区块的上方的相邻区块或左侧的相邻区块相关。
CN201480069231.6A 2013-12-18 2014-12-05 在视频编码中用于调色板预测和共享的方法和装置 Expired - Fee Related CN106031142B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361917474P 2013-12-18 2013-12-18
US61/917,474 2013-12-18
US201461923378P 2014-01-03 2014-01-03
US61/923,378 2014-01-03
PCT/US2014/068725 WO2015094711A1 (en) 2013-12-18 2014-12-05 Palette prediction and sharing in video coding

Publications (2)

Publication Number Publication Date
CN106031142A CN106031142A (zh) 2016-10-12
CN106031142B true CN106031142B (zh) 2019-07-26

Family

ID=53403504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480069231.6A Expired - Fee Related CN106031142B (zh) 2013-12-18 2014-12-05 在视频编码中用于调色板预测和共享的方法和装置

Country Status (5)

Country Link
US (1) US10469848B2 (zh)
EP (1) EP3085068A4 (zh)
CN (1) CN106031142B (zh)
CA (1) CA2934246C (zh)
WO (1) WO2015094711A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10291915B2 (en) * 2014-03-06 2019-05-14 Samsung Electronics Co., Ltd. Video decoding method and apparatus and video encoding method and apparatus
CN106254865B (zh) 2015-06-08 2020-06-09 同济大学 一种图像编码及解码方法、图像处理设备
ES2711189R1 (es) 2016-04-06 2020-02-04 Kt Corp Metodo y aparato para procesar senales de video
PL3731527T3 (pl) * 2016-05-28 2023-01-09 Hfi Innovation Inc. Sposób i urządzenie do kodowania w trybie palety dla danych kolorowego wideo
US11039147B2 (en) 2016-05-28 2021-06-15 Mediatek Inc. Method and apparatus of palette mode coding for colour video data
US11025905B2 (en) * 2018-09-14 2021-06-01 Tencent America LLC Method and device for decoding with palette mode
JP2022548582A (ja) 2019-09-12 2022-11-21 バイトダンス インコーポレイテッド 映像符号化におけるパレット予測子の使用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101884219A (zh) * 2007-10-16 2010-11-10 Lg电子株式会社 处理视频信号的方法和装置
CN102523367A (zh) * 2011-12-29 2012-06-27 北京创想空间商务通信服务有限公司 基于多调色板的实时图像压缩和还原方法
CN103209326A (zh) * 2013-03-29 2013-07-17 惠州学院 一种png图片的压缩方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5065144A (en) * 1990-04-17 1991-11-12 Analog Devices, Inc. Apparatus for mix-run encoding of image data
US5579239A (en) * 1994-02-16 1996-11-26 Freeman; Mitchael C. Remote video transmission system
US7164792B2 (en) 2003-03-11 2007-01-16 Sun Microsystems, Inc. Method and apparatus for compressing images using color palettes and rare colors
US20060204086A1 (en) 2005-03-10 2006-09-14 Ullas Gargi Compression of palettized images
US9232226B2 (en) * 2008-08-19 2016-01-05 Marvell World Trade Ltd. Systems and methods for perceptually lossless video compression
US9462275B2 (en) * 2012-01-30 2016-10-04 Qualcomm Incorporated Residual quad tree (RQT) coding for video coding
US9654777B2 (en) * 2013-04-05 2017-05-16 Qualcomm Incorporated Determining palette indices in palette-based video coding
US9558567B2 (en) * 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101884219A (zh) * 2007-10-16 2010-11-10 Lg电子株式会社 处理视频信号的方法和装置
CN102523367A (zh) * 2011-12-29 2012-06-27 北京创想空间商务通信服务有限公司 基于多调色板的实时图像压缩和还原方法
CN103209326A (zh) * 2013-03-29 2013-07-17 惠州学院 一种png图片的压缩方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《AHG8: Major-color-based screen content coding》;Guo et al;《Joint Collaborative Team on Video Coding》;20131025;第7.3.8.5、7.4.9.5、8.4.1节、表9-39 *
《Non-Rec:Template-based palette prediction》;Zhu et al;《Joint Collaborative Team on Video Coding》;20130730;第2.1节 *
Guo et al.《AHG8: Major-color-based screen content coding》.《Joint Collaborative Team on Video Coding》.2013, *

Also Published As

Publication number Publication date
EP3085068A1 (en) 2016-10-26
US10469848B2 (en) 2019-11-05
US20160316213A1 (en) 2016-10-27
CA2934246A1 (en) 2015-06-25
CN106031142A (zh) 2016-10-12
EP3085068A4 (en) 2016-12-21
WO2015094711A1 (en) 2015-06-25
CA2934246C (en) 2019-02-12

Similar Documents

Publication Publication Date Title
CN106031142B (zh) 在视频编码中用于调色板预测和共享的方法和装置
CN106068647B (zh) 视频编码系统中用调色板编码来编解码视频数据块的方法
CN105981380B (zh) 利用调色板编码的编码视频数据区块的方法和装置
CN106797478B (zh) 调色板编码的方法
CN106105229B (zh) 使用调色板编码来编码视频数据的块的方法及装置
CN105981388B (zh) 调色板编码中句法冗余移除的方法和装置
CN106031171B (zh) 具有跨块预测的调色板编码的方法和装置
CN106416246B (zh) 视频编码中的语法的二进制化和上下文自适应编码的方法和装置
CN105594211B (zh) 用于图片的包括帧内区块复制模式的编码模式的发送方法
CN106464869B (zh) 调色板表初始化和管理的方法
CN105874795B (zh) 在波前并行处理被启用时对图片内预测模式的规则
CN110393011B (zh) 用于视频编解码中具有帧内方向预测模式的内含帧内编解码工具设定的方法和装置
KR102071764B1 (ko) 영상 부호화, 복호화 방법 및 장치
CN102098507B (zh) 图像统合压缩方法及装置
CN106464912B (zh) 调色板表预测和发信的方法和装置
CN108322760A (zh) 一种视频编解码的方法及装置
CN106105200A (zh) 基于调色板的视频译码
CN104853211A (zh) 使用多种形式的参考像素存储空间的图像压缩方法和装置
CN110191338A (zh) 在索引图编码中将跳出像素作为预测器的方法
CN107302704A (zh) 从数据流解码具有变换系数级别的多个变换系数的装置
CN107431826A (zh) 用于视频图像压缩中调色板编码的调色板预测子初始化方法及其装置
CN108271024A (zh) 图像编码、解码方法及装置
JP2017520205A (ja) パレットサイズシグナリング、および、条件付きのパレットエスケープフラグシグナリングの方法
CN113784124B (zh) 使用多种形状子块进行精细划分的块匹配编码和解码方法
CN107251555A (zh) 视频和图像压缩中单色内容调色板编码的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190726

Termination date: 20211205

CF01 Termination of patent right due to non-payment of annual fee