CN107105246B - 图像编码方法以及图像编码装置 - Google Patents

图像编码方法以及图像编码装置 Download PDF

Info

Publication number
CN107105246B
CN107105246B CN201710000965.4A CN201710000965A CN107105246B CN 107105246 B CN107105246 B CN 107105246B CN 201710000965 A CN201710000965 A CN 201710000965A CN 107105246 B CN107105246 B CN 107105246B
Authority
CN
China
Prior art keywords
processing unit
unit
decoding
data
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710000965.4A
Other languages
English (en)
Other versions
CN107105246A (zh
Inventor
笹井寿郎
西孝启
柴原阳司
杉尾敏康
谷川京子
松延彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Patent Trust Inc
Original Assignee
Sun Patent Trust Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Patent Trust Inc filed Critical Sun Patent Trust Inc
Publication of CN107105246A publication Critical patent/CN107105246A/zh
Application granted granted Critical
Publication of CN107105246B publication Critical patent/CN107105246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种动态图像编码方法,具有:变换/量化步骤,包含按照每个第二处理单位将空间域的动态图像信号变换为频域的系数的处理、和对频域的系数进行量化的处理,其中,第一处理单位包含一个以上的第二处理单位;以及算术编码步骤(S704),对辉度CBF标识进行算术编码,该辉度CBF标识表示在执行变换/量化步骤的第二处理单位中是否包含量化系数,在算术编码步骤中,根据第一以及第二处理单位的大小是否相同、以及第二处理单位是否是预先规定的最大大小(S701),来决定用于算术编码的概率表(S702、S703)。

Description

图像编码方法以及图像编码装置
分案申请说明
本发明是中国国家申请号为201280002030.5(PCT申请号为PCT/JP2012/004538)、申请日为2012年7月13日、发明名称为“动态图像解码方法以及动态图像解码装置”的发明专利申请的分案申请。
技术领域
本发明涉及为了按照每个块对图像进行编码,而对表示编码对象块的变换系数是否存在的标识进行编码的动态图像编码方法以及动态图像编码装置、以及对表示被编码了的变换系数是否存在的标识进行解码的动态图像解码方法及动态图像解码装置、和动态图像编解码装置。
背景技术
通过因特网的视频会议、数字视频广播、和用于包含影像内容的流播放的、例如视频点播类的服务的应用的数量逐渐增多,这些应用依赖于影像信息的发送。发送或记录影像数据时,相当量的数据通过被限定的带宽的以往的传送路径发送、或被存储于限定数据容量的以往的存储介质。为了在以往的传送信道以及存储介质中发送以及存储影像信息,压缩或削减数字数据的量是不可缺少的。
因此,为了压缩影像数据,而开发有多个的影像编码标准。像这样的影像编码标准例如有由H.26x所表示的ITU-T标准、以及由MPEG-x所表示的ISO/IEC标准。现在最新且最前沿的影像编码标准是由H.264/MPEG-4AVC所表示的标准(参考非专利文献1)。
成为这些的标准的大部分的基础的编码方法是基于包含由以下的(a)~(d)所示出的主要的阶段的预测编码。(a)为了以块级对影像帧的每一个进行数据压缩,将影像帧分割为像素的块。(b)通过根据事先被编码的影像数据预测各个的块,从而确定时间的以及空间的冗余度。(c)通过从影像数据减去预测数据,从而除去被确定的冗余度。(d)通过傅立叶变换、量化、以及熵编码,对剩余的数据(残差块)进行压缩。
现有技术文献
非专利文献
非专利文献1:ITU-T Recommendation H.264「Advanced video coding forgeneric audiovisual services」,2010年3月
非专利文献2:JCT-VC“WD3:Working Draft 3of High-Efficiency VideoCoding”,JCTVC-E603,March 2011.
发明概要
发明要解决的问题
发明内容
近年,随着动态图像的高清晰化等,要求编码效率的进一步提高。
因此,本发明的目的是提供编码效率高的动态图像编码方法、动态图像编码装置、动态图像解码方法、动态图像解码装置、以及动态图像编解码装置。
用于解决技术问题的手段
本发明的一个实施方式涉及的动态图像编码方法是按照每个第一处理单位对动态图像信号进行编码的方法。具体地说,动态图像编码方法具有:变换/量化步骤,包含按照每个第二处理单位,将空间域的所述动态图像信号变换为频域的系数的处理、和对所述频域的系数进行量化的处理,其中,所述第一处理单位包含一个以上的所述第二处理单位;以及算术编码步骤,对亮度CBF标识进行算术编码,该亮度CBF标识表示执行所述变换/量化步骤的所述第二处理单位是否包含量化系数。并且,在所述算术编码步骤中根据所述第一以及第二处理单位的大小是否相同、以及所述第二处理单位是否是预先规定的最大大小,来决定用于算术编码的概率表。
另外,本发明不仅能作为如上所述的编码方法或解码方法来实现,也能作为使计算机执行像这样的编码方法或解码方法所包含的个步骤的程序来实现。并且,那样的程序当然也可以通过CD-ROM(Compact Disc Read Only Memory)等非临时的记录介质或者因特网等的传送介质来进行分发。
发明的效果
根据本发明,可对亮度CBF标识高效地进行算术编码以及算术解码。
附图说明
图1是示出本发明的实施方式1涉及的亮度CBF标识解码部的解码装置的功能结构的框图。
图2是示出本发明的亮度CBF解码部101的动作的流程的一个例子的流程图。
图3是用于说明在本发明的实施方式1的亮度CBF解码部101详细情况的模式图。
图4是示出本发明的实施方式1涉及的动态图像解码装置的结构的一个例子的框图。
图5A是用于本实施方式的算术解码的表1000,是与图28A的表0000对应的表。
图5B是用于本实施方式的算术解码的表1001,是与图28B的表0001对应的表。
图5C是用于本实施方式的算术解码的表1002,是与图28C的表0002对应的表。
图5D是用于本实施方式的算术解码的表1003,是与图28D的表0003对应的表。
图6是对取得用于导出针对本发明的实施方式1的亮度CBF标识的概率的号码ctxIdxInc的方法进行说明的图。
图7是示出本发明的实施方式2涉及的亮度CBF标识编码部的动作的流程的一个例子的流程图。
图8是示出本发明的实施方式2涉及的图像编码装置的结构的一个例子的框图。
图9是实现内容分发服务的内容供给系统的全体结构图。
图10是数字广播用系统的全体结构图。
图11是示出电视的结构例的框图。
图12是示出在作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的框图。
图13是示出作为光盘的记录介质的结构例的图。
图14A是示出移动电话的一个例子的图。
图14B是示出移动电话的结构例的框图。
图15是表示多路复用数据的结构的图。
图16是概要地示出各流在复用数据中如何被复用的图。
图17是更加详细示出在PES数据包列中如何存储视频流的图。
图18是示出在复用数据中的TS数据包和源数据包的结构的图。
图19是示出PMT的数据结构的图。
图20是示出复用数据信息的内部结构的图。
图21是示出流属性信息的内部结构的图。
图22是示出识别影像数据的步骤的图。
图23是示出实现各实施方式的动态图像编码方法及动态图像解码方法的集成电路的结构例的框图。
图24是示出切换驱动频率的结构的图。
图25是示出识别影像数据、并切换驱动频率的步骤的图。
图26是示出将影像数据的标准与驱动频率建立了对应的查找表的一个例子的图。
图27A是示出共享信号处理部的模块的结构的一个例子的图。
图27B是示出共享信号处理部的模块的结构的另外一个例子的图。
图28A表示片类型SliceType、和为了算术编码以及算术解码而与需要的概率值对应的ctxIdx的号码的对应的图。
图28B是用于对由图28A所示出的ctxIdx号码0~11、和用于决定初始概率而需要的信息(m、n)之间的组合进行定义的表。
图28C是示出定义根据片类型而前头的ctxIdx变化的偏移值ctxIdxOffset的分配的表。
图28D是示出对表示来自二值信号列的前头的顺序的号码binIdx如何分配分配ctxIdx的表。
图29A是示出取得在HEVC的用于导出与包含亮度CBF标识的标识相对应的ctxIdx号码的信号ctxIdxInc的方法的图。
图29B是示出亮度CBF标识的ctxIdxInc的决定方法的图。
图30是示出以往的上下文适应的算术解码处理的流程的图。
图31是示出以往的旁路处理用的算术解码处理的流程的图。
图32是用于详细地说明由图30的步骤SC08所示出的标准化处理(RenormD)的流程图。
具体实施方式
(成为本发明的基础的知识和见解)
在上述的(d)工序中,在现在的影像编码标准以及现在讨论中的影像编码标准中,通过对表示在傅立叶变换、量化后的残差块内是否有信息的标识进行编码,从而进一步削减信息量。具体地说,对识别量化后的残差块内的系数的有无的标识进行可变长编码。
另外,在被称作为现在标准化作业进展的HEVC的标准候选中(参照非专利文献2),将这个识别标识称为CBF,针对亮度信号的上述的识别标识,被称为亮度CBF标识cbf_luma。在可变长编码中,公知将后述的算术编码作为基础的编码方式(CABAC),在HEVC中,使用由图28A~图29B示出的方法所定义的参数来进行编码。
图28A~图28D是示出在HEVC的用于亮度CBF标识的编码的信息的定义的信息群。首先,在由图28A所示的表0000中示出被称为片类型Slice Type的片(Slice)的种类(I/P/B)和与用于算术编码以及算术解码而需要的概率值对应的ctxIdx的号码之间的对应。这个例如在I片的情况下,示出用于亮度CBF标识的编码以及解码的ctxIdx号码是0~3这4个种类。同样,在P片的情况下,示出4~7的4个种类,在B片的情况下,示出8~11的4个种类。
其次,在图28B所表示的表0001中,是用于定义由表0000所表示的ctxIdx号码0~11和用于决定初始概率而需要的信息(m、n)之间的组合的表。另外,对于使用(m,n)而导出做初始概率的方法,使用非专利文献1或非专利文献2记载的方法。
其次,图28C所示的表0002,是示出对根据前述的片类型(SliceType)而前头的ctxIdx变化(例0,4,8)情况进行定义的偏移值ctxIdxOffset的分配的表。
其次,由图28D所示的表0003是如下的表:为了在实际进行算术编码以及算术解码时,按照每二值信号列(bin)分配ctxIdx,示出对从该二值信号列的前头开始的表示顺序的号码binIdx,如何分配ctxIdx。即,将最初的二值信号列的最初的位设为binIdx=0时,后面被定义为1、2。另外,亮度CBF标识因为是表示"0"或"1"的标识,所以仅在binIdx=0的情况下定义。并且,在由9.3.3.1.1.1节所定义的方法中,示出ctxIdx号码使用0、1、2、3的某个的情况、以及根据片类型赋予0、4、8这样的偏移的情况。另外,表中的na是示出不存在的符号。
另外,对于9.3.3.1.1.1节的内容,使用图29A以及图29B进行详细地说明。图29A所示的B01,是来自非专利文献2的、表示取得在HEVC的用于导出与包含亮度CBF标识的标识相对应的ctxIdx号码的信号ctxIdxInc的方法的部分的摘录部分。
首先,在9.3.3.1.1示出对包含亮度CBF标识的标识使用邻接的块的结果进行算术编码的情况。其次,在9.3.3.1.1.1的部分,对由位于包括编码对象的标识的块的上面的块结果、和位于左面的块结果所导出情况进行详细说明。再者,对于亮度CBF标识,如由在图29B示出的表9-50所示,示出根据左块的亮度CBF标识、和上块的亮度CBF标识,如下地决定ctxIdxInc的情况。
首先,在左块的亮度CBF标识为0(或不存在)、并且上块的亮度CBF标识为0(或不存在)的情况下,将编码对象的亮度CBF标识的ctxIdxInc的号码设为0(例1)。另外,在左块的亮度CBF标识为1、并且上块的亮度CBF标识为0(或不存在)的情况下,将编码对象的亮度CBF标识的ctxIdxInc的号码设为1(例2)。另外,在左块的亮度CBF标识为0(或不存在)、并且上块的亮度CBF标识为1的情况下,将编码对象的亮度CBF标识的ctxIdxInc的号码设为2(例3)。另外,在左块的亮度CBF标识为1、并且上块的亮度CBF标识为1的情况下,将编码对象的亮度CBF标识的ctxIdxInc的号码设为3(例4)。
这样,根据周围的亮度CBF标识的值,对用于编码对象的亮度CBF标识的算术编码以及算术解码的、用于概率值导出的ctxIdxInc进行切换。
接着,对于所述的识别标识(CBF)等的可变长编码进行说明。在H.264中,作为可变长编码方法之一有上下文适应型算术编码(CABAC:Context Adaptive Binary ArithmeticCoding)。对于该CABAC,在下面使用图30~图32进行说明。
图30是表示前述的以往的上下文适应的算术解码处理的流程的图。另外,该图面是从非专利文献1摘录的内容,只要不特别说明,则按照在非专利文献1的记载。
在算术解码处理中,首先,输入基于信号类别所决定的上下文(ctxIdx)。
其次,根据表示在现在时刻的算术解码装置内的状态的参数codIRange,算出被导出的值qCodIRangeIdx,并取得作为与ctxIdx对应的状态值的pStateIdx值。并且,利用该2个值通过参照表(rangeTableLPS),取得codIRangeLPS。另外,所谓该codIRangeLPS是指对表示算术解码装置内的状态的第一参数codIRange,表示LPS(示出码元0或者1哪个产生概率低的侧的码元)产生的情况的算术解码装置内的状态的参数的值。另外,在codIRange中预先放入从现在的codIRange减去前述的codIRangeLPS的值(步骤SC01)。
其次,对算出的codIRange和表示算术解码装置内的状态的第二参数codIOffset进行比较(步骤SC02)。并且,在codIOffset与codIRange相等、或者比codIRange大的情况(SC02为“是”),判断为LPS的码元产生,则对作为解码输出值的binVal设置与valMPS(MPS<示出码元0或者1的哪个发生概率高的侧的码元>的具体的值(0或者1))不同的值(在valMPM=1为0,在valMPM=0时为1)。
另外,在表示算术解码装置内的状态的第二参数codIOffset中,设置减去codIRange的值。并且,在表示算术解码装置内的状态的第一参数codIRange中,因为LPS已产生,所以设置由步骤SC01算出的codIRangeLPS的值(步骤SC03)。
另外,在这里,在作为与所述的ctxIdx对应的状态值pStateIdx值为0的情况下(步骤SC05为“是”),因为示出LPS的概率超过MPS的概率的情况,所以更换valMPM(在valMPM=1时为0,在valMPM=0时为1)(步骤SC06)。另一方面,在pStateIdx值为0的情况(步骤SC05为“否”),基于LPS发生了的情况的变换表transIdxLPS更新pStateIdx值(步骤SC07)。
另外,在codIOffset小的情况下(SC02为“否”),判断为MPS的码元已产生,在作为解码输出值的binVal设置valMPS,基于MPS已产生时的变换表transIdxMPS更新pStateIdx值(步骤SC04)。
最后,进行标准化处理(RenormD)结束(步骤SC08),而结束算术解码处理。
在这样上下文适应算术解码处理中,使作为2值码元的发生概率的码元发生概率与在上下文索引建立对应并保持多个,根据条件(例如参照邻接块的值)切换,因此需要维持处理的顺序。
图31是示出前述的以往的旁路处理用的算术解码处理的流程的图。另外,该图面是从非专利文献1摘录的部分,只要没有特别说明,则按照非专利文献1的记载。
首先,将在现在时刻的表示算术解码装置内的状态的第二参数codIOffset左移(2倍),从比特流读出1位,如果该读出位是1,则进一步+1,如果是0则设定为原样(2倍)的值(SD01)。
其次,在codIOffset与示出算术解码装置内的状态的第一参数codIRange相等、或大的情况下(SD02为“是”),则在作为解码输出值的binVal设置"1",在codIOffset设置减去codIRange的值(步骤SD03)。另一方面,在codIOffset比表示算术解码装置内的状态的第一参数codIRange小的情况下(SD02为“否”),在作为解码输出值的binVal设置"0"(步骤SD04)。
图32是用于详细地说明由图30的步骤SC08示出的标准化处理(RenormD)的流程图。该图面是从非专利文献1摘录的部分,只要没有特别说明,则按照非专利文献1的记载。
在算术解码处理中表示算术解码装置内的状态的第一参数codIRange比0x100(16进制:256(10进制))小的情况下(步骤SE01为“是”),使codIRange左移位(2倍),并使表示算术解码装置内的状态的第二参数codIOffset左移位(2倍),从比特流读出1位,如果该读出位是1,则进一步+1,如果是0则设定为原样(2倍)的值(SE02)。在处理中,在最终地codIRange成为256以上的阶段(步骤SE01为“否”),则结束处理。
通过进行上述的处理,进行算术解码。
然而,以往为了进行亮度CBF标识的算术编码以及算术解码,需要根据邻接上侧以及左侧的块的结果来改变概率值。因此,为了进行算术编码或算术解码,需要预先记录与左侧及上侧邻接的块的亮度CBF标识的结果。因此,在输入影像的分辨率大的情况时,存在必须庞大地预先准备用于预先保存亮度CBF标识的结果的存储器。
为了解决上述的课题,本发明的一个实施方式涉及的动态图像编码方法,是按照每个第一处理单位对动态图像信号进行编码的方法。具体地说,动态图像编码方法具有:变换/量化步骤,包含按照每个第二处理单位将空间域的所述动态图像信号变换为频域的系数的处理、和对所述频域的系数进行量化的处理,其中,所述第一处理单位包含一个以上的所述第二处理单位;以及算术编码步骤,对亮度CBF标识进行算术编码,该亮度CBF标识表示在执行了所述变换/量化步骤的所述第二处理单位中是否包含量化系数。并且,在所述算术编码步骤中,根据所述第一以及第二处理单位的大小是否相同、以及所述第二处理单位是否是预先规定的最大大小,来决定用于算术编码的概率表。
根据上述结构,因为不依赖于周边的块的亮度CBF标识的值来决定用于对亮度CBF标识进行算术编码的概率值,所以即使大幅度地削减保存亮度CBF标识的存储器容量,也能够维持高的编码效率。
并且,在所述算术编码步骤中,根据所述第一处理单位属于的片的类别,决定用于算术编码的概率表。
作为一个例子,所述第一处理单位也可以是编码块。另外,所述第二处理单位也可以是变换块。
另外,所述动态图像编码方法也可以对依据第一标准的编码处理和依据第二标准的编码处理进行切换,执行所述变换/量化步骤和所述算术编码步骤作为依据所述第一标准的编码处理,进而对示出编码处理的标准的标识符进行编码。
本发明的一个实施方式涉及的动态图像解码方法,是按照第一处理单位对被编码的动态图像信号进行解码的方法。具体地说,动态图像解码方法具有:算术解码步骤,对亮度CBF标识进行算术解码,该亮度CBF标识表示在所述第一处理单位包含1个以上的第二处理单位中是否包含量化系数;以及恢复步骤,在所述算术解码步骤所解码的所述亮度CBF标识表示在所述第二处理单位中包含量化系数的情况下,使用该第二处理单位的量化系数来对动态图像信号进行恢复。并且,在所述算术解码步骤中根据所述第一以及第二处理单位的大小是否相同,以及所述第二处理单位是否是预先规定的最大大小,来决定用于算术解码的概率表。
并且,在所述算术解码步骤中进一步根据所述第一处理单位属于的片的类别,决定用于算术解码的概率表。
作为一个例子,所述第一处理单位也可以是编码块。另外,所述第二处理单位也可以是变换块。
还有,所述动态图像解码方法也可以根据包含于编码信号中的、示出第一标准或第二标准的标识符,对依据所述第一标准的解码处理、和依据所述第二标准的解码处理进行切换,在所述标识符表示第一标准时,执行所述算术解码步骤和所述恢复步骤,作为依据所述第一标准的解码处理。
本发明的一个实施方式涉及的动态图像编码装置按照每个第一处理单位对动态图像信号进行编码。具体地说,动态图像编码装置具有:变换/量化部,包含按照每个第二处理单位将空间域的所述动态图像信号变换为频域的系数转的处理、和对所述频域的系数进行量化的处理,其中,所述第一处理单位包含一个以上的所述第二处理单位;以及算术编码部,对表示所述变换/量化部所处理的所述第二处理单位中是否包含量化系数的亮度CBF标识进行算术编码。并且,所述算术编码部根据所述第一以及第二处理单位的大小是否相同以及所述第二处理单位是否是预先规定的最大大小,来决定用于算术编码用的概率表。
本发明的一个实施方式涉及的动态图像解码装置,按照每个第一处理单位对被编码的动态图像信号进行解码。具体地说,动态图像解码装置具有:算术解码部,对表示在所述第一处理单位所包含的1个以上的第二处理单位中是否包含量化系数的亮度CBF标识进行算术解码;以及恢复部,在所述算术解码部所解码的所述亮度CBF标识表示在所述第二处理单位中包含量化系数的情况下,使用该第二处理单位的量化系数来对动态图像信号进行恢复。并且,所述算术解码部根据所述第一以及第二处理单位的大小是否相同,以及所述第二处理单位是否是预先规定的最大大小,来决定用于算术解码的概率表。
本发明的一个实施方式涉及的动态图像编解码装置,具有上述记载的动态图像编码装置和上述记载的动态图像解码装置。
另外,这些所有的或具体的实施方式可以通过系统、方法、集成电路、计算机程序或记录介质来实现,也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。
以下,对于本发明的实施方式使用附图进行详细地说明。另外,在以下说明的实施方式示出任一个本发明优选的具体例。总之,由以下的实施方式所示出的数值、形状、材料、结构要素、结构要素的配置以及连接方式、步骤、步骤的顺序等是本发明的一个例子,主旨不是限定本发明。本发明由权利要求书的记载所限定。因此,在以下的实施方式的结构要素中,本发明的表示最上位概念的独立权利要求记载的结构要素不一定是为了实现本发明的课题所必需的,不过是为了说明更优选的方式而被记载。
(实施方式1)
在实施方式1涉及的动态图像解码装置,按照每第一处理单位对被编码的动态图像信号进行解码。为此,动态图像解码装置具有:算术解码部,对亮度CBF标识进行算术解码,其中,该亮度CBF标识表示在第一处理单位包含的一个以上的第二处理单位中是否包含量化系数;以及恢复部,在算术解码部所解码的亮度CBF标识示出第二处理单位中包含量化系数的情况下,使用该第二处理单位的量化系数,对动态图像信号进行恢复。
并且,算术解码部根据第一以及第二处理单位的大小是否相同,以及第二处理单位是否是预先规定的最大大小,决定用于亮度CBF标识的算术解码的概率表。算术解码部进而也可以根据第一处理单位属于的片的类别(I片/P片/B片),决定用于算术解码的概率表。另外,所谓“决定概率表”例如可换句话说为“对上下文进行切换”。
被输入到动态图像解码装置的动态图像,由多个的图像所构成。另外,图像被分割为多个的片。并且,在片中,按照每后述处理单位进行编码以及解码。处理单位具有编码单位(CU)、预测单位(PU)、和变换单位(TU)。CU是由最大128×128像素组成的块,是相当于以往的宏块的单位。PU是画面间预测的基本单位。TU是正交变换的基本单位,该TU的大小与CU相同,或比CU小。以下,有时将编码单位记载为编码块,将变换单位记载为变换块。
在本实施方式中的第一处理单位例如是编码块(CU)。另外,在本实施方式的第二处理单位,例如是变换块(TU)。并且,亮度CBF标识在各变换块存在1个,表示该变换块内量化系数是否存在。另外,所谓“变换块内量化系数是否存在”,可换句话说为能够编码的量化系数是否存在。进而,可换句话说为在变换块内非零系数(值不是零的系数)是否存在。
图1是表示包括本发明的实施方式1涉及的亮度CBF标识解码部的解码装置的功能结构的框图。
本实施方式涉及的解码装置100,如图1所示,具有亮度CBF解码部101、控制部102、开关103、残差系数解码部104、残差信号恢复部105、以及加法运算部106。该解码装置100根据解码位置信息POS和从取得的比特流BS恢复亮度CBF标识,并从预测图像信号PRED输出解码图像信号OUT。
对本实施方式的亮度CBF解码部101的动作,使用图2进行详细地说明。图2是示出本发明的亮度CBF解码部101的动作的流程的一个例子的流程图。
首先,亮度CBF解码部101取得成为对象的比特流BS。另外,控制部102将成为解码对象的亮度CBF标识作为编码块及变换系数的大小,取得表示位于某个位置的信息POS,并向亮度CBF解码部101输出。
接着,亮度CBF解码部101根据由控制部102取得的信息,判断(i)解码对象的亮度CBF标识表示的变换块与编码块的大小是否相同,或者(ii)变换块的大小与变换块的最大大小是否相同(S201)。另外,确定变换块的最大大小的信息例如包含于比特流中。
在满足上述(i)和(ii)至少一方的情况下(S201为“是”),将用于规定用于算术解码的概率信息的号码ctxIdxInc设置为1(S203)。另一方面,在不满足上述的(i)以及(ii)的某一个的情况下(S201为“否”),将用于规定用于算术解码的概率信息的号码ctxIdxInc设置为0(S202)。另外,由ctxIdxInc所设定的值,不限于步骤S202、S203的例子。即,由步骤S202、S203设定为不相同的值即可。但,在编码侧和解码侧需要设定共同的值。
接着,取得与ctxIdx对应的概率值、并进行成为对象的亮度CBF标识的算术解码处理(S204),其中,该ctxIdx为用于规定由步骤S202、S203所能得到的概率信息的号码ctxIdxInc、与预先按照每片规定的偏移值(参照后述的图5A~图5D)进行相加而得到的值。由此,取得亮度CBF标识。
接着,在步骤S204取得的亮度CBF标识对控制部102输出,并用于开关103的控制。在亮度CBF标识表示"没有系数"的情况下(例如0),开关103与端子B连接。即,因为变换块内没有变换系数,所以不存在同预测图像信号PRED相加的残差信号,预测图像信号PRED作为解码图像信号OUT而输出。
另一方面,在亮度CBF标识表示"存在系数"的情况下(例如1),开关103与端子A连接。这种情况下,由残差系数解码部104对比特流BS中包含的残差系数信号进行解码,由加法运算部106对由残差信号恢复部105通过反量化及逆变换获得的残差信号和预测图像信号PRED进行加法运算,并作为解码图像信号OUT输出。由此,使用亮度CBF标识,可从比特流BS正确输出解码图像信号OUT。
即,图1所示的亮度CBF解码部101以及控制部102例如,相当于本实施方式涉及的算术解码部。另外,图1示出的开关103、残差系数解码部104、以及残差信号恢复部105相当于本实施方式涉及的恢复部。但是不限于上述的对应关系。
图3是用于说明由图2的步骤S201示出的条件的模式图。由粗框示出的块301~306表示编码块。另外,对块301、302进一步细分的块表示变换块。
变换块的大小被规定为与编码块的大小相同或比编码块小。另外,在该说明中,对以下情况进行说明,该情况被规定为块301、302的大小是编码块的最大大小(64像素×64像素),变换块的最大大小被规定为比块301、302小一个阶层的大小(32像素×32像素)。另外,变换大小的最大大小例如根据片的头信息所记载的信息而改变。
另外,本发明的特征为与变换块的大小无关,而根据确定的条件(步骤S201)切换概率表,并不依赖于周围的块的结果,因此即使变换块的最大大小改变的情况下也能实现本发明的效果(削减存储器量)。
在这里,首先对将块301作为编码块的情况进行说明。
首先,在对块301进行4分割而得到的第一阶层(32像素×32像素)的小块是变换块的情况下,对与第一阶层的小块建立对应的亮度CBF标识311进行解码。在表示该亮度CBF标识311没有系数的情况下,成为第一阶层的小块中未包含变换系数的情况。因此,不对与比这个小的块建立了对应的亮度CBF标识312、313进行解码。另外,在对亮度CBF标识311进行解码的情况下,第一阶层的小块因为成为变换块的最大大小(图2的S201为“是”),所以使用ctxIdxInc=1作为表示用于该亮度CBF标识的算术解码的概率表的号码(图2的S203)。
另一方面,在对第一阶层的小块进行4分割而得到的第二阶层(16像素×16像素)的小块是变换块的情况下,对与该第二阶层的小块建立对应的亮度CBF标识312进行解码。另外,在对第二阶层的小块进一步进行4分割而得到的第3阶层(8像素×8像素)的小块是变换块的情况下,对与该第3阶层的小块建立对应的亮度CBF标识313进行解码。在这些情况下,成为使用ctxIdxInc=0作为对用于该亮度CBF标识的算术解码的概率表进行表示的号码(图2的S202)。
另外,在对与块302的第一阶层的小块建立对应的亮度CBF标识(图示省略)进行解码的情况下,使用ctxIdxInc=1作为表示概率表的号码,在对与第二阶层以下的小块建立对应的亮度CBF标识(省略图示)进行解码的情况下,使用ctxIdxInc=0作为表示概率表的号码。并且,即使对块303~306也判断变换块的大小是否与编码块的大小一致,或者判断是否与变换块的最大大小一致,并根据判断结果决定表示概率表的号码ctxIdxInc。
如以上所示,通过比较变换块的大小和编码块的大小,来进行将ctxIdxinc设为"0"或设为"1"的两种切换,从而可将概率表的数量从以往的4个也削减为2个(每片)。并且,为了决定解码对象的亮度CBF标识的ctxIdxinc,因为不需要参照周围的块的亮度CBF标识,所以不需要确保包括线路缓冲器的大量的存储器,并能正确地对亮度CBF标识进行解码。
另外,根据变换块的大小是否最大,将亮度CBF标识的概率表切换为2个等级,从而能够抑制因概率表的种类的削减所致的编码效率的劣化。这是因为变换系数的有无往往不依赖于变换块的块大小,更具体地说,是利用以下的情况:如果变换块的大小变小则系数全部成为零的可能性变高。
另外,在对被压缩编码的编码图像数据进行解码的动态图像解码装置具备本发明的实施方式1涉及的算术解码部(解码装置100)。图4是表示本发明的实施方式1涉及的动态图像解码装置400的结构的一个例子的框图。
动态图像解码装置400对被压缩编码的编码图像数据进行解码。例如,动态图像解码装置400按照每块输入编码图像数据作为解码对象信号。动态图像解码装置400通过对被输入的解码对象信号进行可变长解码、反量化以及逆变换,从而恢复图像数据。
如图4所示,动态图像解码装置400具有:熵解码部410、反量化/逆变换部420、加法运算器425、解块滤波器430、存储器440、帧内预测部450、运动补偿部460、以及帧内/帧间切换转换器470。
熵解码部410通过对输入信号(输入流)进行可变长解码,从而恢复量化系数。另外,在这里,输入信号(输入流)是解码对象信号,相当于编码图像数据的每块的数据。另外,熵解码部410从输入信号取得运动数据,并将取得的运动数据向运动补偿部460输出。
反量化/逆变换部420通过对由熵解码部410进行恢复的量化系数进行反量化,从而对变换系数进行恢复。并且,反量化/逆变换部420通过对恢复的变换系数进行逆变换,从而恢复预测误差。
加法运算器425通过对由反量化/逆变换部420恢复的预测误差、和从帧内/帧间切换转换器470取得的预测信号进行加法运算,从而生成解码图像。
解块滤波器430对由加法运算器425生成的解码图像进行解块滤波处理。被解块滤波处理的解码图像,作为解码信号而输出。
存储器440是用于存放用于运动补偿的参照图像的存储器。具体地说,存储器440存放由解块滤波器430实施解块滤波处理的解码图像。
帧内预测部450通过进行帧内预测,生成预测信号(帧内预测信号)。具体地说,帧内预测部450通过参照由加法运算器425所生成的解码图像中的解码对象块(输入信号)的周围的图像,来进行帧内预测,从而生成帧内预测信号。
运动补偿部460通过基于从熵解码部410所输出的运动数据进行运动补偿,从而生成预测信号(帧间预测信号)。
帧内/帧间切换转换器470选择帧内预测信号以及帧间预测信号的某一个,将选择的信号作为预测信号输出到加法运算器425。
根据以上的结构,本发明的实施方式2涉及的动态图像解码装置400对被压缩编码的编码图像数据进行解码。
另外,在动态图像解码装置400中,本发明的实施方式1涉及的亮度CBF标识的解码部包含于熵解码部410、反量化/逆变换部420、和加法运算器425中。更具体地说,例如,图4的熵解码部410中包含图1的亮度CBF解码部101、控制部102、开关103、以及残差系数解码部104,图4的反量化/逆变换部420中包含图1的残差信号恢复部105,图4加法运算器425中包含图1的加法运算部106。但不限于上述的对应关系。
如上所述,根据本发明的实施方式1涉及的动态图像解码装置及动态图像解码方法,使解码对象的亮度CBF标识不依存于周边块的亮度CBF的值来进行算术解码,从而能对削减了用于亮度CBF标识的算术解码的存储器的必要性的比特流进行适当地恢复。
另外,在图5A、图5B、图5C、和图5D示出用于本实施方式的算术解码的表1000~1003的一个例子。另外,该表1000~10003是与图28A~图28D对应的表。如图5A~图5D所示,在本实施方式中,在每片切换2个概率表。另外,在概率表的切换中,不使用周围的块的亮度CBF标识的结果。对于此进一步使用图6进行说明。
图6是对取得用于导出针对在本实施方式的亮度CBF标识的概率的号码ctxIdxInc的方法进行说明的文章。如在这里所示,使2个号码的切换依赖于变换块的块大小(transformDepth,MaxTrafoSize),而不依赖于周边的块的结果。
(实施方式2)
关于本实施方式的算术编码方法的概要进行说明。另外,省略与实施方式1的共同点详细的说明,以不同点为中心进行说明。
本实施方式的算术编码方法其特征是,在亮度CBF标识的编码中不是如以往那样使用在周围块的亮度CBF标识的结果,而是根据变换块的块大小切换2个概率表(每片)。由此,实现大幅度削减编码需要的存储器大小。
以上是对本实施方式的算术编码方法的概要的说明。在没有特别说明的情况下,表示也可以采取与以往的算术编码方法相同的方法。
实施方式2涉及的动态图像编码装置按照每个第一处理单位对动态图像信号进行编码。具体地说,动态图像编码装置具有:变换/量化部,其包含按照第一处理单位包含的一个以上的每个第二处理单位将空间域的动态图像信号(例如,残差信号)变换为频域的系数的处理、以及对频域的系数进行量化的处理;以及算术编码部,对亮度CBF标识进行算术编码,其中,该亮度CBF标识表示在执行变换/量化部的处理的第二处理单位中是否包含量化系数。
并且,算术编码部根据第一以及第二处理单位的大小是否相同,以及预定第二处理单位是否是预先规定的最大大小,来决定用于亮度CBF标识的算术编码的概率表(对上下文进行切换)。算术编码部也可以进一步根据第一处理单位属于的片的类别,来决定用于算术编码的概率表。
其次,对本实施方式的进行亮度CBF标识编码方法的亮度CBF标识编码部的处理的流程进行说明。图7是表示本发明的实施方式2涉及的亮度CBF标识编码部的动作流程的一个例子的流程图。
亮度CBF标识编码部根据从控制部取得的信息,判断(i)编码对象的亮度CBF标识表示的变换块的大小与编码块的大小是否相同,或者(ii)变换块的大小与变换块的最大大小是否相同(S701)。另外,确定变换块的最大大小的信息例如被包含在比特流中。
在满足上述的(i)和(ii)至少一方的情况下(S701为“是”),将用于规定用于算术编码的概率信息的号码ctxIdxInc设置为1(S703)。另一方面,在上述的(i)和(ii)任一个都不满足的情况下(S701为“否”),将用于规定用于算术编码的概率信息的号码ctxIdxInc设置为0(S702)。
接着,取得与ctxIdx对应的概率值,进行成为对象的亮度CBF标识的算术编码处理(S704),其中,该ctxIdx为将用于规定由步骤S702、S703所得到的概率信息的号码ctxIdxInc、和对预先按照每片所规定的偏移值(参照图5A~图5D)进行相加而得到。由此,对亮度CBF标识进行编码。
通过这样编码,可实现存储器的需要量少的亮度CBF标识的编码装置。
另外,在对图像数据进行压缩编码的图像编码装置具备本发明的实施方式2涉及的亮度CBF标识编码部。图8是示出本发明的实施方式2涉及的图像编码装置200的结构的一个例子的框图。
图像编码装置200对图像数据进行压缩编码。例如,图像编码装置200按照每块输入图像数据作为输入信号。图像编码装置200通过对被输入的输入信号进行变换、量化以及可变长编码,来生成编码信号。
如图10所示,图像编码装置200具有减法器205、变换/量化部210、熵编码部220、反量化/逆变换部230、加法运算器235、解块滤波器240、存储器250、帧内预测部260、运动检测部270、运动补偿部280、以及帧内/帧间切换转换器290。
减法器205对输入信号和预测信号的差分、即预测误差进行计算。
变换/量化部210通过变换空间域的预测误差,来生成频域的变换系数。例如,变换/量化部210通过对预测误差进行DCT(Discrete Cosine Transform)变换,来生成变换系数。进而,变换/量化部210通过对变换系数进行量化,来生成量化系数。
另外,变换/量化部210生成表示在变换块内系数(量化系数)是否存在亮度CBF标识。具体地说,变换/量化部210在变换块内系数存在的情况下,在亮度CBF标识设置"1",在变换块内系数不存在的情况,将亮度CBF标识设置为"0"。
熵编码部220通过对量化系数进行可变长编码,来生成编码信号。另外,熵编码部220对由运动检测部270检测出的运动数据(例如,运动矢量)进行编码,并包含在编码信号中而输出。
反量化/逆变换部230通过对量化系数进行反量化,从而对变换系数进行恢复。并且,反量化/逆变换部230通过对恢复的变换系数进行逆变换,来对预测误差进行恢复。另外,被恢复的预测误差因为由于量化而丢失信息,所以与减法器205生成的预测误差不一致。即,被恢复的预测误差包含量化误差。
加法运算器235通过对被恢复的预测误差和预测信号进行加法运算,来生成本地解码图像。
解块滤波器240对被生成的本地解码图像进行解块滤波处理。
存储器250是用于存放用于运动补偿的参照图像的存储器。具体地说,存储器250存放实施解块滤波处理的本地解码图像。
帧内预测部260通过进行帧内预测,来生成预测信号(帧内预测信号)。具体地说,帧内预测部260参照由加法运算器235所生成的本地解码图像的编码对象块(输入信号)的周围的图像,来进行帧内预测,从而生成帧内预测信号。
运动检测部270对输入信号和存储器250所存放的参照图像之间的运动数据(例如,运动矢量)进行检测。
运动补偿部280通过基于被检测出的运动数据来进行运动补偿,从而生成预测信号(帧间预测信号)。
帧内/帧间切换转换器290选择帧内预测信号及帧间预测信号的某一个,将选择了的信号作为预测信号向减法器205以及加法器235输出。
通过以上的结构,本发明的实施方式2涉及的图像编码装置200对图像数据进行压缩编码。
另外,在动态图像编码装置200中,本发明的实施方式2涉及的CBF标识编码部例如包含于熵编码部220。即,熵编码部220所包含的CBF标识编码部对由变换/量化部210所生成的亮度CBF标识进行算术编码。但不限定于上述的对应关系。
(实施方式3)
通过将用于实现由上述各实施方式示出的动态图像编码方法(图像编码方法)或动态图像解码方法(图像解码方法)的结构的程序记录在存储介质中,可在独立的计算机系统中简单地实施由上述各实施方式示出的处理。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等可记录程序的介质即可。
并且在这里,对由上述各实施方式示出的动态图像编码方法(图像编码方法)和动态图像解码方法(图像解码方法)的应用例和使用其的系统进行说明。该系统其特征是具有由使用了图像编码方法的图像编码装置、以及使用了图像解码方法的图像解码装置构成的图像编解码装置。对于在系统的其他的结构,可根据情况进行适当地变更。
图9是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小,在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。
该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex106~ex110连接着计算机ex111、PDA(Personal Digital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。
但是,内容供给系统ex100并不限定于图9那样的结构,也可以将某些要素组合连接。此外,也可以不经由作为固定无线站的基站ex106~ex110将各设备直接连接在电话网ex104上。此外,也可以将各设备经由近距离无线等直接相互连接。
照相机ex113是能够进行数字摄像机等的动态图像摄影的设备,照相机ex116是能够进行数字照相机等的静止图像摄影、动态图像摄影的设备。此外,便携电话ex114是GSM(注册商标)(Global System for Mobile Communications)方式、CDMA(Code DivisionMultiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(Personal Handyphone System)等,是哪种都可以。
在内容供给系统ex100中,通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上,能够进行现场分发等。在现场分发中,对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即,作为本发明的一个方式的图像编码装置发挥作用),向流媒体服务器ex103发送。另一方面,流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端,有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中,将接收到的数据解码处理而再现(即,作为本发明的一个方式的图像解码装置发挥作用)。
另外,摄影的数据的编码处理既可以由照相机ex113进行,也可以由进行数据的发送处理的流媒体服务器ex103进行,也可以相互分担进行。同样,分发的数据的解码处理既可以由客户端进行,也可以由流媒体服务器ex103进行,也可以相互分担进行。此外,并不限于照相机ex113,也可以将由照相机ex116摄影的静止图像及/或动态图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以,也可以相互分担进行。
此外,这些编解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片,也可以是由多个芯片构成的结构。另外,也可以将动态图像编解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD-ROM、软盘、硬盘等)中、使用该软件进行编解码处理。进而,在便携电话ex114是带有照相机的情况下,也可以将由该照相机取得的动态图像数据发送。此时的动态图像数据是由便携电话ex114具有的LSIex500编码处理的数据。
此外,也可以是,流媒体服务器ex103是多个服务器或多个计算机,是将数据分散处理、记录、及分发的。
如以上这样,在内容供给系统ex100中,客户端能够接收编码的数据而再现。这样,在内容供给系统ex100中,客户端能够将用户发送的信息实时地接收、解码、再现,即使是没有特别的权利或设备的用户也能够实现个人广播。
另外,并不限定于内容供给系统ex100的例子,如图10所示,在数字广播用系统ex200中也能够装入上述实施方式的至少动态图像编码装置(图像编码装置)或动态图像解码装置(图像解码装置)的某个。具体而言,在广播站ex201中,将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的动态图像编码方法编码后的数据(即,通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波,能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波,通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(即,作为本发明的一个方式的图像解码装置发挥作用)。
此外,可以在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的动态图像解码装置或动态图像编码装置。在此情况下,可以将再现的影像信号显示在监视器ex219上,通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外,也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装动态图像解码装置,将其用电视机的监视器ex219显示。此时,也可以不是在机顶盒、而在电视机内装入动态图像解码装置。
图11是表示使用在上述各实施方式中说明的动态图像解码方法及动态图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
此外,电视机ex300具备:具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即,作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306;具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而,电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而,电视机ex300具有统一控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外,还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外,记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
首先,对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作,基于具有CPU等的控制部ex310的控制,将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而,电视机ex300将分离的声音数据用声音信号处理部ex304解码,将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时,可以暂时将这些信号储存到缓冲器ex318、ex319等中,以使声音信号和影像信号同步再现。此外,电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着,对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作,基于控制部ex310的控制,由声音信号处理部ex304将声音信号编码,由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用,向外部输出。在复用时,可以暂时将这些信号储存到缓冲器ex320、ex321等中,以使声音信号和影像信号同步再现。另外,缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个,也可以是共用一个以上的缓冲器的结构。进而,在图示以外,也可以在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。
此外,电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外,也可以具备受理麦克风或照相机的AV输入的结构,对从它们中取得的数据进行编码处理。另外,这里,将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明,但也可以不能进行这些处理,而是仅能够进行上述接收、解码处理、外部输出的结构。
此外,在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下,上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以,也可以是电视机ex300和读取器/记录器ex218相互分担进行。
作为一例,将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图12中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息,检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器,根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大,将记录在记录介质ex215中的信号成分分离并解调,再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道,进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成,通过执行读出写入的程序来执行它们的处理。
以上,假设光头ex401照射激光斑而进行了说明,但也可以是使用接近场光进行高密度的记录的结构。
在图13中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上,以螺旋状形成有导引槽(沟),在信息轨道ex230中,预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息,通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息,能够确定记录块。此外,记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233,配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的复用数据的读写。
以上,举1层的DVD、BD等的光盘为例进行了说明,但并不限定于这些,也可以是多层构造、在表面以外也能够记录的光盘。此外,也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
此外,在数字广播用系统ex200中,也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的导航仪ex211等的显示装置上再现动态图像。另外,导航仪ex211的结构可以考虑例如在图11所示的结构中添加GPS接收部的结构,在计算机ex111及便携电话ex114等中也可以考虑同样的结构。
图14A是表示使用在上述实施方式中说明的动态图像解码方法和动态图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。
进而,使用图14B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360,将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(LiquidCrystal Display:液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。
电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态,则通过从电池组对各部供给电力,便携电话ex114起动为能够动作的状态。
便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制,在语音通话模式时,将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号,将其用调制/解调部ex352进行波谱扩散处理,由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外,便携电话ex114在语音通话模式时,将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理,用调制/解调部ex352进行波谱逆扩散处理,通过声音信号处理部ex354变换为模拟声音信号后,将其经由声音输出部ex357输出。
进而,在数据通信模式时发送电子邮件的情况下,将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理,由发送/接收部ex351实施数字模拟变换处理及频率变换处理后,经由天线ex350向基站ex110发送。在接收电子邮件的情况下,对接收到的数据执行上述处理的大致逆处理,并输出到显示部ex350。
在数据通信模式时,在发送影像、静止图像、或者影像和声音的情况下,影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的动态图像编码方法进行压缩编码(即,作为本发明的一个方式的图像编码装置发挥作用),将编码后的影像数据送出至复用/分离部ex353。另外,声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码,将编码后的声音数据送出至复用/分离部ex353。
复用/分离部ex353通过规定的方式,对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用,将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理,由发送/接收部ex351实施数字模拟变换处理及频率变换处理后,经由天线ex350发送。
在数据通信模式时接收到链接到主页等的动态图像文件的数据的情况下,或者接收到附加了影像或者声音的电子邮件的情况下,为了对经由天线ex350接收到的复用数据进行解码,复用/分离部ex353通过将复用数据分离,分为影像数据的比特流和声音数据的比特流,经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给,并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的动态图像编码方法相对应的动态图像解码方法进行解码,由此对影像信号进行解码(即,作为本发明的一个方式的图像解码装置发挥作用),经由LCD控制部ex359从显示部ex358显示例如链接到主页的动态图像文件中包含的影像、静止图像。另外,声音信号处理部ex354对声音信号进行解码,从声音输出部ex357输出声音。
此外,上述便携电话ex114等的终端与电视机ex300同样,除了具有编码器、解码器两者的收发型终端以外,还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外,在数字广播用系统ex200中,设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明,但除声音数据之外复用了与影像关联的字符数据等的数据也可以,不是复用数据而是影像数据本身也可以。
这样,将在上述各实施方式中表示的动态图像编码方法或动态图像解码方法用在上述哪种设备、系统中都可以,通过这样,能够得到在上述各实施方式中说明的效果。
此外,本发明并不限定于这样的上述实施方式,能够不脱离本发明的范围而进行各种变形或修正。
(实施方式4)
也可以通过将在上述各实施方式中示出的动态图像编码方法或装置、与依据MPEG-2、MPEG4-AVC、VC-1等不同的标准的动态图像编码方法或装置根据需要而适当切换,来生成影像数据。
这里,在生成分别依据不同的标准的多个影像数据的情况下,在解码时,需要选择对应于各个标准的解码方法。但是,由于不能识别要解码的影像数据依据哪个标准,所以产生不能选择适当的解码方法的问题。
为了解决该问题,在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下,说明包括通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG-2传输流形式的数字流。
图15是表示复用数据的结构的图。如图15所示,复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像,音频流(IG)表示电影的主声音部分和与该主声音混合的副声音,演示图形流表示电影的字幕。这里,所谓主影像,表示显示在画面上的通常的影像,所谓副影像,是在主影像中用较小的画面显示的影像。此外,交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的动态图像编码方法或装置、依据以往的MPEG-2、MPEG4-AVC、VC-1等标准的动态图像编码方法或装置编码。音频流由杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、或线性PCM等的方式编码。
包含在复用数据中的各流通过PID被识别。例如,对在电影的影像中使用的视频流分配0x1011,对音频流分配0x1100到0x111F,对演示图形分配0x1200到0x121F,对交互图形流分配0x1400到0x141F,对在电影的副影像中使用的视频流分配0x1B00到0x1B1F,对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。
图16是示意地表示复用数据怎样被复用的图。首先,将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239,并变换为TS包ex237及ex240。同样,将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245,再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。
图17更详细地表示在PES包序列中怎样保存视频流。图17的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图17的箭头yy1、yy2、yy3、yy4所示,视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头,在PES头中,保存有作为图片的显示时刻的PTS(Presentation Time-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。
图18表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包,上述PES包被分割并保存到TS有效载荷中。在BD-ROM的情况下,对于TS包赋予4字节的TP_Extra_Header,构成192字节的源包,写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中,源包如图18下段所示排列,从复用数据的开头起递增的号码被称作SPN(源包号)。
此外,在复用数据所包含的TS包中,除了影像、声音、字幕等的各流以外,还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么,PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息,还具有关于复用数据的各种描述符。在描述符中,有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步,拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
图19是详细地说明PMT的数据构造的图。在PMT的开头,配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面,配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后,配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
在记录到记录介质等中的情况下,将上述复用数据与复用数据信息文件一起记录。
复用数据信息文件如图20所示,是复用数据的管理信息,与复用数据一对一地对应,由复用数据信息、流属性信息以及入口映射构成。
复用数据信息如图20所示,由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS,再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。
流属性信息如图21所示,按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
在本实施方式中,使用上述复用数据中的、包含在PMT中的流类型。此外,在记录介质中记录有复用数据的情况下,使用包含在复用数据信息中的视频流属性信息。具体而言,在上述各实施方式示出的动态图像编码方法或装置中,设置如下步骤或单元,该步骤或单元对包含在PMT中的流类型、或视频流属性信息,设定表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的固有信息。通过该结构,能够识别通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。
此外,在图22中表示本实施方式的动态图像解码方法的步骤。在步骤exS100中,从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着,在步骤exS101中,判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据。并且,在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据情况下,在步骤exS102中,通过在上述各实施方式中示出的动态图像解码方法进行解码。此外,在流类型、或视频流属性信息表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的复用数据的情况下,在步骤exS103中,通过依据以往的标准的动态图像解码方法进行解码。
这样,通过在流类型、或视频流属性信息中设定新的固有值,在解码时能够判断是否能够通过在上述各实施方式中示出的动态图像解码方法或装置解码。因而,在被输入了依据不同的标准的复用数据的情况下,也能够选择适当的解码方法或装置,所以能够不发生错误地进行解码。此外,将在本实施方式中示出的动态图像编码方法或装置、或者动态图像解码方法或装置用在上述任何设备、系统中。
(实施方式5)
在上述各实施方式中示出的动态图像编码方法及装置、动态图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例,在图23中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509,各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力,起动为能够动作的状态。
例如在进行编码处理的情况下,LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制,通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制,将储存的数据根据处理量及处理速度适当地分为多次等,向信号处理部ex507发送,在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里,影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中,还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理,从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外,在复用时,可以暂时将数据储存到缓冲器ex508中以使其同步。
另外,在上述中,设存储器ex511为LSIex500的外部的结构进行了说明,但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个,也可以具备多个缓冲器。此外,LSIex500既可以形成1个芯片,也可以形成多个芯片。
此外,在上述中,假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等,但控制部ex510的结构并不限定于该结构。例如,也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU,能够进一步提高处理速度。此外,作为其他例,也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下,控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
另外,这里设为LSI,但根据集成度的差异,也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。
此外,集成电路化的方法并不限定于LSI,也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
进而,如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术,则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
(实施方式6)
在将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的情况下,考虑到与将依据以往的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据的情况相比处理量会增加。因此,在LSIex500中,需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是,如果将驱动频率设得高,则发生消耗电力变高的问题。
为了解决该问题,电视机ex300、LSIex500等的动态图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图24表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的情况下,将驱动频率设定得高。并且,对执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801指示将影像数据解码。另一方面,在影像数据是依据以往的标准的影像数据的情况下,与影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的数据的情况相比,将驱动频率设定得低。并且,对依据以往的标准的解码处理部ex802指示将影像数据解码。
更具体地讲,驱动频率切换部ex803由图23的CPUex502和驱动频率控制部ex512构成。此外,执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图23的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且,基于来自CPUex502的信号,驱动频率控制部ex512设定驱动频率。此外,基于来自CPUex502的信号,信号处理部ex507进行影像数据的解码。这里,可以考虑在影像数据的识别中使用例如在实施方式4中记载的识别信息。关于识别信息,并不限定于在实施方式4中记载的信息,只要是能够识别影像数据依据哪个标准的信息就可以。例如,在基于识别影像数据利用于电视机还是利用于盘等的外部信号,来能够识别影像数据依据哪个标准的情况下,也可以基于这样的外部信号进行识别。此外,CPUex502的驱动频率的选择例如可以考虑如图26所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中,CPUex502通过参照该查找表,能够选择驱动频率。
图25表示实施本实施方式的方法的步骤。首先,在步骤exS200中,在信号处理部ex507中,从复用数据中取得识别信息。接着,在步骤exS201中,在CPUex502中,基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下,在步骤exS202中,CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且,在驱动频率控制部ex512中设定为高的驱动频率。另一方面,在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下,在步骤exS203中,CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且,在驱动频率控制部ex512中,设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
进而,通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压,由此能够进一步提高节电效果。例如,在将驱动频率设定得低的情况下,随之,可以考虑与将驱动频率设定得高的情况相比,将对LSIex500或包括LSIex500的装置施加的电压设定得低。
此外,驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以,并不限定于上述的设定方法。例如,可以考虑在将依据MPEG4-AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的处理量的情况下,与上述的情况相反地进行驱动频率的设定。
进而,驱动频率的设定方法并不限定于使驱动频率低的结构。例如,也可以考虑在识别信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下,将对LSIex500或包括LSIex500的装置施加的电压设定得高,在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下,将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外,作为另一例,也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下,不使CPUex502的驱动停止,在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下,由于在处理中有富余,所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下,也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下,可以考虑与表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况相比,将停止时间设定得短。
这样,根据影像数据所依据的标准来切换驱动频率,由此能够实现节电化。此外,在使用电池来驱动LSIex500或包括LSIex500的装置的情况下,能够随着节电而延长电池的寿命。
(实施方式7)
在电视机、便携电话等上述的设备、系统中,有时被输入依据不同的标准的多个影像数据。这样,为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码,LSIex500的信号处理部ex507需要对应于多个标准。但是,如果单独使用对应于各个标准的信号处理部ex507,则发生LSIex500的电路规模变大、此外成本增加的问题。
为了解决该问题,采用将用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部、和依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的解码处理部一部分共用的结构。图27A的ex900表示该结构例。例如,在上述各实施方式中示出的动态图像解码方法和依据MPEG4-AVC标准的动态图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构:关于共通的处理内容,共用对应于MPEG4-AVC标准的解码处理部ex902,关于不对应于MPEG4-AVC标准的本发明的一个方式所特有的其他的处理内容,使用专用的解码处理部ex901。特别是,本发明的一个方式在逆量化方面具有特征,因此可以考虑例如对于逆量化使用专用的解码处理部ex901,对于除此之外的熵解码、解块滤波器、运动补偿中的某一个或者全部的处理,共用解码处理部。关于解码处理部的共用,也可以是如下结构:关于共通的处理内容,共用用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部,关于MPEG4-AVC标准所特有的处理内容,使用专用的解码处理部。
此外,用图27B的ex1000表示将处理一部分共用的另一例。在该例中,采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的动态图像解码方法和其他的以往标准的动态图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里,专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的,可以是能够执行其他的通用处理的结构。此外,也能够由LSIex500安装本实施方式的结构。
这样,对于在本发明的一个方式的动态图像解码方法和以往的标准的动态图像解码方法中共通的处理内容,共用解码处理部,由此能够减小LSI的电路规模并且降低成本。
工业上利用的可能性
本发明的一个实施方式涉及的动态图像编码方法及动态图像解码方法,例如、可利用于电视接收机、数字视频录像机、汽车导航仪、移动电话、数字照相机、或数字视频照相机等。
符号的说明
100 解码装置
101 亮度CBF解码部
102 控制部
103 开关
104 残差系数解码部
105 残差信号恢复部
106 加法运算部
200 图像编码装置
205 减法器
210 变换/量化部
220 熵编码部
230,420 反量化/逆变换部
235,425 加法运算器
240,430 解块滤波器
250,440 存储器
260,450 帧内预测部
270 运动检测部
280,460 运动补偿部
290,470 帧内/帧间切换转换器
301,302,303,304,305,306 块
311,312,313,314,315亮度CBF标识
400 动态图像解码装置
410 熵解码部

Claims (2)

1.一种图像编码方法,是按照每个第一处理单位对动态图像信号进行编码的动态图像编码方法,具有:
变换/量化步骤,包含按照每个第二处理单位,将空间域的所述动态图像信号变换为频域的系数的处理、和对所述频域的系数进行量化的处理,其中,所述第一处理单位包含一个以上的所述第二处理单位;以及
算术编码步骤,对亮度CBF标识进行算术编码,该亮度CBF标识表示在所述第二处理单位中是否包含量化系数,
所述算术编码步骤具有:
判断步骤,判断所述第一处理单位以及第二处理单位的大小是否相同、以及所述第二处理单位是否是预先规定的最大大小;
决定步骤,在满足所述第一处理单位以及第二处理单位的大小相同或所述第二处理单位是预先规定的最大大小的至少一方的情况下,决定第一概率信息,在所述第一处理单位以及第二处理单位的大小不同且所述第二处理单位不是预先规定的最大大小的情况下,决定与第一概率信息不同的第二概率信息;以及
使用决定了的所述第一概率信息或所述第二概率信息对所述亮度CBF标识进行算术编码的步骤,
所述第一处理单位是编码单位,
所述第二处理单位是变换单位。
2.一种图像编码装置,是按照每个第一处理单位对动态图像信号进行编码的动态图像编码装置,具有:
变换/量化部,包含按照每个第二处理单位,将空间域的所述动态图像信号变换为频域的系数的处理、和对所述频域的系数进行量化的处理,其中,所述第一处理单位包含一个以上的所述第二处理单位;以及
算术编码部,对表示在所述第二处理单位中是否包含量化系数的亮度CBF标识进行算术编码,
所述算术编码部,
判断所述第一处理单位以及第二处理单位的大小是否相同、以及所述第二处理单位是否是预先规定的最大大小,
在满足所述第一处理单位以及第二处理单位的大小相同或所述第二处理单位是预先规定的最大大小的至少一方的情况下,决定第一概率信息,在所述第一处理单位以及第二处理单位的大小不同且所述第二处理单位不是预先规定的最大大小的情况下,决定与第一概率信息不同的第二概率信息,
使用决定了的所述第一概率信息或所述第二概率信息对所述亮度CBF标识进行算术编码,
所述第一处理单位是编码单位,
所述第二处理单位是变换单位。
CN201710000965.4A 2011-07-29 2012-07-13 图像编码方法以及图像编码装置 Active CN107105246B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161513141P 2011-07-29 2011-07-29
US61/513,141 2011-07-29
CN201280002030.5A CN103202020B (zh) 2011-07-29 2012-07-13 动态图像解码方法以及动态图像解码装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280002030.5A Division CN103202020B (zh) 2011-07-29 2012-07-13 动态图像解码方法以及动态图像解码装置

Publications (2)

Publication Number Publication Date
CN107105246A CN107105246A (zh) 2017-08-29
CN107105246B true CN107105246B (zh) 2020-01-10

Family

ID=47597216

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280002030.5A Active CN103202020B (zh) 2011-07-29 2012-07-13 动态图像解码方法以及动态图像解码装置
CN201710000965.4A Active CN107105246B (zh) 2011-07-29 2012-07-13 图像编码方法以及图像编码装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201280002030.5A Active CN103202020B (zh) 2011-07-29 2012-07-13 动态图像解码方法以及动态图像解码装置

Country Status (20)

Country Link
US (10) US8798147B2 (zh)
EP (1) EP2739053B1 (zh)
JP (3) JP5937020B2 (zh)
CN (2) CN103202020B (zh)
AU (2) AU2013200650B2 (zh)
BR (1) BR112013003399B1 (zh)
CA (1) CA2807959C (zh)
ES (1) ES2754784T3 (zh)
HU (1) HUE047353T2 (zh)
LT (1) LT2739053T (zh)
MX (1) MX2013001709A (zh)
MY (1) MY164655A (zh)
PL (1) PL2739053T3 (zh)
PT (1) PT2739053T (zh)
RU (1) RU2595573C2 (zh)
SG (1) SG188213A1 (zh)
SI (1) SI2739053T1 (zh)
TW (1) TWI581610B (zh)
WO (1) WO2013018296A1 (zh)
ZA (1) ZA201301158B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711925B2 (en) * 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US11647197B2 (en) 2011-06-30 2023-05-09 Velos Media, Llc Context initialization based on slice header flag and slice type
US9338465B2 (en) 2011-06-30 2016-05-10 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
CA2807959C (en) 2011-07-29 2018-06-12 Panasonic Corporation Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, and video encoding/decoding apparatus
KR20130112374A (ko) * 2012-04-04 2013-10-14 한국전자통신연구원 고속 인트라 예측을 위한 영상 부호화 방법 및 장치
GB2523347B (en) * 2014-02-20 2016-01-13 Gurulogic Microsystems Oy Encoder, decoder and method
KR102545015B1 (ko) * 2015-12-14 2023-06-19 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 포인트 클라우드 삼차원 데이터 부호화 방법, 포인트 클라우드 삼차원 데이터 복호 방법, 포인트 클라우드 삼차원 데이터 부호화 장치 및 포인트 클라우드 삼차원 데이터 복호 장치
CN115802037A (zh) * 2016-10-10 2023-03-14 三星电子株式会社 用于对图像进行编码/解码的方法和设备
CN110035287B (zh) 2018-01-12 2023-05-09 富士通株式会社 对统一转换单元模式进行分组标识的方法、装置和电子设备
EP3818705A1 (en) * 2018-07-02 2021-05-12 InterDigital VC Holdings, Inc. Context-based binary arithmetic encoding and decoding
CA3121220A1 (en) * 2019-03-01 2020-09-10 Huawei Technologies Co., Ltd. Method of signalling of coded block flags
CN111372082B (zh) * 2019-03-27 2022-06-03 北京达佳互联信息技术有限公司 一种视频编码中编码块标志cbf的编解码方法及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1531348A (zh) * 2003-02-28 2004-09-22 ��ʽ����Ntt����Ħ 图像编码设备、方法及程序,和图像解码设备、方法及程序
CN102124739A (zh) * 2008-06-13 2011-07-13 三星电子株式会社 图像编码方法及其装置、图像解码方法及其装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5937020B2 (ja) 1979-10-24 1984-09-07 日立化成工業株式会社 耐衝撃性の優れた樹脂組成物
JPS5937020U (ja) 1982-09-01 1984-03-08 松下電器産業株式会社 調理器の表示装置
BG61805B1 (bg) 1992-08-18 1998-06-30 Novartis Ag Метод за получаване на субституирани бензоли и бензолсулфонова киселина и производните й и метод за получаване на n,n'-субституирани карбамиди
EP2479896A1 (en) 2002-04-26 2012-07-25 NTT DoCoMo, Inc. Signal encoding method, signal decoding method, signal encoding device, signal decoding device, signal encoding program, and signal decoding program
EP2202989B1 (en) * 2002-04-26 2014-04-16 NTT DoCoMo, Inc. Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method, image encoding program, and image decoding program
CA2448064C (en) 2002-07-11 2012-08-07 Matsushita Electric Industrial Co., Ltd. Filtering strength determination method, moving picture coding method and moving picture decoding method
US7720294B2 (en) * 2004-02-09 2010-05-18 Broadcom Corporation Unified decoder architecture
JP4148228B2 (ja) * 2005-02-10 2008-09-10 ソニー株式会社 画像記録装置、画像再生制御装置、画像記録再生制御装置、これらの装置の処理方法およびその方法をコンピュータに実行させるプログラム
US7525456B2 (en) 2005-04-15 2009-04-28 Qpixel Technology, Inc. Methods for adaptively selecting entropy encoding modes
US20070098069A1 (en) * 2005-04-27 2007-05-03 Stephen Gordon Inverse scan, coefficient, inverse quantization and inverse transform system and method
EP1746838A1 (en) * 2005-07-18 2007-01-24 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus and moving picture decoding apparatus
RU2368095C1 (ru) * 2005-07-22 2009-09-20 Мицубиси Электрик Корпорейшн Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
US7656326B2 (en) * 2006-06-08 2010-02-02 Via Technologies, Inc. Decoding of context adaptive binary arithmetic codes in computational core of programmable graphics processing unit
KR101700358B1 (ko) * 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8942282B2 (en) * 2010-04-12 2015-01-27 Qualcomm Incorporated Variable length coding of coded block pattern (CBP) in video compression
RU2565877C2 (ru) * 2010-07-06 2015-10-20 Нокиа Корпорейшн Способ и устройство для определения соответствия между синтаксическим элементом и кодовым словом для кодирования переменной длины
US8344917B2 (en) * 2010-09-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for context initialization in video coding and decoding
US20120230423A1 (en) * 2011-03-10 2012-09-13 Esenlik Semih Line memory reduction for video coding and decoding
CA2807959C (en) 2011-07-29 2018-06-12 Panasonic Corporation Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, and video encoding/decoding apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1531348A (zh) * 2003-02-28 2004-09-22 ��ʽ����Ntt����Ħ 图像编码设备、方法及程序,和图像解码设备、方法及程序
CN102124739A (zh) * 2008-06-13 2011-07-13 三星电子株式会社 图像编码方法及其装置、图像解码方法及其装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Advanced Video Coding for Generic Audiovisual Services;ITU-T;《ITU-T Recommendation H. 264》;20100331;全文 *
Memory and Parsing Friendly CABAC Context;Wei-Jung Chien;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20110722;全文 *
Modified Context Derivation for Complexity reduction;Hisao Sasai;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20110722;全文 *
Simplified context model selection for block level syntax coding;Jianle Chen;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20110722;全文 *
WD3: Working Draft 3 of High-Efficiency Video Coding;Thomas Wiegand;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20110323;全文 *

Also Published As

Publication number Publication date
AU2013200650B2 (en) 2016-12-15
BR112013003399A2 (pt) 2020-08-25
US20200162753A1 (en) 2020-05-21
ZA201301158B (en) 2015-11-25
MX2013001709A (es) 2013-03-06
US20130028319A1 (en) 2013-01-31
US20230370629A1 (en) 2023-11-16
US20210006813A1 (en) 2021-01-07
LT2739053T (lt) 2019-10-10
PL2739053T3 (pl) 2020-04-30
US10587889B2 (en) 2020-03-10
EP2739053A4 (en) 2014-06-04
AU2017201384B2 (en) 2018-07-26
US8837588B2 (en) 2014-09-16
US11758174B2 (en) 2023-09-12
AU2013200650A1 (en) 2013-02-28
JP2016167868A (ja) 2016-09-15
US20130272399A1 (en) 2013-10-17
SG188213A1 (en) 2013-04-30
JPWO2013018296A1 (ja) 2015-03-05
US20140348229A1 (en) 2014-11-27
BR112013003399B1 (pt) 2022-04-19
US20140348230A1 (en) 2014-11-27
PT2739053T (pt) 2019-12-10
US10820006B2 (en) 2020-10-27
US20190082190A1 (en) 2019-03-14
KR20140042763A (ko) 2014-04-07
RU2595573C2 (ru) 2016-08-27
US11438619B2 (en) 2022-09-06
US20170214931A1 (en) 2017-07-27
JP6531924B2 (ja) 2019-06-19
WO2013018296A1 (ja) 2013-02-07
AU2017201384A1 (en) 2017-03-30
CA2807959C (en) 2018-06-12
HUE047353T2 (hu) 2020-04-28
ES2754784T3 (es) 2020-04-20
RU2013105792A (ru) 2014-10-20
US9706207B2 (en) 2017-07-11
CN107105246A (zh) 2017-08-29
JP2018121356A (ja) 2018-08-02
MY164655A (en) 2018-01-30
EP2739053A1 (en) 2014-06-04
US8798147B2 (en) 2014-08-05
TWI581610B (zh) 2017-05-01
CN103202020A (zh) 2013-07-10
US20220360807A1 (en) 2022-11-10
JP5937020B2 (ja) 2016-06-22
SI2739053T1 (sl) 2019-11-29
TW201315240A (zh) 2013-04-01
CA2807959A1 (en) 2013-02-07
CN103202020B (zh) 2017-02-08
US10158875B2 (en) 2018-12-18
EP2739053B1 (en) 2019-09-04
US9083973B2 (en) 2015-07-14

Similar Documents

Publication Publication Date Title
JP6821766B2 (ja) ビットストリームを送信する方法、コンテンツ管理方法及び通信システム
JP6238215B2 (ja) 復号方法および復号装置
JP6531924B2 (ja) 動画像復号方法及び動画像復号装置
CN107257463B (zh) 图像编码方法和图像编码装置
CN107846598B (zh) 运动图像编码方法及装置、运动图像编码解码装置
KR102090722B1 (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및 화상 부호화 복호 장치
CN107820092B (zh) 运动图像编码方法及装置、运动图像编解码装置
EP2843945B1 (en) Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding/decoding device
CN109151473B (zh) 图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编码解码装置
CN108683917B (zh) 图像编码方法及图像编码装置
KR102142014B1 (ko) 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 및 동화상 부호화 복호 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant