CN105791857B - 预测解码方法 - Google Patents

预测解码方法 Download PDF

Info

Publication number
CN105791857B
CN105791857B CN201610301019.9A CN201610301019A CN105791857B CN 105791857 B CN105791857 B CN 105791857B CN 201610301019 A CN201610301019 A CN 201610301019A CN 105791857 B CN105791857 B CN 105791857B
Authority
CN
China
Prior art keywords
predicted motion
motion vector
vectors candidates
motion vectors
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610301019.9A
Other languages
English (en)
Other versions
CN105791857A (zh
Inventor
藤林晓
铃木芳典
文仲丞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of CN105791857A publication Critical patent/CN105791857A/zh
Application granted granted Critical
Publication of CN105791857B publication Critical patent/CN105791857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种预测解码方法,包含以下步骤:从属于左相邻区域的多个区段的运动矢量中确定满足预定的预测运动矢量候选确定基准的一个第1预测运动矢量候选;从属于上相邻区域的多个区段的运动矢量中确定满足预定的预测运动矢量候选确定基准的一个第2预测运动矢量候选;对编码数据进行解码,复原预测运动矢量指示信息;从多个预测运动矢量候选中,选择通过预测运动矢量指示信息确定的最优预测运动矢量,以从右向左的方向扫描上相邻区域内包含的多个区段,由此根据多个区段的运动矢量,将满足预定的预测运动矢量候选确定基准的运动矢量确定为第2预测运动矢量候选,以从右向左的方向扫描的区段包含被插入的区间。

Description

预测解码方法
本发明专利申请是发明名称为“运动矢量的预测编码方法、预测编码装置及预测编码程序和运动矢量的预测解码方法、预测解码装置及预测解码程序”、申请日为2011年12月20日、国际申请号为“PCT/JP2011/079540”、国家申请号为“201180064343.9”的发明专利申请的分案申请。
技术领域
本发明的实施方式涉及运动矢量的预测解码方法。
背景技术
在动态图像编码和动态图像解码中有时采用运动补偿预测技术。在运动补偿技术中,将动态图像内的处理对象的帧分割为多个区段。依次选择这些多个区段作为处理对象的区段(对象区段)。并且,求出对象区段的运动矢量。另外,在运动补偿预测技术中有时采用对象区段的相邻区段的运动矢量来求出预测运动矢量,对该对象区段的运动矢量进行预测编码或预测解码。
图1A和图1B是例示在运动补偿预测中使用的相邻矩形区段的图。在图1A中,对象区段BT的形状与相邻区段BL、BA、BRA的形状相同。左相邻区段BL包含相对于对象区段BT内的左上像素存在于左侧的相邻像素,上相邻区段BA包含相对于对象区段BT内的左上像素存在于上侧的相邻像素,右上相邻区段BRA包含相对于对象区段BT内的右上像素存在于右上侧的相邻像素。在现有技术的H.264/AVC中,采用具有左相邻区段BL、上相邻区段BA以及右上相邻区段BRA的运动矢量的水平分量以及垂直分量的中间值(median value)的预测运动矢量。
另一方面,图1B例示了具有与对象区段BT不同形状的多个相邻区段存在的情况。图1B的多个相邻区段除了左相邻区段BL、上相邻区段BA、右上相邻区段BRA之外,还包含相邻区段BL1、BL2、BA1、BA2、BD、BE。根据专利文献1所述的技术,以预定的空间顺序来搜索多个相邻区段,并确定能保持相对于对象区段的像素信号具有最佳空间相似度的相邻区段这样的相邻区段,利用所确定的相邻区段的运动矢量作为预测运动矢量。在专利文献1的技术中,采用对象区段的像素信号与相邻区段的像素信号的差分绝对值之和(SAD)作为空间的相似度。
现有技术文献
专利文献
【专利文献1】日本特表2010-515399号公报
发明内容
发明所要解决的问题
在上述专利文献1的技术中,以预定的顺序来搜索多个相邻区段,并且计算空间的相似度,所以在预测运动矢量的确定中需要多种运算。
因此,在该技术领域中要求降低确定预测运动矢量所需的运算量。
解决问题的手段
本发明提供一种预测解码方法,在该预测解码方法中对在复原由多个帧图像的时间序列构成的动态图像的运动补偿预测中采用的运动矢量进行预测解码,该预测解码方法包含以下步骤:从属于左相邻区域的多个区段的运动矢量中确定满足预定的预测运动矢量候选确定基准的一个第1预测运动矢量候选,该左相邻区域相对于作为解码对象的帧图像内的对象区段位于左侧;从属于上相邻区域的多个区段的运动矢量中确定满足预定的预测运动矢量候选确定基准的一个第2预测运动矢量候选,该上相邻区域相对于所述对象区段位于上侧;对编码数据进行解码,来复原用于确定所述对象区段用的最优预测运动矢量的预测运动矢量指示信息;以及从至少包含所述第1预测运动矢量候选和所述第2预测运动矢量候选的多个预测运动矢量候选中,选择通过所述预测运动矢量指示信息确定的最优预测运动矢量,在确定所述第2预测运动矢量候选的步骤中,以从右向左的方向扫描所述上相邻区域内包含的多个区段,由此根据该多个区段的运动矢量,将满足所述预定的预测运动矢量候选确定基准的运动矢量确定为所述第2预测运动矢量候选,以所述从右向左的方向扫描的区段包含被插入的区间。
优选的是,在确定所述第1预测运动矢量候选的步骤中,以从下向上的方向扫描所述左相邻区域内包含的多个区段,由此根据该多个区段的运动矢量,将满足所述预定的预测运动矢量候选确定基准的运动矢量确定为所述第1预测运动矢量候选,以所述从下向上的方向扫描的区段相邻。
发明效果
如以上说明的那样,根据本发明的各种侧面以及实施方式,可提供能够降低确定预测运动矢量所需的运算量的运动矢量的预测解码方法。
附图说明
图1A是例示了在运动补偿预测中使用的相邻矩形区段的图。
图1B是例示了在运动补偿预测中使用的相邻矩形区段的图。
图2是示出一实施方式的动态图像编码装置的结构的图。
图3是示出运动矢量的预测编码方法的一实施方式的流程图。
图4是例示了在运动补偿预测中使用的相邻矩形区段的图。
图5是详细示出图3的步骤S302的处理的第1实施方式的流程图。
图6是详细示出图3的步骤S303的处理的第1实施方式的流程图。
图7是示出一实施方式的动态图像解码装置的结构的图。
图8是示出运动矢量的预测解码方法的一实施方式的流程图。
图9是示出第2实施方式的运动矢量的预测编码方法中的预测运动矢量候选的确定处理的流程图。
图10是示出第2实施方式的运动矢量的预测解码方法的流程图。
图11是示出一实施方式的动态图像编码程序的结构的图。
图12是示出一实施方式的动态图像解码程序的结构的图。
图13是示出一实施方式的计算机的硬件结构的图。
图14是示出一实施方式的计算机的立体图。
具体实施方式
以下,参照附图对各种实施方式进行详细说明。此外,在各个附图中对相同或相当的部分标注同一符号。
图2是示出一实施方式的动态图像编码装置的结构的图。图2所示的动态图像编码装置20是对本发明一侧面的运动矢量进行预测编码的装置的一例。
对动态图像编码装置20输入的动态图像由帧图像的时间序列构成。以下,将编码处理对象的帧图像信号称为“当前帧”。在动态图像编码装置20中,将当前帧分割为可变尺寸的矩形区段,以区段为单位进行以下说明的处理。
动态图像编码装置20可按照每个区段来切换使用画面间预测模式和多个画面内预测模式作为预测模式。例如,在动态图像编码装置20中,按照每个区段来选择画面间预测模式和多个画面内预测模式中的编码效率良好的预测模式。这里,所谓“画面间预测模式”就是通过参照与帧图像信号在时间上不同的多个已编码帧图像信号(参照帧图像信号)检测运动矢量来进行运动补偿帧间预测的模式。另外,所谓“画面内预测模式”就是进行采用了在同一空间上已编码的附近区域的像素值的空间预测的模式。此外,在“画面间预测模式”中可按照小区段来进行运动检测、运动预测和运动补偿的各个处理,该小区段例如将N×N像素的区段进一步分割为任意尺寸(例如,N/2像素×N线或N/4像素×N/4线)。
如图2所示,动态图像编码装置20可具备输入器201、运动检测器202、预测运动矢量候选确定器203、预测运动矢量确定器204、运动矢量差分器205、运动补偿器206、存储器207、空间预测器208、预测方法确定器209、减法器210、转换器211、量化器212、熵编码器213、逆量化器214、逆转换器215和相加器216。
输入器201接收到作为从外部输入的动态图像信号的输入影像信号,并将该动态图像信号分解为帧图像信号。输入器201经由线L201a和L201b向减法器210和运动检测器202输出帧图像信号。
存储器207是预先存储之前已编码的帧图像信号和在其预测中使用的信息(运动矢量、参照画面列表识别编号、参照画面编号)等的部分。
运动检测器202进行运动矢量的检测。更具体地说,运动检测器202采用经由线L207a从存储器207输入的参照帧图像信号在该参照帧内的预定搜索范围内,搜索与经由线L201a输入的当前帧内的对象区段的图像信号图形相似的图像信号图形。运动检测器202检测对象区段与已搜索到的图像信号图形之间的空间移位量即运动矢量和用于确定所利用的参照帧的帧编号的参照画面列表识别编号和参照画面编号。经由线L202a向运动补偿器206输出已检测到的运动矢量、参照画面列表识别编号和参照画面编号,另外,经由线L202c向运动矢量差分器205输出已检测到的运动矢量、参照画面列表识别编号和参照画面编号。另外,运动检测器202经由线L202b向预测运动矢量候选确定器203输出已检测到的参照画面列表识别编号和参照画面编号。此外,在动态图像编码装置20中,可利用列表形式来管理确定参照帧图像信号的帧编号。为了确定帧编号,可采用用于确定列表的参照画面列表识别编号(Reference Picutre List)和作为列表内的帧编号的索引的参照画面编号(Reference Index)。此技术在H.264/AVC等中是公知的技术。
预测运动矢量候选确定器203采用经由线L207b输入的已编码的多个相邻区段的运动矢量来确定预测运动矢量候选。后面叙述与该预测运动矢量候选的确定相关的详细内容。预测运动矢量候选确定器203经由线L203向预测运动矢量确定器204输出已确定的预测运动矢量候选。
预测运动矢量确定器204从经由线L203输入的预测运动矢量候选中确定最优预测运动矢量(预测运动矢量值)。更具体地说,预测运动矢量确定器204将预测运动矢量候选中的与经由线L202c输入的对象区段的运动矢量相对的差分最小的预测运动矢量候选确定为最优预测运动矢量PMVopt。经由线L204a向运动矢量差分器205发送所确定的最优预测运动矢量PMVopt。另外,经由线L204b向熵编码器213发送预测运动矢量候选数量和用于从预测运动矢量候选中确定最优预测运动矢量PMVopt的预测运动矢量指示信息。
此外,在本实施方式中,虽然将与对象区段的运动矢量相对的差分最小的预测运动矢量候选选择为最优预测运动矢量PMVopt,但预测运动矢量确定器204可将相对于所算出的运动矢量差分分配的编码量最小的预测运动矢量候选选择为最优预测运动矢量PMVopt。
另外,在本实施方式中,虽然在对象区段的运动检测之后确定最优预测运动矢量,但也可以在运动检测之前检测最优预测运动矢量。具体地说,如下式所示,可根据成本函数来计算最优预测运动矢量,该成本函数采用了在使用实际算出的各预测运动矢量候选进行运动补偿时的预测图像信号与对象图像信号的差分绝对值之和(SADpmv)、对该预测运动矢量候选进行编码时的编码量Rpmv以及与编码量相对的加权即λ。在此情况下,可从线L201a对图2的预测运动矢量确定器204输入对象区段的图像信号,并从线L207a输入参照帧图像信号。
【式1】
Costpmv=SADpmv+λRpmv
运动矢量差分器205计算作为经由线L202c输入的运动矢量与经由线L204a输入的最优预测运动矢量的差分信息的运动矢量差分值。运动矢量差分器205经由线L205a向熵编码器213发送包含已算出的运动矢量差分值和参照画面列表识别编号和参照画面编号的信号作为预测信息。另外,运动矢量差分器205经由线L205b向存储器207发送包含运动矢量和参照画面列表识别编号和参照画面编号的信号。
运动补偿器206参照从运动检测器202接收到的参照画面列表识别编号和由参照画面编号确定的帧编号的参照帧图像信号,采用从运动检测器202接收到的运动矢量来生成对象区段的预测图像信号。向预测方法确定器209输出该预测图像信号。
空间预测器208参照经由线L207a输入的已编码的附近区域的图像信号(参照帧图像信号),来生成预测图像信号。空间预测器208向预测方法确定器209输出所生成的预测图像信号。
预测方法确定器209比较从运动补偿器206和空间预测器208接收到的预测图像信号,选择某一方的预测图像信号,并向减法器210输出所选择的预测图像信号。另外,预测方法确定器209经由线L209b向熵编码器213输出预测模式信息,该预测模式信息表示已生成所选择的预测图像信号的预测方法。
减法器210生成经由线L201b输入的帧图像信号与经由线L209a输入的预测图像信号的差分值(预测残差信号),并向转换器211输出该预测残差信号。
转换器211正交转换经由线L210输入的预测残差信号,由此生成正交转换系数,向量化器212输出该正交转换系数。量化器212对经由线L211输入的正交转换系数进行量化,由此生成量化正交转换系数,向熵编码器213和逆量化器212发送量化正交转换系数。
熵编码器213对经由线L212输入的量化正交转换系数、从预测方法确定器209接收到的预测模式信息、从运动矢量差分器205发送的预测信息和从预测运动矢量确定器204输出的预测运动矢量指示信息进行熵编码,在压缩流中复用已生成的编码数据,并向外部传送该压缩流。
逆量化器214对经由线L212输入的量化正交转换系数进行逆量化,由此生成正交转换系数,并向逆正交转换器215发送该正交转换系数。然后,逆正交转换器215对经由线L214输入的正交转换系数应用逆正交转换,由此生成预测残差信号,并向相加器216发送该预测残差信号。
相加器216将经由线L215输入的预测残差信号与经由线L209a输入的预测图像信号相加而生成帧图像信号,向存储器207发送该帧图像信号。在存储器207中存储该帧图像信号,在以后的编码处理中将该帧图像信号用作参照帧图像信号。另外,在存储器207中,经由线L205b输入的运动矢量或参照画面列表识别编号和参照画面编号等也与参照帧图像信号相关联地进行存储。
以下,说明在动态图像编码装置20中可使用的运动矢量的预测编码方法的一实施方式。
首先,参照图1B说明与对象区段相邻的区段。区段BL、BL1、BL2是与对象区段BT的左边界相接的区段。区段BD是包含相对于对象区段BT内的左下像素存在于左下侧的相邻像素的区段。另外,区段BE是包含相对于对象区段BT内的左上像素存在于左上侧的相邻像素的区段。区段BA、BA1、BA2是与对象区段BT的上边界相接的区段。区段BRA是包含相对于对象区段BT内的右上像素存在于右上的相邻像素的区段。此外,与对象区段相邻的区段如图1A所示可以为与对象区段BT相同尺寸的区段。
接着,参照图3。图3是示出运动矢量的预测编码方法的一实施方式的流程图。如图3所示,在一实施方式的运动矢量的预测编码方法中,首先,向预测运动矢量候选确定器203输入参照画面列表识别编号和参照画面编号(步骤S301)。
接着,预测运动矢量候选确定器203从对象区段BT的左相邻区域所包含的一个以上区段的运动矢量中确定预测运动矢量候选PMV1(步骤S302)。后面详细叙述预测运动矢量候选PMV1的确定方法。
接着,预测运动矢量候选确定器203从对象区段BT的上相邻区域所包含的一个以上区段的运动矢量中确定预测运动矢量候选PMV2(步骤S303)。后面详细叙述预测运动矢量候选PMV2的确定方法。
接着,预测运动矢量候选确定器203确定预测运动矢量候选PMV3(步骤S304)。在本实施方式中,将参照帧内的区段即与对象区段在空间上相同位置的区段的运动矢量确定为预测运动矢量候选PMV3。
此外,作为预测运动矢量候选PMV3可采用其它的在空间上相邻的区段的运动矢量来取代与参照帧内的对象区段相同位置的区段的运动矢量。另外,可采用根据预测运动矢量候选PMV1和预测运动矢量候选PMV2计算的平均值等,作为预测运动矢量候选PMV3。
另外,预测运动矢量候选数可以是3个以上。在此情况下,可从左相邻区域和上相邻区域的各个区域中以不同的方法来确定多个预测运动矢量候选。更具体地说,在左相邻区域和上相邻区域的各个区域中,可通过以多个不同的扫描方向搜索各个区域内的区段来确定多个预测运动矢量候选。另外,可将其它相邻区域的运动矢量用作预测运动矢量候选。
返回图3,然后,预测运动矢量候选确定器203仅将预测运动矢量候选PMV1、预测运动矢量候选PMV2和预测运动矢量候选PMV3中不相同的预测运动矢量候选确定为最终的预测运动矢量候选(步骤S305)。如果示出具体例,则在预测运动矢量候选PMV1与预测运动矢量候选PMV3相同时,仅选择PMV1和PMV2作为预测运动矢量候选。另外,当在步骤S302~S304中未确定满足条件的预测运动矢量候选时,零运动矢量成为预测运动矢量候选。
然后,预测运动矢量确定器204根据由预测运动矢量候选确定器203确定的预测运动矢量候选,如上所述地确定最优预测运动矢量(步骤S306)。
然后,编码器213对用于确定最优预测运动矢量是预测运动矢量候选中的哪个的预测运动矢量指示信息进行编码(步骤S307)。
在一实施方式中,预测运动矢量指示信息可编码为与预测运动矢量确定器204所选择的预测运动矢量候选数量对应的比特数的编码数据。例如,当预测运动矢量候选数是0或1时,可不对预测运动矢量指示信息进行编码就进行传送。另外,当预测运动矢量候选数是2或3时,预测运动矢量指示信息以最大2比特进行编码。
此外,可与预测运动矢量候选数量无关联地根据固定的编码表对预测运动矢量指示信息进行编码。在此情况下,可采用以下的编码表对预测运动矢量指示信息进行编码。
<表1.编码表>
比特值最优预测运动矢量
0……预测运动矢量候选1(PMV1)
10……预测运动矢量候选2(PMV2)
11……预测运动矢量候选3(PMV3)
在一实施方式中,可变更预测运动矢量候选PMV1、预测运动矢量候选PMV2、预测运动矢量候选PMV3的确定顺序。例如,在将对象区段分割为多个小区段并针对每个小区段进行编码处理时,可利用此方式。具体地说,在将对象区段分割为上下两个时的下侧小区段和将对象区段分割为左右两个时的左侧小区段作为对象区段的情况下,可按照左相邻区域、上相邻区域、其它区域(例如,与对象区段相同位置的参照帧内的区段)的顺序来确定预测运动矢量候选。另一方面,在将对象区段分割为上下两个时的上侧小区段和将对象区段分割为左右两个时的右侧小区段作为对象区段的情况下,针对这些对象区段可按照上相邻区域、左相邻区域、其它区域(例如,与对象区段相同位置的参照帧内的区段)的顺序来确定预测运动矢量候选。
以下,详细说明与一实施方式的预测运动矢量候选的确定处理相关的第1实施方式。首先,参照图1B、图4以及图5说明图3的步骤S302的处理的第1实施方式。如图1B所示,这里,相对于对象区段存在于左下相邻区段BD和相对于对象区段与左侧相邻的区段BL、BL1、BL2构成左相邻区域。另外,以图4(a)所示的索引i的升序方式对左相邻区域内的区段进行扫描。即,从下向上依次扫描左相邻区域内的区段。
此外,在左相邻区域内没有包含左下相邻区段BD。另外,在左相邻区域内可包含比左下相邻区段BD更下方的区段。此外,在左相邻区域内还可以包含位于区段BE或区段BE之上的区段。此外,在左相邻区域内可包含位于对象区段的左侧并与该对象区段相隔一定距离的区段。
返回图4(a)以及图5,在步骤S302的处理中,首先,预测运动矢量候选确定器203将索引i设定为0(步骤S501)。预测运动矢量候选确定器203在下一步骤S502中,使索引i加1。
然后,预测运动矢量候选确定器203判定按照扫描顺序第i个区段是否存在于左相邻区域且该区段是否具有运动矢量(步骤S503)。当第i个区段存在于左相邻区域且该区段具有运动矢量时,在下一步骤S504中,预测运动矢量候选确定器203判定第i个区段和对象区段是否具有同一参照画面列表识别编号和参照画面编号。当满足步骤S504的判定条件时,在下一步骤S505中,预测运动矢量候选确定器203将第i个区段的运动矢量确定为预测运动矢量候选PMV1,在下一步骤S506中,输出预测运动矢量候选PMV1并结束处理。
另一方面,在没有满足步骤S503的判定条件时或者没有满足步骤S504的判定条件时,处理转移至步骤S507。在步骤S507中,预测运动矢量候选确定器203判定索引i是否超过左相邻区域的区段个数N。在没有满足步骤S507的判定条件时,预测运动矢量候选确定器203继续进行来自步骤S502的处理。另一方面,当满足步骤S507的判定条件时,预测运动矢量候选确定器203结束处理。
此外,在图4(a)所示的方式中,虽然按照从下向上的顺序扫描左相邻区域的区段,但在另一实施方式中如图4(c)所示可按照从上向下的顺序进行扫描。
另外,在一实施方式中,可自适应地选择图4(a)所示的扫描顺序与图4(c)所示的扫描顺序。例如,可根据相邻区段的运动矢量的关系来确定扫描顺序。具体地说,对图1B的区段BL的运动矢量与区段BA的运动矢量的绝对值差分α和区段BRA的运动矢量与区段BD的运动矢量的绝对值差分β进行比较,当绝对值差分α小于绝对值差分β时,可选择图4(c)的扫描顺序。另一方面,在相反的情况下,可选择图4(a)的扫描顺序。
另外,在一实施方式中,利用步骤S502使索引i以2以上的数值增加,由此可插入扫描的区段。
以下,参照图1B、图4以及图6详细地说明图3的步骤S303的处理的第1实施方式。如图1B所示,这里,相对于对象区段存在于左上相邻区段BE以及相对于对象区段与上相邻的区段BA、BA1、BA2构成上相邻区域。另外,以图4(a)所示的索引j的升序方式扫描上相邻区域内的区段。即,从右向左依次扫描上相邻区域内的区段。
此外,在上相邻区域内可不包含左上相邻区段BE。另外,在上相邻区域内可包含比左上相邻区段BE更靠左的区段。此外,在上相邻区域内可包含位于对象区段之上并与该对象区段相隔一定距离的区段。
返回图4(a)以及图6,在步骤S303的处理中,首先,预测运动矢量候选确定器203将索引j设定为0(步骤S601)。预测运动矢量候选确定器203在下一步骤S602中,使索引j仅加1。
然后,预测运动矢量候选确定器203判定按照扫描顺序第j个区段是否存在于上相邻区域且该区段是否具有运动矢量(步骤S603)。当第j个区段存在于上相邻区域且该区段具有运动矢量时,在下一步骤S604中,预测运动矢量候选确定器203判定第j个区段和对象区段是否具有同一参照画面列表识别编号和参照画面编号。当满足步骤S604的判定条件时,在下一步骤S605中,预测运动矢量候选确定器203判定第j个区段的运动矢量是否与预测运动矢量候选PMV1相同。当第j个区段的运动矢量与预测运动矢量候选PMV1不同时,在下一步骤S606中,预测运动矢量候选确定器203将第j个区段的运动矢量确定为预测运动矢量候选PMV2,在下一步骤S607中,输出预测运动矢量候选PMV2并结束处理。
另一方面,在没有满足步骤S603的判定条件时、没有满足步骤S604的判定条件时或者没有满足步骤S605的判定条件时,处理转移至步骤S608。
在步骤S608中,预测运动矢量候选确定器203判定索引j是否超过上相邻区域的区段个数M。在没有满足步骤S608的判定条件时,预测运动矢量候选确定器203继续进行来自步骤S602的处理。另一方面,当满足步骤S608的判定条件时,预测运动矢量候选确定器203结束处理。
此外,在图4(a)所示的方式中,虽然按照从右向左的顺序扫描上相邻区域的区段,但在另一实施方式中如图4(c)所示可按照从左向右的顺序进行扫描。
另外,在一实施方式中,可自适应地选择图4(a)所示的扫描顺序与图4(c)所示的扫描顺序。例如,可根据相邻区段的运动矢量的关系来确定扫描顺序。具体地说,对图1B的区段BL的运动矢量与区段BA的运动矢量的绝对值差分α和区段BRA的运动矢量与区段BD的运动矢量的绝对值差分β进行比较,当绝对值差分α小于绝对值差分β时,可选择图4(c)的扫描顺序。另一方面,在相反的情况下,可选择图4(a)的扫描顺序。
另外,在上述实施方式中,虽然在上相邻区域内包含区段BE,但也可以在左相邻区域内包含区段BE。另外,可将区段BE作为与上相邻区域和左相邻区域独立的区域,将区段BE的运动矢量用作个别的预测运动矢量候选。
另外,在上述实施方式内,虽然在用于将相邻区域的区段的运动矢量选择为预测运动矢量候选的判定条件中采用参照画面列表识别编号和参照画面编号双方,但不仅限于此。例如,可以在该判定条件中采用参照画面列表识别编号和参照画面编号的一方。另外,在不采用参照画面编号时,可根据参照帧与对象帧之间的距离来进行相邻区域的区段的运动矢量的定标(scaling)。另外,可采用其它画面内预测的信息。具体地说,可将对象区段的大小和相邻区段的大小作为上述判定条件之一。具体地说,当对象区段的尺寸为N×N像素时,可将相邻区域内的区段尺寸是N×N像素的情况作为判定条件或者将区段尺寸是N/2×N/2像素~2N×2N像素的情况作为判定条件。
另外,在上述实施方式中,在算出左相邻区域的预测运动矢量候选PMV1之后,进行上相邻区域的预测运动矢量候选PMV2的计算,但不仅限于此。可在左相邻区域的预测运动矢量候选PMV1的确定之前确定上相邻区域的预测运动矢量候选PMV2。此时,在确定左相邻区域的预测运动矢量候选PMV1的处理中,可进行判定左相邻区域所包含的区段的运动矢量与上相邻区域的预测运动矢量候选PMV2相同的处理。
另外,在上述实施方式内,在步骤S605中判定上相邻区域的第j个区段的运动矢量是否与左相邻区域的预测运动矢量候选PMV1相同,但也可以不实施此判定。在此情况下,当满足步骤S604的判定条件时,只要直接进行步骤S606的处理既可。
另外,在一实施方式中,利用步骤S602使索引j以2以上的数值增加,由此可插入扫描的区段。
以下,说明对动态图像编码装置20所生成的压缩流进行解码来复原动态图像的动态图像解码装置。图7是示出一实施方式的动态图像解码装置的结构的图。图7所示的动态图像解码装置30是对本发明一侧面的运动矢量进行预测解码的装置的一例。
如图7所示,动态图像解码装置30可具备熵译码器301、预测运动矢量候选确定器302、预测运动矢量确定器303、运动矢量相加器304、运动补偿器305、帧存储器306、空间预测器307、预测方法确定器308、逆量化器309、逆正交转换器310和相加器311。
熵译码器301在接收到压缩流之后,在该压缩流中检测表示各帧的开头的同步字,然后以分割区段为单位,根据该压缩流内的编码数据来复原预测模式信息和量化正交转换系数。另外,在利用预测模式信息确定的预测模式是“画面间预测模式”的情况下,熵译码器301对压缩流内的编码数据实施解码,还进行运动矢量差分值、参照画面列表识别编号和参照画面编号的复原。
熵译码器301经由线L301a向逆量化器309发送所复原的量化正交转换系数。另外,熵译码器301经由线L301b向预测运动矢量候选确定器302发送预测模式信息、参照画面列表识别编号和参照画面编号。此外,熵译码器301经由线L301d向运动矢量相加器304发送所复原的运动矢量差分值。另外,熵译码器301经由线L301e向预测方法确定器308发送所复原的预测模式信息。
预测运动矢量候选确定器302在由接收到的预测模式信息确定的预测模式是“画面间预测模式”时,从已解码的相邻区段的运动矢量中确定预测运动矢量候选。因为与预测运动矢量候选确定器302进行的预测运动矢量候选的确定相关的处理与预测运动矢量候选确定器203进行的上述处理相同,所以这里省去其说明。该预测运动矢量候选确定器302经由线L302b向预测运动矢量确定器303输出所确定的预测运动矢量候选。此外,预测运动矢量候选确定器302经由线L302a向熵译码器301输出预测运动矢量候选数。
熵译码器301当经由线L302a接收到预测运动矢量候选数量时,根据该数量对压缩流内的编码数据进行解码来复原预测运动矢量指示信息。熵译码器301向预测运动矢量确定器303发送所复原的预测矢量指示信息。更具体地说,在预测运动矢量候选数是0或1时,因为没有传送预测运动矢量指示信息,所以不进行复原处理。另外,在预测运动矢量候选数量是2或3时,对最大2比特的编码数据进行熵解码,由此复原预测运动矢量指示信息。
此外,熵译码器301根据预测运动矢量候选确定器302所选择的预测运动矢量候选数量对编码数据进行解码,由此进行预测运动矢量指示信息的复原,但不仅限于此。例如,也可以与预测运动矢量候选数量无关地采用上述表1的固定编码表来复原预测运动矢量指示信息。此外,固定编码表的设定不被其所限定。另外,在预测运动矢量候选算出之前,可复原预测运动矢量指示信息。
预测运动矢量确定器303从经由线L302b输入的预测运动矢量候选中,从经由线L301c输入的预测运动矢量指示信息中确定最优预测运动矢量PMVopt。经由线L303向运动矢量相加器304发送所确定的最优预测运动矢量PMVopt。
运动矢量相加器304使从熵译码器301发送的运动矢量差分值与从预测运动矢量确定器303发送的最优预测运动矢量PMVopt相加,来复原运动矢量。运动矢量相加器304经由线L304向运动补偿器305发送包含已复原的运动矢量的信号。
运动补偿器305根据从运动矢量相加器304发送来的运动矢量和经由线L301d从熵译码器301发送的预测模式信息、参照画面列表识别编号和参照画面编号来选择存储器306内的参照帧图像信号,采用所选择的参照帧图像信号,生成预测图像信号。运动补偿器305经由线L305a向预测方法确定器308发送预测图像信号。另外,运动补偿器305经由线L305b向存储器306输出已利用于预测图像信号生成的预测模式信息、参照画面列表识别编号和参照画面编号。此外,在存储器306内存储有之前已编码的帧图像信号、预测模式信息、参照画面列表识别编号和参照画面编号。
另外,空间预测器307在从经由线L301e输入的预测模式信息确定的预测模式是“画面内预测模式”时,参照已解码的附近块的图像信号(参照帧图像信号)来生成预测图像信号,并向预测方法确定器308发送该预测图像信号。
预测方法确定器308根据从熵译码器301发送的预测模式信息,来选择利用画面间预测生成的预测图像信号和利用画面内预测生成的预测图像信号中的任意一个,并经由线L308向相加器311发送所选择的预测图像信号。
逆量化器309使通过熵译码器301发送的量化正交转换系数进行逆量化,来复原正交转换系数。逆量化器309经由线L309向逆正交转换器310发送已复原的正交转换系数。
逆正交转换器310对接收到的正交转换系数应用逆正交转换来复原预测残差信号。逆正交转换器310经由线L310向相加器311发送已复原的预测残差信号。
相加器311使从预测方法确定器308发送来的预测图像信号与从逆正交转换器310发送来的预测残差信号相加,来复原帧图像信号。
以预定的显示定时向显示设备(未图示)输出已复原的帧图像信号,并能够再现输入影像信号(动态图像信号)。另外,因为在之后的解码处理中采用帧图像信号,所以作为参照帧图像信号存储到存储器306内。这里,帧图像信号可以为与动态图像编码装置20中的同一编号的帧图像信号相同的值。另外,还与参照帧图像信号相关联地同时存储有与运动矢量或参照帧编号相关的信息。
以下,参照图8来说明在动态图像解码装置30中使用的运动矢量的预测解码方法的一实施方式。图8是示出运动矢量的预测解码方法的一实施方式的流程图。
如图8所示,在一实施方式的预测运动矢量的预测解码方法中,首先,向预测运动矢量候选确定器302输入参照画面列表识别编号和参照画面编号(步骤S801)。
接着,预测运动矢量候选确定器302从对象区段BT的左相邻区域所包含的一个以上区段的运动矢量中确定预测运动矢量候选PMV1(步骤S302)。
接着,预测运动矢量候选确定器302从对象区段BT的上相邻区域所包含的一个以上区段的运动矢量中确定预测运动矢量候选PMV2(步骤S303)。
接着,预测运动矢量候选确定器302确定预测运动矢量候选PMV3(步骤S304)。此外,图8中的步骤S302~步骤S304的处理与图3中的步骤S302~步骤S304的处理相同。
接着,在步骤S805中,预测运动矢量候选确定器302仅将预测运动矢量候选PMV1、预测运动矢量候选PMV2和预测运动矢量候选PMV3中不相同的预测运动矢量候选作为预测运动矢量候选。如果示出具体例,则在预测运动矢量候选PMV1与预测运动矢量候选PMV3相同时,仅选择预测运动矢量候选PMV1和预测运动矢量候选PMV2作为预测运动矢量候选。另外,当在步骤S805之前的处理中未确定有效的预测运动矢量候选时,将零运动矢量作为预测运动矢量候选。
在步骤S806中,如上所述,译码器301根据预测运动矢量候选数量来复原预测运动矢量指示信息。然后,在步骤S807中,预测运动矢量确定器303根据预测运动矢量指示信息从预测运动矢量候选中选择最优预测运动矢量。
以下,说明运动矢量的预测编码方法的第2实施方式。图9是示出第2实施方式的运动矢量的预测编码方法中的预测运动矢量候选的确定处理的流程图。在第2实施方式的运动矢量的预测编码方法中采用图9所示的流程来代替图3的步骤S302~步骤S304。
首先,在本实施方式中,在步骤S901中,预测运动矢量候选确定器203向下方向扫描对象区段的左相邻区域所包含的区段,从这些区段的运动矢量中确定预测运动矢量候选PMVa。在步骤S901中,预测运动矢量候选确定器203根据图4(c)所示的左相邻区域的扫描顺序,实施在第1实施方式中已说明的预测运动矢量候选PMV1的确定方法(步骤S302),由此能够检测预测运动矢量候选PMVa。此外,为了确定预测运动矢量候选PMVa,预测运动矢量候选确定器203能够与第1实施方式同样地采用所输入的参照画面列表识别编号和参照画面编号。
接着,在步骤S902中,预测运动矢量候选确定器203向上方向扫描对象区段的左相邻区域所包含的区段,从这些区段的运动矢量中确定预测运动矢量候选PMVb。在步骤S902中,预测运动矢量候选确定器203根据图4(a)所示的左相邻区域的扫描顺序,实施在第1实施方式中说明的预测运动矢量候选PMV1的确定方法(步骤S302),由此能够检测预测运动矢量候选PMVb。此外,在预测运动矢量候选PMVb的确定中,预测运动矢量候选确定器203也能够使用参照画面列表识别编号和参照画面编号。
接着,在步骤S903中,预测运动矢量候选确定器203从预测运动矢量候选PMVa和预测运动矢量候选PMVb中选择左相邻区域的预测运动矢量候选PMVX。另外,预测运动矢量候选确定器203生成为了求出所选择的预测运动矢量候选而使用的表示扫描方向X的扫描方向指示信息。具体地说,预测运动矢量候选确定器203将预测运动矢量候选PMVa和预测运动矢量候选PMVb中的与对象区段的预测运动矢量相对的误差最小的预测运动矢量候选确定为预测运动矢量候选PMVX。另外,预测运动矢量候选确定器203在选择预测运动矢量候选PMVa作为预测运动矢量候选PMVX时,生成表示下方向的扫描方向指示信息,在选择预测运动矢量候选PMVb时,生成表示上方向的扫描方向指示信息。
接着,在步骤S904中,预测运动矢量候选确定器203向右方向扫描对象区段的上相邻区域所包含的区段,从这些区段的运动矢量中确定预测运动矢量候选PMVc。在步骤S904中,预测运动矢量候选确定器203根据图4(c)所示的上相邻区域的扫描顺序,实施在第1实施方式中说明的预测运动矢量候选PMV2的确定方法(步骤S303),由此能够检测预测运动矢量候选PMVc。此外,为了确定预测运动矢量候选PMVc,预测运动矢量候选确定器203能够与第1实施方式同样地采用所输入的参照画面列表识别编号和参照画面编号。
接着,在步骤S905中,预测运动矢量候选确定器203向左方向扫描对象区段的上相邻区域所包含的区段,才这些区段的运动矢量中确定预测运动矢量候选PMVd。在步骤S905中,预测运动矢量候选确定器203根据图4(a)所示的上相邻区域的扫描顺序,实施在第1实施方式中说明的预测运动矢量候选PMV2的确定方法(步骤S303),由此能够检测出预测运动矢量候选PMVd。此外,在预测运动矢量候选PMVd的确定中,预测运动矢量候选确定器203也能够使用参照画面列表识别编号和参照画面编号。
接着,在步骤S906中,预测运动矢量候选确定器203从预测运动矢量候选PMVc和预测运动矢量候选PMVd中选择上相邻区域的预测运动矢量候选PMVY。另外,预测运动矢量候选确定器203生成为了求出所选择的预测运动矢量候选而使用的表示扫描方向Y的扫描方向指示信息。具体地说,预测运动矢量候选确定器203将预测运动矢量候选PMVc和预测运动矢量候选PMVd中的与对象区段的预测运动矢量相对的误差最小的预测运动矢量候选确定为预测运动矢量候选PMVY。另外,预测运动矢量候选确定器203在选择预测运动矢量候选PMVc作为预测运动矢量候选PMVY时,生成表示右方向的扫描方向指示信息,在选择了预测运动矢量候选PMVd时,生成表示左方向的扫描方向指示信息。
接着,在步骤S907中,预测运动矢量候选确定器203与步骤S304的处理同样地取得和对象区段在空间上相同位置的参照帧内的区段的预测运动矢量候选PMVZ。此步骤S907中的处理可以与第1实施方式的步骤S304的处理的上述变形方式相同。
接着,在步骤S908中,预测运动矢量候选确定器203仅将预测运动矢量候选PMVX、预测运动矢量候选PMVY、预测运动矢量候选PMVZ中不相同的预测运动矢量候选作为预测运动矢量候选。然后,预测运动矢量候选确定器203输出预测运动矢量候选、预测运动矢量候选数和扫描方向指示信息。如果示出具体例,则在预测运动矢量候选PMVX与预测运动矢量候选PMVZ相同时,仅选择预测运动矢量候选PMVX与预测运动矢量候选PMVY作为预测运动矢量候选。另外,当在步骤S901~S907中未确定有效的预测运动矢量候选时,将零运动矢量作为预测运动矢量候选。
然后,在第2实施方式中,进行与第1实施方式的步骤S306同样的处理。最后,在步骤S307中,编码器213对用于确定最优预测运动矢量是预测运动矢量候选中的哪个的预测运动矢量指示信息进行编码。此外,在第2实施方式内,在步骤S307中编码器213还对扫描方向指示信息进行编码。
此外,即使在第2实施方式中,也能够如第1实施方式所述地那样变更构成左相邻区域的区段和构成上相邻区域的区段。另外,即使关于预测运动矢量的个数也能够如第1实施方式所述地那样进行变更。另外,如第1实施方式所述的那样,可根据将对象区段分割为小区段的方式以及该小区段的位置来变更预测运动矢量候选PMVX、PMVY、PMVZ的确定顺序。
以下,说明第2实施方式的运动矢量的预测解码方法。图10是示出第2实施方式的运动矢量的预测解码方法的流程图。图10所示的预测解码方法根据由第2实施方式的运动矢量的预测编码方法生成的编码数据来预测运动矢量。
如图10所示,在本实施方式内,首先,在步骤S1001中向预测运动矢量候选确定器302输入已复原的参照画面列表识别编号、参照画面编号、扫描方向指示信息(扫描方向X、扫描方向Y)。
接着,在步骤S1002中,预测运动矢量候选确定器302根据用于确定参照画面列表识别编号、参照画面编号以及扫描方向X的扫描方向指示信息来确定左相邻区域的预测运动矢量候选PMVX。通过在扫描方向指示信息所确定的扫描方向X上依次扫描左相邻区域内的区段,利用与第1实施方式的确定预测运动矢量候选PMV1同样的处理,来确定预测运动矢量候选PMVX。
接着,在步骤S1003中,预测运动矢量候选确定器302根据用于确定参照画面列表识别编号、参照画面编号以及扫描方向Y的扫描方向指示信息,来确定上相邻区域的预测运动矢量候选PMVY。通过在扫描方向指示信息所确定的扫描方向Y上依次扫描上相邻区域内的区段,利用与第1实施方式的确定预测运动矢量候选PMV2同样的处理,来确定预测运动矢量候选PMVY。
然后,在步骤S1004中,预测运动矢量候选确定器302确定与对象区段在空间上相同的参照帧内的区段的预测运动矢量候选PMVZ。步骤S1004的处理与步骤S304的处理相同。
然后,在步骤S1005中,预测运动矢量候选确定器302仅将预测运动矢量候选PMVX、预测运动矢量候选PMVY、预测运动矢量候选PMVZ内不相同的预测运动矢量候选作为预测运动矢量候选。如果示出具体例,则在预测运动矢量候选PMVX与预测运动矢量候选PMVZ相同时,仅选择预测运动矢量候选PMVX和预测运动矢量候选PMVY作为预测运动矢量候选。另外,当在步骤S1005之前的处理中未确定有效的预测运动矢量候选时,将零运动矢量作为预测运动矢量候选。
然后,在步骤S1006中,译码器301根据预测运动矢量候选数量复原预测运动矢量指示信息。然后,在步骤S1007中,预测运动矢量确定器303根据预测运动矢量指示信息,从预测运动矢量候选中选择最优预测运动矢量。
此外,即使在第2实施方式中,也可以如第1实施方式所述的那样,根据将对象区段分割为小区段的方式以及该小区段的位置来变更预测运动矢量候选PMVX、PMVY、PMVZ的确定顺序。
以上,根据所说明的动态图像编码装置20和动态图像解码装置30,在加入预测运动矢量的候选之后,从这些预测运动矢量候选中检测最优预测运动矢量。因此,可削减确定最优预测运动矢量所需的运算量。另外,可利用较少的比特数对用于确定最优预测运动矢量的预测运动矢量指示信息进行编码。
另外,根据第2实施方式的采用预测编码和预测解码的动态图像编码装置20和动态图像解码装置30,可求出与对象区段的运动矢量的误差更小的预测运动矢量候选。
以下,说明用于使计算机作为动态图像编码装置20发挥功能的动态图像编码程序1000和用于使计算机作为上述动态图像解码装置30发挥功能的动态图像解码程序1100。
图11是示出一实施方式的动态图像编码程序的结构的图。图12是示出一实施方式的动态图像解码程序的结构的图。图13是示出一实施方式的计算机的硬件结构的图。图14是示出一实施方式的计算机的立体图。
在记录介质SM中可存储并提供图11所示的动态图像编码程序1000。另外,在记录介质SM中也可以存储并提供图12所示的动态图像解码程序1100。此外,作为记录介质SM可例示软盘、CD-ROM、DVD或ROM等记录介质或者半导体存储器等。
如图13所示,计算机C10可具备:软盘驱动装置、CD-ROM驱动装置、DVD驱动装置等读取装置C12;始终保存有操作系统的作业用存储器(RAM)C14;存储已记录在记录介质SM内的程序的存储器C16;显示器这样的显示装置C18;作为输入装置的鼠标C20以及键盘C22;用于进行数据等的收发的通信装置C24;以及对程序的执行进行控制的CPU C26。
计算机C10在将记录介质SM插入在读取装置C12时,可从读取装置C12对在记录介质SM中存储的动态图像编码程序1000进行访问,并利用该程序1000使计算机作为动态图像编码装置20进行工作。
另外,计算机C10在将记录介质SM插入在读取装置C12时,可从读取装置C12对在记录介质SM中存储的动态图像解码程序1100进行访问,并利用该程序1100使计算机作为动态图像解码装置30进行工作。
如图11所示,动态图像编码程序1000具备:统括处理的主模块1001、输入模块1002、运动检测模块1003、预测运动矢量候选确定模块1004、预测运动矢量确定模块1005、运动矢量差分模块1006、运动补偿模块1007、空间预测模块1008、预测方法确定模块1009、减法模块1010、正交转换模块1011、量化模块1012、熵编码模块1013、逆量化模块1014、逆正交转换模块1015以及相加模块1016。输入模块1002、运动检测模块1003、预测运动矢量候选确定模块1004、预测运动矢量确定模块1005、运动矢量差分模块1006、运动补偿模块1007、空间预测模块1008、预测方法确定模块1009、减法模块1010、正交转换模块1011、量化模块1012、熵编码模块1013、逆量化模块1014、逆正交转换模块1015、相加模块1016使计算机执行的功能与上述的输入器201、运动检测器202、预测运动矢量候选确定器203、预测运动矢量确定器204、运动矢量差分器205、运动补偿器206、空间预测器208、预测方法确定器209、减法器210、正交转换器211、量化器212、熵编码器213、逆量化器214、逆正交转换器215、相加器216的功能分别相同。
如图12所示,动态图像解码程序1100具备:统括处理的主模块1101、熵解码模块1102、预测运动矢量候选确定模块1103、预测运动矢量确定模块1104、运动矢量相加模块1105、运动补偿模块1106、空间预测模块1107、预测方法确定模块1108、逆量化模块1109、逆正交转换模块1110以及相加模块1111。熵解码模块1102、预测运动矢量候选确定模块1103、预测运动矢量确定模块1104、运动矢量相加模块1105、运动补偿模块1106、空间预测模块1107、预测方法确定模块1108、逆量化模块1109、逆正交转换模块1110、相加模块1111使计算机实现的功能与上述的熵译码器301、预测运动矢量候选确定器302、预测运动矢量确定器303、运动矢量相加器304、运动补偿器305、空间预测器307、预测方法确定器308、逆量化器309、逆正交转换器310、相加器311的功能分别相同。
以上,对各种实施方式进行了说明,但本发明不被上述实施方式所限定可进行各种变形。例如,在上述实施方式中,从编码装置向解码装置发送对象区段的运动矢量与预测运动矢量(最优预测运动矢量)之间的差分即运动矢量差分值的编码数据,但也可以不从编码装置向解码装置发送运动矢量差分值的编码数据,而是采用最优预测运动矢量作为对象区段的运动矢量。
另外,在预测运动矢量候选PMVX的确定中,可采用预测运动矢量候选PMVa以及PMVb作成预测图像信号,并且可采用预测运动矢量候选PMVa以及PMVb中的使预测图像信号与对象区段的图像信号之间的差分绝对值之和(SAD)更小的预测运动矢量候选作为预测运动矢量候选PMVX。另外,在预测运动矢量候选PMVY的确定中,可采用预测运动矢量候选PMVc以及PMVd作成预测图像信号,并且可采用预测运动矢量候选PMVc以及PMVd中的使预测图像信号与对象区段的图像信号之间的差分绝对值之和(SAD)更小的预测运动矢量候选作为预测运动矢量候选PMVY。另外,可采用差分绝对值和(SATD)或差分平方和(SSD)来代替SAD。
符号说明
20…动态图像编码装置,30…动态图像解码装置,201…输入器,202…检测器,203…预测运动矢量候选确定器,204…预测运动矢量确定器,205…运动矢量差分器,206…运动补偿器,207…存储器,208…空间预测器,209…预测方法确定器,210…减法器,211…转换器,212…量化器,213…熵编码器,214…逆量化器,215…逆转换器,216…相加器,301…熵译码器,302…预测运动矢量候选确定器,303…预测运动矢量确定器,304…运动矢量相加器,305…运动补偿器,306…帧存储器,307…空间预测器,308…预测方法确定器,309…逆量化器,310…逆正交转换器,311…相加器。

Claims (1)

1.一种预测解码方法,在该预测解码方法中对在复原由多个帧图像的时间序列构成的动态图像的运动补偿预测中采用的运动矢量进行预测解码,该预测解码方法包含以下步骤:
从属于左相邻区域的多个区段的运动矢量中确定满足预定的预测运动矢量候选确定基准的一个第1预测运动矢量候选,该左相邻区域相对于作为解码对象的帧图像内的对象区段位于左侧;
从属于上相邻区域的多个区段的运动矢量中确定满足预定的预测运动矢量候选确定基准的一个第2预测运动矢量候选,该上相邻区域相对于所述对象区段位于上侧;
对编码数据进行解码,来复原用于确定所述对象区段用的最优预测运动矢量的预测运动矢量指示信息;以及
从至少包含所述第1预测运动矢量候选和所述第2预测运动矢量候选的多个预测运动矢量候选中,选择通过所述预测运动矢量指示信息确定的最优预测运动矢量,
在确定所述第2预测运动矢量候选的步骤中,以从右向左的方向扫描所述上相邻区域内包含的多个区段,由此根据该多个区段的运动矢量,将满足所述预定的预测运动矢量候选确定基准的运动矢量确定为所述第2预测运动矢量候选,
在确定所述第1预测运动矢量候选的步骤中,以从下向上的方向扫描所述左相邻区域内包含的多个区段,由此根据该多个区段的运动矢量,将满足所述预定的预测运动矢量候选确定基准的运动矢量确定为所述第1预测运动矢量候选。
CN201610301019.9A 2011-01-07 2011-12-20 预测解码方法 Active CN105791857B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP2011-002205 2011-01-07
JP2011002205 2011-01-07
CN201180064343.9A CN103283235B (zh) 2011-01-07 2011-12-20 运动矢量的预测编码方法、预测编码装置和运动矢量的预测解码方法、预测解码装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180064343.9A Division CN103283235B (zh) 2011-01-07 2011-12-20 运动矢量的预测编码方法、预测编码装置和运动矢量的预测解码方法、预测解码装置

Publications (2)

Publication Number Publication Date
CN105791857A CN105791857A (zh) 2016-07-20
CN105791857B true CN105791857B (zh) 2018-12-07

Family

ID=46457445

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201610299505.1A Active CN105812820B (zh) 2011-01-07 2011-12-20 预测解码方法、预测解码装置
CN201610299506.6A Active CN105812821B (zh) 2011-01-07 2011-12-20 预测编码方法、装置以及预测解码方法、装置
CN201610301019.9A Active CN105791857B (zh) 2011-01-07 2011-12-20 预测解码方法
CN201180064343.9A Active CN103283235B (zh) 2011-01-07 2011-12-20 运动矢量的预测编码方法、预测编码装置和运动矢量的预测解码方法、预测解码装置
CN201610857048.3A Active CN106878741B (zh) 2011-01-07 2011-12-20 预测解码方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201610299505.1A Active CN105812820B (zh) 2011-01-07 2011-12-20 预测解码方法、预测解码装置
CN201610299506.6A Active CN105812821B (zh) 2011-01-07 2011-12-20 预测编码方法、装置以及预测解码方法、装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201180064343.9A Active CN103283235B (zh) 2011-01-07 2011-12-20 运动矢量的预测编码方法、预测编码装置和运动矢量的预测解码方法、预测解码装置
CN201610857048.3A Active CN106878741B (zh) 2011-01-07 2011-12-20 预测解码方法

Country Status (19)

Country Link
US (5) US9693052B2 (zh)
EP (6) EP4120685A1 (zh)
JP (5) JP5698767B2 (zh)
KR (6) KR20140011475A (zh)
CN (5) CN105812820B (zh)
AU (1) AU2011353904B2 (zh)
BR (1) BR112013017208B1 (zh)
CA (4) CA2933341C (zh)
DK (2) DK4120686T3 (zh)
ES (4) ES2936314T3 (zh)
FI (2) FI3826306T3 (zh)
HU (2) HUE063372T2 (zh)
MX (4) MX2013007540A (zh)
PL (4) PL4120686T3 (zh)
PT (4) PT2938082T (zh)
RU (7) RU2649770C1 (zh)
SG (1) SG191232A1 (zh)
TW (3) TW201244499A (zh)
WO (1) WO2012093585A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101456499B1 (ko) * 2010-07-09 2014-11-03 삼성전자주식회사 움직임 벡터의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9300970B2 (en) 2010-07-09 2016-03-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding motion vector
CA2933341C (en) 2011-01-07 2020-06-30 Ntt Docomo, Inc. Predictive encoding method, predictive encoding device, and predictive encoding program of motion vector, and, predictive decoding method, predictive decoding device, and predictive decoding program of motion vector
US9319716B2 (en) * 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
US9374598B2 (en) 2011-03-21 2016-06-21 Lg Electronics Inc. Method for selecting motion vector predictor and device using same
CN107181961A (zh) 2011-05-31 2017-09-19 Jvc 建伍株式会社 动图像编码装置、动图像编码方法以及记录介质
MX2013013029A (es) * 2011-06-30 2013-12-02 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, dispositivo de decodificacion de imagenes, dispositivo de codificacion de imagenes y dispositivo de codificacion/decodifi cacion de imagenes.
JP2013098711A (ja) * 2011-10-31 2013-05-20 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
CN103079067B (zh) * 2013-01-09 2016-03-09 华为技术有限公司 运动矢量预测值列表构建方法和视频编解码方法及装置
US9300906B2 (en) * 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
TWI536811B (zh) * 2013-12-27 2016-06-01 財團法人工業技術研究院 影像處理方法與系統、解碼方法、編碼器與解碼器
KR101944683B1 (ko) 2017-02-21 2019-04-17 (주)제이하우스 아틀리에 클러스터 건물구조
CN108810531B (zh) * 2017-05-03 2019-11-19 腾讯科技(深圳)有限公司 视频编码处理方法、装置及电子设备
US10356439B2 (en) * 2017-06-29 2019-07-16 Intel Corporation Flexible frame referencing for display transport
WO2019049912A1 (ja) * 2017-09-08 2019-03-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN109963155B (zh) 2017-12-23 2023-06-06 华为技术有限公司 图像块的运动信息的预测方法、装置及编解码器
MX2021002557A (es) 2018-09-07 2021-04-29 Panasonic Ip Corp America Sistema y metodo para codificacion de video.
JP7288964B2 (ja) 2018-12-28 2023-06-08 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 動きベクトル予測因子リストを生成すること
SG11202108101SA (en) * 2019-01-28 2021-08-30 Op Solutions Llc Inter prediction in exponential partitioning
US11375243B2 (en) * 2019-07-17 2022-06-28 Tencent America LLC Method and apparatus for video coding
KR20210039553A (ko) 2019-10-02 2021-04-12 주식회사 디맥스 치과용 지르코니아 소재의 표면 처리방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5555033A (en) * 1993-04-07 1996-09-10 U.S. Philips Corporation Method and device for estimating motion of objects in successive animated images subdivided into tow-dimensional blocks of pixels

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0892561B1 (en) 1993-04-09 2002-06-26 Sony Corporation Picture encoding method and apparatus
KR100523908B1 (ko) * 1997-12-12 2006-01-27 주식회사 팬택앤큐리텔 격행주사 영상에 대한 영상신호 부호화 장치 및 그 방법
US20040001546A1 (en) * 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
JP2005223631A (ja) 2004-02-05 2005-08-18 Sony Corp データ処理装置およびその方法と符号化装置および復号装置
JP4543971B2 (ja) * 2005-03-07 2010-09-15 ソニー株式会社 符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体
JP4712643B2 (ja) * 2006-08-17 2011-06-29 富士通セミコンダクター株式会社 フレーム間予測処理装置、フレーム間予測方法、画像符号化装置及び画像復号装置
KR101365567B1 (ko) * 2007-01-04 2014-02-20 삼성전자주식회사 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN101622877A (zh) * 2006-12-22 2010-01-06 高通股份有限公司 用于有效空间帧内可预测性确定(或评估)的系统和方法
US8331448B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Systems and methods for efficient spatial intra predictabilty determination (or assessment)
KR101383540B1 (ko) 2007-01-03 2014-04-09 삼성전자주식회사 복수의 움직임 벡터 프리딕터들을 사용하여 움직임 벡터를추정하는 방법, 장치, 인코더, 디코더 및 복호화 방법
KR101365574B1 (ko) * 2007-01-29 2014-02-20 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
US8488668B2 (en) * 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
US8908765B2 (en) * 2007-11-15 2014-12-09 General Instrument Corporation Method and apparatus for performing motion estimation
JP5194833B2 (ja) * 2008-01-23 2013-05-08 ソニー株式会社 符号化装置および方法、記録媒体、並びにプログラム
US8098957B2 (en) * 2008-02-13 2012-01-17 Qualcomm Incorporated Shared block comparison architechture for image registration and video coding
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
JP5401071B2 (ja) * 2008-10-09 2014-01-29 株式会社Nttドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法
CN102498718B (zh) 2009-07-03 2016-01-20 法国电信公司 具有与至少一个相邻参考图像分区的几何形状或尺寸不同的几何形状或尺寸的当前图像分区的移动向量的预测以及使用一个这种预测的编码和解码
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
CA2933341C (en) 2011-01-07 2020-06-30 Ntt Docomo, Inc. Predictive encoding method, predictive encoding device, and predictive encoding program of motion vector, and, predictive decoding method, predictive decoding device, and predictive decoding program of motion vector

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5555033A (en) * 1993-04-07 1996-09-10 U.S. Philips Corporation Method and device for estimating motion of objects in successive animated images subdivided into tow-dimensional blocks of pixels

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Simplified motion vector coding method;Bossen 等;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 JCTVC一B094》;20100731;第1-5页 *
WD1:Working Draft 1 of High一Efficiency Video Coding;Thomas Wiegand等;《Joint CollaborativeTeam on Video Coding (JCT-VC) of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG11》;20101015;全文 *

Also Published As

Publication number Publication date
PT2938082T (pt) 2017-04-07
ES2936314T3 (es) 2023-03-16
US20130294517A1 (en) 2013-11-07
RU2697738C1 (ru) 2019-08-19
JP6099729B2 (ja) 2017-03-22
CN103283235A (zh) 2013-09-04
US20190110065A1 (en) 2019-04-11
JP2018026879A (ja) 2018-02-15
PL3826306T3 (pl) 2023-03-20
CN105812821A (zh) 2016-07-27
US9693052B2 (en) 2017-06-27
RU2744696C1 (ru) 2021-03-15
WO2012093585A1 (ja) 2012-07-12
CA3167001A1 (en) 2012-07-12
RU2580090C2 (ru) 2016-04-10
PT4120686T (pt) 2023-09-07
EP2663077B1 (en) 2017-01-11
PT3826306T (pt) 2023-01-16
RU2676245C1 (ru) 2018-12-26
TW201701669A (zh) 2017-01-01
KR101931276B1 (ko) 2018-12-20
HUE063372T2 (hu) 2024-01-28
US10511856B2 (en) 2019-12-17
MX352533B (es) 2017-11-29
RU2699404C1 (ru) 2019-09-05
EP2938081A1 (en) 2015-10-28
CA2933341A1 (en) 2012-07-12
CN105791857A (zh) 2016-07-20
RU2731026C1 (ru) 2020-08-28
TWI562611B (zh) 2016-12-11
JP5698767B2 (ja) 2015-04-08
EP2663077A4 (en) 2015-11-04
CA3079646A1 (en) 2012-07-12
JP6246962B2 (ja) 2017-12-13
TWI621352B (zh) 2018-04-11
JP6411615B2 (ja) 2018-10-24
KR20160036671A (ko) 2016-04-04
FI4120686T3 (fi) 2023-09-12
JP2016036186A (ja) 2016-03-17
AU2011353904B2 (en) 2015-09-10
CA3079646C (en) 2022-09-13
MX2020001492A (es) 2020-03-20
EP4120685A1 (en) 2023-01-18
KR20170132361A (ko) 2017-12-01
US20170150169A1 (en) 2017-05-25
US10511855B2 (en) 2019-12-17
MX339663B (es) 2016-06-03
RU2649770C1 (ru) 2018-04-04
ES2957772T3 (es) 2024-01-25
US9877040B2 (en) 2018-01-23
EP2938082B1 (en) 2017-03-22
CN105812820A (zh) 2016-07-27
EP3826306A1 (en) 2021-05-26
JP2015092781A (ja) 2015-05-14
US20190075316A1 (en) 2019-03-07
KR20160087402A (ko) 2016-07-21
MX2013007540A (es) 2013-08-21
CA2823880C (en) 2016-08-16
EP4120686B1 (en) 2023-08-23
US20170155898A9 (en) 2017-06-01
TWI660623B (zh) 2019-05-21
TW201244499A (en) 2012-11-01
US20180146209A1 (en) 2018-05-24
DK4120686T3 (da) 2023-09-25
CN105812820B (zh) 2019-03-15
CA2823880A1 (en) 2012-07-12
KR20140011475A (ko) 2014-01-28
US10154280B2 (en) 2018-12-11
EP3826306B1 (en) 2022-12-28
EP2663077A1 (en) 2013-11-13
CN103283235B (zh) 2016-10-26
RU2013136900A (ru) 2015-02-20
JP5859691B2 (ja) 2016-02-10
JP2017108433A (ja) 2017-06-15
SG191232A1 (en) 2013-07-31
KR101672790B1 (ko) 2016-11-04
PL2938082T3 (pl) 2017-09-29
PL2663077T3 (pl) 2017-04-28
BR112013017208A2 (pt) 2016-09-20
KR101803886B1 (ko) 2017-12-04
HUE061239T2 (hu) 2023-06-28
JPWO2012093585A1 (ja) 2014-06-09
CN106878741B (zh) 2019-08-06
CA2933341C (en) 2020-06-30
EP4120686A1 (en) 2023-01-18
CN106878741A (zh) 2017-06-20
AU2011353904A1 (en) 2013-07-11
TW201818725A (zh) 2018-05-16
PL4120686T3 (pl) 2023-12-11
KR20200006194A (ko) 2020-01-17
KR102066543B1 (ko) 2020-01-15
BR112013017208B1 (pt) 2019-01-29
PT2663077T (pt) 2017-02-13
EP2938082A1 (en) 2015-10-28
ES2614821T3 (es) 2017-06-02
DK3826306T3 (da) 2023-01-23
ES2622732T3 (es) 2017-07-07
FI3826306T3 (fi) 2023-01-31
KR20180128098A (ko) 2018-11-30
KR102165666B1 (ko) 2020-10-14
CN105812821B (zh) 2017-10-27

Similar Documents

Publication Publication Date Title
CN105791857B (zh) 预测解码方法
AU2015215982B2 (en) Predictive encoding method, predictive encoding device, and predictive encoding program of motion vector, and, predictive decoding method, predictive decoding device, and predictive decoding program of motion vector

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant