CN101087414A - 图像编码装置和图像编码方法 - Google Patents

图像编码装置和图像编码方法 Download PDF

Info

Publication number
CN101087414A
CN101087414A CNA2007100910971A CN200710091097A CN101087414A CN 101087414 A CN101087414 A CN 101087414A CN A2007100910971 A CNA2007100910971 A CN A2007100910971A CN 200710091097 A CN200710091097 A CN 200710091097A CN 101087414 A CN101087414 A CN 101087414A
Authority
CN
China
Prior art keywords
coding
cost information
image
coding cost
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007100910971A
Other languages
English (en)
Other versions
CN101087414B (zh
Inventor
伊藤浩朗
村上智一
轻部勋
中村拓
谷田部祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN101087414A publication Critical patent/CN101087414A/zh
Application granted granted Critical
Publication of CN101087414B publication Critical patent/CN101087414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

在用运动补偿画面间预测编码模式对运动图像数据进行编码时的运动探索中,为了在B薄片中当将2类单向预测和双预测的共计3类预测作为参照图像的情形进行运动探索,计算编码成本,计算处理变得膨大。本发明的图像编码装置和方法通过根据进行单向预测中的运动探索的结果决定当进行双预测的运动探索时的块大小或当进行运动探索时的中心位置,具有减轻双预测的运动探索中需要的编码处理的效果。而且,因为从单向预测的运动探索结果求得当在双预测中进行运动探索时的块大小或运动探索的中心位置,所以即便关于压缩率也可以将它维持在尽可能高的值上。

Description

图像编码装置和图像编码方法
技术领域
本发明涉及高效率地对运动图像进行编码的图像编码装置和图像编码方法,特别是涉及使用时间上前后的图像进行编码的运动补偿画面间预测编码。
背景技术
作为通过高效率地对TV信号等的运动图像数据实施编码,进行记录或传送的方法制定MPEG(Moving Picture Experts Group:运动图像专家组))方式等的编码方式,作为MPEG-1标准、MPEG-2标准、MPEG-4标准等成为国际标准的编码方式。而且,作为进一步提高压缩率的方式,确定H.264/AVC(Advanced Video Coding:高级视频编码)标准等。
一般在运动图像编码中,可以适合地使用将同一画面内的已编码图像作为参照图像,利用编码对象图像的画面内预测编码模式、和将时间轴上前后的画面作为参照图像利用的运动补偿画面间预测编码模式这样2个编码模式。
在H.264/AVC标准中,与MPEG-2标准等同样,形成由阶层构成的数据构造,但是可以用薄片作为切换画面内预测编码模式和运动补偿画面间预测编码模式这样2个编码模式的单位。与在MPEG-2标准等中将切换编码模式的单位作为图像相对,在H.264/AVC中将是该图像的下一个下位阶层的薄片作为切换单位。
关于上述薄片,将进行画面内预测编码的薄片称为I薄片。此外,除了如上所述的以外,将通过在已编码的时间轴上从过去的画面参照1个参照图像块,可以进行运动补偿画面间预测编码的薄片称为P薄片。进一步,除了如上所述的以外,同样将通过从在已编码的时间轴上的过去的画面或未来的画面中进行任意组合,参照2个参照图像块可以进行运动补偿画面间预测编码的薄片称为B薄片。
下面,因为减小当进行画面间预测编码时的块大小能够进行更细致的预测,所以可以减小编码对象图像和预测图像的差分。另一方面,因为必须减小块大小和对每个块的运动矢量信息进行编码,所以增加了为此的编码量。因此,在许多的运动图像编码方式中采取设置多个块大小,从中通过切换使用最合适的块大小的方法。
作为选择最合适的编码模式的方法,例如,准备好利用称为JM(Joint Model:联合模型)的标准化委员会提供的基准软件(ReferenceSoftware)进行的简化方式和Rate-Distortion(速率失真)最佳化(RD-opt)方式这样2种方式,关于上述各模式分别以一定的方式计算编码成本,进行选择编码成本成为最小的编码模式那样的处理。
发明内容
在参考文献1(“Rate-Distortion Optimization for VideoCompression”,IEEE Signal Processing Magazine,vol.15,No.6,pp.74-90,(November,1998).)中的RD-opt方式中,因为对各编码模式/块大小,需要进行称为预测误差的计算、DCT变换、量子化、发生代码量计算、逆量子化、逆DCT变换、畸变量计算的编码/解码处理,所以使用于进行编码的计算处理变得膨大。另一方面,关于简略化方式,因为不需要对每个模式进行编码/解码处理,所以与RD-opt方式比较减轻了计算负担,但是即便在该情况下,关于各编码模式/块大小分别算出编码成本进行比较这一点也与RD-opt方式同样。在上述RD-opt方式和简化方式中,当薄片类别为P薄片时只对与参照图像块A有关的单向预测在运动矢量探索范围内进行运动探索,但是当B薄片时,由于
(1)将参照图像块A作为参照图像的单向预测
(2)将参照图像块B作为参照图像的单向预测
(3)将参照图像块A和参照图像块B作为参照图像的双预测这样3种预测进行运动探索,计算编码成本,所以计算处理变得膨大。
本发明提供维持高压缩率不变,减轻计算处理的图像编码装置和图像编码方法。
本发明,在使用已编码的1个以上的参照图像块进行图像编码的图像编码装置中,具有输出从1个参照块进行编码的第一编码成本信息的第一预测运动探索部、和使用从上述第一预测运动探索部输出的第一编码成本信息,输出从2个参照块进行编码的第二编码成本信息的第二预测运动探索部,上述图像编码装置使用上述第一编码成本信息和上述第二编码成本信息进行图像的编码。
根据本发明,可以提供维持高压缩率不变,减轻计算处理的图像编码装置和图像编码方法。
附图说明
从下面的结合附图的描述,本发明的这些和其它的特点、目的和优点将变得更加清楚。
图1是本发明的第一实施方式的图像编码装置的构成框图。
图2是表示本发明的第一实施方式的运动探索部的详细情况的构成框图。
图3是表示本发明的第二实施方式的运动探索部的详细情况的构成框图。
图4是表示本发明的第二实施方式的双预测运动探索块大小设定部的处理的一个例子的操作程序图。
图5是表示本发明的第三实施方式的运动探索部的详细情况的构成框图。
图6是本发明的第三实施方式的双预测运动探索中心设定部的处理动作的一个具体例的说明图。
图7是本发明的第三实施方式的双预测运动探索中心设定部的处理动作的一个具体例的说明图。
图8是本发明的第三实施方式的双预测运动探索中心设定部的处理动作的一个具体例的说明图。
图9是本发明的第三实施方式的双预测运动探索中心设定部的处理动作的一个具体例的说明图。
图10是现有的图像编码装置的构成框图。
图11是表示图10中运动探索部的详细情况的构成框图。
图12是模式地表示与1个画面的薄片有关的数据构造的说明图。
图13是表示在H.264/AVC中的双预测动作的说明图。
图14是表示在H.264/AVC中的双预测动作的说明图。
图15是表示在H.264/AVC中的双预测动作的说明图。
图16是表示在H.264/AVC中的运动补偿画面间预测编码时的块大小的说明图。
具体实施方式
虽然已经按照本发明指出并描述了若干实施例,但是应该懂得所描述的实施例允许在没有偏离本发明的范围的条件下进行变化和修改。所以,本发明不被这里指出并描述了的详细情况所限制,而是覆盖所有在权利要求书的范围内的这种变化和修改。
首先,下面详细地说明运动补偿画面间预测编码模式。
将算出编码对象图像的各像素值和处于与参照图像的如上所述的编码对象图像同一空间位置的各像素值的差分值,对其进行编码的方法称为画面间预测编码模式,但是上述方法是在其上加上运动补偿的方法。运动补偿是将编码对象图像分割成多个块,关于各编码对象块推定来自参照图像的运动量(运动矢量)生成预测图像,进一步减小编码对象图像和预测图像的差分值(预测误差)的方法。此外,因为当在解码侧对编码数据进行解码时,同时也需要上述运动矢量的信息,所以在编码侧除了预测误差外通过也对运动矢量的信息实施编码,进行记录或传送。
图12是模式地表示1个画面的薄片的数据构造的示意图。在H.264/AVC中如图所示可以将1个画面分割成多个薄片,各个薄片是I、P、B薄片中的任一个。这些I、P、B薄片中的任何一个,将是薄片的下位阶层的块的MB(宏块)作为单位(即对每个MB)进行编码,但是在MB中的可以选择的编码模式对每个I、P、B薄片不同。具体地说,在I薄片的MB中只可以选择画面内预测编码模式。在P薄片的MB中,可以选择画面内预测编码模式和参照时间轴上过去的参照画面内的1个参照图像块的运动补偿画面间预测编码模式。在B薄片的MB中,除了画面内预测编码模式、和将时间轴上过去的参照画面内的1个参照图像块或参照时间轴上未来的参照画面内的1个参照图像块作为参照图像的运动补偿画面间预测编码模式外,可以选择从时间轴上过去或未来的参照画面内参照2个参照图像块的运动补偿画面间预测编码模式。其中,下面更详细地说明当使用2个参照图像块时的运动补偿画面间预测编码模式。
关于使用2个参照图像块的预测,如图13所示,可以用在MPEG-2中对编码对象画面内的编码对象块,同时参照时间轴上的过去的参照画面内的1个参照图像块和未来的参照画面内的1个参照图像块,将该2个参照图像块的平均值作为参照图像块进行编码的称为“双方向预测”的方法。在H.264/AVC中,扩大该MPEG-2的双方向预测,如图14所示,从处于同一方向的2个参照画面分别选择参照图像块进行使用的预测和如图15所示,从同一参照画面内选择2个参照图像块进行使用的预测成为可能,不受称为时间轴上的过去的1个画面+时间轴上的未来的1个画面的制约,可以从过去、未来没有关系的任意的参照画面选择2个参照图像块。因此,与现有的“双方向预测”区别,将其称为“双预测”。此外,在说明上,将在双预测中参照的2个参照图像块分别称为“参照图像块A”、“参照图像块B”。“参照图像块A”、“参照图像块B”既可以是在时间轴上分别存在于对编码对象画面前后的参照画面内的块,也可以是只在前面或只在后面,但是下面为了使说明简易化,如图13所示,从时间轴上的过去的参照画面内分配参照图像块A,从时间轴上的未来的参照画面内分配参照图像块B。
此外,下面将对上述双预测只用1个参照画面进行运动补偿画面间预测编码的方法称为“单向预测”。在下面的说明中,在P薄片中参照的图像块成为参照图像块A。
在H.264/AVC中,如图16所示,因为作为用于进行运动补偿画面间预测编码的块大小,当选择(1)16×16~(4)8×8这样4类和进一步(4)的8×8的块大小时,对各个8像素×8像素的块能够使用(5)8×4~(7)4×4这样3类,所以可以使用合计7类的块大小。
如上所述,通过从在H.264/AVC中的P薄片中上述合计7类的块大小的运动补偿画面间预测编码模式(只是使用参照图像块A的单向预测)和画面内预测编码模式中,从在B薄片中上述合计7类的块大小的运动补偿画面间预测编码模式(使用参照图像块A的单向预测、使用参照图像块B的单向预测、使用参照图像块A和参照图像块B的双预测这样3类)和画面内预测编码模式中,分别选择最合适的编码模式,可以提高压缩率。
在简化方式中,编码成本如公式(1)所示,对原图像和预测图像的误差进行阿达玛变换,作为算出变换后的各系数的绝对值和的SATD(Sum of Absolute Transformed Difference:绝对变换差之和)和对每个编码模式确定的偏置值(Bias)之和进行计算。
[公式1]
Cost=SATD+Bias    ……(1)
另一方面,在RD-opt方式中,在编码成本的算出中使用拉格朗日乘数。编码成本如公式(2)所示,使用作为对原图像和解码图像的平方误差和的SSD(Sum of Square Difference:平方差之和))和速率项R与拉格朗日参数λMODE进行计算。速率项是当选择该编码模式时的合计代码量。拉格朗日参数是从当对持有不同特征的各种测试图像进行编码时的代码量和量子化参数(QP)的关系求得的值。
[公式2]
Cost=SSD+λMODE×R  其中, λ MODE = 0.85 × 2 QP - 12 3 · · · · · · ( 2 )
下面参照图10说明RD-opt方式和简化方式。
图10是表示现有的编码装置的示意图,图11是详细地表示图10中的运动探索、评价部(115)的动作的示意图。此外,关于图10中的上述探索、评价部(115)以外的各部,因为具有与后述的图1相同的功能,所以在后面述说它们的详细情况。
在图11中,(201)表示当将参照图像块A作为参照图像时的单向预测运动探索部,(202)表示当将参照图像块B作为参照图像时的单向预测运动探索部,(203)表示当将参照图像块A和参照图像块B作为参照图像时的双预测运动探索部。(204)、(205)和(206)是在当将参照图像块A作为参照图像时的单向预测运动探索部(201)中,分别令块大小为M1×N1、M2×N2、Mm×Nn进行运动探索的运动探索部。同样,(207)、(208)和(209)是在当将参照图像块B作为参照图像时的单向预测运动探索部(202)中,分别令块大小为M1×N1、M2×N2、Mm×Nn而进行运动探索的运动探索部。而且,(210)、(211)和(212)是在当将参照图像块A和参照图像块B作为参照图像时的双预测运动探索部(203)中,分别令块大小为M1×N1,M2×N2,Mm×Nn进行运动探索的运动探索部。(213)是从上述(204)~(212)的各运动探索部中的运动探索结果决定使编码成本成为最小的预测方向和块大小的运动探索评价部。这里,在P薄片的情况下因为只使用参照图像A,所以只进行(201)的运动探索处理,而不需要(202)和(203)的运动探索处理。另一方面,在B薄片的情况下因为也进行(202)和(203)的各运动探索,所以与P薄片比较计算处理变得膨大了。
下面,参照图1说明本发明的实施方式。
[实施例1]
图1是本发明的第一实施方式的图像编码装置的构成框图。
图1所示的图像编码装置具有减法器(100)、DCT部(101)、量子化部(102)、逆量子化部(103)、IDCT部(104)、加法部(105)、解块部(Deblocking)(106)、帧存储器(107)、运动探索、评价部(108)、可变长度编码部(113)和缓冲部(114)。其中,运动探索、评价部(108)具有单向预测运动探索部(109)和(110)、双预测运动探索部(111)和运动探索评价部(112)。上述各部既可以由硬件构成,也可以由软件构成。此外,也可以是将硬件和软件组合起来的模块。此外,关于图1的上述各部,附加了与图10所示的现有的图像编码装置相同的标号的块具有相同的功能。下面说明图1所示的图像编码装置的动作。
使用没有图示的图像块分割部分割图像信号。已分割的输入图像块在减法器(100)中,进行与从后述的运动探索、评价部(108)输出的输入图像块的减法处理。DCT部(101)对于每个图像块对从减法器(100)输出的差分图像信号进行正交变换输出到量子化部(102)。量子化部(102)对输入的DCT变换数据进行量子化。将经过量子化的数据输入到可变长度编码部(113)。可变长度编码部(113)对输入数据进行可变长度编码。将经过可变长度编码的编码数据暂时存储在缓冲部(114)中。缓冲部(114)同时将输入的编码数据输出到传送线路。
另一方面,将由量子化部(102)生成的量子化数据输入到逆量子化部(103)。逆量子化部(103)对量子化数据进行逆量子化。将经过逆量子化的图像块数据输入到IDCT部(104)。IDCT部(104)对该数据进行逆正交变换复原为差分块。已复原的差分块经过加法器(105)生成局部解码图像,经过解块部(106)存储在帧存储器(107)中。解块部(106)是进行用于减轻当图像编码时发生的块畸变的滤波处理的部。当对输入图像进行画面间预测编码时读出存储在帧存储器(107)中的局部解码图像作为参照图像,输入到运动探索、评价部(108)。运动探索、评价部(108)通过将从帧存储器(107)读出的图像作为参照图像而对输入的映像信号的图像块进行运动探索,决定使编码成本成为最小的块大小和运动矢量。将与用运动探索、评价部(108)选择的块大小和运动矢量相当的参照图像块供给上述减法器(100)。而且,将与用运动探索、评价部(108)选择的运动矢量信息供给可变长度编码部(113),与从量子化部(102)输出的量子化数据一起进行可变长度编码。
图2是更详细地说明上述运动探索、评价部(108)的动作的示意图。在图2中,(200)是当将参照图像A作为参照图像时的单向预测运动探索部,(210)是当将参照图像B作为参照图像时的单向预测运动探索部,(220)是当将参照图像A和参照图像B作为参照图像时的双预测运动探索部,(230)是从单向预测运动探索部(200)、单向预测运动探索部(210)和双预测运动探索部(220)中决定编码成本成为最小的画面间预测编码模式、块大小和运动矢量的运动探索评价部。
在单向预测运动探索部(200)中,(201)、(202)和(203)是在将参照图像块A作为参照图像时的运动探索中,分别令块大小为M1×N1、M2×N2、Mm×Nn而进行运动探索的运动探索部。运动探索评价部(204)从运动探索部(201)~(203)中,决定使编码成本成为最小的块大小和运动矢量,与这时的编码成本一起输出到运动探索评价部(230)。此外,将上述决定的块大小输出到双预测运动探索部(220)。同样,在单向预测运动探索部(210)中,(211)、(212)和(213)是在将参照图像块B作为参照图像时的运动探索中,分别令块大小为M1×N1、M2×N2、Mm×Nn而进行运动探索的运动探索部。运动探索评价部(214)从运动探索部(211)~(213)中,决定使编码成本成为最小的块大小和运动矢量,与这时的编码成本一起输出到运动探索部(230)。而且,将上述已决定的块大小输出到双预测运动探索部(220)。
在双预测运动探索部(220)中,运动探索部(221)根据从参照图像块A的单向预测运动探索部(200)通知的块大小进行双预测运动探索。运动探索部(222)根据从参照图像块B的单向预测运动探索部(210)通知的块大小进行双预测运动探索。运动探索评价部(223)在双预测运动探索部(221)和双预测运动探索部(222)中,决定编码成本小的块大小和运动矢量,与这时的编码成本一起输出到运动探索评价部(230)。
如上所述,在本发明的第一实施方式的图像编码装置中,因为作为进行双预测运动探索的块大小,限定于由参照图像块A的单向预测中的运动探索选择的块大小和由参照图像块B的单向预测中的运动探索选择的块大小这样2种块大小,所以具有减轻双预测运动探索中需要的编码处理的效果。此外,在本发明中,因为根据在单向预测中的运动探索中选择的块大小决定用于双预测探索的块大小,所以也可以将编码效率维持在尽可能高的值上。
[实施例2]
下面说明本发明的第二实施方式。因为本发明的第二实施方式的图像编码装置的构成框图与上述第一实施方式中的图1相同,所以省略其说明。下面参照图3说明运动探索、评价部(108)的动作。在图3中,因为单向预测运动探索部(200)和(210)、运动探索评价部(230)与图2相同,所以省略其说明。在双预测运动探索部(220)中,双预测运动探索块大小设定部(224),从由单向预测运动探索部(200)和单向预测运动探索部(210)通知的块大小,决定当进行双预测探索时的块大小。运动探索部(225)根据从双预测运动探索块大小设定部(224)通知的块大小,进行双预测运动探索,将编码成本成为最小时的运动矢量和编码成本输出到运动探索评价部(230)。
下面表示在上述双预测运动探索块大小设定部(224)中决定块大小的一个具体实施例。当令从单向预测运动探索部(200)通知的块大小为MA×NA,从单向预测运动探索部(200)通知的块大小为MB×NB时,如下地求得进行双预测的块大小MC×NC
[公式3]
MC=GCM(MA,MB)
NC=GCM(NA,NB)  ……(3)
在公式(3)中,GCM(a,b)是求得a和b的最大公约数的函数。
如上所述,在本发明的第二实施方式的图像编码装置中,因为作为进行双预测运动探索的块大小,从在与参照图像块A有关的单向预测中的探索结果和在参照图像块B的单向预测中的探索结果,限定于1个,所以具有减轻双预测运动探索中需要的编码处理的效果。此外,关于用于本发明中的双预测探索中的块大小,因为当在参照图像块A的单向预测中选择的块大小和在参照图像块B的单向预测中选择的块大小相等时,在双预测中选择的块大小也成为与上述单向预测相同的块大小,此外,当在参照图像块A的单向预测中选择的块大小和在参照图像块B的单向预测中选择的块大小不同时,也选择成为两个块大小的最大公约数的块大小(例如,当使用参照图像块A选择的块大小为16×16,使用参照图像块B选择的块大小为16×8时在双预测运动探索中设定的块大小为16×8),能够将在单向预测中编码成本成为最小的块大小作为双预测运动探索时的块大小尽可能地反映出来,所以即便关于编码效率也可以将其维持在高的值。
在上述第二实施方式中,关于双预测运动探索块大小设定部(224)的动作,表示了关于使用单向预测运动探索部(200)选择的块大小和用单向预测运动探索部(210)选择的块大小的全部组合,进行双预测运动探索的设定动作例,但是作为别的实施例也可以例如如图4那样地进行设定。
在图4中,判定从单向预测运动探索部(200)通知的块大小(MA×NA)和从单向预测运动探索部(200)通知的块大小(MB×NB)是否相等(图4的S401)。在S401的判定中,当块大小(MA×NA)和块大小(MB×NB)相等时(图4的S401中为“YES”时)将表示是否进行双预测运动探索的识别标志(Bi-pred-flag)设置为1(图4的S403)。下面,设置当进行双预测运动探索时的块大小(MC×NC)(图4的S404)。另一方面,在S401的判定中,当块大小(MA×NA)和块大小(MB×NB)不相等时(图4的S401中为“NO”时)将表示是否进行双预测运动探索的识别标志(Bi-pred-flag)设置为0(图4的S402)结束处理。图3的双预测运动探索部(225)参照上述的识别标志(Bi-pred-flag),当本标志为1时用块大小(MC×NC)进行双预测运动探索。另一方面,当上述的识别标志(Bi-pred-flag)为0时不进行双预测运动探索。这时,运动探索评价部(230),从单向预测运动探索部(200)和单向预测运动探索部(210)中决定编码成本成为最小的画面间预测编码模式、块大小和运动矢量。
在以上的例子中,因为只当使用单向预测运动探索部(200)选择的块大小和用单向预测运动探索部(210)选择的块大小相同时才进行双预测运动探索那样的控制,所以可以进一步减轻双预测运动探索中需要的编码处理。
[实施例3]
下面说明本发明的第三实施方式。因为本发明的第三实施方式的图像编码装置的构成框图与上述第一实施方式中的图1相同,所以省略其说明。下面参照图5说明运动探索、评价部(108)的动作。在图5中,因为单向预测运动探索部(200)和(210)、运动探索评价部(230)与图2相同,所以省略其说明。在双预测运动探索部(220)中,双预测运动探索中心设定部(241)根据由当将参照图像块A作为参照图像时的单向预测运动探索部(200)选择的运动矢量,设定当进行双预测运动探索时在参照图像块A所属的参照画面内的运动探索的探索中心。双预测运动探索中心设定部(240)根据由当将参照图像块B作为参照图像时的单向预测运动探索部(210)选择的运动矢量,设定当进行双预测运动探索时在参照图像块B所属的参照画面内的运动探索的探索中心。运动探索部(242)~(244)是在将从双预测运动探索中心设定部(240)、(241)通知的探索中心作为中心,分别令块大小为M1×N1、M2×N2、Mm×Nn而进行运动探索的运动探索部。运动探索评价部(245),从运动探索部(242)~(244)中,决定使编码成本成为最小的块大小和运动矢量,与这时的编码成本一起输出到运动探索评价部(230)。
下面更详细地说明上述双预测运动探索中心设定部(241)的动作。此外,在H.264/AVC中如图16所示可以使用16×16~4×4的7类块大小,但是下面为了使说明简易化,将图16中(1)16×16~(4)8×8这样4类用作块大小的情形作为例子。此外,当在1MB中存在多个块时为了识别各块,在图16(1)~(4)中赋予0~3的块号码。当块大小=16×16时块号码只为0。当块大小=16×8时,因为在1MB中上下存在2个16×8的块,所以令上侧的块的块号码为0,下侧的块的块号码为1。同样,当块大小=8×16时,因为在1MB中左右存在2个8×16的块,所以令左侧的块的块号码为0,右侧的块的块号码为1。当块大小=8×8时,因为在1MB中上下左右存在4个8×8的块,所以令左上块的块号码为0,右上块的块号码为1,左下块的块号码为2,右下块的块号码为3。
图6是表示在令用单向预测运动探索部(200)选择的块大小为16×16,运动矢量为
运动矢量(x,y)=(MV0x,MV0y)  [块号码=0]的情况下,设定用双预测运动探索部(242)~(244)进行运动探索时的探索中心点的动作例的示意图。
此外,图7是表示在令用单向预测运动探索部(200)选择的块大小为16×8,块号码=0,块号码=1中的运动矢量分别为
运动矢量(x,y)=(MV1x,MV1y)  [块号码=0]
运动矢量(x,y)=(MV2x,MV2y)  [块号码=1]的情况下,设定用双预测运动探索部(242)~(244)进行运动探索时的探索中心点的动作例的示意图。在图7中,
MVave1x=(MV1x+MV2x)/2
MVave1y=(MV1y+MV2y)/2
此外,图8是表示在令用单向预测运动探索部(200)选择的块大小为8×16,块号码=0,块号码=1中的运动矢量分别为
运动矢量(x,y)=(MV3x,MV3y)  [块号码=0]
运动矢量(x,y)=(MV4x,MV4y)  [块号码=1]的情况下,设定用双预测运动探索部(242)~(244)进行运动探索时的探索中心点的动作例的示意图。在图8中,
MVave2x=(MV3x+MV4x)/2
MVave2y=(MV3y+MV4y)/2
此外,图9是表示在令用单向预测运动探索部(200)选择的块大小为8×8,块号码=0~3中的运动矢量分别为
运动矢量(x,y)=(MV5x,MV5y)  [块号码=0]
运动矢量(x,y)=(MV6x,MV6y)  [块号码=1]
运动矢量(x,y)=(MV7x,MV7y)  [块号码=2]
运动矢量(x,y)=(MV8x,MV8y)  [块号码=3]的情况下,设定用双预测运动探索部(242)~(244)进行运动探索时的探索中心点的动作例的示意图。在图9中,
MVave3x=(MV5x+MV6x+MV7x+MV8x)/4
MVave3y=(MV5y+MV6y+MV7y+MV8y)/4
MVave4x=(MV5x+MV6x)/2
MVave4y=(MV5y+MV6y)/2
MVave5x=(MV7x+MV8x)/2
MVave5y=(MV7y+MV8y)/2
MVave6x=(MV5x+MV7x)/2
MVave6y=(MV5y+MV7y)/2
MVave7x=(MV6x+MV8x)/2
MVave7y=(MV6y+MV8y)/2
在以上说明了双预测运动探索中心设定部(241)的动作,但是关于双预测运动探索中心(240)也是同样的。
如上所述,在本发明的第三实施方式的图像编码装置中,因为从单向预测运动探索的结果设定进行双预测运动探索时的探索中心点,所以可以将双预测运动探索时的探索范围设定得比单向预测运动探索时的探索范围小。因此,具有能够减轻双预测运动探索中需要的编码处理的效果。而且,在本发明中因为根据在单向预测中的运动探索中选择的运动矢量信息决定双预测探索的探索中心点,所以可以将编码效率维持在尽可能高的值上。
此外,通过将在上述第一和第二实施方式中记载的图像编码装置和在上述第三实施方式中记载的图像编码装置组合起来,具体地说,即便用从单向预测中的运动探索的结果决定进行双预测运动探索时的块大小和运动探索中心点的方法也可以得到同样的效果。

Claims (12)

1.一种图像编码装置,使用已编码的1个以上的参照图像块进行图像的编码,其特征在于,包括:
第一预测运动探索部,输出从1个参照块进行编码的第一编码成本信息;和
第二预测运动探索部,使用从所述第一预测运动探索部输出的第一编码成本信息,输出从2个参照块进行编码的第二编码成本信息,
其中,所述图像编码装置使用所述第一编码成本信息和所述第二编码成本信息进行图像的编码。
2.根据权利要求1所述的图像编码装置,其特征在于:
所述第一编码成本信息是关于块大小的信息。
3.根据权利要求1所述的图像编码装置,其特征在于:
所述第一编码成本信息是关于运动矢量的信息。
4.根据权利要求1所述的图像编码装置,其特征在于:
所述第一编码成本信息是关于块大小的信息和关于运动矢量的信息。
5.根据权利要求1所述的图像编码装置,其特征在于:
所述图像编码装置以n个(n为1以上)块大小作为单位进行图像编码,其使用所述第一编码成本信息和所述第二编码成本信息,选择进行编码的所述块大小。
6.根据权利要求1所述的图像编码装置,其特征在于,所述第一预测运动探索部包括:
第一单向预测运动探索部,输出从已编码的第一参照图像块进行编码的第三编码成本信息;和
第二单向预测运动探索部,输出从与所述第一参照图像块不同的第二参照图像块进行编码的第四编码成本信息,
其中,第二预测运动探索部使用所述第三编码成本信息和第四编码成本信息,输出从2个参照块进行编码的第二编码成本信息。
7.一种图像编码方法,使用已编码的1个以上的参照图像块进行图像的编码,其特征在于,包括:
第一预测运动探索步骤,输出从1个参照块进行编码的第一编码成本信息;和
第二预测运动探索步骤,使用由所述第一预测运动探索步骤输出的第一编码成本信息,输出从2个参照块进行编码的第二编码成本信息,
其中,所述图像编码方法使用所述第一编码成本信息和所述第二编码成本信息进行图像的编码。
8.根据权利要求7所述的图像编码方法,其特征在于:
所述第一编码成本信息是关于块大小的信息。
9.根据权利要求7所述的图像编码方法,其特征在于:
所述第一编码成本信息是关于运动矢量的信息。
10.根据权利要求7所述的图像编码方法,其特征在于:
所述第一编码成本信息是关于块大小的信息和关于运动矢量的信息。
11.根据权利要求7所述的图像编码方法,其特征在于:
所述图像编码方法以n个(n为1以上)块大小作为单位进行图像编码,其使用所述第一编码成本信息和所述第二编码成本信息,选择进行编码的所述块大小。
12.根据权利要求7所述的图像编码方法,其特征在于,所述第一预测运动探索步骤包括:
第一单向预测运动探索步骤,从已编码的第一参照图像块输出进行编码的第三编码成本信息;和
第二单向预测运动探索步骤,输出从与所述第一参照图像块不同的第二参照图像块进行编码的第四编码成本信息,
其中,第二预测运动探索步骤使用所述第三编码成本信息和第四编码成本信息,输出从2个参照块进行编码的第二编码成本信息。
CN2007100910971A 2006-06-08 2007-04-09 图像编码装置和图像编码方法 Active CN101087414B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006-159231 2006-06-08
JP2006159231 2006-06-08
JP2006159231A JP4752631B2 (ja) 2006-06-08 2006-06-08 画像符号化装置、及び画像符号化方法

Publications (2)

Publication Number Publication Date
CN101087414A true CN101087414A (zh) 2007-12-12
CN101087414B CN101087414B (zh) 2011-04-13

Family

ID=38821943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007100910971A Active CN101087414B (zh) 2006-06-08 2007-04-09 图像编码装置和图像编码方法

Country Status (3)

Country Link
US (1) US8379724B2 (zh)
JP (1) JP4752631B2 (zh)
CN (1) CN101087414B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277511A (zh) * 2011-11-08 2017-10-20 株式会社东芝 图像解码方法和图像解码装置
CN107801028A (zh) * 2011-09-14 2018-03-13 三星电子株式会社 用于对视频进行编码和解码的方法和装置
CN108650508A (zh) * 2011-09-29 2018-10-12 夏普株式会社 图像解码装置、图像解码方法及图像编码装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330060B1 (en) 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data
US8660182B2 (en) 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points
US8731071B1 (en) 2005-12-15 2014-05-20 Nvidia Corporation System for performing finite input response (FIR) filtering in motion estimation
US8724702B1 (en) 2006-03-29 2014-05-13 Nvidia Corporation Methods and systems for motion estimation used in video coding
US8660380B2 (en) 2006-08-25 2014-02-25 Nvidia Corporation Method and system for performing two-dimensional transform on data value array with reduced power consumption
JP4633035B2 (ja) * 2006-11-07 2011-02-16 Necディスプレイソリューションズ株式会社 液晶表示装置及び液晶表示装置制御方法
US8756482B2 (en) 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
US9118927B2 (en) * 2007-06-13 2015-08-25 Nvidia Corporation Sub-pixel interpolation and its application in motion compensated encoding of a video signal
US8873625B2 (en) 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
US8666181B2 (en) 2008-12-10 2014-03-04 Nvidia Corporation Adaptive multiple engine image motion detection system and method
EP2200326A1 (en) * 2008-12-18 2010-06-23 Thomson Licensing Method and device for encoding a block of an image using a reference block of a further image, data carrier carrying an encoded block of an image and method for decoding a block of an image
JP5233897B2 (ja) * 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
JP2012142865A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置及び画像処理方法
US20160065959A1 (en) * 2014-08-26 2016-03-03 Lyrical Labs Video Compression Technology, LLC Learning-based partitioning for video encoding
US11284133B2 (en) * 2012-07-10 2022-03-22 Avago Technologies International Sales Pte. Limited Real-time video coding system of multiple temporally scaled video and of multiple profile and standards based on shared video coding information
JP6090430B2 (ja) * 2013-03-26 2017-03-08 富士通株式会社 符号化装置、方法、プログラム、コンピュータシステム、記録媒体
WO2014198222A1 (en) * 2013-06-11 2014-12-18 Mediatek Inc. Method of inter-view residual prediction with reduced complexity in three-dimensional video coding
JP6178698B2 (ja) * 2013-11-08 2017-08-09 日本電信電話株式会社 映像符号化装置
CN105874798B (zh) * 2014-01-03 2019-08-27 庆熙大学校产学协力团 用于导出子预测单元的时间点之间的运动信息的方法和装置
CN107040782B (zh) * 2017-04-21 2019-10-01 上海电力学院 基于拉格朗日方法的视频编码全局率失真优化方法
JP7147145B2 (ja) * 2017-09-26 2022-10-05 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
CN111836050B (zh) * 2019-04-17 2023-04-18 上海富瀚微电子股份有限公司 一种视频编码中绝对变换差和的计算方法及装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4985768A (en) * 1989-01-20 1991-01-15 Victor Company Of Japan, Ltd. Inter-frame predictive encoding system with encoded and transmitted prediction error
US4937666A (en) * 1989-12-04 1990-06-26 Bell Communications Research, Inc. Circuit implementation of block matching algorithm with fractional precision
US5151784A (en) * 1991-04-30 1992-09-29 At&T Bell Laboratories Multiple frame motion estimation
US5539466A (en) * 1991-07-30 1996-07-23 Sony Corporation Efficient coding apparatus for picture signal and decoding apparatus therefor
DE69333900T2 (de) * 1992-01-29 2006-08-03 Mitsubishi Denki K.K. Videoinformationsaufzeichnungsmedium und Wiedergabevorrichtung
US5488482A (en) * 1992-01-29 1996-01-30 Mitsubishi Denki Kabushiki Kaisha High-efficiency encoder and video information recording/reproducing apparatus
KR950014862B1 (ko) * 1992-02-08 1995-12-16 삼성전자주식회사 움직임추정방법 및 그 장치
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US5719630A (en) * 1993-12-10 1998-02-17 Nec Corporation Apparatus for compressive coding in moving picture coding device
JP3050736B2 (ja) * 1993-12-13 2000-06-12 シャープ株式会社 動画像符号化装置
EP0670663A1 (fr) * 1994-03-02 1995-09-06 Laboratoires D'electronique Philips S.A.S. Procédé et dispositif de codage de signaux numériques représentatifs d'une séquence d'images
US5652629A (en) * 1995-09-12 1997-07-29 International Business Machines Corporation Bidirectional motion estimation in a motion video compression system
US6320906B1 (en) * 1996-05-21 2001-11-20 Matsushita Electric Industrial Co., Ltd. Motion vector detecting circuit
JP3944806B2 (ja) * 1998-04-01 2007-07-18 ソニー株式会社 動きベクトル検出方法及び装置
US6556624B1 (en) * 1999-07-27 2003-04-29 At&T Corp. Method and apparatus for accomplishing multiple description coding for video
CN102025991B (zh) * 2001-09-14 2017-12-29 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置和图像处理系统
EP1827027A1 (en) * 2002-01-18 2007-08-29 Kabushiki Kaisha Toshiba Video encoding method and apparatus and video decoding method and apparatus
JP4841101B2 (ja) * 2002-12-02 2011-12-21 ソニー株式会社 動き予測補償方法及び動き予測補償装置
JP4113044B2 (ja) * 2003-05-23 2008-07-02 松下電器産業株式会社 画像符号化装置
JP4369318B2 (ja) * 2003-07-24 2009-11-18 パナソニック株式会社 符号化モード決定装置、画像符号化装置、符号化モード決定方法、および符号化モード決定プログラム
JP4179548B2 (ja) 2003-09-24 2008-11-12 Kddi株式会社 動きベクトル検出装置
US20070014359A1 (en) * 2003-10-09 2007-01-18 Cristina Gomila Direct mode derivation process for error concealment
JP4127818B2 (ja) * 2003-12-24 2008-07-30 株式会社東芝 動画像符号化方法及びその装置
JP3879741B2 (ja) 2004-02-25 2007-02-14 ソニー株式会社 画像情報符号化装置および画像情報符号化方法
EP1578137A2 (en) * 2004-03-17 2005-09-21 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus with multistep interpolation process
US20080037642A1 (en) * 2004-06-29 2008-02-14 Sony Corporation Motion Compensation Prediction Method and Motion Compensation Prediction Apparatus
JP2006074474A (ja) * 2004-09-02 2006-03-16 Toshiba Corp 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
JP4317814B2 (ja) * 2004-12-06 2009-08-19 株式会社ルネサステクノロジ 動画像情報の符号化装置及び符号化方法
US8565307B2 (en) * 2005-02-01 2013-10-22 Panasonic Corporation Picture encoding method and picture encoding device
US7843995B2 (en) * 2005-12-19 2010-11-30 Seiko Epson Corporation Temporal and spatial analysis of a video macroblock

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107968945B (zh) * 2011-09-14 2021-09-14 三星电子株式会社 对视频进行解码的方法和对视频进行编码的方法
CN107801028B (zh) * 2011-09-14 2020-11-27 三星电子株式会社 用于对视频进行解码的设备和用于对视频进行编码的设备
CN107820090A (zh) * 2011-09-14 2018-03-20 三星电子株式会社 用于对视频进行编码和解码的方法和装置
CN107968945A (zh) * 2011-09-14 2018-04-27 三星电子株式会社 用于对视频进行编码和解码的方法和装置
CN107979757A (zh) * 2011-09-14 2018-05-01 三星电子株式会社 用于对视频进行编码和解码的方法和装置
CN107979755A (zh) * 2011-09-14 2018-05-01 三星电子株式会社 用于对视频进行编码和解码的方法和装置
CN107801028A (zh) * 2011-09-14 2018-03-13 三星电子株式会社 用于对视频进行编码和解码的方法和装置
CN107979755B (zh) * 2011-09-14 2021-12-21 三星电子株式会社 对视频进行解码的方法和对视频进行编码的方法
CN107979757B (zh) * 2011-09-14 2021-12-21 三星电子株式会社 对视频进行解码的设备和对视频进行编码的设备
CN108650508A (zh) * 2011-09-29 2018-10-12 夏普株式会社 图像解码装置、图像解码方法及图像编码装置
CN108650508B (zh) * 2011-09-29 2022-07-29 夏普株式会社 图像解码装置、图像解码方法、图像编码装置及图像编码方法
CN107277511A (zh) * 2011-11-08 2017-10-20 株式会社东芝 图像解码方法和图像解码装置
US10687072B2 (en) 2011-11-08 2020-06-16 Kabushiki Kaisha Toshiba Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US11451808B2 (en) 2011-11-08 2022-09-20 Kabushiki Kaisha Toshiba Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US11831891B2 (en) 2011-11-08 2023-11-28 Kabushiki Kaisha Toshiba Image coding method, image decoding method, image coding apparatus, and image decoding apparatus

Also Published As

Publication number Publication date
CN101087414B (zh) 2011-04-13
JP2007329693A (ja) 2007-12-20
US20070286284A1 (en) 2007-12-13
JP4752631B2 (ja) 2011-08-17
US8379724B2 (en) 2013-02-19

Similar Documents

Publication Publication Date Title
CN101087414B (zh) 图像编码装置和图像编码方法
CN101536528B (zh) 用于分解视频序列帧的方法
CN102098517B (zh) 用于确定解码视频块中的期望失真的方法及设备
US8244048B2 (en) Method and apparatus for image encoding and image decoding
CN101361370B (zh) 图像编码/图像解码方法以及图像编码/图像解码装置
CN101494776B (zh) 一种h.264码率控制方法
CN102714736A (zh) 基于减少的运动矢量预测候选对运动矢量进行编码和解码的方法和设备
CN101867814B (zh) 图像编码设备和图像编码方法
CN106604036B (zh) 数据编码设备和数据编码方法
JP2010135864A (ja) 画像符号化方法及び装置並びに画像復号化方法及び装置
CN101779463B (zh) 用于处理图像的方法以及相应的电子设备
CN107105232A (zh) 视频编码和解码
CN101563927A (zh) 用于对视频图像的块进行解码的方法
CN102598670A (zh) 参考多个帧对图像进行编码/解码的方法和设备
CN107027025B (zh) 一种基于宏像素块自适应预测的光场图像压缩方法
CN103733621A (zh) 基于低复杂度差错传播追踪的速率失真优化的视频编码模式选择
KR20080048071A (ko) 통합된 공간 시간 예측
JP2011199362A (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
CN103188496A (zh) 基于运动矢量分布预测的快速运动估计视频编码方法
CN104754337B (zh) 视频编码方法
CN100591136C (zh) 一种基于空域分解的视频帧内编码方法
US20060133481A1 (en) Image coding control method and device
CN102196272B (zh) 一种p帧编码方法及装置
JP4786612B2 (ja) 動画像符号化装置の予測動きベクトル生成装置
JP2010081498A (ja) 画像圧縮符号化方法、及び装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: HITACHI LTD.

Free format text: FORMER OWNER: HITACHI,LTD.

Effective date: 20130820

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130820

Address after: Tokyo, Japan

Patentee after: HITACHI CONSUMER ELECTRONICS Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: Hitachi, Ltd.

ASS Succession or assignment of patent right

Owner name: HITACHI MAXELL LTD.

Free format text: FORMER OWNER: HITACHI LTD.

Effective date: 20150302

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150302

Address after: Osaka Japan

Patentee after: Hitachi Maxell, Ltd.

Address before: Tokyo, Japan

Patentee before: Hitachi Consumer Electronics Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20180302

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Osaka Japan

Patentee before: Hitachi Maxell, Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL HOLDINGS, Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20220526

Address after: Kyoto Japan

Patentee after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL, Ltd.

TR01 Transfer of patent right