CN101141651B - 动态补偿方法、图像编码方法及图像解码方法 - Google Patents

动态补偿方法、图像编码方法及图像解码方法 Download PDF

Info

Publication number
CN101141651B
CN101141651B CN2007101542835A CN200710154283A CN101141651B CN 101141651 B CN101141651 B CN 101141651B CN 2007101542835 A CN2007101542835 A CN 2007101542835A CN 200710154283 A CN200710154283 A CN 200710154283A CN 101141651 B CN101141651 B CN 101141651B
Authority
CN
China
Prior art keywords
motion vector
piece
dynamic compensation
picture
macro block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN2007101542835A
Other languages
English (en)
Other versions
CN101141651A (zh
Inventor
角野真也
近藤敏志
安倍清史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Godo Kaisha IP Bridge 1
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=32375820&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101141651(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101141651A publication Critical patent/CN101141651A/zh
Application granted granted Critical
Publication of CN101141651B publication Critical patent/CN101141651B/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/557Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/583Motion compensation with overlapping blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本发明涉及使用了动态矢量的动态补偿方法、使用了该动态补偿的图像编码方法和图像解码方法。图像编码装置(300)具有检测部(302)和动态补偿部(303),所述检测部(302)根据构成与解码对象宏块相对应的解码完的宏块的块群中,位于上述解码完的宏块的角上的块的动态矢量,选择针对动态补偿对象块的动态矢量的导出方法,将由选择的导出方法导出了动态矢量的动态矢量,作为动态矢量检测的候补,所述动态补偿部(303)基于检测到的动态矢量,生成动态补偿对象块的预测图像。

Description

动态补偿方法、图像编码方法及图像解码方法
本发明为下述申请的分案申请,原申请信息如下:
申请日:2003年08月28日
申请号:03802728.3
发明名称:动态补偿方法、图像编码方法及图像解码方法
技术领域
本发明涉及使用了动态矢量的动态补偿方法、使用了该动态补偿的图像编码方法和图像解码方法。
背景技术
近年来,随着多媒体应用的发展,一般统一处理图像、声音、文本等所有的媒体信息。此时,可通过对所有媒体进行数字化来统一处理媒体。但是,因为数字化的图像具有庞大的数据量,所以为了存储、传送,图像的信息压缩技术是不可缺少的。另一方面,为了相互运用压缩的图像数据,压缩技术的标准化也是重要的。作为图像压缩技术的标准参考,有ITU-T(国际电气通信联盟-电气通信标准化部门)的H.261、H.263、ISO/IEC(国际标准化机构-国际电气标准会议)的MPEG(Moving PictureExperts Group即,动态图像专家组)-1、MPEG-2、MPEG-4等。
一般地,在动态图像的编码中,通过削减时间方向和空间方向的冗余性来压缩信息量。因此,在以时间的冗余性的削减为目的的画面间预测编码中,参照前方或后方的画面(picture),按块单位进行动态的检测和预测图像的制作,对得到的预测图像与编码对象画面的差分值进行编码。在此,所述画面是表示一幅画面的用语,在顺序图像中意味着帧,在交错图像中意味着帧或场。所述交错图像,是由时刻不同的2个场构成一个帧的图像。在交错图像的编码和解码处理中,可将一帧图像原样地进行处理,或作为2个场进行处理,或将帧内的每个块作为帧结构或场结构进行处理。
将不具有参照图像而进行画面内预测编码的称作I画面。此外,将仅参照一幅画面进行画面间预测编码的称作P画面。此外,将能同时参照2幅画面进行画面间预测编码的称作B画面。B画面可以从显示时间前方或后方的任意组合,参照2幅画面。能够对每个作为编码或解码的基本单位的块选择适当的参照图像(参照画面),将进行了编码的位流中先记述的参照画面区别为第一参照画面,将后记述的区别为第二参照画面。但是,作为编码或解码这些画面时的条件,需要已经编码或解码所参照的画面。
在P画面或B画面的编码中使用动态补偿画面间预测编码。所述动态补偿画面间预测编码,是在画面间预测编码中适用了动态补偿的编码方式。所述动态补偿,是不单纯地从参照帧的相同坐标位置的象素值进行预测,而是检测画面内的各部的动态量(以下,将其称作“动态矢量”),通过进行考虑了该动态量的预测,来提高预测精度,同时减少数据量的方式。例如,检测编码对象画面的动态矢量,通过将仅移位了该动态矢量的预测值与编码对象画面的每个象素的象素值的差分即预测残差进行编码,来降低数据量。在该方式的情况下,由于在解码时需要动态矢量的信息,因此,对动态矢量也进行编码并记录或传输。
按规定大小的块单位检测动态矢量,具体地说,对编码对象画面侧的各块,在参照画面侧,使块在搜索范围内移动,找出与编码对象块最相似的参照块的位置,检测动态矢量。
图1是示出现有的图像编码装置100的结构的框图。图像编码装置100具有差分器101、图像编码部102、可变长编码部103、图像解码部104、加法器105、图像存储器106、画面(picture)存储器107、动态补偿部108、动态矢量检测部109和动态矢量存储部110。再有,作为动态补偿的块的尺寸,在现有制定的标准即ITU-T H.26 TML8中,按照宏块单位,从4象素×4象素、4象素×8象素、8象素×4象素、8象素×8象素、8象素×16象素、16象素×8象素、16象素×16象素这7种动态补偿的块尺寸中,选择适当的用于编码和解码。
画面存储器107存储按画面单位按照显示时间顺序输入的表示动态图像的图像数据Img。差分器101运算由画面存储器107读出的图像数据Img与由动态补偿部108输入的预测图像数据Pred的差分,生成预测残差图像数据Res。图像编码部102对所输入的预测残差图像数据Res进行频率变换和量化等的编码处理,生成残差图像编码数据CodedRes。在画面内编码的情况下,不进行画面间的动态补偿,故预测图像数据Pred的值考虑为“0”。
动态矢量检测部109使用存储在图像存储器106中的、作为编码完的解码图像数据的参照图像数据Ref作为参照画面,在该画面内的搜索区域中,检测出表示预测为最佳的位置的动态矢量,并输出表示检测到的动态矢量的动态参数MotionParam。再有,此时,动态矢量检测部109根据编码对象画面是P画面还是B画面,转换参照画面。编码方式Mod示出用什么样的方法(例如,双预测、单向预测、直接方式的某一种)对块进行动态补偿。例如,在直接方式中,动态矢量检测部109使用在其他块中导出的动态矢量,算出该动态补偿对象块的双预测动态矢量。在此,为了导出直接方式的动态矢量,将进行参照的画面称作基准画面,将与对象块相同的坐标位置的基准画面的块称作基准块。该情况下,直接方式的动态矢量的值实际上与成为动态补偿的单位的块尺寸无关,将16象素×16象素的宏块作为单位来计算,算出的动态矢量不被编码。然后,按4象素×4象素单位,转换是使用已算出的动态矢量,或者是使用动态矢量(0、0)。动态补偿部108基于编码对象块的编码方式Mod和由动态矢量检测部109检测到的动态矢量,生成预测图像数据Pred。
另外,在动态补偿部108中,在动态矢量指着1/2象素、1/4象素等小数以下的象素位置的情况下,用低通滤波器等内插生成1/2象素、1/4象素等小数象素位置的象素值。动态矢量存储部110存储从动态矢量检测部109输出的动态参数MotionParam。可变长编码部103对输入的残差图像编码数据CodedRes和从动态矢量检测部109输出的动态参数MotionParam进行可变长编码等,另外,通过附加编码方式Mod,生成编码数据Bitstream。
图像解码部104对输入的残差图像编码数据CodedRes进行逆量化和逆频率变换等的解码处理,生成解码残差图像数据ReconRes。加法器105将由图像解码部104输入的解码残差图像数据ReconRes和由动态补偿部108输入的预测图像数据Pred进行加法运算,生成解码图像数据Recon。图像存储器106存储所生成的解码图像数据Recon。
在被摄体的移动量小于整数象素单位的情况下,有时若用小于整数象素单位的动态进行预测,则预测效果就高。一般地,在伴随小于整数象素单位的单位动态的预测图像的象素值的计算中使用象素内插。通过对参照图像的象素值进行利用线性滤波器(低通滤波器)的滤波,来执行该象素内插。若增加该线性滤波器的抽头数,就容易实现具有良好频率特性的滤波器,预测效果变高,但处理量变大。另一方面,若滤波器的抽头数少,则滤波器的频率特性变差,预测效果变低,但滤波器的运算量变小。
图2是示出进行象素内插的现有图像解码装置200的结构的框图。图像解码装置200具有可变长解码部201、图像解码部202、加法器203、图像存储器204、动态矢量存储部205和动态补偿部206。
可变长解码部201从输入的编码数据Bitstream提取残差图像编码数据CodedRes、动态参数MotionParam和编码时使用的编码方式Mod的信息等各种数据。图像解码部202进行输入的残差图像编码数据CodedRes的解码,生成残差图像数据Res。动态矢量存储部205存储由可变长解码部201提取的动态参数MotionParam。动态补偿部206在内部具备未图示的像素内插部,该像素内插部利用线性滤波器等内插生成1/2像素、1/4像素等小数像素位置的像素值,基于在编码时的编码模式及动态参数MotionParam等,根据图像存储器204内的解码图像数据Recon生成动态补偿图像数据的预测图像数据Pred。动态补偿部206在直接方式的情况下,用与从动态矢量存储部205读取的基准画面的基准块的动态补偿的块尺寸相同的块尺寸,生成动态补偿对象块的预测图像数据Pred。加法器203将从图像解码部202输出的残差图像数据Res、和从动态补偿部206输出的作为动态补偿图像数据的预测图像数据Pred相加,生成解码图像数据Recon。图像存储器204存储生成的解码图像数据Recon。
【非专利文献】
MPEG-4视频规格书(1999年、ISO/IEC14496-2:1999年、ISO/IEC14496-2:1999 Information technology--Coding of audio-visualobjects--Part2:Visual)
但是,为了进行小数精度的动态补偿,不仅要动态补偿对象块,也需要动态补偿其周边的几个象素部分的象素值。即,为了利用内插处理生成小数象素精度的象素值,需要大于实际预测块的区域的象素值。为了在内插处理中生成象素值,一般使用低通滤波器,为了适用低通滤波器,就需要存取(读出)对象象素附近的几个象素(低通滤波器的系数部分的象素)。图3是示出在进行象素内插的情况下,为了生成预测图像,需要读取象素值的动态补偿对象块和其周边象素的一例的图。图3(a)是示出动态补偿对象块小的情况下的动态补偿对象块和其周边象素的图。图3(b)是示出动态补偿对象块大的情况下的动态补偿对象块和其周边象素的图。图3(a)和图3(b)中,中央的矩形部分示出一个动态补偿对象块,其周围的斜线部分示出为了进行象素内插而从参照存储器读出象素值的周边象素。在此,例如,若作为低通滤波器使用9个抽头(象素值需要9个象素部分)的滤波器,则为了在块边界部分的象素中进行低通滤波器处理,就需要至少块以外的4个象素的象素值,必须对中央的动态补偿对象块存取包含其周围4个象素部分的象素值的存储器。例如,在4象素×4象素的块中,需要读出(4+4+4)×(4+4+4)=144象素的象素值。在8象素×8象素的块中,需要读出(4+8+4)×(4+8+4)=256象素的象素值。在用8象素×8象素的4个块动态补偿16象素×16象素的宏块的情况下,可以仅读出256象素×4=1024象素的象素值,但在将4象素×4象素的块作为单位动态补偿16象素×16象素的情况下,必须读出144象素×16=2304象素的象素值。从而,8×8象素单位的动态补偿相对于4象素×4象素单位的动态补偿4次,就成为约一半的存储器存取量。
从以上例子可知,在对一个动态补偿对象块,仅将其周围的象素值多读出同象素数量部分的情况下,动态补偿对象块的尺寸越小,与从参照存储器读出的象素数量有关而周边块的象素数对于动态补偿对象块的象素数量的比例越大。其结果,在从参照存储器读取动态补偿对象块的象素值时,存在有参照不是动态补偿对象的周边象素而造成存储器和读取访问的负荷变大的问题。特别是,在同时参照2个画面计算编码或解码对象画面的、动态补偿象素值的B画面的双预测动态补偿的情况下,与单向预测动态补偿相比,对参照存储器的存取增多约2倍,因此,在动态补偿对象块的尺寸小的情况下,上述额外消耗问题更显著了。
发明内容
本发明的目的在于提供一种降低对参照存储器的存取的动态补偿方法。
此外,本发明的第二目的在于提供一种使用了上述动态补偿方法的图像编码方法和图像解码方法。
为了解决上述课题,本发明的动态补偿方法是用于对图像信号进行编码或解码,其特征在于,包括:选择步骤,根据构成与编码对象或解码对象宏块相对应的编码完或解码完的宏块的块群中,位于上述编码完或解码完的宏块的角上的块的动态矢量,选择上述编码对象或解码对象宏块内的块的动态矢量的生成方法;动态补偿步骤,基于由选择的方法生成的动态矢量,生成上述编码对象或解码对象宏块内的块的预测图像。这样,即使在由多个块构成的编码完或解码完的块群对应于一个动态补偿对象块的情况下,通过判定位于包含该块群的宏块的角上的块的1个动态,就能够选择动态补偿对象块的动态补偿中使用的动态矢量的生成方法。
此外,根据使用了本发明的动态补偿方法的图像编码装置和图像解码装置,由于将更大尺寸的动态补偿对象块作为单位进行动态补偿,因此,能够降低对例如使用了B画面的双预测动态补偿的编码和解码中的图像存储器的存取所涉及的额外消耗问题。
再有,本发明不仅能够实现这样的动态补偿方法、图像编码方法和图像解码方法,而且也能够实现将包含在这些方法中的特征的步骤作为手段的图像编码装置和图像解码装置,或者实现使计算机执行这些步骤的程序。然后,该程序当然能够通过CD-ROM等记录媒体和因特网等的传输媒体进行发送。
本发明的动态补偿方法,参照与包含对象宏块的画面不同的画面中所包含的、与上述对象宏块同位置的宏块即同位置宏块的动态矢量,生成上述对象宏块的预测图像,其特征在于,包括:动态矢量取得步骤,在由多个动态补偿完成块构成与上述对象宏块中包含的对象块同位置且包含在上述同位置宏块中的同位置块时,取得与构成上述同位置宏块中包含的上述同位置块的多个动态补偿完成块分别对应的动态矢量;以及动态补偿步骤,利用在上述动态矢量取得步骤取得的各个动态矢量,生成上述对象块的预测图像;在上述动态补偿步骤中,在通过上述动态矢量取得步骤而取得的所有动态矢量的大小都低于1的情况下,将上述对象块的动态矢量设定为零,并生成上述对象块的预测图像;在通过上述动态矢量取得步骤而取得的动态矢量的至少一个动态矢量的大小高于1的情况下,利用位于上述对象宏块的周边的周边宏块的动态矢量,求出上述对象块的动态矢量,利用求出的动态矢量生成上述对象块的预测图像。
本发明的动态补偿装置,参照与包含对象宏块的画面不同的画面中所包含的、与上述对象宏块同位置的宏块即同位置宏块的动态矢量,生成上述对象宏块的预测图像,其特征在于,包括:动态矢量取得单元,在由多个动态补偿完成块构成与上述对象宏块中包含的对象块同位置且包含上述同位置宏块中的同位置块时,取得与构成上述同位置宏块中包含的上述同位置块的多个动态补偿完成块分别对应的动态矢量;以及动态补偿单元,利用由上述动态矢量取得单元取得的各个动态矢量,生成在上述对象宏块的预测图像;在上述动态补偿单元中,在由上述动态矢量取得单元取得的所有动态矢量的大小都低于1的情况下,将上述对象块的动态矢量设定为零,并生成上述对象块的预测图像;在由上述动态矢量取得单元取得的动态矢量的至少一个动态矢量的大小高于1的情况下,利用位于上述对象宏块的周边的周边宏块的动态矢量,求出上述对象块的动态矢量,利用求出的动态矢量生成上述对象块的预测图像。
附图说明
图1是示出现有的图像编码装置的结构的框图。
图2是示出进行象素内插的现有的图像解码装置的结构的框图。
图3是示出在进行象素内插的情况中,为了生成预测图像而需要的动态补偿对象块和其周边象素的一例的图。
图4是示出使用了本发明涉及的图像编码方法的图像编码装置的一实施方式的结构的框图。
图5是示出使用了本发明涉及的图像解码方法的图像解码装置的一实施方式的结构的框图。
图6(a)是示出用与编码或解码对象宏块相同的块尺寸动态补偿周边块的情况下,用周边块的动态矢量决定编码或解码对象宏块的动态矢量MV的方法的图。
图6(b)是示出用相同的块尺寸动态补偿编码或解码对象宏块和后方同位置宏块的情况下,动态补偿对象块与位于其后方同位置上的基准块的对应图。
图7是示出用小于编码或解码对象宏块的块尺寸动态补偿周边块的情况下,用周边块的动态矢量决定编码或解码对象宏块的动态矢量MV的方法的图。
图8是流程图,示出在用相同的块尺寸动态补偿编码对象宏块或后方位置宏块的情况下,对应于位于动态补偿对象块的后方同位置上的基准块的动态,用不同的动态矢量动态地补偿动态补偿对象块的处理过程。
图9是示出在用不同的块尺寸动态补偿了编码对象宏块或其后方同位置宏块的情况中,动态补偿对象块与位于其后方同位置上的多个块的对应的图。
图10是流程图,示出在用不同的块尺寸动态补偿了编码或解码对象宏块和后方同位置宏块的情况中,对应于位于动态补偿对象块的后方同位置上的块的动态,用不同的动态矢量动态地补偿动态补偿对象块的处理过程。
图11是示出在本实施方式2中,用不同的块尺寸动态补偿了编码或解码对象宏块和其后方同位置宏块的情况下的、动态补偿对象块与位于其后方同位置上的多个块的对应的图。
图12是流程图,示出在实施方式2中,在用不同的块尺寸动态补偿了编码或解码对象宏块和后方同位置宏块的情况下,对应于位于动态补偿对象块的后方同位置上的块的动态,用不同的动态矢量动态地补偿动态补偿对象块的处理过程。
图13(a)示出了作为记录媒体主体的软磁盘的物理格式的例子。
图13(b)示出从软磁盘的正面看的外观、剖面结构和软磁盘。
图13(c)示出用于在软磁盘FD上进行上述程序的记录再现的结构。
图14是示出实现内容通信服务的内容供给系统ex100的全体结构的框图。
图15是示出使用了在上述实施方式中说明了的动态图像编码方法和动态图像解码方法的携带式电话ex115的图。
图16是示出携带式电话的结构的框图。
图17是示出数字广播用系统的一例的图。
具体实施方式
以下,用图4至图17,对本发明的实施方式进行说明。
(实施方式1)
以下,用附图对本发明的第一实施方式进行详细说明。
图4是示出使用了本发明涉及的图像编码方法的图像编码装置300的一实施方式的结构的框图。图像编码装置300是在进行参照2个画面进行编码的B画面的动态补偿时,用大于P画面的动态补偿的块尺寸的块尺寸进行动态补偿的图像编码装置,具有差分器101、图像编码部102、可变长编码部103、图像解码部104、加法器105、图像存储器106、画面存储器107、动态矢量存储部110、动态信息变换部301、动态矢量检测部302和动态补偿部303。
画面存储器107按画面单位存储按显示时间顺序输入的、表示动态图像的图像数据Img。差分器101运算由画面存储器107读取的图像数据Img与由动态补偿部303输入的预测图像数据Pred的差分,生成预测残差图像数据Res。在此,在画面内编码的情况下,不进行画面间的动态补偿,因此,预测图像数据Pred的值考虑为“0”。图像编码部102对所输入的预测残差图像数据Res进行频率变换和量化等的编码处理,生成残差图像编码数据CodedRes。动态信息变换部301在编码对象画面是B画面的情况下,导出动态矢量,使得用规定的块尺寸进行动态补偿,并通知给动态矢量检测部302和动态补偿部303。即,在B画面的情况下,可以设为单向预测、双预测和直接方式,可用大的块尺寸进行双预测和直接方式动态补偿(例如,禁止用不足8象素×8象素的块尺寸检测动态矢量),在P画面的情况下,也可以用小的块尺寸进行单向预测。这样,特别是在对存储器的存取多的双预测方式中,就不能选择用小的块尺寸参照参照画面的动态矢量。此外,动态信息变换部301向动态矢量检测部302和动态补偿部303指示是将存储在动态矢量存储部110中的参照画面的动态参数变换成规定的块尺寸(例如,8象素×8象素)的动态参数(动态矢量等),还是进行相当于该变换的动态参数的重读。
动态矢量检测部302使用存储在图像存储器106中的已编码画面的解码图像数据即参照图像数据Ref,作为参照画面,在参照画面内的搜索区域中,检测出表示预测为最佳的块的位置的动态矢量,输出包含检测到的动态矢量的动态参数MotionParam。动态矢量存储部110存储从动态矢量检测部302输出的动态参数MotionParam。
此外,动态矢量检测部302对应于编码对象画面是P画面还是B画面的某一个,对用编码方式Mod进行动态补偿的情况的误差进行评价,将用单向预测和双预测进行了参照画面内的搜索的情况与用直接方式导出的动态矢量的动态补偿误差进行比较。即,在直接方式中,对应于由动态信息变换部301变换后的、位于动态补偿对象块的后方同位置上的动态补偿完成的块的动态矢量(例如,变换为8象素×8象素以上的块尺寸的动态),从多个动态矢量中选择动态补偿对象块的动态矢量。再有,所述直接方式,是指使用用其他块导出的动态矢量,计算动态补偿对象块的动态矢量,不对该动态补偿对象块的动态矢量进行编码的双预测方式。根据位于后方同位置上的块的动态矢量的大小,决定是使用导出的动态矢量,还是使用动态矢量(0,0)(不对是选择了哪个的识别信息进行编码)。此外,所述位于后方同位置的块,是指在按显示顺序位于编码对象画面的正后方的画面内(基准画面),位于与编码对象画面内的块同位置上的块(基准块)。
动态补偿部303基于该编码方式Mod和由动态矢量检测部302检测到的动态矢量,生成预测图像数据Pred。在B画面的直接方式中,动态补偿部303使用由动态矢量检测部302算出的动态矢量,对每个8象素×8象素的动态补偿对象块生成预测图像。再有,在动态补偿部303中,在动态矢量是指1/2象素、1/4象素等的小数以下的象素位置的情况下,使用线性滤波器(低通滤波器)等,内插生成1/2象素、1/4象素等小数象素位置的象素值。该情况下,由于在动态矢量检测部302中,在双预测方式中不选择小的块尺寸的动态矢量,因此,动态补偿部303能够在双预测方式中,用存储器存取不太多的比较大的块尺寸进行动态补偿。此外,在单向预测方式中,进行也能用小的块尺寸进行动态补偿的动态补偿。可变长编码部103对输入的残差图像编码数据CodedRes和从动态矢量检测部302输出的动态参数MotionParam进行可变长编码等,另外,通过附加编码方式Mod,生成编码数据Bitstream。
图像解码部104对输入的残差图像编码数据CodedRes进行逆量化和逆频率变换等的解码处理,生成解码残差图像数据ReconRes。加法器105将由图像解码部104输出的解码残差图像数据ReconRes、和由动态补偿部303输入的预测图像数据Pred相加,生成解码图像数据Recon。图像存储器106存储生成的解码图像数据Recon。
图5是示出使用了本发明涉及的图像解码方法的图像解码装置400的一实施方式的结构框图。图像解码装置400具有可变长解码部201、图像解码部202、加法器203、图像存储器204、动态矢量存储部205、动态信息变换部401和动态补偿部402。
可变长解码部201从输入的编码数据Bitstream提取残差图像编码数据CodedRes、动态参数MotionParam和编码时使用的编码方式Mod的信息等各种数据。图像解码部202进行输入的残差图像编码数据CodedRes的解码,生成残差图像数据Res。动态信息变换部401将从动态矢量存储部205读取的参照画面的动态参数,变换为规定的块尺寸(例如,8象素×8象素)的动态参数(动态矢量等),或者,对动态补偿部402指示相当于该变换的动态参数的重读。动态补偿部402在内部具有未图示的象素内插部,用线性滤波器等内插生成1/2象素、1/4象素等小数象素位置的象素值,基于编码时的编码方式Mod和动态参数MotionParam,根据图像存储器204内的解码图像数据Recon生成作为动态补偿图像数据的预测图像数据Pred。此时,在用直接方式对解码对象宏块进行了编码的情况下,用于生成预测图像数据Pred的动态矢量没被编码。因此,动态补偿部402使用由动态信息变换部401变换后的动态矢量(例如,变换为8象素×8象素以上的块尺寸的动态)、和从解码对象宏块的周边块中导出的动态矢量,算出动态补偿对象块的动态矢量,并按比P画面的最小块大的尺寸的动态补偿对象块(例如,8象素×8象素)的单位,生成预测图像数据Pred。动态矢量存储部205存储由可变长解码部201提取的动态参数MotionParam。加法器203将从图像解码部202输出的残差图像数据Res、和从动态补偿部402输出的作为动态补偿图像数据的预测图像数据Pred相加,生成解码图像数据Recon。图像存储器204存储生成的解码图像数据Recon。
以下,对如上所述构成的图像编码装置300和图像解码装置400的动作进行说明。
在本实施方式中,在B画面的直接方式中,图像编码装置300中的动态矢量检测部302、和图像解码装置400中的动态补偿部402,对应于位于动态补偿对象块的后方同位置上的动态补偿完成的块的动态矢量,从多个动态矢量中,选择用于动态补偿对象块的动态补偿的动态矢量。例如,动态矢量检测部302或动态补偿部402,选择在编码或解码对象画面内用已经编码或解码了的周边块的动态矢量算出的编码或解码对象宏块的动态矢量、或者动态矢量(0、0)的某一个,设为动态补偿对象块的动态矢量。所述周边块,是在编码对象画面的同一画面内已经编码或解码了的块,是指编码或解码对象宏块的近旁的块。以下,对使用已经决定的周边块的动态矢量和后方的参照画面的动态参数,来决定动态补偿对象块的动态矢量的方法所涉及的直接方式的动态补偿方法,首先说明图像编码装置300中的处理。
图6(a)是示出用与编码或解码对象宏块相同的16象素×16象素的块尺寸对周边块进行了动态补偿的情况下,用周边块的动态矢量,决定编码或解码对象宏块的动态矢量MV的方法的图。图6(b)是示出用相同的块尺寸对编码或解码对象宏块和后方同位置宏块进行了动态补偿的情况下,动态补偿对象块与位于其后方同位置上的块的对应图。图7是示出用小于编码或解码对象宏块的块尺寸动态补偿周边块的情况下,用周边块的动态矢量,决定编码或解码对象宏块的动态矢量MV的方法的图。图8是流程图,示出在用相同的块尺寸动态补偿编码或解码对象宏块和后方同位置宏块的情况下,对应于位于动态补偿对象块的后方同位置上的块的动态,用不同的方法对动态补偿对象块进行动态补偿的处理过程。
首先,关于编码对象画面B1内的动态补偿对象块、和在后方的P画面P2内位于与该动态补偿对象块同位置上的块的大小相同,并一一对应的情况进行说明。动态信息变换部301判断位于动态补偿对象块的后方同位置上的块的动态补偿的尺寸,是否与动态补偿对象块的尺寸相同,在相同的情况下,按照图8的流程图中示出的过程,指示动态矢量检测部302计算动态补偿对象块的动态矢量。如图8的流程图所示,动态矢量检测部302首先调查编码对象画面B1后方的P画面(基准画面)、即在时间上比对象画面B1后显示的P画面,在接近于编码对象画面B1的画面P2内,位于与动态补偿对象块同位置的块(基准块)是否“动态小”(S401),在“动态小”的情况下,将动态补偿对象块的动态矢量设为(0、0)(S402)。即,关于该动态补偿对象块,将动态矢量作为(0、0),进行使用了画面间预测的动态补偿。在此,所述“动态小”是指,该块参照最近的画面作为图像进行编码,其动态矢量的大小(绝对值)在“1”以内。但是,只是在动态矢量的大小是规定值以下的情况下,也可以作为“动态小”,此外,在将特定的画面作为参照画面的情况下,也可以作为“动态小”。
另一方面,在后方的P画面内位于与动态补偿对象块同位置的块不是“动态小”的情况下,即,基准块没有参照最近的画面进行编码,或者,动态矢量的大小超过“1”的情况下,动态矢量检测部302将从编码对象宏块的周边块的动态矢量算出的编码对象宏块的动态矢量MV,设为该动态补偿对象块的动态矢量(S404)。再有,在以下的说明中,为了简单说明,将画面P0、画面P2分别设为与画面B1最近的画面。
为了算出编码对象宏块的动态矢量MV,动态矢量检测部302首先选择3个编码对象宏块附近的编码完的块(周边块)。选择的基准和方法在此不重要,故省略说明。图6(a)示出对编码对象宏块选择了的3个周边块。如该图所示,在位于编码对象宏块的上面的宏块中,已经决定了动态矢量MV2,在位于右上位置的宏块中,决定了动态矢量MV3。此外,关于位于编码对象宏块的左面的宏块,决定了动态矢量MV1。动态矢量检测部302使用这些动态矢量MV1、动态矢量MV2和动态矢量MV3,决定该编码对象宏块的动态矢量MV。例如,在动态矢量MV1、动态矢量MV2和动态矢量MV3中,将参照了时间上最近的画面的动态矢量设为该编码对象宏块的动态矢量MV的候补。在此,所述“时间上距编码对象画面最近的画面”,是指在编码对象宏块中预测参照前方画面的动态矢量的情况下,称作距编码对象画面在前方且最近的画面,在预测参照后方画面的动态矢量的情况下,称作后方且最近的画面。在此,动态矢量检测部302,
(1)在没有参照时间上距编码对象画面最近的画面的动态矢量的情况下,将该编码对象宏块的动态矢量MV设为(0、0)。
(2)在参照最近画面的动态矢量是一个的情况下,将该候补设为该编码对象宏块的动态矢量MV。此外,
(3)在参照最近画面的动态矢量是2个或2个以上的情况下,将没参照最近画面的周边块的动态矢量设为(0、0),将周边块的3个动态矢量的中央值设为编码对象宏块的动态矢量MV。
以上,用图6(a)关于用与编码对象宏块相同的尺寸,对编码对象宏块的周边块进行了动态补偿的情况进行了说明,但如图7所示,在用与编码对象宏块不同的、小于它的块尺寸动态补偿周边块的情况中,也能够同样地算出编码对象宏块的动态矢量MV。图7示出了对于16象素×16象素的编码对象宏块,在周边块中,将4象素×4象素的块作为单位,检测动态矢量的情况。在这样的情况下,为了算出编码对象宏块的动态矢量MV,动态矢量检测部302首先选择3个周边块(块A、块B、块C)。
块A属于例如位于编码对象宏块的左面的宏块,是与编码对象宏块的左上角相接触的块。此外,块B属于例如位于编码对象宏块的上面的宏块,是与编码对象宏块的左上角相接触的块。另外,块C属于例如位于编码对象宏块的右上的宏块,是与编码对象宏块的右上角相接触的块。
对块A已经决定了动态矢量MV1,对块B已经决定了动态矢量MV2,对块C已经决定了动态矢量MV3。动态矢量检测部302在这些动态矢量MV1、动态矢量MV2和动态矢量MV3,适用上述(1)、(2)和(3),与用相同大小对编码对象宏块和周边块进行动态补偿的情况同样地,能够决定编码对象宏块的动态矢量MV。关于编码对象宏块内的各动态补偿对象块,如已经说明地,根据位于后方同位置的块是否“动态小”,选择是使用动态矢量(0、0)进行动态补偿,还是使用动态矢量MV进行动态补偿。
若如上所述地决定动态补偿对象块的动态矢量,动态补偿部303就用决定后的动态矢量,根据图像存储器106内的参照图像数据Ref生成预测图像数据Pred(S403)。
以上,关于用与动态补偿对象块相同的块尺寸,动态补偿位于动态补偿对象块的后方同位置上的块的情况进行了说明,下面,关于用与动态补偿对象块不同的块尺寸,动态补偿位于后方同位置的块的情况进行说明。在图像编码装置300中,动态补偿部303和动态矢量检测部302在进行B画面的双预测动态补偿时,将比能成为P画面和B画面的单向预测动态补偿对象块的最小(4象素×4象素)块大的、一定尺寸(例如,8象素×8象素)的块,作为对象进行动态补偿。因此,在以单向预测,对以双预测进行动态补偿的画面后方的参照画面进行动态补偿的情况下,产生了用小于动态补偿对象块的块尺寸对位于动态补偿对象块的后方同位置上的块进行动态补偿的情况。
图9是示出在用不同的块尺寸对编码或解码对象宏块和其后方同位置宏块进行动态补偿的情况中,动态补偿对象块与位于其后方同位置上的多个块的对应的图。在该图的左侧,示出了编码对象B画面内的编码对象宏块。在该图的右侧,示出了编码对象B画面内的最近后方的画面(P画面或B画面)中的编码对象宏块的后方同位置宏块。上述宏块的大小都是例如16象素×16象素。在右侧示出的后方同位置宏块比编码对象画面先进行编码,例如,分别将4象素×4象素的块(图中的最小区划)作为单位,设为已经进行了动态补偿。
图10是流程图,示出在用不同的块尺寸对编码或解码对象宏块和后方同位置宏块进行动态补偿的情况中,对应于位于动态补偿对象块的后方同位置上的块的动态,用不同的动态矢量对动态补偿对象块进行动态补偿的处理过程。动态信息变换部301首先判断是否用相同块尺寸动态补偿位于动态补偿对象块后方同位置上的块,在还没用相同块尺寸进行动态补偿的情况下,对动态矢量检测部302指示按图10的流程图的过程算出动态补偿对象块的动态矢量。在此,由于动态补偿对象块的大小是8象素×8象素,用4象素×4象素动态补偿位于后方同位置上的块,因此,动态矢量检测部302按照图10中示出的流程图,算出动态补偿对象块的动态矢量。
在图10的流程图中,步骤S501的处理与图8的流程图中示出的步骤S401的处理不同。如图9所示,在本发明的动态补偿方法中,一个编码对象宏块每4个动态补偿对象块进行一次动态补偿。例如,将其设为动态补偿对象块a、动态补偿对象块b、动态补偿对象块c和动态补偿对象块d。对于这些动态补偿对象块,在后方同位置宏块内,块a’、块b’、块c’和块d’分别对应。这些块a’、块b’、块c’和块d’还分别由4象素×4象素的4个动态补偿块构成。动态矢量检测部302首先在后方同位置宏块内,调查与编码对象宏块内的动态补偿对象块a相对应的块a’,调查构成块a’的4个动态补偿块中的2个以上的动态补偿块是否“动态小”(S501)。
判定动态补偿块是否“动态小”的基准,与图8中示出的流程图的步骤S401中的判定基准相同。在2个以上动态补偿块的“动态小”的情况下,动态矢量检测部302将编码对象宏块内的动态补偿对象块a的动态矢量设为(0、0)(S502),动态补偿部303使用决定后的动态矢量(0、0)进行动态补偿(S503)。在没有2个以上的动态补偿块的“动态小”的情况下,即“动态小”动态补偿块的数量不足2个的情况下,动态矢量检测部302从编码对象宏块的周边块的动态矢量,决定编码对象宏块的动态矢量MV(S504)。从周边块的动态矢量决定编码对象宏块的动态矢量MV的处理,与图8的步骤S404中的处理相同。动态补偿部303使用这样决定的动态矢量MV,生成动态补偿对象块a的动态补偿预测象素值(S503)。
动态补偿部303、动态矢量检测部302和动态信息变换部301,对剩余的动态补偿对象块b、动态补偿对象块c和动态补偿对象块d,反复进行上述步骤S501~步骤S504的处理,并当进行了动态补偿对象块a、动态补偿对象块b、动态补偿对象块c和动态补偿对象块d的全部的动态补偿时,就完成了该编码对象宏块的动态补偿。
另一方面,在图像解码装置400中,对由图像编码装置300编码后的编码数据Bitstream进行解码。在直接方式中,在图像解码装置400中,动态信息变换部401进行与图像编码装置300的动态信息变换部301相对应的处理,动态补偿部402进行与图像编码装置300的动态矢量检测部302和动态补偿部303相对应的处理,与图像编码装置300同样地,能够进行各动态补偿对象块的动态补偿。
在由可变长解码部201从编码数据Bitstream提取的编码方式Mod中,示出了用直接方式对解码对象宏块进行编码的情况下,动态信息变换部401判断位于动态补偿对象块后方同位置上的动态补偿完块的动态补偿尺寸是否与动态补偿对象块的大小相同,在相同的情况下,按照图8的流程图中示出的过程,指示动态补偿部402算出动态补偿对象块的动态矢量。
按照该指示,动态补偿部402首先在图6(b)中示出的解码对象画面B1后方的P画面(后方的参照画面)P2内,调查位于与动态补偿对象块同位置的动态补偿完块是否“动态小”(S401),在“动态小”的情况下,将动态补偿对象块的动态矢量设为(0、0)(S402)。即,关于该动态补偿对象块,不进行使用了画面间预测的动态补偿。另一方面,在后方的P画面内位于与动态补偿对象块同位置的动态补偿完块不是“动态小”的情况下,动态补偿部402将根据解码对象宏块的周边块的动态矢量算出的解码对象宏块的动态矢量MV,设为该动态补偿对象块的动态矢量(S404)。使用解码完的周边块的动态矢量算出解码对象宏块的动态矢量的方法,与图像编码装置300的情况中说明的方法相同。
在步骤S402或步骤S404中,在决定动态补偿对象块的动态矢量后,动态补偿部402从图像存储器204内的参照图像数据Ref中,读取用决定的动态矢量示出的位置的块,生成预测图像数据Pred(S403)。这样,动态补偿部402在用相同块尺寸动态补偿了动态补偿对象块和位于其后方同位置上的动态补偿完块的情况下,也能够对应于后方同位置的动态补偿完块是否“动态小”,决定每个动态补偿对象块的动态矢量,进行动态补偿。
此外,在提取的编码方式Mod中示出了用直接方式编码了解码对象宏块的情况下,在没有用相同块尺寸对动态补偿对象块和位于其后方同位置上的动态补偿完块进行了动态补偿的情况下,动态信息变换部401指示动态补偿部402按图10的流程图中示出的过程算出动态补偿对象块的动态矢量。动态补偿部402在(解码对象画面内)解码对象宏块(最近后方的P画面内)后方同位置宏块中,调查包含在与8象素×8象素的动态补偿对象块相对应的8象素×8象素的块中的、4个4象素×4象素的动态补偿完块的动态,在4个中有2个或2个以上的动态补偿完块的“动态小”的情况下,将动态补偿对象块的动态矢量设为(0、0)(S502)。在不是这样的情况下,将使用解码对象宏块的周边块的动态矢量算出的、解码对象宏块的动态矢量MV,设为动态补偿对象块的动态矢量(S504)。在步骤S502或步骤S504中,一决定动态补偿对象块的动态矢量,动态补偿部402就读出图像存储器204内的参照图像数据Ref中的、用决定后的动态矢量示出的位置的块,生成预测图像数据Pred(S503)。这样,动态补偿部402即使在没有用相同块尺寸对动态补偿对象块和位于其后方同位置上的动态补偿完块进行动态补偿的情况下,也能够判定后方同位置的动态补偿完块是否“动态小”。从而,动态补偿部402能够按照该判定结果,决定每个动态补偿对象块的动态矢量,进行动态补偿对象块的动态补偿。
根据如上所述使用了本发明的动态补偿方法的图像编码装置300和图像解码装置400,在B画面的动态补偿编码中,能够将大于现有的动态补偿对象块的大小的动态补偿对象块,作为单位进行动态补偿,因此,能够降低B画面的编码和解码中的因向图像存储器存取而产生的负荷。
再有,在上述实施方式1中,将B画面的动态补偿对象块的大小设为8象素×8象素,将P画面的动态补偿完块的大小设为4象素×4象素进行了说明,但本发明不限定于此,也可以设定为与其不同的块尺寸。此外,在最近后方画面中与动态补偿对象块相对应的块中的2个以上的动态补偿完块的“动态小”的情况下,将动态补偿对象块的动态矢量设为(0、0),但未必是“2个以上”,也可以设为“1个以上”、“3个以上”或“全部”。此外,在将B画面和P画面的动态补偿对象块和动态补偿对象块的块尺寸设定为上述以外的情况下,可以按照它们的块尺寸的比适当设定。以下的实施方式中相同。
另外,在上述实施方式1中,在图8或图10中示出的流程图中,由于基于周边块的动态矢量决定的动态矢量,对于一个编码或解码对象宏块是一个,因此,关于同一编码或解码对象宏块内的动态补偿对象块,在执行步骤S404或步骤S504的处理的情况下,每次就成为进行相同计算处理的结果。但是,本发明不限定于此,例如,每个编码或解码对象宏块预先基于周边块的动态矢量决定动态矢量,即,也可以在步骤S401或步骤S501的判断之前进行步骤S404或步骤S504的处理,在步骤S404或步骤S504中,只设为“将基于周边块的动态矢量预先决定的动态矢量的值,作为该动态补偿对象块的动态矢量来使用”。若这样,在处于动态补偿对象块的后方同位置上的块不是“动态小”的情况下,有进一步减少基于周边块的动态矢量的动态矢量计算次数,能够降低动态矢量检测部302和动态补偿部402的处理负荷的效果。在以下的实施方式中相同。
此外,也可以取代在步骤S401或步骤S501的判断之前进行步骤S404或步骤S504的处理,在进行步骤S404或步骤S504的处理的情况下,将算出的编码或解码对象宏块的动态矢量MV保存在存储器等中。保存动态矢量MV的期间,是处理同一编码或解码对象宏块内的动态补偿对象块的期间。具体地说,动态矢量检测部303或动态补偿部402,在编码或解码对象宏块中,在位于动态补偿对象块后方同位置的块不是“动态小”的情况下,也可以先算出编码或解码对象宏块的动态矢量MV,在进行相同的编码或解码对象宏块内的动态补偿对象块的处理期间,保存编码或解码对象宏块的动态矢量MV。这样,有能够进一步降低动态矢量检测部302和动态补偿部402的动态矢量计算次数,进一步降低动态矢量检测部302和动态补偿部402的处理负荷的效果。
此外,在上述实施方式1中,在图8或图10的流程图的步骤S404或步骤S504中,使用周边块的动态矢量决定编码或解码对象宏块的动态矢量MV,但未必需要用该方法决定编码或解码对象宏块的动态矢量MV。例如,在预先决定了动态矢量的其他画面中,也可以使用位于与编码或解码对象宏块同位置的块的动态矢量,决定编码或解码对象宏块的动态矢量。以下的实施方式中也一样。
再有,在上述实施方式中,说明了动态信息变换部301在将参照画面的动态参数存储在动态矢量存储部110中后,变换为规定块尺寸的动态参数,但也可以在将参照画面的动态参数存储在动态矢量存储部110中之前进行变换。以下的实施方式中也一样。例如,动态信息变换部301在将4象素×4象素的块作为动态补偿的单位,检测参照画面的动态参数的情况下,将16象素×16象素的宏块4分的每个8象素×8象素的块,分别将在包含在该块(8象素×8象素)中的4个4象素×4象素的块中检测到的动态矢量的值,全部重写为在该8象素×8象素的块内位于宏块(16象素×16象素)的4个角的4象素×4象素的动态补偿对象块中检测到的动态矢量的值。这样,将4分割宏块得到的8象素×8象素的块进一步4分割得到的4象素×4象素的块,都对于8象素×8象素的块内位于宏块的角上的块(4象素×4象素)具有检测到的相同的动态矢量。通过将这样变换后的动态参数存储在动态矢量存储部110中,若动态矢量检测部302不读出包含在位于后方同位置上的某一个4象素×4象素的块的动态矢量,则能够用它容易判定位于后方同位置上的块的动态。
此外,动态信息变换部301在例如将4象素×4象素的块作为动态补偿的单位,检测参照画面的动态参数的情况下,也可以在动态矢量存储部110内,与4分割了16象素×16象素的宏块的8象素×8象素的各块相对应,仅存储一个动态矢量。在以下的实施方式中也一样。该动态矢量是对于在8象素×8象素的块内处于宏块的角上的块(4象素×4象素)检测到的动态矢量等。这样,动态矢量检测部302在将4象素×4象素的块作为动态补偿的单位检测了参照画面的动态参数的情况下,也与图6(b)和图8中示出的处理同样地,能够判定位于后方同位置上的块是否“动态小”。
另外,动态信息变换部301在例如将4象素×4象素的块作为动态补偿的单位,检测参照画面的动态参数的情况下,也可以从对于8象素×8象素的块内位于宏块的角上的块(4象素×4象素)检测到的动态矢量,判定该块(4象素×4象素)是否“动态小”,将示出其判定结果的标记,与编码对象宏块内的8象素×8象素的各块相对应,存储在动态矢量存储部110中。以下的实施方式中也一样。这样,动态矢量检测部302在进行B画面的动态补偿时,不需要判定位于后方同位置上的块是否“动态小”,能够降低B画面的动态补偿中的处理负荷的效果。
(实施方式2)
下面说明的本实施方式2与实施方式1的不同点在于,在用不同块尺寸对编码或解码对象宏块和后方同位置宏块进行动态补偿的情况中,在选择将动态补偿对象块的动态矢量设为(0、0),还是根据周边块的动态矢量来决定的某一方时的判定方法不同。在用相同块尺寸对编码或解码对象宏块和后方同位置宏块进行动态补偿的情况下,利用实施方式1的从图6(a)至图8中说明的方法,进行动态补偿对象块的动态补偿。从而,在结构上,本实施方式2的图像编码装置和图像解码装置与实施方式1中示出的图像编码装置300和图像解码装置400不同的主要部分,是图像编码装置的动态信息变换部和动态矢量检测部、图像解码装置的动态信息变换部和动态补偿部。这样,以下省略重复的结构要素的说明。
图11是示出在本实施方式2中,用不同块尺寸对编码或解码对象宏块和后方同位置宏块进行动态补偿了的情况下,动态补偿对象块与位于其后方同位置上的多个块的对应的图。在该图的左侧,与图9同样地,示出了编码或解码对象B画面内的编码或解码对象宏块。在该图的右侧,与图9同样地,示出了编码或解码对象宏块的后方同位置宏块。右侧示出的后方同位置宏块是P画面或B画面,例如,分别将4象素×4象素的块(图中的最小区划)作为单位,已经进行了动态补偿的检测和动态补偿。在左侧示出的编码或解码对象宏块中,与图9同样地,将8象素×8象素的块(图中的最小区划)作为单位,进行动态矢量的决定和动态补偿。
如图11所示,一个编码或解码对象宏块由4个动态补偿对象块构成。例如,若将其设为动态补偿对象块a、动态补偿对象块b、动态补偿对象块c和动态补偿对象块d,则在其后方同位置宏块内,分别由4象素×4象素的4个动态补偿完块构成的4个8×8象素的块,与各自的动态补偿对象块相对应。
图12是流程图,示出在实施方式2中,在用不同的块尺寸对编码或解码对象宏块和后方同位置宏块进行动态补偿的情况下,对应于位于动态补偿对象块的后方同位置上的块的动态,用不同的动态矢量对动态补偿对象块进行动态补偿的处理过程。如已经说明的,在本实施方式2的动态补偿方法中,由于仅选择动态补偿对象块的动态矢量时的判定方法不同,因此,在流程图中,仅图12的步骤S701的处理与图10的步骤S501的处理不同。
首先,动态信息变换部判断位于动态补偿对象块后方同位置上的块的动态补偿的尺寸,是否与动态补偿对象块的尺寸相同,在相同的情况下,按照图8的流程图中示出的过程,指示动态矢量检测部或动态补偿部计算动态补偿对象块的动态矢量。反之,在还没有用相同块尺寸进行动态补偿的情况下,指示动态矢量检测部或动态补偿部,按照图12的流程图中示出的过程算出动态补偿对象块的动态矢量。
动态矢量检测部或动态补偿部,关于编码或解码对象宏块内的动态补偿对象块a,调查构成后方同位置宏块内的对应块的4个动态补偿完成块中的、处于后方同位置宏块的角上的动态补偿完成块a’是否“动态小”(S701)。
判定动态补偿完成块a’是否“动态小”的基准,与图8中示出的步骤S401中的判定基准相同。在动态补偿完块a’的“动态小”的情况下,动态矢量检测部或动态补偿部将编码或解码对象宏块内的动态补偿对象块a的动态矢量设为(0、0)(S702)。动态补偿部用所决定的动态矢量(0、0)对动态补偿对象块a进行动态补偿(S703)。
在动态补偿对象块a’不是“动态小”的情况下,动态矢量检测部或动态补偿部,根据编码或解码对象宏块的周边块的动态矢量,决定该编码或解码对象宏块的动态矢量MV(S704)。根据周边块的动态矢量决定编码或解码对象宏块的动态矢量MV的处理,与图8中的步骤S404中的处理相同。动态补偿部使用这样决定的编码或解码对象宏块的动态矢量MV,生成动态补偿对象块a的动态补偿预测象素值(S703)。通过以上处理,完成一个动态补偿对象块a的动态补偿。
所述实施方式2的图像编码装置中的动态矢量检测部、动态补偿部和动态信息变换部、图像解码装置中的动态补偿部和动态信息变换部,通过接着对剩余的动态补偿对象块b、动态补偿对象块c和动态补偿对象块d,反复进行上述步骤S701~步骤S704的处理,完成一个编码或解码对象宏块的动态补偿。
即,对动态补偿对象块b,在位于动态补偿对象块b的后方同位置上的块中,调查位于编码或解码对象宏块的后方同位置宏块的角上的动态补偿完成块b’是否“动态小”,在动态补偿完块b’“动态小”的情况下,选择动态矢量(0、0)。在动态补偿完成块b’不是“动态小”的情况下,选择用周边块的动态矢量算出的编码或解码对象宏块的动态矢量MV。动态补偿部用所选择的动态矢量进行动态补偿对象块b的动态补偿。
此外,对于动态补偿对象块c和动态补偿对象块d也同样地,根据动态补偿完块c’和动态补偿完块d’的动态选择动态矢量,用所选择的动态矢量对动态补偿对象块c和动态补偿对象块d进行动态补偿。这样,若进行编码或解码对象宏块内的全部的动态补偿对象块的动态补偿,则完成该编码或解码对象宏块的动态补偿。
如上所述,根据本实施方式2的动态补偿方法,由于仅调查位于后方同位置宏块的角上的一个动态补偿完成块的动态,就能够选择用于动态补偿对象块的动态补偿的动态矢量,因此,与实施方式1的动态补偿方法相比,有能够降低动态矢量检测部或动态补偿部的处理负荷的效果。
(实施方式3)
另外,通过将用于实现上述各实施方式中示出的图像编码方法和图像解码方法的程序记录到软盘等记录媒体中,能在独立的计算机系统中简单地实施上述各实施方式中示出的处理。
图13是关于用于存储用于由计算机系统实现上述实施方式1至实施方式2的图像编码方法和图像解码方法的程序的记录媒体的说明图。
图13(b)示出从软盘的正面看的外观、剖面结构和软盘,图13(a)示出作为记录媒体主体的软盘的物理格式的例子。软盘FD内置于壳F内,在该磁盘表面,从外周向内周以同心圆状形成多个磁道Tr,各磁道在角度方向上被分割为16个扇区Se。从而,在存储了上述程序的软盘中,在上述磁盘主体FD上分割的区域中,记录作成上述程序的图像编码方法和图像解码方法。
此外,图13(c)示出用于在软盘FD上进行上述程序的记录再现的结构。在软盘FD上记录上述程序的情况下,从计算机系统Cs,通过软盘驱动器,写入作成上述程序的图像编码方法或图像解码方法。此外,在利用软盘内的程序,将上述图像编码方法和图像解码方法构筑到计算机系统中时,利用软盘驱动器从软盘读出程序,传送到计算机系统中。
再有,在上述说明中,使用软盘作为记录媒体进行了说明,但使用光盘也能同样地进行。此外,记录媒体不限于此,CD-ROM、存储卡、盒式ROM等,只要能记录程序的都能同样地实施。
(实施方式4)
另外,在此,对上述实施方式中示出的图像编码方法和图像解码方法的应用例、和使用该应用例的系统进行说明。
图14是示出实现内容传送服务的内容供给系统ex100的整体结构框图。将通信服务的提供区域分割成期望的大小,在各单元内分别设置作为固定无线局的基站ex107~ex110。
该内容供给系统ex100例如通过因特网服务提供商ex102和电话网ex104及基站ex107~ex110,在因特网ex101上连接计算机ex111、PDA(personal digital assistant即,个人数字助理)ex112、摄影机ex113、携带式电话ex114、带摄影机的携带式电话ex115等各设备。
但是,内容供给系统ex100不限定于图14这样的组合,也可以组合任一个进行连接。此外,也可以不通过作为固定无线局的基站ex107~ex110,而在电话网ex104上直接连接各设备。
摄影机ex113是数字录像机等能摄影动画的设备。此外,携带式电话是PDC(Personal Digital Communications即,个人数字通信)方式、CDMA(Code Division Multiple Access即,码分多路访问)方式、W-CDMA(Wideband-Code Division Multiple Access即,宽带码分多路访问)方式、或GSM(Global System for Mobile Communications即,全球移动通信系统)方式的携带式电话机,或者PHS(Personal Handyphone System即,个人手持电话系统)等,哪种都可以。
此外,流服务器ex103从摄影机ex113通过基站ex109或电话网ex104进行连接,能使用摄影机ex113来进行基于用户发送的已编码处理的数据的实时传送等。拍摄到的数据的编码处理可以用摄影机ex113进行,也可以用进行数据的发送处理的服务器等进行。此外,也可以通过计算机ex111向流服务器ex103发送用摄影机ex116拍摄到的动画数据。摄影机ex116是数字摄影机等可摄影静止画面和动画的设备。该情况下,动画数据的编码既可以用摄影机ex116进行,也可以用计算机ex111进行。此外,编码处理在计算机ex111或摄影机ex116所具备的LSIex117中进行处理。再有,也可以将图像编码和解码用的软件装在能用计算机ex111等可读取的记录媒体的任一种存储媒体(CD-ROM、软盘、硬盘等)中。另外,也可以用带摄影机的携带式电话ex115发送动画数据。这时的动画数据是用携带式电话ex115所具有的LSI进行编码处理的数据。
在该内容供给系统ex100中,一方面,与上述实施方式同样地编码处理用户用摄影机ex113和摄影机ex116等拍摄的内容(例如,拍摄了音乐实况的影像等),并向流服务器ex103发送,另一方面,流服务器ex103对有请求的客户端流传送上述内容数据。作为客户端,有能进行解码上述已编码处理的数据的计算机ex111、PDAex112、摄影机ex113、携带式电话ex114等。通过这样做,内容供给系统ex100能在客户端接收已编码的数据并再现,另外,能在客户端实时接收、解码、再现,因此,该系统也能实现个人广播。
在构成该系统的各设备的编码和解码中,也可以使用在上述各实施方式中示出的图像编码装置或图像解码装置。
作为一例,对携带式电话进行说明。
图15是示出使用了已在上述实施方式中说明的图像编码方法和图像解码方法的携带式电话ex115的图。携带式电话ex115具有下述部分:用于与基站ex110之间收发电波的天线ex201;CCD摄影机等能拍摄影像和静止画面的摄影机部ex203;显示用摄影机部ex203拍摄到的影像和已解码了用天线ex201接收到的影像等的数据的液晶显示器等显示部ex202;由操作键ex204群构成的主体部;用于进行声音输出的扬声器等声音输出部ex208;用于进行声音输入的话筒等声音输入部ex205;记录媒体ex207,用于保存拍摄到的动画、或静止画面数据、接收到的邮件数据、动画数据、或静止画面数据等已编码的数据或已解码的数据;用于能在携带式电话ex115中装入记录媒体ex207的卡槽ex206。记录媒体ex207是SD卡等在塑料容器内,电气地装入能改写和擦除的、作为不易失存储器即EEPROM(Electronically Erasable and Programmable ReadOnly Memory即,电可擦可编程只读存储器)的一种的快闪存储器元件的装置。
另外,用图16对携带式电话ex115进行说明。携带式电话ex115对于主控制部ex311,通过同步总线ex313,与具有显示部ex202和操作键ex204的、对主体部的各部进行总控制的主控制部ex311,相互连接电源电路部ex310、操作输入控制部ex304、图像编码部ex312、摄影机接口部ex303、LCD(Liquid Crystal Display即,液晶显示器)控制部ex302、图像解码部ex309、多重分离部ex308、记录再现部ex307、调制解调电路部ex306和声音处理部ex305。主控制部ex311对包括显示部ex202和操作键ex204的主体部的各部分进行总括地控制。
当由用户操作成结束通话和电源键为开通状态时,电源电路部ex310就从电池组对各部分供给电力,从而启动带摄影机的数字式携带式电话ex115为可工作的状态。
携带式电话ex115基于由CPU、ROM和RAM等构成的主控制部ex311的控制,在声音通话模式时,用声音处理部ex305将由声音输入部ex205集音到的声音信号变换成数字式声音数据,将其用调制解调电路部ex306进行频谱扩散处理,并在由收发电路部ex301实施了数字模拟转换处理和频率变换处理之后,通过天线ex201发送。此外,携带式电话机ex115在声音通话模式时,放大由天线ex201接收到的接收数据,实施频率变换处理和模拟/数字转换处理,由调制解调电路部ex306进行频谱逆扩散处理,由声音处理部ex305转换成模拟声音数据之后,将其通过声音输出部ex208输出。
另外,在数据通信模式时发送电子邮件的情况下,由主体部的操作键ex204的操作输入的电子邮件的文本数据,通过操作输入控制部ex304发送到主控制部ex311。主控制部ex311用调制解调部ex 306对文本数据进行频谱扩散处理,在由收发电路部ex301实施了数字模拟转换处理和频率变换处理之后,通过天线ex201,向基站ex110发送。
在数据通信模式时发送图像数据的情况下,通过摄影机接口部ex303,向图像编码部ex312供给用摄影机部ex203拍摄到的图像数据。此外,在不发送图像数据的情况下,也可以通过摄影机接口部ex303和LCD控制部ex302,在显示部ex202上直接显示用摄影机部ex203拍摄到的图像数据。
图像编码部ex312具有已在本申请中说明了的图像编码装置,通过由在上述实施方式中示出的图像编码装置中使用的编码方法,对从摄影机部ex203供给的图像数据进行压缩编码,转换成编码图像数据,将其向多重分离部ex308发送。此外,与此同时,携带式电话机ex115将由摄影机部ex203在摄像中由声音输入部ex205集音到的声音,作为数字声音数据,通过声音处理部ex305,向多重分离部ex308发送。
多重分离部ex308用规定的方式,对从图像编码部ex312供给的编码图像数据和从声音处理部ex305供给的声音数据进行多重化,由调制解调电路部ex306对其结果得到的多重化数据进行频谱扩散处理,在由收发电路部ex301实施了数字/模拟转换处理和频率变换处理之后,通过天线ex201发送。
在数据通信模式时接收链接到首页等的动态图像文件数据的情况下,由调制解调电路部ex306,对通过天线ex201从基站ex110接收到的接收数据进行频谱扩散处理,将其结果得到的多重化数据向多重分离部ex308发送。
此外,在解码通过天线ex201接收到的多重化数据时,多重分离部ex308通过分离多重化数据,来分成图像数据的位流和声音数据的位流,通过同步总线ex313向图像解码部ex309供给该编码图像数据,并向声音处理部ex305供给该声音数据。
接着,图像解码部ex309具有已在本申请中说明了的图像解码装置,用对应于上述实施方式中示出的编码方法的解码方法,对图像数据的位流进行解码,生成再现动态图像数据,将其通过LCD控制部ex302向显示部ex202供给,这样,显示例如链接到首页的动态图像文件中包含的动画数据。与此同时,声音处理部ex305在将声音数据转换成模拟声音数据之后,向声音输出部ex208供给,这样,再现例如链接在首页中的动态图像文件中包含的声音数据。
再有,不限于上述系统的例子,最近,利用卫星和地面波进行数字广播成为热门话题,如图17所示,也可以在数字广播用系统中装入至少一种上述实施方式的图像编码装置或图像解码装置。具体地说,在广播电台ex409中,通过电波向通信或广播卫星ex410传输影像信息的位流。接收到它的广播卫星ex410,发送广播用电波,由具有卫星广播接收设备的家庭的天线ex406接收该电波,由电视机(接收机)ex401或机顶盒设备(STB)ex407等装置解码位流并再现。此外,也可以读取记录在作为记录媒体的CD和DVD等存储媒体ex402上的位流,在进行解码的再现装置ex403上安装上述实施方式中示出的图像解码装置。该情况下,在监视器ex404上显示再现的影像信号。此外,也可以考虑在与有线电视用的电缆ex405或卫星/地面波广播的天线ex406连接的机顶盒设备ex407内安装图像解码装置,由电视机的监视器ex408进行再现的结构。这时,不仅机顶盒设备,而且也可以在电视机内装入图像解码装置。此外,也可以用具有天线ex411的车ex412从卫星ex410或基站ex107等接收信号,在车ex412所具有的汽车驾驶导向系统ex413等显示装置中再现动画。
另外,也可以用上述实施方式中示出的图像编码装置对图像信号进行编码,并记录在记录媒体中。作为具体例,有在DVD盘ex421中记录图像信号的DVD可录光盘和在硬盘中记录的盘式记录器等记录器ex420。另外,也可以记录在SD卡ex422中。若记录器ex420具有上述实施方式中示出的图像解码装置,则能再现记录在DVD盘ex421和SD卡ex422中的图像信号,可用监视器ex408显示。
再有,汽车驾驶导向系统ex413的结构可以是例如在图16中示出的结构中,除去摄影机部ex203和摄影机接口部ex303、图像编码部ex312的结构,同样也可以考虑计算机ex111和电视机(接收机)ex401等。
此外,上述携带式电话ex114等终端可以是除具有编码器和解码器的双方的收发型的终端之外,还可以是仅有编码器的发送终端和仅有解码器的接收终端的三种安装形式。
如上,能在上述的某一个设备和系统中使用上述实施方式中示出的图像编码方法或图像解码方法,由此,能得到上述实施方式中说明的效果。
此外,本发明不限定于上述实施方式,可以在不脱离本发明的范围内作各种各样的变形或修正。
工业上的可利用性
本发明涉及的图像编码装置,作为在具有通信功能的个人计算机、PDA、数字广播的广播站和携带式电话等中所具备的图像编码装置,十分有用。
本发明涉及的图像解码装置,作为在具有通信功能的个人计算机、PDA、接收数字广播的STB和携带式电话等中所具备的图像解码装置,十分有用。

Claims (2)

1.一种动态补偿方法,参照与包含对象宏块的画面不同的画面中所包含的、与上述对象宏块同位置的宏块即同位置宏块的动态矢量,生成上述对象宏块的预测图像,其特征在于,包括:
动态矢量取得步骤,在由多个动态补偿完成块构成与上述对象宏块中包含的对象块同位置且包含在上述同位置宏块中的同位置块时,取得与构成上述同位置宏块中包含的上述同位置块的多个动态补偿完成块分别对应的动态矢量;以及
动态补偿步骤,利用在上述动态矢量取得步骤取得的各个动态矢量,生成上述对象块的预测图像;
在上述动态补偿步骤中,
在通过上述动态矢量取得步骤而取得的所有动态矢量的大小都低于1的情况下,将上述对象块的动态矢量设定为零,并生成上述对象块的预测图像;
在通过上述动态矢量取得步骤而取得的动态矢量中的至少一个动态矢量的大小高于1的情况下,利用位于上述对象宏块的周边的周边宏块的动态矢量,求出上述对象块的动态矢量,利用求出的动态矢量生成上述对象块的预测图像。
2.一种动态补偿装置,参照与包含对象宏块的画面不同的画面中所包含的、与上述对象宏块同位置的宏块即同位置宏块的动态矢量,生成上述对象宏块的预测图像,其特征在于,包括:
动态矢量取得单元,在由多个动态补偿完成块构成与上述对象宏块中包含的对象块同位置且包含在上述同位置宏块中的同位置块时,取得与构成上述同位置宏块中包含的上述同位置块的多个动态补偿完成块分别对应的动态矢量;以及
动态补偿单元,利用由上述动态矢量取得单元取得的各个动态矢量,生成上述对象块的预测图像;
在上述动态补偿单元中,
在由上述动态矢量取得单元取得的所有动态矢量的大小都低于1的情况下,将上述对象块的动态矢量设定为零,并生成上述对象块的预测图像;
在由上述动态矢量取得单元取得的动态矢量中的至少一个动态矢量的大小高于1的情况下,利用位于上述对象宏块的周边的周边宏块的动态矢量,求出上述对象块的动态矢量,利用求出的动态矢量生成上述对象块的预测图像。
CN2007101542835A 2002-11-25 2003-08-28 动态补偿方法、图像编码方法及图像解码方法 Expired - Lifetime CN101141651B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP340390/2002 2002-11-25
JP2002340390 2002-11-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN03802728A Division CN100591138C (zh) 2002-11-25 2003-08-28 图像编码方法及其装置、图像解码方法及其装置

Publications (2)

Publication Number Publication Date
CN101141651A CN101141651A (zh) 2008-03-12
CN101141651B true CN101141651B (zh) 2010-11-10

Family

ID=32375820

Family Applications (4)

Application Number Title Priority Date Filing Date
CN03802728A Expired - Lifetime CN100591138C (zh) 2002-11-25 2003-08-28 图像编码方法及其装置、图像解码方法及其装置
CN2007101542835A Expired - Lifetime CN101141651B (zh) 2002-11-25 2003-08-28 动态补偿方法、图像编码方法及图像解码方法
CN2010100021298A Expired - Lifetime CN101827265B (zh) 2002-11-25 2003-08-28 图像编码装置及方法、图像解码装置及方法以及记录方法
CN200710154282A Expired - Lifetime CN100589576C (zh) 2002-11-25 2003-08-28 动态补偿方法、图像编码方法及图像解码方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN03802728A Expired - Lifetime CN100591138C (zh) 2002-11-25 2003-08-28 图像编码方法及其装置、图像解码方法及其装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN2010100021298A Expired - Lifetime CN101827265B (zh) 2002-11-25 2003-08-28 图像编码装置及方法、图像解码装置及方法以及记录方法
CN200710154282A Expired - Lifetime CN100589576C (zh) 2002-11-25 2003-08-28 动态补偿方法、图像编码方法及图像解码方法

Country Status (12)

Country Link
US (11) US8009731B2 (zh)
EP (5) EP1569460B1 (zh)
KR (2) KR100985236B1 (zh)
CN (4) CN100591138C (zh)
AU (1) AU2003261780B8 (zh)
BR (2) BRPI0307197B1 (zh)
CA (1) CA2473897C (zh)
ES (1) ES2788382T3 (zh)
MX (1) MXPA04007021A (zh)
MY (1) MY138540A (zh)
TW (3) TWI353182B (zh)
WO (1) WO2004049726A1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8780957B2 (en) * 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
JP4736456B2 (ja) * 2005-02-15 2011-07-27 株式会社日立製作所 走査線補間装置、映像表示装置、映像信号処理装置
US8019000B2 (en) * 2005-02-24 2011-09-13 Sanyo Electric Co., Ltd. Motion vector detecting device
RU2402885C2 (ru) * 2005-03-10 2010-10-27 Квэлкомм Инкорпорейтед Классификация контента для обработки мультимедийных данных
US9113147B2 (en) * 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
US8948260B2 (en) * 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US20070206117A1 (en) * 2005-10-17 2007-09-06 Qualcomm Incorporated Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video
US20070171280A1 (en) * 2005-10-24 2007-07-26 Qualcomm Incorporated Inverse telecine algorithm based on state machine
US7783184B2 (en) * 2006-02-15 2010-08-24 Lg Electronics Inc. Optical zoom tracking apparatus and method, and computer-readable recording medium for performing the optical zoom tracking method
EP1835749A1 (en) * 2006-03-16 2007-09-19 THOMSON Licensing Method for coding video data of a sequence of pictures
US9131164B2 (en) * 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
WO2009040904A1 (ja) * 2007-09-26 2009-04-02 Fujitsu Microelectronics Limited ビデオデコーダおよびデジタル放送受信装置
KR100939917B1 (ko) * 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
US8488678B2 (en) * 2008-04-01 2013-07-16 Canon Kabushiki Kaisha Moving image encoding apparatus and moving image encoding method
US8675738B2 (en) * 2008-08-06 2014-03-18 Mediatek Inc. Video decoding method without using additional buffers for storing scaled frames and system thereof
JP5378520B2 (ja) 2009-07-07 2013-12-25 パナソニック株式会社 動画像復号化装置、動画像復号化方法、動画像復号化システム、集積回路およびプログラム
CN104935935B (zh) * 2009-10-21 2018-04-03 Sk电信有限公司 视频编码方法、视频解码方法和视频解码装置
US20110176611A1 (en) * 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
CN102131091B (zh) * 2010-01-15 2013-01-23 联发科技股份有限公司 解码端运动向量导出方法
US10104391B2 (en) * 2010-10-01 2018-10-16 Dolby International Ab System for nested entropy encoding
US20120082228A1 (en) 2010-10-01 2012-04-05 Yeping Su Nested entropy encoding
WO2012074344A2 (ko) * 2010-12-03 2012-06-07 엘지전자 주식회사 움직임 정보 리스트 인덱싱 방법 및 이러한 방법을 사용하는 장치
CA2830036C (en) 2011-04-12 2019-03-05 Panasonic Corporation Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus and moving picture coding and decoding apparatus
EP3337172B1 (en) 2011-05-24 2020-09-09 Velos Media International Limited Image encoding method, image encoding apparatus
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
TR201819396T4 (tr) 2011-05-27 2019-01-21 Sun Patent Trust Görüntü Kod Çözme Metodu Ve Görüntü Kod Çözme Cihazı
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
CN107257483B (zh) 2011-05-31 2020-01-21 太阳专利托管公司 运动图像编码方法、运动图像编码装置
CN105187836B (zh) * 2011-06-17 2017-07-18 Jvc建伍株式会社 图像解码装置、图像解码方法及接收装置、接收方法
KR101753551B1 (ko) * 2011-06-20 2017-07-03 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램을 저장한 기록매체
WO2012177052A2 (ko) 2011-06-21 2012-12-27 한국전자통신연구원 인터 예측 방법 및 그 장치
KR20120140592A (ko) * 2011-06-21 2012-12-31 한국전자통신연구원 움직임 보상의 계산 복잡도 감소 및 부호화 효율을 증가시키는 방법 및 장치
RU2594291C2 (ru) 2011-06-28 2016-08-10 Самсунг Электроникс Ко., Лтд. Способ и устройство для кодирования и декодирования изображения, используя внутреннее предсказание
MX2013013029A (es) 2011-06-30 2013-12-02 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, dispositivo de decodificacion de imagenes, dispositivo de codificacion de imagenes y dispositivo de codificacion/decodifi cacion de imagenes.
WO2013009104A2 (ko) 2011-07-12 2013-01-17 한국전자통신연구원 인터 예측 방법 및 그 장치
CN103718558B (zh) 2011-08-03 2017-04-19 太阳专利托管公司 运动图像编码方法及装置、解码方法及装置和编解码装置
JP2013085096A (ja) * 2011-10-07 2013-05-09 Sony Corp 画像処理装置および方法
EP3923572A1 (en) 2011-10-19 2021-12-15 Sun Patent Trust Image encoding method, image encoding device, image decoding method, and picture decoding device
US9961366B2 (en) * 2012-01-19 2018-05-01 Sony Corporation Image processing apparatus and method that prohibits bi-prediction based on block size
US9906786B2 (en) * 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
JP6052319B2 (ja) * 2015-03-25 2016-12-27 Nttエレクトロニクス株式会社 動画像符号化装置
US9998745B2 (en) 2015-10-29 2018-06-12 Microsoft Technology Licensing, Llc Transforming video bit streams for parallel processing
KR102587638B1 (ko) * 2016-06-09 2023-10-10 인텔 코포레이션 비디오 코딩을 위해 이웃 블록 패턴을 이용하는 모션 추정 방법 및 시스템
CN116193110A (zh) * 2017-01-16 2023-05-30 世宗大学校产学协力团 影像编码/解码方法
WO2019234598A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and stmvp
WO2019244119A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Sub-block mv inheritance between color components
WO2020065517A1 (en) * 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Simplified history based motion vector prediction
CN116886926A (zh) 2018-11-10 2023-10-13 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
US11070816B2 (en) 2019-06-18 2021-07-20 Tencent America LLC Conversion of decoded block vector for intra picture block compensation
CN116723326A (zh) * 2019-07-08 2023-09-08 华为技术有限公司 视频译码中的混合nal单元图像约束
FR3106909B1 (fr) 2020-01-31 2022-02-18 St Microelectronics Grenoble 2 Circuit intégré configuré pour réaliser des opérations de chiffrement symétrique avec protection de clé secrète
FR3106910B1 (fr) 2020-01-31 2022-02-18 St Microelectronics Grenoble 2 Circuit intégré configuré pour réaliser des opérations de chiffrement symétrique sans transmission de clé secrète
CN115315941A (zh) 2020-03-17 2022-11-08 字节跳动有限公司 可缩放视频编解码中的解码图片缓冲存储器分配和图片输出

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5272529A (en) * 1992-03-20 1993-12-21 Northwest Starscan Limited Partnership Adaptive hierarchical subband vector quantization encoder
CN1194544A (zh) * 1997-01-31 1998-09-30 日本胜利株式会社 带有运动补偿的编码和译码装置
US5903313A (en) * 1995-04-18 1999-05-11 Advanced Micro Devices, Inc. Method and apparatus for adaptively performing motion compensation in a video processing apparatus

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100198986B1 (ko) * 1995-03-15 1999-06-15 전주범 블록킹 현상방지용 움직임 보상장치
US5883678A (en) * 1995-09-29 1999-03-16 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio
JP3183155B2 (ja) * 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
KR100191318B1 (ko) * 1996-03-26 1999-06-15 윤종용 고속의 동벡터 복호회로
KR100371130B1 (ko) * 1996-05-28 2003-02-07 마쯔시다덴기산교 가부시키가이샤 화상예측 복호화 장치 및 그 방법과 화상예측 부호화 장치및 그 방법
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
WO1998025407A1 (en) * 1996-12-06 1998-06-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for transmitting, encoding and decoding video signal and recording/reproducing method of optical disc
SG65064A1 (en) * 1997-04-09 1999-05-25 Matsushita Electric Ind Co Ltd Image predictive decoding method image predictive decoding apparatus image predictive coding method image predictive coding apparatus and data storage media
US6862320B1 (en) * 1997-10-23 2005-03-01 Mitsubishi Denki Kabushiki Kaisha Image decoder, image encoder, image communication system, and encoded bit stream converter
KR100523908B1 (ko) * 1997-12-12 2006-01-27 주식회사 팬택앤큐리텔 격행주사 영상에 대한 영상신호 부호화 장치 및 그 방법
US6512537B1 (en) * 1998-06-03 2003-01-28 Matsushita Electric Industrial Co., Ltd. Motion detecting apparatus, motion detecting method, and storage medium storing motion detecting program for avoiding incorrect detection
US6483874B1 (en) * 1999-01-27 2002-11-19 General Instrument Corporation Efficient motion estimation for an arbitrarily-shaped object
JP2000253407A (ja) * 1999-02-26 2000-09-14 Matsushita Electric Ind Co Ltd 動きベクトル検出方法および画像符号化方法
JP4280353B2 (ja) * 1999-03-19 2009-06-17 キヤノン株式会社 符号化装置、画像処理装置、符号化方法、及び記録媒体
JP3677165B2 (ja) * 1999-04-23 2005-07-27 株式会社東芝 動画像符号化装置および動画像符号化方法
US6618439B1 (en) 1999-07-06 2003-09-09 Industrial Technology Research Institute Fast motion-compensated video frame interpolator
EP1120976A4 (en) * 1999-07-29 2006-03-29 Mitsubishi Electric Corp METHOD FOR DETECTING MOTION VECTOR
US6483876B1 (en) * 1999-12-28 2002-11-19 Sony Corporation Methods and apparatus for reduction of prediction modes in motion estimation
US6671319B1 (en) * 1999-12-28 2003-12-30 Sony Corporation Methods and apparatus for motion estimation using neighboring macroblocks
CN1193620C (zh) * 2000-01-21 2005-03-16 诺基亚有限公司 视频编码器的运动估计方法及系统
JP2001251627A (ja) 2000-03-03 2001-09-14 Matsushita Electric Ind Co Ltd 符号化装置、符号化方法及びプログラムを記録した記録媒体
US6647061B1 (en) 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US7116372B2 (en) * 2000-10-20 2006-10-03 Matsushita Electric Industrial Co., Ltd. Method and apparatus for deinterlacing
KR100360893B1 (ko) * 2001-02-01 2002-11-13 엘지전자 주식회사 영상 움직임 보상 장치 및 방법
FR2824988B1 (fr) * 2001-05-21 2003-08-01 Thomson Licensing Sa Procede et dispositif de codage video utilisant la norme mpeg4
US6975680B2 (en) * 2001-07-12 2005-12-13 Dolby Laboratories, Inc. Macroblock mode decision biasing for video compression systems
US20030099294A1 (en) * 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
US6980596B2 (en) * 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
US20030202603A1 (en) * 2002-04-12 2003-10-30 William Chen Method and apparatus for fast inverse motion compensation using factorization and integer approximation
CN1976455B (zh) * 2002-04-19 2011-12-07 松下电器产业株式会社 图像编码方法及图像编码装置
US7813429B2 (en) * 2002-08-13 2010-10-12 Lsi Corporation System and method for segmentation of macroblocks
US7020200B2 (en) * 2002-08-13 2006-03-28 Lsi Logic Corporation System and method for direct motion vector prediction in bi-predictive video frames and fields
US6771210B2 (en) 2002-10-08 2004-08-03 Visteon Global Technologies, Inc. Sensor alignment method and system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5272529A (en) * 1992-03-20 1993-12-21 Northwest Starscan Limited Partnership Adaptive hierarchical subband vector quantization encoder
US5903313A (en) * 1995-04-18 1999-05-11 Advanced Micro Devices, Inc. Method and apparatus for adaptively performing motion compensation in a video processing apparatus
CN1194544A (zh) * 1997-01-31 1998-09-30 日本胜利株式会社 带有运动补偿的编码和译码装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2000-253407A 2000.09.14
JP特开2000-308066A 2000.11.02
JP特开2001-251627A 2001.09.14

Also Published As

Publication number Publication date
BRPI0307197B1 (pt) 2018-06-19
US20170085905A1 (en) 2017-03-23
CN100591138C (zh) 2010-02-17
EP1909505A2 (en) 2008-04-09
US20160094858A1 (en) 2016-03-31
CN101827265A (zh) 2010-09-08
EP3349461A1 (en) 2018-07-18
EP1909505B1 (en) 2013-06-19
US20140037009A1 (en) 2014-02-06
US20140037003A1 (en) 2014-02-06
US8009731B2 (en) 2011-08-30
EP3349461B1 (en) 2020-02-19
EP1569460B1 (en) 2013-05-15
TW200417248A (en) 2004-09-01
KR20050084750A (ko) 2005-08-29
EP2249579A3 (en) 2010-12-08
AU2003261780B8 (en) 2010-03-25
US8660185B2 (en) 2014-02-25
US20050062885A1 (en) 2005-03-24
CN101141650A (zh) 2008-03-12
CA2473897A1 (en) 2004-06-10
US9088795B2 (en) 2015-07-21
AU2003261780A1 (en) 2004-06-18
EP1909505A3 (en) 2010-07-21
CN101827265B (zh) 2012-11-21
US9554148B2 (en) 2017-01-24
EP2249579A2 (en) 2010-11-10
CN100589576C (zh) 2010-02-10
ES2788382T3 (es) 2020-10-21
CN101141651A (zh) 2008-03-12
EP2249579B1 (en) 2015-06-17
EP2919465B1 (en) 2018-03-21
EP1569460A1 (en) 2005-08-31
BR0307197A (pt) 2005-08-23
US8897367B2 (en) 2014-11-25
CA2473897C (en) 2012-10-16
TWI331877B (en) 2010-10-11
MY138540A (en) 2009-06-30
US20160094857A1 (en) 2016-03-31
US20140301472A1 (en) 2014-10-09
US9473786B2 (en) 2016-10-18
US9241171B2 (en) 2016-01-19
KR20100007935A (ko) 2010-01-22
US9485516B2 (en) 2016-11-01
TWI283534B (en) 2007-07-01
KR100985236B1 (ko) 2010-10-04
US8861607B2 (en) 2014-10-14
TW200715872A (en) 2007-04-16
WO2004049726A1 (ja) 2004-06-10
US20150288968A1 (en) 2015-10-08
TW200723889A (en) 2007-06-16
MXPA04007021A (es) 2004-10-11
CN1623333A (zh) 2005-06-01
US20160088311A1 (en) 2016-03-24
US9204153B2 (en) 2015-12-01
KR100985366B1 (ko) 2010-10-04
US20110286527A1 (en) 2011-11-24
EP2919465A1 (en) 2015-09-16
AU2003261780B2 (en) 2009-08-13
EP1569460A4 (en) 2007-06-20
TWI353182B (en) 2011-11-21
US10057595B2 (en) 2018-08-21
US20150312585A1 (en) 2015-10-29

Similar Documents

Publication Publication Date Title
CN101141651B (zh) 动态补偿方法、图像编码方法及图像解码方法
CN100542291C (zh) 动态矢量译码方法和动态矢量译码装置
CN101790095B (zh) 解码系统、解码装置、编码装置及记录方法
CN1968412B (zh) 图像解码方法
CN1312936C (zh) 动态图像编码方法及动态图像解码方法
CN100367802C (zh) 运动矢量导出方法和装置
TWI547147B (zh) 影像解碼方法與影像解碼裝置
JP2003169337A (ja) 画像符号化方法および画像復号化方法
CN100574437C (zh) 移动向量解码方法和移动向量解码装置
JP3824268B2 (ja) 動きベクトル導出方法、および動きベクトル導出装置
CN100455022C (zh) 图像的编码方法和图像的译码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140928

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140928

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151105

Address after: Tokyo, Japan

Patentee after: Godo Kaisha IP Bridge 1

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

CX01 Expiry of patent term

Granted publication date: 20101110

CX01 Expiry of patent term