CN101292537B - 运动图像编码方法、运动图像解码方法以及装置 - Google Patents

运动图像编码方法、运动图像解码方法以及装置 Download PDF

Info

Publication number
CN101292537B
CN101292537B CN2006800389899A CN200680038989A CN101292537B CN 101292537 B CN101292537 B CN 101292537B CN 2006800389899 A CN2006800389899 A CN 2006800389899A CN 200680038989 A CN200680038989 A CN 200680038989A CN 101292537 B CN101292537 B CN 101292537B
Authority
CN
China
Prior art keywords
scan method
piece
coding
picture
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006800389899A
Other languages
English (en)
Other versions
CN101292537A (zh
Inventor
托尔斯滕·帕尔夫纳
托马斯·威第
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Patent Trust Inc
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101292537A publication Critical patent/CN101292537A/zh
Application granted granted Critical
Publication of CN101292537B publication Critical patent/CN101292537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的运动图像编码方法是编码由多个图片组成的运动图像的运动图像编码方法:将图片分割为由多个像素组成的块;从多种扫描方法中选择扫描方法;根据所选择的扫描方法对块进行扫描;按照所扫描的顺序依次编码块。此时,在所述分割中,将图片分割为行列状的宏块,将各个宏块分割为块。多种扫描方法包括第一扫描方法,以块行为单位在宏块内进行扫描。

Description

运动图像编码方法、运动图像解码方法以及装置
技术领域
本发明涉及运动图像数据的压缩编码,尤其涉及可实现较高的编码效率的运动图像编码方法、运动图像解码方法以及装置。
背景技术
运动图像数据,在录像电话或录像会议、以及DVD或数字电视上被广泛应用。在发送或存储运动图像数据时,需要将相当大量的数据通过传送信道发送、或存储到以往的存储介质中,所述传送信道具有有限的可利用的频域,所述以往的存储介质具有有限的数据容量。因此,为了将数字数据发送以及存储到以往的信道、介质中,必要压缩或减少数字数据量。
对于运动图像数据的压缩,开发了多个运动图像编码标准。这些运动图像标准中有,例如,以H.26x所示的ITU-T(国际电信联盟电信标准化部门)标准、以及以MPEG(运动图像专家组)-x所示的ISO(国际标准化组织)/IEC(国际电工委员会)标准。x是1、2、4等。最新的运动图像编码标准是H.264/MPEG-4 AVC标准。
成为这些多个标准的基础的编码方法,包含如下所示的主要阶段。
(a)为了将各个视频帧作为块级的数据压缩的单位,将各个视频帧分割为由多个像素组成的块。
(b)根据固定的扫描方法,对各个运动图像数据的各个块进行扫描,该固定的扫描方法用于决定编码这些块的顺序。
(c)利用连续的帧的块间的时间依赖性(运动补偿)、或同一帧内的已编码块间的空间依赖性(帧内预测),来预测所扫描的各个块。
(d)求出所扫描的块和预测结果间的残差,并且编码各个块的残差。
将图像信息从空间区域变换为频率区域是,当前的运动图像编码标准的典型方法。通过以非常少的频率成分表示图像内容,从而可以实现图像信息的压缩。自然图像内容的频率成分的大部分集中于低频域的系数。由于高频成分几乎不影响到人的眼睛,因此为了减少成为编码对象的数据量,高频成分被删除或量化。
在较多的应用中,可以蓄积编码运动图像数据的量、或可以传送编码运动图像数据的频域非常有限。因此,需要尽可能压缩运动图像数据。然而,通过进行较粗糙的量化来减少数据量、提高数据压缩率,从而引起编码图像的画质劣化。
图1是以往的技术中的运动图像编码装置的结构框图。运动图像编码装置100包括:减法器110、变换/量化部120、反量化/反变换部130、加法器135、解块滤波器137、存储器140、帧内预测部150、运动补偿预测部160、运动检测部170、帧内/帧间开关180、以及熵编码部190。减法器110,求出编码对象块、和基于存储器140所存储的已编码块的预测信号间的差分。变换/量化部120,将由减法器110获得的预测误差从空间区域变换为频率区域,对获得的变换系数进行量化。熵编码部190,对量化变换系数进行熵编码。
输入图像,根据H.264/AVC标准被分割为宏块。运动图像编码装置100,只发送输入运动图像列的块、和基于这些已编码块(局部解码图像)的预测间的差分。通过减法器110接受成为编码对象的块后,从该块减去预测信号,从而求出所述差分。
局部解码后的图像由安装在运动图像编码装置100的局部解码部(反量化/反变换部130、加法器135以及解块滤波器137)提供。局部解码部进行和编码步骤相反的处理。反量化/反变换部130,对量化后的系数进行反量化,对反量化后的系数进行反变换。在加法器135,向预测信号加上通过反变换获得的差分,从而形成局部解码后的图像。而且,解块滤波器137减少在解码后的图像中的块失真。
用于运动图像编码装置100的预测的类型,根据宏块以帧内模式和帧间模式的哪种模式被编码而不同。对于帧内模式,由于预测连续的宏块,因此在运动图像编码标准H.264/AVC中采用基于同一图像的已编码宏块的预测方式。对于帧间模式,采用与连续的多个帧相对应的块间的运动补偿/预测。
只帧内编码后的图像(I帧),可以不参照已解码图像而被解码。I帧向编码后的运动图像列给予错误传播耐性。进一步,为了使随机存取成为可能,即,为了存取编码后的运动图像列中的I帧,I帧成为向编码后的数据的比特流的入口点。由帧内/帧间开关180控制帧内模式和帧间模式的切换,所述帧内模式是指由帧内预测部150的处理,所述帧间模式是指由运动补偿预测部160的处理。
在帧间模式中,通过采用运动补偿,从而依据前帧中的块来预测宏块。由运动检测部170实现运动预测,该运动检测部170接收对象输入信号以及局部解码后的图像。依据运动检测生成二维运动矢量,该二维运动矢量表示对象块和前帧中的对应的块间的像素的运动。根据检测出的运动,运动补偿预测部160提供预测信号。
为了帧内编码模式以及帧间编码模式,变换/量化部120将对象信号和预测后的信号间的差分变换为变换系数。一般而言,采用二维离散余弦变换(DCT)或其整数化形式的正交变换。
为了减少需要编码的数据量,变换系数被量化。以量化表来控制量化的步骤,该量化表指定精度、用于各个频率系数的编码的比特数。通常,由于用于低频成分的编码的比特多于高频成分,因此低频成分是与图像的精细度相比对画质更重要的。
在由解码装置复原编码后的图像时,进行与编码过程相反的处理。
图2是以往的技术中的运动图像解码装置的结构框图。运动图像解码装置200包括:熵解码部210;反量化/反变换部220;加法器230;解块滤波器240;存储器250;帧内预测部260以及补偿预测部270。
在熵解码部210进行的变换系数以及运动数据的熵解码,与熵编码部190相反。然后,熵解码后的块被发送到反量化/反变换部220,熵解码后的运动数据被发送到运动补偿预测部270。反量化以及反变换的结果包含预测误差。加法器230将预测误差、和帧间模式的运动补偿预测部270或帧内模式的帧内预测部260所产生的预测信号相加。复原后的图像,为了被帧内预测部260以及运动补偿预测部270利用,通过解块滤波器240被存储到存储器250。
根据H.264/AVC标准,图像被分割为不相重叠的16×16像素大小的宏块。这些宏块,还可以被分割为4×4像素大小的4×4个块、或8×8像素大小的2×2个块。这些宏块和未分割的16×16像素大小的块一起,分别被称为I4MB(宏块)、I8MB、I16MB。
按每个块适用所述的编码以及解码机制。因此,需要块的二维排列被变换为一维排列,以便块被编码装置以及解码装置处理。即,需要块根据特定的扫描方法被扫描,该特定的扫描方法用于决定块的处理顺序。
图3是示出基于H.264/AVC标准的块的扫描方法的图。箭头线示出I8MB宏块(310)以及I4MB宏块(320)内的块被扫描的顺序。在图中,数字0-15示出I4MB宏块(320)内的4×4像素块表示被扫描的顺序。参照符号350示出块内的各个像素。
块被扫描的顺序,对帧内编码后的块很重要,即需要被编码的、为了减少信息量利用空间相关性的块很重要。如上所述,帧内编码后的块,依据在已编码块中相邻的像素被预测。该预测值从块被减去,而只残差被编码。因此,预测的精度是对高压缩率非常重要的。
图4A是H.264/AVC标准所指定的宏块的帧内预测的说明图。在图中,阴影部分示出已编码块,没有阴影的部分示出未编码块。对象块6中的4×4像素,应该依据已编码块内的相邻的像素被外推。由块1的1像素、块3的4像素、块4的4像素、块5的4像素组成的13像素(430),利用于将对应的像素值复制到特定预测方向(440)而进行的对象块的预测。
图4B示出H.264/AVC标准所定义的九种不同预测模式的概要。模式0、1以及3~8,依据参照像素(430)被复制到对象块的预测方向来被附加特征。例如,在模式1中,块4的4像素作为对象块的4×4像素的预测值被复制。在模式2(DC)中,参照像素的平均值作为各个像素的预测值被均匀填到对象块。
非专利文献1:ITU-T Rec.H264|ISO/IEC 14496-10 version 1“Information technology-Coding of audio-visual objects-Part10:Advanced video coding”
然而,所述以往的技术中存在的问题是,不能提高帧内预测中的空间预测的精度。其结果是,也不能改进编码效率。对于所述问题,用图5A、图5B进行具体说明。在图中,阴影部分示出已编码块,没有阴影的部分示出未编码块。
根据图5A、图5B所示的扫描顺序以及例子可见,不是所有的参照像素可以利用于所有的块。例如,在图5A中,块3应该在没有块4内的4个参照像素(540)的状态下被预测。这是因为,块4未被编码。所述内容成为对帧内预测模式3以及7的障碍,使预测误差变大。因此,为了编码残差需要更多的比特,而预测精度和编码效率会劣化。而且,若预测误差变大,则产生画质劣化。
图5B示出因扫描顺序而欠缺了的像素的另一例子。块13应该在没有作为下一个宏块的一部分的4个参照像素(540)的状态下被编码。据此,预测精度会降低、预测误差会变大、编码装置的性能会劣化。
H.264/AVC标准中存在的另一问题与可以利用的预测模式的组有关。该预测模式的组,由于预测方向主要为右下,因此非对称。即,例如,没有水平偏左的预测模式、或垂直偏上的预测模式等。明确的是,该非对称是因H.264/AVC标准中扫描方向主要为右下而引起的。根据图像内容可以设想,依据图4B所示的预测方向以外的预测方向来可以实现良好的预测精度。然而,由于H.264/AVC标准的扫描方法是固定的,因此不能实现所述改进。
发明内容
本发明的目的在于提供一种运动图像编码方法、运动图像解码方法以及装置,可以提高帧内预测中的空间预测的精度。
为了解决所述问题,本发明的运动图像编码方法是一种运动图像编码方法,编码由多个图片组成的运动图像,所述运动图像编码方法:将图片分割为由多个像素组成的块;从多种扫描方法中选择扫描方法;根据所选择的扫描方法对块进行扫描;按照所扫描的顺序依次编码块。
根据该结构,通过选择扫描方法,从而在空间预测中可以利用更多的参照像素,因此可以提高空间预测的精度。据此,可以提高编码效率和画质。
在此,也可以是,在所述分割中,将图片分割为行列状的宏块,将各个宏块分割为块。
根据该结构,按照块的分割方法可以选择适当的扫描方法。
在此,也可以是,所述多种扫描方法包括第一扫描方法,以块行为单位在宏块内进行扫描。
在此,也可以是,所述多种扫描方法包括第一扫描方法,以跨越横向相邻的宏块的块行为单位进行扫描。
在此,也可以是,在所述第一扫描方法被选择的情况下,在所述选择中,进一步,作为块行的扫描方向选择,是从左向右、还是从右向左。
在此,也可以是,在所述编码中,根据所选择的扫描方向从多种预测方法中选择一种预测方法,并且利用所选择的预测方法编码块。
所述多种预测方法包括:第一预测方法,可以利用多个预测方向的组,该多个预测方向的组用于决定块内的像素的预测值;以及第二预测方法,可以利用与第一预测方法不同的预测方向的组。
根据该结构,由于可以选择适于所选择的扫描方法的预测方法,因此可以进一步提高预测精度以及编码效率。
在此,也可以是,所述运动图像编码方法,进一步,检测图片的规定部分中包含的图像的边缘方向,在所述选择中,根据检测出的边缘方向选择一种扫描方法。
根据该结构,由于按图像的内容可以选择适当的扫描方法,因此可以进一步提高预测精度以及编码效率。
在此,也可以是,所述运动图像编码方法,进一步,将识别符插入到编码后的运动图像,该识别符示出所选择的扫描方法。
根据该结构,可以简化在解码装置中决定扫描方法的处理。
而且,本发明的运动图像解码方法是一种运动图像解码方法,解码编码后的运动图像,所述运动图像编码方法:从编码后的运动图像中检测由图片内的多个像素组成的块的分区;从多种扫描方法中决定一种扫描方法,该多种扫描方法示出图片内的块的顺序;从编码后的运动图像中获得由多个像素组成的、编码后的块;解码编码后的块;根据检测出的所述分区和所决定的所述扫描方法,将解码后的块配置在图片内。
根据该结构,在空间预测中可以利用更多的参照像素,因此可以提高空间预测的精度。
在此,也可以是,所述图片被分割为行列状的宏块,各个宏块被分割为行列状的块。
在此,也可以是,在所述决定中,根据编码后的运动图像中包含的扫描方法识别符决定所述扫描方法。
在此,也可以是,所述运动图像解码方法,进一步,检测图片的规定部分中包含的图像的边缘方向;在所述决定中,根据检测出的边缘方向从多种扫描方法中决定一种扫描方法。
在此,也可以是,在所述决定中,进一步,作为块行的扫描方向决定,是从左向右、还是从右向左。
在此,也可以是,所述多种扫描方法包括第一扫描方法,以块行为单位在宏块内进行扫描。
在此,也可以是,所述多种扫描方法包括第一扫描方法,以跨越横向相邻的宏块的块行为单位进行扫描。
而且,本发明的运动图像编码装置、运动图像解码装置以及半导体装置,具有与所述运动图像编码方法或运动图像解码方法相同的结构,并且产生同样的作用以及效果。
根据本发明的运动图像编码方法,可以对应空间预测的预测精度和编码效率的提高。其结果是,可以提高画质。
附图说明
图1是以往的技术中的运动图像编码装置的结构框图。
图2是以往的技术中的运动图像解码装置的结构框图。
图3是示出基于H.264/AVC标准的块的扫描方法的图。
图4A是H.264/AVC标准所指定的宏块的帧内预测的说明图。
图4B是示出H.264/AVC标准所定义的九种不同预测模式的概要的图。
图5A是示出在帧内预测中可以利用的参照像素的图。
图5B是示出在帧内预测中可以利用的参照像素的图。
图6是本发明的实施例1的运动图像编码装置的结构框图。
图7A是示出本发明的实施例的第一块扫描方法的图。
图7B是示出本发明的实施例的第二块扫描方法的图。
图7C是示出本发明的实施例的第三块扫描方法的图。
图8A是按每个切片包含扫描ID的比特流的结构图。
图8B是按每个宏块包含块的扫描ID的比特流的结构图。
图8C是按每个宏块包含宏块的扫描ID和块的扫描ID的比特流的结构图。
图9是示出帧中的宏块的扫描顺序的一个例子的图。
图10A是示出用于决定块内的像素的预测值的、多个预测方向的第一组的图。
图10B是示出用于决定块内的像素的预测值的、多个预测方向的第二组的图。
图10C是示出用于决定块内的像素的预测值的、多个预测方向的第三组的图。
图10D是示出用于决定块内的像素的预测值的、多个预测方向的第四组的图。
图10E是示出用于决定块内的像素的预测值的、多个预测方向的第五组的图。
图10F是示出用于决定块内的像素的预测值的、多个预测方向的第六组的图。
图10G是示出用于决定块内的像素的预测值的、多个预测方向的第七组的图。
图10H是示出用于决定块内的像素的预测值的、多个预测方向的第八组的图。
图11是编码装置的工作流程图。
图12是本发明的实施例1的运动图像解码装置的结构框图。
图13是解码装置的工作流程图。
图14A是本发明的实施例2的运动图像编码装置的结构框图。
图14B是本发明的实施例2的运动图像编码装置的变形例的结构框图。
图15A是编码装置的工作的说明图。
图15B是编码装置的工作流程图。
图16是本发明的实施例2的运动图像解码装置的结构框图。
图17A是解码装置的工作的说明图。
图17B是解码装置的工作流程图。
符号说明
1运动图像编码装置
2解码装置
5加法器
7解块滤波器
8帧存储器
9边缘方向检测部
10扫描方法选择部
11减法器
12量化/变换部
13反量化/反变换部
14存储器
15帧内预测部
16运动补偿预测部
17运动检测部
18帧间开关
19熵编码部
20扫描方法选择部
21熵解码部
22反量化/反变换部
23加法器
24解块滤波器
25存储器
26帧内预测部
27运动补偿预测部
29边缘方向检测部
700比特流
710扫描方法标识符
720分割信息
730块数据
740宏块头
具体实施方式
(实施例1)
本发明的特点是,为了在帧内预测中可以利用更多的、或不同的参照像素,而选择扫描方法。
因此,本发明的运动图像编码方法是编码由多个图像组成的运动图像的运动图像编码方法,将图像分割为由多个像素组成的块,从多种扫描方法中选择扫描方法,根据所选择的扫描方法对块进行扫描,按照所扫描的顺序编码块。
据此,编码装置,在帧内预测中可以利用更多的、或不同的参照像素,从而空间预测的精度以及编码效率会提高。在此,从多个已定义的扫描方法中可以选择扫描方法。对于所选择的扫描方法,也可以向解码装置进行信令(signaling)。且,所述块是宏块、以及分割宏块而成的块中的任一个或两者。
因此,编码装置,也可以选择以往的扫描方法以外的扫描方法。
图6是本发明的述实施例1的运动图像编码装置的结构框图。在该图中,运动图像编码装置1包括:扫描方法选择部10、减法器11、变换/量化部12、反量化/反变换部13、加法器5、解块滤波器7、存储器14、帧内预测部15、运动补偿预测部16、运动检测部17、帧内/帧间开关18、以及熵编码部19。
扫描方法选择部10进行下列选择:宏块的扫描方法的选择;块的扫描方法的选择;以及预测模式的组的选择。根据所选择的宏块的扫描方法,编码对象的宏块被扫描;根据所选择的块的扫描方法,编码对象的块被扫描。
减法器11,求出编码对象块、和基于存储器14所存储的已编码块的预测信号间的差分。变换/量化部12,将由减法器11获得的预测误差从空间区域变换为频率区域,对获得的变换系数进行量化。熵编码部19,对量化变换系数进行熵编码。
输入图像,根据H.264/AVC标准被分割为宏块、还被分割为块。运动图像编码装置1,只发送输入运动图像列的块、和基于这些已编码块(局部解码图像)的预测间的差分。通过减法器11接受成为编码对象的块后,从该块减去预测信号,从而求出所述差分。
局部解码后的图像由安装在运动图像编码装置1的局部解码部(反量化/反变换部13、加法器5以及解块滤波器7)提供。局部解码部进行和编码步骤相反的处理。反量化/反变换部13,对量化后的系数进行反量化,对反量化后的系数进行反变换。在加法器5,向预测信号加上通过反变换获得的差分,从而形成局部解码后的图像。而且,解块滤波器137减少在解码后的图像中的块失真。
用于运动图像编码装置1的预测的类型,根据宏块以帧内模式和帧间模式的哪种模式被编码而不同。对于帧内模式,由于预测连续的宏块,因此采用基于同一图像的已编码宏块的预测方式。该预测方式中利用扫描方法选择部10所选择的预测模式的组。对于帧间模式,采用与连续的多个帧相对应的块间的运动补偿/预测。
由帧内/帧间开关18控制帧内模式和帧间模式的切换,所述帧内模式是指由帧内预测部15的处理,所述帧间模式是指由运动补偿预测部16的处理。
在帧间模式中,通过采用运动补偿,从而依据前帧中的块来预测宏块。由运动检测部17实现运动预测,该运动检测部17接收对象输入信号以及局部解码后的图像。依据运动检测生成二维运动矢量,该二维运动矢量表示对象块和前帧中的对应的块间的像素的运动。根据检测出的运动,运动补偿预测部16提供预测信号。
为了帧内编码模式以及帧间编码模式,变换/量化部12将对象信号和预测后的信号间的差分变换为变换系数。一般而言,采用二维离散余弦变换(DCT)或其整数化形式的正交变换。
为了减少需要编码的数据量,变换系数被量化。以量化表来控制量化的步骤,该量化表指定精度、用于各个频率系数的编码的比特数。通常,由于用于低频成分的编码的比特多于高频成分,因此低频成分是与图像的精细度相比对画质更重要的。
在由解码装置复原编码后的图像时,进行与编码过程相反的处理。
其次说明,扫描方法选择部10所选择的宏块的扫描方法、块的扫描方法、以及预测模式的组。
扫描方法选择部10从下列(i)~(v)等中选择宏块的扫描方法。
(i)从左向右进行扫描的扫描方法
(ii)从右向左进行扫描的扫描方法
(iii)从上向下进行扫描的扫描方法
(iv)从下向上进行扫描的扫描方法
(v)在图片中使所述(i)~(iv)混在一起的扫描方法(参照图9)
而且,扫描方法选择部10,可以固定选择所述(i)~(v)中的一种,也可以从所述(i)~(v)的至少两种中选择一种。
对于块的扫描方法,大致有两种情况:(a)在一个宏块内进行扫描的情况;(b)跨越向同一方向相邻的两个以上的宏块而进行扫描的情况。块的扫描方法,取决于(a)以及(b)、所述(i)~(iv)和起点块的组合。作为候选的块的扫描方法有下列方法。在以下的()中示出:所述(a)或(b)的区别;所述(i)~(iv)的区别;以及成为起点的块位置(u、d、l、r意味着从上、从下、从左、从右)。
(a-i-u)以宏块内的左上块为起点从左向右进行扫描的扫描方法(参照图7A)
(a-i-d)以宏块内的左下块为起点从左向右进行扫描的扫描方法
(a-ii-u)以宏块内的右上块为起点从右向左进行扫描的扫描方法
(a-ii-d)以宏块内的右下块为起点从右向左进行扫描的扫描方法
(a-iii-l)以宏块内的左上块为起点从上向下进行扫描的扫描方法
(a-iii-r)以宏块内的右上块为起点从上向下进行扫描的扫描方法
(a-iv-l)以宏块内的左下块为起点从下向上进行扫描的扫描方法
(a-iv-r)以宏块内的右下块为起点从下向上进行扫描的扫描方法
(b-i-u)以横向相邻的两个以上的宏块中的左上块为起点从左向右进行扫描的扫描方法
(b-i-d)以横向相邻的两个以上的宏块中的左下块为起点从左向右进行扫描的扫描方法
(b-ii-u)以横向相邻的两个以上的宏块中的右上块为起点从右向左进行扫描的扫描方法
(b-ii-d)以宏块内的右下块为起点从右向左进行扫描的扫描方法
(b-iii-l)以纵向相邻的两个以上的宏块中的左上块为起点从上向下进行扫描的扫描方法
(b-iii-r)以纵向相邻的两个以上的宏块中的右上块为起点从上向下进行扫描的扫描方法
(b-iv-l)以纵向相邻的两个以上的宏块中的左下块为起点从下向上进行扫描的扫描方法
(b-iv-r)以纵向相邻的两个以上的宏块中的右下块为起点从下向上进行扫描的扫描方法
并且,扫描方法选择部10,可以从所述(a-i-d)~(b-iv-r)的至少两种扫描方法中选择一种。
对于预测模式的组,有下列(1)~(8)等,与宏块或块的扫描方法相对应的最佳的组被选择。
(1)是图10A所示的预测模式的组,与以左上块作为起点的、从上向下的扫描方法(所述(a-iii-l)以及(b-iii-l))相对应
(2)是图10B所示的预测模式的组,与以右上块作为起点的、从上向下的扫描方法(所述(a-iii-r)以及(b-iii-r))相对应
(3)是图10C所示的预测模式的组,与以右上块作为起点的、从右向左的扫描方法(所述(a-ii-u)以及(b-ii-u))相对应
(4)是图10D所示的预测模式的组,与以左下块作为起点的、从右向左的扫描方法(所述(a-ii-d)以及(b-ii-d))相对应
(5)是图10E所示的预测模式的组,与以左下块作为起点的、从上向下的扫描方法(所述(a-iv-l)以及(b-iv-l))相对应
(6)是图10F所示的预测模式的组,与以右下块作为起点的、从下向上的扫描方法(所述(a-iv-r)以及(b-iv-r))相对应
(7)是图10G所示的预测模式的组,与以左下块作为起点的、从左向右的扫描方法(所述(a-i-d)以及(b-i-d))相对应
(8)是图10H所示的预测模式的组,与以左上块作为起点的、从左向右的扫描方法(所述(a-i-u)以及(b-i-u))相对应
并且,在图10A~图10H中,阴影部分示出已编码块,没有阴影的部分示出未编码块。对于预测模式的各个组,可以使用示出不同的八个预测方向(图中的箭头线)的八个预测模式、和一个DC模式。而且,图10H示出与图4B相同的预测模式的组。
图7A~图7C示出,为了帧内预测提供更多的参照像素的、改进了的扫描方法(600)的例子。
图7A示出扫描方法(600),通过以行为单位对各个宏块内的块615进行扫描,从而宏块(610、611、612)的行被扫描。对第一宏块(610)内的块进行扫描后,移向下一个宏块(611)内的左上的块而进行扫描。
其结果是,可以解决图5A所示因以往的扫描顺序而欠缺参照像素的问题。据此,可以依据已编码块预测更准确的运动图像数据,从而提高编码效率。
图7B示出,包含两个I4MB(620、621)的、先于I16MB(622)的宏块的行的扫描。与宏块的边界无关、且以行为单位,宏块中具有相同分区的块、即同一大小的块被扫描。若扫描到具有不同分区的宏块(612),则停止扫描,而移向下一个行。若同一大小的所有的块被扫描,则立刻下一个宏块(612)内的块被扫描。
据此,可以解决图5A所示因以往的扫描而欠缺参照像素的问题。再者,可以减少因宏块的边界而欠缺参照像素的问题(参照图5B)。据此,可以依据已编码块预测更准确的运动图像数据,从而提高编码效率。
具有不同分区的宏块中的块的扫描顺序,与所述顺序有一些不同。为了说明此事宜,图7C中示出具有不同分区的宏块中的块的扫描顺序的例子。若扫描到宏块的边界、且下一个宏块中相邻的块的大小为对象块的大小以上,则该相邻的块成为扫描顺序中的下一个块。在下一个宏块中相邻的块大于对象块的大小的情况下,需要对宏块中的块的下一个行进行扫描。即,下一个宏块中的下一个块内的参照像素未被编码的情况下,对下一个行进行扫描。
据此,可以解决图5A所示因以往的扫描而欠缺参照像素的问题。再者,可以减少因宏块的边界而欠缺参照像素的问题(参照图5B)。据此,可以依据已编码块预测更准确的运动图像数据,从而提高编码效率。
在所述例子中,依据扫描顺序,在水平线上从左向右进行扫描,但是,本发明的扫描顺序不仅限于此。即使扫描顺序相反、翻过来、旋转,也可以实施本发明。
所述扫描方法是,可以由编码装置选择的、依据本发明改进的扫描方法的一个例子。然而,即使不明确示出选择步骤,也编码装置可以利用依据本发明改进了的这些扫描方法。
H.264/AVC标准,基于宏块中的块的分割。在本标准中,也可以根据三种宏块的块分割中的一种,各个宏块再被分割为块。然而,本发明不被宏块的构造限制。对此,本发明可以适应于不同分割、或各种各样的块的形状或大小的分割。
为了解码编码后的运动图像数据,解码装置需要与编码装置所编码的块的列有关的信息。因此,对于编码装置所用的扫描方法,需要向解码装置进行信令。根据本发明的其它方式,通过将扫描方法识别符插入到编码后的运动图像数据,从而实现向编码装置的信令。扫描方法识别符,用于识别适应于编码装置的扫描。解码装置,从编码后的运动图像数据中检测扫描方法识别符,从而可以执行解码后的块的逆扫描。
图8A~图8C示出比特流的构造,该比特流表示编码后的运动图像数据。在图8A中,比特流700中包含与对象切片中的所有的宏块的分割有关的信息720。该信息,定义将运动图像数据分割为多个块的方法。在该信息的后面,接着存在扫描方法识别符710,该扫描方法识别符710用于识别为了对多个块进行扫描而编码装置所适应的扫描方法。根据该扫描方法,在扫描方法识别符710的后面,接着存在块数据730。
在所述例子中,扫描方法以切片级被选择并信令。然而,本发明不仅限于此。也可以是,扫描方法以类(profile)、等级(level)、帧、场以及宏块级被选择并信令。
图8B示出以宏块级进行的扫描方法的信令。比特流700包含扫描方法识别符710,到其它扫描方法识别符被插入到比特流为止,所述扫描方法识别符710用于识别连续的所有的宏块的扫描方法。扫描方法识别符710后接着存在多个宏块数据,该多个宏块数据分别包含宏块头740以及对应块数据730。宏块头740,例如包含与宏块的分区有关的信息。
有以下情况,即,为了识别扫描方法,扫描方法识别符包含对多个已定义的扫描方法中的一种的参照。另外,扫描方法识别符明示地包含与块被扫描的列有关的信息。在此情况下,编码装置可以完全自由地选择扫描方法。即,意味着,已定义的扫描方法的组合包含可以进行的所有的扫描方法。
也可以根据宏块/块的构造,阶层性地定义扫描方法。作为第一步骤,定义宏块的扫描顺序。其次,作为第二步骤,定义各个宏块中的块的扫描顺序。
图8C中分为两个阶段示出阶层性扫描方法的信令。比特流700包含用于识别宏块的扫描顺序的第一扫描方法识别符710a。例如,也可以以对象帧或对象切片的级进行所述信令步骤。宏块的处理顺序被定义后,各个宏块中的块的扫描方法依据第二扫描方法识别符710b被信令。如图中明确所示,该扫描方法识别符也可以是各个宏块数据的一部分。或者,该扫描方法识别符也可以只在变更宏块中的块的扫描方法时被插入到比特流。
也可以是,取代对宏块中的块的扫描方法明示地进行信令,而依据宏块扫描顺序暗示地导出扫描方法。
图9是示出宏块扫描方法的一个例子的图。该图示出被分割为8×4的宏块(810)的运动图像帧(800)。数字示出宏块的扫描顺序,箭头线示出宏块中的块的扫描方向。若宏块从左向右被扫描,则各个宏块中的块也从左向右被扫描,从而可以提供用于帧内预测的更多的参照像素。对于其它扫描方向也可以采用同样的规则。在此情况下,并不一定需要对宏块中的块的扫描方法明示地进行信令。例如,对各个切片中的宏块的开头的扫描方法、或向同一方向被扫描的宏块数进行信令即可。据此,可以进一步提高编码效率。
所述例子与水平扫描有关,但是本方法不仅限于此。本发明也可以适应于其它扫描方向、或其它扫描开始位置。
可以用于帧内预测的参照像素,因块被扫描的方向而变化。因此,根据本发明的其它方式,可以按照扫描方向使可以用于预测运动图像数据的块的、预测模式的组合适应。
所述图10A~图10F示出按照块的扫描方向的预测模式的组。
依据已扫描的块(阴影部)的可以利用的参照像素,决定可以用于某扫描方向的方向的组合。并且,据此,可以利用的方向的组合取决于扫描方向。
对于此方法,不需要向可能的16个预测方向分别赋予代码字。因此,可以以较少的比特数编码预测方向,从而编码效率会提高。
另外,依据扫描方向,可以控制用于预测的参照像素。根据图像内容,预测的准确度受预测方向的影响。例如,若不是从左向右、而是从右向左块的像素被外推、则图像数据的块被更准确地预测。因此,通过与以往的扫描方向相反的方向进行扫描,从而编码装置可以将扫描方法适应于图像内容。据此,可以将位于对象块的右边的参照像素用于帧内预测。并且,通过利用从右向左的预测模式,从而可以准确地预测,编码效率会提高。
将扫描方法适应于图像内容是进行多路径编码时特别重要,该多路径编码是指为了编码装置由第二路径将扫描方法适应化、在第一路径分析图像内容。作为另一选择项,例如,编码装置试验多种扫描方法,选择在编码效率等方面做出最佳结果的扫描方法,从而编码运动图像数据。
图11是本发明的编码装置的工作的流程图。在步骤S10,运动图像帧、运动图像场或其子集合等输入图片被分割为多个块。并且,这些每个块的数据被压缩并编码。在步骤S20,扫描方法选择部10选择宏块的扫描方法、块的扫描方法、以及预测模式的组。例如,扫描方法选择部10,对于宏块的扫描方法、块的扫描方法、以及预测模式的组的多种组合,使帧内预测部15试验帧内预测,从而选择预测误差最小的组合。依据在步骤S20所选择的扫描方法,块的编码顺序被定义。为了使解码装置将图片复原,用于识别所选择的扫描方法的扫描方法识别符,被插入到编码后的运动图像数据。在步骤S30,根据所选择的扫描方法,块被扫描。在步骤S40,为了依据已扫描的块预测块,各个块的预测模式被选择。在最后的步骤S50,根据所选择的预测模式,各个块被编码。
图12是本发明的实施例1的运动图像解码装置的结构框图。在该图中,运动图像解码装置2包括:扫描方法选择部20;熵解码部21;反量化/反变换部22;加法器23;解块滤波器24;存储器25;帧内预测部26;以及补偿预测部27。
在熵解码部21进行的变换系数以及运动数据的熵解码,与熵编码部19相反。熵解码后的块被发送到反量化/反变换部22,熵解码后的运动数据被发送到运动补偿预测部27,熵解码后的扫描方法识别符被发送到扫描方法选择部20。
扫描方法选择部20,根据扫描方法识别符等分别选择宏块的扫描方法、块的扫描方法、预测模式的组。
加法器23将预测误差、和帧间模式的运动补偿预测部27或帧内模式的帧内预测部26所产生的预测信号相加。复原后的图像,为了被帧内预测部26以及运动补偿预测部27利用,通过解块滤波器24被存储到存储器25。
此时,解码对象的块根据宏块的扫描方法以及块的扫描方法被扫描、根据预测模式的组被帧内解码。
图13是本发明的解码装置的工作流程图。在步骤S110,依据编码后的运动图像数据检测图片内的块的分区。据此,可以使解码装置将编码装置中分割了块的方法复原,即将块的数、大小以及位置复原。在步骤S120,依据编码后的运动图像数据检测扫描方法识别符。该识别符用于定义编码装置所利用的扫描方法、即块被编码的顺序。在步骤S130,按每个块接收编码后的运动图像数据以及对应预测模式。并且,在步骤S140,根据检测出的预测模式以及检测出的扫描方法,各个块被解码。最后,在步骤S150,依据解码后的块重新组成图片。
如上所述,根据本实施例的运动图像编码装置以及运动图像解码装置,通过适应性地选择块的编码顺序即扫描方法,从而可以进行更准确的帧内预测。据此,可以向对象块的预测提供更多的参照像素、或更合适的参照像素。通过可以进行更准确的预测,从而残差图像数据量会减少、编码效率会提高。
进一步,通过还将可以利用的预测模式的组适应于扫描方法,从而编码效率更会提高。扫描顺序向解码装置被信令,其解码装置解码各个块,从而可以将运动图像数据复原。
(实施例2)
在实施例1中,需要从运动图像编码装置向运动图像解码装置发送扫描方法识别符,但是,在实施例2中说明不需要该扫描方法识别符的运动图像编码装置以及运动图像解码装置的结构。本实施例的运动图像编码装置,检测图片的规定部分中包含的图像的边缘方向,根据检测出的边缘方向,适应性地决定多种扫描方法中的一种扫描方法。同样,运动图像解码装置,检测图片的规定部分中包含的图像的边缘方向,根据检测出的边缘方向,适应性地选择多种扫描方法中的一种扫描方法。对于检测所述规定部分中包含的边缘方向的算法,以及选择扫描方法的算法,运动图像编码装置和运动图像解码装置都进行完全相同的处理。据此,由于比特流不需要包含扫描方法的识别符,因此可以进一步提高编码效率。
图14A是本发明的实施例2的运动图像编码装置的结构框图。该图的运动编码装置1a和图6不同,增加了边缘方向检测部9。而且,扫描方法选择部10的工作也有一些不同。对于相同之处省略说明,而以不同之处为中心进行说明。
边缘方向检测部9,检测存储器14所保持的图片的规定部分中包含的图像的边缘方向。具体而言,检测在规定部分中包含哪个方向的边缘。在本实施例中,规定部分是图片内的开头的宏块行。并且,边缘方向检测部9,除了检测开头的宏块行以外,还检测各个宏块行的边缘方向。
扫描方法选择部10与实施例1相同,选择宏块以及块的扫描方法、预测模式的组,但是,如下内容与实施例1不同。即,扫描方法选择部10,为了用于规定部分的编码选择默认的扫描方法和预测模式的组,为了用于其它部分的编码选择最适于检测出的边缘方向的扫描方法。
图15A是编码装置的工作的说明图。该图中示出所述的规定部分是开头的宏块行的情况。如该图,扫描方法选择部10,为了编码图片的开头的宏块行,选择与运动图像解码装置相同的默认的扫描方法和预测模式的组(S151)。帧内预测部15,根据默认的扫描方法和预测模式的组,对开头的宏块行进行帧内预测。其结果是,利用默认的扫描方法和预测模式的组,开头的宏块行被编码(S152)。
再者,边缘方向检测部9,将编码后的前一个宏块行的图像为对象,检测在其中包含的边缘,并且检测哪个方向的边缘多(S153)。扫描方法选择部10,选择最适于检测出的边缘方向的扫描方法以及预测模式的组(S154)。根据所选择的扫描方法以及预测模式的组,宏块行被编码(S155)。
根据所述的S153~S155,第二行以后的宏块被依次编码。
图15B是示出编码装置的工作例的详细流程图。如该图,扫描方法选择部10,为了编码图片的开头的宏块行,选择与运动图像解码装置相同的默认的扫描方法和预测模式的组(S210)。帧内预测部15,根据默认的扫描方法和预测模式的组,对开头的宏块行进行帧内预测。其结果是,利用默认的扫描方法和预测模式的组,开头的宏块行被编码(S212)。
再者,边缘方向检测部9,将第一计数器以及第二计数器清零。然后,边缘方向检测部9,将编码后的前一个宏块行的图像为对象,而检测在其对象中包含的边缘(S214),在检测出的边缘是右下方向的情况下,使第一计数器增加1(S216,S218),在检测出的边缘是左下方向的情况下,使第二计数器增加1(S220,S222)。边缘方向检测部9,到检测出的最后的边缘为止反复进行这些计数(S226)。据此,第一计数器的计数值表示右下方向的边缘的数,第二计数器的计数值表示左下方向的边缘的数。
其次,扫描方法选择部10,对第一计数器的计数值和第二计数器的计数值的大小进行比较,即,判断右下方向的边缘多、还是左下方向的边缘多(S226)。扫描方法选择部10,在右下方向的边缘多的情况下,选择从左向右方向的扫描方法。例如,所述的(a-i-u)的扫描方法和对应的预测模式的组被选择(S228)。扫描方法选择部10,在左下方向的边缘多的情况下,选择从右向左方向的扫描方法。例如,所述的(a-ii-u)的扫描方法和对应的预测模式的组被选择。
根据所选择的扫描方法以及预测模式的组,下一个宏块行被编码(S232)。
按除了开头的宏块行以外的每个宏块行执行所述步骤S214~S232。
据此,对于第二行以后的宏块行,按照前一个宏块行的图像中包含的边缘方向,选择最合适的扫描方法以及预测模式的组。
图16是本发明的实施例2的运动图像解码装置的结构框图。该图的运动编码装置2a和图12不同,增加了边缘方向检测部29。而且,扫描方法选择部20的工作也有一些不同。对于相同之处省略说明,而以不同之处为中心进行说明。
边缘方向检测部29以及扫描方法选择部20,以与本实施例的运动图像编码装置的边缘方向检测部9以及扫描方法选择部10相同的算法执行各个处理。因此,比特流不需要包含宏块和块的扫描方法识别符、以及示出预测模式的组的信息。
边缘方向检测部29,与本实施例的运动图像编码装置的边缘方向检测部9相同,检测图片的规定部分中包含的图像的边缘方向。具体而言,检测规定部分中包含哪个方向的边缘多。与运动图像编码装置相同,规定部分是图片内的开头的宏块行。而且,边缘方向检测部29,除了检测开头的宏块行以外,还检测各个宏块行的边缘方向。
扫描方法选择部20,不需要扫描方法识别符以及示出预测模式的组的信息,而依据本身的判断选择扫描方法以及预测模式的组。即,扫描方法选择部20与本实施例的运动图像编码装置的扫描方法选择部10相同、并且与实施例1相同,选择宏块以及块的扫描方法、预测模式的组,但是,如下内容与实施例1不同。即,扫描方法选择部20,为了用于规定部分的编码选择默认的扫描方法和预测模式的组,为了用于其它部分的编码选择最适于检测出的边缘方向的扫描方法。
图17A是示出运动图像解码装置2a的工作例的详细流程图。和图15A不同,该图中取代“编码”而进行“解码”。对于边缘方向的检测、和扫描方法以及预测模式的选择,进行相同处理。据此,在对运动图像编码装置1a、1b所编码的比特流进行解码的情况下,运动图像解码装置2a可以选择与运动图像编码装置1a、1b相同的扫描方法以及预测模式的组。
图17B是解码装置的工作流程图。和图17B不同,该图中取代“编码”而进行“解码”。对于边缘方向的检测、和扫描方法以及预测模式的选择,进行相同处理。因此,比特流不需要包含宏块和块的扫描方法识别符、以及示出预测模式的组的信息。
如上所述,根据本实施例的运动图像编码装置以及运动图像解码装置,不需要向比特流赋予表示宏块的扫描方法、块的扫描方法以及预测模式的组的数据。据此,可以进一步提高编码效率。
并且,在图15A、图15B、图17A、图17B中,对第三个宏块行以后的各个宏块行的编码,可以使用选择为用于第二个宏块行的编码的、扫描方法以及预测模式的组。在此情况下,由于边缘方向检测部9、29以及扫描方法选择部10、20,只将开头的宏块行作为对象执行处理即可,因此可以减轻处理负荷。
而且,边缘方向检测部9、29以及扫描方法选择部10、20也可以,只将奇数的宏块行作为对象、或按每个N行只将其开头的宏块行作为对象而执行处理,对其它的宏块行的编码使用与前一个宏块行相同的扫描方法以及预测模式的组。
而且,对于所述的图片中的规定部分,不仅限于开头的宏块行,也可以是在运动图像编码装置和运动图像解码装置共通设置的、相邻的m个宏块行。
而且,也可以是,开头的宏块行的块的扫描方法不是默认,而与实施例1相同选择块的扫描方法。
并且,在本实施例中说明了作为图像的边缘方向检测左下方向和右下方向的例子,但也可以检测水平方向、垂直方向等其它方向,而选择最适于检测出的方向的扫描方法和预测模式的组。
而且,在本实施例中按每个宏块选择扫描方法,但也可以按几个宏块选择扫描方法。
并且,在实施例1中说明了以下例子,即,扫描方法选择部10,对于宏块的扫描方法、块的扫描方法、以及预测模式的组的多种组合,使帧内预测部15试验帧内预测,从而选择预测误差最小的组合(图11的步骤S20),但扫描方法选择部10也可以,利用边缘方向检测部9、且按照图像的内容进行选择。图14B示出其情况下的实施例1的图像编码装置的变形例。图14B的运动图像编码装置1b和图14A不同:增加了帧存储器8;边缘方向检测部9不参照存储器14、而参照帧存储器8;扫描方法选择部10,按照检测出的边缘方向选择宏块的扫描方法、块的扫描方法、以及预测模式的组。根据该结构,扫描方法选择部10可以选择适于边缘方向的宏块的扫描方法、块的扫描方法、以及预测模式的组。
并且,以作为典型的集成电路装置的LSI(Large Scale Integrated)来实现所述各个实施例所示的框图的各个功能框以及流程图的各个模块。该LSI可以被单芯片化,也可以被多芯片化。(例如,也可以除了存储器以外的功能块被单芯片化)。在此,作为LSI,但是,有时根据集成度不同被称为IC(Integrated Circuit)、系统LSI、高级LSI、超级LSI。
集成电路化的方法不仅限于LSI,也可以以专用电路或通用处理器来实现。可以利用FPGA(Field Programmable Gate Array:现场可编程门阵列),制造LSI后可以编程;也可以可重构处理器,可以重新构成LSI内部的电路单元的连接或设定。
进一步,若根据半导体技术的进步或枝生出的其它技术,出现取代LSI的集成电路化的技术,当然可以利用该技术进行功能框的集成化。存在适应生物技术等的可能性。
而且,也可以只使各个功能块中的、存储数据的单元不单芯片化,而使存储介质或DRAM(Dynamic Random-Access Memory:动态随机存储器)等的结构不同。
并且,由处理器以及程序实现所述各个实施例所示的流程图中的主要部分。
如此,可以将所述实施例所示的运动图像编码方法或运动图像解码方法用于所述的任何机器、系统上,据此可以获得所述实施例所说明的效果。
而且,本发明不仅限于这些所述实施例,而可以在不脱离本发明的范围的情况下进行各种变形或修改。
本发明适于编码或解码图像的编码装置、解码装置,并且,适于:Web服务器,分发运动图像;网络终端,接收运动图像;数字照相机,可以存储并再生运动图像;带有照相机的移动电话;DVD录像/播放器;PDA(Personal Digital Assistant:个人数字助理);个人计算机等。

Claims (11)

1.一种运动图像编码方法,编码由多个图片组成的运动图像,其特征在于,
将图片分割为由多个像素组成的块;
从多种扫描方法中选择扫描方法;
根据所选择的扫描方法对块进行扫描;
按照所扫描的顺序依次编码块,
所述多种扫描方法包括第一扫描方法,以跨越横向相邻的宏块的块行为单位进行扫描。
2.一种运动图像编码方法,编码由多个图片组成的运动图像,其特征在于,
将图片分割为由多个像素组成的块;
从多种扫描方法中选择扫描方法;
根据所选择的扫描方法对块进行扫描;
按照所扫描的顺序依次编码块,
所述多种扫描方法包括第一扫描方法,以块行为单位在宏块内进行扫描,
在所述第一扫描方法被选择的情况下,在所述选择中,进一步,作为块行的扫描方向选择,是从左向右、还是从右向左。
3.如权利要求2所述的运动图像编码方法,其特征在于,
在所述编码中,根据所选择的扫描方向从多种预测方法中选择一种预测方法,并且利用所选择的预测方法编码块,
所述多种预测方法包括:第一预测方法,可以利用多个预测方向的组,该多个预测方向的组用于决定块内的像素的预测值;以及第二预测方法,可以利用与第一预测方法不同的预测方向的组。
4.一种运动图像编码方法,编码由多个图片组成的运动图像,其特征在于,
将图片分割为由多个像素组成的块;
从多种扫描方法中选择扫描方法;
根据所选择的扫描方法对块进行扫描;
按照所扫描的顺序依次编码块,
所述运动图像编码方法,进一步,检测图片的规定部分中包含的图像的边缘方向,
在所述选择中,根据检测出的边缘方向选择一种扫描方法。
5.一种运动图像解码方法,解码编码后的运动图像,其特征在于,
从编码后的运动图像中检测由图片内的多个像素组成的块的分区;
从多种扫描方法中决定一种扫描方法,该多种扫描方法示出图片内的块的顺序;
从编码后的运动图像中获得由多个像素组成的、编码后的块;
解码编码后的块;
根据检测出的所述分区和所决定的所述扫描方法,将解码后的块配置在图片内,
所述图片被分割为行列状的宏块,各个宏块被分割为行列状的块,
所述运动图像解码方法,进一步,检测图片的规定部分中包含的图像的边缘方向,
在所述决定中,根据检测出的边缘方向从多种扫描方法中决定一种扫描方法。
6.一种运动图像解码方法,解码编码后的运动图像,其特征在于,
从编码后的运动图像中检测由图片内的多个像素组成的块的分区;
从多种扫描方法中决定一种扫描方法,该多种扫描方法示出图片内的块的顺序;
从编码后的运动图像中获得由多个像素组成的、编码后的块;
解码编码后的块;
根据检测出的所述分区和所决定的所述扫描方法,将解码后的块配置在图片内,
所述图片被分割为行列状的宏块,各个宏块被分割为行列状的块,
在所述决定中,进一步,作为块行的扫描方向决定,是从左向右、还是从右向左。
7.一种运动图像解码方法,解码编码后的运动图像,其特征在于,
从编码后的运动图像中检测由图片内的多个像素组成的块的分区;
从多种扫描方法中决定一种扫描方法,该多种扫描方法示出图片内的块的顺序;
从编码后的运动图像中获得由多个像素组成的、编码后的块;
解码编码后的块;
根据检测出的所述分区和所决定的所述扫描方法,将解码后的块配置在图片内,
所述图片被分割为行列状的宏块,各个宏块被分割为行列状的块,
所述多种扫描方法包括第一扫描方法,以跨越横向相邻的宏块的块行为单位进行扫描。
8.一种运动图像编码装置,编码由多个图片组成的运动图像,其特征在于,包括:
分割单元,将图片分割为由多个像素组成的块;
选择单元,从多种扫描方法中选择扫描方法;
扫描单元,根据所选择的扫描方法对块进行扫描;以及
编码单元,按照所扫描的顺序依次编码块,
所述多种扫描方法包括第一扫描方法,以跨越横向相邻的宏块的块行为单位进行扫描。
9.一种运动图像解码装置,解码编码后的运动图像,其特征在于,包括:
检测单元,从编码后的运动图像中检测由图片内的多个像素组成的块的分区;
决定单元,从多种扫描方法中决定一种扫描方法,该多种扫描方法示出图片内的块的顺序;
获得单元,从编码后的运动图像中获得由多个像素组成的、编码后的块;
解码单元,解码编码后的块;
配置单元,根据检测出的所述分区和所决定的所述扫描方法,将解码后的块配置在图片内;以及
边缘方向检测单元,检测图片的规定部分中包含的图像的边缘方向,
所述图片被分割为行列状的宏块,各个宏块被分割为行列状的块,
所述决定单元,根据检测出的边缘方向从多种扫描方法中决定一种扫描方法。
10.一种半导体装置,编码由多个图片组成的运动图像,其特征在于,包括:
分割单元,将图片分割为由多个像素组成的块;
选择单元,从多种扫描方法中选择扫描方法;
扫描单元,根据所选择的扫描方法对块进行扫描;以及
编码单元,按照所扫描的顺序依次编码块,
所述多种扫描方法包括第一扫描方法,以跨越横向相邻的宏块的块行为单位进行扫描。
11.一种半导体装置,解码编码后的运动图像,其特征在于,包括:
检测单元,从编码后的运动图像中检测由图片内的多个像素组成的块的分区;
决定单元,从多种扫描方法中决定一种扫描方法,该多种扫描方法示出图片内的块的顺序;
获得单元,从编码后的运动图像中获得由多个像素组成的、编码后的块;
解码单元,解码编码后的块;
配置单元,根据检测出的所述分区和所决定的所述扫描方法,将解码后的块配置在图片内;以及
边缘方向检测单元,检测图片的规定部分中包含的图像的边缘方向,
所述图片被分割为行列状的宏块,各个宏块被分割为行列状的块,
所述决定单元,根据检测出的边缘方向从多种扫描方法中决定一种扫描方法。
CN2006800389899A 2005-11-08 2006-11-02 运动图像编码方法、运动图像解码方法以及装置 Active CN101292537B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05024329 2005-11-08
EP05024329.4 2005-11-08
PCT/JP2006/322020 WO2007055158A1 (ja) 2005-11-08 2006-11-02 動画像符号化方法、動画像復号化方法および装置

Publications (2)

Publication Number Publication Date
CN101292537A CN101292537A (zh) 2008-10-22
CN101292537B true CN101292537B (zh) 2010-10-20

Family

ID=36118127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800389899A Active CN101292537B (zh) 2005-11-08 2006-11-02 运动图像编码方法、运动图像解码方法以及装置

Country Status (7)

Country Link
US (4) US8295351B2 (zh)
EP (2) EP1956847B1 (zh)
JP (1) JP4927753B2 (zh)
CN (1) CN101292537B (zh)
ES (2) ES2755882T3 (zh)
PL (2) PL1956847T3 (zh)
WO (1) WO2007055158A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330060B1 (en) 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data
US8660182B2 (en) 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points
US8731071B1 (en) 2005-12-15 2014-05-20 Nvidia Corporation System for performing finite input response (FIR) filtering in motion estimation
US8724702B1 (en) 2006-03-29 2014-05-13 Nvidia Corporation Methods and systems for motion estimation used in video coding
EP1873055A1 (en) * 2006-06-30 2008-01-02 Technische Universiteit Delft Ship with bow control surface
US8660380B2 (en) 2006-08-25 2014-02-25 Nvidia Corporation Method and system for performing two-dimensional transform on data value array with reduced power consumption
US8756482B2 (en) 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
US9118927B2 (en) 2007-06-13 2015-08-25 Nvidia Corporation Sub-pixel interpolation and its application in motion compensated encoding of a video signal
RU2496252C2 (ru) * 2007-06-29 2013-10-20 Шарп Кабусики Кайся Устройство кодирования изображения, способ кодирования изображения, устройство декодирования изображения, способ декодирования изображения, программа и запоминающий носитель
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8873625B2 (en) * 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
JP2009094828A (ja) 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
JP4892450B2 (ja) * 2007-10-17 2012-03-07 パナソニック株式会社 画像符号化装置および画像符号化方法
EP2081386A1 (en) * 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
KR101608426B1 (ko) * 2008-03-28 2016-04-04 삼성전자주식회사 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
WO2010029850A1 (ja) * 2008-09-09 2010-03-18 日本電気株式会社 画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法、及びそのプログラム
US8666181B2 (en) 2008-12-10 2014-03-04 Nvidia Corporation Adaptive multiple engine image motion detection system and method
EP2211552A1 (en) * 2009-01-22 2010-07-28 Thomson Licensing Method and device for video coding using macroblock groups
CN102301713B (zh) * 2009-01-28 2014-10-29 法国电信公司 使用预测掩膜对图像进行编码的方法和装置、对应的解码方法和装置
WO2010086548A1 (fr) * 2009-01-28 2010-08-05 France Telecom Procede et dispositif de codage d'une image, procede et dispositif de decodage, et programmes d'ordinateur correspondants
EP2216998A1 (en) * 2009-02-10 2010-08-11 Panasonic Corporation Hierarchical coding for intra
EP2299717A1 (en) * 2009-09-10 2011-03-23 Thomson Licensing Method and apparatus for image encoding using Hold-MBs, and method and apparatus for image decoding using Hold-MBs
NO331356B1 (no) * 2009-10-16 2011-12-12 Cisco Systems Int Sarl Fremgangsmater, dataprogrammer og anordninger for koding og dekoding av video
JP5260757B2 (ja) * 2010-01-19 2013-08-14 ルネサスエレクトロニクス株式会社 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
KR101449692B1 (ko) * 2010-02-26 2014-10-13 에스케이 텔레콤주식회사 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법
US20110249741A1 (en) * 2010-04-09 2011-10-13 Jie Zhao Methods and Systems for Intra Prediction
US8619857B2 (en) 2010-04-09 2013-12-31 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
US8644375B2 (en) 2010-04-09 2014-02-04 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
US8787443B2 (en) * 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
JP5645589B2 (ja) * 2010-10-18 2014-12-24 三菱電機株式会社 動画像符号化装置
US9288496B2 (en) * 2010-12-03 2016-03-15 Qualcomm Incorporated Video coding using function-based scan order for transform coefficients
US9706214B2 (en) 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
US10992958B2 (en) 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
JP5781313B2 (ja) * 2011-01-12 2015-09-16 株式会社Nttドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
US9380319B2 (en) * 2011-02-04 2016-06-28 Google Technology Holdings LLC Implicit transform unit representation
US9338449B2 (en) 2011-03-08 2016-05-10 Qualcomm Incorporated Harmonized scan order for coding transform coefficients in video coding
US9756360B2 (en) * 2011-07-19 2017-09-05 Qualcomm Incorporated Coefficient scanning in video coding
WO2013067942A1 (zh) * 2011-11-08 2013-05-16 华为技术有限公司 一种帧内预测方法和装置
CN107396100B (zh) * 2011-11-08 2020-05-05 株式会社Kt 利用解码装置对视频信号进行解码的方法
US9819949B2 (en) 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
CN103220507B (zh) * 2012-01-19 2018-04-20 中兴通讯股份有限公司 一种视频编解码方法及系统
WO2014003421A1 (ko) * 2012-06-25 2014-01-03 한양대학교 산학협력단 비디오 부호화 및 복호화를 위한 방법
EP2869557B1 (en) * 2012-06-29 2023-08-09 Electronics And Telecommunications Research Institute Method and device for encoding/decoding images
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
KR102445668B1 (ko) * 2016-06-01 2022-09-21 삼성전자주식회사 부호화 순서 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US10880548B2 (en) * 2016-06-01 2020-12-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding video according to coding order
US11057629B2 (en) 2017-07-19 2021-07-06 Samsung Electronics Co., Ltd. Encoding method and apparatus therefor, decoding method and apparatus therefor
WO2020073228A1 (zh) * 2018-10-10 2020-04-16 富士通株式会社 一种对编码单元进行编码或解码的方法、装置和电子设备
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1215959A (zh) * 1997-07-25 1999-05-05 松下电器产业株式会社 图象处理方法和图象处理装置以及数据存储媒体
CN1431828A (zh) * 2002-01-07 2003-07-23 三星电子株式会社 在图像和视频的编码/解码中的变换系数的最佳扫描方法
CN1589023A (zh) * 2004-08-06 2005-03-02 联合信源数字音视频技术(北京)有限公司 一种基于上下文的多码表变长编解码方法及编解码装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62145988A (ja) * 1985-12-20 1987-06-30 Fujitsu Ltd 適応的走査線変換画像伝送方式
JP3686695B2 (ja) * 1994-10-20 2005-08-24 オリンパス株式会社 画像処理装置
KR0178198B1 (ko) * 1995-03-28 1999-05-01 배순훈 영상 신호 부호화 장치
WO2002078355A1 (en) * 2001-03-23 2002-10-03 Nokia Corporation Variable length coding
DE10158658A1 (de) * 2001-11-30 2003-06-12 Bosch Gmbh Robert Verfahren zur gerichteten Prädiktion eines Bildblockes
JP2004253826A (ja) 2002-10-03 2004-09-09 Matsushita Electric Ind Co Ltd ビデオ及び画像圧縮のための適応マクロブロックスキャン方法
KR101014660B1 (ko) 2003-10-24 2011-02-16 삼성전자주식회사 인트라 예측 방법 및 장치
JP4515886B2 (ja) 2003-10-28 2010-08-04 パナソニック株式会社 面内予測符号化方法
US7369707B2 (en) 2003-10-28 2008-05-06 Matsushita Electric Industrial Co., Ltd. Intra-picture prediction coding method
JP4577048B2 (ja) * 2004-03-11 2010-11-10 パナソニック株式会社 画像符号化方法、画像符号化装置および画像符号化プログラム
JP4877449B2 (ja) * 2004-11-04 2012-02-15 カシオ計算機株式会社 動画像符号化装置および動画像符号化処理プログラム
KR100727970B1 (ko) * 2005-08-30 2007-06-13 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1215959A (zh) * 1997-07-25 1999-05-05 松下电器产业株式会社 图象处理方法和图象处理装置以及数据存储媒体
CN1431828A (zh) * 2002-01-07 2003-07-23 三星电子株式会社 在图像和视频的编码/解码中的变换系数的最佳扫描方法
CN1589023A (zh) * 2004-08-06 2005-03-02 联合信源数字音视频技术(北京)有限公司 一种基于上下文的多码表变长编解码方法及编解码装置

Also Published As

Publication number Publication date
EP1956847A1 (en) 2008-08-13
US8295351B2 (en) 2012-10-23
US20090122864A1 (en) 2009-05-14
PL1956847T3 (pl) 2018-06-29
US20120307896A1 (en) 2012-12-06
US20150350651A1 (en) 2015-12-03
US10104381B2 (en) 2018-10-16
ES2755882T3 (es) 2020-04-24
JP4927753B2 (ja) 2012-05-09
EP1956847A4 (en) 2014-05-14
US9137538B2 (en) 2015-09-15
US20190014328A1 (en) 2019-01-10
EP3306923A1 (en) 2018-04-11
WO2007055158A1 (ja) 2007-05-18
JPWO2007055158A1 (ja) 2009-04-30
CN101292537A (zh) 2008-10-22
PL3306923T3 (pl) 2020-04-30
US10375401B2 (en) 2019-08-06
ES2660663T3 (es) 2018-03-23
EP3306923B1 (en) 2019-09-18
EP1956847B1 (en) 2018-01-03

Similar Documents

Publication Publication Date Title
CN101292537B (zh) 运动图像编码方法、运动图像解码方法以及装置
US12058365B2 (en) Image prediction method and apparatus
US10110899B2 (en) Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method, and program
KR100750137B1 (ko) 영상의 부호화,복호화 방법 및 장치
KR101521060B1 (ko) 비디오 코딩에서 예측 데이터를 버퍼링
KR100739714B1 (ko) 인트라 예측 모드 결정 방법 및 장치
CN103200402B (zh) 清除解块人为噪声的方法
US20120128070A1 (en) Video Encoding Method for Encoding Division Block, Video Decoding Method for Decoding Division Block, and Recording Medium for Implementing the Same
KR20070026914A (ko) 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
CN112533000B (zh) 视频解码方法、装置、计算机可读介质及电子设备
EP3262837A1 (en) Encoding and decoding of inter pictures in a video
MX2012013263A (es) Metodos y aparatos para intracodificar un bloque que tiene pixeles asignados a grupos.
EP2216998A1 (en) Hierarchical coding for intra
CN102215392B (zh) 用于估计像素值的帧内预测方法或装置
WO2022078339A1 (zh) 参考像素候选列表构建方法、装置、设备及存储介质
CN101790096A (zh) 基于二重预测的编解码方法及装置
CN111164975B (zh) 图像数据编码和解码
KR20080048262A (ko) 비디오 복호기 및 복호방법
WO2016137369A1 (en) Encoding and decoding of pictures in a video
CN118511518A (zh) 视频信号编码/解码方法和存储比特流的记录介质
Silva Performance and coding efficiency evaluation of HEVC parallelization strategies.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140724

C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee
CP03 Change of name, title or address

Address after: Osaka Japan

Patentee after: Matsushita Electric Industrial Co.,Ltd.

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20140724

Address after: California, USA

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20170111

Address after: The United States of New York No. 450 Lexington Avenue 38 floor 10017

Patentee after: Sun patent hosting Co.

Address before: California, USA

Patentee before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA