CN104041037B - 运动图像编码方法、装置 - Google Patents

运动图像编码方法、装置 Download PDF

Info

Publication number
CN104041037B
CN104041037B CN201380005640.5A CN201380005640A CN104041037B CN 104041037 B CN104041037 B CN 104041037B CN 201380005640 A CN201380005640 A CN 201380005640A CN 104041037 B CN104041037 B CN 104041037B
Authority
CN
China
Prior art keywords
coding
picture
region
encoded
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380005640.5A
Other languages
English (en)
Other versions
CN104041037A (zh
Inventor
北原正树
清水淳
中村健
京地清介
小野尚纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN104041037A publication Critical patent/CN104041037A/zh
Application granted granted Critical
Publication of CN104041037B publication Critical patent/CN104041037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在帧内画面中,将规定的区域设定为正常编码区域,对于这以外的区域设定为简易编码区域。在后续的画面中,将正常编码区域设定为包含前画面的正常编码区域的、更大的区域,对于这以外的区域设定为简易编码区域。在各画面中,在正常编码区域的块进行正常编码,对于简易编码区域的块,进行产生编码量和运算量比正常编码小的简易编码。

Description

运动图像编码方法、装置
技术领域
本申请以2012年1月26日于日本申请的特愿2012-014062号为基础要求优先权,并在此援用其内容。本发明涉及将正常的编码方法与产生编码量和运算量小的简易编码方法进行切换并对运动图像进行编码的运动图像编码方法、运动图像编码装置以及运动图像编码程序。
背景技术
在双向通信中的视频编码中,为了实现低延迟而将虚拟缓冲区的尺寸做得非常小。为此,在编码开始时、场景变化时的帧内画面和其之后的帧间画面中,容易产生缓冲区下溢(buffer underflow )。
在这样的状况下,在帧内画面插入时和紧跟其的帧间画面中,例如通过适用专利文献1中记载的技术,能降低缓冲区下溢的可能性。在该方法中,当对各块进行编码时,在到此为止的累积产生编码量小的情况下进行正常编码,大的情况下强制地进行产生编码量非常小的简易编码。
在此,正常编码指的是,利用了由动态搜索/模式判定/量子化控制等求得的编码参数(动态矢量等)的编码,简易编码指的是,没有利用动态搜索/模式判定/量子化控制等的结果,而利用了以产生编码量变小的方式强制决定的参数的编码。例如,在简易编码中,进行将动态矢量作为0,量子化步骤作为最大的编码。即,简易编码是,与正常编码相比,编码参数的值的限制为大的编码。编码参数指的是,变为编码的对象的数值数据,并且表示宏块模式编号、量子化参数、动态矢量、预测残差量子化值等。
图9是表示现有的运动图像编码装置的一个例子的图。块编码控制部201,当输入编码对象的画面(图像)时,分割为作为编码单位的块,并针对分割后的各块,根据到此为止的累积产生编码量在累积产生编码量比规定的阈值小的情况下,将该块以正常编码部202进行正常编码,在大的情况下,将该块以简易编码部203进行简易编码。量子化控制部204,从正常编码部202和简易编码部203接受产生编码量的通知,并决定进行正常编码时的量子化步骤,向正常编码部202进行通知。
图10是现有技术中的运动图像编码方法的处理流程图。对各输入画面,反复进行步骤S401~S408的处理。另外,在分割了画面的各块中,反复进行步骤S402~S407的处理。在步骤S403中,设定对应于编码已结束块数的累积编码量产生阈值。在步骤S404中,判定到此为止的累积产生编码量是否小于在步骤S403设定的累积产生编码量阈值,在小的情况下,进入步骤S405,在大的情况下,进入步骤S406。在步骤S405中,针对编码对象块进行正常编码。在步骤S406中,针对编码对象块进行简易编码。针对画面内的全部块反复进行以上的处理,如果针对1画面的编码已结束,则针对下一个画面同样地反复进行处理。
现有技术文献
专利文献
专利文献1:特开2005-328183号公报。
发明内容
本发明所要解决的技术问题
当将把前述的现有技术中的正常编码和简易编码分开并进行编码的方法,适用于低的位速率且虚拟缓冲区小的条件下时,变成帧内画面的大部分被简易编码。虽然该帧内画面变为接着被编码的帧间画面的参考画面,但由于画面的大部分被简易编码所以画质非常差。因此,在帧间画面中进行正常编码的情况下,由于在动态补偿中产生大量的预测残差,所以产生很多的编码量。由此,累积产生编码量会变得很多,并变得只能正常编码帧间画面的一部分,大部分被简易编码。像这样,大部分被简易编码的状态,由于在接下来以后的帧间画面中也继续,所以存在不会从画面的大部分被简易编码的状态转移到画面全体被正常编码的状态(画质不恢复)的情况。
在图11中示出了该状况的概念图。在图11中,阴影线部分的R1为正常编码区域,阴影线部以外的部分R2为简易编码区域。如上所述,当帧内画面(图11的画面1)的大部分被简易编码时,在其接下来的帧间画面(画面2)的编码中,将大部分被简易编码的画面1作为参考画面。因此,在画面2中,由于在参考在画面1被简易编码的区域并进行动态补偿的正常编码块中产生大量的预测残差,所以会耗费掉大量的产生编码量,其结果,就画面2而言,存在大部分被简易编码的情况。这在接下来的画面2以后的画面中也继续,存在画质不恢复的情况。另外,在画面2中,即便在参考了画面1的正常编码区域的情况下,由于累积产生编码量多,所以也存在会被简易编码的情况。
涉及本发明的编码方法,其目的在于,谋求上述技术问题的解决,并且做成为即使从帧内画面插入后等中的简易编码被大量使用的状态也能高效地恢复画质。
用于解决技术问题的技术方案
涉及本发明的编码方法,为了解决上述技术问题,使用如下的方法。
[方法1]
(1)在帧内画面中,将规定的区域设定为正常编码区域,对于这以外的区域设定为简易编码区域。
(2)在后续的画面中,将正常编码区域设定为包含前画面的正常编码区域的、更大的区域,对于这以外的区域设定为简易编码区域(在图1中示出了例子)。
(3)在各画面中,在正常编码区域的块进行正常编码,对于简易编码区域的块,进行简易编码。
在现有技术中,如图11中说明的那样,当在帧内画面上画面的大部分被简易编码时,即便在接下来以后的帧间画面,通过在动态补偿参考简易编码区域产生大量的预测残差,画面的大部分被简易编码的状况也会持续。
另一方面,在基于本发明的编码方法中,在帧内画面设定正常编码区域,进一步接下来以后的帧间画面的正常编码区域包含前画面的正常编码区域。在自然视频中时间上连续的画面的时间相关高。即,编码对象画面的正常编码区域中的被拍摄体,存在于前画面的正常编码区域的可能性高。因此,与现有技术不同,在编码对象画面中的正常编码区域中,在动态补偿中参考前画面的正常编码区域,能使预测残差变少,并能使产生编码量变小。为此,由于按每一画面放大正常编码区域,并以规定的周期能将画面的全块进行正常编码,所以能做成以规定的周期将全画面进行正常编码的状态(使画质恢复)。
[方法2]
另外,在上述方法1中的(3)中,当做成至少在正常编码区域中,在进行帧间编码的块中,仅参考前画面的正常编码区域时,进一步提高画质。
该理由正如以下所述的那样。在方法1中,在画面的正常编码区域的编码中,由于能将参考画面的简易编码区域进行参考,所以通过动态搜索算法,存在参考简易编码区域而招致画质的降低的隐患。在方法2中,在画面的正常编码区域的编码中,由于必定要参考参考画面的正常编码区域,所以防止基于参考简易编码区域的画质的降低,并能使画质提高。
[方法3]
另外,在上述方法1中,在帧内画面中的简易编码中,将各块的变换系数中的、DC成分以最大的量子化步骤进行编码,当将这以外的变换系数做成不进行编码时,在缓冲区下溢的抑制中有效。
在上述方法1中,作为帧内画面的简易编码的具体方法,例如,虽然能容易地类推进行量子化步骤的最大化,但是在这样的方法的情况下,由于通过输入视频产生编码量多,所以在低位速率、缓冲区尺寸小的条件下引起缓冲区下溢的可能性很高。在方法3中,作为帧内画面的简易编码的具体方法,将各块的变换系数中的、仅DC成分在最大的量子化步骤进行编码。为此,即使在什么样的视频中,由于对于各块只编码一个变换系数,所以比前述的方法更能抑制缓冲区下溢。
[方法4]
另外,在上述方法1中,在帧间画面中的简易编码区域中,当将各块以跳帧模式进行编码时,变为更能抑制缓冲区下溢。
在上述方法1中,作为帧间画面的简易编码的具体方法,例如,虽然能容易地类推进行量子化步骤的最大化,但在这样的方法的情况下,由于通过输入视频产生编码量很多,所以在低位速率、缓冲区尺寸小的条件下引起缓冲区下溢的可能性很高。在方法4中,作为帧间画面的简易编码的具体方法,以跳帧模式进行编码。为此,由于不依赖于输入视频,而能以最小的产生编码量进行编码,所以与前述的方法相比较能抑制缓冲区下溢。
[方法5]
另外,在上述方法1中的(3)中,对于编码对象画面的正常编码区域中的、至少与前画面的简易编码区域相同位置的块,进行帧内编码。由此,能削减运算量。
在前述的方法1~5中进行了一般的模式判定(编码模式的率失真成本的比较)的情况下,在编码对象画面的正常编码区域中的、与前画面的简易编码区域相同位置的区域的块多的情况下,被帧内编码。这是因为,虽然编码对象画面的该区域的被拍摄体被照到前画面的相同位置的情况很多,但前画面的该区域被简易编码的画质非常差,进行帧间编码的情况下的率失真成本变大。
与此相对,在方法5中,由于对于编码对象画面的正常编码区域中的、与前画面的简易编码区域相同位置的区域的块,进行帧内编码,所以对于该块,能去掉进行帧间编码并算出率失真成本的处理。为此,与方法1等相比较,能削减运算量。
[方法6]
另外,在上述方法1中的量子化控制中,在决定编码对象画面的量子化步骤时,仅利用编码已结束画面的正常编码区域的产生编码量和量子化步骤。
在前述的方法1中,设量子化控制方法为任意,在进行了一般的量子化控制的情况下,在决定编码对象画面的量子化步骤时,变为利用编码已结束画面的全画面的量的产生编码量和量子化步骤。编码已结束画面的简易编码区域,由于不依赖于画面的复杂度,而存在抑制产生编码量的情况,所以存在使量子化步骤极度地变小的情况,提高缓冲区下溢的可能性。
与此相对,当使用方法6时,在决定编码对象画面的量子化步骤时利用编码已结束画面的正常编码区域的产生编码量和量子化步骤。为此,能防止使编码对象画面的量子化步骤极度地变小,与前述的方法相比较能抑制缓冲区下溢。
发明效果
根据涉及本发明的运动图像编码方法,具有如下效果:
从帧内画面插入后的简易编码被大量使用的状态,能提前恢复画质。
进一步,在画面的正常编码区域的编码,必定通过参考参考画面的正常编码区域,能使画质提高。
另外,作为帧内画面的简易编码的具体方法,通过使用将各块的变换系数中的、仅DC成分以最大的量子化步骤进行编码的方法,进一步能抑制缓冲区下溢。
另外,作为帧间画面的简易编码的具体方法,通过使用以跳帧模式进行编码的方法,进一步能抑制缓冲区下溢。
另外,对于编码对象画面的正常编码区域中的、与前画面的简易编码区域相同位置的区域的块,通过进行帧内编码,能削减运算量。
另外,通过在决定编码对象画面的量子化步骤时利用编码已结束画面的正常编码区域的产生编码量和量子化步骤,能有效地抑制缓冲区下溢。
附图说明
[图1]是说明涉及本发明的实施方式的运动图像编码方法的概要的图;
[图2]是表示涉及本实施方式的运动图像编码方法中的正常编码区域的设定例的图;
[图3]是涉及本实施方式的运动图像编码装置结构图;
[图4]是表示实施例1的编码处理的流程的流程图;
[图5]是说明涉及本实施方式的运动图像编码中的动态搜索的例子的图;
[图6]是表示实施例2的编码处理的流程的流程图;
[图7]是表示实施例3的编码处理的流程的流程图;
[图8]是表示利用计算机和软件程序来实现涉及本发明的运动图像编码装置的情况下的系统的结构例的图;
[图9]是表示现有的运动图像编码装置的一个例子的图;
[图10]是表示现有的编码处理的流程的流程图;
[图11]是现有技术的概念图。
具体实施方式
下面,一边使用附图,一边对涉及本发明的编码的实施方式进行说明。
考虑在作为本发明的典型的利用场景的电视(TV)会议上的利用。在这样的系统中,为了将时间上的产生编码量的推移进行平滑化,帧内画面在最初仅作为编码的画面的情况很多。进而,只要在发送目的地产生数据包丢失的情况就插入帧内画面。涉及本发明的编码方法,像这样在插入了帧内画面的时刻进行动作,将正常编码区域按每一画面进行放大,直到将画面的全画面进行正常编码为止继续。
涉及本发明的编码方法,在极其低的位速率且缓冲区尺寸小,并且帧内画面的大部分不能被正常编码的条件下,才产生效果。在这样的条件下,有必要使帧内画面的正常编码区域变小,并一点一点地放大正常编码区域。这取决于画面的分辨率、帧速率、位速率、缓冲区尺寸,对这些具体的条件,预先决定正常编码区域的大小,作为适用于本发明的条件。
作为适用涉及本发明的编码方法的典型的例子,可考虑以下的条件。
・画面分辨率:宽度1280像素/高度720像素
・帧速率:每秒30画面
・位速率:500kbps
・缓冲区尺寸:50kbits(缓冲区延迟变为100msec左右,称为低延迟)。
图1是说明涉及本发明的实施方式的运动图像编码方法的概要的图。在图1所示的各画面中,阴影线部分的R1表示正常编码区域,其它部分的R2表示简易编码区域。
如图1所示,设正常编码区域R1为从画面的左边使宏块列(宏块是16×16像素的块)连续的区域。在上述的条件化中,在利用基于H.264的编码的情况下,通过在各画面按每一2宏块列放大正常编码区域,能期待不会引起缓冲区崩溃而成为以40帧(约1.3秒)能使画面的全画面正常编码的状态。
在图2中示出了这样的正常编码区域的设定例的概念图。在图2中,A、B、C、D、E、F…,是宏块。
[实施例1]
图3是涉及本发明的实施例1的装置结构图。此外,关于其它的实施例,基本的装置结构也与实施例1相同。
正常编码区域设定部101,根据画面编号,决定哪一个宏块为进行正常编码的块,并将该信息作为正常编码区域信息,输出到块编码控制部102。在实施例1中,如上所述,按每一画面2宏块列地放大正常编码区域。另外,仅仅最初的画面(画面编号为0)变为帧内画面。因此,从画面编号为40的画面起,变为在全宏块中进行正常编码。
块编码控制部102,将画面进行输入,并进一步将对应于该画面的正常编码区域信息进行输入。进而,按屏面扫描顺序,如果该画面的宏块在正常编码区域内则输出到正常编码部103,如果在简易编码区域内则输出到简易编码部104。
正常编码部103,作为一般的H.264编码器,将输入的宏块进行正常编码。即,如果编码对象画面为帧内画面,则进行帧内预测模式的判定、预测残差信号的正交变换/量子化、熵编码。如果编码对象画面为帧间画面,则进行动态搜索、模式判定、预测残差信号的正交变换/量子化、熵编码。无论在哪一种,在量子化中,基于对应于位速率和虚拟缓冲区的缓冲区尺寸的一般的量子化控制来利用决定的量子化步骤。
简易编码部104将输入的宏块进行简易编码。如果编码对象画面为帧内画面,则帧内预测模式作为16×16像素的平均值预测,仅对宏块的正交变换系数的DC成分,以最大的量子化步骤进行编码。另一方面,如果编码对象画面为帧间画面,则宏块作为跳帧模式。
量子化控制部105,作为以往就有的进行一般的量子化控制的量子化控制部,将产生编码量作为输入,将宏块单位的量子化步骤输出到正常编码部。
根据图4所示的步骤S101~S110,说明实施例1的编码处理的流程。
首先,从最初的画面(画面编号0)的处理开始说明。正常编码区域设定部101,由画面编号为0且为帧内画面,对画面的左端的2宏块列决定为正常编码区域,并作为正常编码区域信息输出到块编码控制部(S102、S103)。
在块编码控制部102中,输入画面编号0的画面,并基于正常编码区域信息,按屏面扫描顺序处理宏块。最初将图2的宏块A进行处理。由于宏块A在正常编码区域内,所以将宏块A输出到正常编码部103。正常编码部103将宏块A进行正常编码。
接着,对宏块B也进行相同的处理。关于接着要处理的宏块C,由于不属于正常编码区域(由于属于简易编码区域),所以输出到简易编码部104。此外,由于编码对象画面为帧内画面,所以简易编码部104,将帧内预测模式作为16×16像素的平均值预测,仅对宏块的正交变换系数的DC成分,以最大的量子化步骤进行编码。如果上端的宏块行的处理已结束,则从宏块D开始同样地进行处理(S106、S107、S108)。
对接下来的画面(画面编号1)的处理进行说明。正常编码区域设定部101,由画面编号为1,对画面的左端的4宏块列决定为正常编码区域,并作为正常编码区域信息输出到块编码控制部102(S102、S103)。
在块编码控制部102中,输入画面编号1的画面,并基于正常编码区域信息,按屏面扫描顺序处理宏块。关于宏块A~D,由于在正常编码区域内,所以将宏块输出到正常编码部103,正常编码部103进行正常编码。关于接下来的宏块E,由于不属于正常编码区域,所以输出到简易编码部104。此外,由于编码对象画面为帧间画面,所以简易编码部104将该宏块作为跳帧模式进行编码。如果上端的宏块行的处理已结束,则从宏块F开始同样地进行处理(S106、S107、S108)。
[实施例2]
虽然实施例2的基本的流程与实施例1相同,但正常编码部103的动作若干不同。具体地说,块的帧间编码时的动作不同。
在一般的H.264编码器中,在块的帧间编码时的动态搜索中,由于不考虑参考画面中的正常编码区域和简易编码区域,所以存在参考简易编码区域进行帧间编码的情况。一般情况下,在动态搜索中,搜索以规定的搜索中心为中心的规定的搜索范围。在图5的(A)中示出了该例子。在H.264编码器中,存在将预测矢量作为搜索中心的情况,在这种情况下,搜索范围被包含到参考画面的简易编码区域,关于该块,由于参考简易编码区域进行编码,所以产生很多预测残差。此外,作为预测矢量,多为编码对象块的周边的动态矢量的中线(median)。
在实施例2的正常编码部103中,通过在块的帧间编码时进行接下来的动作,将其避免。
图6中示出了实施例2的流程图。首先,进行帧内预测(S201)。在帧间预测之前,在块的动态搜索时算出预测矢量和搜索范围,并判定搜索范围是否与简易编码区域重复(S202)。在不重复的情况下,照原样进行动态搜索并进行帧间预测,进入编码处理(S203、S205)。与此相反,在重复的情况下(参考图5的(B)),直到搜索范围与简易编码区域不重复的区域为止,将搜索范围水平移动(参考图5的(C))。进而,在移动后的搜索范围进行动态搜索并进行帧间预测,进入编码处理(S204、S205)。
[实施例3]
虽然实施例3的基本的流程与实施例1相同,但正常编码部103的动作若干不同。具体地说,编码对象画面的正常编码区域的宏块中的、与参考画面的简易编码区域同位置的宏块的编码的动作不同。这样的宏块,例如,相当于图2的画面1中的宏块C和D。
在宏块的编码中,一般情况下进行模式判定。在模式判定中,将帧内编码后的情况下的率失真成本(rate-distortion cost)与帧间编码后的情况下的率失真成本进行比较,选择使率失真成本最小的编码方法。
在图7中示出了实施例3的流程图。首先,进行帧内预测(S301)。在实施例3的正常编码部103中,判定编码对象宏块是否与参考画面的正常编码区域同位置(S302)。在编码对象宏块与参考画面的正常编码区域同位置的情况下,进行了帧间预测之后(S303),进行有关帧内编码和帧间编码的模式判定,并以决定后的编码方法进行编码,输出编码流(S304)。与此相对,在编码对象宏块与参考画面的简易编码区域同位置的情况下,不进行模式判定而输出基于帧内编码的编码流(S305)。
[实施例4]
在上述的实施例1中,虽然量子化控制部105作为以往就有的进行一般的量子化控制的量子化控制部,但在实施例4中,量子化控制部105的动作不同。在以往就有的一般的量子化控制中,从编码对象画面的目标编码量、编码对象画面的复杂度指标值导出编码对象画面的量子化步骤。具体地说,进行如下的处理。
将编码对象画面的目标编码量设为T。目标编码量T基于目标位速率、至此为止的产生编码量等来决定。编码对象画面的复杂度指标值X,基于下式来求取。
X=G×Qave
G是最近编码后的相同画面类型的画面的产生编码量。与此相反,Qave是同编码已结束画面的平均量子化步骤。编码对象画面的量子化步骤Q,由下式决定。
Q=X/T
基于累积产生编码量,并使Q变动来决定宏块单位的量子化步骤。实施例1中,在G和Qave的运算中也利用简易编码区域的产生编码量和量子化步骤。这种情况下,简易编码区域由于不管画面的复杂度而极端地抑制产生编码量,所以存在X不表示编码对象画面的复杂度的隐患。
在实施例4中,如下所述那样求取复杂度指标值X。将编码对象画面的紧前面的同画面类型的编码已结束画面中的正常编码区域的面积设为An,画面的面积设为A,将A_Ratio按以下的方式表示。
A_Ratio=An /A
量子化控制部105基于从正常编码部103输入的编码已结束画面的产生编码量Ga和有关该编码已结束画面的A_Ratio,按以下的方式求取G。
G=Ga/A_Ratio
进而,Qave作为由正常编码区域的宏块所利用的量子化步骤的平均值来进行计算。这以后的处理,正如前述的那样。
以上的运动图像编码的处理,也能通过计算机和软件程序来实现,并且能将该程序记录在计算机可读取的记录介质中,也能通过网络来提供。
在图8中示出了通过计算机和软件程序构成图3所示的运动图像编码装置的情况下的硬件结构例。本运动图像编码系统成为如下结构,即、将执行程序的CPU50、储存有CPU50访问的程序、数据的RAM等的存储器51、输入来自摄像机等的编码对象的视频信号的视频信号输入部52(也可以是基于磁盘装置等的存储视频信号的存储部)、存储运动图像编码程序531的程序存储装置53、以及编码流输出部54(也可以是基于磁盘装置等的存储编码流的存储部),通过总线连接的结构。
CPU50通过执行从程序存储装置53加载到存储器51的运动图像编码程序531,将由视频信号输入部52输入的输入视频信号进行编码,并将编码结果的编码流,经由编码流输出部54输出到网络等。
以上,作为本发明的实施方式虽然参考附图说明了实施例1~4,但上述实施方式只不过是本发明的例示,本发明并不限定于上述实施方式是明确的。因此,也可以进行在不脱离本发明的精神和技术范围的范围内的构成要素的追加、省略、替换、其它变更。
工业实用性
根据本发明,能适用于从帧内画面插入后等中的简易编码被大量使用的状态高效地恢复画质的运动图像编码中。
附图标记说明
101  正常编码区域设定部
102  块编码控制部
103  正常编码部
104  简易编码部
105  量子化控制部。

Claims (8)

1.一种运动图像编码方法,将第一编码方法与编码参数的值的限制比所述第一编码方法大的第二编码方法进行切换并对运动图像进行编码,
该运动图像编码方法具有:
在帧内画面中,将规定的区域设定为第一编码区域,对于这以外的区域设定为第二编码区域的步骤;
在后续于所述帧内画面的画面中,通过使所述第一编码区域向既定的方向扩大,将所述第一编码区域,设定为包含前面的画面的第一编码区域的、更大的区域,对于这以外的区域,设定为第二编码区域的步骤;
对于各画面中的所述第一编码区域的块,使用所述第一编码方法进行编码的第一编码步骤;以及
对于各画面中的所述第二编码区域的块,使用所述第二编码方法进行编码的第二编码步骤。
2.根据权利要求1所述的运动图像编码方法,其中,
在使用所述第一编码方法进行编码的步骤中,
对于至少进行所述第一编码区域中的帧间编码的块,仅参考前面的画面的第一编码区域。
3.根据权利要求1或2所述的运动图像编码方法,其中,
在使用所述第二编码方法进行编码的步骤中,
将帧内画面中的各块的变换系数中的DC成分,以最大的量子化步骤进行编码,对这以外的变换系数不进行编码。
4.根据权利要求1或2所述的运动图像编码方法,其中,
在使用所述第二编码方法进行编码的步骤中,
在帧间画面中的第二编码区域中,将各块以跳帧模式进行编码。
5.根据权利要求1或2所述的运动图像编码方法,其中,
在使用所述第一编码方法进行编码的步骤中,
对于编码对象画面的第一编码区域中的、至少与前面的画面的第二编码区域相同的位置的块,进行帧内编码。
6.根据权利要求1或2所述的运动图像编码方法,其中,
在使用所述第一编码方法进行编码的步骤中,
仅利用量子化控制中编码已结束画面的所述第一编码区域的产生编码量和量子化步骤,并使用决定的量子化步骤进行编码。
7.一种运动图像编码装置,将第一编码方法与编码参数的值的限制比所述第一编码方法大的第二编码方法进行切换并对运动图像进行编码,
该运动图像编码装置具备:
编码区域设定部,在帧内画面中,将规定的区域设定为第一编码区域,对于这以外的区域设定为第二编码区域,并且,在后续于所述帧内画面的画面中,通过使所述第一编码区域向既定的方向扩大,将所述第一编码区域,设定为包含前面的画面的第一编码区域的、更大的区域,对于这以外的区域设定为第二编码区域;
第一编码部,对于各画面中的所述第一编码区域的块,使用所述第一编码方法进行编码;以及
第二编码部,对于各画面中的所述第二编码区域的块,使用所述第二编码方法进行编码。
8.一种运动图像编码方法,将进行正常编码的第一编码方法与编码参数的值的限制比所述第一编码方法大的进行简易编码的第二编码方法进行切换并对运动图像进行编码,
该运动图像编码方法具有:
在帧内画面中,将规定的区域设定为第一编码区域,对于这以外的区域设定为第二编码区域的步骤;
在后续于所述帧内画面的画面中,将所述第一编码区域,设定为包含前面的画面的第一编码区域的、更大的区域,对于这以外的区域,设定为第二编码区域的步骤;
对于各画面中的所述第一编码区域的块,使用所述第一编码方法进行编码的第一编码步骤;以及
对于各画面中的所述第二编码区域的块,使用所述第二编码方法进行编码的第二编码步骤。
CN201380005640.5A 2012-01-26 2013-01-22 运动图像编码方法、装置 Active CN104041037B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012014062A JP5727398B2 (ja) 2012-01-26 2012-01-26 動画像符号化方法,動画像符号化装置および動画像符号化プログラム
JP2012-014062 2012-01-26
PCT/JP2013/051193 WO2013111747A1 (ja) 2012-01-26 2013-01-22 動画像符号化方法、装置およびプログラム

Publications (2)

Publication Number Publication Date
CN104041037A CN104041037A (zh) 2014-09-10
CN104041037B true CN104041037B (zh) 2017-07-07

Family

ID=48873467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380005640.5A Active CN104041037B (zh) 2012-01-26 2013-01-22 运动图像编码方法、装置

Country Status (11)

Country Link
US (1) US10051270B2 (zh)
EP (2) EP2787729A4 (zh)
JP (1) JP5727398B2 (zh)
KR (1) KR101678138B1 (zh)
CN (1) CN104041037B (zh)
BR (1) BR112014017478A8 (zh)
CA (1) CA2862701A1 (zh)
ES (1) ES2850776T3 (zh)
RU (1) RU2014129006A (zh)
TW (1) TWI493942B (zh)
WO (1) WO2013111747A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160127196A1 (en) * 2014-10-29 2016-05-05 Xiaomi Inc. Device connection prompt
JP6943628B2 (ja) * 2017-05-24 2021-10-06 Nttエレクトロニクス株式会社 映像符号化装置および映像符号化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1829329A (zh) * 2002-04-29 2006-09-06 诺基亚有限公司 指示图像内的区域
CN101080014A (zh) * 2006-03-28 2007-11-28 株式会社东芝 视频解码方法和装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001559A (en) 1989-10-12 1991-03-19 International Business Machines Corporation Transform coding using coefficient prediction techniques
KR0152034B1 (ko) * 1994-06-29 1998-10-15 김광호 인트라부호화방법
US5929916A (en) * 1995-12-26 1999-07-27 Legall; Didier J. Variable bit rate encoding
CN1145363C (zh) 1997-02-08 2004-04-07 松下电器产业株式会社 静画和动画编码的量化矩阵
US6256423B1 (en) * 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
JP2001008212A (ja) * 1999-06-18 2001-01-12 Hitachi Ltd 画像伝送方法
JP3858520B2 (ja) * 1999-06-22 2006-12-13 日本ビクター株式会社 動画像符号化装置及びその方法
JP4215197B2 (ja) 2002-04-12 2009-01-28 パナソニック株式会社 画像符号化方法および画像復号化方法
JP3513148B1 (ja) 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
JP4593556B2 (ja) * 2003-01-09 2010-12-08 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 映像符号化方法及びデバイス
JP4532980B2 (ja) 2004-05-12 2010-08-25 キヤノン株式会社 動画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4361435B2 (ja) 2004-07-14 2009-11-11 株式会社エヌ・ティ・ティ・ドコモ 動画像復号方法、動画像復号プログラム、動画像復号装置、動画像符号化方法、動画像符号化プログラム及び動画像符号化装置
JP4739338B2 (ja) 2005-04-13 2011-08-03 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、および動画像復号プログラム
JP2008258953A (ja) * 2007-04-05 2008-10-23 Ibex Technology Co Ltd 符号化装置、符号化プログラムおよび符号化方法
JP2007267414A (ja) * 2007-05-24 2007-10-11 Toshiba Corp フレーム内画像符号化方法及びその装置
JP4817263B2 (ja) * 2007-09-14 2011-11-16 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム
JP5437807B2 (ja) * 2007-09-18 2014-03-12 富士通株式会社 動画像符号化装置および動画像復号装置
US8861879B2 (en) * 2009-09-17 2014-10-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image based on skip mode
JP2011172039A (ja) * 2010-02-19 2011-09-01 Sony Corp 復号装置および方法
JP5581854B2 (ja) 2010-07-02 2014-09-03 株式会社リコー 定着装置及び画像形成装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1829329A (zh) * 2002-04-29 2006-09-06 诺基亚有限公司 指示图像内的区域
CN101080014A (zh) * 2006-03-28 2007-11-28 株式会社东芝 视频解码方法和装置

Also Published As

Publication number Publication date
WO2013111747A1 (ja) 2013-08-01
RU2014129006A (ru) 2016-03-20
CN104041037A (zh) 2014-09-10
JP5727398B2 (ja) 2015-06-03
KR20140110950A (ko) 2014-09-17
TWI493942B (zh) 2015-07-21
JP2013153387A (ja) 2013-08-08
BR112014017478A2 (pt) 2017-06-13
CA2862701A1 (en) 2013-08-01
EP2787729A1 (en) 2014-10-08
BR112014017478A8 (pt) 2017-07-04
KR101678138B1 (ko) 2016-11-21
US20150010061A1 (en) 2015-01-08
EP3531699B1 (en) 2020-11-11
EP3531699A1 (en) 2019-08-28
EP2787729A4 (en) 2015-08-19
ES2850776T3 (es) 2021-08-31
US10051270B2 (en) 2018-08-14
TW201338554A (zh) 2013-09-16

Similar Documents

Publication Publication Date Title
US5650829A (en) Motion video coding systems with motion vector detection
WO2003043344A2 (en) Reduced-complexity video decoding using larger pixel-grid motion compensation
JP2013115583A (ja) 動画像符号化装置及びその制御方法並びにプログラム
RU2715519C1 (ru) Устройство кодирования видео с предсказанием, способ кодирования видео с предсказанием, программа кодирования видео с предсказанием, устройство декодирования видео с предсказанием, способ декодирования видео с предсказанием и программа декодирования видео с предсказанием
JP3531532B2 (ja) 動画像符号化装置、及び方法
CN102196253B (zh) 一种帧类型自适应选择的视频编码方法及装置
CN104041037B (zh) 运动图像编码方法、装置
JP3757088B2 (ja) 動画像符号化装置および方法
JPH07264600A (ja) 画像符号化データの同期ワード多重化方式
CN102210150A (zh) 运动图像编码装置以及运动图像解码装置
US7991050B2 (en) Moving picture decoding apparatus and moving picture decoding method
JP2005340896A (ja) 動画像符号化装置
JP2005341601A (ja) 動画像符号化装置
JP4676513B2 (ja) 符号化ピクチャタイプ決定方法,装置,そのプログラムおよびその記録媒体
JPH0984024A (ja) 動画像信号の符号化装置
KR100744435B1 (ko) 고속 동영상 압축을 위한 dct 및 양자화 과정 생략 방법
CN113055670B (zh) 一种基于hevc/h.265的视频编码的方法及系统
JPH10224779A (ja) 動画像のシーン変化検出方法及び装置
JPH07111653A (ja) 符号化装置
JPH07107483A (ja) 動画像符号化装置
JPH09327023A (ja) フレーム内/フレーム間符号化切替方法および画像符号化装置
JP2003125417A (ja) 画像符号化装置及びその方法
JP2777171B2 (ja) 動画像の動き補償方式
JPH05328330A (ja) フレーム間符号化装置
JPH0750841A (ja) 動きベクトル検出装置及びその方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant