CN101379834A - 编码装置、编码方法以及程序 - Google Patents

编码装置、编码方法以及程序 Download PDF

Info

Publication number
CN101379834A
CN101379834A CNA2007800048140A CN200780004814A CN101379834A CN 101379834 A CN101379834 A CN 101379834A CN A2007800048140 A CNA2007800048140 A CN A2007800048140A CN 200780004814 A CN200780004814 A CN 200780004814A CN 101379834 A CN101379834 A CN 101379834A
Authority
CN
China
Prior art keywords
gop
mentioned
flicker
picture
visual identity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800048140A
Other languages
English (en)
Other versions
CN101379834B (zh
Inventor
佐藤数史
田中润一
中神央二
竺逸雯
矢崎阳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101379834A publication Critical patent/CN101379834A/zh
Application granted granted Critical
Publication of CN101379834B publication Critical patent/CN101379834B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Abstract

一种编码装置，具有：判断部，其构成编码对象的图像数据的各个GOP，判断是否是在对该GOP进行编码之后进行解码得到的图像内容易视觉识别以GOP为单位的闪烁的GOP；以及编码部，其在上述判断部判断为容易视觉识别闪烁的GOP的情况下，实施抑制上述以GOP为单位的闪烁的处理并对该GOP进行编码。

Description

编码装置、编码方法以及程序
技术领域
本发明涉及一种进行图像数据的编码的编码装置、编码方法以及程序。
背景技术
近年来，开发了一种以H.264/AVC(Advanced Video Coding:高级视频编码)方式为标准的装置，该H.264/AVC方式将图像数据作为数字进行处理，为了实现高效的信息传输、存储，在进行处理时利用图像信息特有的冗长性通过离散余弦变换等正交变换和运动补偿来进行压缩。
但是，在MPEG(Moving Picture Experts Group:运动图片专家组)2中，参照帧的张数为两张，比当前的图片更早的参照图片必定是一张。
与此相对，在H.264/AVC中，允许具有多个参照帧，并且例如如图10的(A)所示，也能够参照比I图片更早的图片。
因此，即使从I图片开始解码，也不保证是否能够正确地进行解码。这在随机存取等中成为一个非常严重的问题。因此，在H.264/AVC中，规定有如图10的(B)所示的被称为IDR(Instantaneous Decoder Refresh:即时解码刷新)图片的图片。在H.264/AVC中，在对IDR图片进行解码时，将存储在存储器中的参照帧、帧编号、POC(Picture Order Count:表示图片的输出顺序的信息)等解码所需要的所有信息复位。因此，禁止了参照比IDR图片更早的图片。另外，在IDR图片处，参照帧存储器、缓冲器等被初始化。如果从IDR图片开始解码，可保证正确地对图像进行解码。
发明内容
发明要解决的问题
但是，在序列几乎都是静止图像等运动较少的图像的情况、序列中的一部分存在那样的运动较少的区域的情况下，参照I图片对该图像或该区域的纹理(texture)进行编码，SKIP(略过)P、B图片。由此，能够以较少的代码量得到良好的解码图像。
然而，在以固定间隔插入如图10的(B)所示的IDR图片的情况下、特别是在复杂度(活度:activity)较高的静止图像区域，存在如下问题:由于在图片上存在的噪声的影响，在GOP(GroupOf Pictures:图片组)边界产生去块滤波器的强度、帧内预测的方向的差异，其作为以GOP为单位的闪烁而被用户当作像质视觉识别。
本发明是为了解决上述现有技术的问题而完成的，其目的在于提供一种能够抑制以GOP为单位的闪烁的编码装置、方法以及程序。
用于解决问题的方案
为了解决上述现有技术的问题，本发明的编码装置具备:判断部，其对构成编码对象的图像数据的各个GOP，判断是否是在对该GOP进行编码之后进行解码得到的图像内容易视觉识别以GOP为单位的闪烁的GOP；以及编码部，其在上述判断部判断为容易视觉识别闪烁的GOP的情况下，实施抑制上述以GOP为单位的闪烁的处理并对该GOP进行编码。
另外，本发明的编码装置具有:判断单元，其对构成编码对象的图像数据的各个GOP，判断是否是在对该GOP进行编码之后进行解码得到的图像内容易视觉识别以GOP为单位的闪烁的GOP；以及编码单元，其在上述判断单元判断为容易视觉识别闪烁的GOP的情况下，实施抑制上述以GOP为单位的闪烁的处理并对该GOP进行编码。
第二发明的编码方法具有:判断工序，对构成编码对象的图像数据的各个GOP，判断是否是在对该GOP进行编码之后进行解码得到的图像内容易视觉识别以GOP为单位的闪烁的GOP；以及编码工序，在上述判断工序判断为容易视觉识别闪烁的GOP的情况下，实施抑制上述以GOP为单位的闪烁的处理并对该GOP进行编码。
第三发明的程序是一种进行编码处理的计算机执行的程序，使上述计算机执行如下程序:判断程序，对构成编码对象的图像数据的各个GOP，判断是否是在对该GOP进行编码之后进行解码得到的图像内容易视觉识别以GOP为单位的闪烁的GOP；以及编码程序，在上述判断程序判断为容易视觉识别闪烁的GOP的情况下，实施抑制上述以GOP为单位的闪烁的处理并对该GOP进行编码。
发明的效果
根据本发明，能够提供一种能够抑制以GOP为单位的闪烁的编码装置、方法以及程序。
附图说明
图1是本发明的第一实施方式的通信系统的整体结构图。
图2是图1示出的编码电路的结构图。
图3是图2示出的GOP控制电路的功能框图，
图4是用于说明图3示出的GOP控制电路的处理的流程图。
图5是用于说明图3示出的GOP控制电路的处理的图。
图6是用于说明图2示出的运动预测/补偿电路的处理的流程图。
图7是用于说明图2示出的选择电路的处理的流程图。
图8是用于说明图2示出的速率控制电路的处理的流程图。
图9是本发明的第二实施方式的编码装置的结构图。
图10是用于说明现有技术的问题的图。
附图标记说明
2、2a:编码装置；10、10a:GOP控制电路；22:A/D转换电路；23:画面排列替换电路；24:运算电路；25:正交变换电路；26:量子化电路；27:可逆编码电路；28:缓冲器；29:逆量子化电路；30:逆正交变换电路；31:重新构成电路；32:去块滤波器；33:存储器；41:帧内预测电路；42:运动预测/补偿电路；44:选择电路；46:速率控制电路；71:GOP闪烁判断部；72:GOP控制部。
具体实施方式
<第一实施方式>
下面说明本发明的第一实施方式。
首先说明本实施方式的结构要素与本发明的结构要素的对应关系。
图2以及图9示出的GOP控制电路10、10a的GOP闪烁判断部71是本发明的判断单元的一例。另外，GOP控制电路10、10a的GOP控制部72、运动预测/补偿电路42、选择电路44以及速率控制电路46是本发明的编码单元的一例。
图1是本实施方式的通信系统1的概念图。
如图1所示，通信系统1具有设置在发送侧的编码装置2以及设置在接收侧的解码装置3。
在通信系统1中，在发送侧的编码装置2中通过离散余弦变换、卡路南-赖佛变换等正交变换以及运动补偿生成压缩的帧图像数据(比特流)，在对该帧图像数据进行调制之后，通过卫星广播电波、有线电视网、电话线路网以及移动电话线路网等传输介质进行发送。
在接收侧，在对所接收的图像信号进行解调之后，通过上述调制时的正交变换的逆变换以及运动补偿生成扩展的帧图像数据并进行利用。
此外，上述传输介质也可以是光盘、磁盘以及半导体存储器等记录介质。
图1示出的解码装置3进行与编码装置2的编码对应的解码。
下面说明图1示出的编码装置2。
图2是图1示出的编码装置2的整体结构图。
如图2所示，编码装置2例如具有GOP控制电路10、A/D转换电路22、画面排列替换电路23、运算电路24、正交变换电路25、量子化电路26、可逆编码电路27、缓冲器28、逆量子化电路29、逆正交变换电路30、重新构成电路31、去块滤波器32、存储器33、帧内预测电路41、运动预测/补偿电路42、选择电路44、速率控制电路46。
编码装置2的特征在于，在GOP控制电路10判断为编码对象(判断对象)的GOP容易视觉识别以GOP为单位的闪烁的情况下，进行将封闭GOP变更为开放GOP等抑制以GOP为单位的闪烁的处理。
编码装置2进行H.264/AVC方式的编码，以固定间隔插入IDR图片。
图2示出的编码装置2的各结构要素(电路等)的全部或一部分也可以利用由CPU等处理电路来执行程序的方式来实现。
下面说明编码装置2的结构要素。
[GOP控制电路10]
图3是图1示出的GOP控制电路10的结构图。
如图3所示，GOP控制电路10例如具有GOP闪烁判断部71以及GOP控制部72。
图4是用于说明图3示出的GOP控制电路10的处理的一例的流程图。
首先，说明GOP闪烁判断部71。
GOP闪烁判断部71例如将在画面排列替换电路23中进行排列替换的图像数据S22的编码对象的各GOP作为判断对象，判断在对该GOP进行编码之后进行解码得到的图像内是否容易视觉识别以GOP为单位的闪烁(步骤ST1)。
此时，GOP闪烁判断部71例如在判断对象的GOP为刚刚场景变换之后的GOP的情况下，判断为容易视觉识别出闪烁的GOP。
另外，GOP闪烁判断部71也可以根据构成判断对象的GOP之前的GOP的图片的复杂度来进行上述判断。
此时，GOP闪烁判断部71例如将利用由MPEG的TM(TestMode:测试模式)5规定的方法算出的活度数据用作复杂度。
具体地说，GOP闪烁判断部71如下面那样算出活度数据。
GOP闪烁判断部71对将图像数据S2内的帧图像的16像素×16线的宏模块(macroblock)的亮度成分进行分割而得到的8像素×8线的4个子块(subblock)的每一个，分别算出由下述式(1)表示的各像素的像素数据与其平均值之间的差分的平方和、即数据var_sblk。在此，随着子块图像变得复杂，数据var_sblk的值变大。
[式1]
var _ sblk = 1 64 sum k = 1 64 ( P k - P _ mean ) 2 &CenterDot; &CenterDot; &CenterDot; ( 1 )
此外，通过下述式(2)来算出上述式(1)的像素数据的平均值P_mean。
[式2]
P _ mean = 1 64 sum k = 1 64 I k &prime; &CenterDot; &CenterDot; &CenterDot; ( 2 )
然后，如下述式(3)所示，GOP闪烁判断部71使用对4个子块算出的数据var_sblk的最小值来求出数据actj。
[式3]
act j = 1 + min sblk = 1.4 ( var _ sblk ) &CenterDot; &CenterDot; &CenterDot; ( 3 )
接着，如下述式(4)所示，GOP闪烁判断部71使用数据actj、以及对以前的帧图像求出的数据actj的平均值数据avg_act，来对数据actj进行正规化并算出活度数据N_actj。
[式4]
N _ act j = 2 * act j + avg _ act act j + 2 * avg _ act &CenterDot; &CenterDot; &CenterDot; ( 4 )
在存在上述活度数据N_actj大于等于规定的阈值的子块的情况下、或者存在规定数量以上的情况下，GOP闪烁判断部71判断为容易视觉识别闪烁。即，在判断对象的GOP不存在于刚刚场景变换之后的情况下，在之前的GOP中不存在纹理(texture)的活度较高的静止图像区域的情况下，以GOP为单位的闪烁也不会成为问题。
下面说明GOP控制部72。
在GOP闪烁判断部71中判断为判断对象的GOP容易视觉识别出以GOP为单位的闪烁的情况(步骤ST2)下，GOP控制部72进行如下所示的处理。
即，GOP控制部72判断编码对象的GOP是否是封闭GOP(步骤ST3)，在判断为是封闭GOP的情况下，将其变更为开放GOP(步骤ST4)。由此，即使存在IDR图片，也允许该IDR图片之后的图片参照该IDR图片之前的图片来进行编码。
另外，在编码对象的GOP为开放GOP的情况下，如图5所示，GOP控制部72控制画面排列替换电路23使得I图片之前的B图片的数量M2比I图片之后的I、P图片之间的B图片的数量M1多(步骤ST5)。在图5示出的例中，M2＝3、M1＝1。
另外，在GOP闪烁判断部71中判断为判断对象的GOP容易视觉识别出以GOP为单位的闪烁的情况下，如下面所示，GOP控制部72对帧内预测电路41、选择电路44以及速率控制电路46进行控制(步骤ST6)。
[A/D转换电路22]
A/D转换电路22将由所输入的模拟亮度信号Y、色差信号Pb、Pr构成的被编码图像数据S10转换为数字图像数据S22，并将其输出到画面排列替换电路23。
[画面排列替换电路23]
画面排列替换电路23将图像数据S23输出到运算电路24、帧内预测电路41、运动预测/补偿电路42以及速率控制电路46，该图像数据S23根据由其图片类型I、P、B构成的GOP(Group OfPictures:图片组)结构、将从A/D转换电路22输入的图像数据S22排列替换成编码的顺序而得到。
[运算电路24]
运算电路24生成表示图像数据S23与从选择电路44输入的预测图像数据PI之间的差分的图像数据S24，并将其输出到正交变换电路25。
[正交变换电路25]
正交变换电路25对图像数据S24实施离散余弦变换、卡路南-赖佛变换等正交变换，生成图像数据(例如DCT系数)S25，并将其输出到量子化电路26。
[量子化电路26]
量子化电路26根据从速率控制电路46输入的量子化参数QP，利用根据该量子化参数QP规定的量子化尺度(scale)(量子化步骤)来对图像数据S25进行量子化，生成图像数据S26，将其输出到可逆编码电路27以及逆量子化电路29。
[可逆编码电路27]
可逆编码电路27将对图像数据S26进行可变长度编码或算术编码得到的图像数据保存在缓冲器28中。
此时，可逆编码电路27在表示选择数据S44选择了帧间预测编码的情况下，对从运动预测/补偿电路42输入的运动向量MV进行编码，保存在头数据中。
另外，可逆编码电路27在表示选择数据S44选择了帧内预测编码的情况下，将从帧内预测电路41输入的帧内预测模式IPM保存在头数据等中。
另外，可逆编码电路27在各宏模块MB中包含用于量子化电路26中进行的量子化的量子化尺度(scale)。
保存在缓冲器28中的图像数据在进行调制等之后被发送。
[逆量子化电路29]
逆量子化电路29根据在量子化电路26中使用过的量子化尺度对图像数据S26进行逆量子化，输出到逆正交变换电路30。
[逆正交变换电路30]
逆正交变换电路30对从逆量子化电路29输入的进行过逆量子化的图像数据实施与正交变换电路25的正交变换对应的逆正交变换，并输出到重新构成电路31。
[重新构成电路31]
重新构成电路31将从选择电路44输入的预测图像数据PI与从逆正交变换电路30输入的图像数据相加来生成重新构成图像数据，并将其输出到去块滤波器32。
[去块滤波器32]
去块滤波器32在除去了从重新构成电路31输入的图像数据的块失真之后，将其作为参照图像数据存入存储器33。
[帧内预测电路41]
帧内预测电路41根据各个预先规定的帧内预测模式，对构成从存储器33读出的图像数据的各宏模块MB实施帧内预测代码来生成预测图像，并检测该预测图像数据与图像数据S23之间的差分DIF。
然后，帧内预测电路41确定与对上述多个帧内预测模式分别生成的上述差分中最小的差分对应的帧内预测模式，将该确定的帧内预测模式IPM输出到可逆编码电路27。
另外，帧内预测电路41将由上述确定的帧内预测模式得到的预测图像数据PI以及上述差分DIF输出到选择电路44。
[运动预测/补偿电路42]
运动预测/补偿电路42将图像数据S23内的块作为单位、以帧数据和场数据为单位来进行运动预测处理，根据从存储器33读出的参照图像数据REF来决定运动向量MV。
即，运动预测/补偿电路42决定运动向量MV，该运动向量MV使关于各块通过运动向量MV以及参照图像数据REF规定的预测图像数据PI与图像数据S23之间的差分DIF最小。
运动预测/补偿电路42将预测图像数据PI以及差分DIF输出到选择电路44，将运动向量MV输出到可逆编码电路27。
运动预测/补偿电路42在处理对象的块包含在B切片(slice)中的情况下，判断应该进行前向预测、后向预测以及双向预测中的哪一个。
这时，如图6所示，在GOP控制部72中判断为判断对象的GOP容易视觉识别以GOP为单位的闪烁的情况下(步骤ST11)，运动预测/补偿电路42根据来自GOP控制部72的控制，对处理对象的GOP内存在于I图片之前的B图片进行使双向预测优先的处理(步骤ST12)。在其它的情况下，运动预测/补偿电路42进行通常的运动预测/补偿处理(步骤ST13)。
具体地说，运动预测/补偿电路42对前向预测、后向预测以及双向预测计算各自的编码代价(例如上述差分DIF)，并选择编码代价最小的预测方法，此时通过对双向预测的编码代价赋予负值的偏移，使得容易选择双向预测。
运动预测/补偿电路42判断是否会由于图像数据S23闭锁等原因而使通过双向预测来进行解码时的像质明显劣化，在判断为像质明显劣化的情况下，不进行上述偏移的赋予。
具体地说，运动预测/补偿电路42在判断为L0方向的编码代价L0_cost以及L1方向的编码代价L1_cost相对于预先决定的阈值识别数据Θ满足下述式(5)的关系的情况下，不进行上述偏移的赋予。在此，在B图片中，从任意的参照图片中选择最大两张，将这两张的预测分别称为L0、L1预测。L0、L1方向的编码代价L0_cost、L1_cost分别表示L0、L1预测的编码代价。
[式5]
|L0_cost-L1_cost|>Θ     …(5)
[选择电路44]
选择电路44将从帧内预测电路41输入的差分DIF与从运动预测/补偿电路42输入的差分DIF进行比较。
选择电路44在通过上述比较判断为从帧内预测电路41输入的差分DIF一方较小时，选择从帧内预测电路41输入的预测图像数据PI并输出到运算电路24。
选择电路44在通过上述比较判断为从运动预测/补偿电路42输入的差分DIF一方较小时，选择从运动预测/补偿电路42输入的预测图像数据PI并输出到运算电路24。
另外，选择电路44在选择了来自帧内预测电路41的预测图像数据PI的情况下，将表示选择了帧间预测编码的选择数据S44输出到可逆编码电路27，在选择了来自运动预测/补偿电路42的预测图像数据PI的情况下将表示选择了帧内预测编码的选择数据S44输出到可逆编码电路27。
如图7所示，在GOP控制部72中判断为判断对象的GOP容易视觉识别以GOP为单位的闪烁的情况下(步骤ST21)，选择电路44根据来自GOP控制部72的控制进行下面的处理。
即，选择电路44在处理对象的块被包含在帧间切片中的情况下，在判断选择从帧内预测电路41以及运动预测/补偿电路42中的哪一个输入的预测图像数据PI(应该为帧内宏模块还是应该为帧间宏模块)时，对在该GOP中存在于I图片之前的B图片使帧间宏模块优先(步骤ST22)。例如在选择电路44中将负值的偏移与来自运动预测/补偿电路42的差分DIF(编码代价)相加之后，与来自帧内预测电路41的差分DIF进行比较，由此来实现上述步骤。
在GOP控制部72中判断为判断对象的GOP容易视觉识别以GOP为单位的闪烁的情况下，选择电路44不特别进行优先而进行通常的选择(步骤ST23)。
[速率控制电路46]
速率控制电路46根据从缓冲器28读出的图像数据来决定量子化参数QP，并将其输出到量子化电路26。
如图8所示，在GOP控制部72中判断为判断对象的GOP容易视觉识别以GOP为单位的闪烁的情况下，速率控制电路46根据来自GOP控制部72的控制决定量子化参数QP，使得与通常的B图片相比对存在于I图片之前的B图片分配较多的代码量(步骤ST32)。在其它的情况下，速率控制电路46不特别进行优先而分配通常的代码量。
下面说明图2中表示的编码装置2的整体动作例。
编码装置2的GOP控制电路10判断从A/D转换电路22输入的图像数据S22内的编码对象(判断对象)的GOP是否容易视觉识别以GOP为单位的闪烁。
然后，在GOP控制电路10判断为容易视觉识别闪烁的情况下，使画面排列替换电路23进行将封闭GOP变更为开放GOP等抑制以GOP为单位的闪烁的处理。
然后，运算电路24生成表示图像数据S23与从选择电路44输入的预测图像数据PI之间的差分的图像数据S24，并将其输出到正交变换电路25。
然后，该差分在正交变换电路25中进行正交变换之后，在量子化电路26中进行量子化。另外，量子化之后的图像在逆量子化电路29中被逆量子化之后，在逆正交变换电路30中被逆正交变换，在重新构成电路31中被重新构成。
重新构成电路31中通过重新构成而得到的参照图像数据被写入存储器33。
另外，在帧内预测电路41中进行帧内预测，将预测图像数据PI以及差分DIF输出到选择电路44。
另外，在运动预测/补偿电路42中进行运动预测/补偿处理，确定运动向量MV，并且将预测图像数据PI以及差分DIF输出到选择电路44。
在此，运动预测/补偿电路42分别对前向预测、后向预测以及双向预测计算各自的编码代价(例如上述差分DIF)，并选择编码代价最小的预测方法。这时，在判断为容易视觉识别闪烁的情况下，运动预测/补偿电路42通过对双向预测的编码代价赋予负值的偏移来使得双向预测容易被选择。
然后，选择电路44将预测图像数据PI输出到运算电路24，其中，所述预测图像数据PI与从帧内预测电路41输入的差分DIF和从运动预测/补偿电路58输入的差分DIF中较小一方的差分DIF对应。
在此，在GOP控制部72中判断为判断对象的GOP容易视觉识别以GOP为单位的闪烁的情况下，选择电路44对存在于I图片之前的B图片使帧间宏模块优先。
如上所述，在判断对象的GOP是容易视觉识别以GOP为单位的闪烁的图像的情况下，根据编码装置2能够避免GOP之间的图像的非连续性，抑制以GOP为单位的闪烁。
由此，在输出以固定的时间间隔插入可随机存取的图片(IDR图片)的GOP结构的图像压缩信息的AVC方式的编码装置中，能够抑制以GOP为单位的闪烁。
<第二实施方式>
图9是本发明的第二实施方式的编码装置2a的结构图。
如图9所示，编码装置2a与图1示出的编码装置2相比，设有MPEG2解码装置200来代替A/D转换电路22，在GOP控制电路10a中，使用MPEG2解码装置200的解码信息来判断判断对象的GOP是否容易视觉识别以GOP为单位的闪烁。编码装置2a的其它结构与第一实施方式的编码装置2相同。
下面说明MPEG2解码装置200以及GOP控制电路10a。
MPEG2解码装置200输入MPEG2格式等的编码图像数据S100，将对其进行解码而生成的图像数据S22输出到画面排列替换电路23。
另外，MPEG2解码装置200将包含在编码图像数据S100中的正交变换(DCT)系数、运动向量等编码属性信息inf输出到GOP控制电路10a。
GOP控制电路10a根据编码属性信息inf检测是否为包含纹理(texture)的静止图像区域，即检测是否运动向量信息为“0”、包含非0的正交变换系数，由此来判断判断对象的GOP是否容易视觉识别以GOP为单位的闪烁。
根据本实施方式，能够通过有效利用MPEG2解码装置200得到的信息来判断是否容易视觉识别以GOP为单位的闪烁。
本发明并不限定于上述实施方式。
在上述实施方式中，对编码装置2、102、202以H.264/AVC进行编码的情况进行了例示，但是也可以应用于规定了GOP、IDR的其它编码方法。

Claims (18)

1.一种编码装置，其具备:
判断部，其对构成编码对象的图像数据的各个GOP，判断是否是在对该GOP进行编码之后进行解码得到的图像内容易视觉识别以GOP为单位的闪烁的GOP；以及
编码部，其在上述判断部判断为是容易视觉识别闪烁的GOP的情况下，实施抑制上述以GOP为单位的闪烁的处理，并对该GOP进行编码。
2.根据权利要求1所述的编码装置，其特征在于，
上述判断部将刚刚场景变换之后的上述GOP判断为难以视觉识别上述闪烁的GOP。
3.根据权利要求1所述的编码装置，其特征在于，
上述判断部根据构成判断对象的GOP之前的GOP的图片的复杂度，来判断上述判断对象的GOP是否是容易视觉识别上述闪烁的GOP。
4.根据权利要求1所述的编码装置，其特征在于，
还具有生成部，其对编码图像数据进行解码来生成上述编码对象图像数据，
上述判断部根据上述编码图像数据来判断是否是容易视觉识别闪烁的GOP。
5.根据权利要求4所述的编码装置，其特征在于，
上述判断部根据包含在上述编码图像数据中的正交变换系数来进行上述判断。
6.根据权利要求1所述的编码装置，其特征在于，
在上述判断部判断为是容易视觉识别闪烁的GOP、且判断对象的GOP为封闭GOP的情况下，上述编码部将该判断对象的GOP变更为开放GOP并进行编码。
7.根据权利要求1所述的编码装置，其特征在于，
在上述判断部判断为是容易视觉识别闪烁的GOP、且判断对象的GOP为开放GOP的情况下，上述编码部构成GOP，使得该判断对象的GOP内I图片之前的B图片的数量比I图片之后存在于I、P图片之间的B图片的数量更多，并进行编码。
8.根据权利要求6所述的编码装置，其特征在于，
上述编码部进行控制，使得在上述判断部判断为是容易视觉识别上述闪烁的GOP的情况下，与不是容易视觉识别上述闪烁的GOP的情况相比，作为上述判断对象的GOP内位于I图片之前的B图片的编码容易选择双向预测编码。
9.根据权利要求6所述的编码装置，其特征在于，
上述编码部进行控制，使得在上述判断部判断为是容易视觉识别上述闪烁的GOP的情况下，与不是容易视觉识别上述闪烁的GOP的情况相比，作为上述判断对象的GOP内位于I图片之前的B图片的编码容易选择帧间编码。
10.根据权利要求1所述的编码装置，其特征在于，
在运动预测/补偿中，上述编码部在前向预测、后向预测以及双向预测中选择编码代价最小的预测来对各图片的块进行编码，
在上述判断部判断为是容易视觉识别闪烁的GOP的情况下，与不是容易视觉识别闪烁的GOP的情况相比，上述编码部在对该GOP内存在于I图片之前的B图片进行编码时，降低上述双向预测的编码代价来进行上述选择。
11.根据权利要求1所述的编码装置，其特征在于，
上述编码部选择帧间编码和帧内编码中编码代价较小的一种来对各图片的块进行编码，
在上述判断部判断为是容易视觉识别闪烁的GOP的情况下，与不是容易视觉识别闪烁的GOP的情况相比，上述编码部在对该GOP内存在于I图片之前的B图片进行编码时，降低上述帧间编码的上述编码代价来进行上述选择。
12.根据权利要求1所述的编码装置，其特征在于，
上述编码部将各图片的块进行量子化并进行编码，在上述判断部判断为是容易视觉识别闪烁的GOP的情况下，与不是容易视觉识别闪烁的GOP的情况相比，上述编码部在对该GOP内存在于I图片之前的B图片进行编码时进行上述量子化使得分配较多的代码量。
13.根据权利要求1所述的编码装置，其特征在于，
上述判断部将包含如下图片的GOP作为上述判断的对象，该图片被规定为不参照规定的图片以前的图片。
14.一种编码方法，具有如下工序:
判断工序，对构成编码对象的图像数据的各个GOP，判断是否是在对该GOP进行编码之后进行解码得到的图像内容易视觉识别以GOP为单位的闪烁的GOP；以及
编码工序，在上述判断工序判断为是容易视觉识别闪烁的GOP的情况下，实施抑制上述以GOP为单位的闪烁的处理并对该GOP进行编码。
15.一种编码装置，其具有:
判断单元，其对构成编码对象的图像数据的各个GOP，判断是否是在对该GOP进行编码之后进行解码得到的图像内容易视觉识别以GOP为单位的闪烁的GOP；以及
编码单元，在上述判断单元判断为是容易视觉识别出闪烁的GOP的情况下，实施抑制上述以GOP为单位的闪烁的处理并对该GOP进行编码。
16.根据权利要求15所述的编码装置，其特征在于，
上述判断部根据构成判断对象的GOP之前的GOP的图片的复杂度，来判断上述判断对象的GOP是否为容易视觉识别上述闪烁的GOP。
17.根据权利要求15所述的编码装置，其特征在于，
还具有生成单元，该生成单元对编码图像数据进行解码来生成上述编码对象图像数据，
上述判断单元根据上述编码图像数据来判断是否是容易视觉识别闪烁的GOP。
18.一种进行编码处理的计算机执行的程序，其特征在于，使上述计算机执行如下程序:
判断程序，对构成编码对象的图像数据的各个GOP，判断是否是在对该GOP进行编码之后进行解码得到的图像内容易视觉识别以GOP为单位的闪烁的GOP；以及
编码程序，在上述判断程序判断为是容易视觉识别闪烁的GOP的情况下，实施抑制上述以GOP为单位的闪烁的处理并对该GOP进行编码。
CN2007800048140A 2006-02-08 2007-02-07 编码装置及编码方法 Expired - Fee Related CN101379834B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006031220A JP4449915B2 (ja) 2006-02-08 2006-02-08 符号化装置、符号化方法およびプログラム、並びに、記録媒体
JP031220/2006 2006-02-08
PCT/JP2007/052130 WO2007091601A1 (ja) 2006-02-08 2007-02-07 符号化装置、符号化方法およびプログラム

Publications (2)

Publication Number Publication Date
CN101379834A true CN101379834A (zh) 2009-03-04
CN101379834B CN101379834B (zh) 2011-07-06

Family

ID=38345197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800048140A Expired - Fee Related CN101379834B (zh) 2006-02-08 2007-02-07 编码装置及编码方法

Country Status (12)

Country Link
US (1) US8406287B2 (zh)
EP (1) EP1983760A4 (zh)
JP (1) JP4449915B2 (zh)
KR (1) KR101322498B1 (zh)
CN (1) CN101379834B (zh)
AU (1) AU2007213103A1 (zh)
BR (1) BRPI0707664A2 (zh)
CA (1) CA2641522A1 (zh)
MX (1) MX2008010117A (zh)
RU (1) RU2426270C2 (zh)
TW (1) TW200746840A (zh)
WO (1) WO2007091601A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104601995A (zh) * 2009-08-26 2015-05-06 索尼公司 图像处理装置和方法
CN108702510A (zh) * 2017-10-31 2018-10-23 深圳市大疆创新科技有限公司 一种编码方法及装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8625914B2 (en) * 2013-02-04 2014-01-07 Sony Corporation Image processing system, image processing method and program
DE102007060004B4 (de) 2007-12-13 2009-09-03 Siemens Ag Verfahren und Vorrichtung zum Bestimmen einer Bildqualität
US8755613B2 (en) 2008-01-17 2014-06-17 Thomson Licensing Method for measuring flicker
JP4936557B2 (ja) * 2008-01-24 2012-05-23 キヤノン株式会社 符号化装置
CN101960854B (zh) 2008-03-10 2013-12-18 汤姆森许可贸易公司 支持增强效率和主观质量的预测帧选择的方法和设备
CN102217315B (zh) * 2008-11-12 2016-03-09 汤姆森特许公司 用于画面组的并行多线程视频编码的i帧去闪烁
EP2347518A4 (en) * 2008-11-12 2012-10-17 Thomson Licensing LIGHT CHANGE CODING
EP2345244B1 (en) * 2008-11-13 2014-08-06 Thomson Licensing Multiple thread video encoding using gop merging and bit allocation
JP5136470B2 (ja) * 2009-03-06 2013-02-06 富士通株式会社 動画像符号化装置及び動画像符号化方法
JP5570846B2 (ja) * 2010-03-04 2014-08-13 株式会社メガチップス 画像符号化装置
JP2011259361A (ja) * 2010-06-11 2011-12-22 Sony Corp 画像処理装置および方法
JP5589924B2 (ja) * 2011-03-25 2014-09-17 Ｋｄｄｉ株式会社 フリッカ／シーンチェンジ判定装置及び方法
EP2536143B1 (en) * 2011-06-16 2015-01-14 Axis AB Method and a digital video encoder system for encoding digital video data
US9253482B2 (en) 2011-11-08 2016-02-02 Texas Insturments Incorporated Method and apparatus for sample adaptive offset without sign coding
US9723314B2 (en) 2012-02-29 2017-08-01 Smsc Holdings Sarl Flicker reduction circuit and method for compressed video transmission
US20160360219A1 (en) * 2015-06-05 2016-12-08 Apple Inc. Preventing i-frame popping in video encoding and decoding
DK3318575T3 (da) 2015-06-30 2021-04-12 Glytech Inc Albumin-sukkerkædekompleks
JP6270293B1 (ja) * 2016-11-01 2018-01-31 Ｎｔｔエレクトロニクス株式会社 動画像符号化装置および動画像符号化方法
JP6874844B2 (ja) 2017-07-19 2021-05-19 日本電気株式会社 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム
TWI680675B (zh) * 2017-12-29 2019-12-21 聯發科技股份有限公司 影像處理裝置與相關的影像處理方法
CN111314700B (zh) * 2020-03-03 2021-09-07 眸芯科技（上海）有限公司 抑制呼吸效应的视频编码方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750839A (ja) 1993-08-06 1995-02-21 Matsushita Electric Ind Co Ltd 動画像の符号化方法
JPH10191355A (ja) 1996-12-26 1998-07-21 Sony Corp 映像信号切換装置およびその方法
JP4462643B2 (ja) 1997-04-25 2010-05-12 ソニー株式会社 画像符号化方法及び画像符号化装置
JP4123567B2 (ja) * 1998-04-30 2008-07-23 ソニー株式会社 画像信号処理装置及び方法
US6859496B1 (en) * 1998-05-29 2005-02-22 International Business Machines Corporation Adaptively encoding multiple streams of video data in parallel for multiplexing onto a constant bit rate channel
US6658157B1 (en) * 1999-06-29 2003-12-02 Sony Corporation Method and apparatus for converting image information
JP2002010263A (ja) 2000-06-20 2002-01-11 Mitsubishi Electric Corp 動画像符号化装置および動画像符号化方法
US7023924B1 (en) * 2000-12-28 2006-04-04 Emc Corporation Method of pausing an MPEG coded video stream
US6980594B2 (en) * 2001-09-11 2005-12-27 Emc Corporation Generation of MPEG slow motion playout
JP3928424B2 (ja) * 2001-12-26 2007-06-13 コニカミノルタビジネステクノロジーズ株式会社 動画におけるフリッカ補正
JP4288897B2 (ja) 2002-06-05 2009-07-01 ソニー株式会社 符号化装置及び方法、プログラム、記録媒体
JP2004056234A (ja) 2002-07-17 2004-02-19 Nec Corp 画像符号化装置および画像符号化方法
KR20050078099A (ko) * 2004-01-30 2005-08-04 삼성전자주식회사 적응적으로 키 프레임을 삽입하는 비디오 코딩 장치 및 방법
EP1845735A4 (en) * 2004-12-28 2009-07-15 Nec Corp CODING PROCESS FOR MOBILE PICTURES AND DEVICE AND COMPUTER PROGRAM THEREWITH
US8036270B2 (en) * 2006-07-27 2011-10-11 Sharp Laboratories Of America, Inc. Intra-frame flicker reduction in video coding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104601995A (zh) * 2009-08-26 2015-05-06 索尼公司 图像处理装置和方法
CN104601995B (zh) * 2009-08-26 2018-04-27 索尼公司 图像处理装置和方法
CN108702510A (zh) * 2017-10-31 2018-10-23 深圳市大疆创新科技有限公司 一种编码方法及装置

Also Published As

Publication number Publication date
KR20080096760A (ko) 2008-11-03
EP1983760A1 (en) 2008-10-22
JP4449915B2 (ja) 2010-04-14
KR101322498B1 (ko) 2013-10-28
JP2007214785A (ja) 2007-08-23
EP1983760A4 (en) 2012-09-05
TW200746840A (en) 2007-12-16
WO2007091601A1 (ja) 2007-08-16
AU2007213103A1 (en) 2007-08-16
BRPI0707664A2 (pt) 2011-05-10
MX2008010117A (es) 2008-11-06
CN101379834B (zh) 2011-07-06
US8406287B2 (en) 2013-03-26
TWI339532B (zh) 2011-03-21
RU2008132608A (ru) 2010-02-20
RU2426270C2 (ru) 2011-08-10
US20090046092A1 (en) 2009-02-19
CA2641522A1 (en) 2007-08-16

Similar Documents

Publication Publication Date Title
CN101379834B (zh) 编码装置及编码方法
US11176711B2 (en) Apparatus and method for coding/decoding image selectively using discrete cosine/sine transform
US9319712B2 (en) Filtering strength determination method, moving picture coding method and moving picture decoding method
CN101273638B (zh) 图像处理装置以及图像处理方法
US7697783B2 (en) Coding device, coding method, decoding device, decoding method, and programs of same
US8340182B2 (en) Video decoding apparatus and video decoding method
KR101747195B1 (ko) 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램
US8000393B2 (en) Video encoding apparatus and video encoding method
CN102067610A (zh) 基于视频编码的切片依赖性的码率控制模型适配
CN101494782A (zh) 视频编码方法和设备以及视频解码方法和设备
US7933459B2 (en) Data processing apparatus, the method and coding apparatus
US6940906B2 (en) Moving picture encoding apparatus
US10271070B2 (en) Image processing system, image processing method and program
CN102484718B (zh) 视频编码设备、视频编码方法和视频编码程序
CN114845134B (zh) 文件封装方法、文件传输方法、文件解码方法及相关设备
EP0878967A2 (en) Signal coding apparatus and method
CN111327950B (zh) 一种视频转码方法及装置
CN101742323B (zh) 无再损视频编码和解码的方法和装置
US10531096B2 (en) Decoder, method and system for decoding multimedia streams
Calvagno et al. A performance model for the MPEG coder
JP2002010268A (ja) 画像符号化装置および画像符号化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110706

Termination date: 20150207

EXPY Termination of patent right or utility model