CN1650635A - 对低速率应用的数字图像进行处理的方法 - Google Patents
对低速率应用的数字图像进行处理的方法 Download PDFInfo
- Publication number
- CN1650635A CN1650635A CNA038096684A CN03809668A CN1650635A CN 1650635 A CN1650635 A CN 1650635A CN A038096684 A CNA038096684 A CN A038096684A CN 03809668 A CN03809668 A CN 03809668A CN 1650635 A CN1650635 A CN 1650635A
- Authority
- CN
- China
- Prior art keywords
- image
- grid
- digital image
- block
- decoding digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 title claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims abstract description 35
- 238000013139 quantization Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 230000000903 blocking effect Effects 0.000 claims description 32
- 238000005516 engineering process Methods 0.000 claims description 17
- 238000012958 reprocessing Methods 0.000 claims description 10
- ALQLPWJFHRMHIU-UHFFFAOYSA-N 1,4-diisocyanatobenzene Chemical compound O=C=NC1=CC=C(N=C=O)C=C1 ALQLPWJFHRMHIU-UHFFFAOYSA-N 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000001915 proofreading effect Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 240000001439 Opuntia Species 0.000 description 1
- 101100272974 Panax ginseng CYP716A47 gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及一种处理按照像素块编码技术编码和解码的数字图像的方法,适于提供每个像素块的运动矢量和每个图像的量化步幅。所述方法包括:如果其量化步幅大于预定阈值则选择所述解码图像的步骤,和检测具有次网格的像素块的步骤。所述检测步骤包括:检测解码图像的一致块的子步骤,选择运动非零并且具有小于预定幅度阈值的幅度的一致块的子步骤,和在所选定的一致块中定位次网格为其运动矢量的函数的子步骤。该方法具有增强校正块效应或评估所述解码图像的质量的方法性能的优点。此外,所述方法具有低复杂度,使得能够在便携式多媒体设备中实时使用它。
Description
本发明涉及一种处理按照像素块编码技术编码和解码的数字图像的方法,所述技术适于为每个像素块提供运动矢量和为每个图像提供量化步幅。
本发明还涉及一种使用该方法的后处理装置。
本发明还涉及一种使用该后处理装置的视频解码器和视频编码器。
本发明进一步涉及一种包括该视频解码器的便携式设备。
本发明也涉及一种使用该方法的计算机程序。
最后,本发明涉及一种用于传送该程序的信号。
本发明特别应用于对按照例如MPEG-4或JVT(联合视频组)的编码技术以低速率编码和解码的数字图像的处理。
因为传输和存储数字数据的需要的不断增长,压缩技术(或换言之,编码数字图像序列的技术)已经变得非常普遍。最传统的压缩图像序列(例如由MPEG标准(运动图像专家组)或ITU-T VCEG定义的技术)使用基于块匹配算法的运动补偿和块变换(例如离散余弦变换或DCT)。图像序列被划分为多组图像,每组包括以独立方式编码的内部帧或I帧,随后是几个相对之前或之后帧以差分方式编码的预测帧。块变换具有提供高压缩率的优点。相反,随后的量化步骤在解码的数字图像中产生块效应,导致图像质量的恶化。实际上,编码率越小,量化越粗糙。因此,量化步骤造成的恶化会在编码率高时的察觉不到的级别和编码率低时的恼人的级别之间变化。
为了解决此问题,已经开发了许多后处理所述解码的数字图像的技术,以便校正所述块效应。用于编码数字图像的8×8像素块在该图像上形成网格,称为主网格。块效应在该网格上出现。多数校正块的技术假设解码图像上的所述网格的位置已知并在整个图像序列中保持固定。
不幸地是该假设不总为真。由于D/A和A/D转换(例如对于编码的图像序列的传输或在电视机内的),以及在可能的对数字图像序列的预处理算法的使用之后,原始图像可能被偏移几个像素,并且主网格的尺寸可能会被修改。现在,解码器对此没有任何信息。这种现象的一个结果是直接影响了块校正技术的效果。
为了避免该问题,已经开发了检测解码的数字图像的主网格的技术(例如根据8×8、10-11×8.和12×8像素来块检测三个规则网格尺寸的方法),并且在国际申请WO 01/20912中说明。
本发明的目的是提出一种在已经按照块编码技术以低速率编码并且随后解码的数字图像中检测次网格的存在的方案,其中该方法在保持低复杂度的同时提供所述网格的定位。
实际上,在已经以低速率编码并且随后解码的数字图像中,除了主网格以外,出现次网格并不少见。该次网格归因于每像素块的运动补偿,这易于在主网格的边缘之外产生块效应,所述效应不会被太粗糙的量化校正。
在传统后处理技术中通常不考虑归因于次网格的块效应,所述技术忽略所述网格的存在。
为了解决该问题,如在开始段落中所述的方法的特征在于它包括步骤:
-如果其量化步幅高于预定阈值,选择所述解码图像,
-检测具有次网格的像素块,包括子步骤:
-如果所述块具有小于预定亮度阈值的像素亮度变化,检测所选定的解码的图像的一致块,
-如果其关联运动矢量非零,并且具有小于预定幅度阈值的幅度,选择一致块,
-在所选定的一致块中定位次网格为关联运动矢量的函数。
按照本发明的方法涉及以低速率编码和解码的数字图像。如在前文已经说明的,次网格现象实际上最易出现在低速率。
该方法的第一优点在于,在提供解码图像中的次网格的定位的同时,该方法用于在使用块效应校正技术或评估所述图像质量的技术之前的预处理,并提供较好地改进这些低速率技术的效果的可能性。实际上,知道次网格的定位允许块校正技术包括例如使用滤波器并将所述滤波器置于所述次网格产生的块效应中心的滤波步骤。在评估质量、包括计数块效应的步骤的技术中,次网格的定位允许更精确的计数并因此得到对解码图像质量的更好的评估。
该方法的第二优点在于它具有低复杂度。实际上,选择步骤允许去除其量化步幅小于预定阈值的图像,即仅保留已经以足够粗糙的方式编码和解码的图像。对于检测像素块的步骤,它去除了一定数量的候选块,以便最终只保留一致的、运动矢量非零的并且具有小于预定幅度阈值的幅度的那些候选块。该低复杂度使得能够按照发明实时执行该方法,因此能够在被合并于便携式设备(例如个人数字助理或移动电话)中的解码器中使用它。
本发明还涉及一种使用该方法的装置。
本发明的这些和其它方面将通过非限制性的示例参考以下所述实施例说明清楚。
在附图中:
图1是完整的编码、传输和解码数字图像序列的框图,其解码器包括按照发明的处理装置,
图2示出了被例如MPEG-4或JVT编码技术使用的图像组,
图3是按照例如MPEG-4或JVT编码技术的编码器的框图,
图4示出了按照例如MPEG-4或JVT编码技术的运动补偿的示例,
图5示出了归因于具有小于两个连续量化步幅之间距离的对比度的次网格的块效应情况,
图6是按照本发明的处理方法的框图,
图7说明了在按照本发明的分类步骤中使用的块中的子块,
图8示出了按照本发明定位次网格的步骤,
图9示出了解码图像中的次网格的作为其在图像组中位置的函数的可见度曲线,
图10说明了滤波一对具有主块效应和次块效应的块的校正方法,
图11是包括按照本发明的处理装置的视频解码器的框图,
图12是包括按照本发明的处理装置的视频编码器的框图。
本发明涉及一种处理属于一组图像并按照块编码技术编码和解码的数字图像的方法。该方法适用于任何适于提供每个像素块的运动矢量和每个图像的量化步幅的编码技术。所使用的技术例如是MPEG-4或JVT(H.26L已经变为JVT,这是标准化委员会ISO/IEC MPEG和ITU-T VCEG的统一标准化努力的目标)。
图1示出了处理数字图像序列IS的完整链路。所述链路包括编码器ENC,它提供按照MPEG-4或H.26L类型的块编码方法编码的图像序列ES。所述序列ES经传输通道C以所接收的编码图像序列RS的形式被发送给解码器DEC。所述接收序列RS被解码器DEC处理,DEC将解码的数字图像序列DS提供给按照本发明的处理装置SEC.GRID。所述装置用于检测序列DS中的被计数为n的解码数字图像中次网格的可能存在,并例如以次网格的定位图Loc的形式提供图像n中的定位和可见度范围Vk。这样的装置可以被集成在后处理装置PP中(其中PP包括用于例如校正在所述解码序列DS中存在的块效应的滤波单元FILT)或者是质量评估装置QUALIT中(该QUALIT用于提供所述解码图像n的质量范围,例如作为所存在的块效应数目的函数,所述数目由块效应计数器COUNT评估)。所述后处理装置PP最后按照该有利地使用所述定位图Loc的方法提供经后处理的解码图像序列PPDS。在质量评估装置QUALIT的情况下,根据图像中存在的块效应数目提供质量范围QM。
应当说明,图1仅构成示例。可以设想例如包括按照发明的处理装置SEC.GRID的后处理装置PP被集成在编码器ENC内的编码环路中。这种装置的目的主要是发送最好可能质量的编码视频数据流给解码器。
在MPEG-4或JVT类型的编码方案中,数字输入图像序列IS被划分为图像组IG,如图2所示。这样的一组图像连续地包括内部帧或I帧(即以独立方式编码的帧),随后是关于相邻在前的和可能是随后的帧以差分方式编码的预测帧P或双向帧B。为了不使描述无谓地复杂化,仅考虑图像组IG为IPPPPPP…型,即没有双向帧B。
图3示出了使用运动补偿和块频率变换编码数字图像序列的方法的主要步骤。让我们考虑例如内部帧I后的第一帧P:使用块匹配算法的运动估计步骤ME从预测帧P和内部帧I提供运动矢量场MVF。该场包括帧P中每像素块的运动矢量MV。由编码器ENC内的解码器IDEC提供的内部帧I的解码版本DI随后在运动补偿步骤MC中根据运动矢量MV场而被“补偿”,即解码图像DI的像素块作为所述运动矢量的函数而被移位,从而获得按照预测帧P的一定最小化准则尽可能被补偿的图像MCI。随后,帧P和经补偿的解码内部帧MCI之间的差或误差E(也称为误差图像)通过块频率变换(通常是离散余弦变换或DCT)而被编码,该变换提供经变换的误差图像TE。为了保证可以接受的压缩率,所述经变换的误差图像通过随编码率越低而越粗糙的量化步骤在量化级QUANT中被量化。所述量化级QUANT提供经量化的误差图像QTE。
从而在所述量化级层产生编码误差。
该量化级位于解码时次网格在序列的某些图像的像素块中最终出现的起点。实际上,如图4所示,匹配块的技术可能为帧P的块B选择覆盖所述帧I的四个块的块B’。在低速率,实际很可能经量化的误差图像QTE不对块B的补偿提供校正。图5示出了次网格轮廓的亮度曲线Int,其说明了这样的事实:在低速率,经量化的误差图像TE中存在的次块效应通常具有小于两个连续量化步幅Q和Q+1之间距离的亮度变化或对比度Ct。如果在这些条件下,内部帧I的块B’在解码期间在其边缘具有块效应,这些块效应将以偏移的方式在随后的预测帧P中传播,并因此使得次网格出现。应当说明,所述偏移对应于已经允许内部帧I的块B’偏移到和帧P中的块B相同位置的运动矢量。
该现象将很容易地传播到随后的帧。然而,由于运动补偿和对连续误差图像的编码操作,它会逐渐衰减。
还应当说明,该次网格现象特别在图像的一致区中发生。实际上,如果块B在一致区中存在,则块B’也一定会是这样,除非块匹配技术没有关联它们。如果考虑包括(例如对象轮廓的)两个纹理块之间的差,它们的差具有小于量化步幅的亮度的概率会更大。
因此,按照本发明的方法的目的是检测解码数字图像的像素块中的所述次网格。该方法包括图6所示的三个步骤。第一和最后的步骤整个应用于解码的数字图像DI,第二个步骤应用于所述图像的块。
因为多数标准如此,所以在下文中将假定块包括8×8像素,表示为B8×8。但是,本发明显然不限于该特定情况。
第一步骤是选择所述解码的数字图像DI作为其量化步幅Q的函数的步骤SELECT,用于选择其量化步幅大于预定阈值的所述图像。在发明的优选实施例中,例如对于MPEG-4标准来说,所述阈值在1和31之间的值的尺度上固定为25,即仅其量化步幅大于25的解码图像DI被选择。
让我们考虑所选择的满足前述准则的解码图像SDI。下一步是检测像素块的步骤DETECT,用于检测具有次网格的所述所选定解码图像的块B8×8。
在优选实施例中,所有所选定图像SDI的像素8×8都经过该步骤,但这不是必须的。可以例如认为位于所选定解码图像SDI中心的块对于人眼更重要,并由于复杂度的原因,可以选择处理操作限于对这些块的处理。
所述检测步骤DETECT包括三个子步骤,也在图6中示出。第一子步骤是检测所述解码图像的块的子步骤UNI,其中如果所述块具有小于预定亮度阈值的亮度变化则确定该块为一致块。让我们考虑所选定图像SDI的8×8像素的块B8×8具有亮度系数ap,q,其中(p,q)是0和7之间的整数。所述检测子步骤UNI考虑块B8×8的子块SB8×8(如图7所示),并且包括8×8像素块B8×8的6×6中心像素。如果子块SB8×8满足以下条件则称块B8×8为一致块:
|m1-m2|<S,其中
m1=max{ap,q}p=1…6,q=1…6和m2=min{ap,q}p=1…6,q=1…6
在该等式中,S是预定义亮度阈值,m1是子块SB8×8的系数apq的最大值,m2是子块SB8×8的系数apq的最小值。
在本发明的优选实施例中,由于人视觉系统的已知特性,S被选择为等于3。次网格现象实际仅在块B8×8对应前述条件时(换言之,在所考虑的区域相对一致时)才可被人眼检测到。在此情况下,所述检测步骤UNI提供8×8像素的块,称为一致块B8×8_uni。
下一子步骤是选择一致块的子步骤MV_SELECT,用于选择其运动矢量非零并且具有小于预定幅度阈值的幅度的一致块,如下面给出的:
其中vx和vy是和块B8×8_uni关联的运动矢量MV的水平和垂直分量。
因此,如果其运动矢量非零并且具有小幅度,则块B8×8_uni被选择。在优选实施例中选择20为幅度阈值Sa。在此情况下,如果其运动矢量MV形成以下列表(0,1)、(0,2)、(0,3)、(0,4)、(1,1)、(1,2)、(1,3)、(1,4)、(2,2)、(2,3)、(2,4)、(3,3)的部分,则块B8×8_uni被选择,对于列表,加入所有具有相同标准的负值的组合是可取的。这样选定的块在下文中表示为B8× 8_uni_lmv。
在这一阶段,我们已经识别了包括由于次网格的存在而造成的块效应的所选定解码图像SDI的8×8像素块。
按照本发明的方法的下一子步骤(称为定位所选定一致块B8× 8_uni_lmv内的次网格的子步骤LOC的特征在于它将所述块内的所述次网格定位为其运动矢量MV的函数。让我们考虑,在图8中被集中在解码数字图像DI的像素(0,0)上的参考帧,和其左上位置的第一像素在该参考帧中被标记为坐标(i0,j0)的块B8×8_uni_lmv。已知运动矢量MV的分量(vx,vy),由于在块B8×8_uni_lmv中存在次网格而造成的块效应将在像素列(i0+vx,j0+q)和像素行(p+i0,j0+vy)中出现,其中q和p在0和7之间。
在本发明的优选实施例中,在次网格上存在的预测帧P的像素位置在定位图Loc中被“加亮”,即Loc(i0+vx,j0+q)=1(其中q在0和7之间)和Loc(i0+p,j0+vy)(其中p在0和7之间)。当然也可以设想其它表示定位子步骤Loc的结果的方式,但是该方式具有简单的优点。
下一步骤中,考虑整个所选定解码图像SDI。这涉及评估可见度测量V的步骤VIS,其特征在于评估所述所选定解码图像SDI中的次网格的可见度。
这样的评估可以以不同的方式进行。所述评估可以特别地根据在属于块B8×8_uni_lmv的像素(i,j)附近的亮度或对比度变化的定位测量,例如Loc(i,j)=1。在此情况下,有必要从前一子步骤提供定位图Loc给所述步骤EVAL。
但是,应当记得,这样的8×8选定像素块B8×8_uni_lmv具有相对一致的纹理,从而可以预期该对比度范围小并且块B8×8_uni_lmv之间变化很小、因此其对于图像SDI的区域中的次网格的可见度来说不是很典型。
也可以设想借助于有关人视觉系统的常识来评估次网格的可见度。已经表明,例如对比度变化在平均亮度(255个可能级别中的约70-90单位的对比度)的一致纹理区中比更亮或更暗的一致区更易见。这样的考虑可以用于标准化块B8×8_uni_lmv中次网格可见度测量的尺度。
在本发明的优选实施例中,所述可见度评估涉及图像组IG中预测帧P的位置。并不考虑对比度的局部范围,也不考虑有关人视觉系统的知识。另一方面,它依赖于图像组IG中图像SDI的位置Pos(SDI)。
按照在图9中示出的经验研究,结果是,最受次网格现象影响的图像IG组中的图像是跟随内部帧I的第一预测帧P。在该图像中次网格最明显。随后图像也经历此现象但是是以衰减的方式。可见度级别可以从图像组IG图像的块效应上的对比度范围来扣除,如图8所示。在本发明的优选实施例中已经保留了四个级别vk,k为从0-3。评估可见度测量的步骤因此产生图像的每个像素的可见度测量vk。该测量例如被编码在两个比特中,并且对于包括接续第一内部帧的至少9个预测帧P的图像组来说具有以下值:
-对于属于图像组IG的三个第一预测帧P之一的像素(i,j),V3=11,从而Loc(i,j)=1,
-对于属于图像组IG的第四、五或六个预测帧P的像素(i,j),V2=10,从而Loc(i,j)=1,
-对于属于图像组IG的第七、八或九个预测帧P的像素(i,j),V1=01,从而Loc(i,j)=1,
-对于属于第十个图像或后续图像的像素(i,j)或未在定位图中显示的像素(i,j),V0=00,从而Loc(i,j)=0。
在优选实施例中,可见度测量被用于加权解码图像中次网格的定位图的像素值。次网格的加权定位图Ploc被提供。换言之,对于具有可见度vk的图像SDI的块B8×8_uni_lmv的像素(i,j),欲使(i,j)在次网格上,Loc(i,j)等于vk。在此情况下,单个加权定位图Ploc包括所有有关次网格的可用信息。
在本发明的优选实施例中使用的该评估步骤VIS的优点是其简单性。应当记得按照本发明检测次网格的方法的目的是其低复杂度和执行快速,从而能够适用在便携式视频解码器中。
结合定位图Loc所得到的可见度测量vk符合按照本发明的方法的主要目的,即定位了其中次网格的存在可被人眼看见并且对例如校正后处理操作产生干扰的解码图像中的区域。
让我们考虑例如后处理块效应的方法的情况,该方法包括主滤波步骤。在所述步骤中至少使用一个滤波器。如前文所述,该方法通常从以下假定开始:
-主网格的定位已知,
-块效应存在于主网格上。
所述滤波器因此被应用于两个像素块之间的边缘。已知次网格的定位,该校正块效应的方法可以结合第二滤波步骤(称为次级滤波步骤),包括至少一个滤波器。如图10所示,对于包括主块效应PG和次块效应SG的给定的一对像素块(B,B’),使用滤波器F2的次级滤波操作例如在使用滤波器F1的主滤波步骤之前。所述滤波器F1被集中在块B和B’之间的边缘上,而所述滤波器F2被集中在由通过按照本发明的方法提供的次网格的定位图Loc标记的块的像素行或列上。如果次网格的加权定位图可用,所述方法还可以使滤波操作适配于块效应的可见度范围。然后就是对最明显的块效应使用较平滑的滤波器的问题。
让我们现在考虑测量解码图像质量的方法,该方法包括计数所述图像中块效应数量的步骤。该方法通常从和前述后处理方法相同的假定开始,即主网格的定位已知和块效应存在于该主网格上。所述计数步骤计数例如存在于块中的每个网格段的块效应或位于网格上的多个像素。已知次网格的定位,该测量质量的方法可以因此将由次网格造成的块效应添加入由主网格造成的块效应的数目中。所得的质量范围因而更现实。如果次网格的加权定位图可用,该方法还可以通过用所计算的块效应数目加权块效应的影响(作为与其关联的可见度的函数)来有利地改善它的质量范围。
图11示出了适于提供解码数字图像DS并包括按照本发明的处理装置的视频解码器DEC的操作。该视频解码器包括:
-用于对所接收的编码图像RI进行可变长度解码VLD的装置,适于提供经量化的数据QD,
-用于对经量化的数据QD进行反量化IQ的装置,适于提供变换的数据TD,
-用于将经变换的数据TD反离散余弦变换IDCT为经反变换的数据ITD的装置,
-用于使用图像存储器MEM重建图像的装置REC,适于根据经反变换的数据ITD和之前的解码图像PDI提供解码图像DI,
-后处理装置PP,适于从解码图像DI和次网格定位图提供经后处理的解码图像PPDI,所述定位图由处理装置SEC_GRID使用按照本发明的处理方法提供。
所述经后处理的解码图像PPDI随后被提供给适于在屏幕上显示所述经后处理的解码图像的显示装置DISP。
图12示出了适于接收数字图像序列IS的视频编码器ENC的操作,并且所述ENC在编码环路中包括适于提供先前的解码图像DI的内部解码装置IDEC,后面是后处理装置PP,适于根据由按照本发明的处理装置SEC_GRID提供的定位图Loc和可能的可见度测量vk,来提供所述经后处理的先前解码图像PPDI。视频编码器ENC包括:
-用于使用例如离散余弦变换将通过从输入图像序列IS的图像I中减去先前的经运动补偿的图像MCI以后而获得的误差图像E离散余弦变换DCT为经变换的数据TD的装置,
-用于量化经变换的数据TD的装置QUANT,适于提供经量化的数据QD,
-用于对经量化的数据进行可变长度编码VLC的装置,适于提供编码图像EI。
该视频编码器ENC还包括内部解码单元IDEC,串联地包括:
-用于对经量化的数据QD进行反量化IQANT的装置,适于提供经变换的数据TD,
-用于将经变换的数据反离散余弦变换为经反变换的数据ITD的装置,
-来自装置IDCT和运动补偿装置MC的数据的加法器ADD,适于提供重建的先前图像RPI,
-后处理装置PP,适于提供经后处理的解码的先前图像PPDI,并包括滤波单元FILT和按照本发明的处理装置SEC_GRID,所述处理装置适于处理来自加法器ADD的输出的经重建的先前图像RPI,从而向所述滤波单元FILT提供次网格的定位图Loc和所述网格的可见度测量vk,
-图像存储器MEM,适于存储由运动补偿装置MC使用的图像,例如先前解码图像PDI,和来自运动估计装置ME的运动矢量MV,
-减法器SUB,适于从数字输入图像I中减去来自运动补偿装置MC的数据,该减法器SUB的结果被提供给离散余弦变换装置DCT。
按照本发明的处理装置SEC_GRID因此可以改善后处理装置PP的性能,并且因而改善解码器DEC或视频编码器ENC的性能。
本发明不限于已经通过示例描述的实施例。在不脱离本发明的范围的情况下可以进行修改或改进。本发明不限于已经按照MPEG-4或H.26L编码技术以低速率编码并随后解码的图像中的次网格检测。也可应用于已经通过使用块和运动补偿的任何技术解码的图像。
以上参考图1-12的描述说明了而不是限制了发明。显然存在不偏离所附权利要求书范围的其它替换例。
有许多利用软件实施所述功能的方式。就此而言,图1-12是非常概略的,并且每个图仅表示一个实施例。虽然图以分离框的形式示出了不同的功能,但是不排除由一个软件项执行几个功能。也不排除由软件集合执行一个功能。
可以通过被合并在便携式多媒体设备(例如个人数字助理或移动电话)中的数字解码电路来实施这些功能,所述电路便于编程。可编程存储器中的指令组可以使得电路执行参考图1-12的前述不同操作。指令组也可以通过读取数据载体(例如CD-ROM)而被装载到可编程存储器中。读取也可以经通信网络(例如因特网)来实现。在此情况下,服务提供商将使指令组供感兴趣的人们任意使用。
权利要求中的括号之间的参考符号不应被解释为限制权利要求。动词“包括”的使用不排除存在权利要求中所述以外的元件或步骤。元件或步骤之前的不定冠词“一个”不排除存在多个这样的元件或步骤。
Claims (11)
1.一种处理按照像素块编码技术编码和解码的数字图像(DI)的方法,所述技术适于提供每个像素块的运动矢量(MV)和每个图像的量化步幅(Q),其特征在于所述方法包括步骤:
-如果其量化步幅(Q)大于预定阈值,选择(SELECT)所述解码图像,
-检测(DETECT)具有次网格的像素块,包括子步骤:
-如果所述块(B8×8)具有小于所述预定亮度阈值(S)的像素亮度变化,检测(UNI)所选定解码图像(SDI)的一致块,
-如果其关联运动矢量(MV)非零并且具有小于预定幅度阈值(Sa)的幅度,选择(MV_SELECT)一致块(B8×8_uni),
-在所选定的一致块(B8×8_uni_tmv)中定位(LOC)次网格为关联运动矢量(MV)的函数。
2.如权利要求1所述的处理解码数字图像(DI)的方法,其特征在于所述方法用于提供所述解码数字图像的次网格的定位图(Loc)。
3.如权利要求1所述的处理解码数字图像的方法,所述图像(DI)属于图像组(IG),其特征在于所述方法还包括步骤:
-评估(VIS)所述所选定解码图像(SDI)中的次网格的可见度测量(Vk)为图像组(IG)中图像(SDI)位置的函数。
4.如权利要求2和3所述的方法,其特征在于可见度测量(Vk)用于加权所选定解码图像(SDI)中次网格定位图(Loc)的像素值。
5.一种用于对解码数字图像(DI)进行后处理(PP)的装置,该装置包括滤波单元(FILT),其特征在于,所述装置包括用于使用如权利要求1-4中的任一权利要求所述的处理方法处理所述图像、提供所述图像中次网格的定位(Loc)的装置(SEC_GRID),所述滤波单元适于考虑所述定位从而提供经处理的解码数字图像(PPDI)。
6.一种测量解码数字图像质量的装置,该装置包括块效应计数器,其特征在于,所述装置包括用于使用如权利要求1-4中的任一权利要求所述的处理方法处理所述图像、提供所述图像中的次网格检测的装置(SEC_GRID),所述块效应计数器适于考虑所述检测从而提供解码数字图像的质量范围。
7.一种用于提供解码数字图像(DI)并包括如权利要求5所述的后处理装置(PP)的视频解码器(DEC),适于提供经处理的解码数字图像(PPDI)。
8.一种用于编码数字输入图像(I)的视频编码器(ENC),该编码器包括提供解码数字图像(DI)的内部解码装置(IDEC),其后跟随着如权利要求5所述的对所述解码图像进行后处理的装置(PP),用于提供经处理的解码数字图像。
9.一种便携式设备,包括如权利要求7所述的视频解码器并适于在所述设备的屏幕上显示经处理的解码数字图像。
10.一种用于处理按照块编码技术编码和解码的数字图像的装置的计算机程序,该计算机程序包括指令组,当装载到所述处理装置的电路中时所述指令组使得所述计算机执行如权利要求1-4中的任一权利要求所述的方法。
11.一种用于传送如权利要求10所述的计算机程序的信号。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0205435 | 2002-04-30 | ||
FR02/05435 | 2002-04-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1650635A true CN1650635A (zh) | 2005-08-03 |
Family
ID=29286325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA038096684A Pending CN1650635A (zh) | 2002-04-30 | 2003-04-22 | 对低速率应用的数字图像进行处理的方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20050175089A1 (zh) |
EP (1) | EP1502442A1 (zh) |
JP (1) | JP2005524353A (zh) |
KR (1) | KR20040106416A (zh) |
CN (1) | CN1650635A (zh) |
AU (1) | AU2003216680A1 (zh) |
WO (1) | WO2003094525A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008110116A1 (en) * | 2007-03-12 | 2008-09-18 | Huawei Technologies Co., Ltd. | A implementing method and device for quantizing encoding and decoding a grid vector |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7793233B1 (en) | 2003-03-12 | 2010-09-07 | Microsoft Corporation | System and method for customizing note flags |
US7774799B1 (en) | 2003-03-26 | 2010-08-10 | Microsoft Corporation | System and method for linking page content with a media file and displaying the links |
US7788589B2 (en) | 2004-09-30 | 2010-08-31 | Microsoft Corporation | Method and system for improved electronic task flagging and management |
US7712049B2 (en) | 2004-09-30 | 2010-05-04 | Microsoft Corporation | Two-dimensional radial user interface for computer software applications |
US7797638B2 (en) | 2006-01-05 | 2010-09-14 | Microsoft Corporation | Application of metadata to documents and document objects via a software application user interface |
US7747557B2 (en) | 2006-01-05 | 2010-06-29 | Microsoft Corporation | Application of metadata to documents and document objects via an operating system user interface |
US20100134631A1 (en) * | 2006-10-30 | 2010-06-03 | Wesleyan University | Apparatus and method for real time image compression for particle tracking |
US7707518B2 (en) | 2006-11-13 | 2010-04-27 | Microsoft Corporation | Linking information |
US7761785B2 (en) | 2006-11-13 | 2010-07-20 | Microsoft Corporation | Providing resilient links |
TWI330041B (en) * | 2006-11-28 | 2010-09-01 | Realtek Semiconductor Corp | Image processing method and device for performing block effect reduction |
JP4626644B2 (ja) * | 2007-11-26 | 2011-02-09 | ソニー株式会社 | 符号化装置、符号化方法、プログラム、及び、撮像装置 |
CN101635049B (zh) * | 2009-06-04 | 2013-10-16 | 北京中星微电子有限公司 | 图像区域的聚类方法和装置以及轮廓搜索方法和装置 |
US9082278B2 (en) * | 2010-03-19 | 2015-07-14 | University-Industry Cooperation Group Of Kyung Hee University | Surveillance system |
FR3036016B1 (fr) * | 2015-05-07 | 2018-10-12 | Orange | Codage/decodage predictif d'images comportant un artefact, utilisant une extrapolation |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06327002A (ja) * | 1993-05-11 | 1994-11-25 | Olympus Optical Co Ltd | 動画像符号化装置 |
DE19626985C1 (de) * | 1996-07-04 | 1998-01-02 | Siemens Ag | Verfahren und Anordnung zur Reduktion von Codierungsartefakten von blockbasierten Bildcodierungsverfahren und objektbasierten Bildcodierungsverfahren |
KR100234316B1 (ko) * | 1997-04-04 | 1999-12-15 | 윤종용 | 링잉노이즈 감소를 위한 신호적응 필터링 방법 및 신호적응필터 |
US6529638B1 (en) * | 1999-02-01 | 2003-03-04 | Sharp Laboratories Of America, Inc. | Block boundary artifact reduction for block-based image compression |
US7003174B2 (en) * | 2001-07-02 | 2006-02-21 | Corel Corporation | Removal of block encoding artifacts |
US6983079B2 (en) * | 2001-09-20 | 2006-01-03 | Seiko Epson Corporation | Reducing blocking and ringing artifacts in low-bit-rate coding |
-
2003
- 2003-04-22 CN CNA038096684A patent/CN1650635A/zh active Pending
- 2003-04-22 EP EP03712591A patent/EP1502442A1/en not_active Withdrawn
- 2003-04-22 KR KR10-2004-7017424A patent/KR20040106416A/ko not_active Application Discontinuation
- 2003-04-22 JP JP2004502630A patent/JP2005524353A/ja not_active Withdrawn
- 2003-04-22 AU AU2003216680A patent/AU2003216680A1/en not_active Abandoned
- 2003-04-22 US US10/512,622 patent/US20050175089A1/en not_active Abandoned
- 2003-04-22 WO PCT/IB2003/001584 patent/WO2003094525A1/en not_active Application Discontinuation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008110116A1 (en) * | 2007-03-12 | 2008-09-18 | Huawei Technologies Co., Ltd. | A implementing method and device for quantizing encoding and decoding a grid vector |
CN101266795B (zh) * | 2007-03-12 | 2011-08-10 | 华为技术有限公司 | 一种格矢量量化编解码的实现方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
AU2003216680A1 (en) | 2003-11-17 |
WO2003094525A1 (en) | 2003-11-13 |
KR20040106416A (ko) | 2004-12-17 |
JP2005524353A (ja) | 2005-08-11 |
EP1502442A1 (en) | 2005-02-02 |
US20050175089A1 (en) | 2005-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4249790B2 (ja) | ビデオ画像を処理するコンピュータ実行方法及び記録媒体 | |
CN1110961C (zh) | 用于消除dct编码的振铃现象的滤波装置和方法 | |
JP5838258B2 (ja) | データをロッシー圧縮符号化する方法および装置、および、データを再構築する対応する方法および装置 | |
US6845180B2 (en) | Predicting ringing artifacts in digital images | |
US8285064B2 (en) | Method for processing images and the corresponding electronic device | |
KR100643819B1 (ko) | 페이딩 보정을 위한 파라미터화 | |
KR100578433B1 (ko) | 페이딩 추정/보정 | |
CN109076225A (zh) | 用于变换系数编码的系统和方法 | |
CN110650349B (zh) | 一种图像编码方法、解码方法、编码器、解码器及存储介质 | |
CN1650635A (zh) | 对低速率应用的数字图像进行处理的方法 | |
JP2008205534A (ja) | 符号化方式変換装置 | |
CN1751522A (zh) | 利用对选定宏块的跳过移动估计进行的视频编码 | |
JP2024054338A (ja) | 画像を復号する方法、ビットストリームに画像を符号化する方法、復号装置、符号化装置、コンピュータプログラム | |
KR20030086076A (ko) | 블록킹 효과를 제거하기 위한 필터링 방법 및 그 장치 | |
JP6065613B2 (ja) | 動画像符号化装置 | |
CN1416640A (zh) | 根据编码信息提供效用度量进行视频增强的装置和方法 | |
KR20030062383A (ko) | 디지털 영상 처리 방법 | |
CN116438567A (zh) | 用于视频编码的基于神经网络的环内滤波 | |
CN1720746A (zh) | 测量区块假像的方法 | |
CN113412618B (zh) | 用于编码和解码表示至少一个图像的数据流的方法和设备 | |
Visavakitcharoen et al. | Compression performance of extended JPEG XT under various TMOs | |
CN1663283A (zh) | 检测块假象的方法 | |
Fryza | Improving quality of video signals encoded by 3D DCT transform | |
JP4008846B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム及びそのプログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20050803 |