CN100562124C - 用于恢复图像处理系统的丢失块的装置和方法 - Google Patents
用于恢复图像处理系统的丢失块的装置和方法 Download PDFInfo
- Publication number
- CN100562124C CN100562124C CNB2004100997740A CN200410099774A CN100562124C CN 100562124 C CN100562124 C CN 100562124C CN B2004100997740 A CNB2004100997740 A CN B2004100997740A CN 200410099774 A CN200410099774 A CN 200410099774A CN 100562124 C CN100562124 C CN 100562124C
- Authority
- CN
- China
- Prior art keywords
- piece
- lose
- losing
- cost
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
- H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
一种用于恢复图像处理系统中的丢失块的方法,其包括:通过使用关于丢失块的COST函数来确定丢失块的特征,并且通过应用一个最适宜于丢失块的特征的错误隐蔽方法来恢复丢失块。由于根据丢失块的特征应用最适宜的错误隐蔽方法来恢复图像,所以提高了接收端的错误恢复操作,并且可以再现与原始图像最接近的图像。
Description
技术领域
本发明涉及一种视频处理技术,尤其涉及一种根据丢失块的特征应用不同的错误隐蔽方法的恢复图像处理系统的丢失块的装置和方法。
背景技术
最近,由于多媒体内容服务的利益的增加,用于恢复通过通信媒体传输的不同的视频信号的视频处理技术变得越来越重要。
视频包括多个帧,其中每个具有不同的屏幕特征和运动程度。进一步,例如每个帧包括16×16象素大小的宏块,其中上述宏块是图像编码的单位。
另外,视频使用DCT(离散余弦变换)技术,可变长度编码技术,运动补偿编码技术等来压缩。并且如果视频块由于在编码过程或传输过程中产生错误而丢失,那么恢复图像的视频质量将降低。
发明内容
因此,本发明的一个目的是至少达到上述和其它目的。
本发明的另一个目的是自动确定在传输中丢失的图像块的特征,并且在接收端应用一种最适宜于该图像块特征的错误隐蔽方法。
为了至少全部或部分达到上述目的,本发明提供一种新颖的装置用于恢复丢失块,其包括丢失块检测器用于确定在所接收的图像块中是否有丢失块,象素差值计算器用于计算具有丢失块的当前帧中的相邻象素与先前帧之间的时间差值(cost1),方差值计算器,用于计算与丢失块相邻的块中的运动向量的方差值(cost2)。该装置还包括块特征确定单元用于通过将时间差值(cost1)和运动向量方差值(cost2)与一个预定阈值进行比较来确定丢失块的特征,丢失块恢复单元,用于通过应用基于所确定的丢失块的特征的最佳错误隐蔽方法来恢复丢失块。本发明还提供一种新颖的方法来处理丢失块。
本发明其它的优点、目的和特征的一部分将通过下述实施例进行阐述,另一部分将通过对下列的审查而对本领域技术人员变得明显或通过本发明的实践而获得。本发明的目的和优点可以由后附的权利要求来实现和获得。
附图说明
本发明将通过下列附图进行详细描述,其中:
图1是根据本发明用于恢复图像处理系统中的丢失块的装置的框图;
图2是表示如表1所定义的每个丢失块特征的分布的图表;
图3是表示根据本发明用于恢复图像处理系统中的丢失块的方法的流程图;
图4是表示领头图像的每一帧的PSNRs(峰值信噪比)的图表;
图5是表示混合图像的每一帧的PSNRs的图表。
具体实施方式
下面将描述一种根据本发明的用于恢复图像处理系统的丢失块的装置和方法。
为了通过补充丢失块来将丢失块恢复得接近于原始图像,可应用不同的错误隐蔽方法。为了选择一个最适宜于每个视频块的错误隐蔽技术,需要精确的确定相应丢失块的特征。即,丢失块的特征可被用作一个在选择应用于每个视频块的最佳错误隐蔽技术时的重要参考。
图1是根据本发明用于恢复图像处理系统中的丢失块的装置的框图;
如图所示,该装置包括丢失块检测器10确定在所传输的视频块中是否有丢失块;象素差值计算器20当由丢失块检测器10检测到丢失块时,计算当前帧与先前帧中的相邻象素之间的时间差值(cost1);以及方差值计算器30当丢失块检测器10检测到丢失块时,计算关于丢失块相邻的块中的关于运动向量的方差值(cost2)。同样示出的还有块特征确定单元40通过将象内时间差值(cost1)和运动向量方差值(cost2)与一个预定阈值进行比较来确定丢失块的特征;丢失块恢复单元50,根据块特征确定单元40所确定的丢失块的特征应用最佳错误隐蔽方法来恢复相应的丢失块。
更加详细的说,象素差值计算器20通过下列等式(1)和(2)来计算来自当前帧和先前帧的丢失块的相邻象素之间的时间差值(cost1)。更进一步,当先前帧与当前帧中的象素比较大于某一个阈值时,所述cost函数由相邻于丢失块的象素的数目所定义。
其中curri是在丢失块周围的象素值,previ是先前帧中与当前丢失块相同位置的块周围的象素值。
象素之间的小的时间差值(cost1)意味着在先前帧和当前帧的之间的丢失块中没有很大的改变,反之,象素之间的大的时间差值(cost1)意味着丢失块的运动很大或者发生了屏幕切换。
另外,方差值计算器30通过下列等式(3)和(4)来计算关于丢失块的相邻块的运动向量的方差值(cost2):
其中MVix和MViy分别是MVi的水平和垂直分量。
小的运动向量方差值(cost2)意味着丢失块周围的七个运动向量具有相同值,而大的运动向量方差值(cost2)意味着运动向量的分布很广以至于相邻块中的运动并不是一致的。
进一步,块特征确定单元40通过将时间差值(cost1)和运动向量方差值(cost2)与一个预定阈值进行比较来确定丢失块的特征。
丢失块的特征可被分为五种类型,例如包括‘场景切换’,‘物体运动’,‘没有运动’,‘相机运动’和‘其它’类型。
‘场景切换’类型是在帧之间发生场景切换的块,‘物体运动’类型是具有不定向运动的物体的块,以及‘没有运动’类型是无运动的块比如在静像相机图像种的背景,以及‘相机运动’类型是大体上具有类似运动就像相机运动的图像的块。‘其它’类型是不属于上述四种类型的块。
表1表示由块特征确定单元40在确定丢失块的特征时作为参考的阈值。每个阈值是通过上述等式(1)和(2)的统计计算值。
表1
cost<sub>1</sub> | cost<sub>2</sub> | |
场景切换 | cost<sub>1</sub>≥60 | - |
相机运动 | cost<sub>1</sub>≥30 | cost<sub>2</sub>≤50 |
物体运动 | cost<sub>1</sub>≥30 | cost<sub>2</sub>≥150 |
没有运动 | cost<sub>1</sub>≤25 | cost<sub>2</sub>≤25 |
其它 | 其它 |
另外,块特征确定单元40计算丢失块的内象素时间差值(cost1)和运动向量方差值(cost2),然后确定阈值范围的cost函数是否相同来确定丢失块的特征。
参见图2,图2是表示如表1所定义的每个丢失块特征的分布的图表。如图所示,具有极小运动或当前帧和先前帧之间差异极小的丢失块分布在左侧的较低区域,而具有大运动或屏幕之间时间差较大的丢失块分布在右侧的较上区域。图中还示出了‘物体运动’和‘相机运动’类型的特征。
进一步,丢失块恢复单元50根据块特征确定单元40所确定的丢失块的特征应用最佳错误隐蔽方法来恢复相应的丢失块。
错误隐蔽方法用在解码图像数据的处理中丢失块的相邻信息来隐蔽错误,并且根据信息的类型将其分为时间替换隐蔽、空间隐蔽以及运动补偿时间隐蔽。
表2表示根据丢失块的特征的最佳错误隐蔽方法的实例。
表2
丢失块的特征 | 错误隐蔽 |
场景切换 | 空间隐蔽 |
相机运动 | 运动补偿时间隐蔽 |
物体运动 | 空间隐蔽 |
没有运动 | 时间替换隐蔽 |
其它 | 运动补偿时间隐蔽 |
如上所示,如果丢失块的特征是‘场景切换’类型或‘物体运动’类型,相应的丢失块使用空间隐蔽方法来恢复。进一步,如果丢失块的特征是‘没有运动’类型,丢失块使用时间替换隐蔽方法来恢复,以及如果丢失块的特征是‘相机运动’类型,相应的丢失块的错误使用运动补偿时间隐蔽方法来恢复。
即,如果图像屏幕之间不相关,就应用空间隐蔽方法,而如果图像屏幕之间非常相关,就应用时间替换隐蔽方法。
接下来,图3是表示根据本发明用于恢复图像处理系统中的丢失块的方法的流程图。如图所示,当图像帧从发送端(未示出)接收图像帧(步骤S11)时,丢失块检测器10确定在图像帧中是否有丢失块(步骤S12)。
如果在图像中检测到了丢失块(步骤S12的“是”),那么计算相邻于当前图像帧的丢失块的象素与先前图像帧的相同位置的象素之间的时间差值(cost1)(步骤S13)。然后,计算当前图像帧中关于丢失块的相邻块的运动向量方差值(cost2)(S14)。在这种情况下,内象素时间差值(cost1)通过等式(1)和(2)计算,而运动向量方差值(cost2)通过等式(3)和(4)计算。
进一步,块特征确定单元40通过将象素之间的时间差值(cost1)和运动向量方差值(cost2)与一个预定阈值进行比较(S15)来确定丢失块的特征(S16)。
预定阈值例如,可通过统计地分析丢失块四种类型的特征与cost函数之间的关系来获得。预定阈值如表1所示。
如果内象素时间差值(cost1)和运动向量方差值(cost2)分别等于或小于第一阈值(T1),丢失块的特征被确定为‘没有运动’类型。如果内象素时间差值(cost1)等于或小于第二阈值(T2)且运动向量的方差值(cost2)等于或小于第三阈值(T3),丢失块的特征被确定为‘相机运动’类型。进一步,如果内象素时间差值(cost1)等于或大于第二阈值(T2)且运动向量的方差值(cost2)等于或大于第五阈值(T5),丢失块的特征被确定为‘物体运动’类型。还有,如果相邻象素之间的时间差值(cost1)等于或大于第四阈值(T4),丢失块的特征被确定为‘屏幕更换’类型(T1<T2<T3<T4<T5)。
然后丢失块恢复单元50通过根据块特征确定单元40所确定的丢失块的特征应用最佳错误隐蔽方法来恢复相应的丢失块。在这种情况下,丢失块特征的最佳错误隐蔽方法如表2所示。
如果丢失块的特征被确定是‘场景切换’类型或‘物体运动’类型(步骤S17的“是”),相应的丢失块使用空间隐蔽方法来恢复(步骤18)。如果丢失块的特征被确定是‘没有运动’类型(步骤S19的“是”),相应的丢失块使用时间替换隐蔽方法来恢复(步骤S20)因为当前帧的块和先前帧的块非常相似。如果丢失块的特征被确定是‘相机运动’类型(步骤S21),相应的丢失块的错误使用运动补偿时间隐蔽方法来恢复(步骤S22),因为丢失块的运动和相邻块的运动几乎相同。
另外,空间隐蔽是一种在丢失块的相邻象素中执行线性内插来恢复丢失块的方法,以及时间替换隐蔽是一种通过用先前帧中相同位置的块来替换丢失块的方法。
进一步,运动补偿时间隐蔽是一种用运动向量在先前帧中寻找最适宜位置的块,并用相应的最适宜的块来替换丢失块的方法,其中所述运动向量可在丢失块的周围被恢复。在这种情况下,当检测到丢失块的相邻块中的运动向量时,计算运动向量之间的中间量并设置为丢失块的运动向量。
在本发明中,当图像屏幕之间不相关时,空间隐蔽方法具有较高的错误恢复效率,而当图像屏幕之间非常相关时,时间替换隐蔽方法具有较高的错误恢复效率。因此,最佳错误隐蔽方法是根据丢失块的这些特征来应用的。
下面参见图4和图5,它们表示根据本发明的用于恢复图像处理系统中的丢失块的装置和方法的执行的模拟效果。在模拟中,使用H.263编码,图像的大小是QCIF和CIF,以及QCIF和CIF的目标比特率分别是112Kbps和322Kbps。
首先,图4是表示领头图像的每一帧的PSNRs(峰值信噪比)的图表,其中时间替换隐蔽和空间隐蔽方法都是灵活应用的。换句话说,在大多帧中执行时间替换隐蔽较好而在具有大运动的一些帧中执行空间隐蔽方法较好。本发明中,在执行空间隐蔽方法的执行较好的帧中应用空间隐蔽方法,而不是时间替换隐蔽方法。
进一步,PSNR表示恢复图像的图像质量的目标估计,其中PNSR越高,原始图像的保存率越高。
接着,图5是表示混合图像的每一帧的PSNRs的图表,其中当PSNR快速改变的部分就是发生了‘场景切换’的部分。
在本发明中,在‘场景切换’发生的部分应用空间隐蔽方法,以及在其它地方应用时间替换隐蔽方法。
如上所述,本发明的用于恢复图像处理系统中的丢失块的装置和方法具有许多优点。
例如,由于通过自动确定传输中丢失块的特征,并灵活应用最适宜的错误隐蔽方法来恢复图像,因此提高了接收端的错误恢复性能。
另外,由于根据丢失块特征用最适宜的错误隐蔽方法来恢复图像,因此可以再现最接近于原始图像的恢复图像。
上述实施方式和优点仅仅是实例而不是本发明的限定。其指教可被应用于其它类型的装置。本发明的描述仅仅是举例说明,并不作为权利要求范围的限定。许多替换、修改和变形对于本领域技术人员来说也是显而易见的。在权利要求中,装置加功能的条款将覆盖执行所述功能的结构,并不仅是结构等同物而且是等同的结构。
Claims (23)
1.一种恢复图像中的丢失块的装置,包括:
丢失块检测器,用于确定在所接收的图像块中是否有丢失块;
象素差值计算器,用于计算具有丢失块的当前帧与先前帧中的相邻象素之间的时间差值cost1;
方差值计算器,用于计算与丢失块相邻的块中的运动向量的方差值cost2;
块特征确定单元,用于通过将时间差值cost1和运动向量方差值cost2与预定阈值进行比较,来确定丢失块的特征;及
丢失块恢复单元,用于根据所确定的丢失块的特征应用最佳错误隐蔽方法以恢复丢失块,其中所述错误隐蔽方法包括:
第一方法,其为一种用先前帧中相同位置的块来替换丢失块的时间方法;
第二方法,其为一种在丢失块的相邻象素中执行线性内插来恢复丢失块的空间方法;
第三方法,其为一种基于运动的时间错误隐蔽方法,其使用丢失块的相邻块中的运动向量,用先前帧中位于最适宜位置的块来替换丢失块。
3.如权利要求1所述的装置,其中所述方差值计算器用下列等式计算运动向量的方差值:
其中MVix和MViy分别是MVi的水平和垂直分量。
4.如权利要求1所述的装置,其中如果所述相邻象素之间的时间差值cost1和运动向量的方差值cost2等于或小于第一阈值T1,块特征确定单元将丢失块的特征确定为第一类型,如果所述相邻象素之间的时间差值cost1等于或大于第二阈值T2并且运动向量的方差值cost2等于或小于第三阈值T3,块特征确定单元将丢失块的特征确定为第二类型,如果所述相邻象素之间的时间差值cost1等于或大于第二阈值T2并且运动向量的方差值cost2等于或大于第五阈值T5,块特征确定单元将丢失块的特征确定为第三类型,以及如果所述相邻象素之间的时间差值cost1等于或大于第四阈值T4,块特征确定单元将丢失块的特征确定为第四类型,其中T1<T2<T3<T4<T5。
5.如权利要求4所述的装置,其中所述第一类型是无运动的块,第二类型是大体上具有类似运动的图像的块;第三类型是具有不定向运动的物体的块,以及第四类型是在图像帧之间发生屏幕更换的块。
6.如权利要求1所述的装置,其中当所述丢失块无运动时应用所述第一方法。
7.如权利要求1所述的装置,其中当所述丢失块具有不定向运动的物体或者丢失块是在相邻帧之间发生屏幕更换的块时应用所述第二方法。
8.如权利要求1所述的装置,其中当所述丢失块具有大体上类似运动的图像时应用所述第三方法。
9.一种恢复图像中的丢失块的方法,包括:
通过关于丢失块的差值函数cost来确定丢失块的特征;
计算与当前帧和先前帧的丢失块相邻的象素之间的时间差值cost1;
计算关于丢失块的相邻块的运动向量的方差值cost2;
通过将cost函数与预定阈值进行比较,来确定丢失块的特征;
通过根据所确定的丢失块的特征应用最佳错误隐蔽方法以恢复丢失块,其中所述错误隐蔽方法包括:
第一方法,其为一种用先前帧中相同位置的块来替换丢失块的时间方法;
第二方法,其为一种在丢失块的相邻象素中执行线性内插来恢复丢失块的空间方法;
第三方法,其为一种基于运动的时间错误隐蔽方法,其使用丢失块的相邻块中的运动向量,用先前帧中位于最适宜位置的块来替换丢失块。
11.如权利要求9所述的方法,其中所述方差值计算器用下列等式计算所述运动向量的方差值:
其中MVix和MViy分别是MVi的水平和垂直分量。
12.如权利要求9所述的方法,其中所述丢失块的特征的确定包括:
如果相邻象素之间的时间差值cost1和运动向量的方差值cost2等于或小于第一阈值T1,将丢失块的特征确定为第一类型;
如果相邻象素之间的时间差值cost1等于或大于第二阈值T2并且运动向量的方差值cost2等于或小于第三阈值T3,将丢失块的特征确定为第二类型;
如果相邻象素之间的时间差值cost1等于或大于第二阈值T2并且运动向量的方差值cost2等于或大于第五阈值T5,将丢失块的特征确定为第三类型;以及
如果相邻象素之间的时间差值cost1等于或大于第四阈值T4,块特征确定单元将丢失块的特征确定为第四类型,其中T1<T2<T3<T4<T5。
13.如权利要求12所述的方法,其中所述第一类型是无运动的块,第二类型是大体上具有相同运动的图像的块;第三类型是具有不定向运动的物体的块,以及第四类型是在图像帧之间发生屏幕更换的块。
14.如权利要求13所述的方法,其中所述丢失块的恢复包括:
如果丢失块是第一类型,通过第一方法来恢复丢失块;
如果丢失块是第三或第四类型,通过第二方法来恢复丢失块;以及
如果丢失块是第二类型,通过第三方法来恢复丢失块。
15.如权利要求10所述的方法,其中所述基于运动的时间错误隐蔽方法包括:
计算丢失块的相邻运动向量的中间值;
将运动向量的中间值设置为丢失块的运动向量;和
计算先前帧中最佳位置的块并且替换丢失块。
16.一种恢复图像中的丢失块的方法,包括:
检测在所传输的图象帧中是否有丢失块;
计算先前帧的象素和当前帧中相邻于丢失块的象素之间的时间差值cost1;
计算与丢失视频块相邻的块中的运动向量的方差值cost2;
将相邻象素之间的时间差值cost1和运动向量方差值cost2与预定阈值进行比较;
根据比较时间差值cost1和运动向量方差值cost2与预定阈值的结果来确定丢失块的特征;
根据所确定的丢失块的特征来应用最佳错误隐蔽方法以恢复相应的丢失块,其中所述错误隐蔽方法包括:
第一方法,其为一种用先前帧中相同位置的块来替换丢失块的时间方法;
第二方法,其为一种在丢失块的相邻象素中执行线性内插来恢复丢失块的空间方法;
第三方法,其为一种基于运动的时间错误隐蔽方法,其使用丢失块的相邻块中的运动向量,用先前帧中位于最适宜位置的块来替换丢失块。
18.如权利要求16所述的方法,其中所述方差值计算器用下列等式计算运动向量的方差值:
其中MVix和MViy分别是MVi的水平和垂直分量。
19.如权利要求16所述的方法,其中所述丢失块的特征的确定包括:
如果相邻象素之间的时间差值cost1和运动向量的方差值cost2等于或小于第一阈值T1,将丢失块的特征确定为第一类型;
如果相邻象素之间的时间差值cost1等于或大于第二阈值T2并且运动向量的方差值cost2等于或小于第三阈值T3,将丢失块的特征确定为第二类型;
如果相邻象素之间的时间差值cost1等于或大于第二阈值T2并且运动向量的方差值cost2等于或大于第五阈值T5,将丢失块的特征确定为第三类型;以及
如果相邻象素之间的时间差值cost1等于或大于第四阈值T4,块特征确定单元将丢失块的特征确定为第四类型,其中T1<T2<T3<T4<T5。
20.如权利要求19所述的方法,其中所述第一类型是无运动的块,第二类型是大体上具有相同运动的图像的块;第三类型是具有不定向运动的物体的块,以及第四类型是在图像帧之间发生屏幕更换的块。
21.如权利要求20所述的方法,其中所述丢失块的恢复包括:。
如果丢失块是第一类型,通过第一方法来恢复丢失块;
如果丢失块是第三或第四类型,通过第二方法来恢复丢失块;以及
如果丢失块是第二类型,通过第三方法来恢复丢失块。
22.如权利要求21所述的方法,进一步包括:
如果丢失块具有与第一到第四类型不同的特征,用第三方法来恢复丢失块。
23.如权利要求16所述的方法,其中所述基于运动的时间错误隐蔽方法包括:
计算丢失块的相邻运动向量的中间值;
将运动向量的中间值设置为丢失块的运动向量;和
计算先前帧中最佳位置的块并替换丢失块。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20030096868A KR100621005B1 (ko) | 2003-12-24 | 2003-12-24 | 영상 오류 복구장치 및 방법 |
KR1020030096868 | 2003-12-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1665308A CN1665308A (zh) | 2005-09-07 |
CN100562124C true CN100562124C (zh) | 2009-11-18 |
Family
ID=34545909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004100997740A Expired - Fee Related CN100562124C (zh) | 2003-12-24 | 2004-12-24 | 用于恢复图像处理系统的丢失块的装置和方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7684492B2 (zh) |
EP (1) | EP1549079B1 (zh) |
JP (1) | JP4104593B2 (zh) |
KR (1) | KR100621005B1 (zh) |
CN (1) | CN100562124C (zh) |
AT (1) | ATE525860T1 (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050001935A1 (en) * | 2003-07-03 | 2005-01-06 | Shinya Kiuchi | Image processing device, image display device, and image processing method |
KR100692600B1 (ko) * | 2005-02-22 | 2007-03-13 | 삼성전자주식회사 | 움직임 추정 장치 및 방법 |
WO2007026302A2 (en) * | 2005-09-01 | 2007-03-08 | Koninklijke Philips Electronics N.V. | Method and device for coding and decoding of video error resilience |
US7916796B2 (en) * | 2005-10-19 | 2011-03-29 | Freescale Semiconductor, Inc. | Region clustering based error concealment for video data |
KR100771138B1 (ko) * | 2005-12-29 | 2007-10-29 | 엠텍비젼 주식회사 | 촬영 장치 및 영상 보정 방법 |
JP4730183B2 (ja) * | 2006-04-17 | 2011-07-20 | 株式会社日立製作所 | 映像表示装置 |
KR100834625B1 (ko) * | 2006-07-27 | 2008-06-02 | 삼성전자주식회사 | 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환검출 방법 |
KR100801155B1 (ko) * | 2006-08-24 | 2008-02-05 | 한양대학교 산학협력단 | H.264에서의 저복잡도를 가지는 공간적 에러 은닉방법 |
US8509313B2 (en) * | 2006-10-10 | 2013-08-13 | Texas Instruments Incorporated | Video error concealment |
KR101490521B1 (ko) * | 2007-10-10 | 2015-02-06 | 삼성전자주식회사 | 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환검출 방법, 이를 이용한 영상통화 품질 향상 방법, 및영상통화 시스템 |
KR100943068B1 (ko) * | 2008-02-29 | 2010-02-18 | 전남대학교산학협력단 | 곡선 보간을 이용한 에러복원방법 |
US20110249127A1 (en) * | 2010-04-07 | 2011-10-13 | Cisco Technology, Inc. | Estimating Video Quality Corruption in Lossy Networks |
US8976873B2 (en) * | 2010-11-24 | 2015-03-10 | Stmicroelectronics S.R.L. | Apparatus and method for performing error concealment of inter-coded video frames |
KR101910110B1 (ko) | 2011-09-26 | 2018-12-31 | 삼성디스플레이 주식회사 | 표시 장치 및 그 구동 방법 |
US9865226B2 (en) * | 2014-09-05 | 2018-01-09 | International Business Machines Corporation | Image color correction for electronic displays |
US10291931B2 (en) * | 2016-10-13 | 2019-05-14 | Ati Technologies Ulc | Determining variance of a block of an image based on a motion vector for the block |
CN107657591A (zh) * | 2017-09-05 | 2018-02-02 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
US10992938B2 (en) * | 2018-09-28 | 2021-04-27 | Ati Technologies Ulc | Spatial block-level pixel activity extraction optimization leveraging motion vectors |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05244468A (ja) * | 1992-02-28 | 1993-09-21 | Mitsubishi Electric Corp | 画像受信装置 |
US5247363A (en) | 1992-03-02 | 1993-09-21 | Rca Thomson Licensing Corporation | Error concealment apparatus for hdtv receivers |
US5943444A (en) * | 1993-03-31 | 1999-08-24 | Canon Kabushiki Kaisha | Image reproducing apparatus |
US5621467A (en) * | 1995-02-16 | 1997-04-15 | Thomson Multimedia S.A. | Temporal-spatial error concealment apparatus and method for video signal processors |
KR100197368B1 (ko) | 1995-12-23 | 1999-06-15 | 전주범 | 영상 에러 복구 장치 |
KR100388802B1 (ko) | 1998-11-16 | 2003-10-22 | 엘지전자 주식회사 | 오류은폐장치및방법 |
KR100587280B1 (ko) | 1999-01-12 | 2006-06-08 | 엘지전자 주식회사 | 오류 은폐방법 |
US7110454B1 (en) * | 1999-12-21 | 2006-09-19 | Siemens Corporate Research, Inc. | Integrated method for scene change detection |
KR100774453B1 (ko) | 2001-03-15 | 2007-11-08 | 엘지전자 주식회사 | 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법 |
US20050033505A1 (en) * | 2002-12-05 | 2005-02-10 | Premier Wireless, Inc. | Traffic surveillance and report system |
-
2003
- 2003-12-24 KR KR20030096868A patent/KR100621005B1/ko not_active IP Right Cessation
-
2004
- 2004-12-08 US US11/006,562 patent/US7684492B2/en not_active Expired - Fee Related
- 2004-12-13 AT AT04029464T patent/ATE525860T1/de not_active IP Right Cessation
- 2004-12-13 EP EP20040029464 patent/EP1549079B1/en not_active Not-in-force
- 2004-12-21 JP JP2004370253A patent/JP4104593B2/ja not_active Expired - Fee Related
- 2004-12-24 CN CNB2004100997740A patent/CN100562124C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
KR20050065104A (ko) | 2005-06-29 |
EP1549079B1 (en) | 2011-09-21 |
JP4104593B2 (ja) | 2008-06-18 |
US20050141622A1 (en) | 2005-06-30 |
KR100621005B1 (ko) | 2006-09-08 |
EP1549079A3 (en) | 2005-12-21 |
JP2005192218A (ja) | 2005-07-14 |
ATE525860T1 (de) | 2011-10-15 |
US7684492B2 (en) | 2010-03-23 |
EP1549079A2 (en) | 2005-06-29 |
CN1665308A (zh) | 2005-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100562124C (zh) | 用于恢复图像处理系统的丢失块的装置和方法 | |
Nam et al. | A fast hierarchical motion vector estimation algorithm using mean pyramid | |
US6690729B2 (en) | Motion vector search apparatus and method | |
US7460172B2 (en) | Frame interpolating method and apparatus thereof at frame rate conversion | |
US6091460A (en) | Video signal encoding method and system | |
US20060262855A1 (en) | Method and apparatus for compensating for motion vector errors in image data | |
US20070206117A1 (en) | Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video | |
US8155213B2 (en) | Seamless wireless video transmission for multimedia applications | |
KR20070003502A (ko) | 에러 은닉 방법 및 장치 | |
Wu et al. | A temporal error concealment method for H. 264/AVC using motion vector recovery | |
KR100640498B1 (ko) | 프레임의 오류 은닉 장치 및 방법 | |
KR100227560B1 (ko) | 이동-화상 신호 대역 제한 방법 및 장치 | |
US6724821B1 (en) | Picture coding apparatus with coding efficiency improved | |
US8090031B2 (en) | Method for motion compensation | |
JP3903445B2 (ja) | 最適グリッド決定方法及びその装置 | |
Chen et al. | Recursive block-matching principle for error concealment algorithm | |
CN1185699A (zh) | 用于消除在比特数据流中的误差的方法和装置 | |
Hsu et al. | High‐Performance Spatial and Temporal Error‐Concealment Algorithms for Block‐Based Video Coding Techniques | |
Zabihi et al. | Adaptive temporal error concealment method based on the MB behavior estimation in the video | |
Ghanbari et al. | A cluster based method for the recovery of the lost motion vectors in video coding | |
US20060204114A1 (en) | Multi-resolution motion estimator and method for estimating a motion vector | |
CN114554213B (zh) | 一种运动自适应和关注细节的压缩视频质量增强方法 | |
Park et al. | Recovery of motion vectors by detecting homogeneous movements for H. 263 video communications | |
KR100228684B1 (ko) | 움직임 추정에 기초한 시간예측 오류 은폐방법 및 장치 | |
Xiang et al. | A high efficient error concealment scheme based on auto-regressive model for video coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20091118 Termination date: 20171224 |
|
CF01 | Termination of patent right due to non-payment of annual fee |