CN1972421A - 帧插补器、帧插补方法以及运动可靠性评价器 - Google Patents
帧插补器、帧插补方法以及运动可靠性评价器 Download PDFInfo
- Publication number
- CN1972421A CN1972421A CNA2006101468739A CN200610146873A CN1972421A CN 1972421 A CN1972421 A CN 1972421A CN A2006101468739 A CNA2006101468739 A CN A2006101468739A CN 200610146873 A CN200610146873 A CN 200610146873A CN 1972421 A CN1972421 A CN 1972421A
- Authority
- CN
- China
- Prior art keywords
- sad
- frame
- mrow
- candidate
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 283
- 238000011156 evaluation Methods 0.000 claims abstract description 47
- 230000000737 periodic effect Effects 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 27
- 238000009499 grossing Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 description 14
- 230000000903 blocking effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种帧插补器,包括:运动估计单元,将当前帧划分为多个参考块,比较参考块和先前帧中设置的搜索区域,并估计初始运动向量。可靠性评价单元对初始运动向量的可靠性进行评价并产生指示评价结果的可靠性评价数据。帧插补单元以初始运动向量和可靠性评价数据为基础,把将被插入的中间帧插补到当前帧和先前帧之间。本发明提供了一种能够改善帧插补质量并减少块效应的帧插补器、帧插补方法和运动可靠性评价器。
Description
本申请要求于2005年11月25日提交到韩国知识产权局的第2005-0113660号韩国专利申请的利益,其全部内容包含于此,以资参考。
技术领域
本发明涉及一种帧插补器、帧插补方法以及运动可靠性评价器。更具体地讲,本发明涉及一种使用运动向量估计和运动向量补偿的帧插补器、帧插补方法以及运动可靠性评价器。
背景技术
通常,帧率转换指的是将输入图像信号的频率转换为适合于输出标准的频率。例如,为了将图像信号50Hz的频率转换为100Hz的频率,新的帧被插入到原有帧之间。这时,如果原有帧重复或者时间线性插补方法被使用,则发生运动模糊(运动淡出现象)。为此,通常使用运动估计和补偿方法作为高清晰度帧率转换方法,以有效地减少这种运动模糊。
为了使用这种运动估计和补偿方法来插补帧,积极地开发了各种插补方法。作为这样的插补方法中的一种,块匹配方法被广泛地使用。
在帧插补中,正确地估计运动向量非常重要。如果运动向量被不正确地估计,则在插补帧中发生块效应。如上所述,虽然已经开发和提出了许多使用运动估计和补偿的帧插补方法,但是有时由于信号的噪声分布、小孔问题等,不正确的运动向量可能被估计。
此外,因为排列在当前帧和插补帧中的相同位置的块由于时间差而具有不同的运动向量,所以可能产生块效应。如果在当前帧中估计的运动向量被直接用作相应的插补帧的运动向量,则将产生块效应。
发明内容
因此,本发明示例性实施例的一方面在于提供一种能够改善帧插补质量并减少块效应的帧插补器、帧插补方法和运动可靠性评价器。
本发明示例性实施例的上述和/或其他示例性方面通过提供一种帧插补器来实现,所述帧插补器包括:运动估计单元,将当前帧划分为多个参考块,每个参考块具有特定的大小。所述参考块与先前帧中设置的搜索区域进行比较,并且初始运动向量被估计。提供可靠性评价单元用于对初始运动向量的可靠性进行评价并产生关于评价结果的可靠性评价数据。帧插补单元以初始运动向量和可靠性评价数据为基础,把将被插入的中间帧插补到当前帧和先前帧之间。
根据本发明示例性实施例的一方面,所述可靠性评价单元包括:平滑块检测单元,确定参考块是否包含平滑块;周期块检测单元,确定参考块是否包含周期块;和可靠性产生单元,根据检测结果产生可靠性评价数据。
根据本发明示例性实施例的一方面,所述平滑块检测单元根据下面的等式来确定参考块是否包含平滑块:
Se<Thr2 and Sd<Thr3
{Pmn(i,j)|0≤i≤Mb-1,0≤j≤Nb-1}
其中,
并且
其中,Thr1、Thr2和Thr3表示参考值。
根据本发明示例性实施例的一方面,如果满足下面四个不等式,则所述周期块检测单元确定参考块包含周期块。
1)|SADC(p1,q1)-SADC(p0,q0)|<Thr4
2)|p1-p0|+|q1-q0|>Thr5
SADC(p1,q1)<SADC(p1-1,q1),SADC(p1,q1)<SADC(p1,q1-1),
3)
SADC(p1,q1)<SADC(p1+1,q1),SADC(p1,q1)<SADC(p1,q1+1)
4)SADC(p1+p0)/2,(q1+q0)/2)>Thr6*SADC(p0,q0)
其中,Thr4、Thr5和Thr6表示参考值。
根据本发明示例性实施例的一方面,所述帧插补单元根据对称块匹配方法来插补中间帧。
根据本发明示例性实施例的一方面,所述帧插补单元包括:运动选择单元,以初始运动向量和可靠性评价数据为基础来决定最终运动向量;和运动补偿单元,根据决定的最终运动向量把将被插入的中间帧插补到当前帧和先前帧之间。
根据本发明示例性实施例的一方面,所述运动选择单元包括:候选产生单元,用于以初始运动向量和可靠性评价数据为基础产生多个候选向量。
根据本发明示例性实施例的一方面,所述候选产生单元包括:第一候选产生单元,以初始运动向量和可靠性评价数据为基础产生多个候选向量;和第二候选产生单元,以先前的插补帧的运动场和先前插补的相邻块的运动向量为基础产生多个候选向量。
根据本发明示例性实施例的一方面,所述第一候选产生单元包括:区域选择单元,在初始运动向量场中选择分别与多个候选向量相应的多个区域;中值滤波器,对所选的多个区域中的第一区域执行中值滤波,并产生第一候选向量;第一SAD计算器,从所选的多个区域中的第二区域计算最小SAD值,并产生第二候选向量;第二SAD计算器,从所选的多个区域中的第三区域计算最小SAD值,并产生第三候选向量;和第三SAD计算器,从所选的多个区域中的第四区域计算最小SAD值,并产生第四候选向量。
根据本发明示例性实施例的一方面,第一区域如下定义:
{BMVk(m+x,n+y)∈SP1|-2≤x≤2,-2≤y≤2}
其中,BMVk表示初始运动向量场,k表示帧数量,SP1表示第一区域,坐标值(m+x,n+y)表示块的左上方像素的每个位置。
根据本发明示例性实施例的一方面,第二区域如下定义:
{BMVk(m+x,n+y)∈SP′1| BMVk(m+x,n+y)∈SP1,Ck(m+x,n+y)=0,-2≤x≤2,-2≤y≤2}
其中,SP′1表示第二区域,Ck(m+x,n+y)=0表示相应的块不处于平滑区域以及周期区域中,第二区域SP′1是第一区域SP1的一部分。
根据本发明示例性实施例的一方面,第三区域如下定义:
{BMVk(m+x,n+y)∈SP2|-1≤x≤1,-1≤y≤1}
其中,SP2表示第三区域。
根据本发明示例性实施例的一方面,第四区域如下定义:
{BMVk(m+x,n+y)∈SP′2|BMVk(m+x,n+y)∈SP2,Ck(m+x,n+y)=0,-1≤x≤1,-1≤y≤1}
其中,SP′2表示第四区域,Ck(m+x,n+y)=0表示相应的块不处于平滑区域以及周期区域中,SP′2是第三区域SP2的一部分。
根据本发明示例性实施例的一方面,所述第二候选产生单元选择参考块左方相邻块的运动向量作为第五候选向量,选择参考块上方相邻块的运动向量作为第六候选向量,选择先前的插补帧中的参考块右下方相邻块的运动向量作为第七候选向量。
根据本发明示例性实施例的一方面,所述运动选择单元包括:第一最终候选选择单元,根据第一选择标准将从第一候选产生单元产生的多个候选向量中的一个决定为第一最终候选向量;第二最终候选选择单元,根据第二选择标准将从第二候选产生单元产生的多个候选向量中的一个决定为第二最终候选向量;和最终向量决定单元,根据第三选择标准选择第一最终候选向量和第二最终候选向量中的一个作为最终运动向量。
根据本发明示例性实施例的一方面,第一选择标准如下定义:
if(SADC1<Thr7)or(SADC1<SADC3+Thr8),V1=CV1
else if(KC4<5)and((SADC2<Thr7)or(SADC2<SADC3+Thr8),
V1=CV2
else if(KC4>5)and((SADC4<Thr7)or(SADC4<SADC3+Thr8),
V1=CV4
else V1=CV3
其中,SADC1表示根据第一候选向量的最小SAD值,SADC2表示根据第二候选向量的最小SAD值,SADC3表示根据第三候选向量的最小SAD值,SADC4表示根据第四候选向量的最小SAD值,KC4是运动向量的数量,Thr7和Thr8表示参考值,CV1、CV2、CV3和CV4分别表示第一候选向量、第二候选向量、第三候选向量和第四候选向量,V1表示第一最终候选向量。
根据本发明示例性实施例的一方面,第二选择标准取决于根据对称块匹配方法的最小SAD值。
根据本发明示例性实施例的一方面,第三选择标准如下定义:
if(|V1-CV5|>Thr9)and(|V1-CV6|>Thr9)and(|V1-CV7|>Thr9)
and((SADV2<Thr7)or(SADV2<SADV1+Thr8)),BMVk-0.5(m,n)=V2
else BMVk-0.5(m,n)=V1
其中,SADC5表示根据第五候选向量的最小SAD值,SADC6表示根据第六候选向量的最小SAD值,SADC7表示根据第七候选向量的最小SAD值,Thr7、Thr8和Thr9表示参考值,CV5、CV6和CV7分别表示第五候选向量、第六候选向量和第七候选向量,V1表示第一最终候选向量,V2表示第二最终候选向量。
根据本发明示例性实施例的一方面,所述帧插补单元通过下面的等式来插补中间帧:
if(SADV<Thr10),Bk-0.5(m,n)=B′k(m,n)
else Bk-0.5(m,n)=(B′k(m,n)+B′k-1(m,n))/2
其中,SADV表示根据最终候选向量的最小SAD值,Thr10表示参考值,Bk-0.5(m,n)表示将被插补的块,B′k(m,n)表示当前帧的匹配块,B′k-1(m,n)表示先前帧的匹配块。
根据本发明示例性实施例的一方面,所述运动估计单元根据完全搜索块匹配算法来估计初始运动向量。
本发明示例性实施例的上述和/或其他示例性方面通过提供一种帧插补方法来实现,所述帧插补方法包括:将当前帧划分为多个参考块,比较参考块和先前帧中设置的预定搜索区域,并估计初始运动向量;对初始运动向量的可靠性进行评价,并产生关于评价结果的可靠性评价数据;和以初始运动向量和可靠性评价数据为基础,把将被插入的中间帧插补到当前帧和先前帧之间。
根据本发明示例性实施例的一方面,所述产生可靠性评价数据的步骤包括:确定参考块是否是平滑块;确定参考块是否是周期块;和根据确定的结果产生可靠性评价数据。
根据本发明示例性实施例的一方面,在所述插补中间帧的步骤中,根据对称块匹配方法插补中间帧。
根据本发明示例性实施例的一方面,所述插补中间帧的步骤包括:以可靠性评价数据为基础决定最终运动向量;和根据最终运动向量把将被插入的中间帧插补到当前帧和先前帧之间。
根据本发明示例性实施例的一方面,所述决定最终运动向量的步骤包括:以初始运动向量和可靠性评价数据为基础产生多个候选向量;和根据标准将所述多个候选向量中的一个决定为最终运动向量。
根据本发明示例性实施例的一方面,所述产生多个候选向量的步骤包括:以初始运动向量和可靠性评价数据为基础产生多个第一候选向量;和以先前的插补帧的运动场和先前插补的相邻块的运动向量为基础产生多个第二候选向量。
根据本发明示例性实施例的一方面,所述产生多个第一候选向量的步骤包括:在初始运动向量场中选择分别与多个候选向量相应的多个区域;对所选的多个区域中的第一区域执行中值滤波,并产生第一候选向量;从所选的多个区域中的第二区域计算最小SAD值,并产生第二候选向量;从所选的多个区域中的第三区域计算最小SAD值,并产生第三候选向量;和从所选的多个区域中的第四区域计算最小SAD值,并产生第四候选向量。
根据本发明示例性实施例的一方面,所述产生多个第二候选向量的步骤包括:选择参考块左方相邻块的运动向量作为第五候选向量;选择参考块上方相邻块的运动向量作为第六候选向量;和选择先前的插补帧中的参考块右下方相邻块的运动向量作为第七候选向量。
根据本发明示例性实施例的一方面,所述决定最终运动向量的步骤包括:根据第一选择标准选择从第一候选产生单元产生的多个候选向量中的一个作为第一最终候选向量;根据第二选择标准选择从第二候选产生单元产生的多个候选向量中的一个作为第二最终候选向量;和根据第三选择标准将第一最终候选向量和第二最终候选向量中的一个决定为最终运动向量。
本发明示例性实施例的上述和/或其他示例性方面通过提供一种运动可靠性评价器来实现,所述运动可靠性评价器包括:运动估计单元,将当前帧划分为多个参考块,比较参考块和先前帧中设置的搜索区域,并估计初始运动向量;周期块检测单元,确定参考块是否包含周期块;和可靠性产生单元,根据确定的结果产生可靠性评价数据。
根据本发明示例性实施例的一方面,如果满足下面四个不等式,则所述周期块检测单元确定参考块是周期块:
1)|SADC(p1,q1)-SADC(p0,q0)|<Thr4
2)|p1-p0|+|q1-q0|>Thr5
SADC(p1,q1)<SADC(p1-1,q1),SADC(p1,q1)<SADC(p1,q1-1),
3)
SADC(p1,q1)<SADC(p1+1,q1),SADC(p1,q1)<SADC(p1,q1+1)
4)SADC(p1+p0)/2,(q1+q0)/2)>Thr6*SADC(p0,q0)
其中,Thr4、Thr5和Thr6表示参考值。
根据本发明示例性实施例的一方面,所述运动可靠性评价器还包括:平滑块检测单元,确定参考块是否包含平滑块。
根据本发明示例性实施例的一方面,所述平滑块检测单元根据下面的等式来确定参考块是否包含平滑块:
Se<Thr2 and Sd<Thr3
{Pmn(i,j)|0≤i≤Mb-1,0≤j≤Nb-1}
其中,
并且
其中,Thr1、Thr2和Thr3表示参考值。
根据本发明示例性实施例的一方面,每一参考块包含特定大小。
根据本发明示例性实施例的一方面,每一参考块包含特定大小。
根据本发明示例性实施例的一方面,每一参考块包含特定大小。
附图说明
通过下面结合附图对示例性实施例进行的描述,本发明示例性实施例的以上和/或其他方面和优点将会变得清楚和更易于理解,其中:
图1是根据本发明示例性实施例的帧插补器的控制框图;
图2A和图2B是解释根据本发明示例性实施例的帧插补器执行的运动插补方法的示图:
图3是根据本发明示例性实施例的图1所示的运动选择单元的控制框图;
图4是根据本发明示例性实施例的图3所示的第一候选产生单元的控制框图;和
图5是解释根据本发明示例性实施例的图3所示的第二候选产生单元选择的候选向量的位置关系的示图。
具体实施方式
现在对本发明的示例性实施例进行详细的描述,本发明实施的示例表示在附图中。以下参照附图描述这些示例性实施例,以便于理解本发明的特定示例性方面。
图1是根据本发明示例性实施例的帧插补器的控制框图。
参照图1,所述帧插补器包括运动估计单元10、可靠性评价单元20和帧插补单元30。
为了获得当前帧Fk初始的运动场BMVk,运动估计单元10将当前帧Fk划分为多个块,每个块由具有特定大小的Bk(m,n)索引,并且运动估计单元10将其运动将在当前帧Fk中被估计的块(以下称为“参照块”)与先前帧Fk-1的搜索区域进行比较,从而估计初始的运动向量BMVk(m,n)。在示例性实现中,运动估计单元10使用完全搜索块匹配(FSBM)算法来计算多个运动预测误差值。此外,运动估计单元10从具有最小运动预测误差值的位置估计各块的运动向量。可通过多种方法来计算运动预测误差值,如绝对差值和(SAD)方法或平均绝对差值(MAD)方法。
在示例性实现中,“k”是帧的序号,并且可不同地设置块大小,如16×8,8×8等。在示例性实施例中,块大小设置为Mb*Nb。
运动估计单元10根据FSBM算法,在如下等式1定义的SAD方法的基础上,在如下定义的搜索区域中关于当前帧Fk的每个块Bk(m,n)从先前帧中搜索匹配的块B′mn。
{(p,q)∈Rmn|0≤p≤Ms-1,0≤q≤Ns-1}
其中,(d1,d2)表示当前帧Fk的块Bk(m,n)和先前帧Fk-1的参考块B′mn之间的位移。也就是说,两个匹配的块Bk(m,n)和B′mn之间的位移被设置为块Bk(m,n)的初始运动向量BMVk(m,n)。如下等式2定义了初始运动向量BMVk(m,n)。
如果运动估计单元10估计到初始运动向量BMVk(m,n),则可靠性评价单元20对估计的初始运动向量BMVk(m,n)的可靠性进行评价,如图1所示。如上所述的FSBM算法从先前帧Fk-1中搜索所有可能的候选位置,以检测与当前帧Fk的每个块最优匹配的参考块。然而,由于原始信号的噪声分布和小孔问题,因此可估计到某些错误的运动向量。为此,通过可靠性评价单元20对估计的初始运动向量BMVk(m,n)的可靠性进行评价。
根据本发明示例性实施例的可靠性评价单元20包括周期块检测单元21、平滑块检测单元23和可靠性产生单元25。
在平滑区域和具有周期结构的区域中产生大多数的误差向量。因此,在示例性实施例中,提供有用于检测具有周期结构的周期区域的周期块检测单元21和由于检测平滑区域的平滑块检测单元23。
此外,根据检测结果,可靠性产生单元25产生可靠性矩阵Ck并将其输出。在示例性实现中,表示每个块的运动向量的可靠性的可靠性矩阵Ck(m,n)初始设置为0。如果确定参考块Bk(m,n)是平滑块,则其可靠性矩阵Ck(m,n)设置为1。如果确定参考块Bk(m,n)是具有周期结构的块,则其可靠性矩阵Ck(m,n)设置为2。
在下文中,将描述根据本发明示例性实施例的由平滑块检测单元23执行的示例性平滑块检测方法。
通过两个参数Se。和Sd来确定参考块是否是平滑块。参数Se是边缘像素的数量,所述边缘像素表示当前像素的灰度级和其相邻像素中的一个像素的灰度级之差大于参考值。此外,参数Sd是相同块中每个像素的灰度级和该像素的左方和下方相邻像素的灰度级之差的和。在当前块Bk(m,n)中,如下的等式3定义了像素。
{Pmn(i,j)|0≤i≤Mb-1,0≤j≤Nb-1}
(3)
通过下面的等式4来计算参数Se和Sd。
其中,Thr1表示参考值。如果参数Se小于另一参考值Thr2并且参数Sd小于另一参考值Thr3,则确定当前块Bk(m,n)是平滑块并且可靠性矩阵Ck(m,n)被设置为1。
在下文中,将描述根据本发明示例性实施例的由周期块检测单元21执行的周期块检测方法。
基于每个块的SAD矩阵来检测具有周期结构的块。运动估计单元10根据FSBM算法在先前帧Fk-1的预定搜索范围中搜索所有可能的候选位置,以检测与当前帧Fk的每个块Bk(m,n)匹配的参考块。也就是说,运动估计单元10关于每个块Bk(m,n)配置SAD值被记录在所有可能的候选位置的SAD矩阵,并将所述SAD矩阵提供给周期块检测单元21。
如下的等式5定义了当前块Bk(m,n)的SAD矩阵SADC。
{SADC(p,q)|0≤p≤Ms-1,0≤q≤Ns-1}
(5)
SAD矩阵SADC的最小值由SADC(p0,q0)表示。具有周期结构的块可得到与最小SAD矩阵值SADC(p0,q0)非常相似的最小SAD值。如果检测到这样的最小SAD值,则确定当前块Bk(m,n)是具有周期结构的块。
也就是说,周期块检测单元21检查SAD矩阵SADc的所有值,以确定是否从周期结构获得局部最小SAD值。如果表示为SADC(p1,q1)的SAD矩阵SADC中的值满足下面的四个等式,则确定相应的块是周期块。因此,可靠性矩阵Ck(m,n)被设置为2。
1)|SADC(p1,q1)-SADC(p0,q0)|<Thr4
2)|p1-p0|+|q1-q0|>Thr5
SADC(p1,q1)<SADC(p1-1,q1),SADC(p1,q1)<SADC(p1,q1-1),
3)
SADC(p1,q1)<SADC(p1+1,q1),SADC(p1,q1)<SADC(p1,q1+1)
4)SADC(p1+p0)/2,(q1+q0)/2)>Thr6*SADC(p0,q0)
(6)
其中,Thr4、Thr5和Thr6表示参考值。
可靠性评价数据在下面的帧插补中用于判定最终运动向量。
如上所述,通过运动估计单元10估计当前帧的每个块的初始运动向量,通过可靠性评价单元20对所述运动向量的可靠性进行评价。帧插补单元30以初始运动向量和可靠性评价数据为基础,把将被插入的中间帧插补到当前帧和先前帧之间。
在下文中,将参照图2A和图2B来描述帧插补单元30。如图2A所示,帧插补单元30以初始运动场BMVk为基础,使用当前帧Fk和先前帧Fk-1作为参考帧来插补新的中间帧Fk-0.5。
这时,帧插补单元30应用对称插补模式来执行插补。在示例性实现中,运动估计单元10使用逆匹配方法(inverse matching method)作为运动估计方法。此外,使用对称匹配方法作为插补方法。对称插补模式将中间帧Fk-0.5划分为不重叠的多个矩形块Bk-0.5(m,n),并通过使用当前帧Fk和先前帧Fk-1作为参考帧来估计每个块Bk-0.5(m,n)的运动向量BMVk-0.5(m,n)。
如图2A所示,通过先前帧Fk-1和当前帧Fk的两个参考块B′k-1(m,n)和B′k(m,n)来插补块Bk-0.5(m,n)的像素值。在图2A中,B1表示将被插补的块Bk-0.5(m,n),Bc表示当前帧Fk的参考块B′k(m,n),Bp表示先前帧Fk-1的参考块B ′k-1(m,n)。
参考块B′k-1(m,n)和B′k(m,n)的位置根据块Bk-0.5(m,n)的位置、运动向量BMVk-0.5(m,n)、先前帧Fk-1和插补帧Fk-0.5之间的时间差d1以及插补帧Fk-0.5和当前帧Fk之间的时间差d2被线性地确定。
图2B是解释块Bk-0.5(m,n)的位置与参考块B′k-1(m,n)和B′k(m,n)的位置之间的关系的示图。各块的位置可通过下面的等式7来计算。
其中,POSI表示块BI的位置,POSc表示块Bc的位置,POSp表示块Bp的位置。参考块B′k-1(m,n)和B′k(m,n)之间的SAD值也被称作块Bk-0.5(m,n)的对称匹配SAD。
在对称插补模式下,如图2A所示,块Bk-0.5(m,n)位于划分的矩形块,然而,参考块B′k-1(m,n)和B′k(m,n)可不位于划分的矩形块。因此,中间帧Fk-0.5中的所有像素可从上至下地被插补。在对称插补模式下,运动向量BMVk-0.5(m,n)应该被确定。然而,由于当前帧Fk和先前帧Fk-1之间的时间间隔,因此运动向量BMVk-0.5(m,n)可与运动向量BMVk(m,n)不同。如果运动向量BMVk(m,n)直接用作运动向量BMVk-0.5(m,n),则将出现块效应。
在下文中,将详细描述根据本发明实施例的帧插补单元30。
如图1所示,帧插补单元30包括:运动选择单元40,用于以初始运动向量和可靠性评价数据为基础来决定最终运动向量;和运动补偿单元50,用于根据决定的最终运动向量对运动进行补偿。
在示例性实施例中,运动选择单元40以运动向量BMVk和可靠性矩阵Ck为基础来产生7个候选向量,然后从所述7个候选向量中选择用于运动向量BMVk-1(m,n)的最优候选向量。以下将参照图3、图4和图5来详细描述这一过程。
参照图3,运动选择单元40包括候选产生单元41,其用于产生多个候选向量。候选产生单元41包括第一候选产生单元41a和第二候选产生单元41b。
第一候选产生单元41a从初始运动场BMVk产生4个候选向量。所述4个候选向量从初始运动场BMVk的不同部分被分别选择。第二候选产生单元41b从先前帧Fk-1的插补块的运动向量和表示为BMVk-1.5(m,n)的先前的插补帧Fk-1.5的运动场产生3个候选向量。
在下文中,将详细描述第一候选产生单元41a和第二候选产生单元41b产生7个候选向量的方法。
如图4所示的第一候选产生单元41a包括区域选择单元60、中值滤波器61、第一SAD计算器62、第二SAD计算器63和第三SAD计算器64。
在示例性实现中,区域选择单元60选择用于从初始运动场BMVk的多个部分计算各候选向量的区域。
第一候选向量CV1是在由区域选择单元60选择的定义为以下范围的第一区域SP1中,通过在中值滤波器61中对初始运动向量执行中值滤波而获得的,其中,所述范围是初始运动场BMVk的一部分。
{BMVk(m+x,n+y)∈SP1|-2≤x≤2,-2≤y≤2}
(8)
其中,所有的运动向量具有两个分量,垂直位移分量和水平位移分量。因此,用于对运动向量进行滤波的中值滤波器61必须是2-分量向量滤波器。在示例性实施例中,2-分量向量滤波器可代替两个1-分量中值滤波器,即,与垂直位移分量相应的第一1-分量中值滤波器和与水平位移分量相应的第二1-分量中值滤波器。
根据第一候选向量CV1,从先前帧Fk-1和当前帧Fk搜索用于块Bk-0.5(m,n)的两个参考块B′k-1(m,n)和B′k(m,n)。参考块B′k-1(m,n)和B′k(m,n)的位置根据上述参照图2B的方法来确定。然后,参考块B′k-1(m,n)和B′k(m,n)之间的对称匹配SAD被计算并表示为SADC1。
第二候选向量CV2从由作为区域选择单元60选择的第一区域SP1的一部分的第二区域SP′1被选择。在示例性实现中,第二区域SP′1如下定义。
{BMVk(m+x,n+y)∈SP′1|BMVk(m+x,n+y)∈ SP1,Ck(m+x,n+y)=0,-2≤x≤2,-2≤y≤2}
(9)
第二区域SP′1中的运动向量属于第一区域SP1,并且确定所述运动向量是可靠的。这是因为Ck(m+x,n+y)=0表示既不是周期块也不处于平滑区域中的块。从第二区域SP′1中选择第二候选向量CV2的方法是使块Bk-0.5(m,n)的对称匹配SAD最小化。也就是说,第二区域SP′1中运动向量之中的第二候选向量CV2是使参考块B′k-1(m,n)和B′k(m,n)之间的SAD最小化的向量中的一个向量。最小对称匹配SAD由SADC2表示。
第三候选向量CV3从由区域选择单元60选择的具有不同的初始运动向量的第三区域被选择,所述第三区域由SP2表示。第三候选向量CV3如下定义。
{BMVk(m+x,n+y)∈SP2|-1≤x≤1,-1≤y≤1}
(10)
从第三区域SP2中选择第三候选向量CV3的方法是使块Bk-0.5(m,n)的对称匹配SAD最小化。然后,根据第三候选向量CV3计算参考块B′k-1(m,n)和B′k(m,n)之间的SAD值,该SAD值由SADC3表示。
第四候选向量CV4从由作为区域选择单元60选择的第三区域SP2的一部分的第四区域SP′2被选择。第四区域SP′2如下定义。
{BMVk(m+x,n+y)∈SP′2|BMVk(m+x,n+y)∈SP2,Ck(m+x,n+y)=0,-1≤x≤1,-1≤y≤1}
(11)
运动向量的数量由KC4表示。从第四区域SP′2中选择第四候选向量CV4的方法是使块Bk-0.5(m,n)的对称匹配SAD最小化。然后,根据第四候选向量CV4计算参考块B′k-1(m,n)和B′k(m,n)之间的SAD值,该SAD值由SADC4表示。
如图3所示,第五候选向量CV5、第六候选向量CV6和第七候选向量CV7由第二候选产生单元41b选择。
在示例性实现中,第五候选向量CV5是块Bk-0.5(m,n)的左方相邻块的运动向量。也就是说,第五候选向量CV5对应于运动向量BMVk-0.5(m,n-1)。第六候选向量CV6是块Bk-0.5(m,n)的上方相邻块的运动向量。也就是说,第六候选向量CV6对应于运动向量BMVk-0.5(m-1,n)。
第七候选向量CV7是在先前的插补帧中块Bk-0.5(m,n)的右下方相邻块的运动向量。也就是说,第七候选向量CV7对应于运动向量BMVk-1.5(m+1,n+1)。图5示出了运动向量BMVk-0.5(m,n)、BMVk-0.5(m,n-1)、BMVk-0.5(m-1,n)和BMVk-1.5(m+1,n+1)之间的位置关系。
第一至第四候选向量CV1、CV2、CV3和CV4中的一个由第一最终候选选择单元43选择为第一最终候选运动向量V1。第一最终候选运动向量V1如下来选择。
if(SADC1<Thr7)or(SADC1<SADC3+Thr8),V1=CV1
else if(KC4<5)and((SADC2<Thr7)or(SADC2<SADC3+Thr8),
V1=CV2
else if(KC4>5)and((SADC4<Thr7)or(SADC4<SADC3+Thr8),
V1=CV4
else V1=CV3
(12)
Thr7和Thr8表示阈值。关于第一最终候选运动向量V1的对称匹配SAD值由SADV1来表示。例如,如果第一最终候选运动向量V1等于第三候选向量CV3,则SADV1等于SADC3。
此外,第五、第六和第七候选向量CV5、CV6和CV7中的一个由第二最终候选选择单元45选择为第二最终候选运动向量V2。选择第二最终候选运动向量V2的方法是选择使块Bk-0.5(m,n)的参考块B′k-1(m,n)和B′k(m,n)之间的对称匹配SAD值最小化的向量中的一个向量。关于第二最终候选运动向量V2的SAD值由SADV2表示。结果,向量V1和V2中的一个由最终向量决定单元47选择为最终运动向量BMVk-0.5(m,n)。最终运动向量BMVk-5(m,n)如下来选择。
if(|V1-CV5|>Thr9)and(|V1-CV6|>Thr9)and(|V1-CV7|>Thr9)
and((SADV2<Thr7)or(SADV2<SADV1+Thr8)),BMVk-0.5(m,n)=V2
else BMVk-0.5(m,n)=V1
(13)
最终运动向量BMVk-0.5(m,n)用于插补当前的插补块Bk-0.5(m,n)。因此,在先前帧Fk-1和当前帧Fk中,参考块B′k-1(m,n)和B′k(m,n)之间的位置被确定为块Bk-0.5(m,n),并且参考块B′k-1(m,n)和B′k(m,n)之间的对称匹配SAD由SADV来表示。
然后,当前的插补块Bk-0.5(m,n)由运动插补单元50如下地来插补。
if(SADV<Thr10),Bk-0.5(m,n)=Bk′(m,n)
else Bk-0.5(m,n)=(B′K(m,n)+B′K-1(m,n))/2
(14)
例如,在插补帧Fk-0.5中,所有块Bk-0.5(m,n)通过如上所述的运动估计方法和运动插补方法被插补。
如上所述,根据本发明示例性实施例,提供了一种能够改善帧插补质量并减少块效应的帧插补器、帧插补方法和运动可靠性评价器。
虽然已显示和描述了本发明的一些实施例,但本领域技术人员应该理解,在不脱离本发明的原理和精神的情况下,可以对这些实施例进行修改,本发明的范围由权利要求及其等同物限定。
Claims (36)
1、一种帧插补器,所述帧插补器包括:
运动估计单元,将当前帧划分为多个参考块,比较参考块和先前帧中设置的搜索区域,并估计初始运动向量;
可靠性评价单元,对初始运动向量的可靠性进行评价并产生指示评价结果的可靠性评价数据;和
帧插补单元,以初始运动向量和可靠性评价数据为基础,把将被插入的中间帧插补到当前帧和先前帧之间。
2、如权利要求1所述的帧插补器,其中,所述可靠性评价单元包括:
平滑块检测单元,确定参考块是否包含平滑块;
周期块检测单元,确定参考块是否包含周期块;和
可靠性产生单元,根据检测结果产生可靠性评价数据。
3、如权利要求2所述的帧插补器,其中,所述平滑块检测单元根据下面的等式来确定参考块是否包含平滑块:
Se<Thr2 and Sd<Thr3
{Pmn(i,j)|0≤i≤Mb-1,0≤j≤Nb-1}
其中,
并且
其中,Thr1、Thr2和Thr3表示参考值。
4、如权利要求2所述的帧插补器,其中,如果满足下面四个不等式,则所述周期块检测单元确定参考块包含周期块:
1)|SADC(p1,q1)-SADC(P0,q0)|<Thr4
2)|p1-p0|+|q1-q0|>Thr5
3)SADC(p1,q1)<SADC(P1-1,q1),SADC(P1,q1)<SADC(p1,q1-1),
3)SADC(p1,q1)<SADC(p1+1,q1),SADC(p1,q1)<SADC(p1,q1+1)
4)SADC(p1+p0)/2,(q1+q0)/2)>Thr6*SADC(p0,q0)
其中,Thr4、Thr5和Thr6表示参考值。
5、如权利要求1所述的帧插补器,其中,所述帧插补单元根据对称块匹配方法来插补中间帧。
6、如权利要求5所述的帧插补器,其中,所述帧插补单元包括:
运动选择单元,以初始运动向量和可靠性评价数据为基础来决定最终运动向量;和
运动补偿单元,根据决定的最终运动向量把将被插入的中间帧插补到当前帧和先前帧之间。
7、如权利要求6所述的帧插补器,其中,所述运动选择单元包括:候选产生单元,以初始运动向量和可靠性评价数据为基础产生多个候选向量。
8、如权利要求7所述的帧插补器,其中,所述候选产生单元包括:
第一候选产生单元,以初始运动向量和可靠性评价数据为基础产生多个候选向量;和
第二候选产生单元,以先前的插补帧的运动场和先前插补的相邻块的运动向量为基础产生多个候选向量。
9、如权利要求8所述的帧插补器,其中,所述第一候选产生单元包括:
区域选择单元,在初始运动向量场中选择分别与多个候选向量相应的多个区域;
中值滤波器,对所选的多个区域中的第一区域执行中值滤波,并产生第一候选向量;
第一SAD计算器,从所选的多个区域中的第二区域计算最小SAD值,并产生第二候选向量;
第二SAD计算器,从所选的多个区域中的第三区域计算最小SAD值,并产生第三候选向量;和
第三SAD计算器,从所选的多个区域中的第四区域计算最小SAD值,并产生第四候选向量。
10、如权利要求9所述的帧插补器,其中,第一区域如下定义:
{BMVk(m+x,n+y)∈SP1|-2≤x≤2,-2≤y≤2}
其中,BMVk表示初始运动向量场,k表示帧数量,SP1表示第一区域,坐标值(m+x,n+y)表示块的左上方像素的每个位置。
11、如权利要求10所述的帧插补器,其中,第二区域如下定义:
{BMVk(m+x,n+y)∈SP1′|BMVk(m+x,n+y)∈SP1,Ck(m+x,n+y)=0,-2≤x≤2,-2≤y≤2}
其中,SP′1表示第二区域,Ck(m+x,n+y)=0表示相应的块不处于平滑区域以及周期区域中,第二区域SP′1是第一区域SP1的一部分。
12、如权利要求11所述的帧插补器,其中,第三区域如下定义:
{BMVk(m+x,n+y)∈SP2|-1≤x≤1,-1≤y≤1}
其中,SP2表示第三区域。
13、如权利要求12所述的帧插补器,其中,第四区域如下定义:
{BMVk(m+x,n+y)∈SP2′|BMVk(m+x,n+y)∈SP2,Ck(m+x,n+y)=0,
-1≤x≤1,-1≤y≤1}
其中,SP′2表示第四区域,Ck(m+x,n+y)=0表示相应的块不处于平滑区域以及周期区域中,SP′2是第三区域SP2的一部分。
14、如权利要求8所述的帧插补器,其中,所述第二候选产生单元选择参考块左方相邻块的运动向量作为第五候选向量,选择参考块上方相邻块的运动向量作为第六候选向量,选择先前的插补帧中的参考块右下方相邻块的运动向量作为第七候选向量。
15、如权利要求14所述的帧插补器,其中,所述运动选择单元包括:
第一最终候选选择单元,根据第一选择标准将从所述第一候选产生单元产生的多个候选向量中的一个决定为第一最终候选向量;
第二最终候选选择单元,根据第二选择标准将从所述第二候选产生单元产生的多个候选向量中的一个决定为第二最终候选向量;和
最终向量决定单元,根据第三选择标准选择第一最终候选向量和第二最终候选向量中的一个作为最终运动向量。
16、如权利要求15所述的帧插补器,其中,第一选择标准如下定义:
if(SADC1<Thr7)or(SADC1<SADC3+Thr8),V1=CV1
else if(KC4<5)and((SADC2<Thr7)or(SADC2<SADC3+Thr8),
V1=CV2
else if(KC4>5)and((SADC4<Thr7)or(SADC4<SADC3+Thr8),
V1=CV4
else V1=CV3
其中,SADC1表示根据第一候选向量的最小SAD值,SADC2表示根据第二候选向量的最小SAD值,SADC3表示根据第三候选向量的最小SAD值,SADC4表示根据第四候选向量的最小SAD值,KC4是运动向量的数量,Thr7和Thr8表示参考值,CV1、CV2、CV3和CV4分别表示第一候选向量、第二候选向量、第三候选向量和第四候选向量,V1表示第一最终候选向量。
17、如权利要求16所述的帧插补器,其中,第二选择标准取决于根据对称块匹配方法的最小SAD值。
18、如权利要求17所述的帧插补器,其中,第三选择标准如下定义:
if(|V1-CV5|>Thr9)and(|V1-CV6|>Thr9)and(|V1-CV7|>Thr9)
and((SADV2<Thr7)or(SADV2<SADV1+Thr8)),BMVk-0.5(m,n)=V2
else BMVk-0.5(m,n)=V1
其中,SADC5表示根据第五候选向量的最小SAD值,SADC6表示根据第六候选向量的最小SAD值,SADC7表示根据第七候选向量的最小SAD值,Thr7、Thr8和Thr9表示参考值,CV5、CV6和CV7分别表示第五候选向量、第六候选向量和第七候选向量,V1表示第一最终候选向量,V2表示第二最终候选向量。
19、如权利要求18所述的帧插补器,其中,所述帧插补单元通过下面的等式来插补中间帧:
if(SADV<Thr10),Bk-0.5(m,n)=Bk′(m,n)
else Bk-0.5(m,n)=(Bk′(m,n)+Bk-1′(m,n))/2
其中,SADV表示根据最终候选向量的最小SAD值,Thr10表示参考值,Bk-0.5(m,n)表示将被插补的块,B′k(m,n)表示当前帧的匹配块,B′k-1(m,n)表示先前帧的匹配块。
20、如权利要求1所述的帧插补器,其中,所述运动估计单元根据完全搜索块匹配算法来估计初始运动向量。
21、一种帧插补方法,所述帧插补方法包括:
将当前帧划分为多个参考块,比较参考块和先前帧中设置的预定搜索区域,并估计初始运动向量;
对初始运动向量的可靠性进行评价,并产生关于评价结果的可靠性评价数据;和
以初始运动向量和可靠性评价数据为基础,把将被插入的中间帧插补到当前帧和先前帧之间。
22、如权利要求21所述的帧插补方法,其中,所述产生可靠性评价数据的步骤包括:
确定参考块是否是平滑块;
确定参考块是否是周期块;和
根据确定的结果产生可靠性评价数据。
23、如权利要求22所述的帧插补方法,其中,在所述插补中间帧的步骤中,根据对称块匹配方法插补中间帧。
24、如权利要求23所述的帧插补方法,其中,所述插补中间帧的步骤包括:
以可靠性评价数据为基础决定最终运动向量;和
根据最终运动向量把将被插入的中间帧插补到当前帧和先前帧之间。
25、如权利要求24所述的帧插补方法,其中,所述决定最终运动向量的步骤包括:
以初始运动向量和可靠性评价数据为基础产生多个候选向量;和
根据标准将所述多个候选向量中的一个决定为最终运动向量。
26、如权利要求25所述的帧插补方法,其中,所述产生多个候选向量的步骤包括:
以初始运动向量和可靠性评价数据为基础产生多个第一候选向量;和
以先前的插补帧的运动场和先前插补的相邻块的运动向量为基础产生多个第二候选向量。
27、如权利要求26所述的帧插补方法,其中,所述产生多个第一候选向量的步骤包括:
在初始运动向量场中选择分别与多个候选向量相应的多个区域;
对所选的多个区域中的第一区域执行中值滤波,并产生第一候选向量;
从所选的多个区域中的第二区域计算最小SAD值,并产生第二候选向量;
从所选的多个区域中的第三区域计算最小SAD值,并产生第三候选向量;和
从所选的多个区域中的第四区域计算最小SAD值,并产生第四候选向量。
28、如权利要求27所述的帧插补方法,其中,所述产生多个第二候选向量的步骤包括:
选择参考块左方相邻块的运动向量作为第五候选向量;
选择参考块上方相邻块的运动向量作为第六候选向量;和
选择先前的插补帧中的参考块右下方相邻块的运动向量作为第七候选向量。
29、如权利要求28所述的帧插补方法,其中,所述决定最终运动向量的步骤包括:
根据第一选择标准选择从第一候选产生单元产生的多个候选向量中的一个作为第一最终候选向量;
根据第二选择标准选择从第二候选产生单元产生的多个候选向量中的一个作为第二最终候选向量;和
根据第三选择标准将第一最终候选向量和第二最终候选向量中的一个决定为最终运动向量。
30、一种运动可靠性评价器,所述运动可靠性评价器包括:
运动估计单元,将当前帧划分为多个参考块,比较参考块和先前帧中设置的搜索区域,并估计初始运动向量;
周期块检测单元,确定参考块是否包含周期块;和
可靠性产生单元,根据确定的结果产生可靠性评价数据。
31、如权利要求30所述的运动可靠性评价器,其中,如果满足下面四个不等式,则所述周期块检测单元确定参考块是周期块:
1)|SADC(p1,q1)-SADC(p0,q0)|<Thr4
2)|p1-p0|+|q1-q0|>Thr5
3)SADC(p1,q1)<SADC(p1-1,q1),SADC(p1,q1)<SADC(p1,q1-1),
3)SADC(p1,q1)<SADC(p1+1,q1),SADC(p1,q1)<SADC(p1,q1+1)
4)SADC(p1+p0)/2,(q1+q0)/2)>Thr6*SADC(p0,q0)
其中,Thr4、Thr5和Thr6表示参考值。
32、如权利要求30所述的运动可靠性评价器,其中,所述运动可靠性评价器还包括:平滑块检测单元,确定参考块是否包含平滑块。
33、如权利要求32所述的运动可靠性评价器,其中,所述平滑块检测单元根据下面的等式来确定参考块是否包含平滑块:
Se<Thr2 and Sd<Thr3
{Pmn(i,j)|0≤i≤Mb-1,0≤j≤Nb-1}
其中,
其中,Thr1、Thr2和Thr3表示参考值。
34、如权利要求1所述的帧插补器,其中,每一参考块包含特定大小。
35、如权利要求21所述的帧插补方法,其中,每一参考块包含特定大小。
36、如权利要求30所述的运动可靠性评价器,其中,每一参考块包含特定大小。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050113660 | 2005-11-25 | ||
KR1020050113660A KR20070055212A (ko) | 2005-11-25 | 2005-11-25 | 프레임 보간장치, 프레임 보간방법 및 움직임 신뢰성평가장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1972421A true CN1972421A (zh) | 2007-05-30 |
Family
ID=38112967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2006101468739A Pending CN1972421A (zh) | 2005-11-25 | 2006-11-27 | 帧插补器、帧插补方法以及运动可靠性评价器 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20070140346A1 (zh) |
KR (1) | KR20070055212A (zh) |
CN (1) | CN1972421A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101533516B (zh) * | 2008-03-10 | 2012-05-02 | 索尼株式会社 | 信息处理设备和方法 |
CN101551910B (zh) * | 2008-04-03 | 2012-05-02 | 索尼株式会社 | 图像信号处理设备和图像信号处理方法 |
CN102547256A (zh) * | 2010-12-10 | 2012-07-04 | 株式会社理光 | 自适应块效应去除方法和系统 |
CN101610409B (zh) * | 2008-06-20 | 2012-11-14 | 联发科技股份有限公司 | 视频处理装置及产生插值帧的方法 |
CN105915835A (zh) * | 2016-02-05 | 2016-08-31 | 四川长虹电器股份有限公司 | 一种可硬件实现的帧频提升方法 |
CN111836055A (zh) * | 2020-07-17 | 2020-10-27 | 上海顺久电子科技有限公司 | 图像处理装置及memc基于图像内容的图像块匹配方法 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4869045B2 (ja) * | 2006-11-30 | 2012-02-01 | 株式会社東芝 | 補間フレーム作成方法および補間フレーム作成装置 |
JP4869049B2 (ja) * | 2006-12-08 | 2012-02-01 | 株式会社東芝 | 補間フレーム画像作成方法および補間フレーム画像作成装置 |
US8213504B2 (en) * | 2007-02-20 | 2012-07-03 | Sony Corporation | Image display apparatus, video signal processor, and video signal processing method |
GB2450121A (en) * | 2007-06-13 | 2008-12-17 | Sharp Kk | Frame rate conversion using either interpolation or frame repetition |
KR20090017296A (ko) * | 2007-08-14 | 2009-02-18 | 삼성전자주식회사 | 중간 프레임의 영상을 생성하기 위한 영상처리방법 및 이를적용한 영상처리장치 |
US8861603B2 (en) * | 2007-08-28 | 2014-10-14 | Samsung Electronics Co., Ltd. | System and method for motion vector collection based on K-means clustering for motion compensated interpolation of digital video |
WO2009083925A1 (en) * | 2007-12-28 | 2009-07-09 | Nxp B.V. | Arrangement and approach for motion-based image data processing |
TWI353562B (en) * | 2008-02-04 | 2011-12-01 | Mstar Semiconductor Inc | A video processing apparatus and related method to |
JP4623111B2 (ja) * | 2008-03-13 | 2011-02-02 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5074322B2 (ja) * | 2008-08-05 | 2012-11-14 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 |
ES2386327T3 (es) * | 2008-08-21 | 2012-08-17 | Vestel Elektronik Sanayi Ve Ticaret A.S. | Método y aparato para aumentar la frecuencia de trama de una señal de video |
US8325796B2 (en) | 2008-09-11 | 2012-12-04 | Google Inc. | System and method for video coding using adaptive segmentation |
TWI408620B (zh) * | 2008-12-12 | 2013-09-11 | Mstar Semiconductor Inc | 用以決定插補畫面之移動向量的影像處理方法及其相關裝置 |
TWI490819B (zh) * | 2009-01-09 | 2015-07-01 | Mstar Semiconductor Inc | 影像處理方法及其裝置 |
JP2010288098A (ja) * | 2009-06-12 | 2010-12-24 | Sony Corp | 画像フレーム補間装置、画像フレーム補間方法及び画像フレーム補間プログラム |
US20110026596A1 (en) * | 2009-07-28 | 2011-02-03 | Wei Hong | Method and System for Block-Based Motion Estimation for Motion-Compensated Frame Rate Conversion |
TR200906020A2 (tr) * | 2009-08-04 | 2011-02-21 | Vestel Elektroni̇k Sanayi̇ Ve Ti̇caret Anoni̇m Şi̇rketi̇@ | Hareket alanlarının, kare interpolasyon çerçevelerine,belleğe etkin erişimli şekilde ayarlanması için metot ve aparat |
JP5574830B2 (ja) * | 2010-06-03 | 2014-08-20 | 三菱電機株式会社 | 画像処理装置及び方法、並びに画像表示装置及び方法 |
HUE035494T2 (en) | 2010-09-30 | 2018-05-02 | Samsung Electronics Co Ltd | A method for interplaying images using a smooth interpolation filter |
US9154799B2 (en) | 2011-04-07 | 2015-10-06 | Google Inc. | Encoding and decoding motion via image segmentation |
US8891627B1 (en) * | 2011-04-18 | 2014-11-18 | Google Inc. | System and method for coding video using color segmentation |
JP5855490B2 (ja) * | 2012-02-24 | 2016-02-09 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 動きベクトル算出装置及び動きベクトル算出方法 |
JP6222514B2 (ja) * | 2012-01-11 | 2017-11-01 | パナソニックIpマネジメント株式会社 | 画像処理装置、撮像装置、およびコンピュータブログラム |
US9262670B2 (en) | 2012-02-10 | 2016-02-16 | Google Inc. | Adaptive region of interest |
US20150287173A1 (en) * | 2014-04-03 | 2015-10-08 | Samsung Electronics Co., Ltd. | Periodic pattern handling by displacement vectors comparison |
US9392272B1 (en) | 2014-06-02 | 2016-07-12 | Google Inc. | Video coding using adaptive source variance based partitioning |
US9578324B1 (en) | 2014-06-27 | 2017-02-21 | Google Inc. | Video coding using statistical-based spatially differentiated partitioning |
CN111526369B (zh) * | 2020-04-29 | 2022-09-09 | Oppo广东移动通信有限公司 | 视频的运动估计方法、装置、电子设备和存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG49308A1 (en) * | 1993-09-08 | 1998-05-18 | Thomson Multimedia Sa | Method and apparatus for motion estimation using block matching |
EP1142343A1 (en) * | 1999-10-29 | 2001-10-10 | Koninklijke Philips Electronics N.V. | Video encoding method |
US6483876B1 (en) * | 1999-12-28 | 2002-11-19 | Sony Corporation | Methods and apparatus for reduction of prediction modes in motion estimation |
US6671319B1 (en) * | 1999-12-28 | 2003-12-30 | Sony Corporation | Methods and apparatus for motion estimation using neighboring macroblocks |
KR100739281B1 (ko) * | 2000-02-21 | 2007-07-12 | 주식회사 팬택앤큐리텔 | 움직임 추정 방법 및 장치 |
EP1489848A4 (en) * | 2002-03-14 | 2006-05-03 | Matsushita Electric Ind Co Ltd | MOTION VECTOR DETECTION METHOD |
TWI252039B (en) * | 2003-09-25 | 2006-03-21 | Himax Tech Inc | De-interlacing device and the method thereof |
-
2005
- 2005-11-25 KR KR1020050113660A patent/KR20070055212A/ko not_active Application Discontinuation
-
2006
- 2006-11-17 US US11/600,744 patent/US20070140346A1/en not_active Abandoned
- 2006-11-27 CN CNA2006101468739A patent/CN1972421A/zh active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101533516B (zh) * | 2008-03-10 | 2012-05-02 | 索尼株式会社 | 信息处理设备和方法 |
CN101551910B (zh) * | 2008-04-03 | 2012-05-02 | 索尼株式会社 | 图像信号处理设备和图像信号处理方法 |
CN101610409B (zh) * | 2008-06-20 | 2012-11-14 | 联发科技股份有限公司 | 视频处理装置及产生插值帧的方法 |
CN102547256A (zh) * | 2010-12-10 | 2012-07-04 | 株式会社理光 | 自适应块效应去除方法和系统 |
CN102547256B (zh) * | 2010-12-10 | 2014-12-03 | 株式会社理光 | 自适应块效应去除方法和系统 |
CN105915835A (zh) * | 2016-02-05 | 2016-08-31 | 四川长虹电器股份有限公司 | 一种可硬件实现的帧频提升方法 |
CN105915835B (zh) * | 2016-02-05 | 2018-10-19 | 四川长虹电器股份有限公司 | 一种可硬件实现的帧频提升方法 |
CN111836055A (zh) * | 2020-07-17 | 2020-10-27 | 上海顺久电子科技有限公司 | 图像处理装置及memc基于图像内容的图像块匹配方法 |
CN111836055B (zh) * | 2020-07-17 | 2023-01-10 | 上海顺久电子科技有限公司 | 图像处理装置及memc基于图像内容的图像块匹配方法 |
Also Published As
Publication number | Publication date |
---|---|
US20070140346A1 (en) | 2007-06-21 |
KR20070055212A (ko) | 2007-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1972421A (zh) | 帧插补器、帧插补方法以及运动可靠性评价器 | |
CN100499738C (zh) | 考虑水平和垂直图形的全局运动补偿的顺序扫描方法 | |
US6990148B2 (en) | Apparatus for and method of transforming scanning format | |
JP5657391B2 (ja) | ハローを低減する画像補間 | |
JP2738325B2 (ja) | 動き補償フレーム間予測装置 | |
JP5103129B2 (ja) | 動き補償画像の補間方法、及びその方法を実現する装置 | |
US8184705B2 (en) | Method and apparatus for motion compensated filtering of video signals | |
US20030086498A1 (en) | Apparatus and method of converting frame and/or field rate using adaptive motion compensation | |
US20060291561A1 (en) | Motion error detector, motion error compensator comprising the same, and method for detecting and compensating motion error using the motion error compensator | |
US8331710B2 (en) | Image processing apparatus and method, learning apparatus and method, and program | |
CN103888767B (zh) | Umh块匹配运动估计与光流场运动估计相结合的一种帧率提升方法 | |
CN102123283B (zh) | 视频帧率转换中的插值帧获取方法及其装置 | |
JP2004297719A (ja) | フレーム補間方法及びこれを用いた画像表示システム | |
KR20060044849A (ko) | 화상 처리 장치 및 방법, 기록 매체, 및 프로그램 | |
KR101756842B1 (ko) | 영상 프레임의 보간 방법 및 장치 | |
US20100080299A1 (en) | Frame frequency conversion apparatus, frame frequency conversion method, program for achieving the method, computer readable recording medium recording the program, motion vector detection apparatus, and prediction coefficient generation apparatus | |
US20120008689A1 (en) | Frame interpolation device and method | |
KR100942887B1 (ko) | 추정된 움직임 벡터 결정 방법 및 컴퓨터 판독가능한 기록매체 | |
KR100955415B1 (ko) | 움직임 파라미터 세트 및 화상 반복 패턴을 제공하기 위한 방법, 컴퓨터 판독가능 저장 매체 및 집적 회로와, 움직임 파라미터를 제공하기 위한 컴퓨터 | |
WO2012066866A1 (ja) | 動きベクトル検出装置、動きベクトル検出方法、フレーム補間装置及びフレーム補間方法 | |
US9357161B1 (en) | Motion vector interpolation for motion compensation | |
CN103618904B (zh) | 基于像素的运动估计方法及装置 | |
US8421916B2 (en) | Image processing | |
Park et al. | Covariance-based adaptive deinterlacing method using edge map | |
CN102035996A (zh) | 图像处理设备及其控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |