发明内容
针对上述问题,本发明提供一种基于相邻两场图像是否发生了场景变换,自适应的选择合适的去隔行算法对隔行图像进行插值补偿的方法及装置,通过该方法及装置的运用提升了图形的去隔行效果,优化了画面的显示效果。
为达到上述目的,本发明自适应去隔行方法,包括,
判断相邻两场隔行图像是否发生了场景变换;
若相邻两场隔行图像发生了场景变换,则采用第一算法对隔行图像进行插值补偿;
若相邻两场隔行图像没有发生场景变换,则采用第二算法对隔行图像进行插值补偿;
其中,所述的第一算法为对隔行图像通过边界自适应场内插值的算法进行插值补偿;
所述的第二算法为将隔行图像划分为多个待插值像素块,在所述待插值像素块所在场的隔行图像的前一场图像中估算所述待插值像素块的最佳匹配块像素块,并将所述最佳匹配像素块中的像素点复制到所述待插值像素块的空缺行,对所述隔行图像进行插值补偿。
进一步地,相邻两场隔行图像是否发生场景变化的判断方法包括:
在相邻两场隔行图像中的相对应的区域位置分别各自选取w个判断像素块i*j;
将相邻两场图像中相对应的判断像素块中对应的像素点的亮度值分别相减取差值,得到的所述差值取绝对值,并将所述绝对值进行取和,得到w个和值SAD;
计算所述和值SAD中大于亮度阈值的个数,
若所述和值SAD中大于亮度阈值的个数≥预定阈值时,则相邻的两场隔行图像发生了场景变换;
若所述和值SAD中大于亮度阈值的个数<预定阈值时,则相邻两场隔行图像没有发生场景变换;
其中,所述和值SAD的计算公式如下:
Pn(x,y),隔行图像的像素点的亮度值;
Pn-1(x,y),隔行图像的前一场隔行图像的像素点的亮度值。
具体地,所述第一算法具体包括:在待插值像素点相邻的上、下两行扫描行上,选取所述待插值点至少三个方向上的相关像素点;
分别计算同一个方向上的两个所述相关像素点的亮度差值,并将所述差值取绝对值,得到该方向上的相关像素点和所述待插值点的相关性的值R;
比较所述相关性的值R的大小,取其中最小值所对应方向上的两个相关像素点的平均值,即为待插值像素点的预定像素值;
对所述预定像素值进行中值滤波得到待插值像素点的像素值;
其中,所述相关像素点和所述待插值点的相关性的值R的计算公式如下:
R1=|P(x-1,y-1)-P(x+1,y+1)|
R2=|P(x,y-1)-P(x,y+1)|
.
.
.
Rn=|P(x+n,y-n)-P(x-n,y+n)|
所述预定像素值P'(x,y)的计算公式如下:
具体地,所述的第二算法具体包括:将隔行图像划分为多个待插值像素块;
在所述待插值像素块所在场的隔行图像的前一场图像中,建立以所述待插值像素块m*n对应区域位置为中心的探索窗(m+ k)*(n+l),-16≤k,l≤16;
在所述探索窗内搜索所述待插值像素块的匹配块像素块,将所述待插值像素中的亮度值和所述匹配像素块中的相对应的像素点的亮度值相减取差值,得到的所述差值取绝对值,将所述绝对值相加得到和值AD;
比较所述和值AD,取其中最小和值AD所对应的匹配像素块为最佳匹配像素块,并将所述最佳匹配像素块的像素点复制到所述待插值像素块的空缺行的待插值点,得到所述插值点的预定像素值;
对所述预定像素值进行中值滤波,得到所述空缺行的像素值;
其中,所述和值AD的计算公式如式下所示,
Pn(x,y),隔行图像的像素点的亮度值;
Pn-1(x+k,y+l),隔行图像的前一场图像的像素点的亮度值。
特别地,所述待插值像素块的规格大小和所述判断像素块的规格大小相等。
进一步地,所述中值滤波的具体方法为:在所述插值点的所在的垂直方向上,以所述插值点为中心,选取处于所述插值点上侧的至少一个临近所述插值点的参考点,选取处于所述插值点下侧的至少一个临近所述插值点的参考点;同时,在所述插值点的所在的水平方向上,以所述插值点为中心,选取处于所述插值点左侧的至少一个临近所述插值点的参考点,选取处于所述插值点右侧的至少一个临近所述插值点的参考点;将所述参考点和所述待插值点的预定像素值进行比较按大小值进行排序后取中间值,此中间值即为插值像素点最后的像素值,其中所述参考点选取的个数为偶数。
为达到上述目的,本发明自适应去隔行装置,所述装置包括:
算法判定单元,用于判断相邻两场隔行图像是否发生了场景变换;
插值单元,用于根据所述算法判定单元输出的结果对当前场图像进行插值补偿,所述插值单元包括第一处理单元和第二处理单元;
若所述算法判定单元输出相邻两场隔行图像发生了场景变换的结果信号,则运行第一处理单元;
若所述算法判定单元输出相邻两场隔行图像没有发生场景变换的结果信号,则运行第二处理单元;
其中,所述第一处理单元通过对隔行图像通过边界自适应场内插值的算法进行插值补偿;
所述第二处理单元通过将隔行图像划分为多个待插值像素块,在所述待插值像素块所在场的隔行图像的前一场图像中估算所述待插值像素块的最佳匹配块像素块,并将所述最佳匹配像素块中的像素点复制到所述待插值像素块的空缺行的运动算法,对所述隔行图像进行插值补偿。
进一步地,所述算法判定单元包括:
亮度值提取模块,用于在相邻两场隔行图像中的相对应的位置分别各自选取w个判断像素块i*j;
亮度值计算模块,用于将相邻两场图像中相对应的判断像素块中对应的像素点的亮度值分别相减取差值,得到的所述差值取绝对值,并将所述绝对值进行取和,得到w个和值SAD,输出所述和值SAD;
判定结果输出模块,用于接收所述和值SAD,计算所述和值SAD中大于亮度阈值的个数,
若所述和值SAD中大于亮度阈值的个数≥预定阈值时,则所述判定结果输出模块输出相邻的两场隔行图像发生了场景变换的结果信号,运行所述第一处理单元;
若所述和值SAD中大于亮度阈值的个数<预定阈值时,则所述判定结果输出模块输出相邻两场隔行图像没有发生场景变换的结果信号,运行所述第二处理单元。
具体地,所述第一处理单元包括:
相关像素点提取模块,用于在待插值像素点相邻的上、下两行扫描行上,选取所述待插值点至少三个方向上的相关像素点;
相关性计算模块,用于分别计算同一个方向上的两个所述相关像素点的亮度差值,并将所述差值取绝对值,得到该方向上的相关像素点和所述待插值点的相关性的值R;
预定像素值计算模块,用于比较所述相关性的值R的大小,取其中最小值所对应方向上的两个相关像素点的平均值,所述预定插值像素点计算模块输出所述平均值即为待插值像素点的预定像素值;
中值滤波模块,用于对所述预定像素值计算模块输出的所述预定像素值进行中值滤波得到待插值像素点的像素值。
具体地,所述第二处理单元包括:
探索窗建立模块,用于将隔行图像划分为多个待插值像素块,在所述待插值像素块所在场的隔行图像的前一场图像中,建立以所述待插值像素块m*n对应区域位置为中心的探索窗(m+k)*(n+l),-16≤k,l≤16;
匹配块搜索模块,用于在所述探索窗内搜索所述待插值像素块的匹配块像素块,将所述待插值像素中的亮度值和所述匹配像素块中的相对应的像素点的亮度值相减取差值,得到的所述差值取绝对值,将所述绝对值相加得到和值AD;
最佳匹配块计算模块,用于比较所述和值AD,取其中最小和值AD所对应的匹配像素块为最佳匹配像素块,则所述最佳匹配块计算模块将所述最佳匹配像素块的像素点复制到所述待插值像素块的空缺行的待插值点,得到所述插值点的预定像素值;
中值滤波模块,用于对所述最佳匹配块计算模块输出的所述预定像素值进行中值滤波,得到所述空缺行的像素值。
1、本发明自适应去隔行方法,首先对相邻两场图像是否发生场景变换进行判断,基于该判断结果自适应选择边界自适应场内补偿方法或运动补偿方法对图像进行去隔行,在保证了画质的前提下,对隔行图像采用相应地合适的去隔行方法算法进行,提升图像的去隔行效果,优化了图像的显示效果。
2、本发明自适应去隔行方法,与现有技术相比,仅需要存储两场相邻的图像即可,存储量较少,同时对两场图像是否发生场景变换的算法相较为简单,在对图像进行去隔行过程中仅仅涉及到对两场图像进行处理,则去隔行过程中的计算量也相对减少了,提升了数据的运算效率。
3、本发明自适应去隔行方法,与现有技术相比,确定隔行图像较上一场图像发生了场景变换之后,才对该隔行图像使用边界自适应的场内插值算法进行去隔行,充分利用了该算法简单,计算量少,计算效率高的优点,同时避免了对所有图像均使用该算法造成的图像模糊、锯齿或者羽化的缺陷。
4、本发明自适应去隔行方法,与现有技术相比,确定了隔行图像较上一场图像没有发生场景变换之后,才对该隔行图像使用运动补偿的算法进行去隔行,充分利用了运动补偿算法的补偿精确值高的优点,同时避免了由于估算出的矢量不够准确,造成图像补偿的缺陷。
5、本发明自适应去隔行装置,首先运行算法判定单元,对相邻两场图像是否发生场景变换进行判断,然后插值单元,基于该判断结果自适应选择边界自适应场内补偿方法或运动补偿方法对图像进行去隔行,本装置在保证了画质的前提下,对隔行图像采用合适第一处理单元或第二处理单元进对隔行图像进行去隔行处理,提升图像的去隔行效果,优化了图像的显示效果,同时简化了硬件结构。
6、本发明自适应去隔行装置,与现有技术相比,判定单元仅需要存储两场相邻的图像即可,存储量较少,减少了存储硬件结构的设置,同时算法判定单元对两场图像是否发生场景变换的算法相较为简单,故算法判定单元的硬件结构较为节省,插值单元在对图像进行去隔行过程中仅仅涉及到对两场图像进行处理,则去隔行过程中的计算量也相对减少了,在提升了数据的运算效率,降低了硬件电路的复杂程度,较少了硬件电路的使用。
7、本发明自适应去隔行装置,与现有技术相比,通过运行算法判定单元,用于确定隔行图像较上一场图像发生了场景变换之后,才运行第一处理单元对该隔行图像使用边界自适应的场内插值算法进行去隔行,由于该算法简单,计算量少,计算效率高,则简化了硬件结构的应用,由于该算法不需要参考其他场图像信息,故节约了装置的内存结构,以及简化了其他计算硬件的设置,同时避免了对所有图像均使用该算法造成的图像模糊、锯齿或者羽化的缺陷。
8、本发明自适应去隔行装置,与现有技术相比,通过运行算法判定单元,用于确定隔行图像较上一场图像发生了场景变换之后,才运行第二处理单元对该隔行图像使用运动补偿的算法进行去隔行,同时充分利用了运动补偿算法的补偿精确值高且硬件结构的复杂度低的优点,同时避免了由于估算出的矢量不够准确,造成图像补偿的缺陷。
具体实施方式
下面结合说明书附图对本发明做进一步的描述。
本发明自适应去隔行方法,包括,
判断相邻两场隔行图像是否发生了场景变换;
若相邻两场隔行图像发生了场景变换,则采用第一算法对隔行图像进行插值补偿;
若相邻两场隔行图像没有发生场景变换,则采用第二算法对隔行图像进行插值补偿;
其中,所述的第一算法为对隔行图像通过边界自适应场内插值的算法进行插值补偿;
所述的第二算法为将隔行图像划分为多个待插值像素块,在所述待插值像素块所在场的隔行图像的前一场图像中估算所述待插值像素块的最佳匹配块像素块,并将所述最佳匹配像素块中的像素点复制到所述待插值像素块的空缺行,对所述隔行图像进行插值补偿。
本发明自适应去隔行装置,所述装置包括:
算法判定单元,用于判断相邻两场隔行图像是否发生了场景变换;
插值单元,用于根据所述算法判定单元输出的结果对当前场图像进行插值补偿,所述插值单元包括第一处理单元和第二处理单元;
若所述算法判定单元输出相邻两场隔行图像发生了场景变换的结果信号,则运行第一处理单元;
若所述算法判定单元输出相邻两场隔行图像没有发生场景变换的结果信号,则运行第二处理单元;
其中,所述第一处理单元通过对隔行图像通过边界自适应场内插值的算法进行插值补偿;
所述第二处理单元通过将隔行图像划分为多个待插值像素块,在所述待插值像素块所在场的隔行图像的前一场图像中估算所述待插值像素块的最佳匹配块像素块,并将所述最佳匹配像素块中的像素点复制到所述待插值像素块的空缺行的运动算法,对所述隔行图像进行插值补偿。
实施例1
如图1所示,本实施例自适应去隔行方法,包括,
判断相邻两场隔行图像是否发生了场景变换;
若相邻两场隔行图像发生了场景变换,则采用第一算法对隔行图像进行插值补偿;
若相邻两场隔行图像没有发生场景变换,则采用第二算法对隔行图像进行插值补偿;
其中,所述的第一算法为对隔行图像通过边界自适应场内插值的算法进行插值补偿;
所述的第二算法为将隔行图像划分为多个待插值像素块,在所述待插值像素块所在场的隔行图像的前一场图像中估算所述待插值像素块的最佳匹配块像素块,并将所述最佳匹配像素块中的像素点复制到所述待插值像素块的空缺行,对所述隔行图像进行插值补偿。
在本实施例中,所述的相邻两场隔行图像是否发生场景变化的具体判断方法包括:
步骤1:在相邻两场隔行图像中的相对应的区域位置分别各自选取100个判断像素块40*30,所述判断像素块分别取自分布在所述图像的四个边界和中部区域上。
步骤2:将相邻两场图像中相对应的判断像素块中对应的像素点的亮度值分别相减取差值,得到的所述差值取绝对值,并将所述绝对值进行取和,得到100个和值SAD,计算公式如下:
Pn(x,y),隔行图像的像素点的亮度值;
Pn-1(x,y),隔行图像的前一场隔行图像的像素点的亮度值。
步骤3:计算所述和值SAD中大于亮度阈值的个数,
若所述和值SAD中大于亮度阈值的个数≥预定阈值时,则相邻的两场隔行图像发生了场景变换;
若所述和值SAD中大于亮度阈值的个数<预定阈值时,则相邻两场隔行图像没有发生场景变换。
本实施例中的亮度阈值,通过对多场图像的实验得到,同时根据对多场图像的实验,得到一般情况下在选取的判断像素块中,当有80%的所述和值SAD大于所述的亮度阈值,则认为该隔行图像相较于上一场图像发生了场景变换,本实施了中的预定阈值为80。在通过判断之后得到其中有90个和值SAD大于所述亮度阈值,则该隔行图像相较于上一场隔行图像发生了场景变换,则采用第一算法对该隔行图像进行插值补偿。
本实施例中,所述第一算法具体包括:
步骤1:如图2所示,在待插值像素点D所在扫描行相邻的上、下两行扫描行上,选取所述待插值点三个方向a、b、c上的相关像素点A、B、C、E、F、G,待插值像素点D所在扫描行的纵轴为y,待插值像素点D所在扫描行相邻的上、下两行扫描行的纵轴为(y-1)、(y+1),所述插值点的横轴为(x-1)、x、(x+1),这三个方向分别分布在待插值像素点垂直方向和垂直方向两侧对称分布且和垂直方向的锐角成45°的方向。
步骤2:分别计算同一个方向上的两个所述相关像素点的亮度差值,并将所述差值取绝对值,得到该方向上的相关像素点和所述待插值点的相关性的值R,所述相关像素点和所述待插值点的相关性的值R的计算公式如下:
Ra=|P(x-1,y-1)-P(x+1,y+1)|
Rb=|P(x,y-1)-P(x,y+1)|
Rc=|P(x+1,y-1)-P(x-1,y+1)|
P(x-1,y-1),像素点A的亮度值;
P(x+1,y+1),像素点G的亮度值;
P(x,y-1),像素点B的亮度值;
P(x,y+1),像素点F的亮度值;
P(x+1,y-1),像素点C的亮度值;
P(x-1,y+1),像素点E的亮度值。
步骤3:比较所述相关性的值R的大小,取其中最小值所对应方向上的两个相关像素点的平均值,即为待插值像素点的预定像素值,所述预定像素值P'(x,y)的计算公式如下:
步骤4:对所述预定像素值进行中值滤波得到待插值像素点的像素值。
本实施例中,所述中值滤波的具体方法为:在所述插值点的所在的垂直方向上,以所述插值点为中心,选取处于所述插值点上侧的一个临近所述插值点的参考点,选取处于所述插值点下侧的一个临近所述插值点的参考点;同时,在所述插值点的所在的水平方向上,以所述插值点为中心,选取处于所述插值点左侧的一个临近所述插值点的参考点,选取处于所述插值点右侧的一个临近所述插值点的参考点;一共选出了四个参考点,将所述四个参考点和所述待插值点的预定像素值进行比较按大小值进行排序后取中间值,此中间值即为插值像素点最后的像素值。
本实施例自适应去隔行方法,首先对相邻两场图像是否发生场景变换进行判断,基于该判断结果自适应选择边界自适应场内补偿方法或运动补偿方法对图像进行去隔行,在保证了画质的前提下,对隔行图像采用相应地合适的去隔行方法算法进行,提升图像的去隔行效果,优化了图像的显示效果。
在本实施例中,通过相邻两场图像场景是否发生变化,作为使用不同去隔行补偿算法的判断条件,第一场景变换判断的算法简单,精确度高;第一场景变换的算法仅需参考两场图像信息,且仅仅参考两场图像的像素点的亮度信息,进一步节约了内存的占用和简化了计算的复杂度;第三,本实施例中的场景变化算法,先将块内的像素点做差,求得的差值做绝对值进行存储,差值数据较小,所占用的位宽也相对较少,占用硬件资源也会相对较少。
本实施例中,由于隔行图像相较于上一场图像发生了场景变化,则此时做运动估计的算法无法找到合适的匹配块,故使用边缘自适应场内插值算法进行插值补偿,在计算待插值像素点的预定像素值时,选定了三个方向上的六个像素点,为了增加选取的参考像素点的精确度,选取所述待插值像素点的垂直方向上和在垂直方向上的两侧对称选取。
本实施例中,对预定像素值进行了中值滤波,且选取了待插值点四周邻近的像素值,一是数据选取方便,二是选取的数据精准度高。
实施例2
本实施例自适应去隔行方法,同上述实施例1的方法步骤基本相同,本实施例中的隔行图像相较于上一场隔行图像也发生了场景变化,同样采用第一算法对该隔行图像进行插值补偿。在本实施例中,不同于上一实施例的是,在选取待插值像素点的参考点的过程中,在所述待插值像素点相邻的上、下两行扫描行上,选取所述待插值点上选取了五个方向上的相关像素点,这五个方向分别为待插值点垂直方向和垂直方向两侧对称设置的且和垂直方向的锐角成30°和60°的四个方向
本实施例自适应去隔行方法,首先对相邻两场图像是否发生场景变换进行判断,基于该判断结果自适应选择边界自适应场内补偿方法或运动补偿方法对图像进行去隔行,在保证了画质的前提下,对隔行图像采用相应地合适的去隔行方法算法进行,提升图像的去隔行效果,优化了图像的显示效果。
在本实施例中,通过相邻两场图像场景是否发生变化,作为使用不同去隔行补偿算法的判断条件,第一场景变换判断的算法简单,精确度高;第一场景变换的算法仅需参考两场图像信息,且仅仅参考两场图像的像素点的亮度信息,进一步节约了内存的占用和简化了计算的复杂度;第三,本实施例中的场景变化算法,先将块内的像素点做差,求得的差值做绝对值进行存储,差值数据较小,所占用的位宽也相对较少,占用硬件资源也会相对较少。
本实施例中,由于隔行图像相较于上一场图像发生了场景变化,则此时做运动估计的算法无法找到合适的匹配块,故使用边缘自适应场内插值算法进行插值补偿,在计算待插值像素点的预定像素值时,为了增加选取的参考像素点的精确度,选取所述待插值像素点的垂直方向上和在垂直方向上的两侧对称选取。本实施例相较于实施例1增加了选定的相关性的方向,选定了五个方向上的十个像素点。
本实施例中,对预定像素值进行了中值滤波,且选取了待插值点四周邻近的像素值,一是数据选取方便,二是选取的数据精准度高。
上述各实施例中,所述第一算法中的,在对相关性值的计算过程中在待插值像素点相邻的上、下两行扫描行上,选取所述待插值点至少三个方向上的相关像素点,所述待插值的任意相关方向上即可,只是在实验过程中发现,选取待插值像素点的垂直方向以及在垂直方向两侧对称的选取相关方向,最终计算的预定像素值的画面质量较好。
实施例3
如图1所示,本实施例自适应去隔行方法,包括,
判断相邻两场隔行图像是否发生了场景变换;
若相邻两场隔行图像发生了场景变换,则采用第一算法对隔行图像进行插值补偿;
若相邻两场隔行图像没有发生场景变换,则采用第二算法对隔行图像进行插值补偿;
其中,所述的第一算法为对隔行图像通过边界自适应场内插值的算法进行插值补偿;
所述的第二算法为将隔行图像划分为多个待插值像素块,在所述待插值像素块所在场的隔行图像的前一场图像中估算所述待插值像素块的最佳匹配块像素块,并将所述最佳匹配像素块中的像素点复制到所述待插值像素块的空缺行,对所述隔行图像进行插值补偿。
在本实施例中,所述的相邻两场隔行图像是否发生场景变化的具体判断方法包括:
步骤1:在相邻两场隔行图像中的相对应的区域位置分别各自选取200个判断像素块40*60,所述判断像素块分别取自分布在所述图像的四个边界和中部区域上。
步骤2:将相邻两场图像中相对应的判断像素块中对应的像素点的亮度值分别相减取差值,得到的所述差值取绝对值,并将所述绝对值进行取和,得到200个和值SAD,计算公式如下:
Pn(x,y),隔行图像的像素点的亮度值;
Pn-1(x,y),隔行图像的前一场隔行图像的像素点的亮度值。
步骤3:计算所述和值SAD中大于亮度阈值的个数,
若所述和值SAD中大于亮度阈值的个数≥预定阈值时,则相邻的两场隔行图像发生了场景变换;
若所述和值SAD中大于亮度阈值的个数<预定阈值时,则相邻两场隔行图像没有发生场景变换。
本实施例中的亮度阈值,通过对多场图像的实验得到,同时根据对多场图像的实验,得到一般情况下在选取的判断像素块中,当有不少于80%的所述和值SAD大于所述的亮度阈值,则认为该隔行图像相较于上一场图像发生了场景变换,本实施了中的预定阈值为165。在通过判断之后得到其中有100个和值SAD大于所述亮度阈值,则该隔行图像相较于上一场隔行图像没有发生了场景变换,则采用第二算法对该隔行图像进行插值补偿。
本实施例中,所述第二算法具体包括:
步骤1:将隔行图像划分为多个待插值像素块;
步骤2:如图3所示,在所述待插值像素块所在场的隔行图像n的前一场图像n-1中,建立以所述待插值像素块m*n对应区域位置为中心的探索窗(m+k)*(n+l)-16≤k,l≤16;图3中的探索窗取k=12,l=12。
本实施例中该步骤中,在所述待插值像素块所在场的隔行图像的前一场图像中,建立以所述待插值像素块40*60对应区域位置为中心的探索窗(40+12)*(60+12)。
步骤3:在所述探索窗内搜索所述待插值像素块的匹配块像素块,将所述待插值像素中的亮度值和所述匹配像素块中的相对应的像素点的亮度值相减取差值,得到的所述差值取绝对值,将所述绝对值相加得到和值AD,,其中,所述和值AD的计算公式如式下所示,
Pn(x,y),隔行图像的像素点的亮度值;
Pn-1(x+k,y+l),隔行图像的前一场图像的像素点的亮度值。
步骤4:比较所述和值AD,取其中最小和值AD所对应的匹配像素块为最佳匹配像素块,并将所述最佳匹配像素块的像素点复制到所述待插值像素块的空缺行的待插值点,得到所述插值点的预定像素值。
步骤5:对所述预定像素值进行中值滤波,得到所述空缺行的像素值。
本实施例中,所述中值滤波的具体方法为:在所述插值点的所在的垂直方向上,以所述插值点为中心,选取处于所述插值点上侧的2个临近所述插值点的参考点,选取处于所述插值点下侧的2个临近所述插值点的参考点;同时,在所述插值点的所在的水平方向上,以所述插值点为中心,选取处于所述插值点左侧的2个临近所述插值点的参考点,选取处于所述插值点右侧的2个临近所述插值点的参考点;一共选出了8个参考点,将所述8个参考点和所述待插值点的预定像素值进行比较按大小值进行排序后取中间值,此中间值即为插值像素点最后的像素值。
本实施例自适应去隔行方法,首先对相邻两场图像是否发生场景变换进行判断,基于该判断结果自适应选择边界自适应场内补偿方法或运动补偿方法对图像进行去隔行,在保证了画质的前提下,对隔行图像采用相应地合适的去隔行方法算法进行,提升图像的去隔行效果,优化了图像的显示效果。
在本实施例中,通过相邻两场图像场景是否发生变化,作为使用不同去隔行补偿算法的判断条件,第一场景变换判断的算法简单,精确度高;第一场景变换的算法仅需参考两场图像信息,且仅仅参考两场图像的像素点的亮度信息,进一步节约了内存的占用和简化了计算的复杂度;第三,本实施例中的场景变化算法,先将块内的像素点做差,求得的差值做绝对值进行存储,差值数据较小,所占用的位宽也相对较少,占用硬件资源也会相对较少。
在本实施例中,确定了隔行图像较上一场图像没有发生场景变换之后,才对该隔行图像使用运动补偿的算法进行去隔行,充分利用了运动补偿算法的补偿精确值高的优点,同时采用在待插值像素块的上一场图像中建立探索窗,搜索得到的矢量参考值较为精准,且计算效率高,避免了由于估算出的矢量不够准确,造成图像补偿的缺陷。
本实施例中,对预定像素值进行了中值滤波,且选取了待插值点四周邻近的像素值,一是数据选取方便,二是选取的数据精准度高。但是本实施例相较于实施例1和实施例2增加了对比的像素点,更进一步的增加了最终得到的插值像素点的像素值的准确性,更好的优化了画面显示。
实施例4
本实施例自适应去隔行方法,同上述实施例3的方法步骤基本相同,本实施例中的隔行图像相较于上一场隔行图像也发生了场景变化,同样采用第二算法对该隔行图像进行插值补偿。在本实施例中,不同于上一实施了的是,在第二算法的步骤2中,在所述待插值像素块所在场的隔行图像的前一场图像中,建立以所述待插值像素块30*40对应区域位置为中心的探索窗(40+16)*(60+16)。
本实施例能产生上述实施例3中的所有有益效果,同时在本实施例中,由于缩小了待插值像素块的规格,同时增大了探索窗的范围,故本实施例的最终去隔行效果较实施例3中的去隔行效果有所提升,但是由于探索窗的增大,运算速度也会变慢,综合考虑下,采用实施例3中所述的探索窗形式效果更好。
实施例3和实施例4中的待插值像素块的规格大小和所述判断像素块的规格大小相同最好,两个像素块的建立采用同一算法建立即可,简便计算程序,如果规格不同,则待插值像素块的规格不大于所述判断像素块的规格大小。
上述实施例1至4中所述的中值滤波步骤中,所述中值滤波的具体方法为:在所述插值点的所在的垂直方向上,以所述插值点为中心,选取处于所述插值点上侧的至少一个临近所述插值点的参考点,选取处于所述插值点下侧的至少一个临近所述插值点的参考点;同时,在所述插值点的所在的水平方向上,以所述插值点为中心,选取处于所述插值点左侧的至少一个临近所述插值点的参考点,选取处于所述插值点右侧的至少一个临近所述插值点的参考点;将所述参考点和所述待插值点的预定像素值进行比较按大小值进行排序后取中间值,此中间值即为插值像素点最后的像素值,其中所述参考点选取的个数为偶数。不仅仅限于所述待插值点四周的值,只是在实验过程中得到通过待插值点四周得到的插值像素点的准确度更高而已。
实施例5
如图4所示,本实施例自适应去隔行装置,所述装置包括:
算法判定单元,用于判断相邻两场隔行图像是否发生了场景变换;
插值单元,用于根据所述算法判定单元输出的结果对当前场图像进行插值补偿,所述插值单元包括第一处理单元和第二处理单元;
若所述算法判定单元输出相邻两场隔行图像发生了场景变换的结果信号,则运行第一处理单元;
若所述算法判定单元输出相邻两场隔行图像没有发生场景变换的结果信号,则运行第二处理单元;
其中,所述第一处理单元通过对隔行图像通过边界自适应场内插值的算法进行插值补偿;
所述第二处理单元通过将隔行图像划分为多个待插值像素块,在所述待插值像素块所在场的隔行图像的前一场图像中估算所述待插值像素块的最佳匹配块像素块,并将所述最佳匹配像素块中的像素点复制到所述待插值像素块的空缺行的运动算法,对所述隔行图像进行插值补偿。
具体地,本实施例中,所述算法判定单元包括:
亮度值提取模块,用于在相邻两场隔行图像中的相对应的位置分别各自选取60个判断像素块60*80;
亮度值计算模块,用于将相邻两场图像中相对应的判断像素块中对应的像素点的亮度值分别相减取差值,得到的所述差值取绝对值,并将所述绝对值进行取和,得到w个和值SAD,输出所述和值SAD;
判定结果输出模块,用于接收所述和值SAD,计算所述和值SAD中大于亮度阈值的个数,
若所述和值SAD中大于亮度阈值的个数≥预定阈值时,则所述判定结果输出模块输出相邻的两场隔行图像发生了场景变换的结果信号“0”,运行所述第一处理单元;
若所述和值SAD中大于亮度阈值的个数<预定阈值时,则所述判定结果输出模块输出相邻两场隔行图像没有发生场景变换的结果信号“1”,运行所述第二处理单元。
本实施例中的亮度阈值,判定结果输出模块通过对多场图像的实验得到,同时根据对多场图像的实验,得到一般情况下在选取的判断像素块中,当有80%的所述和值SAD大于所述的亮度阈值,则认为该隔行图像相较于上一场图像发生了场景变换。本实施例中,所述判定结果输出单元输出的为结果信号为“0”则运行第一处理单元。本实施例中,所述第一处理单元包括:
相关像素点提取模块,用于在待插值像素点相邻的上、下两行扫描行上,选取所述待插值点3个方向上的相关像素点,这3个方向分别为待插值像素点垂直方向和垂直方向两侧和垂直方向的锐角成45°的方向。
相关性计算模块,用于分别计算同一个方向上的两个所述相关像素点的亮度差值,并将所述差值取绝对值,得到该方向上的相关像素点和所述待插值点的相关性的值R;
预定像素值计算模块,用于比较所述相关性的值R的大小,取其中最小值所对应方向上的两个相关像素点的平均值,所述预定插值像素点计算模块输出所述平均值即为待插值像素点的预定像素值;
中值滤波模块,用于对所述预定像素值计算模块输出的所述预定像素值进行中值滤波得到待插值像素点的像素值。
本实施例首先运行算法判定单元,对相邻两场图像是否发生场景变换进行判断,然后插值单元,基于该判断结果自适应选择边界自适应场内补偿方法或运动补偿方法对图像进行去隔行,本装置在保证了画质的前提下,对隔行图像采用合适第一处理单元或第二处理单元进对隔行图像进行去隔行处理,提升图像的去隔行效果,优化了图像的显示效果,同时简化了硬件结构。
在本实施例中,算法判定单元通过相邻两场图像场景是否发生变化,作为使用不同去隔行补偿算法的判断条件,第一场景变换判断的算法简单,精确度高;第一场景变换的算法仅需参考两场图像信息,且仅仅参考两场图像的像素点的亮度信息,进一步节约了内存的占用和简化了计算的复杂度;第三,本实施例中的场景变化算法,先将块内的像素点做差,求得的差值做绝对值进行存储,差值数据较小,所占用的位宽也相对较少,占用硬件资源也会相对较少故算法判定单元的存储量少,计算电路复杂度不高,数据的运算效率高,硬件结构较为节省。
本实施例自适应去隔行装置,与现有技术相比,通过运行算法判定单元,用于确定隔行图像较上一场图像发生了场景变换之后,才运行第一处理单元对该隔行图像使用边界自适应的场内插值算法进行去隔行,由于该算法简单,计算量少,计算效率高,则简化了硬件结构的应用,由于该算法不需要参考其他场图像信息,故节约了装置的内存结构,以及简化了其他计算硬件的设置,同时避免了对所有图像均使用该算法造成的图像模糊、锯齿或者羽化的缺陷。
实施例6
如图4所示,本实施例自适应去隔行装置,所述装置包括:
算法判定单元,用于判断相邻两场隔行图像是否发生了场景变换;
插值单元,用于根据所述算法判定单元输出的结果对当前场图像进行插值补偿,所述插值单元包括第一处理单元和第二处理单元;
若所述算法判定单元输出相邻两场隔行图像发生了场景变换的结果信号,则运行第一处理单元;
若所述算法判定单元输出相邻两场隔行图像没有发生场景变换的结果信号,则运行第二处理单元;
其中,所述第一处理单元通过对隔行图像通过边界自适应场内插值的算法进行插值补偿;
所述第二处理单元通过将隔行图像划分为多个待插值像素块,在所述待插值像素块所在场的隔行图像的前一场图像中估算所述待插值像素块的最佳匹配块像素块,并将所述最佳匹配像素块中的像素点复制到所述待插值像素块的空缺行的运动算法,对所述隔行图像进行插值补偿。
具体地,本实施例中,所述算法判定单元包括:
亮度值提取模块,用于在相邻两场隔行图像中的相对应的位置分别各自选取60个判断像素块60*80;
亮度值计算模块,用于将相邻两场图像中相对应的判断像素块中对应的像素点的亮度值分别相减取差值,得到的所述差值取绝对值,并将所述绝对值进行取和,得到w个和值SAD,输出所述和值SAD;
判定结果输出模块,用于接收所述和值SAD,计算所述和值SAD中大于亮度阈值的个数,
若所述和值SAD中大于亮度阈值的个数≥预定阈值时,则所述判定结果输出模块输出相邻的两场隔行图像发生了场景变换的结果信号“0”,运行所述第一处理单元;
若所述和值SAD中大于亮度阈值的个数<预定阈值时,则所述判定结果输出模块输出相邻两场隔行图像没有发生场景变换的结果信号“1”,运行所述第二处理单元。
本实施例中的亮度阈值,判定结果输出模块通过对多场图像的实验得到,同时根据对多场图像的实验,得到一般情况下在选取的判断像素块中,当有80%的所述和值SAD大于所述的亮度阈值,则认为该隔行图像相较于上一场图像发生了场景变换。本实施例中,所述判定结果输出单元输出的为结果信号为“1”则运行第一处理单元。本实施例中,所述第二处理单元包括:
探索窗建立模块,用于将隔行图像划分为多个待插值像素块,在所述待插值像素块所在场的隔行图像的前一场图像中,建立以所述待插值像素块m*n对应区域位置为中心的探索窗(m+k)*(n+l),-16≤k,l≤16,本实施例中所述探索窗为72*92。
匹配块搜索模块,用于在所述探索窗内搜索所述待插值像素块的匹配块像素块,将所述待插值像素中的亮度值和所述匹配像素块中的相对应的像素点的亮度值相减取差值,得到的所述差值取绝对值,将所述绝对值相加得到和值AD;
最佳匹配块计算模块,用于比较所述和值AD,取其中最小和值AD所对应的匹配像素块为最佳匹配像素块,则所述最佳匹配块计算模块将所述最佳匹配像素块的像素点复制到所述待插值像素块的空缺行的待插值点,得到所述插值点的预定像素值;
中值滤波模块,用于对所述最佳匹配块计算模块输出的所述预定像素值进行中值滤波,得到所述空缺行的像素值。
本实施例首先运行算法判定单元,对相邻两场图像是否发生场景变换进行判断,然后插值单元,基于该判断结果自适应选择边界自适应场内补偿方法或运动补偿方法对图像进行去隔行,本装置在保证了画质的前提下,对隔行图像采用合适第一处理单元或第二处理单元进对隔行图像进行去隔行处理,提升图像的去隔行效果,优化了图像的显示效果,同时简化了硬件结构。
在本实施例中,算法判定单元通过相邻两场图像场景是否发生变化,作为使用不同去隔行补偿算法的判断条件,第一场景变换判断的算法简单,精确度高;第一场景变换的算法仅需参考两场图像信息,且仅仅参考两场图像的像素点的亮度信息,进一步节约了内存的占用和简化了计算的复杂度;第三,本实施例中的场景变化算法,先将块内的像素点做差,求得的差值做绝对值进行存储,差值数据较小,所占用的位宽也相对较少,占用硬件资源也会相对较少故算法判定单元的存储量少,计算电路复杂度不高,数据的运算效率高,硬件结构较为节省。
本实施例自适应去隔行装置,与现有技术相比,通过运行算法判定单元,用于确定隔行图像较上一场图像发生了场景变换之后,才运行第二处理单元对该隔行图像使用运动补偿的算法进行去隔行,同时充分利用了运动补偿算法的补偿精确值高且硬件结构的复杂度低的优点,同时避免了由于估算出的矢量不够准确,造成图像补偿的缺陷。
上述各实施例中,在判定隔行图像相较于上一场图像是否发生了场景变化选取的判断像素块,最好取图像的四个边界及中部位置区域的像素块。
上述各实施例中,建立的探索窗的规格最好是待插值像素块的横向和纵向上加上的扩展值k、l的值相同。
以上,仅为本发明的较佳实施例,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求所界定的保护范围为准。