CN107517356B - 一种去隔行图像处理方法和装置 - Google Patents

一种去隔行图像处理方法和装置 Download PDF

Info

Publication number
CN107517356B
CN107517356B CN201610430983.1A CN201610430983A CN107517356B CN 107517356 B CN107517356 B CN 107517356B CN 201610430983 A CN201610430983 A CN 201610430983A CN 107517356 B CN107517356 B CN 107517356B
Authority
CN
China
Prior art keywords
pixel
interpolated
value
image frame
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610430983.1A
Other languages
English (en)
Other versions
CN107517356A (zh
Inventor
杨星亮
马晓
郭耀松
张天若
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumavision Technologies Co Ltd
Original Assignee
Sumavision Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumavision Technologies Co Ltd filed Critical Sumavision Technologies Co Ltd
Priority to CN201610430983.1A priority Critical patent/CN107517356B/zh
Publication of CN107517356A publication Critical patent/CN107517356A/zh
Application granted granted Critical
Publication of CN107517356B publication Critical patent/CN107517356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

本发明实施例涉及图像处理技术领域，尤其涉及一种去隔行图像处理方法和装置，包括：从p个边缘方向梯度值中确定最小边缘方向梯度值，然后在最小边缘方向梯度值小于横边界阈值时，确定待插值像素的第一预测值，根据待处理图像帧的前一帧图像帧及待处理图像帧的后一帧图像帧，确定待插值像素的第二预测值和待插值像素的第三预测值，最后确定出待插值像素的像素值。可以看出，由于增加了横边界阈值的判断，因此能够减少边缘方向的误判，由于参考了前后帧的运动状态信息，因此能够减少边界、角点处的噪点，从而能够提高画面清晰度，进而提高图像的质量。

Description

一种去隔行图像处理方法和装置
技术领域
本发明实施例涉及视频图像处理技术领域，尤其涉及一种去隔行处理方法和装置。
背景技术
去隔行技术是现代数字显示设备中的一种基本技术，是将隔行扫描视频处理为能够在非电视终端播放的逐行扫描视频的技术。
隔行扫描中，一个视频帧被间隔地采样成奇数场和偶数场，每一场包含视频帧一半的信息量。在广播电视系统，由于受到硬件设备和传输带宽等技术的显示，隔行扫描作为一种帧频和传输带宽之间的这种方案在电视制作时被广泛引用。但是，随着显示设备的数字化，隔行扫描格式的视频在终端直接播放时，画面会出现由场效应引起的各种问题，如闪烁、锯齿、羽化等。去隔行技术的目的就是要消除两场间的场效应横纹及画面闪烁，从而增强画面清晰度。
为了解决隔行扫描引出的问题，目前提出了多种去隔行技术。包括空域、时域、时空的线性滤波方法和基于中值的非线性滤波方法，这些方法都属于帧内处理，而且滤波的低通效应导致图像模糊，信息量丢失容易导致边缘变形甚至丢失。
现有的基于边缘的行平均(Edged-based Line Average，ELA)使用图像的边缘信息来执行内插，从而有效地防止在图像的边缘产生变形，使得它在场内内插中具有极好的性能。然而，现有的基于边缘的行平均ELA都是在帧内处理，没有参考前后帧的运动状态信息，而且没有考虑边界、角点处的噪点以及边缘方向可能误判的问题，从而导致处理完的视频帧在边缘出现变形，进而导致图像的质量下降。
发明内容
本发明实施例提供一种去隔行图像处理方法和装置，用以解决现有技术中在使用ELA算法时出现的细边界、角点处出现单点噪点以及边缘可能误判的问题以提高图像的质量。
本发明实施提供一种去隔行图像处理方法，包括：
计算待插值像素在待处理图像帧中的p个边缘方向梯度值；
从所述p个边缘方向梯度值中确定最小边缘方向梯度值；
判断所述最小边缘方向梯度值是否小于横边界阈值，若小于横边界阈值，则根据所述最小边缘梯度值所在的边缘方向上的像素值，确定待插值像素的第一预测值；
根据所述待处理图像帧的前一帧图像帧及所述待处理图像帧的后一帧图像帧，确定所述待插值像素的第二预测值和所述待插值像素的第三预测值；
根据所述第一预测值、所述第二预测值和所述第三预测值，确定出所述待插值像素的像素值。
较佳的，还包括：
若所述最小边缘方向梯度值大于所述横边界阈值，则根据所述待处理图像帧中位于所述待插值像素正上方的像素和所述待插值像素正下方的像素，确定所述待插值像素的第四预测值；
将所述第二预测值、所述第三预测值和所述第四预测值进行中值钳位运算，确定出所述待插值像素的像素值。
较佳的，所述计算待插值像素在待处理图像帧中的p个边缘方向梯度值，包括：
根据公式(1)确定k个边缘方向梯度值；
公式(1)
Figure BDA0001019476570000021
其中，k为整数且k的取值依赖于所述待插值像素的位置及梯度方向；
m，n为所述待插值像素的坐标位置；
r为整数，h为整数且h的取值依赖于边缘方向的参考像素个数；
D(k)为边缘方向梯度值；
F为像素值。
较佳的，根据所述待处理图像帧的前一帧图像帧及所述待处理图像帧的后一帧图像帧，确定所述待插值像素的第二预测值和所述待插值像素的第三预测值，包括：
根据公式(2)、公式(3)、公式(4)和公式(5)确定预测的变化量d；
根据公式(6)确定所述待插值像素的第二预测值q2；
根据公式(7)确定所述待插值像素的第三预测值q3；
公式(2)tmp0＝|a-b|/2
公式(3)tmp1＝(|e-c|+|g-d|)/2
公式(4)tmp2＝(|c-f|+|d-h|)/2
公式(5)d＝max(tmp0,tmp1,tmp2)
公式(6)q2＝(a+x)/2+d
公式(7)q3＝(a+x)/2-d
其中，a为所述待处理图像帧的前一帧图像帧中与所述待插值像素的对应位置的像素i的像素值，e为所述待处理图像帧的前一帧图像帧中位于像素i的正上方的像素值，g为所述待处理图像帧的前一帧图像帧中位于像素i的正下方的像素值；b为所述待处理图像帧的后一帧图像帧中与所述待插值像素的对应位置的像素j的像素值，f为所述待处理图像帧的后一帧图像帧中位于像素j的正上方的像素值，h为所述待处理图像帧的后一帧图像帧中位于像素j的正下方的像素值；x为待插值像素的原始像素值；c为所述待处理图像帧中位于所述待插值像素正上方的像素值；d为所述待处理图像帧中位于所述待插值像素正下方的的像素值；
tmp0为所述待插值像素的第一参考值；
tmp1为所述待插值像素的第二参考值；
tmp2为所述待插值像素的第三参考值；
d为预测的变化量；
q2为所述待插值像素的第二预测值；
q3为所述待插值像素的第三预测值。
较佳的，在计算待插值像素在待处理图像帧中的p个边缘方向梯度值之前，还包括：
确定所述待插值像素的块区域，所述块区域包括在所述待处理图像帧中位于所述待插值像素的上扫描行的部分一连串像素、位于所述待插值像素的下扫描行的部分一连串像素以及所述待插值像素所在的扫描行的原始的部分一连串像素所组成的区域；
计算所述块区域的平坦块系数，若所述平坦块系数大于第一阈值，则计算待插值像素在待处理图像帧中的p个边缘方向梯度值。
较佳的，还包括：若所述平坦块系数小于第一阈值，则根据所述待处理图像帧中位于所述待插值像素的上扫描行的一连串像素和位于所述待插值像素的下扫描行的一连串像素进行行平均插值。
本发明实施例还提供一种去隔行图像处理装置，包括：
计算模块，用于计算待插值像素在待处理图像帧中的p个边缘方向梯度值；
从所述p个边缘方向梯度值中确定最小边缘方向梯度值；
判断模块，用于判断所述最小边缘方向梯度值是否小于横边界阈值，若小于横边界阈值，则根据所述最小边缘梯度值所在的边缘方向上的像素值，确定待插值像素的第一预测值；
还用于根据所述待处理图像帧的前一帧图像帧及所述待处理图像帧的后一帧图像帧，确定所述待插值像素的第二预测值和所述待插值像素的第三预测值；
确定模块，用于根据所述第一预测值、所述第二预测值和所述第三预测值，确定出所述待插值像素的像素值。
较佳的，
所述判断模块，还用于在所述最小边缘方向梯度值大于所述横边界阈值时，根据所述待处理图像帧中位于所述待插值像素正上方的像素和所述待插值像素正下方的像素，确定所述待插值像素的第四预测值；
所述确定模块，还用于将所述第二预测值、所述第三预测值和所述第四预测值进行中值钳位运算，确定出所述待插值像素的像素值。
较佳的，所述计算模块，具体用于：
根据公式(1)确定k个边缘方向梯度值；
Figure BDA0001019476570000051
其中，k为整数且k的取值依赖于所述待插值像素的位置及梯度方向；
m，n为所述待插值像素的坐标位置；
r为整数，h为整数且h的取值依赖于边缘方向的参考像素个数；
D(k)为边缘方向梯度值；
F为像素值。
较佳的，所述判断模块，具体用于：
根据公式(2)、公式(3)、公式(4)和公式(5)确定预测的变化量d；
根据公式(6)确定所述待插值像素的第二预测值q2；
根据公式(7)确定所述待插值像素的第三预测值q3；
公式(2)tmp0＝|a-b|/2
公式(3)tmp1＝(|e-c|+|g-d|)/2
公式(4)tmp2＝(|c-f|+|d-h|)/2
公式(5)d＝max(tmp0,tmp1,tmp2)
公式(6)q2＝(a+x)/2+d
公式(7)q3＝(a+x)/2-d
其中，a为所述待处理图像帧的前一帧图像帧中与所述待插值像素的对应位置的像素i的像素值，e为所述待处理图像帧的前一帧图像帧中位于像素i的正上方的像素值，g为所述待处理图像帧的前一帧图像帧中位于像素i的正下方的像素值；b为所述待处理图像帧的后一帧图像帧中与所述待插值像素的对应位置的像素j的像素值，f为所述待处理图像帧的后一帧图像帧中位于像素j的正上方的像素值，h为所述待处理图像帧的后一帧图像帧中位于像素j的正下方的像素值；x为待插值像素的原始像素值；c为所述待处理图像帧中位于所述待插值像素正上方的像素值；d为所述待处理图像帧中位于所述待插值像素正下方的的像素值；
tmp0为所述待插值像素的第一参考值；
tmp1为所述待插值像素的第二参考值；
tmp2为所述待插值像素的第三参考值；
d为预测的变化量；
q2为所述待插值像素的第二预测值；
q3为所述待插值像素的第三预测值。
较佳的，所述计算模块，还用于：
在计算待插值像素在待处理图像帧中的p个边缘方向梯度值之前，确定所述待插值像素的块区域，所述块区域包括在所述待处理图像帧中位于所述待插值像素的上扫描行的部分一连串像素、位于所述待插值像素的下扫描行的部分一连串像素以及所述待插值像素所在的扫描行的原始的部分一连串像素所组成的区域；
计算所述块区域的平坦块系数，若所述平坦块系数大于第一阈值，则计算待插值像素在待处理图像帧中的p个边缘方向梯度值。
较佳的，所述计算模块，还用于：在所述平坦块系数小于第一阈值时，根据所述待处理图像帧中位于所述待插值像素的上扫描行的一连串像素和位于所述待插值像素的下扫描行的一连串像素进行行平均插值。
上述实施例提供的一种去隔行图像处理方法和装置，包括：首先计算待插值像素在待处理图像帧中的p个边缘方向梯度值，从p个边缘方向梯度值中确定最小边缘方向梯度值，然后判断最小边缘方向梯度值是否大于横边界阈值，若大于横边界阈值，则根据最小边缘梯度值所在的边缘方向上的像素值，确定待插值像素的第一预测值，根据所述待处理图像帧的前一帧图像帧及待处理图像帧的后一帧图像帧，确定待插值像素的第二预测值和待插值像素的第三预测值，最后根据第一预测值、第二预测值和第三预测值，确定出待插值像素的像素值。可以看出，只有当最小边缘方向梯度值小于横边界阈值时，才根据最小边缘梯度值所在的边缘方向上的像素值确定第一预测值，然后结合前后帧确定第二预测值和第三预测值，最后根据第一预测值、第二预测值和第三预测值确定待插值像素的像素值，由于增加了横边界阈值的判断，因此能够减少边缘方向的误判，由于参考了前后帧的运动状态信息，因此能够减少边界、角点处的噪点，从而能够提高画面清晰度，进而提高图像的质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。
图1为本发明实施例提供的一种去隔行图像处理方法流程图；
图2a为本发明实施例提供的待处理图像帧中像素的结构示意图；
图2b为本发明实施例提供的边缘方向的结构示意图；
图2c为本发明实施例提供的边缘方向C1的结构示意图；
图3为本发明实施例提供的待处理图像帧的前后帧的结构示意图；
图4为本发明实施例提供的一种去隔行图像处理装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，本发明实施例提供的去隔行图像处理方法和装置应用于有场效应的图像帧中，即应用于包含有动态场景的图像帧中。
图1示例性示出了本发明实施例提供的一种去隔行图像处理方法流程图，如图1所示，该方法可包括：
S101、计算待插值像素在待处理图像帧中的p个边缘方向梯度值。
S102、从p个边缘方向梯度值中确定最小边缘方向梯度值。
S103、判断最小边缘方向梯度值是否小于横边界阈值，若是，则转至步骤S104，否则转至步骤S105。
S104、根据最小边缘梯度值所在的边缘方向上的像素值，确定待插值像素的第一预测值，并且根据待处理图像帧的前一帧图像帧以及待处理图像帧的后一帧图像帧，确定待插值像素的第二预测值和待插值像素的第三预测值，转至步骤S106。
S105、根据待处理图像帧中位于待插值像素正上方像素的像素值和位于待插值像素正下方像素的像素值，确定待插值像素的第四预测值，并且根据待处理图像帧的前一帧图像帧以及待处理图像帧的后一帧图像帧，确定待插值像素的第二预测值和待插值像素的第三预测值转至步骤S107。
S106、根据第一预测值、第二预测值、第三预测值，确定出待插值像素的像素值。
S107、将第二预测值、第三预测值和第四预测值进行中值钳位运算，确定出待插值像素的像素值。
优选的，在上述步骤S101之前，还可确定待插值像素的块区域。确定待插值像素的块区域的方法为：将待处理图像帧中位于待插值像素的上扫描行的部分一连串像素、位于待插值像素的下扫描行的部分一连串像素以及待插值像素所在的扫描行的原始的部分一连串像素所组成的区域，作为待插值像素的块区域。
在确定待插值像素的块区域后，还可计算确定的块区域的平坦块系数，计算待插值像素的块区域的平坦块系数的方法为：首先确定块区域中所有像素的像素值，然后在块区域中所有像素的像素值中找出最大像素值和最小像素，最后将最大像素值与最小像素值之差的绝对值作为该区域的平坦块系数。
在计算出待插值像素的块区域的平坦块系数之后，还可判断待插值像素的块区域的平坦块系数是否大于第一阈值，若待插值像素的块区域的平坦块系数大于第一阈值，则开始计算待插值像素在待处理图像帧的边缘方向梯度值，否则根据待处理图像帧中位于待插值像素的上扫描行的一连串像素和位于待插值像素的下扫描行的一连串像素进行行平均插值。
在上述步骤S101之前，还需对待处理图像帧的场模式进行判断，即判断待处理图像是保留顶场还是保留底场，若当前处理的图像帧为顶场保留且处理的是偶数行，或者当前处理的图像帧为底场保留且当前处理的是奇数行，则计算待插值像素在待处理图像帧中的p个边缘方向梯度值，否则将当前值作为预测值输出，即对待处理图像帧不进行任何处理。
在上述步骤S101中，可根据下列公式一确定p个边缘方向梯度值；
Figure BDA0001019476570000091
在公式一中，k为整数且k的取值依赖于待插值像素的位置及梯度方向，m，n为待插值像素的坐标位置，r为整数，h为整数且h的取值依赖于边缘方向的参考像素个数，D(k)为边缘方向梯度值，F为像素值。
需要说明的是，在采用公式一计算边缘方向梯度值的时候，竖直方向的优先级最高。
下面以五个边缘方向梯度值，并且假设边缘方向的方向数为3，即k的取值为：-2、-1、0、1、2，h的取值为：-1、0、1，对上述公式一进行进行说明。
如图2a中所示，待插值像素X的上扫描行包括五个像素U0，U1，U2，U3和U4，下扫描行包括五个像素L0，L1，L2，L3和L4。分别包括在上、下扫描行中的像素并不限于五个，并且可以改变为不同的数字。像素U0到U4以及L0到L4如下面的等式1中所表示：
等式1：
U0＝F(m-2，n-1)
U1＝F(m-1，n-1)
U2＝F(m，n-1)
U3＝F(m+1，n-1)
U4＝F(m+2，n-1)
L0＝F(m-2，n+1)
L1＝F(m-1，n+1)
L2＝F(m，n+1)
L3＝F(m+1，n+1)
L4＝F(m+2，n+1)
其中，“n”表示待插值像素所在的行，“n-1”表示上扫描行，而“n+1”表示下扫描行。在这里F(m，n)表示要内插像素的像素值(像素数据)；n表示待插值像素所在的扫描行；n-1表示上扫描行；n+1表示下扫描行；而m表示待插值像素的水平位置。
在图2a中，C0、C1、C2、C3、C4为边缘方向，为了描述简便起见，下面以根据公式一计算边缘方向C1，C2的边缘方向梯度值为例进行说明。
如图2b所示，边缘方向C2为竖直方向，由于边缘方向C2为竖直方向，并且竖直方向优先级最高，因此在计算边缘方向C1，C2的边缘方向梯度值时，先计算边缘方向C2的边缘方向梯度值，由于边缘方向C2位于待插值像素X的正上方，因此在采用公式一计算边缘梯度值时，k的取值为0，h的取值为：-1,0和1。当将k的取值为0，h的取值为：-1,0和1，代入公式一时，边缘方向C2的边缘方向梯度值D(0)可表示成如下形式：
D(0)＝(|F(m-1,n-1)-F(m-1,n+1)|)+(|F(m,n-1)-F(m,n+1)|)+(|F(m+1,n-1)-F(m+1,n+1)|)
基于上述等式一的基础上，C2的边缘方向梯度值D(0)还可以表示成如下的形式：
D(0)＝|U1-L1|+|U2-L2|+|U3-L3|
图2c为边缘方向C1的结构示意图。
类似的，在采用公式一计算边缘方向C1的边缘方向梯度值时，k的取值为-1，h的取值为：-1，0和1。当将k的取值为-1，h的取值为：-1,0和1，代入公式一时，边缘方向C1的边缘方向梯度值D(-1)可表示成如下形式：
D(-1)＝(|F(m-2,n-1)-F(m,n+1)|)+(|F(m-1,n-1)-F(m+1,n+1)|)+(|F(m,n-1)-F(m+2,n+1)|)
基于上述等式一的基础上，C2的边缘方向梯度值D(-1)还可以表示成如下的形式：
D(-1)＝|U0-L2|+|U1-L3|+|U2-L4|
在按照上述方法计算出所有的边缘方向梯度值后，从计算出的所有的边缘方向梯度值中，确定出最小边缘方向梯度值，并判断最小边缘方向梯度值是否小于设定的横边界阈值，其中，横边界阈值是一个经验值。
下面通过一个具体的小例子对横边界阈值的取值方法进行解释说明。
在该例子中，假设每个边缘方向参考像素个数为4，在每个边缘方向的参考像素个数为4时，若将横边界阈值设定为大于80的值时，发现图像帧的倾斜边缘的清晰度受到影响，若将横边界阈值设定为小于60的值时，能观察到图像帧出现明显的边缘变形，而将横边界阈值设定为60～80之间的任意数值时，发现能够消除图像帧中明显的边缘变形，因此可将横边界阈值设定为60～80之间的任意数值。
需要注意的是，上述例子中横边界阈值的取值方法是基于每个边缘方向参考像素个数为4时对横边界阈值的取值方法所进行的说明，在具体实施时，在采用上述方法设定横边界阈值时，可根据每个边缘方向参考像素个数，将横边界阈值设定不同的值后进行观察，然后确定横边界阈值的取值或者横边界阈值的取值范围，即本发明实施例中横边界阈值不限于取60～80之间的任意数值。
基于上述采用公式一计算边缘方向C1和C2的边缘方向梯度值以后，假设边缘方向C2的边缘梯度值为最小边缘方向梯度值，并且最小边缘方向梯度值小于设定的横边界阈值时，则求像素U0与像素L2之差的绝度值，即|U0-L2|；像素U1与像素L3之差的绝度值，即|U1-L3|；像素U2与像素L4之差的绝度值，即|U2-L4|；然后确定|U0-L2|、|U1-L3|、|U2-L4|三者中的最小值，在此假设像素U1与像素L3之差的绝度值最小，即|U1-L3|最小，则用像素U1与像素L3的平均值
Figure BDA0001019476570000121
作为第一预
测值q1。
在确定出待插值像素的第一预测值q1以后，下面以图3为例介绍确定第二预测值q2和第三预测值q3的方法。
图3为待处理图像帧的前后帧的结构示意图。
在图3中，a为待处理图像帧的前一帧图像帧中与待插值像素X的对应位置的像素i的像素值，e为待处理图像帧的前一帧图像帧中位于像素i的正上方的像素值，g为待处理图像帧的前一帧图像帧中位于像素i的正下方的像素值；b为待处理图像帧的后一帧图像帧中与待插值像素X的对应位置的像素j的像素值，f为待处理图像帧的后一帧图像帧中位于像素j的正上方的像素值，h为待处理图像帧的后一帧图像帧中位于像素j的正下方的像素值；x为待插值像素X的原始像素值；c为待处理图像帧中位于待插值像素X正上方的像素值；d为待处理图像帧中位于待插值像素X正下方的的像素值。
基于图3的基础上，首先根据公式二、公式三、公式四、公式五确定预测的变化量d，然后根据公式六确定第二预测值q2，根据公式七确定第三预测值q3。
tmp0＝|a-b|/2 (公式二)
tmp1＝(|e-c|+|g-d|)/2 (公式三)
tmp2＝(|c-f|+|d-h|)/2 (公式四)
d＝max(tmp0,tmp1,tmp2) (公式五)
q2＝(a+x)/2+d (公式六)
q3＝(a+x)/2-d (公式七)
其中，tmp0为待插值像素的第一参考值，tmp1为待插值像素的第二参考值，tmp2为待插值像素的第三参考值，d为预测的变化量，q2为待插值像素的第二预测值，q3为待插值像素的第三预测值。
在确定出待插值像素的第一预测值q1、待插值像素的第二预测值q2、待插值像素的第三预测值q3以后，将第一预测值q1、第二预测值q2和第三预测值q3进行中值钳位运算，确定出待插值像素的像素值，即将第一预测值q1、第二预测值q2和第三预测值q3三个值中位于中间的预测值作为待插值像素的像素值，例如当q1＜q2＜q3时，则将第二预测值q2作为待插值像素的像素值。
当最小边缘方向梯度值大于设定的横边界阈值时，首先将待处理图像帧中上扫描行中位于待插值像素正上方像素和待处理图像帧中下扫描行位于待插值像素正下方像素的平均值作为待插值像素的第四预测值，然后采用上述方法计算出待插值像素的第二预测值q2和第三预测值q3，最后将第二预测值q2、第三预测值q3和第四预测值进行中值钳位运算，确定出待插值像素的像素值。
根据以上内容可以看出，只有当最小边缘方向梯度值小于横边界阈值时，才根据最小边缘梯度值所在的边缘方向上的像素值确定第一预测值，然后结合前后帧确定第二预测值和第三预测值，最后根据第一预测值、第二预测值和第三预测值确定待插值像素的像素值，由于增加了横边界阈值的判断，因此能够预防边缘方向的误判，由于参考了前后帧的运动状态信息，因此能够减少边界、角点处的噪点，从而能够提高画面清晰度，进而提高图像的质量。
基于相同的技术构思，本发明实施例还提供一种去隔行图像处理装置，如图4所示，该装置40可包括：
计算模块401，用于计算待插值像素在待处理图像帧中的p个边缘方向梯度值，从所述p个边缘方向梯度值中确定最小边缘方向梯度值；
判断模块402，用于判断所述最小边缘方向梯度值是否小于横边界阈值，若小于横边界阈值，则根据所述最小边缘梯度值所在的边缘方向上的像素值，确定待插值像素的第一预测值；
还用于根据所述待处理图像帧的前一帧图像帧及所述待处理图像帧的后一帧图像帧，确定所述待插值像素的第二预测值和所述待插值像素的第三预测值；
确定模块403，用于根据所述第一预测值、所述第二预测值和所述第三预测值，确定出所述待插值像素的像素值。
较佳的，
判断模块402，还用于在所述最小边缘方向梯度值小于所述横边界阈值时，根据所述待处理图像帧中位于所述待插值像素正上方的像素和所述待插值像素正下方的像素，确定所述待插值像素的第四预测值；
确定模块403，还用于将所述第二预测值、所述第三预测值和所述第四预测值进行中值钳位运算，确定出所述待插值像素的像素值。
较佳的，计算模块401，具体用于：
根据公式(1)确定k个边缘方向梯度值；
Figure BDA0001019476570000141
其中，k为整数且k的取值依赖于所述待插值像素的位置及梯度方向；
m，n为所述待插值像素的坐标位置；
r为整数，h为整数且h的取值依赖于边缘方向的参考像素个数；
D(k)为边缘方向梯度值；
F为像素值。
较佳的，判断模块402，具体用于：
根据公式(2)、公式(3)、公式(4)和公式(5)确定预测的变化量d；
根据公式(6)确定所述待插值像素的第二预测值q2；
根据公式(7)确定所述待插值像素的第三预测值q3；
公式(2)tmp0＝|a-b|/2
公式(3)tmp1＝(|e-c|+|g-d|)/2
公式(4)tmp2＝(|c-f|+|d-h|)/2
公式(5)d＝max(tmp0,tmp1,tmp2)
公式(6)q2＝(a+x)/2+d
公式(7)q3＝(a+x)/2-d
其中，a为所述待处理图像帧的前一帧图像帧中与所述待插值像素的对应位置的像素i的像素值，e为所述待处理图像帧的前一帧图像帧中位于像素i的正上方的像素值，g为所述待处理图像帧的前一帧图像帧中位于像素i的正下方的像素值；b为所述待处理图像帧的后一帧图像帧中与所述待插值像素的对应位置的像素j的像素值，f为所述待处理图像帧的后一帧图像帧中位于像素j的正上方的像素值，h为所述待处理图像帧的后一帧图像帧中位于像素j的正下方的像素值；x为待插值像素的原始像素值；c为所述待处理图像帧中位于所述待插值像素正上方的像素值；d为所述待处理图像帧中位于所述待插值像素正下方的的像素值；
tmp0为所述待插值像素的第一参考值；
tmp1为所述待插值像素的第二参考值；
tmp2为所述待插值像素的第三参考值；
d为预测的变化量；
q2为所述待插值像素的第二预测值；
q3为所述待插值像素的第三预测值。
较佳的，计算模块401，还用于：
在计算待插值像素在待处理图像帧中的p个边缘方向梯度值之前，确定所述待插值像素的块区域，所述块区域包括在所述待处理图像帧中位于所述待插值像素的上扫描行的部分一连串像素、位于所述待插值像素的下扫描行的部分一连串像素以及所述待插值像素所在的扫描行的原始的部分一连串像素所组成的区域；
计算所述块区域的平坦块系数，若所述平坦块系数大于第一阈值，则计算待插值像素在待处理图像帧中的p个边缘方向梯度值。
较佳的，计算模块401，还用于：在所述平坦块系数小于第一阈值时，根据所述待处理图像帧中位于所述待插值像素的上扫描行的一连串像素和位于所述待插值像素的下扫描行的一连串像素进行行平均插值。
从上述内容可以看出，只有当最小边缘方向梯度值小于横边界阈值时，才根据最小边缘梯度值所在的边缘方向上的像素值确定第一预测值，然后结合前后帧确定第二预测值和第三预测值，最后根据第一预测值、第二预测值和第三预测值确定待插值像素的像素值，由于增加了横边界阈值的判断，因此能够预防边缘方向的误判，由于参考了前后帧的运动状态信息，因此能够减少边界、角点处的噪点，从而能够提高画面清晰度，进而提高图像的质量。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种去隔行图像处理方法，其特征在于，包括：
计算待插值像素在待处理图像帧中的p个边缘方向梯度值；
从所述p个边缘方向梯度值中确定最小边缘方向梯度值；
判断所述最小边缘方向梯度值是否小于横边界阈值，若小于横边界阈值，则根据所述最小边缘梯度值所在的边缘方向上的像素值，确定待插值像素的第一预测值；
根据所述待处理图像帧的前一帧图像帧及所述待处理图像帧的后一帧图像帧，确定所述待插值像素的第二预测值和所述待插值像素的第三预测值；
根据所述第一预测值、所述第二预测值和所述第三预测值，确定出所述待插值像素的像素值；
若所述最小边缘方向梯度值大于所述横边界阈值，则根据所述待处理图像帧中位于所述待插值像素正上方的像素和所述待插值像素正下方的像素，确定所述待插值像素的第四预测值；
将所述第二预测值、所述第三预测值和所述第四预测值进行中值钳位运算，确定出所述待插值像素的像素值；
根据所述待处理图像帧的前一帧图像帧及所述待处理图像帧的后一帧图像帧，确定所述待插值像素的第二预测值和所述待插值像素的第三预测值，包括：
根据公式(2)、公式(3)、公式(4)和公式(5)确定预测的变化量d；
根据公式(6)确定所述待插值像素的第二预测值q2；
根据公式(7)确定所述待插值像素的第三预测值q3；
公式(2)tmp0＝|a-b|/2
公式(3)tmp1＝(|e-c|+|g-d|)/2
公式(4)tmp2＝(|c-f|+|d-h|)/2
公式(5)d＝max(tmp0,tmp1,tmp2)
公式(6)q2＝(a+x)/2+d
公式(7)q3＝(a+x)/2-d
其中，a为所述待处理图像帧的前一帧图像帧中与所述待插值像素的对应位置的像素i的像素值，e为所述待处理图像帧的前一帧图像帧中位于像素i的正上方的像素值，g为所述待处理图像帧的前一帧图像帧中位于像素i的正下方的像素值；b为所述待处理图像帧的后一帧图像帧中与所述待插值像素的对应位置的像素j的像素值，f为所述待处理图像帧的后一帧图像帧中位于像素j的正上方的像素值，h为所述待处理图像帧的后一帧图像帧中位于像素j的正下方的像素值；x为待插值像素的原始像素值；c为所述待处理图像帧中位于所述待插值像素正上方的像素值；d为所述待处理图像帧中位于所述待插值像素正下方的的像素值；
tmp0为所述待插值像素的第一参考值；
tmp1为所述待插值像素的第二参考值；
tmp2为所述待插值像素的第三参考值；
d为预测的变化量；
q2为所述待插值像素的第二预测值；
q3为所述待插值像素的第三预测值。
2.如权利要求1所述的方法，其特征在于，所述计算待插值像素在待处理图像帧中的p个边缘方向梯度值，包括：
根据公式(1)确定k个边缘方向梯度值；
公式(1)
Figure FDA0002357601600000021
其中，k为整数且k的取值依赖于所述待插值像素的位置及梯度方向；
m，n为所述待插值像素的坐标位置；
r为整数，h为整数且h的取值依赖于边缘方向的参考像素个数；
D(k)为边缘方向梯度值；
F为像素值。
3.如权利要求1所述的方法，其特征在于，在计算待插值像素在待处理图像帧中的p个边缘方向梯度值之前，还包括：
确定所述待插值像素的块区域，所述块区域包括在所述待处理图像帧中位于所述待插值像素的上扫描行的部分一连串像素、位于所述待插值像素的下扫描行的部分一连串像素以及所述待插值像素所在的扫描行的原始的部分一连串像素所组成的区域；
计算所述块区域的平坦块系数，若所述平坦块系数大于第一阈值，则计算待插值像素在待处理图像帧中的p个边缘方向梯度值。
4.如权利要求3所述的方法，其特征在于，还包括：若所述平坦块系数小于第一阈值，则根据所述待处理图像帧中位于所述待插值像素的上扫描行的一连串像素和位于所述待插值像素的下扫描行的一连串像素进行行平均插值。
5.一种去隔行图像处理装置，其特征在于，包括：
计算模块，用于计算待插值像素在待处理图像帧中的p个边缘方向梯度值；
从所述p个边缘方向梯度值中确定最小边缘方向梯度值；
判断模块，用于判断所述最小边缘方向梯度值是否小于横边界阈值，若小于横边界阈值，则根据所述最小边缘梯度值所在的边缘方向上的像素值，确定待插值像素的第一预测值；
还用于根据所述待处理图像帧的前一帧图像帧及所述待处理图像帧的后一帧图像帧，确定所述待插值像素的第二预测值和所述待插值像素的第三预测值；
确定模块，用于根据所述第一预测值、所述第二预测值和所述第三预测值，确定出所述待插值像素的像素值；
所述判断模块，还用于在所述最小边缘方向梯度值大于所述横边界阈值时，根据所述待处理图像帧中位于所述待插值像素正上方的像素和所述待插值像素正下方的像素，确定所述待插值像素的第四预测值；
所述确定模块，还用于将所述第二预测值、所述第三预测值和所述第四预测值进行中值钳位运算，确定出所述待插值像素的像素值；
所述判断模块，具体用于：
根据公式(2)、公式(3)、公式(4)和公式(5)确定预测的变化量d；
根据公式(6)确定所述待插值像素的第二预测值q2；
根据公式(7)确定所述待插值像素的第三预测值q3；
公式(2)tmp0＝|a-b|/2
公式(3)tmp1＝(|e-c|+|g-d|)/2
公式(4)tmp2＝(|c-f|+|d-h|)/2
公式(5)d＝max(tmp0,tmp1,tmp2)
公式(6)q2＝(a+x)/2+d
公式(7)q3＝(a+x)/2-d
其中，a为所述待处理图像帧的前一帧图像帧中与所述待插值像素的对应位置的像素i的像素值，e为所述待处理图像帧的前一帧图像帧中位于像素i的正上方的像素值，g为所述待处理图像帧的前一帧图像帧中位于像素i的正下方的像素值；b为所述待处理图像帧的后一帧图像帧中与所述待插值像素的对应位置的像素j的像素值，f为所述待处理图像帧的后一帧图像帧中位于像素j的正上方的像素值，h为所述待处理图像帧的后一帧图像帧中位于像素j的正下方的像素值；x为待插值像素的原始像素值；c为所述待处理图像帧中位于所述待插值像素正上方的像素值；d为所述待处理图像帧中位于所述待插值像素正下方的的像素值；
tmp0为所述待插值像素的第一参考值；
tmp1为所述待插值像素的第二参考值；
tmp2为所述待插值像素的第三参考值；
d为预测的变化量；
q2为所述待插值像素的第二预测值；
q3为所述待插值像素的第三预测值。
6.如权利要求5所述的装置，其特征在于，所述计算模块，具体用于：
根据公式(1)确定k个边缘方向梯度值；
公式(1)
Figure FDA0002357601600000051
其中，k为整数且k的取值依赖于所述待插值像素的位置及梯度方向；
m，n为所述待插值像素的坐标位置；
r为整数，h为整数且h的取值依赖于边缘方向的参考像素个数；
D(k)为边缘方向梯度值；
F为像素值。
7.如权利要求5所述的装置，其特征在于，所述计算模块，还用于：
在计算待插值像素在待处理图像帧中的p个边缘方向梯度值之前，确定所述待插值像素的块区域，所述块区域包括在所述待处理图像帧中位于所述待插值像素的上扫描行的部分一连串像素、位于所述待插值像素的下扫描行的部分一连串像素以及所述待插值像素所在的扫描行的原始的部分一连串像素所组成的区域；
计算所述块区域的平坦块系数，若所述平坦块系数大于第一阈值，则计算待插值像素在待处理图像帧中的p个边缘方向梯度值。
8.如权利要求7所述的装置，其特征在于，所述计算模块，还用于：在所述平坦块系数小于第一阈值时，根据所述待处理图像帧中位于所述待插值像素的上扫描行的一连串像素和位于所述待插值像素的下扫描行的一连串像素进行行平均插值。
CN201610430983.1A 2016-06-16 2016-06-16 一种去隔行图像处理方法和装置 Active CN107517356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610430983.1A CN107517356B (zh) 2016-06-16 2016-06-16 一种去隔行图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610430983.1A CN107517356B (zh) 2016-06-16 2016-06-16 一种去隔行图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN107517356A CN107517356A (zh) 2017-12-26
CN107517356B true CN107517356B (zh) 2020-03-17

Family

ID=60721082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610430983.1A Active CN107517356B (zh) 2016-06-16 2016-06-16 一种去隔行图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN107517356B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248132B (zh) * 2019-05-31 2020-12-01 成都东方盛行电子有限责任公司 一种视频帧率插值方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1477869A (zh) * 2002-07-26 2004-02-25 ���ǵ�����ʽ���� 去隔行装置及其方法
CN101640783A (zh) * 2008-07-30 2010-02-03 展讯通信（上海）有限公司 去隔行的像素点插值方法及其装置
CN103024331A (zh) * 2012-12-26 2013-04-03 电子科技大学 一种基于边缘检测的视频去隔行方法
CN103475838A (zh) * 2013-06-21 2013-12-25 青岛海信信芯科技有限公司 一种基于边缘自适应的去隔行方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090046202A1 (en) * 2007-08-17 2009-02-19 Himax Technologies Limited De-interlace method and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1477869A (zh) * 2002-07-26 2004-02-25 ���ǵ�����ʽ���� 去隔行装置及其方法
CN101640783A (zh) * 2008-07-30 2010-02-03 展讯通信（上海）有限公司 去隔行的像素点插值方法及其装置
CN103024331A (zh) * 2012-12-26 2013-04-03 电子科技大学 一种基于边缘检测的视频去隔行方法
CN103475838A (zh) * 2013-06-21 2013-12-25 青岛海信信芯科技有限公司 一种基于边缘自适应的去隔行方法

Also Published As

Publication number Publication date
CN107517356A (zh) 2017-12-26

Similar Documents

Publication Publication Date Title
US7769089B1 (en) Method and system for reducing noise level in a video signal
JP4162621B2 (ja) フレームレート変換時のフレーム補間方法およびその装置
US20090208123A1 (en) Enhanced video processing using motion vector data
TW200945904A (en) Image interpolation with halo reduction
KR20150127597A (ko) 이미지에서 적응적인 주파수 강도 컨트롤 변환으로 디테일 생성
US20090174812A1 (en) Motion-compressed temporal interpolation
JP2005160071A (ja) ノイズ減衰装置及び順次走査変換装置
JP2004007696A (ja) インターレース−プログレッシブ変換用のエッジ適応補間のための方法及びシステム
KR100989650B1 (ko) 디인터레이싱 장치 및 방법
CN107517356B (zh) 一种去隔行图像处理方法和装置
US20060222267A1 (en) Method and apparatus for pixel interpolation
US8704945B1 (en) Motion adaptive deinterlacer
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
JP2009246735A (ja) 映像信号補間装置、映像表示装置及び映像信号補間方法
CN111885338B (zh) 一种视频去隔行处理方法及装置
US8259235B2 (en) Image processing apparatus and method thereof
Park et al. Covariance-based adaptive deinterlacing method using edge map
TWI389568B (zh) 影像解交錯的方法及相關裝置
Tai et al. A motion and edge adaptive deinterlacing algorithm
JP5616014B2 (ja) ビデオピクチャにおけるエッジの方向を表す距離を生成する方法、対応する装置、およびデインタレースまたはフォーマット変換のための方法の使用
US8233085B1 (en) Method and system for interpolating a pixel value of a pixel located at an on-screen display
Park et al. Adaptive weighting scheme for edge-based line interpolation
JP4910579B2 (ja) 画像信号処理装置、画像信号処理方法、およびプログラム
JP2005045700A (ja) 動画像補間用動き推定方法及び動画像補間用動き推定装置
CN101729882B (zh) 低角度内插装置及其方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant