CN106303338B - 一种基于双边滤波多方向插值的场内去隔行方法 - Google Patents

一种基于双边滤波多方向插值的场内去隔行方法 Download PDF

Info

Publication number
CN106303338B
CN106303338B CN201610700914.8A CN201610700914A CN106303338B CN 106303338 B CN106303338 B CN 106303338B CN 201610700914 A CN201610700914 A CN 201610700914A CN 106303338 B CN106303338 B CN 106303338B
Authority
CN
China
Prior art keywords
pixel
nearest
interpolation
adjacent
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610700914.8A
Other languages
English (en)
Other versions
CN106303338A (zh
Inventor
张涛
陈有志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201610700914.8A priority Critical patent/CN106303338B/zh
Publication of CN106303338A publication Critical patent/CN106303338A/zh
Application granted granted Critical
Publication of CN106303338B publication Critical patent/CN106303338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Abstract

一种基于双边滤波多方向插值的场内去隔行方法：输入隔行扫描视频序列；对于使用相邻非原始像素点的情况，θ角度方向上两个最近的相邻非原始像素是采用图像插值算法求出；将θ角度方向上最近的相邻原始像素点和相邻非原始像素点统称为最近的相邻像素点，使用含有高斯核的权重函数来表征两个最近的相邻像素点之间的像素值相似性关系；使用含有高斯核的权重函数来表征两个最近的相邻像素点之间的距离接近程度关系；结合两个最近的相邻像素点之间的像素值相似性关系和两个最近的相邻像素点之间的距离接近程度关系，计算出权值；结合权值以及每个与待插值像素点距离最近的两个相邻像素点对应的像素值，计算出最终的插值结果。本发明使得插值结果更准确。

Description

一种基于双边滤波多方向插值的场内去隔行方法
技术领域
本发明涉及一种视频处理技术。特别是涉及一种基于双边滤波多方向插值的场内去隔行方法。
背景技术
基于对传统模拟电视兼容和节省传输带宽成本的考虑，现阶段大多数广播电视系统在电视信号的传输过程中采用隔行扫描的格式，这其中就包含NTSC,PAL,SECAM等广播电视系统。但是，隔行扫描会造成边缘闪烁、锯齿现象和场间混叠等视觉上的缺陷。目前主流的数字电视主要支持逐行扫描，因此需要去隔行操作。去隔行的实质就是插值缺失的像素，去除隔行扫描造成的视觉缺陷。
目前，前人已经提出过多种去隔行算法，这些去隔行算法可以粗略地分为两类：运动补偿算法和非运动补偿算法。
运动补偿算法主要是通过运动估计获得正确的运动矢量进行运动补偿，从而实现去隔行的目的。该种算法是目前去隔行算法中较为先进的算法，在一定情况下能够提供比非运动补偿算法更好的去隔行效果。但是由于不准确的运动信息，会导致去隔行重建的图像中有块效应。这种算法的鲁棒性也比较差，并且这种算法的计算复杂度较高，不利于在实时系统中实现。相对而言，非运动补偿算法的计算复杂较低，比较适合实时系统。
非运动补偿算法主要分为线形算法和非线性算法两大类。线形算法主要有时域插值、空域插值、垂直时域滤波插值等，这类算法能够在运动幅度较低的区域内表现出较好的去隔行效果。但是当运动幅度较大时，这类算法的去隔行效果较差，在重建图像中会产生边缘褶皱等问题。因此，前人提出非线性算法，这类算法主要有基于边缘自适应插值、基于权值自适应插值等。这类算法在一些运动幅度较大的情况下能够提供较好的去隔行效果，但是对于一些细节丰富、窄边缘较多的情况下，去隔行效果并不太好，会造成图像晃动现象。并且这些算法中大部分只是考虑相邻像素之间的像素值相似性，很少考虑相邻像素之间的距离关系，这会在一定程度上影响插值结果的准确性。
发明内容
本发明所要解决的技术问题是，提供一种使得插值结果更为准确，能够提高较好的去隔行效果的基于双边滤波多方向插值的场内去隔行方法。
本发明所采用的技术方案是：一种基于双边滤波多方向插值的场内去隔行方法，包括如下步骤：
1)输入隔行扫描视频序列，选取一个待插值场，针对场内每一个待插值像素点(i,j)，选取n个方向上与当前待插值像素点(i,j)位置最近的相邻原始像素点，其中，每个方向上与当前待插值像素点(i,j)位置最近的相邻原始像素点有两个，两个所述最近的相邻原始像素点都要选取，且选取的两个原始像素点的连线与水平线所形成的夹角用θ角度表示，θ∈[0°～180°]；
2)对于使用相邻非原始像素点的情况，θ角度方向上两个最近的相邻非原始像素是采用图像插值算法求出；
3)将步骤1)中所述最近的相邻原始像素点和步骤2)中所述最近的相邻非原始像素点，统称为最近的相邻像素点，使用含有高斯核的权重函数来表征θ角度方向上两个最近的相邻像素点之间的像素值相似性关系公式如下：
其中I(i′,j′)和I(i″,j″)是θ方向上与待插值像素点(i,j)距离最近的两个相邻像素点对应的像素值，σr是一个调整因子，用于调整的大小；
4)使用含有高斯核的权重函数来表征θ角度方向上两个最近的相邻像素点之间的距离接近程度关系公式如下：
其中(i′,j′)和(i″,j″)是θ角度方向上与待插值像素点(i,j)距离最近的两个相邻像素点的位置；σd是一个调整因子，用于调整的大小；
5)结合步骤3)所求得的θ角度方向上两个最近的相邻像素点之间的像素值相似性关系和步骤4)所求得的θ角度方向上两个最近的相邻像素点之间的距离接近程度关系计算出权值Wθ，计算公式如下：
6)结合步骤5)所求的权值Wθ，以及每个θ角度方向上与待插值像素点距离最近的两个相邻像素点对应的像素值，计算出最终的插值结果计算公式如下：
其中A是θ角度的集合，C(θ)表示θ角度方向上最近的两个相邻像素点对应的像素值集合，I(i,j)是C(θ)中的一个像素值。
步骤4)中，由于各相邻像素点之间的距离关系是固定的，因此相邻像素点之间的距离接近程度关系只需要计算一次，对于下一个待插值像素点的相邻像素点之间的距离接近程度关系直接使用第一次计算所得的
本发明的一种基于双边滤波多方向插值的场内去隔行方法，引入双边滤波原理，考虑相邻像素之间的距离关系和像素值相似性，从而使得插值结果更准确，经实验证明，与传统的场内插值算法相比，重建图像的PSNR有1dB左右的提升。与传统的场间插值算法相比，本发明所提的去隔行方法需要的存储开销较少。另外计算复杂度也远远小于基于运动补偿去隔行算法的计算复杂度，基本上与基于边缘自适应插值算法的计算复杂度相当，是一种场内去隔行算法，适合运用到实时系统中，并且硬件开销较少。
附图说明
图1是本发明一种基于双边滤波多方向插值的场内去隔行方法一实施例的示意图；
图2是4抽头Wiener滤波插值示意图。
具体实施方式
下面结合实施例和附图对本发明的一种基于双边滤波多方向插值的场内去隔行方法做出详细说明。
本发明的一种基于双边滤波多方向插值的场内去隔行方法，是针对现有大部分去隔行方法很少把相邻像素之间的像素值相似性和距离关系都考虑，以及不少去隔行算法的计算复杂度较高、硬件开销较大等问题而提出的，包括如下步骤：
1)输入隔行扫描视频序列，选取一个待插值场，针对场内每一个待插值像素点(i,j)，选取n个方向上与当前待插值像素点(i,j)位置最近的相邻原始像素点，其中，每个方向上与当前待插值像素点(i,j)位置最近的相邻原始像素点有两个，两个所述最近的相邻原始像素点都要选取，且选取的两个原始像素点的连线与水平线所形成的夹角用θ角度表示，θ∈[0°～180°]；
2)对于使用相邻非原始像素点的情况，θ角度方向上两个最近的相邻非原始像素是采用图像插值算法求出；
3)将步骤1)中所述最近的相邻原始像素点和步骤2)中所述最近的相邻非原始像素点，统称为最近的相邻像素点，使用含有高斯核的权重函数来表征θ角度方向上两个最近的相邻像素点之间的像素值相似性关系公式如下：
其中I(i′,j′)和I(i″,j″)是θ方向上与待插值像素点(i,j)距离最近的两个相邻像素点对应的像素值，σr是一个调整因子，用于调整的大小；不同的图像、考虑的θ角度方向多少以及θ角度方向的种类都会影响调整因子σr的取值，在实际中，一般是在确定考虑的θ角度方向种类以及数量之后，测试较充足的自然图像，选择一个相对效果较好、适用性较广的调整因子σr值作为通用的调整因子σr值。使用上述公式计算出值。
4)使用含有高斯核的权重函数来表征θ角度方向上两个最近的相邻像素点之间的距离接近程度关系公式如下：
其中(i′,j′)和(i″,j″)是θ角度方向上与待插值像素点(i,j)距离最近的两个相邻像素点的位置；σd是一个调整因子，用于调整的大小；不同的图像、考虑的θ角度方向多少以及θ角度方向的种类都会影响调整因子σd的取值。在实际中，一般是在确定考虑的θ角度方向种类以及数量之后，测试较充足的自然图像，选择一个相对效果较好、适用性较广的调整因子σd值作为通用的调整因子σd值。使用上述公式计算出值。
由于各相邻像素点之间的距离关系是固定的，因此相邻像素点之间的距离接近程度关系只需要计算一次，对于下一个待插值像素点的相邻像素点之间的距离接近程度关系直接使用第一次计算所得的
5)结合步骤3)所求得的θ角度方向上两个最近的相邻像素点之间的像素值相似性关系和步骤4)所求得的θ角度方向上两个最近的相邻像素点之间的距离接近程度关系计算出权值Wθ，计算公式如下：
权值Wθ综合θ方向上两个最近相邻像素点之间的像素值相似性关系和距离接近程度关系。
6)结合步骤5)所求的权值Wθ，以及每个θ角度方向上与待插值像素点距离最近的两个相邻像素点对应的像素值，计算出最终的插值结果计算公式如下：
其中A是θ角度的集合，C(θ)表示θ角度方向上最近的两个相邻像素点对应的像素值集合，I(i,j)是C(θ)中的一个像素值。
表1为本发明的一种基于双边滤波多方向插值的场内去隔行方法与基于边缘信息插值算法(ELA)的重建图像质量对比，衡量指标使用PSNR参数。其中akiyo,bus,football的分辨率为352×288的视频测试序列，horsecab,rally,splash的分辨率为720×576的视频测试序列，Sailormen的分辨率为1280×720的视频测试序列，Kimono的分辨率为1920×1080的视频测试序列，这些视频测试序列既包含运动剧烈情况和运动平缓的情况。
表1
结合图1给出本发明中一种情况下的最佳实施方式：
1、输入隔行扫描视频序列，待插值场按照时间顺序从起始场到结束场依次选取。针对场内每一个待插值像素点(i,j)，选取其上下共10个与之相邻的原始像素点，即(i-1,j-2)，(i-1,j-1)，(i-1,j)，(i-1,j+1)，(i-1,j+2)，(i+1,j-2)，(i+1,j-1)，(i+1,j)，(i+1,j+1)，(i+1,j+2)。
2、利用这10个相邻的原始像素以及4抽头的wiener滤波插值算法(其示意图如图2所示)在和处进行插值。具体插值方式如下：
3、由于考虑的θ为45°、63°、90°、117°和135°，采用较为充足的自然图像训练，最终确定σr和σd的值为30，0.5。使用σr＝30以及相应的像素值带入以下公式，计算出(θ为45°、63°、90°、117°和135°)。
4、使用σd＝0.5带入以下公式，计算出(θ为45°、63°、90°、117°和135°)。需要注意：只需要计算一次，然后存储下来。以后插值所需要的使用第一次计算所得的值：
5、结合步骤3和步骤4所求得的和带入(3)式，计算出Wθ。
6、结合步骤5所求的Wθ值，以及位置(i-1,j-1)，(i-1,j)，(i-1,j+1)，(i+1,j-1)，(i+1,j)，(i+1,j+1)处的像素值带入(4)式，计算出最终的插值结果

Claims (2)

1.一种基于双边滤波多方向插值的场内去隔行方法，其特征在于，包括如下步骤：
1)输入隔行扫描视频序列，选取一个待插值场，针对场内每一个待插值像素点(i,j)，选取n个方向上与当前待插值像素点(i,j)位置最近的相邻原始像素点，其中，每个方向上与当前待插值像素点(i,j)位置最近的相邻原始像素点有两个，两个所述最近的相邻原始像素点都要选取，且选取的两个原始像素点的连线与水平线所形成的夹角用θ角度表示，θ∈[0°～180°]；
2)对于使用相邻非原始像素点的情况，θ角度方向上与当前待插值像素点(i,j)位置最近的两个相邻非原始像素是采用图像插值算法求出；
3)将步骤1)中所述最近的相邻原始像素点和步骤2)中所述最近的相邻非原始像素点，统称为最近的相邻像素点，使用含有高斯核的权重函数来表征θ角度方向上与当前待插值像素点(i,j)位置最近的两个相邻像素点之间的像素值相似性关系公式如下：
其中I(i′,j′)和I(i″,j″)是θ方向上与当前待插值像素点(i,j)距离最近的两个相邻像素点对应的像素值，σr是一个调整因子，用于调整的大小；
4)使用含有高斯核的权重函数来表征θ角度方向上与当前待插值像素点(i,j)位置最近的两个相邻像素点之间的距离接近程度关系公式如下：
其中(i′,j′)和(i″,j″)是θ角度方向上与当前待插值像素点(i,j)距离最近的两个相邻像素点的位置；σd是一个调整因子，用于调整的大小；
5)结合步骤3)所求得的θ角度方向上与当前待插值像素点(i,j)位置最近的两个相邻像素点之间的像素值相似性关系和步骤4)所求得的θ角度方向上与当前待插值像素点(i,j)位置最近的两个相邻像素点之间的距离接近程度关系计算出权值Wθ，计算公式如下：
6)结合步骤5)所求的权值Wθ，以及每个θ角度方向上与当前待插值像素点距离最近的两个相邻像素点对应的像素值，计算出最终的插值结果计算公式如下：
其中A是θ角度的集合，C(θ)表示θ角度方向上与当前待插值像素点(i,j)位置最近的两个相邻像素点对应的像素值集合，I(i,j)是C(θ)中的一个像素值。
2.根据权利要求1所述的一种基于双边滤波多方向插值的场内去隔行方法，其特征在于，步骤4)中，由于各相邻像素点之间的距离关系是固定的，因此相邻像素点之间的距离接近程度关系只需要计算一次，对于下一个待插值像素点的相邻像素点之间的距离接近程度关系直接使用第一次计算所得的
CN201610700914.8A 2016-08-19 2016-08-19 一种基于双边滤波多方向插值的场内去隔行方法 Active CN106303338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610700914.8A CN106303338B (zh) 2016-08-19 2016-08-19 一种基于双边滤波多方向插值的场内去隔行方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610700914.8A CN106303338B (zh) 2016-08-19 2016-08-19 一种基于双边滤波多方向插值的场内去隔行方法

Publications (2)

Publication Number Publication Date
CN106303338A CN106303338A (zh) 2017-01-04
CN106303338B true CN106303338B (zh) 2019-03-22

Family

ID=57662100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610700914.8A Active CN106303338B (zh) 2016-08-19 2016-08-19 一种基于双边滤波多方向插值的场内去隔行方法

Country Status (1)

Country Link
CN (1) CN106303338B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106961570A (zh) * 2017-03-20 2017-07-18 中航华东光电有限公司 基于fpga的视频信号去隔行的系统和处理方法
CN111885338B (zh) * 2020-07-31 2022-03-01 青岛信芯微电子科技股份有限公司 一种视频去隔行处理方法及装置
CN117808800B (zh) * 2024-02-29 2024-05-10 深圳市富安娜艺术家居有限公司 一种纺织品染色质量智能评估方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1505386A (zh) * 2002-12-03 2004-06-16 三星电子株式会社 去隔行扫描装置和方法
CN1846435A (zh) * 2003-09-04 2006-10-11 皇家飞利浦电子股份有限公司 视频信号的鲁棒去隔行
CN101018286A (zh) * 2007-02-09 2007-08-15 天津大学 采用运动检测和自适应加权滤波的去隔行方法
CN101106685A (zh) * 2007-08-31 2008-01-16 湖北科创高新网络视频股份有限公司 一种基于运动检测的去隔行方法和装置
CN101600062A (zh) * 2009-07-23 2009-12-09 浙江大学 一种基于增强型边沿自适应的场内去隔行方法
CN101640783A (zh) * 2008-07-30 2010-02-03 展讯通信（上海）有限公司 去隔行的像素点插值方法及其装置
CN102186046A (zh) * 2011-05-31 2011-09-14 杭州士兰微电子股份有限公司 一种视频图像去隔行扫描方法及装置
CN102457737A (zh) * 2010-10-26 2012-05-16 重庆大学 一种基于深度图像的3d视频去隔行方法和装置
CN103475838A (zh) * 2013-06-21 2013-12-25 青岛海信信芯科技有限公司 一种基于边缘自适应的去隔行方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4172495B2 (ja) * 2006-05-09 2008-10-29 ソニー株式会社 画像表示装置、信号処理装置、および画像処理方法、並びにコンピュータ・プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1505386A (zh) * 2002-12-03 2004-06-16 三星电子株式会社 去隔行扫描装置和方法
CN1846435A (zh) * 2003-09-04 2006-10-11 皇家飞利浦电子股份有限公司 视频信号的鲁棒去隔行
CN101018286A (zh) * 2007-02-09 2007-08-15 天津大学 采用运动检测和自适应加权滤波的去隔行方法
CN101106685A (zh) * 2007-08-31 2008-01-16 湖北科创高新网络视频股份有限公司 一种基于运动检测的去隔行方法和装置
CN101640783A (zh) * 2008-07-30 2010-02-03 展讯通信（上海）有限公司 去隔行的像素点插值方法及其装置
CN101600062A (zh) * 2009-07-23 2009-12-09 浙江大学 一种基于增强型边沿自适应的场内去隔行方法
CN102457737A (zh) * 2010-10-26 2012-05-16 重庆大学 一种基于深度图像的3d视频去隔行方法和装置
CN102186046A (zh) * 2011-05-31 2011-09-14 杭州士兰微电子股份有限公司 一种视频图像去隔行扫描方法及装置
CN103475838A (zh) * 2013-06-21 2013-12-25 青岛海信信芯科技有限公司 一种基于边缘自适应的去隔行方法

Also Published As

Publication number Publication date
CN106303338A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
US6473460B1 (en) Method and apparatus for calculating motion vectors
CN102025960B (zh) 一种基于自适应插值的运动补偿去隔行方法
KR100403364B1 (ko) 영상 신호의 디인터레이스 방법 및 장치
US8355442B2 (en) Method and system for automatically turning off motion compensation when motion vectors are inaccurate
US8031267B2 (en) Motion adaptive upsampling of chroma video signals
CN106303338B (zh) 一种基于双边滤波多方向插值的场内去隔行方法
EP1931136B1 (en) Block-based line combination algorithm for de-interlacing
EP1782622A1 (en) Pixel interpolation
CN102364933A (zh) 一种基于运动分类的自适应去隔行方法
CN101699856B (zh) 一种运动自适应的去交织方法
KR100989650B1 (ko) 디인터레이싱 장치 및 방법
US8743280B2 (en) Scan conversion image filtering
CN101309376B (zh) 去隔行方法和装置
Jeon et al. Fuzzy rule-based edge-restoration algorithm in HDTV interlaced sequences
CN201222771Y (zh) 一种高速边缘自适应的去隔行插值装置
Yang et al. Fine edge-preserving deinterlacing algorithm for progressive display
KR100910208B1 (ko) 디인터레이싱 장치 및 그 방법
CN110381324A (zh) 一种基于边缘检测的帧内插值去隔行方法
Zhang et al. An efficient motion adaptive deinterlacing algorithm using improved edge-based line average interpolation
KR101144435B1 (ko) 가중치를 이용한 에지 기반 디인터레이싱 방법 및 이러한 방법을 사용하는 영상 처리 장치
Park et al. Adaptive weighting scheme for edge-based line interpolation
Wang et al. Efficient adaptive deinterlacing algorithm using bilateral filter
KR101204210B1 (ko) 기하학적 이중성을 이용한 디인터레이싱 방법 및 이러한 방법을 수행하는 영상 처리 장치
Chen et al. A gradient inverse weighted filtering approach for video deinterlacing
KR101174589B1 (ko) 지역 복잡도를 기초로 한 디인터레이싱 방법 및 이러한 방법을 수행하는 영상 처리 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant