CN103646379B - 一种图像放大方法和装置 - Google Patents

一种图像放大方法和装置 Download PDF

Info

Publication number
CN103646379B
CN103646379B CN201310626289.3A CN201310626289A CN103646379B CN 103646379 B CN103646379 B CN 103646379B CN 201310626289 A CN201310626289 A CN 201310626289A CN 103646379 B CN103646379 B CN 103646379B
Authority
CN
China
Prior art keywords
pixel
edge
edge region
area
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310626289.3A
Other languages
English (en)
Other versions
CN103646379A (zh
Inventor
邢文峰
王中琦
王少颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Qingdao Hisense Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Electronics Co Ltd filed Critical Qingdao Hisense Electronics Co Ltd
Priority to CN201310626289.3A priority Critical patent/CN103646379B/zh
Publication of CN103646379A publication Critical patent/CN103646379A/zh
Application granted granted Critical
Publication of CN103646379B publication Critical patent/CN103646379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本申请提供了一种图像放大方法和装置,其中,该方法包括:根据图像中第一区域的像素与第一区域周围的像素之间的第一差值,确定第一区域是边缘区域,其中,边缘区域包括第一边缘区域和/或第二边缘区域,当第一差值大于第一阈值时,第一区域是第一边缘区域,当第一差值大于第二阈值且小于第一阈值时,第一区域是第二边缘区域;对第一边缘区域和第二边缘区域使用不同的步长进行插补,实现对第一边缘区域和第二边缘区域的图像的放大。通过本发明,对边缘区域进行相应的保护,防止在放大处理的过程中产生边缘模糊现象。

Description

一种图像放大方法和装置
技术领域
本申请涉及图像技术领域,特别是涉及一种图像放大方法和装置。
背景技术
在诸如电视设备等应用中,显示屏幕的尺寸越来越大,显示分辨率也越来越高。由于传输带宽的限制以及摄像设备本身的特性,输入的原始视频图像分辨率通常要小于显示设备的分辨率,这样,在进行显示时,需要对低分辨率的视频图像进行放大处理。
在低分辨率图像中,相对于其它平滑区域,边缘信息在人眼进行观察时更为明显,在放大之后,该边缘部分的处理效果将会更为凸显,因此该部分的信息在处理时相对于平坦区域需要进行更高程度的保护。
发明内容
本申请所要解决的技术问题是提供一种图像放大方法和装置,能够根据图像中物体边缘的特性,在放大的过程中采取相应的保护措施,从而能够较好地保护图像的边缘特征。
为了解决上述问题,本申请公开了一种图像放大方法,包括:根据图像中第一区域的像素与第一区域周围的像素之间的第一差值,确定第一区域是边缘区域,其中,边缘区域包括第一边缘区域和/或第二边缘区域,当第一差值大于第一阈值时,第一区域是第一边缘区域,当第一差值大于第二阈值且小于第一阈值时,第一区域是第二边缘区域;对第一边缘区域和第二边缘区域使用不同的步长进行插补,实现对第一边缘区域和第二边缘区域的图像的放大。
优选的,对第一边缘区域和第二边缘区域使用不同的步长进行插补包括:根据第一边缘区域内的原始像素,确定第一边缘区域内的像素插值,使用第一步长对第一边缘区域内的像素进行抽取;使用第二步长对第二边缘区域进行插补,其中,第二步长大于第一步长。
优选的,在对第一边缘区域和第二边缘区域使用不同的步长进行插补之前,上述方法还包括:当图像中第二区域的像素与第二区域周围的像素之间的第二差值小于第二阈值时,确定第二区域是非边缘区域,其中,第一区域的像素、第一区域周围的像素、第二区域的像素和第二区域周围的像素均在图像的第一行或第一列上;使用第一步长对非边缘区域进行插补。
优选的,使用第一步长对非边缘区域进行插补包括:根据非边缘区域内的原始像素,确定非边缘区域内的像素插值;使用第一步长,对非边缘区域内的像素进行抽取。
优选的,根据第一边缘区域内的原始像素,确定第一边缘区域内的插值,包括:
确定第一边缘区域内的插值为:
确定非边缘区域内的插值为:
其中,p1是第一区域内第一位置的像素插值,p(t)是第一边缘区域内位置t处原始像素的像素值,p(t)和位于第二位置的原始像素的差值小于第三阈值,位于第二位置的原始像素是第一行或第一列上距离第一位置最临近的原始像素,w(t)是第一边缘区域内位置t处的卷积运算系数,p2是非边缘区域内第三位置的像素插值,p(k)是位置k处原始像素的像素值,w(k)是位置k处的卷积运算系数。
优选的,当第二边缘区域和非边缘区域位于同一行或同一列时,使用第二步长对第二边缘区域进行插补,使用第一步长对非边缘区域进行插补,包括:对第二边缘区域和非边缘区域进行插值;确定第二边缘区域中进行像素抽取的第二步长和非边缘区域中进行像素抽取的第一步长;使用第一步长对非边缘区域中的像素进行抽取,使用第二步长对第二边缘区域中的像素进行抽取。
优选的,使用第一步长对非边缘区域中的像素进行抽取,使用第二步长对第二边缘区域中的像素进行抽取,包括:将第一步长和第二步长均乘以S,获得更新后的第一步长和更新后的第二步长,其中,S能够保证第一行或第一列的两端的原始像素都能够被抽取到;使用更新后的第一步长对非边缘区域中的像素进行抽取,使用更新后的第二步长对第二边缘区域中的像素进行抽取。
为了解决上述问题,本申请公开了一种图像放大方法,包括:确定模块,用于根据图像中第一区域的像素与第一区域周围的像素之间的第一差值,确定第一区域是边缘区域,其中,边缘区域包括第一边缘区域和/或第二边缘区域,当第一差值大于第一阈值时,第一区域是第一边缘区域,当第一差值大于第二阈值且小于第一阈值时,第一区域是第二边缘区域;插补模块,用于对第一边缘区域和第二边缘区域使用不同的步长进行插补,实现对第一边缘区域和第二边缘区域的图像的放大。
优选的,插补模块用于根据第一边缘区域内的原始像素,确定第一边缘区域内的像素插值,使用第一步长对第一边缘区域内的像素进行抽取;使用第二步长对第二边缘区域进行插补,其中,第二步长大于第一步长。
优选的,确定模块还用于在对第一边缘区域和第二边缘区域使用不同的步长进行插补之前,在图像中第二区域的像素与第二区域周围的像素之间的第二差值小于第二阈值的情况下,确定第二区域是非边缘区域,其中,第一区域的像素、第一区域周围的像素、第二区域的像素和第二区域周围的像素均在图像的第一行或第一列上;
插补模块还用于使用第一步长对非边缘区域进行插补。
与现有技术相比,本申请具有以下优点:
本发明按照边缘的过渡特点将边缘区域分类,对不同的边缘区域像素采用采用不同的步长进行不同的插补方式,实现根据边缘区域的特点对边缘区域进行相应的保护,防止在放大处理的过程中产生边缘模糊现象。
附图说明
图1是一种图像放大方法的流程图;
图2是图像原始信号示意图;
图3是对图2所示信号插入0像素的示意图;
图4是对图3所示信号进行插值的示意图;
图5是一种图像放大处理的流程图;
图6是不同边缘结构的示意图;
图7是过渡边缘区域的步长计算的示意图;
图8是获取中心位置抽头系数的示意图;
图9是抽头系数依照扩展方向进行处理的示意图;
图10是一种图像放大装置的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
在不矛盾的情况下,本发明的各个实施例可以相互结合。
参照图1,示出了本申请一种图像放大方法,该方法的执行主体可以是诸如电视机等显示设备,该方法包括:
步骤102,根据图像中第一区域的像素与第一区域周围的像素之间的第一差值,确定第一区域是边缘区域,其中,边缘区域包括第一边缘区域和/或第二边缘区域,当第一差值大于第一阈值时,第一区域是第一边缘区域,当第一差值大于第二阈值且小于第一阈值时,第一区域是第二边缘区域;
步骤104,对第一边缘区域和第二边缘区域使用不同的步长进行插补,实现对第一边缘区域和第二边缘区域的图像的放大。
优选的,步骤104可以通过以下方式实现:根据第一边缘区域内的原始像素,确定第一边缘区域内的像素插值,使用第一步长对第一边缘区域内的像素进行抽取;使用第二步长对第二边缘区域进行插补,其中,第二步长大于第一步长。
在本发明的一个优选实现方式中,在步骤104之前,还可以包括:根据图像中第二区域的像素与第二区域周围的像素之间的第二差值,确定第二区域是非边缘区域,其中,第一区域的像素、第一区域周围的像素、第二区域的像素和第二区域周围的像素均在图像的第一行或第一列上;在本发明的各个实施例中,第一仅是泛指,并不用于限定位置关系,第一行可以是图像中的任一行;第一列可以是图像中的任一列。当第二差值小于第二阈值时,确定第二区域是非边缘区域。然后,使用第一步长对非边缘区域进行插补。
其中,使用第一步长对非边缘区域进行插补可以包括:根据非边缘区域内的原始像素,确定非边缘区域内的像素插值;使用第一步长,对非边缘区域内的像素进行抽取。
优选的,根据第一边缘区域内的原始像素,确定第一边缘区域内的插值,包括:
确定第一边缘区域内的插值为:
确定非边缘区域内的插值为:
其中,p1是第一区域内第一位置的像素插值,p(t)是第一边缘区域内位置t处原始像素的像素值,p(t)和位于第二位置的原始像素的差值小于第三阈值,位于第二位置的原始像素是第一行或第一列上距离第一位置最临近的原始像素,w(t)是第一边缘区域内位置t处的卷积运算系数,p2是非边缘区域内第三位置的像素插值,p(k)是位置k处原始像素的像素值,w(k)是位置k处的卷积运算系数。现有技术的放大方法会使用属于不同区域的像素值参与到同一个滤波器组中进行计算,使得边缘区域引入了临近的非边缘区域的信息,导致边缘区域出现模糊,这种现象在低分辨率的图像转化为高分辨率图像时更为明显,在本实施例中,第一边缘区域的插值仅使用第一边缘区域的原始像素进行计算,没有引入非边缘区域的信息,从而保证了边缘区域的清晰度。
在本发明实施例的另一个优选实例中,当第二边缘区域和非边缘区域位于同一行或同一列时,使用第二步长对第二边缘区域进行插补,使用第一步长对非边缘区域进行插补,包括:对第二边缘区域和非边缘区域进行插值;确定第二边缘区域中进行像素抽取的第二步长和非边缘区域中进行像素抽取的第一步长;使用第一步长对非边缘区域中的像素进行抽取,使用第二步长对第二边缘区域中的像素进行抽取。第二边缘区域的边缘过渡存在着一定的梯度,在进行普通放大时,将会使该区域面积增大,使图像的边缘信息锐化度低于原始图像。同时,在电视等显示设备进行显示时,由于在同样的分辨率下,电视屏幕的尺寸较大,所以电视的各像素点的物理点距相对较大,造成了相同分辨率的图像在电视屏幕显示时锐化度的降低。在本实施例中,第二边缘区域抽取像素的步长大于非边缘区域抽取像素的步长,从而保证了第二边缘区域仍具有一定的梯度,提高了放大图像的锐化度。
可选的,使用第一步长对非边缘区域中的像素进行抽取,使用第二步长对第二边缘区域中的像素进行抽取,包括:将第一步长和第二步长均乘以S,获得更新后的第一步长和更新后的第二步长,其中,S能够保证第一行或第一列的两端的原始像素都能够被抽取到;使用更新后的第一步长对非边缘区域中的像素进行抽取,使用更新后的第二步长对第二边缘区域中的像素进行抽取。通过该实施例,能够确保图像的每一行或每一列的第1个和最后一个原始像素都能在放大图像中得到保留,提高放大图像的质量。
通过上述方式对图像的每一行和每一列进行放大,从而得到放大后的图像。例如,可以先使用上述方法进行水平放大(水平方向放大),然后再进行纵向放大(竖直方向放大)。
当前,电视等显示设备的屏幕分辨率越来越高,由于带宽及摄像设备的限制,输入图像的分辨率通常要低于屏幕显示分辨率。而低分辨率图像在屏幕上进行显示时,通常需要进行放大处理,从而充分利用显示设备提升的分辨率。原始图像中的边缘信息相对于其它信息在人眼进行观察时更为明显,而在放大之后,该区域的处理效果也更容易被人眼所察觉。在本实施例中,根据图像中物体边缘的特性,在放大的过程中采取相应的保护措施,从而能够较好地保护图像的边缘特征。在将低分辨率图像在高分辨率的电视屏幕进行放大显示时,可以依据本实施例提供的算法对每一行和每一列中的边缘像素采用和非边缘像素不同的插补方式,对边缘区域进行相应的保护,防止在放大处理的过程中产生边缘模糊现象。
本发明实施例还提供了一种图像放大处理的流程,下面对其进行详细说明。
为了更好地描述本发明实施例,下面对现有的图像放大流程进行说明。
二维图像的放大过程包括:水平方向放大与竖直方向放大两个过程,首先对图像中所有的行进行水平放大,得到中间图像,中间图像的宽度与目标图像的宽度相等,再对中间图像中的每一列进行竖直方向的放大,得到最终的放大图像。图像的水平放大与竖直放大过程相当于分别对每一行和每一列进行一维数字信号的抽样率转换。下面以一行的抽样率转换为例进行说明。
一维数字信号的抽样率转换可以分解为插值与抽取两个过程。
在插值的过程中,首先,提取出一行的原始信号,该原始信号的频谱如图2所示。其中,左图的横坐标表示原始图像中像素的位置,纵坐标表示信号强度。图2中显示的均为原始像素。如图3所示,在原始信号的每两个相邻像素之间插入(K-1)个等于0的像素,原始信号的频谱将会在频域上进行扩展,为了将扩展的频谱进行滤除,则需要在频域上使用理想低通滤波器进行滤波,从而得到采样率提升之后的一维数字信号,实现一维数字信号的插值。频域上使用理想低通滤波器对扩展频谱进行处理时,在时域上的表现是使用理想低通滤波器对应时域的单位脉冲响应与插入零值的一维数字信号进行卷积运算。理想低通滤波器在时域上的单位抽样响应函数如公式(1)所示,它是中心点在α的偶对称无限长非因果序列:
其中,hd代表理想低通滤波器在时域上的单位抽样响应,wc代表低通滤波器的截止频率,α代表低通特性的群延时参数,n代表时域上的位置。
在实际的计算过程中,时域上无限长的理想低通滤波器单位脉冲信号参与的卷积运算是不可实现的,因此,通常使用窗函数与其相乘,在时域上使新生成信号计算公式中的非零项(即,与原始图像的像素对应位置相乘的项)达到有限项,保证卷积运算的可实现性,并且保证在采用窗函数相乘后,在频域上的低通性能与理想低通滤波器接近。设w(n)是选择的窗函数,则有最终的滤波器单位脉冲信号为:
h(n)=hd(n)w(n) (2)
设N为窗函数非零系数的长度,N的长度增加时更有利于对理想低通滤波器性能的接近,但是相应的对计算性能的要求会提高,因此,需要权衡性能与计算的因素,选择合适窗函数长度。
通过卷积运算,可以得到原始图像相邻系数之间插入的(K-1)个位置上的数值,如图4所示,插值过程完成。
然后,进行抽取过程。由于当前进行的是图像放大过程,最终抽取生成一维信号的采样率高于原始信号,因此,可以保证抽取后信号的频率不会发生混叠。抽取的过程不需要使用抗混叠滤波器,而是根据图像放大的比例,在插值过程完成之后的一维像素中,抽取相应个数的像素。具体的实现方法是根据放大比例采用合适的“步长”进行累加,累加过程中依次对应在一维插值信号中的各个位置即为所要抽取的图像系数位置,如果累加值是非整数位置,则需要四舍五入到最临近的整数位置,通过以上方式建立了原始图像与目标图像之间的映射关系。各原始像素之间插入了(K-1)个像素,则定义K为插值过程中的“相位数”。相位数K越大,则对每次步长累加位置的定位就更为精确,但是,随着K的增大,窗函数的设计将更为复杂,需要综合两个因素对K的取值进行权衡。
在实际的计算过程中,不需要将所有的插值位置都计算出来,而是只需要对抽取位置的像素进行计算。计算时,使用理想低通滤波器的单位脉冲响应与插入零值的一维信号进行卷积运算得到特定的位置的数值,由于插入零值的一维信号很多位置是插入了零像素,插入零像素的位置可直接从卷积公式中省略,因此将卷积公式化简为公式(3):
其中,p是像素插值,累加项k是卷积公式中插入零值的所有位置中对应原始像素的位置,p(k)是用于计算插值的位置k处原始像素的像素值,也称为“抽头系数”,w(k)是位置k处的卷积运算系数,也称为“滤波器系数”,当前这一组滤波器系数称为一个滤波器组。用于计算p的p(k)在位置上是连续的,是距离第三位置最近的c个原始像素。k的数目(即c)称为滤波器计算的“抽头数”。抽头数可以事先由窗函数非零系数的长度N和相位数K确定。抽头数越大,计算结果的精度越高,但是计算的开销也会增加,这需要进行权衡。综合以上,插值像素的值由抽头系数与滤波器系数进行乘累加运算获取。抽头位置通常是原始图像中与插值位置最邻近的c个像素位置。
图5示出了根据本发明实施例的图像放大处理流程,如图5所示,该方法:
步骤502,检测图像的纵向边缘,获取边缘保护信息。
在本实施例的图像放大过程中,存在着对边缘信息的处理。将图像信息分为三类:强边缘、过渡边缘和非边缘,如图6所示。强边缘即为上一实施例中的第一边缘区域,在相邻的像素之间发生剧烈变化;非边缘即为上一实施例中的第二区域,相邻的像素变换相对平缓;过渡边缘即为上一实施例中的第二边缘区域,是介于强边缘与非边缘两种情况之间的临界情况。对于自然图像,由于摄像设备本身的特性和自然图像的特性,图像的边缘通常变化存在着一定的梯度变化范围,多属于过渡边缘。而由计算机生成的单调色块区域边缘以及计算机上显示的文字边缘的像素变化通常较为剧烈,倾向于判为强边缘。
边缘检测的过程中,根据三种边缘的特性,进行相应的检测处理。强边缘的特性是在临近的像素之间存在着剧烈的变化,过渡边缘在相对局限的区域内存在相对快速的变化,而非边缘区域的变化较为平缓。通过检测,将在原始图像的对应位置上得到图像的边缘检测信息。根据边缘信息的检测结果,在目标图像的位置映射回原始图像时,可以根据对应位置的边缘检测信息进行放大过程处理。
因此,可以设定两个阈值,当某一点的像素与周围像素的差值大于第一阈值时,确定该点是强边缘;当某一点的像素与周围像素的差值大于第二阈值且小于第一阈值时,确定该点是过渡边缘;当某一点的像素与周围像素的差值小于第二阈值时,确定该点是非边缘。其中,第二阈值小于第一阈值。
二维图像的放大过程分为水平放大与纵向放大两个步骤,在进行水平放大时,图像受到模糊影响的位置主要需要参考纵向的边缘信息。而在纵向进行放大时,图像受到模糊影响位置则需要参考水平方向上的边缘信息。因此,在进行二维图像放大处理时,分为水平放大与纵向放大过程,在这两个过程中需要分别对纵向与水平方向的边缘信息进行检测。
通过纵向边缘检测,获取边缘保护信息,该边缘保护信息包括:图像纵向的强边缘区域、过渡边缘区域和非边缘区域。
步骤504,根据边缘保护信息,对图像进行水平放大。
在本实施例的图像放大过程中,需要根据边缘检测的结果进行相应的处理。对不同的边缘采取不同的措施对图像进行放大,以获取理想的处理效果。
强边缘区域的处理:如果选取相邻的抽头系数正好位于强边缘区域,则(3)式可能会使用属于不同区域的像素值参与到同一个滤波器组中进行计算,使得边缘部分引入了临近的非边缘区域的信息,导致边缘区域出现模糊,这种现象在低分辨率的图像转化为高分辨率图像时更为明显,因此需要针对图像的强边缘区域信息进行相应的处理。
过渡边缘区域的处理:对于过渡边缘区域,其边缘过渡存在着一定的梯度,在进行普通放大时,将会使该区域面积增大,使图像的边缘信息锐化度低于原始图像。同时,在电视等显示设备进行显示时,由于在同样的分辨率下,电视屏幕的尺寸较大,所以电视的各像素点的物理点距相对较大,造成了相同分辨率的图像在电视屏幕显示时锐化度的降低。为了提高边缘过渡区域放大之后的锐化度,需要针对过渡边缘区的信息进行相应的处理。
非边缘区域的处理:非边缘区域各像素的变化相对平缓,可以使用普通的放大方法进行处理。
现以水平的放大过程为例进行说明。
对于过度边缘区域,根据过渡边缘区域的信息,对各行整体上的步长进行调整。过渡边缘区域对整体步长的影响如图7所示,图中只画出原始像素的位置,原始像素之间插零值的位置未标出。黑点位置为过渡边缘区域,对应的是原始像素的位置。在每一行中,非边缘区域使用原先的步长(即,上一实施例中的第一步长),而对于过渡边缘区域,将移动步长选取为原先步长的M倍(即,上一实施例中的第二步长),从而在计算放大图像时能够对该区域相对于非边缘区域进行更为有效的范围压制,达到边缘锐化的效果。在水平放大的过程中,如果当前行中存在属于过渡边缘区域的点,则原始图像与目标图像之间的点对点映射关系发生了变化,此时,可以对当前行目标图像逐点推移计算所采用的步长进行调整,即对非边缘区域的步长与过渡边缘区域的步长乘以归一化因子S(同一行中,非边缘区域和过度边缘区域使用同一个S,不同行中,根据过渡边缘的结果,将采取不同的S因子进行调整),以建立目标图像和原始图像之间的新映射关系,非边缘区域的步长与过渡边缘区域的步长都可以采用公式(4)所示的方式进行处理,其中,公式中的Step_Adjustment代表在经过图7处理之后的当前步长,Step_New代表经过归一化之后的步长,使用归一化之后的步长进行像素的抽取,使得每一行两端的原始像素都能被抽取到,保证了图像的完整性。M参数的选取与图像放大的倍数以及屏幕的物理点距相关。图像的放大倍数增加时,整体图像的细节将会被放大,为了提高锐化的效果,需要提高参数M的取值。对于相同分辨率下的图像,如果屏幕显示像素的物理点距增大,则边缘的显示效果相对较差,所以应当提高M参数的取值,以增强边缘的锐化效果。
Step_New=S*Step_Adjustment(4)
对于强边缘区域,强边缘的信息对放大过程的影响将是对抽头系数的选择,即对用于计算插值的原始像素的选择,图8示出了当前目标图像中的点在映射回原始图像之后的位置,其中假设选择的抽头数为4。同时需要参考的是相对应的原始图像中的强边缘检测参考信息。如果使用的抽头系数中都不包含强边缘参考信息,则该位置的插值点的计算将采取与普通二维图像放大相同的方式。
而如果当前插值点计算使用的抽头系数中所对应的位置包含了强边缘检测信息的位置,则应当在计算的过程中参考强边缘检测信息对滤波器的系数选择进行相应的处理。如图8所示(图中标记的位置是原始像素的位置,未标出相邻原始像素之间的插零值的位置),首先,找到当前插值点位置映射回原图像后最邻近的抽头系数位置C(即,最邻近的原始像素位置C),随后以C位置为起点开始进行滤波器系数的选择。
在使用现有技术对二维图像进行放大时,使用一行中的所有像素应用到公式(3)中进行计算,而在本实施例中,采用边缘保护措施的计算插值点像素值的过程中,在选取用于计算插值的原始像素时,将从当前位置C为起始点向两个方向进行扩展,依次判断是否将该该原始像素用于计算插值点的像素值。
以水平放大过程为例,系数的扩展分为左向的扩展与右向的扩展。以左向的扩展为例进行说明。如图9所示,根据当前点C的强边缘检测状态与下一位置N的强边缘检测状态,将分别采取不同的措施进行处理。
如果当前位置C的检测状态为强边缘,则需要将下一位置N的像素值与当前位置的像素值进行比较,如果大于阈值T,则有下一位置N处的原始像素将不参与到插值点的计算中,并且当前方向原始像素的选取将会终止,而如果像素差值未超过阈值T,则下一位置N的原始像素将参与到插值点计算中,此时将这个原始像素N作为下一个处理过程的当前位置像素点,继续沿当前方向获取如图9中的下一个抽头系数M作为下一个处理过程的下一位置的原始像素进行计算,直至所有用于计算的原始像素计算完毕,或者遇到计算终止的情形。
如果当前位置C的检测状态为非强边缘(即检测结果为过渡边缘或者非边缘),则需要获取下一位置N处原始像素的检测状态,若下一位置N的检测状态为非强边缘,则下一个位置N处的原始像素将参与到插值点计算过程中,并且处理过程将继续向前进行,直至终止过程或者抽头系数计算完毕。若下一位置N的状态为强边缘,则采用与强边缘类似的方式,计算当前位置C的原始像素与下一位置N的原始像素的差值,判断该差值是否超过阈值T,如果超过阈值T,则下一位置N的原始像素将不参与到插值点计算中,并终止当前方向的处理过程,如果未超过阈值T,则下一位置N的原始像素将参与到最终的插值点计算过程,并继续当前方向的处理直至所有抽头系数计算完毕,或者遇到计算终止的情形。
当水平方向左向的处理过程完成之后,采取相同的方式对右向的像素进行处理,从而最终完成水平方向的处理。
通过上述过程将会得到参与到插值点计算过程中的原始像素,则插值点计算结果为:
其中,p1是强边缘区域第一位置的像素插值,p(t)是强边缘区域内位置t处原始像素的像素值,p(t)和位于第二位置的原始像素的差值小于阈值T,位于第二位置的原始像素是第一行或第一列上距离第一位置最临近的原始像素,w(t)是强边缘区域内位置t处的卷积运算系数,p2是非边缘区域或过渡边缘区域内第三位置的像素插值,p(k)是位置k处原始像素的像素值,w(k)是位置k处的卷积运算系数。
通过以上的步骤对每一行进行水平放大,完成图像的水平放大。
综上,通过三类边缘的检测信息,通过步长调整,对原始图像与目标图像的新映射关系进行建立,在插值点位置系数计算时选择合适的抽头系数进行处理,实现了基于边缘保护的图像放大。
步骤506,检测图像的横向边缘,获取边缘保护信息。
在本步骤中,检测方法和步骤502类似,在此不再赘述。
步骤508,根据边缘保护信息,对图像进行竖直放大。
图像的纵向放大过程与之相类似,不同的是边缘检测是对水平放大过程完成之后的中间放大图像进行。
通过分别对图像进行水平放大和竖直放大,实现了二维图像的放大。
在本实施例中,整幅图像是通过水平放大与纵向放大两个步骤实现二维放大的。首先,对图像中的纵向边缘进行检测,通过对检测边缘信息进行计算处理,获得在水平放大时需要进行保护处理的位置信息(即边缘保护信息),通过该保护信息使用合适的“步长”,选取抽头系数进行运算,得到水平放大之后的中间图像。然后,在中间图像的基础上进行纵向放大过程。通过对图像中的横向边缘进行检测,对检测到的边缘信息进行处理,获得在纵向放大时需要进行保护的位置信息(即边缘保护信息),通过该保护信息选择合适的步长,选取抽头系数进行纵向放大,得到最终的二维放大图像。
本发明实施例还提供了一种图像放大装置,该装置用于实现上述方法,因此,上述方法实施例中的特征,均可结合到本实施例中。该装置可以是独立的图像处理装置,也可以是诸如电视机等显示装置。如图10所示,该装置包括:
确定模块1002,用于根据图像中第一区域的像素与第一区域周围的像素之间的第一差值,确定第一区域是边缘区域,其中,边缘区域包括第一边缘区域和/或第二边缘区域,当第一差值大于第一阈值时,第一区域是第一边缘区域,当第一差值大于第二阈值且小于第一阈值时,第一区域是第二边缘区域;
插补模块1004,用于对第一边缘区域和第二边缘区域使用不同的步长进行插补,实现对第一边缘区域和第二边缘区域的图像的放大。
优选的,插补模块1004用于根据第一边缘区域内的原始像素,确定第一边缘区域内的像素插值,使用第一步长对第一边缘区域内的像素进行抽取;使用第二步长对第二边缘区域进行插补,其中,第二步长大于第一步长。
优选的,确定模块1002还用于在对第一边缘区域和第二边缘区域使用不同的步长进行插补之前,在图像中第二区域的像素与第二区域周围的像素之间的第二差值小于第二阈值的情况下,确定第二区域是非边缘区域,其中,第一区域的像素、第一区域周围的像素、第二区域的像素和第二区域周围的像素均在图像的第一行或第一列上;插补模块1004还用于使用第一步长对非边缘区域进行插补。
优选的,插补模块1004还用于根据非边缘区域内的原始像素,确定非边缘区域内的像素插值;使用第一步长,对非边缘区域内的像素进行抽取。
可选的,插补模块1004还用于:
确定第一边缘区域内的插值为:
确定非边缘区域内的插值为:
其中,p1是第一区域内第一位置的像素插值,p(t)是第一边缘区域内位置t处原始像素的像素值,p(t)和位于第二位置的原始像素的差值小于第三阈值,位于第二位置的原始像素是第一行或第一列上距离第一位置最临近的原始像素,w(t)是第一边缘区域内位置t处的卷积运算系数,p2是非边缘区域内第三位置的像素插值,p(k)是位置k处原始像素的像素值,w(k)是位置k处的卷积运算系数。
优选的,当第二边缘区域和非边缘区域位于同一行或同一列时,插补模块1004还用于:对第二边缘区域和非边缘区域进行插值;确定第二边缘区域中进行像素抽取的第二步长和非边缘区域中进行像素抽取的第一步长;使用第一步长对非边缘区域中的像素进行抽取,使用第二步长对第二边缘区域中的像素进行抽取。
优选的,插补模块1004还用于将第一步长和第二步长均乘以S,获得更新后的第一步长和更新后的第二步长,其中,S能够保证第一行或第一列的两端的原始像素都能够被抽取到;使用更新后的第一步长对非边缘区域中的像素进行抽取,使用更新后的第二步长对第二边缘区域中的像素进行抽取。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上对本申请所提供的一种图像放大方法和装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (4)

1.一种图像放大方法,其特征在于,包括:
根据图像中第一区域的像素与所述第一区域周围的像素之间的第一差值,确定所述第一区域是边缘区域,其中,所述边缘区域包括第一边缘区域和/或第二边缘区域,当所述第一差值大于第一阈值时,所述第一区域是第一边缘区域,当所述第一差值大于第二阈值且小于所述第一阈值时,所述第一区域是第二边缘区域;当所述图像中第二区域的像素与所述第二区域周围的像素之间的第二差值小于所述第二阈值时,确定所述第二区域是非边缘区域,其中,所述第一区域的像素、所述第一区域周围的像素、所述第二区域的像素和所述第二区域周围的像素均在所述图像的第一行或第一列上;
根据所述第一边缘区域内的原始像素,确定所述第一边缘区域内的像素插值为:
使用第一步长对所述第一边缘区域内的像素进行抽取;使用第二步长对所述第二边缘区域进行插补,实现对所述第一边缘区域和所述第二边缘区域的图像的放大;以及,根据非边缘区域内的原始像素,确定非边缘区域内的像素插值为:
使用第一步长,对非边缘区域内的像素进行抽取;
其中,p1是第一区域内第一位置的像素插值,p(t)是第一边缘区域内位置t处原始像素的像素值,p(t)和位于第二位置的原始像素的差值小于第三阈值,位于第二位置的原始像素是第一行或第一列上距离第一位置最临近的原始像素,w(t)是第一边缘区域内位置t处的卷积运算系数,p2是非边缘区域内第三位置的像素插值,p(k)是位置k处原始像素的像素值,w(k)是位置k处的卷积运算系数;所述第二步长大于所述第一步长。
2.根据权利要求1所述的方法,其特征在于,当所述第二边缘区域和所述非边缘区域位于同一行或同一列时,使用第二步长对所述第二边缘区域进行插补,使用所述第一步长对所述非边缘区域进行插补,包括:对所述第二边缘区域和所述非边缘区域进行插值;确定所述第二边缘区域中进行像素抽取的所述第二步长和所述非边缘区域中进行像素抽取的所述第一步长;使用所述第一步长对所述非边缘区域中的像素进行抽取,使用所述第二步长对所述第二边缘区域中的像素进行抽取。
3.根据权利要求2所述的方法,其特征在于,使用所述第一步长对所述非边缘区域中的像素进行抽取,使用所述第二步长对所述第二边缘区域中的像素进行抽取,包括:
将所述第一步长和所述第二步长均乘以S,获得更新后的第一步长和更新后的第二步长,其中,所述S能够保证所述第一行或第一列的两端的原始像素都能够被抽取到;
使用所述更新后的第一步长对所述非边缘区域中的像素进行抽取,使用所述更新后的第二步长对所述第二边缘区域中的像素进行抽取。
4.一种图像放大装置,其特征在于,包括:
确定模块,用于根据图像中第一区域的像素与所述第一区域周围的像素之间的第一差值,确定所述第一区域是边缘区域,其中,所述边缘区域包括第一边缘区域和/或第二边缘区域,当所述第一差值大于第一阈值时,所述第一区域是第一边缘区域,当所述第一差值大于第二阈值且小于所述第一阈值时,所述第一区域是第二边缘区域;当所述图像中第二区域的像素与所述第二区域周围的像素之间的第二差值小于所述第二阈值时,确定所述第二区域是非边缘区域,其中,所述第一区域的像素、所述第一区域周围的像素、所述第二区域的像素和所述第二区域周围的像素均在所述图像的第一行或第一列上;
插补模块,用于对根据所述第一边缘区域内的原始像素,确定所述第一边缘区域内的像素插值为:
使用第一步长对所述第一边缘区域内的像素进行抽取;使用第二步长对所述第二边缘区域进行插补,实现对所述第一边缘区域和所述第二边缘区域的图像的放大;以及,根据非边缘区域内的原始像素,确定非边缘区域内的像素插值为:
使用第一步长,对非边缘区域内的像素进行抽取;
其中,p1是第一区域内第一位置的像素插值,p(t)是第一边缘区域内位置t处原始像素的像素值,p(t)和位于第二位置的原始像素的差值小于第三阈值,位于第二位置的原始像素是第一行或第一列上距离第一位置最临近的原始像素,w(t)是第一边缘区域内位置t处的卷积运算系数,p2是非边缘区域内第三位置的像素插值,p(k)是位置k处原始像素的像素值,w(k)是位置k处的卷积运算系数;所述第二步长大于所述第一步长。
CN201310626289.3A 2013-11-28 2013-11-28 一种图像放大方法和装置 Active CN103646379B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310626289.3A CN103646379B (zh) 2013-11-28 2013-11-28 一种图像放大方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310626289.3A CN103646379B (zh) 2013-11-28 2013-11-28 一种图像放大方法和装置

Publications (2)

Publication Number Publication Date
CN103646379A CN103646379A (zh) 2014-03-19
CN103646379B true CN103646379B (zh) 2019-04-26

Family

ID=50251589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310626289.3A Active CN103646379B (zh) 2013-11-28 2013-11-28 一种图像放大方法和装置

Country Status (1)

Country Link
CN (1) CN103646379B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447819B (zh) * 2015-12-04 2020-01-10 腾讯科技(深圳)有限公司 图像处理方法及装置
US10931853B2 (en) * 2018-10-18 2021-02-23 Sony Corporation Enhanced color reproduction for upscaling
CN110930289B (zh) * 2019-11-04 2021-07-23 中南大学 一种图像放大方法及用于实现图像放大的vlsi
CN111105356B (zh) * 2019-12-26 2023-06-02 Tcl华星光电技术有限公司 图像处理方法、装置及计算机可读存储介质
CN114331844A (zh) * 2021-12-28 2022-04-12 Tcl华星光电技术有限公司 图像处理方法、装置、服务器及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221656A (zh) * 2007-01-04 2008-07-16 奇景光电股份有限公司 数字图像的边缘定向内插法与系统
CN102289786A (zh) * 2011-09-01 2011-12-21 青岛海信信芯科技有限公司 图像缩放的边缘抗锯齿方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4150947B2 (ja) * 2000-08-23 2008-09-17 ソニー株式会社 画像処理装置および方法、並びに記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221656A (zh) * 2007-01-04 2008-07-16 奇景光电股份有限公司 数字图像的边缘定向内插法与系统
CN102289786A (zh) * 2011-09-01 2011-12-21 青岛海信信芯科技有限公司 图像缩放的边缘抗锯齿方法及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
亚像素边缘检测技术研究;张美静;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130915(第9期);第I138-438页
基于边缘方向的高精度快速图像插值算法研究与应用;党向盈;《中国优秀硕士学位论文全文数据库 信息科技辑》;20090315;第I138-635页

Also Published As

Publication number Publication date
CN103646379A (zh) 2014-03-19

Similar Documents

Publication Publication Date Title
CN103646379B (zh) 一种图像放大方法和装置
Zhou et al. Image zooming using directional cubic convolution interpolation
CN103426148A (zh) 生成低分辨率输入数据结构的超分辨率版本的方法和设备
CN103369209B (zh) 视频降噪装置及方法
CN108154474B (zh) 一种超分辨率图像重构方法、装置、介质及设备
CN106127688B (zh) 一种超分辨率图像重建方法及其系统
CN106169173B (zh) 一种图像插值方法
Panagiotopoulou et al. Super-resolution image reconstruction techniques: Trade-offs between the data-fidelity and regularization terms
WO2011141196A1 (en) Two-dimensional super resolution scaling
CN101917624B (zh) 一种高分辨率视频图像重建方法
CN109300098B (zh) 一种基于小波变换的多聚焦显微图像融合方法
CN109325909B (zh) 一种图像放大方法和图像放大装置
Zhang et al. Construction of fractional differential masks based on Riemann-Liouville definition
Bätz et al. Multi-image super-resolution using a locally adaptive denoising-based refinement
CN106470335B (zh) 基于亚像素采样的图像处理方法及图像显示方法
Qin et al. Multi-frame image super-resolution based on knife-edges
Zhiwei et al. An image zooming technique based on the relative color difference of pixels
CN104182948B (zh) 一种相关性噪声的估计方法
Panagiotopoulou Iterative multi-frame super-resolution image reconstruction via variance-based fidelity to the data
Pillai et al. A review on digital image restoration process
CN102447817B (zh) 图像处理装置与空间图像噪声消除方法
CN108681988A (zh) 一种基于多幅图像的鲁棒的图像分辨率增强方法
Rasti et al. Modified back projection kernel based image super resolution
Ousguine et al. A new image interpolation using laplacian operator
Goswami Comparison of image interpolation methods for image zooming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160301

Address after: 266555 Qingdao economic and Technological Development Zone, Shandong, Hong Kong Road, No. 218

Applicant after: Qingdao Hisense Electric Co., Ltd.

Address before: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No.

Applicant before: Qingdao Hisense Xinxin Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 266555 Qingdao economic and Technological Development Zone, Shandong, Hong Kong Road, No. 218

Patentee after: Hisense Video Technology Co.,Ltd.

Address before: 266555 Qingdao economic and Technological Development Zone, Shandong, Hong Kong Road, No. 218

Patentee before: HISENSE ELECTRIC Co.,Ltd.