CN104700360B - 基于边缘自适应的图像缩放方法及系统 - Google Patents

基于边缘自适应的图像缩放方法及系统 Download PDF

Info

Publication number
CN104700360B
CN104700360B CN201510152690.7A CN201510152690A CN104700360B CN 104700360 B CN104700360 B CN 104700360B CN 201510152690 A CN201510152690 A CN 201510152690A CN 104700360 B CN104700360 B CN 104700360B
Authority
CN
China
Prior art keywords
edge
pixel
interpolated
interpolation
neighborhood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510152690.7A
Other languages
English (en)
Other versions
CN104700360A (zh
Inventor
韩睿
汤仁君
郭若杉
罗杨
颜奉丽
汤晓莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jilang Semiconductor Technology Co Ltd
Original Assignee
Beijing Si Lang Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Si Lang Science And Technology Co Ltd filed Critical Beijing Si Lang Science And Technology Co Ltd
Priority to CN201510152690.7A priority Critical patent/CN104700360B/zh
Publication of CN104700360A publication Critical patent/CN104700360A/zh
Application granted granted Critical
Publication of CN104700360B publication Critical patent/CN104700360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明提供一种基于边缘自适应的图像缩放方法及系统,所述方法包括:确定待插值像素在原图像中的位置;计算待插值像素的边缘方向和强边概率;若所述待插值像素的强边概率不为零,则根据所述边缘方向利用边缘插值法进行插值;若所述待插值像素的强边概率为零,则根据非边缘插值法进行插值;将所述强边概率和所述强边概率的互补概率分别作为边缘插值融合权重和非边缘插值融合权重,对所述边缘插值法和所述非边缘插值法获得的插值结果进行加权融合得到最终的插值后图像。本发明所述方法能够按照任意边缘方向进行图像插值且缩放后图像清晰无锯齿。

Description

基于边缘自适应的图像缩放方法及系统
技术领域
本发明属于图像处理领域,尤其涉及基于边缘自适应的图像缩放方法及系统。
背景技术
目前,视频技术的主流发展方向之一为超高清技术。将原有的视频源,如标清(720*576),高清(1920*1080),通过视频缩放转换成超高清视频,对视频缩放算法的性能要求非常高。
传统的基于插值的视频缩放方法主要有两类:基于低通滤波的插值方法和基于边缘的插值方法。基于低通滤波的插值方法,如双线性插值,双立方插值,多相位插值等,在获得较平滑的插值图像的同时,会造成图像中高频信息丢失,在图像的边缘出现模糊及锯齿现象。基于边缘的图像插值方法,通过边缘检测,计算出插值点的边缘方向,沿边缘方向对插值点进行插值,可以获得平滑的图像边缘,避免锯齿现象,但是在纹理区域会造成模糊。
因此,需要提出一种视频缩放方法,既能保持插值图像中纹理区域的清晰,又能避免插值图像边缘产生的模糊及锯齿现象。
发明内容
本发明提供一种基于边缘自适应的图像缩放方法及系统,以实现提高插值图像的清晰度和减少边缘锯齿的目的。
本发明的第一个方面是提供一种基于边缘自适应的图像缩放方法,包括:
确定待插值像素在原图像中的位置;
计算待插值像素的边缘方向和强边概率;
若所述待插值像素的强边概率不为零,则根据所述边缘方向利用边缘插值法进行插值;
若所述待插值像素的强边概率为零,则根据非边缘插值法进行插值;
将所述强边概率和所述强边概率的互补概率分别作为边缘插值融合权重和非边缘插值融合权重,对所述边缘插值法和所述非边缘插值法获得的插值结果进行加权融合得到最终的插值后图像。
本发明的第二个方面是提供一种基于边缘自适应的图像缩放系统,包括:
坐标计算模块,用于确定待插值像素在原图像中的位置;
强边检测模块,用于计算待插值像素的边缘方向和强边概率;
边缘插值模块,用于在所述待插值像素的强边概率不为零时根据所述边缘方向利用边缘插值法进行插值;
非边缘插值模块,用于在所述待插值像素的强边概率为零时根据非边缘插值法进行插值;
融合模块,用于将所述强边概率和所述强边概率的互补概率分别作为边缘插值融合权重和非边缘插值融合权重,对所述边缘插值法和所述非边缘插值法获得的插值结果进行加权融合得到最终的插值后图像。
本发明的有益效果为:
本发明基于边缘自适应的图像缩放方法能够使用数量较大的原始点以任意整数或非整数缩放倍率、及在任意边缘方向进行插值处理,使放大后的图像边缘清晰且避免了锯齿现象。
附图说明
图1为本发明基于边缘自适应的图像缩放方法实施例一的流程图;
图2为本发明基于边缘自适应的图像缩放方法实施例一中Sobel梯度方法的示意图;
图3为本发明基于边缘自适应的图像缩放方法实施例一中边缘方向与设定参数间关系的示意图;
图4为本发明基于边缘自适应的图像缩放方法实施例一中构造的递增函数关系图;
图5为本发明基于边缘自适应的图像缩放方法实施例一中边缘可靠度与构造函数的函数关系图;
图6为本发明基于边缘自适应的图像缩放方法实施例一中边缘方向一致性与斜率方差的函数关系图;
图7为本发明基于边缘自适应的图像缩放方法实施例一中行交点法的示意图;
图8为本发明基于边缘自适应的图像缩放系统实施例一的结构框图。
具体实施方式
图1为本发明基于边缘自适应的图像缩放方法实施例一的流程图,如图1所示,本发明基于边缘自适应的图像缩放方法包括:
S101、根据原图像和插值后图像的大小,确定待插值像素在原图像中的位置,包括:
假设输入为原图像也即低分辨率图像IL,其图像宽和高分别为WL和HL,插值后的高分辨率图像为IH,其图像宽和高分别为WH和HH,对于插值图像也即高分辨率图像中位于iH行jH列坐标为(iH,jH)的待插值像素,通过坐标计算单元,可以得到其在低分辨率图像中的坐标(iL,jL):
其中,iL和jL分别表示待插值像素在原图像也即低分辨率图像中位置的行坐标和列坐标,iH和jH分别表示待插值像素在插值后图像也即高分辨率图像中位置的行坐标和列坐标,HL和WL分别表示原图像的高和宽,HH和WH分别表示插值后图像的高和宽;
S102、计算待插值像素的边缘方向和强边概率;
优选的,所述确定待插值像素的边缘方向包括:
S1021、确定原图像窗口中待插值像素邻域内全部像素梯度加权的协方差矩阵,包括:
首先计算原图像上像素点的梯度,然后计算边缘方向v;图2为本发明基于边缘自适应的图像缩放方法实施例一中Sobel梯度方法的示意图,如图2所示,根据待插值像素在原图像中的位置,选取其邻域内H*W的窗口,进行边缘方向一致性、边缘可靠度和边缘强度的计算,本例中H=4,W=6;最终的强边概率为边缘方向一致性、边缘可靠度和边缘强度三者的乘积;
梯度计算采用Sobel梯度算子的方法,对于原图像上的像素(i,j),其水平梯度gH和垂直梯度gV分别为:
再根据待插值像素的位置,计算其邻域内所有像素梯度加权的协方差矩阵:
其中,w(i,j)的取值如表1所示:
(1-dx)*(1-dy) (1-dy) (1-dy) (1-dy) (1-dy) dx*(1-dy)
(1-dx) 1 1 1 1 dx
(1-dx) 1 1 1 1 dx
(1-dx)*dy dy dy dy dy dx*dy
表1
S1022、计算所述协方差矩阵的特征值和特征向量,并将较小特征值对应的特征向量作为待插值像素的边缘方向;
假设协方差矩阵M的两个特征值为λ1和λ2,其中λ2为较大的特征值,
λ1的特征向量与待插值像素的边缘方向成比例,待插值像素的边缘方向可以表示为:
由于特征值的计算中有开根号操作,不利于硬件实现,下面提供一种求取边缘方向优化方法;
若B为0,可以推出边缘方向为以下三种情况:
B=0,A=C,无方向;
B=0,A>C,垂直方向;
B=0,A<C,水平方向
若B不为0,边缘方向的斜率可以表示为:
图3为本发明基于边缘自适应的图像缩放方法实施例一中边缘方向与设定参数间关系的示意图,边缘方向的斜率与的关系如图3所示,从图中可以看出,四条曲线之间存在着一定关系,或对称,或乘积为-1,因此,只需要将其中的一条曲线量化,做成查找表即可,计算通过查表得到对应的斜率值,得到待插值像素的边缘方向;
优选的,所述确定待插值像素的强边概率包括:
S1023、确定下述三个参数:
S10231、根据原图像窗口内全部像素梯度加权的协方差矩阵确定边缘方向可靠度参数;
优选的,所述根据原图像窗口内全部像素梯度的协方差矩阵确定边缘方向可靠度参数包括:
构造所述协方差矩阵的较大特征值和较小特征值的比值的递增函数f(x):
根据公式(11)确定边缘方向可靠度参数:
其中,λ1、λ2分别表示所述协方差矩阵的较大特征值和较小特征值,A、B、和C分别表示所述协方差矩阵M的元素(M)11、(M)12或(M)21、和(M)22,T1、T2分别表示预先设定的边缘可靠度第一阈值和边缘可靠度第二阈值;需要说明的是,两特征值的比值可表征边缘的可靠度,为了避免特征值计算时的开根号操作,构造一个关于两特征值比值的递增函数,图4为本发明基于边缘自适应的图像缩放方法实施例一中构造的递增函数关系图,由图4所示曲线可以看出,构造的函数关于两特征值比值单调递增,因此可以通过计算构造的函数进行边缘可靠度的计算,图5为本发明基于边缘自适应的图像缩放方法实施例一中边缘可靠度与构造函数的函数关系图,边缘可靠度与构造的函数的关系如图5所示。
S10232、根据原图像窗口中待插值像素邻域内全部像素梯度幅值的加权平均确定边缘强度参数;
优选的,所述根据原图像窗口中待插值像素邻域内全部像素梯度幅值的加权平均确定边缘强度参数包括:
确定原图像窗口中待插值像素邻域内全部像素梯度幅值的加权平均值AvgG:
根据公式(13)确定边缘强度Rs:
其中,w(i,j)表示(i,j)位置像素的双线性插值权重,gH(i,j)表示(i,j)位置的像素的水平梯度,gV(i,j)表示(i,j)位置的像素的垂直梯度,T3、和T4分别表示边缘强度第一阈值和边缘强度第二阈值;
S10233、根据原图像窗口中待插值像素邻域内全部像素的方向斜率的方差确定边缘方向一致性参数;
优选的,所述根据原图像窗口中待插值像素邻域内全部像素的方向斜率的方差确定边缘方向一致性参数包括:
确定插值图像中待插值像素邻域内像素的的斜率方差var:
根据公式(15)确定边缘方向一致性参数:
其中,表示待插值像素邻域内像素的方向斜率,表示待插值像素领域内像素的方向斜率的平均值,T5、和T6分别表示边缘方向一致性第一阈值和边缘方向一致性第二阈值;需要说明的是,在确定AvgG时,需在原图像窗口上,取当前待插值像素的P*Q邻域S,计算邻域内有方向像素的方向斜率方差,有方向是指该像素的方向矢量v的水平分量vx和垂直分量vy不同时为0,邻域内有方向像素的个数记为N,由于垂直方向的斜率为无穷大,这里对斜率的最大值进行限制,如果斜率的绝对值大于预先设定的阈值T,则令其绝对值等于T;图6为本发明基于边缘自适应的图像缩放方法实施例一中边缘方向一致性与斜率方差的函数关系图,边缘方向一致性参数Rc与计算出的斜率方差var的关系为图6所示曲线。
需要说明的是,S10231、S10232、S10233为并行步骤,不区分先后顺序。
S1024、将所确定的所述三个参数分别作为所述强边融合参数的相互独立的乘性因子相乘得到待插值像素的强边概率,也即得到最终强边概率Rel:
Rel=Ra*Rs*Rc (16)
S103、若所述待插值像素的强边概率不为零,则根据所述边缘方向利用边缘插值法进行插值,所述边缘插值法参见专利申请“基于边缘检测的图像插值系统及方法”,举例来说,可以包括:
若待插值像素的边缘方向的水平分量vx和垂直分量vy都为0,则待插值像素无方向,采用非边缘的图像插值方法进行插值,将二维图像插值分解为水平和垂直两个一维方向依次进行插值,水平方向插值和垂直方向插值的顺序可交换。
若待插值像素的边缘方向的水平分量vx和垂直分量vy不都为0,则待插值像素有方向,使用行交点方法插值。
图7为本发明基于边缘自适应的图像缩放方法实施例一中行交点法的示意图,如图7所示,计算边缘方向与待插值像素邻域内若干行的交点。当边缘方向为水平方向时,其与待插值像素邻域内若干行没有交点;当边缘方向斜率的绝对值较小,小于预先设定的阈值kT时,其与待插值像素邻域内若干行的交点较远,与待插值像素的相关性相对较小。因此,对上述两种情况采用非边缘的图像插值方法进行插值,将二维图像插值分解为水平和垂直两个一维方向依次进行插值,水平方向插值和垂直方向插值的顺序可交换。
对于上述两种情况以外的其他情况,找到边缘方向与待插值像素邻域内若干行的交点,本实施例中取待插值像素上下两行共四行的交点P0,P1,P2,P3,坐标分别为:
四个交点的像素值采用水平方向的一维插值计算,这里的一维插值可以采用现有的任一种图像插值方法计算,如使用双线性插值,以图7中的P0为例,可以得到P0的插值结果为:
再对四个交点P0,P1,P2,P3的像素值进行一维滤波,得到待插值像素的值:
IH(iH,jH)=f0*IP0+f1*IP1+f2*IP2+f3*IP3 (22)
其中,[f0,f1,f2,f3]为一维滤波器的系数,如[1,3,3,1]。
S104、若所述待插值像素的强边概率为零,则根据非边缘插值法进行插值;
非边缘插值法可以采用现有的任一种图像插值方法进行插值,如将二维图像插值分解为水平和垂直两个一维方向依次进行插值,水平方向插值和垂直方向插值的顺序可交换,一维方向上插值的一个例子为双线性插值,如在图7中对P0的插值。
S105、将所述强边概率和所述强边概率的互补概率分别作为边缘插值融合权重和非边缘插值融合权重,对所述边缘插值法和所述非边缘插值法获得的插值结果进行加权融合得到最终的插值后图像,包括:
根据公式(1)对所述边缘插值法和所述非边缘插值法获得的插值结果IHe和IHt进行加权融合,得到最终的插值后图像IH
IH=Rel*IHe+(1-Rel)*IHt (23)
本发明基于边缘自适应的图像缩放方法能够使用数量较大的原始点以任意整数或非整数缩放倍率、及在任意边缘方向进行插值处理,使放大后的图像边缘清晰且避免了锯齿现象。
图8为本发明基于边缘自适应的图像缩放系统实施例一的结构框图,如图8所示,本发明基于边缘自适应的图像缩放系统包括:
坐标计算模块,用于确定待插值像素在原图像中的位置;
强边检测模块,用于计算待插值像素的边缘方向和强边概率;
边缘插值模块,用于在所述待插值像素的强边概率不为零时根据所述边缘方向利用边缘插值法进行插值;
非边缘插值模块,用于在所述待插值像素的强边概率为零时根据非边缘插值法进行插值;
融合模块,用于将所述强边概率和所述强边概率的互补概率分别作为边缘插值融合权重和非边缘插值融合权重,对所述边缘插值法和所述非边缘插值法获得的插值结果进行加权融合得到最终的插值后图像。
优选的,所述强边检测模块包括梯度计算模块、边缘方向可靠度子模块、边缘强度子模块、和边缘方向一致性子模块:
所述梯度计算模块,用于计算待插值像素的边缘方向;
所述边缘方向可靠度子模块,用于根据原图像窗口中待插值像素邻域内全部像素梯度加权的协方差矩阵确定边缘方向可靠度参数;
所述边缘强度子模块,用于根据原图像窗口中待插值像素邻域内全部像素梯度幅值的加权平均确定边缘强度参数;
所述边缘方向一致性子模块,用于根据原图像窗口中待插值像素邻域内全部像素的方向斜率的方差确定边缘方向一致性参数;
将所确定的所述参数中的一个或其任意组合分别作为所述强边融合参数的相互独立的乘性因子相乘得到待插值像素的强边概率。
优选的,所述梯度计算模块,具体用于确定原图像窗口中待插值像素邻域内全部像素梯度加权的协方差矩阵、和计算所述协方差矩阵的特征值和特征向量,并将较小特征值对应的特征向量并作为待插值像素的边缘方向;
所述边缘方向可靠度子模块,具体用于构造所述协方差矩阵的较大特征值和较小特征值的比值的递增函数f(x):
和根据公式(11)确定边缘方向可靠度参数Ra:
其中,λ1、λ2分别表示所述协方差矩阵的较大特征值和较小特征值,A、B、和C分别表示所述协方差矩阵M的元素(M)11、(M)12或(M)21、和(M)22,T1、T2分别表示边缘可靠度第一阈值和边缘可靠度第二阈值。
优选的,所述边缘强度子模块具体用于确定原图像窗口中待插值像素邻域内全部像素梯度幅值的加权平均值AvgG:
和根据公式(13)确定边缘强度Rs:
其中,w(i,j)表示(i,j)位置像素的双线性插值权重,gH(i,j)表示(i,j)位置的像素的水平梯度,gV(i,j)表示(i,j)位置的像素的垂直梯度,T3、和T4分别表示边缘强度第一阈值和边缘强度第二阈值。
优选的,所述边缘方向一致性子模块具体用于确定插值图像中待插值像素邻域内像素的斜率方差var:
和根据公式(15)确定边缘方向一致性参数Rc:
其中,表示待插值像素邻域内像素的方向斜率,表示待插值像素领域内像素的方向斜率的平均值,T5、和T6分别表示边缘方向一致性第一阈值和边缘方向一致性第二阈值。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于边缘自适应的图像缩放方法,其特征在于,包括:
确定待插值像素在原图像中的位置;
计算待插值像素的边缘方向和强边概率;
若所述待插值像素的强边概率不为零,则根据所述边缘方向利用边缘插值法进行插值;
若所述待插值像素的强边概率为零,则根据非边缘插值法进行插值;
将所述强边概率和所述强边概率的互补概率分别作为边缘插值融合权重和非边缘插值融合权重,对所述边缘插值法和所述非边缘插值法获得的插值结果进行加权融合得到最终的插值后图像;
其中,
计算待插值像素的强边概率包括:
确定下述参数中的至少一个参数:
根据原图像窗口中待插值像素邻域内全部像素梯度加权的协方差矩阵确定边缘方向可靠度参数;
根据原图像窗口中待插值像素邻域内全部像素梯度幅值的加权平均确定边缘强度参数;
根据原图像窗口中待插值像素邻域内全部像素的方向斜率的方差确定边缘方向一致性参数;
将所确定的参数中的一个或其任意组合分别作为强边融合参数的相互独立的乘性因子相乘得到待插值像素的强边概率;
进一步地,所述根据原图像窗口中待插值像素邻域内全部像素梯度幅值的加权平均确定边缘强度参数,包括:
确定原图像窗口中待插值像素邻域内全部像素梯度幅值的加权平均值AvgG:
<mrow> <mi>A</mi> <mi>v</mi> <mi>g</mi> <mi>G</mi> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>&amp;Omega;</mi> </mrow> </munder> <mi>w</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>*</mo> <mrow> <mo>(</mo> <mo>|</mo> <msub> <mi>g</mi> <mi>H</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>|</mo> <mo>+</mo> <mo>|</mo> <msub> <mi>g</mi> <mi>V</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>|</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
根据公式(13)确定边缘强度Rs:
<mrow> <mi>R</mi> <mi>s</mi> <mo>=</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>(</mo> <mrow> <mn>1</mn> <mo>,</mo> <mfrac> <mrow> <mi>A</mi> <mi>v</mi> <mi>g</mi> <mi>G</mi> <mo>-</mo> <mi>T</mi> <mn>3</mn> </mrow> <mrow> <mi>T</mi> <mn>4</mn> <mo>-</mo> <mi>T</mi> <mn>3</mn> </mrow> </mfrac> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
其中,Ω表示待插值像素的邻域,(i,j)表示邻域Ω内像素点的坐标,w(i,j)表示(i,j)位置像素的双线性插值权重,gH(i,j)表示(i,j)位置的像素的水平梯度,gV(i,j)表示(i,j)位置的像素的垂直梯度,T3、T4分别表示边缘强度第一阈值和边缘强度第二阈值。
2.根据权利要求1所述的基于边缘自适应的图像缩放方法,其特征在于,所述确定待插值像素的边缘方向包括:
确定原图像窗口中待插值像素邻域内全部像素梯度加权的协方差矩阵;
计算所述协方差矩阵的特征值和特征向量,并将较小特征值对应的特征向量作为待插值像素的边缘方向;
相应的,所述根据原图像窗口内全部像素的梯度的协方差矩阵确定边缘方向可靠度参数包括:
构造所述协方差矩阵的较大特征值和较小特征值的比值的递增函数f(x):
<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <msup> <mrow> <mo>(</mo> <mi>A</mi> <mo>+</mo> <mi>C</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mrow> <mi>A</mi> <mo>*</mo> <mi>C</mi> <mo>-</mo> <msup> <mi>B</mi> <mn>2</mn> </msup> </mrow> </mfrac> <mo>=</mo> <mfrac> <mrow> <mi>t</mi> <mi>r</mi> <mi>a</mi> <mi>c</mi> <mi>e</mi> <msup> <mrow> <mo>(</mo> <mi>M</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <mrow> <mi>det</mi> <mrow> <mo>(</mo> <mi>M</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>=</mo> <mfrac> <msup> <mrow> <mo>(</mo> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mrow> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> </mrow> </mfrac> <mo>=</mo> <mfrac> <msup> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mfrac> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mfrac> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> </mfrac> </mfrac> <mo>=</mo> <mfrac> <msup> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mi>x</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mi>x</mi> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
根据公式(11)确定边缘方向可靠度参数Ra:
<mrow> <mi>R</mi> <mi>a</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>A</mi> <mo>*</mo> <mi>C</mi> <mo>-</mo> <msup> <mi>B</mi> <mn>2</mn> </msup> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>max</mi> <mrow> <mo>(</mo> <mrow> <mn>0</mn> <mo>,</mo> <mi>min</mi> <mrow> <mo>(</mo> <mrow> <mn>1</mn> <mo>,</mo> <mfrac> <mrow> <mfrac> <msup> <mrow> <mo>(</mo> <mrow> <mi>A</mi> <mo>+</mo> <mi>C</mi> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mrow> <mi>A</mi> <mo>*</mo> <mi>C</mi> <mo>-</mo> <msup> <mi>B</mi> <mn>2</mn> </msup> </mrow> </mfrac> <mo>-</mo> <mi>T</mi> <mn>1</mn> </mrow> <mrow> <mi>T</mi> <mn>2</mn> <mo>-</mo> <mi>T</mi> <mn>1</mn> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>A</mi> <mo>*</mo> <mi>C</mi> <mo>-</mo> <msup> <mi>B</mi> <mn>2</mn> </msup> <mo>&amp;NotEqual;</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
其中,λ1、λ2分别表示所述协方差矩阵的较大特征值和较小特征值,A、B、C分别表示所述协方差矩阵M的元素(M)11、(M)12或(M)21、(M)22,T1、T2分别表示边缘可靠度第一阈值和边缘可靠度第二阈值,x=λ21,trace(M)表示协方差矩阵M的迹,det(M)表示协方差矩阵M的行列式。
3.根据权利要求1所述的基于边缘自适应的图像缩放方法,其特征在于,所述根据原图像窗口中待插值像素邻域内全部像素的方向斜率的方差确定边缘方向一致性参数包括:
确定插值图像中待插值像素邻域内像素的斜率方差var:
<mrow> <mi>var</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>S</mi> </mrow> </munder> <mo>|</mo> <mi>k</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mo>|</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow>
根据公式(15)确定边缘方向一致性参数Rc:
<mrow> <mi>R</mi> <mi>c</mi> <mo>=</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>(</mo> <mrow> <mn>1</mn> <mo>,</mo> <mfrac> <mrow> <mi>T</mi> <mn>6</mn> <mo>-</mo> <mi>v</mi> <mi>a</mi> <mi>r</mi> </mrow> <mrow> <mi>T</mi> <mn>6</mn> <mo>-</mo> <mi>T</mi> <mn>5</mn> </mrow> </mfrac> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>15</mn> <mo>)</mo> </mrow> </mrow>
其中,表示待插值像素邻域内像素的方向斜率,表示待插值像素领域内像素的方向斜率的平均值,T5、T6分别表示边缘方向一致性第一阈值和边缘方向一致性第二阈值,S为待插值像素的邻域。
4.一种基于边缘自适应的图像缩放系统,其特征在于,包括:
坐标计算模块,用于确定待插值像素在原图像中的位置;
强边检测模块,用于计算待插值像素的边缘方向和强边概率;
边缘插值模块,用于在所述待插值像素的强边概率不为零时根据所述边缘方向利用边缘插值法进行插值;
非边缘插值模块,用于在所述待插值像素的强边概率为零时根据非边缘插值法进行插值;
融合模块,用于将所述强边概率和所述强边概率的互补概率分别作为边缘插值融合权重和非边缘插值融合权重,对所述边缘插值法和所述非边缘插值法获得的插值结果进行加权融合得到最终的插值后图像;
其中,
所述强边检测模块包括梯度计算模块、边缘方向可靠度子模块、边缘强度子模块、和边缘方向一致性子模块:
所述梯度计算模块,用于计算待插值像素的边缘方向;
所述边缘方向可靠度子模块,用于根据原图像窗口中待插值像素邻域内全部像素梯度加权的协方差矩阵确定边缘方向可靠度参数;
所述边缘强度子模块,用于根据原图像窗口中待插值像素邻域内全部像素梯度幅值的加权平均确定边缘强度参数;
所述边缘方向一致性子模块,用于根据原图像窗口中待插值像素邻域内全部像素的方向斜率的方差确定边缘方向一致性参数;
所述强边检测模块将所确定的参数中的一个或其任意组合分别作为强边融合参数的相互独立的乘性因子相乘得到待插值像素的强边概率;
进一步地,所述边缘强度子模块具体用于确定原图像窗口中待插值像素邻域内全部像素梯度幅值的加权平均值AvgG:
<mrow> <mi>A</mi> <mi>v</mi> <mi>g</mi> <mi>G</mi> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>&amp;Omega;</mi> </mrow> </munder> <mi>w</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>*</mo> <mrow> <mo>(</mo> <mo>|</mo> <msub> <mi>g</mi> <mi>H</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>|</mo> <mo>+</mo> <mo>|</mo> <msub> <mi>g</mi> <mi>V</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>|</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
和根据公式(13)确定边缘强度Rs:
<mrow> <mi>R</mi> <mi>s</mi> <mo>=</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>(</mo> <mrow> <mn>1</mn> <mo>,</mo> <mfrac> <mrow> <mi>A</mi> <mi>v</mi> <mi>g</mi> <mi>G</mi> <mo>-</mo> <mi>T</mi> <mn>3</mn> </mrow> <mrow> <mi>T</mi> <mn>4</mn> <mo>-</mo> <mi>T</mi> <mn>3</mn> </mrow> </mfrac> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
其中,Ω表示待插值像素的邻域,(i,j)表示邻域Ω内像素点的坐标,w(i,j)表示(i,j)位置像素的双线性插值权重,gH(i,j)表示(i,j)位置的像素的水平梯度,gV(i,j)表示(i,j)位置的像素的垂直梯度,T3、T4分别表示边缘强度第一阈值和边缘强度第二阈值。
5.根据权利要求4所述的基于边缘自适应的图像缩放系统,其特征在于,所述梯度计算模块,具体用于确定原图像窗口中待插值像素邻域内全部像素梯度加权的协方差矩阵、计算所述协方差矩阵的特征值和特征向量,并将较小特征值对应的特征向量作为待插值像素的边缘方向;
所述边缘方向可靠度子模块,具体用于构造所述协方差矩阵的较大特征值和较小特征值的比值的递增函数f(x):
<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <msup> <mrow> <mo>(</mo> <mi>A</mi> <mo>+</mo> <mi>C</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mrow> <mi>A</mi> <mo>*</mo> <mi>C</mi> <mo>-</mo> <msup> <mi>B</mi> <mn>2</mn> </msup> </mrow> </mfrac> <mo>=</mo> <mfrac> <mrow> <mi>t</mi> <mi>r</mi> <mi>a</mi> <mi>c</mi> <mi>e</mi> <msup> <mrow> <mo>(</mo> <mi>M</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <mrow> <mi>det</mi> <mrow> <mo>(</mo> <mi>M</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>=</mo> <mfrac> <msup> <mrow> <mo>(</mo> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mrow> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> </mrow> </mfrac> <mo>=</mo> <mfrac> <msup> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mfrac> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mfrac> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> </mfrac> </mfrac> <mo>=</mo> <mfrac> <msup> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mi>x</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mi>x</mi> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
和根据公式(11)确定边缘方向可靠度参数Ra:
<mrow> <mi>R</mi> <mi>a</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>A</mi> <mo>*</mo> <mi>C</mi> <mo>-</mo> <msup> <mi>B</mi> <mn>2</mn> </msup> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>max</mi> <mrow> <mo>(</mo> <mrow> <mn>0</mn> <mo>,</mo> <mi>min</mi> <mrow> <mo>(</mo> <mrow> <mn>1</mn> <mo>,</mo> <mfrac> <mrow> <mfrac> <msup> <mrow> <mo>(</mo> <mrow> <mi>A</mi> <mo>+</mo> <mi>C</mi> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mrow> <mi>A</mi> <mo>*</mo> <mi>C</mi> <mo>-</mo> <msup> <mi>B</mi> <mn>2</mn> </msup> </mrow> </mfrac> <mo>-</mo> <mi>T</mi> <mn>1</mn> </mrow> <mrow> <mi>T</mi> <mn>2</mn> <mo>-</mo> <mi>T</mi> <mn>1</mn> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>A</mi> <mo>*</mo> <mi>C</mi> <mo>-</mo> <msup> <mi>B</mi> <mn>2</mn> </msup> <mo>&amp;NotEqual;</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
其中,λ1、λ2分别表示所述协方差矩阵的较大特征值和较小特征值,A、B、C分别表示所述协方差矩阵M的元素(M)11、(M)12或(M)21、(M)22,T1、T2分别表示边缘可靠度第一阈值和边缘可靠度第二阈值,x=λ21,trace(M)表示协方差矩阵M的迹,det(M)表示协方差矩阵M的行列式。
6.根据权利要求4所述的基于边缘自适应的图像缩放系统,其特征在于,所述边缘方向一致性子模块具体用于确定插值图像中待插值像素邻域内像素的斜率方差var:
<mrow> <mi>var</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>S</mi> </mrow> </munder> <mo>|</mo> <mi>k</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mo>|</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow>
和根据公式(15)确定边缘方向一致性参数Rc:
<mrow> <mi>R</mi> <mi>c</mi> <mo>=</mo> <mi>max</mi> <mo>(</mo> <mrow> <mn>0</mn> <mo>,</mo> <mi>min</mi> <mrow> <mo>(</mo> <mrow> <mn>1</mn> <mo>,</mo> <mfrac> <mrow> <mi>T</mi> <mn>6</mn> <mo>-</mo> <mi>var</mi> </mrow> <mrow> <mi>T</mi> <mn>6</mn> <mo>-</mo> <mi>T</mi> <mn>5</mn> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>15</mn> <mo>)</mo> </mrow> </mrow>
其中,表示待插值像素邻域内像素的方向斜率,表示待插值像素领域内像素的方向斜率的平均值,T5、T6分别表示边缘方向一致性第一阈值和边缘方向一致性第二阈值,S为待插值像素的邻域。
CN201510152690.7A 2015-04-01 2015-04-01 基于边缘自适应的图像缩放方法及系统 Active CN104700360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510152690.7A CN104700360B (zh) 2015-04-01 2015-04-01 基于边缘自适应的图像缩放方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510152690.7A CN104700360B (zh) 2015-04-01 2015-04-01 基于边缘自适应的图像缩放方法及系统

Publications (2)

Publication Number Publication Date
CN104700360A CN104700360A (zh) 2015-06-10
CN104700360B true CN104700360B (zh) 2018-06-05

Family

ID=53347449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510152690.7A Active CN104700360B (zh) 2015-04-01 2015-04-01 基于边缘自适应的图像缩放方法及系统

Country Status (1)

Country Link
CN (1) CN104700360B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016154966A1 (zh) * 2015-04-01 2016-10-06 中国科学院自动化研究所 基于边缘自适应的图像缩放方法及系统
CN107231551B (zh) * 2016-03-25 2019-05-07 青岛海信电器股份有限公司 一种图像检测方法及装置
CN106780336B (zh) * 2016-12-19 2020-04-03 广东威创视讯科技股份有限公司 一种图像缩小方法及装置
CN106875340A (zh) * 2017-04-05 2017-06-20 上海矽奥微电子有限公司 基于方向差值的图像缩放方法
CN109993693B (zh) * 2017-12-29 2023-04-25 澜至电子科技(成都)有限公司 用于对图像进行插值的方法和装置
CN112862673B (zh) * 2019-11-12 2024-06-14 上海途擎微电子有限公司 自适应图像缩放方法及自适应图像缩放装置、存储装置
CN116977173B (zh) * 2023-07-12 2024-03-22 武汉大学 基于色差和色比的边缘优化Bayer插值方法
CN117274702B (zh) * 2023-09-27 2024-03-29 湖南景为电子科技有限公司 一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1667650A (zh) * 2005-04-08 2005-09-14 杭州国芯科技有限公司 基于边缘检测的图像缩放的方法
CN101458770A (zh) * 2008-12-24 2009-06-17 北京文通科技有限公司 一种文字识别的方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040061244A (ko) * 2002-12-30 2004-07-07 삼성전자주식회사 디-인터레이싱 방법 및 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1667650A (zh) * 2005-04-08 2005-09-14 杭州国芯科技有限公司 基于边缘检测的图像缩放的方法
CN101458770A (zh) * 2008-12-24 2009-06-17 北京文通科技有限公司 一种文字识别的方法和系统

Also Published As

Publication number Publication date
CN104700360A (zh) 2015-06-10

Similar Documents

Publication Publication Date Title
CN104700360B (zh) 基于边缘自适应的图像缩放方法及系统
TWI287401B (en) Edge adaptive image expansion and enhancement system and method
US8792746B2 (en) Image processing apparatus, image processing method, and program
EP3051484A2 (en) Image interpolation method and image interpolation apparatus
JP5326920B2 (ja) 画像処理装置、画像処理方法、及び、コンピュータプログラム
JP5822157B2 (ja) ノイズ低減装置、ノイズ低減方法及びプログラム
US8494308B2 (en) Image upscaling based upon directional interpolation
WO2009014258A1 (en) Image upscaling based upon directional interpolation
CN107123086B (zh) 图像缩放方法、图像缩放装置及电子设备
Mahajan et al. Adaptive and non-adaptive image interpolation techniques
CN104700361B (zh) 基于边缘检测的图像插值方法及系统
JP4399449B2 (ja) 画像ノイズ低減システム、画像ノイズ低減方法およびコンピュータ・プログラム
US9202265B2 (en) Point spread function cost function with non-uniform weights
Singh et al. Content adaptive single image interpolation based Super Resolution of compressed images
CN109325909B (zh) 一种图像放大方法和图像放大装置
JP4868249B2 (ja) 映像信号処理装置
CN102769745B (zh) 插值依赖的图像自适应下采样方法
US20040086201A1 (en) Fast edge directed polynomial interpolation
Mishiba et al. Edge-adaptive image interpolation using constrained least squares
CN111784733A (zh) 图像处理方法、装置、终端和计算机可读存储介质
Park et al. Covariance-based adaptive deinterlacing method using edge map
WO2015115168A1 (ja) 画像処理装置
WO2016154966A1 (zh) 基于边缘自适应的图像缩放方法及系统
JP5478200B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
Yamaguchi et al. Fast and high quality image interpolation for single-frame using multi-filtering and weighted mean

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171204

Address after: 102412 Beijing City, Fangshan District Yan Village Yan Fu Road No. 1 No. 11 building 4 layer 402

Applicant after: Beijing Si Lang science and Technology Co.,Ltd.

Address before: 100080 Zhongguancun East Road, Beijing, No. 95, No.

Applicant before: Institute of Automation, Chinese Academy of Sciences

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220114

Address after: 519031 room 532, building 18, No. 1889, Huandao East Road, Hengqin District, Zhuhai City, Guangdong Province

Patentee after: Zhuhai Jilang Semiconductor Technology Co.,Ltd.

Address before: 102412 room 402, 4th floor, building 11, No. 1, Yanfu Road, Yancun Town, Fangshan District, Beijing

Patentee before: Beijing Si Lang science and Technology Co.,Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 701, 7th Floor, Building 56, No. 2, Jingyuan North Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing 100176 (Beijing Pilot Free Trade Zone High-end Industry Zone Yizhuang Group)

Patentee after: Beijing Jilang Semiconductor Technology Co., Ltd.

Address before: 519031 room 532, building 18, No. 1889, Huandao East Road, Hengqin District, Zhuhai City, Guangdong Province

Patentee before: Zhuhai Jilang Semiconductor Technology Co.,Ltd.