CN109523469B - 图像缩放方法和装置 - Google Patents
图像缩放方法和装置 Download PDFInfo
- Publication number
- CN109523469B CN109523469B CN201811367222.1A CN201811367222A CN109523469B CN 109523469 B CN109523469 B CN 109523469B CN 201811367222 A CN201811367222 A CN 201811367222A CN 109523469 B CN109523469 B CN 109523469B
- Authority
- CN
- China
- Prior art keywords
- pixel point
- generated
- reference pixel
- image
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000005457 optimization Methods 0.000 claims description 65
- 239000011159 matrix material Substances 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000001052 transient effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像缩放方法和装置,在计算每个新像素点的亮度值和色度值时,利用新像素点和对应的参考像素点的相对位置关系计算位置系数,然后结合这个新像素点对应的参考像素点的亮度差异情况,对所述位置系数进行调整得到插值系数,最后根据所述插值系数和所述参考像素点的亮度和色度值计算这个新像素点的亮度值和色度值,从而避免了现有缩放技术中,计算插值系数时只考虑相对位置关系导致的缩放后图像失真的问题。
Description
技术领域
本发明涉及多媒体技术领域,尤其涉及一种图像缩放方法和装置。
背景技术
图像缩放是指,利用待缩放的图像原有的像素点,确定多个新像素点,然后在待缩放图像的特定位置插入这些新像素点,或者用这些新像素点替换特定的部分原像素点,从而调整图像的分辨率,使图像分辨率与显示设备的分辨率相匹配的一种技术。其中,新像素点在图像中的位置可以根据缩放比例确定。
现有的图像缩放技术,在确定新像素点的位置后,针对每一个新像素点,选取多个相邻的原像素点作为参考像素点,然后根据新像素点和对应的参考像素点的相对位置为每个参考像素点确定一个插值系数,进而利用插值系数和参考像素点的亮度值计算新像素点的亮度值,最后根据新像素点的亮度值确定新像素点。
现有技术的缺点在于,仅仅根据新像素点和原像素点的相对位置确定插值系数,并未考虑新像素点所在区域的细节的丰富程度,而采用相同强度的插值方式,导致新像素点与周围的原像素点的亮度存在明显差异,缩放后的图像细节纹理区域失真严重。
发明内容
基于上述现有技术的不足,本发明提出一种图像缩放方法和装置,以解决缩放后的图片和视频细节纹理区域严重失真的问题。
为解决上述问题,现提出的方案如下:
本发明第一方面公开了一种图像缩放的方法,包括:
确定待缩放图像中的多个待生成像素点的位置;
针对每一个所述待生成像素点,根据其对应的参考像素点之间的亮度差异,以及所述待生成像素点和所述参考像素点的相对位置,确定所述待生成像素点对应的参考像素点的插值系数;其中,所述参考像素点的亮度差异是指:所述参考像素点与特定像素点的亮度差异;所述参考像素点是所述待缩放图像中以所述待生成像素点为中心的预设范围内的原像素点;所述特定像素点是所述待缩放图像中以所述参考像素点为中心的预设范围内的原像素点;
根据每一个所述待生成像素点对应的所述参考像素点及其插值系数确定每一个所述待生成像素点;
将每一个所述待生成像素点插入所述待缩放图像,得到缩放后的图像。
可选的,所述根据每一个所述待生成像素点对应的所述参考像素点及其插值系数确定所述待生成像素点,包括:
根据每一个所述待生成像素点对应的所述参考像素点的插值系数、亮度值和色度值计算所述待生成像素点的亮度值和色度值;
根据所述待生成像素点的亮度值和色度值确定所述待生成像素点。
可选的,所述将每一个所述待生成像素点插入所述待缩放图像,得到缩放后的图像,包括:
采用所述待生成像素点替换所述待缩放图像中的对应参考像素点,得到所述缩放后的图像;或者,在所述待缩放图像中增加所述待生成像素点,得到缩放后的图像。
可选的,所述针对每一个所述待生成像素点,根据其对应的参考像素点的亮度差异,以及所述待生成像素点和所述参考像素点的相对位置,确定所述待生成像素点对应的参考像素点的插值系数,包括:
针对每一个所述待生成像素点,根据其对应的参考像素点的亮度差异确定所述参考像素点的判决指标;
根据所述参考像素点的判决指标确定优化系数;
利用垂直位置系数、水平位置系数和所述优化系数计算所述参考像素的插值系数;其中,所述垂直位置系数和所述水平位置系数根据所述待生成像素点和对应参考像素点的相对位置计算得到。
可选的,所述针对每一个所述待生成像素点,根据其对应的参考像素点的亮度差异确定所述参考像素点的判决指标,包括:
针对每一个所述待生成像素点的每一个参考像素点,以该参考像素为中心点确定一个由原像素点组成的n阶方阵,所述n为大于1且小于7的奇数;
分别计算所述方阵中每个原像素点的亮度值和所述参考像素点的亮度值差的绝对值,得到所述参考点与所述方阵中每个原像素点的亮度差异;
根据所述方阵中,所述亮度差异大于预设的阈值的原像素点的数量确定所述参考像素点的判决指标。
本发明第二方面公开了一种图像缩放装置,包括:
位置获取单元,用于确定待缩放图像中的多个待生成像素点的位置;
系数获取单元,针对每一个所述待生成像素点,根据其对应的参考像素点的亮度差异,以及所述待生成像素点和所述参考像素点的相对位置,确定所述待生成像素点对应的参考像素点的插值系数;其中,所述参考像素点的亮度差异是指:所述参考像素点与特定像素点的亮度差异;所述参考像素点是所述待缩放图像中以所述待生成像素点为中心的预设范围内的原像素点;所述特定像素点是所述待缩放图像中以所述参考像素点为中心的预设范围内的原像素点;
待生成像素点获取单元,用于根据每一个所述待生成像素点对应的所述参考像素点及其插值系数确定每一个所述待生成像素点的亮度值;
插入单元,用于每一个所述待生成像素点插入所述待缩放图像,得到缩放后的图像。
可选的,所述插入单元包括:
像素点替换单元,用于将所述待缩放图像中的对应参考像素点替换成所述待生成像素点,得到所述缩放后的图像;
像素点增加单元,用于在所述待缩放图像中增加所述待生成像素点,得到缩放后的图像。
可选的,所述待生成像素点获取单元包括:
亮度计算单元,用于根据每一个所述待生成像素点对应的所述参考像素点的插值系数和亮度值确定每一个所述待生成像素点的亮度值;
色度计算单元,用于针对每一个所述待生成像素点,根据其对应的参考像素点的色度值和所述参考像素点的插值系数,确定所述待生成像素点的色度值;
待生成像素点确定单元,用于根据每一个所述待生成像素点的亮度值和色度值确定每一个所述待生成像素点。
可选的,所述系数获取单元包括:
判决单元,用于针对每一个所述待生成像素点,根据其对应的参考像素点的亮度差异确定所述参考像素点的判决指标;
优化系数单元,用于根据所述参考像素点的判决指标确定优化系数;
位置系数单元,用于根据所述待生成像素点和对应的参考像素点的相对位置计算垂直位置系数和水平位置系数;
计算单元,用于利用所述垂直位置系数、所述水平位置系数和所述优化系数计算所述参考像素点的插值系数。
可选的,所述判决单元包括:
方阵获取单元,用于针对每一个所述待生成像素点的每一个参考像素点,以该参考像素为中心点确定一个由原像素点组成的n阶方阵,所述n为大于1 且小于7的奇数;
亮度差异获取单元,分别计算所述方阵中每个原像素点的亮度值和所述参考像素点的亮度值差的绝对值,得到所述参考点与所述方阵中每个原像素点的亮度差异;
判决指标获取单元,根据所述方阵中,所述亮度差异大于预设的阈值的原像素点的数量确定所述参考像素点的判决指标。
本发明提供的图像缩放方法,针对现有技术中确定新像素点,即待生成像素点的方法进行了改进,综合考虑新像素点对应的参考像素点的亮度差异,以及新像素点和对应的参考像素点的相对位置,进而确定所述参考像素点的插值系数,然后利用每个所述待生成像素点对应的所述参考像素点及其插值系数确定每个所述待生成像素点,其中所述参考像素点是新像素点周围特定的部分原像素点。本发明根据新像素点所在区域的原像素点的亮度差异情况,或者说根据新像素点所在区域的细节的丰富程度,确定插值系数,从而解决现有技术缩放得到的图像中细节纹理区域严重失真的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的图像缩放方法的流程示意图;
图2是本发明另一实施例公开的图像缩放方法的流程示意图;
图3是本发明实施例公开的图像缩放装置的示意图;
图4是本发明实施例公开的图像缩放方法中,每个待生成像素点的参考像素点分布示意图;
图5是本发明实施例公开的图像缩放方法中,一种对特定参考像素点的判决指标的所有可能的取值和分布形式进行分类的方式。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
首先需要说明的是,本申请实施例提供的图像缩放方法和装置既适用于图片的缩放处理,也适用于视频的缩放处理。
本申请实施例公开了一种图像缩放方法,如图1所示,包括以下步骤:
S101、确定待缩放图像中的多个待生成像素点。
需要说明的是,所述待生成像素点是,待缩放图像中没有的,区别于待缩放图像中原有的像素点的新像素点,是确定其颜色后需要插入待缩放图像以调整待缩放图像的分辨率的像素点。所述确定待缩放图像中的多个待生成像素点是指,根据缩放比例,确定需要在待缩放图像中插入的待生成像素点的数量,以及每个待生成像素点在待缩放图像中的位置,也就是每个新像素点的坐标。
S102、根据待生成像素点对应的参考像素点的亮度差异,以及待生成像素点和参考像素点的相对位置,确定参考像素点的插值系数。
需要说明的是,所述待生成像素点对应的参考像素点具体是,针对每一个待生成像素点,在这个待生成像素点周围,由近到远地选取的多个原像素点。每个新像素点都有与本像素点对应的多个参考像素点,对于任意两个新像素点,对应的参考像素点可能会有部分重叠,即部分原像素点同时是这两个新像素点的参考像素点,但不会完全相同。也就是说,一个新像素点有多个原像素点作为参考像素点,同时一个原像素点也可以是多个新像素点的参考像素点。
需要说明的是,所述参考像素点的亮度差异是指,所述参考像素点与周围特定的原像素点的亮度差异。具体的,对于每个参考像素点,可以由近到远地选取这个参考像素点周围的8个原像素点作为特定的原像素点,逐个分析这个参考像素点与其中每一个原像素点的亮度差异,得到对应的8个亮度差异。对于既定的选取特定的原像素点的方法,每个参考像素点的亮度差异是确定的。
还需要说明的是,所述参考像素点的插值系数,由于考虑了参考像素点与待生成像素点,即新像素点的相对位置,因此,所述参考像素点的插值系数是指,对应于某个新像素点的参考像素点的插值系数,对于原像素点A,作为新像素点B的参考像素点时的插值系数,和作为新像素点C的参考像素点时的插值系数是不同的。
S103、根据每个待生成像素点对应的参考像素点及其插值系数,确定每个所述待生成像素点。
计算某个待生成像素点的亮度值时,可以将这个待生成像素点对应的每个参考像素点的插值系数与其亮度值相乘,最后对所有乘积求和得到所述待生成像素点的亮度值。
S104、将每一个所述待生成像素点插入所述待缩放图像,得到缩放后的图像。
其中,每一个所述待生成像素点的颜色根据所述待生成像素点的亮度值确定。
本申请实施例提供的图像缩放方法,计算参考像素点的插值系数时,综合考虑参考像素点与待生成像素点的相对位置,以及参考像素点与周围的原像素点的亮度差异,从而动态地调整插值系数,使其更符合新像素点所在区域的参考像素点的亮度差异情况,因而生成的新像素点更加近似所在区域的纹理细节,在人眼主观感受上可以改善缩放后的图像的模糊现象。
本申请另一实施例还公开了一种图像缩放方法,如图2所示,包括以下步骤:
S201、分析待缩放图像使用的色彩模式是否包括亮度,若包括则进入步骤S203,若不包括则进入步骤S202。
S202、将待缩放图像的色彩模式转换成包括亮度的其他色彩模式。
需要说明的是,本申请实施例提供的图像缩放方法,采用改进的方法根据待缩放图像的原像素点的亮度值确定待生成像素点的亮度值,进而确定待生成像素点的颜色。因此,使用本申请实施例提供的方法缩放图像,要求待缩放图像的应当使用包括亮度在内的色彩模式,对于使用不包括亮度的色彩模式的图像,首先需要将其色彩模式转换成包括亮度的色彩模式。
例如,使用YCbCr色彩模式的图像,包括亮度Y,蓝色色度Cb和红色色度 Cr,因此可以使用本申请实施例提供的图像缩放方法,而使用RGB色彩模式的图像,使用红色、蓝色和绿色的混合表示像素点的颜色,由于其中没直接涉及像素点的亮度,要使用本申请实施例提供的方法,可以使用下述公式将 RGB色彩模式转换成YCbCr色彩模式。
Y=0.257R+0.504G+0.098B
Cb=0.439R+0.368G+0.071B
Cr=0.148R+0.291G+0.439B
其中R、G、B分别表示图像的红色、绿色和蓝色分量。
需要说明的是,步骤S201和S202是可选的步骤,增加这两个步骤是为了扩展本申请实施例的适用范围,本领域技术人员可以通过直接执行步骤S203 及之后的步骤,得到一个仅适用于,使用包括亮度分量的色彩模式的图像的缩放方法,而不必付出创造性劳动。也就是说,删除步骤S201和S202后得到的图像缩放方法也在本申请的保护范围之内。
S203、确定待缩放图像中的待生成像素点的数量和位置。
所述待生成像素点也可以成为新像素点。
可选的,所述待缩放图像中的待生成像素点可以根据待缩放图像的缩放比例确定。
S204、为每个待生成像素点选取对应的参考像素点。
可选的,针对每个待生成像素点,按照与这个新像素点距离的远近,由近到远地选取16个原像素点作为这个新像素点的参考像素点,所述16个参考像素点以4阶方阵的形式排列,如图4所示,其中黑色的点表示新像素点,16 个白色的点表示这个新像素点的参考像素点。
S205、针对每个新像素点,计算其对应的部分特定参考像素点的亮度差异。
可选的,对于图4所示的参考像素点的选取方式,可以选取所示的4阶方阵中心处的2阶方阵内的参考像素点,即6、7、10和11号参考像素点作为特定参考像素点,分别计算这4个参考像素点对应的亮度差异。
以上述四个参考像素点为例,所述计算亮度差异的过程包括:
以6号参考像素点为例,以该参考像素点为中心选取一个3x3的观察窗,包括6号参考像素点在内,观察窗内共有9个原像素点,其中Y1至Y9表示对应位置的参考像素点的亮度值,中心的Y5表示6号参考像素点的亮度值,观察窗如下表所示。
Y1 | Y2 | Y3 |
Y4 | Y5 | Y6 |
Y7 | Y8 | Y9 |
表13x3观察窗
逐个计算观察窗外围的8个原像素点与中心的参考像素点的亮度差异,具体计算公式如下。
其中,Yi表示观察窗内除Y5以外的其他原像素点的亮度值,Ci表示对应的亮度差异。
对上述结算得到的亮度差异进行二值化处理,结果用αi表示。具体的,在图像处理领域,通常认为,小于10%的亮度差异不易被人眼察觉,也就是说,从人类视觉系统的角度,可以认为两个亮度差异小于10%的像素点的亮度基本一致,因此,对于除6号参考像素点之外的原像素点,可以判断其对应的Ci是否大于0.1,若大于0.1,对应的αi设为0,表示对应的原像素点与中心的6号参考像素点亮度差异可以被人眼识别,反之设为1,表示对应的原像素点与中心的6号参考像素点的亮度差异不易被人眼识别。
需要说明的是,上述以一个参考像素点为中心选取的观察窗,并不仅限于3x3的观察窗,也可以是5x5的观察窗,计算亮度差异的过程与3x3的观察窗一致,逐个计算中心的参考像素点与观察窗内其他24个原像素点的亮度差异,然后做二值化处理即可。
需要说明的是,上述以一个新像素点的6号参考像素点为例说明的亮度差异计算方法,可以直接应用于任意一个新像素点的任意一个参考像素点
S206、针对每个新像素点,确定其对应的特定参考像素点的判决指标。
确定判决指标的具体过程是,针对每个新像素点的每个特定参考像素点,计算其对应的3x3的观察窗内亮度差异二值化结果αi的和,记为sum,也可以理解成,统计其对应的3x3观察窗内亮度差异二值化结果αi为1的原像素点的个数。若sum等于8,则认为这个观察窗对应的特定参考像素点与周围的原像素点的亮度差异较小,不易被人眼识别,对应的确定这个特定参考像素点的判决指标为0,否则,确定这个特定参考像素点的判决指标为1。每个新像素点的四个特定参考像素点的判决指标构成一个2x2的判决指标矩阵。
S207、针对每个新像素点,根据其对应的特定参考像素点的判决指标确定这个新像素点的优化系数。
首先需要说明的是,优化系数应当满足以下三点约束条件:
第一点,基于周围像素点人眼辨识出的方向性,优化系数分为水平和垂直两个方向。
第二点,为了保证缩放后新像素点的亮度与周围的原像素点融合,优化系数所有优化系数的取值范围限制在(0,2)之间。
第三点,为了突出亮度差异较大的参考像素点对待新像素点的影响及第二点提到的新像素点与原像素点的融合,同一方向上,两个象限优化系数和为2,且二值为1对应象限的优化系数大于二值为0对应象限的优化系数。
可选的,可以预先将一个新像素点对应的特定参考像素点的判决指标所有可能的取值及分布形式,也就是判决指标矩阵的所有可能的形式按图5所示的方式分类,然后根据实际新像素点对应的四个判决指标对应的类别以及上述约束条件确定新像素点对应的六个优化系数,分别记为k1、k2、k3、k4、 k5和k6,其中k1和k2为第一水平方向的优化系数,k3和k4为第二水平方向的优化系数,k5和k6为垂直方向的优化系数。k1至k4与特定参考像素点的对应关系如表2所示,k5对应第一行的两个参考像素点,k6对应第二行的两个参考像素点。
k2 | k1 |
k3 | k4 |
表2
需要说明的是,上述对应关系并不是唯一的,也可将k1至k4设定为垂直方向的优化系数,分别对应一个特定参考像素点,k5和k6则设定为水平优化系数,分别对应第一列和第二列的特定参考像素点。
具体的确定优化系数的方法如下:
若新像素点对应的判决指标矩阵为第一类,所有优化系数都设为1;
若新像素点对应的判决指标矩阵为第二类,则k5和k6都设为1,若参考像素点的判决指标为1,则对应的水平优化系数设为1.1,若判决指标为0,则对应的水平优化系数设为0.9;
若新像素点对应的判决指标矩阵为第三类,则水平和垂直方向判决指标为1的参考像素点多的方向对应的优化系数应稍微大于判决指标为0的参考像素点对应的优化系数,本申请实施例设为1.2和0.8。具体的,对于第三类中的第二种和第三种矩阵形式,水平优化系数都设为1,判决指标全为1的一行对应的垂直优化系数设为1.2,判决指标全为0的一行对应的水平优化系数设为 0.8,对于第三类中的第一种和第四种矩阵形式,垂直优化系数全为1,判决指标为1的参考像素点对应的水平优化系数设为1.2,判决指标为0的参考像素点对应的水平优化系数设为0.8。
若新像素点对应的判决指标矩阵为第四类,则水平和垂直方向判决指标为0的参考像素点多的方向对应的优化系数应稍微大于判决指标为1的参考像素点对应的优化系数。具体的,判决指标全为0的一行参考像素点对应的垂直优化系数设为1.4,另一行参考像素点对应垂直优化系数设为0.6,判决指标全为0的一行,对应的两个水平优化系数都设为1;判决指标不全为0的一行,判决指标为0的参考像素点对应的水平优化系数设为1.4,这一行另一个参考像素点对应的水平优化系数设为0.6。
若新像素点对应的判决指标矩阵为第五类,则水平和垂直方向判决指标为1的参考像素点多的方向对应的优化系数应稍微大于判决指标为0的参考像素点对应的优化系数。具体的,判决指标全为1的一行参考像素点对应的垂直优化系数设为1.3,另一行参考像素点对应垂直优化系数设为0.7,判决指标全为1的一行,对应的两个水平优化系数都设为1;判决指标不全为1的一行,判决指标为1的参考像素点对应的水平优化系数设为1.3,这一行另一个参考像素点对应的水平优化系数设为0.7。
S208、针对每个新像素点,利用新像素点与参考像素点的相对位置计算其对应的参考像素点的位置系数。
具体的,所述位置系数包括垂直位置系数和水平位置系数。
可选的,可以用下述公式来计算参考像素点的水平位置系数和垂直位置系数。
其中,w表示要计算的参考像素点与对应的新像素点的水平距离或垂直距离,使用垂直距离计算得到该参考像素点的垂直位置系数,使用水平距离计算得到该参考像素点的水平位置系数。
具体的,对于水平方向可以得到系数公式为
其中h1,h2,h3,h4为水平位置系数,由S(w)求出,Δx为新像素点与参考像素点的水平距离。
同理,对于垂直方向可以得到系数公式为
其中v1,v2,v3,v4为垂直位置系数,由S(w)求出,Δy为新像素点与参考像素点的垂直距离。
S209、针对每个新像素点,逐个计算这个新像素点对应的参考像素点的插值系数。
具体的,对每个参考像素点,将对应的水平优化系数、垂直优化系数、水平位置系数和垂直位置系数相乘,得到该参考像素点的插值系数,参考像素点i的插值系数记为ωi。
需要说明的是,所述参考像素点与优化系数的对应关系是:
针对图4所示的16个参考像素点组成的4x4矩阵,右上角的4个参考像素点对应水平优化系数k1,左上角的4个参考像素点对应水平优化系数k2,右下角的4个参考像素点对应水平优化系数k4,左下角的4个参考像素点对应水平优化系数k3。第一行和第二行的8个参考像素点对应垂直优化系数k5,第三行和第四行的8个参考像素点对应垂直优化系数k6。
具体的,针对图4所示的16个参考像素点组成的4x4矩阵,参考像素点i对应的插值系数可以用以下公式计算。
ω1=k5×k1×h1×v1;ω2=k5×k1×h2×v1;ω3=k5×k2×h3×v1;ω4=k5×k2×h4×v1;
ω5=k5×k1×h1×v2;ω6=k5×k1×h2×v2;ω7=k5×k2×h3×v2;ω8=k5×k2×h4×v2;
ω9=k6×k3×h1×v3;ω10=k6×k3×h2×v3;ω11=k6×k4×h3×v3;ω12=k6×k4×h4×v3;
ω13=k6×k3×h1×v4;ω14=k6×k3×h2×v4;ω15=k6×k4×h3×v4;ω16=k6×k4×h4×v4;
S210、针对每个新像素点,利用对应的参考像素点的插值系数和亮度值计算新像素点的亮度值。
具体的,可以采用下述公式计算新像素点的亮度值:
其中,Yi表示参考像素点i的亮度值,Ym表示待计算的新像素点的亮度值,ωi表示参考像素点i的插值系数。
S211、针对每个新像素点,利用其对应的参考像素点的色度值确定这个新像素点的色度值。
可选的,可以用步骤S210所述计算新像素点亮度值的公式计算新像素点的色度值,例如,对于使用YCbCr色彩模式的图像,可以使用下述公式计算新像素点的蓝色色度值Cb和红色色度值Cr。
其中,Cbm和Crm是所述新像素点的蓝色色度值和红色色度值,Cbi和Cri是所述新像素点对应的参考像素点i的蓝色色度值和红色色度值,ωi表示所述新像素点对应的参考像素点i的插值系数。
S212、根据新像素点的亮度值和色度值确定新像素点的颜色。
需要说明的是,步骤S211是可选的,对于灰度图片及视频,也就是俗称的黑白图片及黑白视频,只需确定像素点的亮度值,即可确定其颜色。因此当本申请实施例应用于灰度图片或视频时,S211是不必要的。只有在使用本申请实施例处理彩色图像时,需要执行步骤S211。相应的,若不执行步骤S211,需要将S212对应的调整为:根据新像素点的亮度值确定新像素点的颜色。
需要说明的是,上述步骤S210至S212可以理解为:根据每一个新像素点对应的参考像素点及其插值系数确定每一个新像素点。
S213、将新像素点插入待缩放的图像中,得到缩放后的图像。
需要说明的是,步骤S213所述将新像素点插入待缩放图像中,实际是执行:用新像素点替换待缩放图像中的参考像素点,或在待缩放图像中增加新像素点两种方法中的任意一种,具体是增加新像素点还是用新像素点替换参考像素点,根据缩放比例确定,若需要缩小待缩放图像,则用新像素点替换参考像素点,若需要放大待缩放图像,则在待缩放图像中增加新像素点。
可选的,本申请实施例提供的图像缩放方法还包括步骤S214、采用瞬态增强技术提升缩放后的图像的质量。
可选的,可以采用经典九阶滤波器进行瞬态增强,其抽头系数可设置为:
Filter:[-16,-31,-16,33,61,-16,-31,-16]x 0.1
本申请实施例提供的图像缩放方法,计算参考像素点的插值系数时,综合考虑参考像素点与待生成像素点的相对位置,以及参考像素点与周围的原像素点的亮度差异,根据参考像素点的亮度差异计算优化系数,并使用优化系数增强在亮度差异较大的参考像素点,也就是细节纹理区域的参考像素点对新像素点的贡献,从而更符合主观视觉感受地利用参考像素点,因而生成的新像素点更加近似所在区域的纹理细节,在人眼主观感受上可以改善缩放后的图像的模糊现象。另外,本申请提供的实施例还使用瞬态增强技术进一步改善缩放后的图像的质量。
本申请实施例还公开了一种图像缩放装置,如图3所示,包括:
位置获取单元301,用于确定待缩放图像中的多个待生成像素点的位置;
系数获取单元302,针对每一个所述待生成像素点,根据其对应的参考像素点的亮度差异,以及所述待生成像素点和所述参考像素点的相对位置,确定所述待生成像素点对应的参考像素点的插值系数;其中,所述参考像素点的亮度差异是指:所述参考像素点与特定像素点的亮度差异;所述参考像素点是所述待缩放图像中以所述待生成像素点为中心的预设范围内的原像素点;所述特定像素点是所述待缩放图像中以所述参考像素点为中心的预设范围内的原像素点;
待生成像素点获取单元303,用于根据每一个所述待生成像素点对应的所述参考像素点及其插值系数,确定每一个所述待生成像素点;
插入单元304,用于将每一个所述待生成像素点插入所述待缩放图像,得到缩放后的图像。
可选的,插入单元304,包括:
像素点替换单元,用于将所述待缩放图像中的对应参考像素点替换成所述待生成像素点,得到所述缩放后的图像;
像素点增加单元,用于在所述待缩放图像中增加所述待生成像素点,得到缩放后的图像。
其中,所述像素点替换单元在需要缩小原图像时工作,所述像素点增加单元在需要方法原图像时工作。
可选的,待生成像素点获取单元303,包括:
亮度计算单元,用于根据每一个所述待生成像素点对应的所述参考像素点的插值系数和亮度值确定每一个所述待生成像素点的亮度值;
色度计算单元,用于针对每一个所述待生成像素点,根据其对应的参考像素点的色度值和所述参考像素点的差值系数,确定所述待生成像素点的色度值;
待生成像素点确定单元,用于根据每一个所述待生成像素点的亮度值和色度值确定每一个所述待生成像素点。
可选的,系数获取单元302,包括:
判决单元,用于针对每一个所述待生成像素点,根据其对应的参考像素点的亮度差异确定所述参考像素点的判决指标;
优化系数单元,用于根据所述参考像素点的判决指标确定优化系数;
位置系数单元,用于根据所述待生成像素点和对应的参考像素点的相对位置计算垂直位置系数和水平位置系数;
计算单元,用于利用所述垂直位置系数、所述水平位置系数和所述优化系数计算所述参考像素点的插值系数。
可选的,所述判决单元包括:
方阵获取单元,用于针对每一个所述待生成像素点的每一个参考像素点,以该参考像素为中心点确定一个由原像素点组成的n阶方阵,所述n为大于1且小于7的奇数;
亮度差异获取单元,分别计算所述方阵中每个原像素点的亮度值和所述参考像素点的亮度值差的绝对值,得到所述参考点与所述方阵中每个原像素点的亮度差异;
判决指标获取单元,根据所述方阵中,所述亮度差异大于预设的阈值的原像素点的数量确定所述参考像素点的判决指标。
可选的,所述图像缩放装置还包括图像增强单元305,用于基于瞬态增强技术提升缩放后的图像的质量。
本申请上述几个实施例提供的图像缩放装置的工作过程与本申请实施例提供的图像缩放方法一致,此处不再赘述。
本申请实施例提供的图像缩放装置,使用系数获取单元综合考虑参考像素点与待生成像素点的相对位置,以及参考像素点与周围的原像素点的亮度差异,以计算参考像素点的插值系数。待生成像素点获取单元利用系数获取单元得到的插值系数以及参考像素点确定所述待生成像素点。基于上述两个单元,本申请实施例提供的装置能够根据参考像素点的亮度差异动态地调整插值系数,使其更符合新像素点所在区域的参考像素点的亮度差异情况,因而生成的新像素点更加近似所在区域的纹理细节,在人眼主观感受上可以改善缩放后的图像的模糊现象。
专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种图像缩放的方法,其特征在于,包括:
确定待缩放图像中的多个待生成像素点的位置;
针对每一个所述待生成像素点,根据其对应的参考像素点的亮度差异,以及所述待生成像素点和所述参考像素点的相对位置,确定所述待生成像素点对应的参考像素点的插值系数;其中,所述参考像素点的亮度差异是指:所述参考像素点与特定像素点的亮度差异;所述参考像素点是所述待缩放图像中以所述待生成像素点为中心的预设范围内的原像素点;所述特定像素点是所述待缩放图像中以所述参考像素点为中心的预设范围内的原像素点;
根据每一个所述待生成像素点对应的所述参考像素点及其插值系数确定每一个所述待生成像素点;
将每一个所述待生成像素点插入所述待缩放图像,得到缩放后的图像。
2.根据权利要求1所述的方法,其特征在于,所述根据每一个所述待生成像素点对应的所述参考像素点及其插值系数确定所述待生成像素点,包括:
根据每一个所述待生成像素点对应的所述参考像素点的插值系数、亮度值和色度值计算所述待生成像素点的亮度值和色度值;
根据所述待生成像素点的亮度值和色度值确定所述待生成像素点。
3.根据权利要求1所述的方法,其特征在于,所述将每一个所述待生成像素点插入所述待缩放图像,得到缩放后的图像,包括:
采用所述待生成像素点替换所述待缩放图像中的对应参考像素点,得到所述缩放后的图像;或者,在所述待缩放图像中增加所述待生成像素点,得到缩放后的图像。
4.根据权利要求1所述的方法,其特征在于,所述针对每一个所述待生成像素点,根据其对应的参考像素点的亮度差异,以及所述待生成像素点和所述参考像素点的相对位置,确定所述待生成像素点对应的参考像素点的插值系数,包括:
针对每一个所述待生成像素点,根据其对应的参考像素点的亮度差异确定所述参考像素点的判决指标;
根据所述参考像素点的判决指标确定优化系数;
利用垂直位置系数、水平位置系数和所述优化系数计算所述参考像素的插值系数;其中,所述垂直位置系数和所述水平位置系数根据所述待生成像素点和对应参考像素点的相对位置计算得到。
5.根据权利要求4所述的方法,其特征在于,所述针对每一个所述待生成像素点,根据其对应的参考像素点的亮度差异确定所述参考像素点的判决指标,包括:
针对每一个所述待生成像素点的每一个参考像素点,以该参考像素点为中心点确定一个由原像素点组成的n阶方阵,所述n为大于1且小于7的奇数;
分别计算所述方阵中每个原像素点的亮度值和所述参考像素点的亮度值差的绝对值,得到所述参考像素点与所述方阵中每个原像素点的亮度差异;
根据所述方阵中,所述亮度差异大于预设的阈值的原像素点的数量确定所述参考像素点的判决指标。
6.一种图像缩放装置,其特征在于,包括:
位置获取单元,用于确定待缩放图像中的多个待生成像素点的位置;
系数获取单元,针对每一个所述待生成像素点,根据其对应的参考像素点的亮度差异,以及所述待生成像素点和所述参考像素点的相对位置,确定所述待生成像素点对应的参考像素点的插值系数;其中,所述参考像素点的亮度差异是指:所述参考像素点与特定像素点的亮度差异;所述参考像素点是所述待缩放图像中以所述待生成像素点为中心的预设范围内的原像素点;所述特定像素点是所述待缩放图像中以所述参考像素点为中心的预设范围内的原像素点;
待生成像素点获取单元,用于根据每一个所述待生成像素点对应的所述参考像素点及其插值系数,确定每一个所述待生成像素点;
插入单元,用于将每一个所述待生成像素点插入所述待缩放图像,得到缩放后的图像。
7.根据权利要求6所述的装置,其特征在于,所述插入单元包括:
像素点替换单元,用于将所述待缩放图像中的对应参考像素点替换成所述待生成像素点,得到所述缩放后的图像;
像素点增加单元,用于在所述待缩放图像中增加所述待生成像素点,得到缩放后的图像。
8.根据权利要求6所述的装置,其特征在于,所述待生成像素点获取单元包括:
亮度计算单元,用于根据每一个所述待生成像素点对应的所述参考像素点的插值系数和亮度值确定每一个所述待生成像素点的亮度值;
色度计算单元,用于针对每一个所述待生成像素点,根据其对应的参考像素点的色度值和所述参考像素点的差值系数,确定所述待生成像素点的色度值;
待生成像素点确定单元,用于根据每一个所述待生成像素点的亮度值和色度值确定每一个所述待生成像素点。
9.根据权利要求6所述的装置,其特征在于,所述系数获取单元包括:
判决单元,用于针对每一个所述待生成像素点,根据其对应的参考像素点的亮度差异确定所述参考像素点的判决指标;
优化系数单元,用于根据所述参考像素点的判决指标确定优化系数;
位置系数单元,用于根据所述待生成像素点和对应的参考像素点的相对位置计算垂直位置系数和水平位置系数;
计算单元,用于利用所述垂直位置系数、所述水平位置系数和所述优化系数计算所述参考像素点的插值系数。
10.根据权利要求9所述的装置,其特征在于,所述判决单元包括:
方阵获取单元,用于针对每一个所述待生成像素点的每一个参考像素点,以该参考像素为中心点确定一个由原像素点组成的n阶方阵,所述n为大于1且小于7的奇数;
亮度差异获取单元,分别计算所述方阵中每个原像素点的亮度值和所述参考像素点的亮度值差的绝对值,得到所述参考像素点与所述方阵中每个原像素点的亮度差异;
判决指标获取单元,根据所述方阵中,所述亮度差异大于预设的阈值的原像素点的数量确定所述参考像素点的判决指标。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811367222.1A CN109523469B (zh) | 2018-11-16 | 2018-11-16 | 图像缩放方法和装置 |
TW108129069A TWI758630B (zh) | 2018-11-16 | 2019-08-15 | 圖像縮放方法和裝置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811367222.1A CN109523469B (zh) | 2018-11-16 | 2018-11-16 | 图像缩放方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109523469A CN109523469A (zh) | 2019-03-26 |
CN109523469B true CN109523469B (zh) | 2022-12-27 |
Family
ID=65778086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811367222.1A Active CN109523469B (zh) | 2018-11-16 | 2018-11-16 | 图像缩放方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109523469B (zh) |
TW (1) | TWI758630B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110298858B (zh) * | 2019-07-01 | 2021-06-22 | 北京奇艺世纪科技有限公司 | 一种图像裁剪方法及装置 |
CN111159622B (zh) * | 2019-12-10 | 2023-06-30 | 北京蛙鸣信息科技发展有限公司 | 面向缺失数据的多参数融合空气质量空间插值方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001169097A (ja) * | 1999-12-10 | 2001-06-22 | Sharp Corp | 画像処理装置および画像処理方法 |
CN1684497A (zh) * | 2005-03-11 | 2005-10-19 | 华亚微电子(上海)有限公司 | 一种图像缩放方法及图像缩放器系统 |
CN101188017A (zh) * | 2007-12-18 | 2008-05-28 | 上海广电集成电路有限公司 | 数字图像的缩放方法以及系统 |
CN102521803A (zh) * | 2011-11-29 | 2012-06-27 | 青岛海信信芯科技有限公司 | 图像缩放中的抗锯齿失真方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8072465B2 (en) * | 2008-05-21 | 2011-12-06 | Mediatek Inc. | Image processing method and system |
WO2012114574A1 (ja) * | 2011-02-21 | 2012-08-30 | 三菱電機株式会社 | 画像拡大装置及び方法 |
-
2018
- 2018-11-16 CN CN201811367222.1A patent/CN109523469B/zh active Active
-
2019
- 2019-08-15 TW TW108129069A patent/TWI758630B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001169097A (ja) * | 1999-12-10 | 2001-06-22 | Sharp Corp | 画像処理装置および画像処理方法 |
CN1684497A (zh) * | 2005-03-11 | 2005-10-19 | 华亚微电子(上海)有限公司 | 一种图像缩放方法及图像缩放器系统 |
CN101188017A (zh) * | 2007-12-18 | 2008-05-28 | 上海广电集成电路有限公司 | 数字图像的缩放方法以及系统 |
CN102521803A (zh) * | 2011-11-29 | 2012-06-27 | 青岛海信信芯科技有限公司 | 图像缩放中的抗锯齿失真方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
TW202021330A (zh) | 2020-06-01 |
TWI758630B (zh) | 2022-03-21 |
CN109523469A (zh) | 2019-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108760767B (zh) | 基于机器视觉的大尺寸液晶屏缺陷检测方法 | |
CN101360250B (zh) | 沉浸产生方法和系统及因素控制、内容分析及参数预测法 | |
JP5121294B2 (ja) | 画像処理方法、画像処理装置、プログラム、記録媒体および集積回路 | |
JP2008508768A (ja) | 飽和制御されたカラー画像の色相の維持 | |
TW201433168A (zh) | 影像處理方法 | |
CN101123679A (zh) | 图像处理装置、图像处理方法和计算机产品 | |
CN109523469B (zh) | 图像缩放方法和装置 | |
CN105430357B (zh) | 图像传感器的去马赛克方法及装置 | |
US10181205B2 (en) | Image processing method and image processing apparatus | |
CN108305216B (zh) | 一种双边四次插值的图像放大方法 | |
WO2022120799A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
KR101279576B1 (ko) | 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법 | |
KR20120042988A (ko) | 화상 처리 방법, 화상 처리 장치 및 프로그램 | |
CN111784574A (zh) | 单屏多画面边界显示方法、装置、电子设备及存储介质 | |
Hu et al. | Jpeg ringing artifact visibility evaluation | |
CN113129389A (zh) | 判断摩尔纹的方法、抑制摩尔纹的方法与电路系统 | |
KR101329136B1 (ko) | 영상 시퀀스 디스플레이에 대한 몰입감 향상 방법 및시스템 | |
TW201635796A (zh) | 影像處理裝置與方法 | |
US11379956B2 (en) | Image processing circuit and associated image processing method | |
CN104505053A (zh) | 显示信号转换方法和装置 | |
JP5280940B2 (ja) | 特定色検出回路 | |
CN113793249A (zh) | 一种Pentile图像转换为RGB图像的方法、装置及存储介质 | |
CN107305685A (zh) | 图像对比增强方法及其装置 | |
TWI633537B (zh) | 影像優化方法 | |
CN111726596B (zh) | 影像处理方法及其电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |