CN110349090A - 一种基于牛顿二阶插值的图像缩放方法 - Google Patents
一种基于牛顿二阶插值的图像缩放方法 Download PDFInfo
- Publication number
- CN110349090A CN110349090A CN201910640050.9A CN201910640050A CN110349090A CN 110349090 A CN110349090 A CN 110349090A CN 201910640050 A CN201910640050 A CN 201910640050A CN 110349090 A CN110349090 A CN 110349090A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- source
- interpolation
- scaling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 15
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 3
- 239000010432 diamond Substances 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明专利提供了一种基于牛顿二阶插值的图像缩放方法，首先根据源图像和目标图像的分辨率大小计算出缩放倍率，将源图像和目标图像的像素位置进行坐标化；然后基于牛顿二阶插值算法对源图像进行水平方向上的缩放得到中间图像；再根据中间图像对垂直方向、45度方向和135度方向进行边缘位置判断，通过计算三个方向选取像素点的二阶差分来和给定阈值比较确定插值点是否处于边缘区域，最终选择对应的算法计算得到目标图像的像素值。本发明可以对源图像进行任意倍率的无极缩放，同时根据了插值点所在邻域内源像素的相关性对图像的边缘区域进行了保护，缩放后的图像视觉效果比传统的算法更佳，且算法复杂度低，利于硬件实现。
Description
技术领域
本发明属于图像缩放技术领域，特别涉及一种基于牛顿二阶插值的图像缩放方法，适用于FPGA实现对图像进行缩放。
背景技术
图像是人类感知世界的视觉基础，是人类获取信息，表达信息的重要手段。图像缩放技术被广泛的应用于各类消费类电子产品、医学图像处理以及安防监控等领域中。图像是由离散的点阵构成，要对图像进行缩放处理，首先要提取原始图像中的像素数据，然后对像素数据进行处理得到目标图像。
图像缩放的处理算法的种类很多，根据算法是否对边缘进行处理，可以大致分为两类。第一类是不考虑边缘信息的图像插值算法，如最邻近插值、双线性插值和双三次插值等一类经典的插值算法。这类算法在计算目标图像的像素时只通过其位置和邻域内的原始像素数据计算，不考虑边缘处的图像信息变化，缩放后效果不理想。其中，最邻近插值算法在实现过程中最为简单，但在处理后，目标图像会产生马赛克现象；双线性插值和双三次插值具有低通滤波效应，导致高频分量丢失，缩放后得到的目标图像会变得平滑。
第二类是基于边缘的图像缩放算法，边缘检测算法有Sobel、Prewitt和Canny以及基于形态学的边缘检测算法。如江雯等提出基于Sobel算子的边缘插值算法，需要对图像边缘进行检测后存储，然后再根据边缘方向进行插值计算，其实现过于复杂。除了先采用边缘算子检测边缘再插值的方法，还有一类采用边缘自适应的算法，齐敏等人通过数据融合的方式对不同区域的插值点进行插值计算，算法通过多次归一化方法求系数，缩放效果并不理想，且计算过程繁杂。刘政林等人提出基于边缘的实时缩放算法，在边缘检测上考虑欠缺，导致边缘区域的缩放效果不佳。
本领域需要提出缩放效果更好，计算复杂度低，更利于硬件实现的算法。
发明内容
基于上述分析，提出一种基于牛顿二阶插值的图像缩放方法，考虑到边缘的各个方向的相关性，处理结果相比传统的缩放算法，效果更好，计算复杂度低，且利于硬件实现。
为了达到上述技术目的，本发明采用如下技术方案予以实现。
一种基于牛顿二阶插值的图像缩放方法，包括以下步骤：
步骤a，根据源图像和目标图像的分辨率大小确定输入图像和目标图像的缩放倍率，将源图像和目标图像的像素位置进行坐标化。
步骤b，对坐标化后对原始图像进行水平缩放，根据目标像素点映射到原始图像中的位置选择邻域内相关性最大的一组源像素，通过牛顿二阶插值算法计算水平方向的目标像素值得到中间图像；
步骤c，根据水平缩放后的中间图像，同样根据其映射到中间图像中的位置选择3x3邻域内的一组源像素，然后对垂直方向、45度方向和135度方向的各组源像素进行边缘判断，对处于边缘区域的插值点进行融合计算得到目标像素值，处于平缓区域根采用对应方向的源像素插值计算得到目标像素值，插值计算采用的是牛顿二阶插值算法，需要插值点邻域内相关性最大的三个源像素点参与计算。
有益的技术效果
由于传统缩放方法对图像的边缘区域缺少保护，现有的对边缘保护缩放算法存在一些算法复杂和效果不佳的现象；本发明方法计算量小且对边缘的保护更优，适合在硬件上实现。
附图说明
图1为本发明的一种基于牛顿二阶插值的图像缩放方法流程图；
图2为目标像素水平方向插值示意图；
图3为中间图像的插值示意图；
图4为在FPGA平台下将512x512大小Lena原图放大到1024x1024大小输出的结果。
具体实施方式
参照图1，为本发明的一种基于牛顿二阶插值的图像缩放方法流程图；包括以下步骤：
步骤a，根据源图像和目标图像的分辨率大小确定输入图像和目标图像的缩放倍率，将源图像和目标图像的像素位置进行坐标化。
步骤b，对水平方向进行缩放只需考虑一维方向的缩放处理，假设对水平方向进行插值处理，将一行像素序列看成距离为1的等距节点，则目标像素点与原始图像在水平方向上的位置关系如图1所示。其中f是目标像素点在水平方向上映射到原始图像中的位置，f1、f2、f3和f4为f水平邻域内的四个原始像素点，Δx是f和f2之间的距离，大小为0≤Δx<1，且t＝1+Δx。选取二阶牛顿插值算法来计算f的像素值时，可以用f1、f2和f3三个源像素点作为一组像素或f2、f3和f4三个源像素点作为一组来计算目标像素f的像素值，根据插值点的位置选取一组像素计算，计算公式如式(1)所示。
其中Δf1和Δf2分别是f1和f2的一阶差分，计算公式分别如式(2)和式(3)所示；Δ2f1和Δ2f2分别是f1和f2的二阶差分，计算公式如式(4)和式(5)所示。
Δf1＝f2-f1 (2)
Δf2＝f3-f2 (3)
Δ2f1＝(f3-f2)-(f2-f1) (4)
Δ2f2＝(f4-f3)-(f3-f2) (5)
由以上公式可以对图像进行水平缩放，得到中间图像。
步骤c，对中间图像45度、135度和垂直方向的进行缩放处理得到目标图像。其插值示意图如图2所示。图2中空心圆形和空心菱形分别表示插值点距离像素点f(i,j)小于0.5和大于0.5两种情况，实心圆点分别是插值点邻域内的各原始像素点。对水平缩放后的中间图像进行垂直方向上的缩放，假设图中空心圆为目标像素点所在位置，u的值小于等于0.5，根据水平方向的插值原理，这里在f(i,j)的3x3邻域内分别选取垂直方向、45度方向和135度方向各一组像素，计算其二阶差分分别为Δ2f1、Δ2f2和Δ2f3。
设置阈值T分别与Δ2f1、Δ2f2和Δ2f3的绝对值进行比较，如果三者中某一个值小于T，则说明在该方向上为平缓区域，利用该方向上三个像素点进行二阶牛顿插值计算得到目标像素值，如果出现多个值都小于T，需给出三者顺序，先判断垂直方向，然后是45度方向，最后是135度方向。当目标像素在多个方向上处于平缓区域时，选择一组计算即可。
对于三者都大于T时，则说明该目标像素在三个方向都不处于平缓区域，需利用三个方向的像素点进行计算得到目标像素值。方法如下：
对于二阶差分越小的方向，其相关性越大所占权重应该越高，需对三个方向的二阶差分Δ2f1、Δ2f2和Δ2f3先归一化，然后处理得到各方向的权重系数，计算公式分别如式(6)、式(7)和式(8)所示。
同时计算三个方向的二阶牛顿插值结果，为了简化计算，对于45度和135度方向上Δx的值直接选用垂直方向上Δx的值，即图3中u的值，且两源像素之间间距同样看作1处理，计算得到三个方向的结果分别为F1、F2和F3。再乘上各自的权重系数，因为三个方向权重系数之和为2，所以最后乘以1/2得到目标像素值，计算公式如式(9)所示。
假设目标像素位置处于图2中空心菱形的位置，即u大于0.5，则选择f(i,j+1)像素点3x3邻域的像素点，采用同样的方法计算目标像素点的像素值。
选用ALTERA公司Stratix V系列的5SGXEA7N2F45C2N FPGA开发板实现上述算法，通过Quartus II 15.0软件编译下载程序，将大小为512x512分辨率的Lena图像放大到1024x1024分辨率输出到显示器，如图4所示。
为便于理解本发明技术效果起见，以下通过仿真实验来验证本发明的有效性：
实验选用了House、Baboom、Items、Ruler和Bicycle图像，放大2倍再缩小还原，计算其峰值信噪比(PSNR)的值和边缘保护指数(EPI)的值。
峰值信噪比(PSNR)是最常用的客观评价图像处理效果的量化指标，其计算公式如式(10)所示。
其中，F0代表大小为M×N的原始图像，F表示处理过后的和原图像相同大小的图像。从理论上来说，处理过后的图像峰值信噪比PSNR越大，则表示目标图像信息损失越少，图像越接近于原始图像，处理效果则越好。
从客观评价指标的角度说明边缘保护效果的好坏，通常用边缘保护指数(EPI)作为评价指标，其计算公式如式(11)所示。
其中，ps表示处理过后的图像，po表示原始图像，计算的到EPI的值越接近1，则说明边缘保护的越好。
计算得到PSNR的均值为45.0753，EPI的均值为1.0257，可以看到PSNR的值已经很大，且EPI的值十分接近1，说明本发明对图像的缩放效果很好。
综上所述，本发明与传统图像增强方法比较可知，不管是从客观评价指标上，还是从主观视觉上，本发明的方法都具有很明显的优势，缩放后的图像能够较好的保持边缘特征，增强了主观可视表达效果，是一种可行的图像缩放方法。
Claims (4)
1.一种基于牛顿二阶插值的图像缩放方法，其特征在于，包括以下步骤：
步骤a，根据源图像和目标图像的分辨率大小确定输入图像和目标图像的缩放倍率，将源图像和目标图像的像素位置进行坐标化；
步骤b，坐标化后，对原始图像进行水平缩放，根据目标像素点映射到原始图像中的位置选择邻域内相关性最大的一组源像素，通过牛顿二阶插值算法计算水平方向的目标像素值得到中间图像；
步骤c，根据水平缩放后的中间图像，同样根据其映射到中间图像中的位置选择3x3邻域内的一组源像素，然后对垂直方向、45度方向和135度方向的各组源像素进行边缘判断，对处于边缘区域的插值点进行融合计算得到目标像素值，处于平缓区域根据对应方向的源像素插值计算得到目标像素值，插值计算采用的是牛顿二阶插值算法，需要插值点邻域内相关性最大的三个源像素点参与计算。
2.根据权利要求1所述的一种基于牛顿二阶插值的图像缩放方法，其特征在于，在步骤a中，坐标化的方式为，将源图像中每个像素点水平和垂直方向上的步长作为1，坐标原点为图像的第一个像素点，由此源图像的每个像素点坐标便可知道，再将目标图像映射到坐标中，由此可以得到目标图像的像素点在坐标系中的坐标。
3.根据权利1所述的一种基于牛顿二阶插值的图像缩放方法，其特征在于，在步骤b中，水平方向相关性最大的一组源像素跟据插值点与左边第一个源像素点和右边第一个的位置来确定，当插值点与左边更接近时选择第一组源像素，当与右边更接近时选择第二组源像素，第一组源像素由距离插值点最近的左边两个源像素点和右边一个源像素点组成，第二组由距离插值点最近的左边一个源像素点和右边的两个源像素点组成。
4.根据权利要求1所述的一种基于牛顿二阶插值的图像缩放方法，其特征在于，在步骤c中，所述边缘检测的方法是计算各方向像素的二阶差分的绝对值，然后分别和设定的阈值T相比较，如果大于阈值则说明该方向处于边缘位置，否则判定为平缓区域。阈值T根据缩放后的显示效果和客观的峰值信噪比和边缘保护指数的对比给出其大小为50左右效果最佳。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910640050.9A CN110349090B (zh) | 2019-07-16 | 2019-07-16 | 一种基于牛顿二阶插值的图像缩放方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910640050.9A CN110349090B (zh) | 2019-07-16 | 2019-07-16 | 一种基于牛顿二阶插值的图像缩放方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110349090A true CN110349090A (zh) | 2019-10-18 |
| CN110349090B CN110349090B (zh) | 2022-10-04 |
Family
ID=68176451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910640050.9A Active CN110349090B (zh) | 2019-07-16 | 2019-07-16 | 一种基于牛顿二阶插值的图像缩放方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110349090B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862673A (zh) * | 2019-11-12 | 2021-05-28 | 上海途擎微电子有限公司 | 自适应图像缩放方法及自适应图像缩放装置、存储装置 |
| WO2021254381A1 (zh) * | 2020-06-17 | 2021-12-23 | 京东方科技集团股份有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
| CN114363617A (zh) * | 2022-03-18 | 2022-04-15 | 武汉大学 | 一种网络轻量级视频流传输方法、系统及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1667650A (zh) * | 2005-04-08 | 2005-09-14 | 杭州国芯科技有限公司 | 基于边缘检测的图像缩放的方法 |
| JP2007101625A (ja) * | 2005-09-30 | 2007-04-19 | Konica Minolta Opto Inc | 光学フィルム、その製造方法、光学フィルムを用いた偏光板、及び液晶表示装置 |
-
2019
- 2019-07-16 CN CN201910640050.9A patent/CN110349090B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1667650A (zh) * | 2005-04-08 | 2005-09-14 | 杭州国芯科技有限公司 | 基于边缘检测的图像缩放的方法 |
| JP2007101625A (ja) * | 2005-09-30 | 2007-04-19 | Konica Minolta Opto Inc | 光学フィルム、その製造方法、光学フィルムを用いた偏光板、及び液晶表示装置 |
Non-Patent Citations (1)
| Title |
|---|
| 刘政林等: "基于边缘的实时图像缩放算法研究", 《中国图象图形学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862673A (zh) * | 2019-11-12 | 2021-05-28 | 上海途擎微电子有限公司 | 自适应图像缩放方法及自适应图像缩放装置、存储装置 |
| WO2021254381A1 (zh) * | 2020-06-17 | 2021-12-23 | 京东方科技集团股份有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
| CN114363617A (zh) * | 2022-03-18 | 2022-04-15 | 武汉大学 | 一种网络轻量级视频流传输方法、系统及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110349090B (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599540B (zh) | 多视点相机下的实时三维人体体型与姿态重建方法及装置 | |
| CN104217416B (zh) | 灰度图像处理方法及其装置 | |
| CN110349090A (zh) | 一种基于牛顿二阶插值的图像缩放方法 | |
| CN102867288B (zh) | 深度图像转换设备和方法 | |
| CN103369209B (zh) | 视频降噪装置及方法 | |
| CN106127688B (zh) | 一种超分辨率图像重建方法及其系统 | |
| CN104574419B (zh) | 镜头畸变参数标定方法及系统 | |
| CN101996406A (zh) | 无参考结构清晰度图像质量评价方法 | |
| CN102222323A (zh) | 基于直方图统计拉伸和梯度滤波的红外图像细节增强方法 | |
| CN108681992A (zh) | 用于探测器阵列法测量激光光斑的图像插值算法 | |
| CN101976436B (zh) | 一种基于差分图修正的像素级多聚焦图像融合方法 | |
| CN105096269A (zh) | 基于畸变直线结构检测的图像径向畸变矫正的方法及系统 | |
| CN107194877A (zh) | 一种基于单幅图像的保边插值超分辨率计算方法 | |
| CN111145134A (zh) | 基于块效应的微透镜光场相机全聚焦图像生成算法 | |
| CN107481271A (zh) | 一种立体匹配方法、系统及移动终端 | |
| WO2015173565A1 (en) | Identifying features | |
| CN108765480A (zh) | 深度处理设备 | |
| CN104537627B (zh) | 一种深度图像的后处理方法 | |
| CN102682424B (zh) | 基于边缘方向差值的图像放大处理方法 | |
| CN106204565A (zh) | 一种通过斑块特征配准的图像清晰度检测装置 | |
| Shima et al. | Comparison of image alignment on hexagonal and square lattices | |
| CN105528772A (zh) | 一种基于指导性滤波的图像融合方法 | |
| CN105989579A (zh) | 一种图像增强方法和装置 | |
| Yang et al. | Superpixel based fusion and demosaicing for multi-focus Bayer images | |
| Hossain et al. | Image resolution enhancement using improved edge directed interpolation algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |