CN115775202A - 一种硬件友好的基于边缘对比度的图像插值技术 - Google Patents
一种硬件友好的基于边缘对比度的图像插值技术 Download PDFInfo
- Publication number
- CN115775202A CN115775202A CN202211453122.7A CN202211453122A CN115775202A CN 115775202 A CN115775202 A CN 115775202A CN 202211453122 A CN202211453122 A CN 202211453122A CN 115775202 A CN115775202 A CN 115775202A
- Authority
- CN
- China
- Prior art keywords
- interpolation
- edge
- hardware
- contrast
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 238000003708 edge detection Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种硬件友好的基于边缘对比度的图像插值技术，涉及技术领域。为解决现有本领域有的改进算法计算和访存复杂度较高，不适合硬件实现，有的算法并行化难度大,不利于硬件进行并行加速处理的问题，步骤一：通过图像读入函数从对应目录位置中读入图像,选取待插值点的8x8Lanczos原像素点矩阵；步骤二：进行4个方向的边缘检测，分别为0°、45°、90°和135°；步骤三：进行差值计算；步骤四：将插值计算结果输出,等待所有插值点输出完毕后得到最终高分辨率图像。
Description
技术领域
本发明涉及图形图像处理技术领域，具体为一种硬件友好的基于边缘对比度的图像插值技术。
背景技术
在图形图像处理领域，像素性能常常是芯片系统的性能瓶颈,减轻图形渲染的计算和访存负载对于提升图形芯片性能有重大帮助，将图形图像先进行低分辩率渲染后由算法重建放大至期望分辨率的超分辨率重建技术已经成为主要的性能优化手段，它被广泛应用于现代社会中的各个领域,如多媒体传输、大型游戏、医疗图像、公共安全等,它是信息学、计算机视觉和机器学习等学科的结合，同时随着5G技术和计算机硬件的不断进步,图像传输的质量也不断提高,支持高清、全高清、超高清图像或视频的实时性应用变得越来越广泛,这对网络带宽和硬件设备都产生了巨大的压力，单帧图像或多帧图像的重建根据方法不同可以分为基于插值的图像重建、基于学习的图像重建,以及基于深度学习的图像重建等。
虽然有众多的图像重建算法被提出,但由于客观条件限制很多算法并没有被广泛使用，比如虽然基于深度学习的图像重建算法生成的图像质量高,但它需要有海量数据进行训练,这造成了较高的使用代价,除此之外基于深度学习的算法并不适合应用于医疗成像、城市安防等场景，所以目前应用最广的仍然是插值算法，如OpenCV和Matlab等都提供多种线性插值算法,AMD公司和NVDIA公司也先后推出了基于图像插值算法的游戏加速插件FSR和NIS，可以不依赖硬件平台来提高游戏显示质量，现有本领域有的改进算法计算和访存复杂度较高，不适合硬件实现，有的算法并行化难度大,不利于硬件进行并行加速处理。
因此，针对上述问题提出一种硬件友好的基于边缘对比度的图像插值技术。
发明内容
本发明的目的在于提供一种硬件友好的基于边缘对比度的图像插值技术，以解决上述背景技术中提出现有本领域有的改进算法计算和访存复杂度较高，不适合硬件实现，有的算法并行化难度大,不利于硬件进行并行加速处理的问题。
为实现上述目的，本发明提供如下技术方案：一种硬件友好的基于边缘对比度的图像插值技术，包括如下步骤：
步骤一：通过图像读入函数从对应目录位置中读入图像,选取待插值点的8x8Lanczos原像素点矩阵；
步骤二：进行4个方向的边缘检测，分别为0°、45°、90°和135°；
步骤三：进行差值计算；
步骤四：将插值计算结果输出,等待所有插值点输出完毕后得到最终高分辨率图像。
通过采用上述技术方案，采用四种边缘方向的对比度探测，根据全局阀值和局部阀值来精准确定位边缘，对边缘区域和平坦区域采用不同系数的Lanczos窗系数进行差值。
进一步地，基于步骤二中边缘检测如下步骤：
步骤一：将中央4x4像素点矩阵使用公式将彩色转换成像素近似灰度；
步骤二：将4个方向梯度和不同阈值进行比较，产生边缘对比度结果矩阵,根据对比度结果选择插值系数β。
通过采用上述技术方案，。
进一步地，基于步骤三中的差值计算步骤如下：
步骤一：差值系数选择，根据边缘对比度结果矩阵选择不同系数的Lanzcos系数进行插值,按照边缘区域对比度结果,由高到低依次选择对应公式中不同β值产生的插值系数，对于平坦区域选择公式产生的插值系数；
步骤一(1)：平坦区域采用以下公式产生的系数进行差值：
步骤一(2)：边缘区域根据不同边缘方向和对比度值，选择以下公式不同β值产生的系数进行差值：
步骤二：使用上个步骤中选择的系数,对低分辨图像8x8像素点进行插值计算,生成待插值点像素。
通过采用上述技术方案，算法中r＝4时根据对比度的不同,取βr＝4＝1.18,βr＝4＝1.22,βr＝4＝1.25，此外算法根据原像素中心点的临近2x2像素点的边缘信息和r＝4时四级Lanzcos4窗函数实现不同感受野内的图像信息合并,从而提高整体图像质量。
进一步地，所述不同阈值包括全局阈值和局部阈值，且通过全局阈值和局部阈值来精确定位边缘。
通过采用上述技术方案，提高了计算精准度。
进一步地，所述近似灰度的计算像素通过以下公式进行计算：
gray′＝red/8+green/2+green/8+blue/4
通过采用上述技术方案，由于考虑到硬件开销,以及人眼对彩色图像的绿色分量最敏感,本算法使用该公式来计算像素的近似灰度从而进行边缘检测.通过近似灰度的方式，不仅可以避免分别对RGB分量进行边缘检测,还可以将定点乘加操作转换为整数加法操作。
与现有技术相比，本发明的有益效果是：
1、该硬件友好的基于边缘对比度的图像插值技术，通过采用4种边缘方向的对比度探测,根据全局阈值和局部阈值来精确定位边缘,对边缘区域和平坦区域采用不同系数的Lanczos窗系数进行插值，可以改善原有计算和存储的复杂程度，同时提高了实时性的需求；
2、该硬件友好的基于边缘对比度的图像插值技术，根据原像素中心点的临近2x2像素点的边缘信息和r＝4时四级Lanzcos4窗函数实现不同感受野内的图像信息合并,从而提高整体图像质量。
附图说明
图1为本发明的不同β值得Lanczos窗函数对比图；
图2为本发明的不同边缘的插值系数对比示意图；
图3为本发明的各级感受野像素的合并插值示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种硬件友好的基于边缘对比度的图像插值技术，包含以下步骤：
步骤一：通过图像读入函数从对应目录位置中读入图像,选取待插值点的8x8Lanczos原像素点矩阵；
步骤二：进行4个方向的边缘检测，分别为0°、45°、90°和135°；
步骤三：进行差值计算；
步骤四：将插值计算结果输出,等待所有插值点输出完毕后得到最终高分辨率图像。
基于步骤二中边缘检测如下步骤：
步骤一：将中央4x4像素点矩阵使用公式将彩色转换成像素近似灰度；
步骤二：将4个方向梯度和不同阈值进行比较,产生边缘对比度结果矩阵,根据对比度结果选择插值系数β。
基于步骤三中的差值计算步骤如下：
步骤一：差值系数选择，根据边缘对比度结果矩阵选择不同系数的Lanzcos系数进行插值,按照边缘区域对比度结果,由高到低依次选择对应公式中不同β值产生的插值系数，对于平坦区域选择公式产生的插值系数；
步骤一(1)：平坦区域采用以下公式产生的系数进行差值：
步骤一(2)：边缘区域根据不同边缘方向和对比度值，选择以下公式不同β值产生的系数进行差值：
步骤二：使用上个步骤中选择的系数,对低分辨图像8x8像素点进行插值计算,生成待插值点像素。
不同阈值包括全局阈值和局部阈值，且通过全局阈值和局部阈值来精确定位边缘。
近似灰度的计算像素通过以下公式进行计算：
gray′＝red/8+green/2+green/8+blue/4。
在不增加算法时间复杂性的前提下，本算法在图像测试集得到的图像质量：
1、相比于双线性插值分别在PSNR、SSIM和LPIPS上可以提高1.1dB、0.024和0.049；
2、相比于双三次插值分别在PSNR、SSIM和LPIPS上可以提高0.34dB、0.009和0.031；
3、相比于Lanczos3插值分别在PSNR、SSIM和LPIPS上可以提高0.11dB、0.005和0.034；
4、相比于Lanczos4插值分别在PSNR、SSIM和LPIPS上可以提高0.09dB、0.004和0.033。
工作原理：算法输入，低分辨率RGB彩色图像IMG_L，算法输出，高分辨率RGB彩色图像IMG_H，首先，通过图像读入函数从对应目录位置中读入图像,选取待插值点的8x8Lanczos原像素点矩阵，进行0°、45°、90°和135°这4个方向的边缘检测，将中央4x4像素点矩阵使用公式将彩色转换成像素近似灰度，随后用四个方向的Prewitt算子分别计算原像素中心点(i,j)和相邻(i+1,j)、(i,j+1)、(i+1,j+1)共四个点的梯度，再将4个方向梯度和不同阈值进行比较,产生边缘对比度结果矩阵,根据对比度结果选择插值系数β,随后进行差值计算，在插值系数选择中,根据边缘对比度结果矩阵选择不同系数的Lanzcos系数进行插值,按照边缘区域对比度结果,由高到低依次选择公式中不同β值产生的插值系数,对于平坦区域选择公式产生的插值系数，使用选择的系数,对低分辨图像8x8像素点进行插值计算,生成待插值点像素，最后，将插值计算结果输出,等待所有插值点输出完毕后得到最终高分辨率图像。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (5)
1.一种硬件友好的基于边缘对比度的图像插值技术，其特征在于：包括如下步骤：
步骤一：通过图像读入函数从对应目录位置中读入图像,选取待插值点的8x8Lanczos原像素点矩阵；
步骤二：进行4个方向的边缘检测，分别为0°、45°、90°和135°；
步骤三：进行差值计算；
步骤四：将插值计算结果输出,等待所有插值点输出完毕后得到最终高分辨率图像。
2.根据权利要求1所述的硬件友好的基于边缘对比度的图像插值技术，其特征在于：基于步骤二中边缘检测如下步骤：
步骤一：将中央4x4像素点矩阵使用公式将彩色转换成像素近似灰度；
步骤二：将4个方向梯度和不同阈值进行比较,产生边缘对比度结果矩阵,根据对比度结果选择插值系数β。
3.根据权利要求1所述的硬件友好的基于边缘对比度的图像插值技术，其特征在于：基于步骤三中的差值计算步骤如下：
步骤一：差值系数选择，根据边缘对比度结果矩阵选择不同系数的Lanzcos系数进行插值,按照边缘区域对比度结果,由高到低依次选择对应公式中不同β值产生的插值系数，对于平坦区域选择公式产生的插值系数；
步骤一(1)：平坦区域采用以下公式产生的系数进行差值：
步骤一(2)：边缘区域根据不同边缘方向和对比度值，选择以下公式不同β值产生的系数进行差值：
步骤二：使用上个步骤中选择的系数,对低分辨图像8x8像素点进行插值计算,生成待插值点像素。
4.根据权利要求2所述的硬件友好的基于边缘对比度的图像插值技术，其特征在于：所述不同阈值包括全局阈值和局部阈值，且通过全局阈值和局部阈值来精确定位边缘。
5.根据权利要求2所述的硬件友好的基于边缘对比度的图像插值技术，其特征在于：所述近似灰度的计算像素通过以下公式进行计算：
gray'＝red/8+green/2+green/8+blue/4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211453122.7A CN115775202A (zh) | 2022-11-21 | 2022-11-21 | 一种硬件友好的基于边缘对比度的图像插值技术 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211453122.7A CN115775202A (zh) | 2022-11-21 | 2022-11-21 | 一种硬件友好的基于边缘对比度的图像插值技术 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115775202A true CN115775202A (zh) | 2023-03-10 |
Family
ID=85389514
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211453122.7A Withdrawn CN115775202A (zh) | 2022-11-21 | 2022-11-21 | 一种硬件友好的基于边缘对比度的图像插值技术 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115775202A (zh) |
-
2022
- 2022-11-21 CN CN202211453122.7A patent/CN115775202A/zh not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109671023B (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN110570353B (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| CN110136066B (zh) | 面向视频的超分辨率方法、装置、设备和存储介质 | |
| CN112001847A (zh) | 相对生成对抗超分辨率重建模型生成高质量图像的方法 | |
| CN105678700B (zh) | 基于预测梯度的图像插值方法及系统 | |
| CN110992265B (zh) | 图像处理方法及模型、模型的训练方法及电子设备 | |
| CN111105352A (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
| CN112419150B (zh) | 一种基于双边上采样网络的任意倍数图像超分辨率重建方法 | |
| Wei et al. | Improving resolution of medical images with deep dense convolutional neural network | |
| CN107292819A (zh) | 一种基于边缘细节保护的红外图像超分辨率重建方法 | |
| CN107633482A (zh) | 一种基于序列图像的超分辨率重建方法 | |
| CN113689337B (zh) | 一种基于生成对抗网络的超声图像超分辨率重建方法及系统 | |
| Richter et al. | Robust super-resolution for mixed-resolution multiview image plus depth data | |
| CN113610912B (zh) | 三维场景重建中低分辨率图像单目深度估计系统及方法 | |
| CN116797462B (zh) | 基于深度学习的实时视频超分辨率重建方法 | |
| Bare et al. | Real-time video super-resolution via motion convolution kernel estimation | |
| CN112950596A (zh) | 基于多区域多层次的色调映射全向图像质量评价方法 | |
| CN111754399A (zh) | 基于梯度的保持几何结构的图像超分辨率方法 | |
| Hung et al. | Image interpolation using convolutional neural networks with deep recursive residual learning | |
| WO2024032331A1 (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN115775202A (zh) | 一种硬件友好的基于边缘对比度的图像插值技术 | |
| CN113689333A (zh) | 一种图像增强的方法及装置 | |
| CN112991174A (zh) | 一种提高单帧红外图像分辨率的方法与系统 | |
| Hu | A Review of Super-Resolution Reconstruction Based on Supervised Learning | |
| CN112365400A (zh) | 一种快速光场角度超分辨重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230310 |