CN106558021B - 基于超分辨率技术的视频增强方法 - Google Patents

基于超分辨率技术的视频增强方法 Download PDF

Info

Publication number
CN106558021B
CN106558021B CN201611024882.0A CN201611024882A CN106558021B CN 106558021 B CN106558021 B CN 106558021B CN 201611024882 A CN201611024882 A CN 201611024882A CN 106558021 B CN106558021 B CN 106558021B
Authority
CN
China
Prior art keywords
image
resolution
algorithm
super
restoration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201611024882.0A
Other languages
English (en)
Other versions
CN106558021A (zh
Inventor
刘丹平
何小敏
秦天天
毛莞丁
胡小波
谭晓衡
印勇
胡学斌
蒋阳
马玉霖
古文
邹熙肴
王懿泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201611024882.0A priority Critical patent/CN106558021B/zh
Publication of CN106558021A publication Critical patent/CN106558021A/zh
Application granted granted Critical
Publication of CN106558021B publication Critical patent/CN106558021B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于超分辨率技术的视频增强方法，包括以下步骤：S1场的靶标图P1获取成像系统的点扩散函数h(x,y)；S2场采集的低分辨率图像G1,利用h(x,y)和超拉普拉斯正则化快速复原算法进行去噪和图像复原得到清晰的图像F2；S3双线性插值对图像F2初步放大得到图像F3；S4像F3利用SRCNN算法得到放大的高质量图像F4。本发明将图像恢复算法和SRCNN算法结合形成了一种新算法，通过对该算法在DaVinci系统上进行优化，实现了在不改变摄像头的情况下提高图像分辨率，为现有的大部分旧设备提高分辨率提供思路。

Description

基于超分辨率技术的视频增强方法
技术领域
本发明涉及视频处理领域，具有涉及一种基于超分辨率技术的视频增强方法。
背景技术
目前，基于图像/视频的监控系统是安防的重要手段。由于受成本和体积的限制，许多监控系统得到的图像质量一般较差。
超分辨率技术多应用于成像设备硬件条件限制而无法提高图像分辨率的情况。超分辨率技术有基于单幅图像的重建算法，也有基于多幅图像的重建算法。近年来超分辨率领域的研究主要是针对多帧图像的超分辨率处理。袁媛等人提出了一种基于小波变换的图像超分辨率增强算法,克服了传统的插值方法致使图像高频部分损失、感兴趣的细节被模糊的缺点。宋琼等人提出了一种基于IBP的超分辨率图像的处理算法，该算法的收敛速度较快,且可以由并行机制实现。朱勇等人提出了基于多画幅多传感器的超分辨力图像复原方法，能同时去除和削弱光学系统点扩散函数、积分采样等其它因素对图像的影响，具有很高的超分辨力复原能力，获得了很好的图像复原结果。吴炳昊等人提出了一种新的运动估计方法－新三步搜索法,在第一步搜索时采用了并行思想，有效地弥补了三步搜索法的第一步搜索步长过大，对于小运动估计效果较差的缺陷。实验表明，由于要处理多帧图片，算法的计算量一般较大，利用DSP实现了该算法，但是进行了复杂的优化，推广起来比较有难度。
2014年ECCV年会上报道了SRCNN算法对单帧图像进行处理，分辨率提高明显，引起了广泛关注。但是该算法要求原图要有较好的清晰度，如果图像有噪声，图像处理效果将明显降低，而原图如果被模糊，该算法根本失效。
发明内容
鉴于此，本发明的目的是提供一种基于超分辨率技术的视频增强方法。
本发明的目的是通过以下技术方案来实现的，一种基于超分辨率技术的视频增强方法，包括以下步骤：S1：从现场的靶标图P1获取成像系统的点扩散函数h(x,y)；S2：对现场采集的低分辨率图像G1,利用h(x,y)和超拉普拉斯正则化快速复原算法进行去噪和图像复原得到清晰的图像F2；S3：双线性插值对图像F2初步放大得到图像F3；S4：像F3利用SRCNN算法得到放大的高质量图像F4。
进一步，所述步骤S2中低分辨率图像G1的获取方法为：选取一个高清视频设备获取的图像作为原始图像f(x,y)，将原始图像f(x,y)缩小3倍得到f1(x,y)，利用公式
Figure GDA0002282807680000021
对f1(x,y)与h(x,y)卷积，得到g1(x,y)，g1(x,y)表示一帧低分辨率图像；其中f(x,y)是高分辨率图像，h(x,y)为成像系统点扩散函数，n(x,y)是噪声。
进一步，在步骤S2中，利用超拉普拉斯正则化快速复原算法进行去噪和图像复原得到清晰的图像，其中正则化参数λ＝2000，自然清晰图像梯度α＝0.5。
进一步，在步骤S3中，双线性插值对图像F2初步放大得到图像F3的放大倍数为3倍。
由于采用了上述技术方案，本发明具有如下的优点：
本发明涉及一种在分辨率受限的情况下实现成像系统的分辨率提高，创新之处在将图像恢复算法和SRCNN算法结合形成了一种新算法，通过对该算法在DaVinci系统上进行优化，实现了在不改变摄像头的情况下提高图像分辨率，为现有的大部分旧设备提高分辨率提供思路。
附图说明
图1为基于超分辨率技术的视频增强算法的流程图；
图2为原始图片；
图3为低分辨率图像；
图4为复原图；
图5为初步放大图；
图6为用SRCNN算法得到放大的高质量图像；
图7中的A为靶标图，图7中的B为边缘区域，图7中的C为得到的点扩散函数；
图8为没用超分辨率算法时图像；
图9为使用本发明算法处理图像。
具体实施方式
以下将对本发明的优选实施例进行详细的描述；应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
一般来说，受成像设备分辨率、成像条件限制，低分辨率图像g(x,y)可表示为：
Figure GDA0002282807680000022
其中，f(x,y)是高分辨率图像，h(x,y)为成像系统点扩散函数，n(x,y)是噪声。
要从g(x,y)中复原f(x,y)是一个病态问题，采用如图1的基于超分辨率技术的视频增强算法，提供了一个逼近真实解的思路。该算法包含以下步骤：
(1)从现场的靶标图P1获取成像系统的点扩散函数h(x,y)；
(2)对现场采集的低分辨率图像G1,利用h(x,y)和超拉普拉斯正则化快速复原算法进行去噪和图像复原得到清晰的图像F2；
(3)利用双线性插值对图像F2初步放大得到图像F3；
(4)对图像F3利用SRCNN算法得到放大的高质量图像F4；
选取一个高清视频设备获取的图像作为原始图像f(x,y)如图2所示。先将f(x,y)缩小3倍得到f1(x,y)，利用公式(1)，对f1(x,y)与h(x,y)卷积，得到g1(x,y)，它表示一帧低分辨率图像如图3所示。
图3就是本发明要复原的目标图像。对该低分辨率图像，采用基于超分辨率技术的视频增强算法进行处理结果如下：
(1)利用超拉普拉斯正则化快速复原算法进行去噪和图像复原得到清晰的图像如图4所示，信噪比提高18％。
其中正则化参数λ＝2000，自然清晰图像梯度α＝0.5；证明了清晰图像梯度服从重尾分布，超拉普拉斯模型(
Figure GDA0002282807680000031
0.5≤α≤0.8，这里α取0.5)可以很好的拟合重尾分布，可以采用此先验构造正则项，从而建立基于超拉普拉斯正则项模型)
(2)利用双线性插值对复原图初步放大3倍得到结果如图5所示。与原始图片相比，均方差MCE约为1.4。
(3)对初步放大图利用SRCNN算法得到放大的高质量图像如图6所示，与原始图片相比，均方差MSE约为0.03。
比较图6和图2，可以知道，低分辨率图像比较模糊并且含有噪声，但是通过基于超分辨率技术的视频增强算法得到相对清晰的高分辨率图像。
实施例一
采用面阵CCD(176×144pixels)完成图像数据(YUV4:2:0)的采集。ARM运行在MontaVistaLinux操作系统上，负责控制任务及与外设之间的交互。DSP运行在Bios操作系统上，用于图像数据处理，DDR2作为DM8148的外部存储器。FLASH存储源程序，在上电后程序分别下载到ARM和DSP中。
DM8148的DSP提供了(L1和L2)两级高速缓存，可配置成Cache或内部存储器。本方案中将L2存储空间配置成96K的Cache和32K的内部存储器，将L1存储空间配置成24K的Cache和8K的内部存储器，Ping-pong缓冲区的大小设置成352B。
(1)在现场对边缘靶标成像，采集大小为64*64pixels、对比度大于20％度的图像P1，利用刀口法在ARM端提取成像系统的点扩散函数PSF；
(2)对现场场景成像，得到YUV格式的视频数据G1；
(3)在DSP端将G1由YUV空间变为RGB空间，对G1在R、G和B三个分量分别利用PSF和超拉普拉斯正则化快速复原算法，得到复原图像G2；
(4)在DSP端对G2在R、G和B三个分量分别进行双线性插值得到G3；
(5)在DSP端利用SRCCN算法对G3进行重构得到G4；
(6)在ARM端将G4变为YUV格式在电视上显示。
该方案能够有效的完成对视频的高质量采集和处理，同时利用基于EDMA的Ping-pong缓存技术动态分配内存，极大的提高了系统的处理速度。
如图7中的A所示为道路上的距离CCD成像设备(像元为6μm)约10m的限速标志。采用限速标志图像作为测量点扩散函数的靶标，所选取的边缘区域(大小为64*64pixels，对比度大于20％)如图7中的B，采用刀口法得到点扩散函数h(x,y)如图7中的C。
没采用超分辨率技术时得到的图像如图8所示，采用了超分辨率技术时得到的图像如图9所示。可见，通过基于超分辨率技术的视频增强算法得到相对清晰的高分辨率图像，达到了在不改变摄像头的情况下，提高图像分辨率。
本发明涉及一种在分辨率受限的情况下实现成像系统的分辨率提高，创新之处在将图像恢复算法和SRCNN算法结合形成了一种新算法，通过对该算法在DaVinci系统上进行优化，实现了在不改变摄像头的情况下提高图像分辨率，为现有的大部分旧设备提高分辨率提供思路。以上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (2)

1.一种基于超分辨率技术的视频增强方法，其特征在于：包括以下步骤：
S1：从现场的靶标图P1获取成像系统的点扩散函数h(x,y)；
S2：对现场采集的低分辨率图像G1，利用h(x,y)和超拉普拉斯正则化快速复原算法进行去噪和图像复原得到清晰的图像F2；
S3：利用双线性插值对图像F2初步放大得到图像F3；
S4：对图像F3利用SRCNN算法得到放大的高质量图像F4；
所述步骤S2中低分辨率图像G1的获取方法为：
选取一个高清视频设备获取的图像作为原始图像f(x,y)，将原始图像f(x,y)缩小3倍得到f1(x,y)，利用公式
Figure FDA0002282807670000011
对f1(x,y)与h(x,y)卷积，得到g1(x,y)，g1(x,y)表示一帧低分辨率图像；其中f(x,y)是高分辨率图像，h(x,y)为成像系统点扩散函数，n(x,y)是噪声；
在步骤S2中，利用超拉普拉斯正则化快速复原算法进行去噪和图像复原得到清晰的图像，其中正则化参数λ＝2000，自然清晰图像梯度α＝0.5。
2.根据权利要求1所述的一种基于超分辨率技术的视频增强方法，其特征在于：在步骤S3中，双线性插值对图像F2初步放大得到图像F3的放大倍数为3倍。
CN201611024882.0A 2016-11-21 2016-11-21 基于超分辨率技术的视频增强方法 Expired - Fee Related CN106558021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611024882.0A CN106558021B (zh) 2016-11-21 2016-11-21 基于超分辨率技术的视频增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611024882.0A CN106558021B (zh) 2016-11-21 2016-11-21 基于超分辨率技术的视频增强方法

Publications (2)

Publication Number Publication Date
CN106558021A CN106558021A (zh) 2017-04-05
CN106558021B true CN106558021B (zh) 2020-03-31

Family

ID=58444379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611024882.0A Expired - Fee Related CN106558021B (zh) 2016-11-21 2016-11-21 基于超分辨率技术的视频增强方法

Country Status (1)

Country Link
CN (1) CN106558021B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681988B (zh) * 2018-04-17 2022-03-29 中国科学院光电技术研究所 一种基于多幅图像的鲁棒的图像分辨率增强方法
CN108846322A (zh) * 2018-05-25 2018-11-20 重庆大学 快速高精度的车辆碰撞检测方法
CN113191951B (zh) * 2021-05-19 2021-12-07 南京林业大学 木材加工环境智能超分辨率监视除尘报警系统
CN118134893B (zh) * 2024-03-26 2024-09-03 上海全景医学影像诊断中心有限公司 基于人工智能的pet-ct肺癌影像数据库适应性扩展方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699509A (zh) * 2009-11-11 2010-04-28 耿则勋 一种利用气象数据进行大气模糊遥感影像恢复的方法
CN104134196A (zh) * 2014-08-08 2014-11-05 重庆大学 基于非凸高阶全变差模型的Split Bregman权值迭代图像盲复原方法
CN104200439A (zh) * 2014-09-05 2014-12-10 西安电子科技大学 基于自适应滤波和正则约束的图像超分辨方法
CN105069825A (zh) * 2015-08-14 2015-11-18 厦门大学 基于深度置信网络的图像超分辨率重建方法
CN105976318A (zh) * 2016-04-28 2016-09-28 北京工业大学 一种图像超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699509A (zh) * 2009-11-11 2010-04-28 耿则勋 一种利用气象数据进行大气模糊遥感影像恢复的方法
CN104134196A (zh) * 2014-08-08 2014-11-05 重庆大学 基于非凸高阶全变差模型的Split Bregman权值迭代图像盲复原方法
CN104200439A (zh) * 2014-09-05 2014-12-10 西安电子科技大学 基于自适应滤波和正则约束的图像超分辨方法
CN105069825A (zh) * 2015-08-14 2015-11-18 厦门大学 基于深度置信网络的图像超分辨率重建方法
CN105976318A (zh) * 2016-04-28 2016-09-28 北京工业大学 一种图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
运动成像混合模糊的全变分图像复原;石明珠;《光学精密工程》;20110831;第19卷(第8期);第1973-1981页 *

Also Published As

Publication number Publication date
CN106558021A (zh) 2017-04-05

Similar Documents

Publication Publication Date Title
Zheng et al. Crossnet: An end-to-end reference-based super resolution network using cross-scale warping
CN106558021B (zh) 基于超分辨率技术的视频增强方法
CN108154474B (zh) 一种超分辨率图像重构方法、装置、介质及设备
JP5450600B2 (ja) 画像解像度の向上
KR20200067920A (ko) 이미지 프로세싱 파이프라인 내의 이미지 데이터의 다중 레이트 프로세싱
Takeda et al. Removing motion blur with space–time processing
US10007970B2 (en) Image up-sampling with relative edge growth rate priors
Mehta et al. Gated multi-resolution transfer network for burst restoration and enhancement
Kang et al. Self-learning-based single image super-resolution of a highly compressed image
CN105335930A (zh) 边缘数据驱动的鲁棒性人脸超分辨率处理方法及系统
Yuan et al. Fast super-resolution for license plate image reconstruction
Qin An improved super resolution reconstruction method based on initial value estimation
Al Ismaeil et al. Dynamic super resolution of depth sequences with non-rigid motions
CN103500445A (zh) 一种彩色视频的超分辨率处理方法
CN106600539A (zh) 一种基于局部跨尺度自回归模型的单幅图像超分辨率方法
CN108492264B (zh) 一种基于sigmoid变换的单帧图像快速超分辨方法
CN105528761A (zh) 一种显微图像的超分辨重构方法
Faramarzi et al. Space-time super-resolution from multiple-videos
Gan Low complexity image/video super resolution using edge and nonlocal self-similarity constraint
Shen et al. GPU-aided real-time image/video super resolution based on error feedback
KR101428531B1 (ko) 움직임 벡터의 정규화 및 윤곽선의 패턴 분석을 이용한 복수 영상 기반 초해상도 영상 생성 방법
CN101888557A (zh) 基于梯度域变换的卡通图像及视频上采样方法
Arigela et al. Learning Multi-level Local Phase Relationship for Single Image Resolution Enhancement
CN109754370B (zh) 图像去噪方法及装置
Yan et al. Fast gradient-aware upsampling for cartoon video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200331

Termination date: 20201121

CF01 Termination of patent right due to non-payment of annual fee