CN105491269A - 基于反卷积图像复原的高保真视频放大方法 - Google Patents

基于反卷积图像复原的高保真视频放大方法 Download PDF

Info

Publication number
CN105491269A
CN105491269A CN201510821481.7A CN201510821481A CN105491269A CN 105491269 A CN105491269 A CN 105491269A CN 201510821481 A CN201510821481 A CN 201510821481A CN 105491269 A CN105491269 A CN 105491269A
Authority
CN
China
Prior art keywords
deconvolution
image
interpolation
template
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510821481.7A
Other languages
English (en)
Inventor
张宇
王文华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Yitian Technology Co Ltd
Original Assignee
Changchun Yitian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Yitian Technology Co Ltd filed Critical Changchun Yitian Technology Co Ltd
Priority to CN201510821481.7A priority Critical patent/CN105491269A/zh
Publication of CN105491269A publication Critical patent/CN105491269A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/148—Video amplifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

基于反卷积图像复原的高保真视频放大方法，涉及成像技术领域，本发明提高相机视频放大后图像质量，解决提升分辨力与放大后图像退化之间的矛盾等问题，本发明对待测相机镜头进行测试，获得待测相机的点扩散函数，采用插值方法对原始图像进行插值，获得待复原的插值后的图像，对的点扩散函数采用傅里叶反变换到空间域中，得到反卷积预选模板；并对其进行截取，获得尺寸为13×13的反卷积模板；将反卷积模板与待复原的插值后的图像进行实时的二维卷积，获得复原后的放大图像。本发明基于并行流水线思想按像元时钟速率进行实时处理，降低了硬件性能要求和代码设计复杂程度，易于工程实现。适应性强。

Description

基于反卷积图像复原的高保真视频放大方法
技术领域
本发明涉及成像技术领域，具体涉及一种基于反卷积图像复原的高保真视频放大方法。
背景技术
近年来，随着成像技术的不断发展。高帧频，高分辨率的相机越来越多的应用在军事，工业，安防，科研等诸多领域。但是受制于成像器件的分辨率，光学系统的放大倍率，相机的尺寸重量等诸多因素，在很多应用场合仍无法满足人们对于相机分辨力的要求。这时往往需要结合光学系统的变倍技术和电子学图像放大技术来提升相机的分辨力。
电子学图像放大技术通常是对原有分辨率的图像进行插值处理，通过增加图像分辨率达到提升相机分辨力的目的。图像插值的方法有很多，如邻域插值，双线性插值，双三次插值等等。针对视频处理，需要满足系统实时性，不能采用一些过于复杂的算法。因此往往采用易于硬件实现的方法进行插值。这类插值方法虽然能够较快的完成插值处理，但是由于算法简单，往往对图像质量造成损失，使图像边缘能量减弱，降低了图像传函。
图像复原技术，其数学本质是根据已知的g(x,y)以及h(x,y)与n(x,y)的部分先验信息，以不同的准则对f(x,y)进行估计，从而得到接近于实际场景(f(x,y))的估计值——利用图像复原技术可以较好恢复图像边缘的能量，使图像能量更为集中，提升相机传递函数。
综上所述，为了提升视频放大后的图像质量，并兼顾高速视频处理要求的实时性，有必要寻求高保真的视频放大方法，且这种方法可在实际工程中得以实现。
发明内容
本发明为提高相机视频放大后图像质量，解决提升分辨力与放大后图像退化之间的矛盾，提供一种基于反卷积图像复原的高保真视频放大方法。
基于反卷积图像复原的高保真视频放大方法，该方法由以下步骤实现：
步骤一、对待测相机镜头进行测试，获得待测相机的点扩散函数h(x,y)；
步骤二、采用插值方法对原始图像进行插值，获得待复原的插值后的图像g(x,y)；
步骤三、对步骤一获得的点扩散函数h(x,y)，采用傅里叶反变换到空间域中，得到反卷积预选模板h_y(x,y)；
步骤四、对步骤三获得的反卷积预选模板h_y(x,y)进行截取，获得尺寸为13×13的反卷积模板h_m(x,y)；
步骤五、将反卷积模板h_m(x,y)与步骤二中待复原的插值后的图像g(x,y)进行实时的二维卷积，获得复原后的放大图像
本发明的有益效果：
一、本发明提供了一种在现有技术条件下可行的基于反卷积图像复原的高保真视频放大技术，减少普通视频放大技术带来的图像退化，提升视频相机的图像放大质量。
二、本发明并不限制插值方法，只要能够保证视频输出实时性(延迟小于40ms)。
三、为了解决图像在轨复原的实时性难题，本发明将原本在频域的复原搬移到了空间域进行处理，保留了成熟的线性滤波复原图像的可靠性(两者在数学本质上相同)，截取能量分布的主要部分，采用小尺寸的空间域反卷积模板进行卷积处理，减小了空间域处理的计算量，以满足处理的实时性。
四、本发明采用FPGA作为核心硬件平台，基于并行流水线思想按像元时钟速率进行实时处理，降低了硬件性能要求和代码设计复杂程度，易于工程实现。同时随着FPGA集成度和性能的提高，可针对不同倍数的放大倍率进行扩展，适应性强。
五、本发明所述的方法可同时对非放大视频进行图像复原，整体提升相机输出图像质量。
附图说明
图1为本发明所述的基于反卷积图像复原的高保真视频放大方法的流程图；
图2为本发明所述的基于反卷积图像复原的高保真视频放大方法中待测相机镜头测试的原理框图；
图3本发明所述的基于反卷积图像复原的高保真视频放大方法中根据相机参数获得的一种典型的尺寸为7×7的在轨归一化点扩散函数h(x,y)示意图；
图4为根据图3获得的能量分布高度集中的尺寸为256×256的空间域反卷积预选模板h_y(x,y)的示意图；
图5从图3中截取的尺寸为13×13的空间域反卷积模板h_m(x,y)示意图；
图6采用本发明所述的基于反卷积图像复原的高保真视频放大方法对h_m(x,y)与g(x,y)进行卷积运算的示意图；
图7采用本发明所述的基于反卷积图像复原的高保真视频放大方法实时复原系统按行处理的时序示意图；
图8中8a和8b为采用本发明所述的基于反卷积图像复原的高保真视频放大方法对图像进行放大的前后对比图。
具体实施方式
具体实施方式一、结合图1至图8说明本实施方式，基于反卷积图像复原的高保真视频放大方法，本实施方式中以icx415al面阵CCD相机为例，给出基于反卷积图像复原的高保真视频放大方法的实例：
步骤a：采用点光源，平行光管，干涉仪，对待测相机镜头进行测试，结合图2，得出点扩散函数PSF的值，利用归一化方法得出较为准确的归一化点扩散函数h(x,y)，如图5所示。
步骤b：利用双线性插值的方法对原始图像进行两倍插值，在FPGA内部开辟两个缓存空间，每个大小为两行图像数据所占用的空间，按768个水平有效像元计算，共需要768*2*8bit＝12288bit的存储空间。采用乒乓操作，对存储空间内数据分时进行双线性插值，分别得出插值后的新行列图像。随后对新老图像按顺序统一输出得出待复原的插值后的图像g(x,y)。
步骤c：利用步骤a所获得的点扩散函数h(x,y)，采用傅里叶反变换到空间域中，得到反卷积预选模板h_y(x,y)。
步骤d：将h_y(x,y)能量分布高度集中的区域截取出来，根据具体的数值分布，截取占总能能量分布99％以上的中央区域的矩阵作为空间域反卷积模板h_m(x,y)，如图6所示。
步骤e：将h_m(x,y)与待复原的插值后的图像g(x,y)进行卷积则复原的计算过程可表述为：
a,b为反卷积模板水平和垂直方向元素个数减1后的一半，如模板为13×13，则a＝b＝6,s,t为模板内各元素横纵坐标。
为了描述方便，图6给出的是一个简单的3×3空间域模板与图像卷积的示意图，首先通过对空间域模板进行180°转置，而后用转置后的模板与图像中3×3的区域进行卷积，所得结果为图像3×3区域中心点的复原后数值。为满足系统实时性，相机像元时钟为30MHz，这样采用30MHz的时钟并行处理卷积模板和插值图像的二维卷积，图像为8bit的灰度图像，h_m(x,y)大小为13×13,通过FPGA的并行处理进行实现。
本实施方式中采用现有的XILINX公司的Virtex-6系列FPGA自带748个DSPSlices，每个DSPSlices都是一个主频可以达到600MHz的25×18bit二进制补码乘法器以及一个48bit的累加器，将上述的计算分配给DSPSlices进行并行处理，完全可以满足计算的要求，从而获得复原后的图像如图7所示。数据流方向与模板运算方向相同，在一个时钟下完成一个像素的复原计算，当完成一行数据后，对下一行的数据进行计算，其方向与相机运动方向相同。
本实施方式的步骤b中可以采用其他形式的插值方法，其余的步骤与上述方法一致。
采用本实施方式所述的的视频放大相机与原有普通视频放大功能的相机在系统上的区别如图8所示，二者本职区别即本发明的视频放大功能结合图像复原技术，在对图像插值后进行反卷积图像复原，达到弥补插值带来的图像退化的效果。

Claims (3)

1.基于反卷积图像复原的高保真视频放大方法，其特征是，该方法由以下步骤实现：
步骤一、对待测相机镜头进行测试，获得待测相机的点扩散函数h(x,y)；
步骤二、采用插值方法对原始图像进行插值，获得待复原的插值后的图像g(x,y)；
步骤三、对步骤一获得的点扩散函数h(x,y)，采用傅里叶反变换到空间域中，得到反卷积预选模板h_y(x,y)；
步骤四、对步骤三获得的反卷积预选模板h_y(x,y)进行截取，获得尺寸为13×13的反卷积模板h_m(x,y)；
步骤五、将反卷积模板h_m(x,y)与步骤二中待复原的插值后的图像g(x,y)进行实时的二维卷积，获得复原后的放大图像
2.根据权利要求1所述的基于反卷积图像复原的高保真视频放大方法，其特征在于，步骤一中，采用点光源、平行光管以及干涉仪对待测相机镜头进行测试，点光源经平行光管后入射至待测相机镜头，干涉仪根据接收的待测相机镜头的信息，获得待测相机的点扩散函数。
3.根据权利要求1所述的基于反卷积图像复原的高保真视频放大方法，其特征在于，步骤二中，采用双线性插值的方法对原始图像进行两倍插值，在FPGA内部开辟两个缓存空间，每个缓存大小为两行图像数据所占用的空间，采用乒乓操作，对存储空间内的数据分时进行双线性插值，获得待复原的插值后的图像。
CN201510821481.7A 2015-11-24 2015-11-24 基于反卷积图像复原的高保真视频放大方法 Pending CN105491269A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510821481.7A CN105491269A (zh) 2015-11-24 2015-11-24 基于反卷积图像复原的高保真视频放大方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510821481.7A CN105491269A (zh) 2015-11-24 2015-11-24 基于反卷积图像复原的高保真视频放大方法

Publications (1)

Publication Number Publication Date
CN105491269A true CN105491269A (zh) 2016-04-13

Family

ID=55677956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510821481.7A Pending CN105491269A (zh) 2015-11-24 2015-11-24 基于反卷积图像复原的高保真视频放大方法

Country Status (1)

Country Link
CN (1) CN105491269A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228240A (zh) * 2016-07-30 2016-12-14 复旦大学 基于fpga的深度卷积神经网络实现方法
CN108133265A (zh) * 2016-12-01 2018-06-08 阿尔特拉公司 用于利用相同的处理单元实施不同类型的卷积运算的方法和装置
CN108510438A (zh) * 2017-02-24 2018-09-07 北京优朋普乐科技有限公司 一种图像、视频放大方法和系统
CN109993274A (zh) * 2017-12-29 2019-07-09 深圳云天励飞技术有限公司 人工智能计算装置及相关产品
US11074492B2 (en) 2015-10-07 2021-07-27 Altera Corporation Method and apparatus for performing different types of convolution operations with the same processing elements

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441764A (zh) * 2008-12-31 2009-05-27 中国资源卫星应用中心 一种mtfc遥感图像复原方法
CN202093573U (zh) * 2011-06-08 2011-12-28 无锡引速得信息科技有限公司 一种用于工业ct图像重建的并行加速装置
CN104346773A (zh) * 2013-07-23 2015-02-11 中国科学院长春光学精密机械与物理研究所 一种推扫式航天相机图像在轨实时复原方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441764A (zh) * 2008-12-31 2009-05-27 中国资源卫星应用中心 一种mtfc遥感图像复原方法
CN202093573U (zh) * 2011-06-08 2011-12-28 无锡引速得信息科技有限公司 一种用于工业ct图像重建的并行加速装置
CN104346773A (zh) * 2013-07-23 2015-02-11 中国科学院长春光学精密机械与物理研究所 一种推扫式航天相机图像在轨实时复原方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张宇: "宽视场大面阵CCD相机图像采集与处理系统研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 *
邓靖飞 等: "FPGA加速三维CT图像重建", 《电子技术应用》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074492B2 (en) 2015-10-07 2021-07-27 Altera Corporation Method and apparatus for performing different types of convolution operations with the same processing elements
CN106228240A (zh) * 2016-07-30 2016-12-14 复旦大学 基于fpga的深度卷积神经网络实现方法
CN106228240B (zh) * 2016-07-30 2020-09-01 复旦大学 基于fpga的深度卷积神经网络实现方法
CN108133265A (zh) * 2016-12-01 2018-06-08 阿尔特拉公司 用于利用相同的处理单元实施不同类型的卷积运算的方法和装置
CN108133265B (zh) * 2016-12-01 2021-12-24 阿尔特拉公司 利用相同处理单元实施不同类型的卷积运算的方法和装置
CN108510438A (zh) * 2017-02-24 2018-09-07 北京优朋普乐科技有限公司 一种图像、视频放大方法和系统
CN109993274A (zh) * 2017-12-29 2019-07-09 深圳云天励飞技术有限公司 人工智能计算装置及相关产品
CN109993274B (zh) * 2017-12-29 2021-01-12 深圳云天励飞技术有限公司 人工智能计算装置及相关产品

Similar Documents

Publication Publication Date Title
Qin et al. Multi-scale feature fusion residual network for single image super-resolution
CN105491269A (zh) 基于反卷积图像复原的高保真视频放大方法
CN100510773C (zh) 单幅卫星遥感影像小目标超分辨率重建方法
Fang et al. Single image dehazing and denoising: a fast variational approach
CN103268599B (zh) 多线阵ccd亚像元错位成像超分辨率重构方法
CN106169173B (zh) 一种图像插值方法
CN111986134B (zh) 面阵相机遥感成像方法及装置
CN106169174B (zh) 一种图像放大方法
Chang et al. Color image demosaicking using inter-channel correlation and nonlocal self-similarity
Cristóbal et al. Superresolution imaging: a survey of current techniques
CN105243677B (zh) 一种保证精度的实时单分子定位方法及系统
Wang et al. Poissonian blurred hyperspectral imagery denoising based on variable splitting and penalty technique
Lin et al. UHD Low-light image enhancement via interpretable bilateral learning
Jezierska et al. A convex approach for image restoration with exact poisson-gaussian likelihood
Lv et al. Joint image registration and point spread function estimation for the super-resolution of satellite images
Yang et al. Remote sensing image restoration using estimated point spread function
CN106558021A (zh) 基于超分辨率技术的视频增强方法
Lee et al. Image deblurring based on the estimation of PSF parameters and the post-processing
Liu et al. Noise analysis and image restoration for optical sparse aperture systems
Wang et al. Super-resolution image reconstruction using surface fitting with hierarchical structure
CN104050652A (zh) 构造金字塔自学习的超分辨率重构方法
CN113962907B (zh) 一种图像去噪方法、装置及设备
Esmaeilzehi et al. DSegAN: A Deep Light-weight Segmentation-based Attention Network for Image Restoration
Yousef et al. Mathematical model development of super-resolution image Wiener restoration
CN114170094B (zh) 基于孪生网络的机载红外图像超分辨率与噪声去除算法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Fan Zhanjun

Inventor before: Zhang Yu

Inventor before: Wang Wenhua

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160413