CN106097251B - 非均匀稀疏采样视频超分辨率方法 - Google Patents
非均匀稀疏采样视频超分辨率方法 Download PDFInfo
- Publication number
- CN106097251B CN106097251B CN201610458527.8A CN201610458527A CN106097251B CN 106097251 B CN106097251 B CN 106097251B CN 201610458527 A CN201610458527 A CN 201610458527A CN 106097251 B CN106097251 B CN 106097251B
- Authority
- CN
- China
- Prior art keywords
- resolution
- sampling
- video
- image
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005070 sampling Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000005516 engineering process Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 210000000857 visual cortex Anatomy 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 7
- 238000011160 research Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 3
- 238000005562 fading Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/015—High-definition television systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种非均匀稀疏采样视频超分辨率方法，属于视频超分辨率技术领域，包括镜头(shot)检测和关键帧提取、原始图像进行模糊处理和下采样、非均匀采样的视觉模型建立、稀疏词典的构建、视频重构等关键技术，采用基于视网膜中央凹视觉的非均匀稀疏采样方法，实现对视频序列进行差异性稀疏采样,大幅度缩减原子个数，实时生成或根据移动终端设备屏幕的分辨率先验计算出具有高低分辨率的双词典(高分辨率参照副本)作为搭载的元数据，利用硬件支持的非线性Mipmap插值方法实时模拟生成Foveation图像，能够获取与高斯金字塔方法类似的结果，且计算开销更低。
Description
技术领域
本发明涉及视频超分辨率技术领域，特别涉及一种非均匀稀疏采样视频超分辨率方法。
背景技术
当前移动设备已经成为我们日常生活的组成部分。成熟的无线通信技术和视频编解码器，使视频流能够在移动设备上运行，因而人们能够容易地通过移动设备随时随地访问数字内容，如在线电视节目，音乐视频，体育报道和新闻节目，这促使计算机、广播电视网以及各种通信系统越来越走向融合，使跨平台视频沟通渐成主流方式，并初步提供强大的多媒体引擎、高清全屏视频技术(full high-definition video)支持。
然而，受无线网络带宽和终端处理能力的限制，目前仍有很多信道(如移动网络、卫星网络和互联网)不适合传输高清晰度视频。即使移动终端具备可支持高清(high-resolution)显示的性能，也无法接收并显示高清视频及图像。因为当前视频内容的质量和分辨率是有限的，视频流的分辨率要比设备实际上可以支持的分辨率低得多。如3G或HSDPA是稀缺资源，因此需要实现多用户间共享资源。而且许多无线带宽因信道衰落在实际情况下也远低于理论值，如多径衰落和阴影衰落所造成的障碍。
此外，文献研究表明，许多用户感到在移动设备上的视频体验因明显的伪影(迹)而不能接受，如马赛克或模糊效应。显著的伪影(迹)极大降低人们对于视频流服务的期望。然而，许多现有的移动设备能够支持大于QVGA(320240)的分辨率，如，iPhone 4G(960640)，Google Nexus One(800480),NokiaN97(640360),SonyEricsson X10(800480)。当低分辨率的视频在移动装置上放大到全屏尺寸时会出现明显的伪影(迹)，从而影响用户订阅移动视频服务的热情。如果用户通过笔记本电脑访问视频服务，情况会变得更加糟糕，因为现在最小型笔记本电脑的分辨率也支持绚丽屏WXGA(1280800)。虽然如此，在目前的无线网络，对于同时支持以上分辨率视频的带宽消耗在许多移动客户解码端仍然是不可行的。
另一方面，由于成像系统的限制(如低端摄像设备或手机)，图像和视频分辨率上无法获得更高频率的细节信息。传统的方法是通过线性插值达到放大的效果，本质上并不能提高图像的空间分辨率，而随之带来的模糊影像往往不能让人满意。
同时，随着显示设备分辨率的不断上升，数字高清晰度电视(high-definitiontelevision,HDTV,即电影级图像)逐渐得到普及。要实现原有的STV视频信号向HDTV转换，或把原来PAL或NTSC制式的DVD片源在HDTV分辨率的显示设备上进行播放，需要同时增加视频的空间分辨率和时间分辨率。
为使多样性的视频码流更好地适应异构网络环境和各种用户终端，提高所获视频的质量以及更好地与HDTV兼容，迫切需要更为有效的技术支持。
近年来，网络视频处理技术层出不穷，然而其难点在于：
(1)由于视频的复杂性以及技术的针对性等原因，现阶段这种性能的改善是局部的和有限的。现有的视频压缩技术、转码技术曾被看作是解决异构网络自适应问题的经济有效的方法，并已经取得了丰富的成果，它们也在一定程度上对于视频通信与呈现问题提供过技术支持和性能改善，但由于视频的复杂性以及技术的针对性等原因，致使现阶段这种性能的改善是局部的和有限的。比如，首先增加了视频服务器的处理负荷，其次，二次编码过程通过再量化减少比特率、下采样减少空间分辨率及丢弃B-帧减少帧率等措施，引入了转码漂移误差，造成了额外的质量损失。可伸缩性视频编码对于视频质量的提高很大程度上依赖于增强层的作用，SVC上采样视频帧通过从高分辨率视频(EL)提取的“重要系数”共同解码基本层视频。对于在带宽不足以提供增强层传输和提取的情况下，如何获取高品质视频依然成为问题，尤其是在无线信道或移动设备发送可伸缩视频时，在可用带宽受限情况下，围绕边缘细节急剧变化的图像区域会发生振铃效应。
(2)当前的插值技术或上抽样技术在重构质量和计算时间方面存在局限性。虽然目前有不少基于图像的插值技术(image interpolation)或上采样技术(即超分辨率SR)，文献已经被提出来显著减少上抽样伪影。然而，现有的上采样技术因上采样过程对于对象的细节和边界的重建通常需要几秒钟计算时间。因为有关信息高分辨率图像和视频在应用场景中没有给出相应的优先级，而使得当前的视频上抽样技术因质量和计算时间存在一定的局限性，因此，由于计算时间，不可能使用现有的影像上抽样技术拉伸视频在移动设备上的全屏显示和减少明显的伪影。因此，大多数移动视频播放器利用简单而快速的上采样，如近邻上采样(Nearest)和双线性上采样(Bilinear)方法和双立方插值法(Bicubic)等。与影像上采样相比，目前的实时视频上采样技术产生更多的明显视觉伪影，且不能充分利用现有的计算资源。同时，由于目标边界和重要细节信息通常不可知，会增加上采样的计算时间。
(3)高频先验信息缺乏且受运算复杂度的限制，超分辨率技术效果不尽人意，远比理论分析应达到的水平低。从广义上讲，图像/视频的超分辨率技术包括单帧到单帧、多帧到单帧以及序列到序列的超分辨率三个方面。其中，多帧到单帧的超分辨率技术得到了最为广泛的研究，而序列到序列，即对视频序列中所有帧进行超分辨率复原的研究则相对较少。从理论上讲，将任何一种单帧图像的超分辨率复原算法用于视频序列中的连续帧，均能实现视频序列的超分辨率复原，及序列图像的静态批处理方法。而实际应用中，这往往会受到运算复杂度的限制，而且，对各帧图像的单独复原未能有效利用相邻帧已复原图像的有用信息，造成运算量的大量浪费。基于迭代和自适应滤波的方法通过有效利用已复原高分辨率图像的有效信息，降低了算法的复杂度，但这是以复原性能的降低为代价的。目前在压缩视频的超分辨率重建方面存在的问题主要集中在三个方面：一是压缩视频模型的有效性和普遍适应性还有待进一步的研究；二是常规的重建的方法效果不尽人意，远比理论分析应达到的水平低；三是几乎所有重建算法的计算复杂度太高，很难实时实现。
(4)传统的小波变换不能有效捕获图像边缘、轮廓上的光滑性，因此不能达到精简或稀疏的图像表征。目前基于DCT、小波等正交线性变换的主流编码技术已逐渐趋于成熟，但仍然存在发展空间。近来研究表明，传统的二维小波变换并不能有效地捕获图像边缘、轮廓上的光滑性，因此不能达到精简或稀疏的图像表征。虽然由小波带来的内建的可伸缩性，使得WSVC能编码一个具有非预测可伸缩区的给定内容，很适合高清视频的存储和分配。然而，基于小波的可伸缩视频编码WSVC难于有效地表达和实时追踪视频中的局部空间信息，比如，当WSVC被应用在高通空间子带域时，因为连续帧之间的运动部分的系数模式发生改变，使得运动补偿时域滤波(MCTF)的编码效率有所下降。因此，如何进一步刻画图像的边缘、纹理和角形等图像中重要视觉几何结构，提高该类方法在噪声抑制基础上有效保持结构和纹理能力是有待深入研究的问题。
在视频压缩和图像超分辨率技术相关研究发展了近十年后，很多研究人员已经意识到，以上问题将对异构网络环境中视频的获取技术的研究形成阻碍，需要进行相关基础理论研究，需要从新的途径来提高视频及图像的视觉性能。
近年来，压缩感知(compressive sensing,CS)作为一种新的信息获取理论受到高度关注，并被美国科技评论评为2007年度十大科技进展。视频及图像的稀疏表示模型在超分辨重建问题中具有潜在优势，也为视频及图像不适定问题的解决提供了良好的处理机制。本技术基于稀疏编码技术整合数据采样和压缩为一体到视频流框架中，能有效克服视频传输过程因网络条件不足所带来的诸如分组丢失或比特错误所造成的错误繁衍问题，这在目前看来是解决异构网络环境中高品质视频流获取与呈现问题的一种新思路，所达到的目标也是当前流行的可伸缩视频编码技术和传统的图像超分辨率技术无法单独胜任的工作，能为视频及图像不适定问题的解决提供新的思路和良好的处理机制。本技术从理论上扩充现有的视频编码压缩理论体系，具有很强的应用创新性。尽管稀疏编码已经在许多应用中使用，但它在视频异构网络中的研究还比较缺乏，罕见相关文献报道。
尽管稀疏编码已经在许多应用中使用，它在视频异构网络中的研究还比较缺乏。主要困难包括：视频中如何实现稀疏编码有一定的技术壁垒；异构网络中异构数据的稀疏编码有一定的困难；视频数据通常为海量数据，如何有效实现稀疏编码算法的拓展，提升算法效率，亦是一个很困难的问题。
发明内容
本发明针对现有技术的不足，提供一种非均匀稀疏采样视频超分辨率方法，能有效克服视频传输过程因网络条件不足所带来的诸如分组丢失或比特错误所造成的错误繁衍问题。
为解决以上问题，本发明采用的技术方案如下：一种非均匀稀疏采样视频超分辨率方法，包括如下步骤：S1，镜头检测和关键帧提取：从原始高清数字视频Fn中以镜头为单位提取关键帧Yn，并对原始帧进行方向滤波后进行下采样为Xnl，经压缩后作为基本层流传送；
S2，对关键帧的原始图像进行模糊处理和下采样：通过模拟现实中图像的降质过程产生相应的低分辨率图像Y′nl，即通过对高分辨率图像进行模糊和下采样处理；分别在低分辨率图像和高分辨率图像的高频空间建立对应关系；对低分辨率图像Y′nl进行上插值使得高低分辨率图像Y′nh具有一样的大小；在低分辨率图像的一阶和二阶导数图像上以块的方式随机提取低分辨率样本，而在高分辨率图像减去均值后的相应位置处提取高分辨率样本；
S3，非均匀采样的视觉模型建立：基于Foveation视觉模型的非均匀稀疏采样关键帧，采用视频图像的标准坐标系，建立非均匀采样的视觉模型，通过以视觉凹点Foveation为中心逐渐降低感知分辨率的采样过程，依据视觉皮层中神经元感受野的结构特性与图像几何结构特征来分配生成函数中自由参数的采样密度；同时，在编码端对图像高频部分边缘点进行密集采样，对非边缘部分进行随机抽样；
S4，稀疏表示和词典设计：从人类视觉系统感知特性出发，选取二维Gabor函数作为字典的生成函数，建立了匹配各层面图像结构的Gabor感知多成分字典，包含平滑、边缘、纹理三种结构类型和UV色度及运动矢量的子成分字典；实时生成或根据移动终端设备屏幕的分辨率先验计算出具有高低分辨率的双词典作为搭载的元数据；
S5，视频超分辨率重构：在客户端解码出基本层视频后，运用快速上采样算法，基于每一个视频镜头的上采样性能构建基本的全屏视频帧；根据来源于高清视频信息，增强每一帧的视频对象的边界和重要细节的质量。
作为优选，S1具体包括以下步骤：镜头检测采用颜色和边缘特征两个标准检测镜头边界，利用投影直方图技术与动态直方图调整技术找到镜头边界，投影直方图技术可自动获得具有一定约束的两个给定的序列之间的最佳的匹配。
作为优选，S4包括以下步骤，为了满足两个词典在稀疏表示下的同构性，算法针对数据进行改进，其中公式看成由两部分组成，Φ(x,α)对应为最小平方误差，即为了获得异构数据，对Ψ(α)进行改进，其中一个改进方向是利用在多核学习中发现的组特性，将其应用在改进惩罚因子Ψ(α)。
作为优选，采用双边滤波器：其中，p和q表示在高分辨率亮度图像上的像素的位置，p↓和q↓分别表示下采样之后在低分辨率UV色度图像上像素的位置，f是空间滤波器核，g是范围滤波器核，Sq↓是在q↓位置的UV的值，kp是正则化因子，Sp是滤波后在P位置的高分辨率UV的值，相对于通用双边滤波器直接使用p和q的位置信息，使用含有更多信息量的p和q位置上的亮度信息来进行优化。
本发明的有益效果：
1)采用基于视网膜中央凹视觉的非均匀稀疏采样方法，实现对视频序列进行差异性稀疏采样,大幅度缩减原子个数，实时生成或根据移动终端设备屏幕的分辨率先验计算出具有高低分辨率的双词典(高分辨率参照副本)作为搭载的元数据，利用硬件支持的非线性Mipmap插值方法实时模拟生成Foveation图像，能够获取与高斯金字塔方法类似的结果，且计算开销更低。
2)采用基于稀疏编码的视频上采样方法，系统体系架构设计为一种联合信源端和客户解码端的紧密耦合结构。信源端从(高清)数字视频(HD)中提取具体的元数据，在客户解码端对实时视频上采样，以提供好的视觉质量。在不需要修改现有的硬件解码器情况下仍然能较好自适应网络传输，兼具时间和空间的伸缩性，虽然附加的元数据低于总传输数据的10％，但它能够显著提高视频的质量。
附图说明
图1为非均匀稀疏采样视频超分辨率系统示意图；
图2为将稀疏词典作为搭载的元数据架构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明做进一步详细说明。
系统体系架构设计为一种联合服务器边和客户边的紧密耦合结构(见附图1)。在信源端，对原始视频信号(一般为高清数字视频(HD)信源)非均匀稀疏采样形成元数据，对原始分辨率视频进行下采样编码为低分辨率低码率视频数据；将元数据搭载下采样后的低分辨率视频数据在网络上传输；在客户解码端通过超分辨率插值技术重构高分辨率视频,以提供好的视觉质量。
非均匀稀疏采样视频超分辨率方法的全过程(见图2)包括镜头(shot)检测和关键帧提取、原始图像进行模糊处理和下采样、非均匀采样的视觉模型建立、稀疏词典的构建、视频重构等关键技术，以下依过程的先后次序对于视频采样和重构的技术环节做详细描述：
步骤1，镜头(shot)检测和关键帧提取。从原始(高清)数字视频(HD)Fn中以镜头(shot)为单位提取关键帧Yn，并对原始帧进行方向滤波后进行下采样为Xnl，经压缩后作为基本层流传送。
该步骤涉及两个方面的技术问题：镜头(shot)检测和关键帧选择。关于镜头(shot)检测，本发明采用颜色和边缘特征两个标准检测镜头边界。利用投影直方图(Projection Histograms)技术与动态直方图调整(Dynamic Histogram Warping,DHW)技术找到镜头边界，DHW可自动获得具有一定约束的两个给定的序列之间的最佳的匹配。关于关键帧的选择，综合运用“I-帧等价”算法和“比较宏块互异数”算法。
步骤2，对关键帧的原始图像进行模糊处理和下采样。
由于所提取的关键帧包含足够多种类细节信息的高分辨率信息，通过模拟现实中图像的降质过程产生相应的低分辨率图像Y′nl，即通过对高分辨率图像进行模糊(如高斯模糊)和下采样(这里对行和列分别进行3倍的抽取)处理。由于自然图像往往具有相似的边缘结构特征，因此分别在低分辨率图像和高分辨率图像的高频空间建立对应关系。为了减小高低分辨率样本的维数差别，这里首先对低分辨率图像Y′nl进行上插值使得高低分辨率图像Y′nh具有一样的大小。然后，在低分辨率图像的一阶和二阶导数图像上以块的方式随机提取低分辨率样本，而在高分辨率图像减去均值后的相应位置处提取高分辨率样本。
步骤3，非均匀采样的视觉模型建立。基于Foveation视觉模型的非均匀稀疏采样关键帧，是本发明的重要创新点之一。采用视频图像的标准坐标系，建立非均匀采样的视觉模型，通过以视觉凹点(Foveation)为中心逐渐降低感知分辨率的采样过程，依据视觉皮层中神经元感受野的结构特性与图像几何结构特征来分配生成函数中自由参数的采样密度，以此大幅度缩减原子个数；同时，为了提高图像重构精度，改善纹理区域视觉效果，在编码端对图像高频部分边缘点进行密集采样，对非边缘部分进行随机抽样，取代了传统压缩感知理论中直接使用测量矩阵获得低维观测值的过程。
步骤4，稀疏表示和词典设计。从人类视觉系统感知特性出发，选取二维Gabor函数作为字典的生成函数，建立了匹配各层面图像结构的Gabor感知多成分字典，包含平滑、边缘、纹理三种结构类型和UV色度及运动矢量的子成分字典。实时生成或根据移动终端设备屏幕的分辨率先验计算出具有高低分辨率的双词典(高分辨率参照副本)作为搭载的元数据。此外，本发明提出一种求解同时满足两个过完备词典(低分辨率图像块词典和高分辨率图像块词典)下的相同稀疏表示的方法，并利用它们实现影像稀疏表示的超分辨率重建。为了满足两个词典在稀疏表示下的同构性，算法针对数据进行改进。其中公式可以看成由两部分组成，Φ(x,α)对应为最小平方误差，即为了获得异构数据，对Ψ(α)进行改进。其中一个改进方向是利用在多核学习中发现的组特性，将其应用在改进惩罚因子Ψ(α)。这可以将稀疏系数的选择具有组特性，对类似的字典发现类似的系数。
步骤5，视频超分辨率重构。为支持实时上采样，在客户解码端解码出基本层视频后，首先运用快速上采样算法，基于每一个视频镜头的上采样性能构建基本的全屏视频帧。然后，为提供高品质的视频，根据来源于高清视频信息，增强每一帧的视频对象的边界和重要细节的质量。为了进一步提高彩色图像的超分辨率效果，还将考虑基于超分辨率亮度信息的UV色度超分辨率重构。对于彩色图像而言，人眼对于YUV空间中的亮度要比其他空间的任何分量都要敏感，因此，本发明考虑只对于图像的亮度分量进行超分辨率，而对于其他两个分量参照亮度分量进行双边插值滤波(Bilater Filter)。所采用的双边滤波器为：其中，p和q表示在高分辨率亮度图像上的像素的位置，p↓和q↓分别表示下采样之后在低分辨率UV色度图像上像素的位置，f是空间滤波器核(Spatial Filter Kernel)，g是范围滤波器核(Range Filter Kernel)，Sq↓是在q↓位置的UV的值，kp是正则化因子，Sp是滤波后在P位置的高分辨率UV的值。相对于通用双边滤波器直接使用p和q的位置信息，使用含有更多信息量的p和q位置上的亮度信息来进行优化。
实验结果表明：本发明所提出的算法不仅可以提高帧图像和纹理区域的重构精度，而且在低采样率或图像尺寸较小的情况下，算法效率也有明显提升。
Claims (3)
1.一种非均匀稀疏采样视频超分辨率方法，其特征在于,包括如下步骤：
S1，镜头检测和关键帧提取：从原始高清数字视频Fn中以镜头为单位提取关键帧Yn，并对原始帧进行方向滤波后进行下采样为Xnl，经压缩后作为基本层流传送；
S2，对关键帧的原始图像进行模糊处理和下采样：通过模拟现实中图像的降质过程产生相应的低分辨率图像Y’nl，即通过对高分辨率图像进行模糊和下采样处理；分别在低分辨率图像和高分辨率图像的高频空间建立对应关系；对低分辨率图像Y’nl进行上插值使得高低分辨率图像Y’nh具有一样的大小；在低分辨率图像的一阶和二阶导数图像上以块的方式随机提取低分辨率样本，而在高分辨率图像减去均值后的相应位置处提取高分辨率样本；
S3，非均匀采样的视觉模型建立：基于Foveation视觉模型的非均匀稀疏采样关键帧，采用视频图像的标准坐标系，建立非均匀采样的视觉模型，通过以视觉凹点Foveation为中心逐渐降低感知分辨率的采样过程，依据视觉皮层中神经元感受野的结构特性与图像几何结构特征来分配生成函数中自由参数的采样密度；同时，在编码端对图像高频部分边缘点进行密集采样，对非边缘部分进行随机抽样；
S4，稀疏表示和词典设计：从人类视觉系统感知特性出发，选取二维Gabor函数作为字典的生成函数，建立了匹配各层面图像结构的Gabor感知多成分字典，包含平滑、边缘、纹理三种结构类型和UV色度及运动矢量的子成分字典；实时生成或根据移动终端设备屏幕的分辨率先验计算出具有高低分辨率的双词典作为搭载的元数据；
S5，视频超分辨率重构：在客户端解码出基本层视频后，运用快速上采样算法，基于每一个视频镜头的上采样性能构建基本的全屏视频帧；根据来源于高清视频信息，增强每一帧的视频对象的边界和重要细节的质量；
S4包括以下步骤，为了满足两个词典在稀疏表示下的同构性，算法针对数据进行改进，其中公式看成由两部分组成，Φ(x,α)对应为最小平方误差，即Ψ(α)为λ||α||1，为了获得异构数据，对Ψ(α)进行改进，其中一个改进方向是利用在多核学习中发现的组特性，将其应用在改进惩罚因子Ψ(α)。
2.根据权利要求1所述的非均匀稀疏采样视频超分辨率方法，其特征在于，包括以下步骤，S1具体包括以下步骤：镜头检测采用颜色和边缘特征两个标准检测镜头边界，利用投影直方图技术与动态直方图调整技术找到镜头边界，投影直方图技术可自动获得具有一定约束的两个给定的序列之间的最佳的匹配。
3.根据权利要求1所述的非均匀稀疏采样视频超分辨率方法，其特征在于,S5包括以下步骤，采用双边滤波器：其中，p和q表示在高分辨率亮度图像上的像素的位置，p↓和q↓分别表示下采样之后在低分辨率UV色度图像上像素的位置，f是空间滤波器核，g是范围滤波器核，Sq↓是在q↓位置的UV的值，kp是正则化因子，Sp是滤波后在P位置的高分辨率UV的值，相对于通用双边滤波器直接使用p和q的位置信息，使用含有更多信息量的p和q位置上的亮度信息来进行优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610458527.8A CN106097251B (zh) | 2016-06-22 | 2016-06-22 | 非均匀稀疏采样视频超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610458527.8A CN106097251B (zh) | 2016-06-22 | 2016-06-22 | 非均匀稀疏采样视频超分辨率方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106097251A CN106097251A (zh) | 2016-11-09 |
| CN106097251B true CN106097251B (zh) | 2019-03-19 |
Family
ID=57237694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610458527.8A Expired - Fee Related CN106097251B (zh) | 2016-06-22 | 2016-06-22 | 非均匀稀疏采样视频超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106097251B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106375763B (zh) * | 2016-11-25 | 2019-06-07 | 合肥工业大学 | 一种基于Slepian-Wolf技术的视频加解密方法及其加解密系统 |
| CN106991652A (zh) * | 2017-03-03 | 2017-07-28 | 杭州电子科技大学 | 稀疏度约束和字典原子大小自适应的彩色图像修复方法 |
| CN107087212B (zh) * | 2017-05-09 | 2019-10-29 | 杭州码全信息科技有限公司 | 基于空间可伸缩编码的交互式全景视频转码与播放方法及系统 |
| EP3631559A1 (en) * | 2017-05-26 | 2020-04-08 | Google LLC | Near-eye display with sparse sampling super-resolution |
| US10713752B2 (en) * | 2017-06-09 | 2020-07-14 | Sony Interactive Entertainment Inc. | Temporal supersampling for foveated rendering systems |
| CN109308723A (zh) * | 2017-07-26 | 2019-02-05 | 合肥图鸭信息科技有限公司 | 一种图像压缩方法及装置 |
| CN109308724A (zh) * | 2017-07-26 | 2019-02-05 | 合肥图鸭信息科技有限公司 | 一种图像压缩方法及装置 |
| CN108272449A (zh) * | 2018-01-30 | 2018-07-13 | 中国科学院电子学研究所 | 非接触式的血压监测方法及系统 |
| US10997951B2 (en) * | 2018-04-13 | 2021-05-04 | Qualcomm Incorporated | Preserving sample data in foveated rendering of graphics content |
| CN110062232A (zh) * | 2019-04-01 | 2019-07-26 | 杭州电子科技大学 | 一种基于超分辨率的视频压缩方法及系统 |
| CN112135136B (zh) * | 2019-06-24 | 2022-09-30 | 无锡祥生医疗科技股份有限公司 | 超声远程医疗发送方法、装置和接收方法、装置及系统 |
| CN110288508B (zh) * | 2019-06-26 | 2023-02-24 | 复旦大学 | 面向均匀分布超高分图像局部稀疏加速处理方法及应用 |
| CN112330543A (zh) * | 2020-12-01 | 2021-02-05 | 上海网达软件股份有限公司 | 一种基于自监督学习的视频超分辨方法及系统 |
| CN112861327B (zh) * | 2021-01-21 | 2022-09-23 | 山东大学 | 一种面向大气超级站的大气化学全过程在线分析系统 |
| CN115361582B (zh) * | 2022-07-19 | 2023-04-25 | 鹏城实验室 | 一种视频实时超分辨率处理方法、装置、终端及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104579579A (zh) * | 2015-01-30 | 2015-04-29 | 深圳信息职业技术学院 | 一种大数据包传输方法和系统 |
| CN105006018A (zh) * | 2015-06-30 | 2015-10-28 | 四川大学 | 三维ct岩心图像超分辨率重建方法 |
| CN105225215A (zh) * | 2015-10-23 | 2016-01-06 | 广州高清视信数码科技股份有限公司 | 一种基于组稀疏表示的单帧图像超分辨率重建方法 |
-
2016
- 2016-06-22 CN CN201610458527.8A patent/CN106097251B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104579579A (zh) * | 2015-01-30 | 2015-04-29 | 深圳信息职业技术学院 | 一种大数据包传输方法和系统 |
| CN105006018A (zh) * | 2015-06-30 | 2015-10-28 | 四川大学 | 三维ct岩心图像超分辨率重建方法 |
| CN105225215A (zh) * | 2015-10-23 | 2016-01-06 | 广州高清视信数码科技股份有限公司 | 一种基于组稀疏表示的单帧图像超分辨率重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| "Image super-resolution via sparse representation";Yang J C .et al.;《IEEE Transactions on Image Processing》;20101231;第19卷(第11期);正文全文 |
| "基于Gabor感知多成份字典的图像稀疏表示算法研究";孙玉宝等;《自动化学报》;20081130;第34卷(第11期);正文全文 |
| "基于稀疏表示的单帧图像超分辨率重建算法研究";王晓春;《中国优秀硕士学位论文全文数据库 信息科技辑》;20131115(第11期);第1-3章 |
| "引入 Foveation视觉模型的 M PEG视频码流码率转换";代锋等;《中国图象图形学报》;20051231;第10卷(第12期);正文全文 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106097251A (zh) | 2016-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106097251B (zh) | 非均匀稀疏采样视频超分辨率方法 | |
| Kang et al. | Learning-based joint super-resolution and deblocking for a highly compressed image | |
| CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
| US20190141323A1 (en) | Video image encoding method and apparatus, and video image decoding method and apparatus | |
| CN107463989B (zh) | 一种基于深度学习的图像去压缩伪影方法 | |
| Pajak et al. | Scalable remote rendering with depth and motion‐flow augmented streaming | |
| Lee et al. | Fast algorithms for foveated video processing | |
| CN107274347A (zh) | 一种基于深度残差网络的视频超分辨率重建方法 | |
| CN102158712B (zh) | 一种基于视觉的多视点视频信号编码方法 | |
| WO2023000179A1 (zh) | 视频超分辨网络及视频超分辨、编解码处理方法、装置 | |
| CN108737823B (zh) | 基于超分辨技术的图像编码方法和装置、解码方法和装置 | |
| EA032859B1 (ru) | Многоуровневое декодирование сигнала и восстановление сигнала | |
| CN101272489B (zh) | 视频图像质量增强的编解码装置与编解码方法 | |
| CN113205456A (zh) | 一种面向实时视频会话业务的超分辨率重建方法 | |
| CN111510739B (zh) | 一种视频传输方法及装置 | |
| CN109922339A (zh) | 结合多采样率下采样和超分辨率重建技术的图像编码框架 | |
| Agustsson et al. | Extreme learned image compression with gans | |
| Shuai et al. | Mobiup: An upsampling-based system architecture for high-quality video streaming on mobile devices | |
| Jakhetiya et al. | Maximum a posterior and perceptually motivated reconstruction algorithm: A generic framework | |
| Feng et al. | A dual-network based super-resolution for compressed high definition video | |
| CN113592746A (zh) | 一种由粗到细地融合时空信息的压缩视频质量增强方法 | |
| Ho et al. | Down-sampling based video coding with degradation-aware restoration-reconstruction deep neural network | |
| Zhao et al. | CBREN: Convolutional neural networks for constant bit rate video quality enhancement | |
| Zhu et al. | Compression-dependent transform-domain downward conversion for block-based image coding | |
| Lin et al. | Smnet: Synchronous multi-scale low light enhancement network with local and global concern |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190319 Termination date: 20200622 |