CN111539874A - 一种加速视频超分辨率重建的方法及装置 - Google Patents
一种加速视频超分辨率重建的方法及装置 Download PDFInfo
- Publication number
- CN111539874A CN111539874A CN202010302468.1A CN202010302468A CN111539874A CN 111539874 A CN111539874 A CN 111539874A CN 202010302468 A CN202010302468 A CN 202010302468A CN 111539874 A CN111539874 A CN 111539874A
- Authority
- CN
- China
- Prior art keywords
- resolution
- data
- video data
- low
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 45
- 230000000903 blocking effect Effects 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000000638 solvent extraction Methods 0.000 claims abstract description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 35
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005553 drilling Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000013075 data extraction Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 5
- 230000007246 mechanism Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及计算机技术领域，具体涉及一种加速视频超分辨率重建的方法及装置，旨在解决现有技术中的现有技术中预处理速度慢、许多无效计算量的增加、重建时间长的问题，其技术要点在于包括获取视频源，取出帧数据；软件解码线程和硬件解码线程分别将各自相应的缓冲区数据提取解码，并将解码结果和解码状态回传至缓冲区；验证解码状态并将解码结果从缓冲区输入到构建好的深度卷积网络；将高低分辨率视频数据进行分块；利用平坦块训练内容简单的CNN网络sCNN，利用粗糙块训练内容复杂的CNN网络cCNN，从而进行编码重建；将重建的高分辨率视频数据进行拼接，并用滤波器改善拼接边缘的块效应，然后输出超分辨率重建视频。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种加速视频超分辨率重建的方法及装置。
背景技术
超分辨率重建是指利用计算机将低分辨率的图像或视频进行处理，得到一个高分辨率图像或视频的一种技术。超分辨率重建能够比传统的插值方法提供更多的细节信息，从而能够大幅提高图像或视频的质量。
目前的超分辨率重建方法主要有基于学习机制的重建方法和基于自相似性的重建方法。
基于学习机制的超分辨率方法能够适应于较大的超分辨率倍数，但是由于其依赖于大规模的外部训练集，因而无法保证任意低分辨率图像块都能在有限规模的训练集中找到最佳高分辨率块匹配，例如当处理一些很少出现在给定训练数据集中的独特特征时，容易产生噪声或者过平滑现象。单纯基于学习机制的超分辨率方法，仅考虑了来自外部训练集的关联映射先验学习，没有考虑视频自身的内部特性，因而超分辨率重建结果不能很好地保持视频的时空一致性，容易引起视频帧间的抖动现象。
基于自相似性的超分辨率重建方法利用图像或视频自身内部的单尺度或跨尺度相似性进行重建，是一种基于多帧的超分辨率方法，该方法不依赖于精确的亚像素运动估计，因而能够适应于局部运动、角度旋转等复杂运动模式。自相似特性提供了与低分辨率输入高度相关的内部实例，基于这种内部相似性的超分辨率方法不需要额外的训练集和较长的训练时间，但是在内部相似块不充足的情况下，往往会因内部实例的不匹配而引起一些视觉瑕疵。
因此，在视频重建时，由于数据量庞大，两者都会出现预处理速度慢、许多无效计算量的增加、重建时间长的问题。
发明内容
因此，本发明的目的是提供一种加速视频超分辨率重建的方法及装置，以解决现有技术中预处理速度慢、许多无效计算量的增加、重建时间长的问题。
本发明的上述技术目的是通过以下技术方案得以实现的：
一种加速视频超分辨率重建的方法，包括以下步骤：
步骤1：获取视频源，放入缓冲区，从缓冲区提取数据片段，接着从数据片段中逐一取出帧数据，将帧数据送入硬件待解码数据缓冲区或是软件待解码数据缓冲区；
步骤2：软件解码线程和硬件解码线程分别将各自相应的缓冲区数据提取解码，并将解码结果和解码状态回传至缓冲区；
步骤3：验证解码状态并将解码结果从缓冲区输入到构建好的深度卷积网络，所述深度卷积神经网络的叠加层输出即为重建后的高分辨率视频数据，并重复步骤1、2选取相同或相近场景下的视频源组成的序列，构成高分辨率训练集；
所述深度卷积神经网络的训练过程包括：
步骤3.1：正向演练产生高分辨率视频源TB和低分辨率视频源TA，以组成数据集；
步骤3.2：预处理数据集，构建SRAGN或VDSR训练集；
步骤3.3：利用训练数据集合训练SRAGN或VDSR深度卷积神经网络，利用验证数据集合验证训练得到的SRAGN或VDSR深度卷积神经网络是否过拟合以及测试网络的性能，训练完成后，利用测试数据集测试最优的SRAGN或VDSR深度卷积神经网络的泛化能力；
步骤4：对高分辨率视频数据进行下采样和编码失真处理，产生并构成低分辨率训练集；
步骤5：将高低分辨率视频数据进行分块，并根据纹理结构的复杂性，将视频数据分为平坦块和粗糙块两类，收集到百万级别的视频数据作为深度学习网络的训练样本；
其中所述的视频数据分块及分类，其方法包含以下子步骤：
步骤5.1：将高、低分辨率视频数据均匀地划分成正方形图像块，低分辨率块尺寸为32×32像素，高分辨率块尺寸为32k×32k像素，其中k为2-4的整数；
步骤5.2：通过像素分布的一致性衡量图像内容复杂性，计算块内像素值的方差，方差超过预设门限的视为粗糙块，反之作为平坦块；
步骤6：利用平坦块训练内容简单的CNN网络sCNN，利用粗糙块训练内容复杂的CNN网络cCNN，从而编码重建时，内容简单的块使用sCNN网络，内容复杂的块使用cCNN网络；
步骤7：将重建的高分辨率视频数据进行拼接，并用滤波器改善拼接边缘的块效应，然后输出超分辨率重建视频。
可选地，所述步骤1中，缓冲区设置有解码上下文表，通过解码上下文表读出属性信息，便于从数据片段中逐一取出帧数据。
可选地，所述步骤4中，所述低分辨率训练集，其产生方法包括以下子步骤：
步骤4.1：对于高分辨率视频数据，将其宽度和高度均下采样k倍，得到低分辨率视频数据，其中k为2-4的整数；
步骤4.2：将低分辨率视频数据按H.264进行视频编码，每个像素的码率不低于1.98bps，得到压缩的低分辨率视频数据；
步骤4.3：将压缩的低分辨率视频数据按H.264进行解码，得到并构成低分辨率训练集。
可选地，所述步骤6中的编码模式，包括帧内编码模式、帧间编码模式、跳过编码模式三种；
帧内编码模式下，宏块进一步细分为不同尺寸的子块编码，尺寸包括4×4、8×8和16×16；
帧间编码模式下，宏块进一步细分为不同尺寸的子块编码，尺寸包括4×4、4×8、8×4、8×8、8×16、16×8和16×16；
跳过编码模式下，整个16×16像素的宏块被跳过编码，不再细分。
本发明第二种方案提供了一种基于上述加速视频超分辨率重建方法的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的加速视频超分辨率重建方法。
本发明第三种方案提供了一种基于上述加速视频超分辨率重建方法的计算机可读存储介质，当所述存储介质中的指令被处理器执行时，实现如上所述的加速视频超分辨率重建方法。
本发明的技术方案，在处理视频数据时具有强大的解码加速能力，能在多种、多种解码器下快速切换，可以应对上千路的并发解码请求，并进行多路并发处理时不降低系统性能，特别是在进行硬件解码时，硬件解码线程通常只需将视频结构体指针传给硬件，后续的上下文切换、码流解复用直到输出解码帧都由硬件完成，因此与硬件相关的解码上下文切换管理代价很小，而且由于软件解码的通用处理器核与硬件解码单元共享高速缓存，若需要在软硬件之间传递解码上下文，彼此的地址互相可见，常常能够免去访存开销；另外，后续构建SRAGN或VDSR卷积神经网络，相较于现有BG，SIR算法而言计算速度更快且摆脱了对于系统点响应函数的依赖；模型能够直接学习视频数据中的高频信息，不需要学习低频信息，收敛速度更快；不同于以往的深度学习，本发明将压缩的低分辨率视频数据作为深度学习网络的输入、原始高分辨率视频数据作为监督样本，因而深度学习训练过程能感知压缩造成的图像失真，如块效应、模糊效应，从而特别适合压缩图像的超分辨率重建。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种实施方式的加速视频超分辨率重建方法的模块连接示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
另外，术语“多个”的含义应为两个以及两个以上。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
一种加速视频超分辨率重建的方法，如图1所示，包括以下步骤：
步骤1：获取视频源，放入缓冲区，从缓冲区提取数据片段，接着从数据片段中逐一取出帧数据，将帧数据送入硬件待解码数据缓冲区或是软件待解码数据缓冲区；其中，缓冲区设置有解码上下文表，通过解码上下文表读出属性信息，便于从数据片段中逐一取出帧数据。
步骤2：软件解码线程和硬件解码线程分别将各自相应的缓冲区数据提取解码，并将解码结果和解码状态回传至缓冲区；
步骤3：验证解码状态并将解码结果从缓冲区输入到构建好的深度卷积网络，所述深度卷积神经网络的叠加层输出即为重建后的高分辨率视频数据，并重复步骤1、2选取相同或相近场景下的视频源组成的序列，构成高分辨率训练集；
所述深度卷积神经网络的训练过程包括：
步骤3.1：正向演练产生高分辨率视频源TB和低分辨率视频源TA，以组成数据集；
步骤3.2：预处理数据集，构建SRAGN训练集；
步骤3.3：利用训练数据集合训练SRAGN深度卷积神经网络，利用验证数据集合验证训练得到的SRAGN深度卷积神经网络是否过拟合以及测试网络的性能，训练完成后，利用测试数据集测试最优的SRAGN深度卷积神经网络的泛化能力；；
步骤4：对高分辨率视频数据进行下采样和编码失真处理，产生并构成低分辨率训练集；具体地，
步骤4.1：对于高分辨率视频数据，将其宽度和高度均下采样k倍，得到低分辨率视频数据，其中k为2-4的整数；
步骤4.2：将低分辨率视频数据按H.264进行视频编码，每个像素的码率不低于1.98bps，得到压缩的低分辨率视频数据；
步骤4.3：将压缩的低分辨率视频数据按H.264进行解码，得到并构成低分辨率训练集；
步骤5：将高低分辨率视频数据进行分块，并根据纹理结构的复杂性，将视频数据分为平坦块和粗糙块两类，收集到百万级别的视频数据作为深度学习网络的训练样本；
其中所述的视频数据分块及分类，其方法包含以下子步骤：
步骤5.1：将高、低分辨率视频数据均匀地划分成正方形图像块，低分辨率块尺寸为32×32像素，高分辨率块尺寸为32k×32k像素，其中k为2-4的整数；
步骤5.2：通过像素分布的一致性衡量图像内容复杂性，计算块内像素值的方差，方差超过预设门限的视为粗糙块，反之作为平坦块；
步骤6：利用平坦块训练内容简单的CNN网络sCNN，利用粗糙块训练内容复杂的CNN网络cCNN，从而编码重建时，内容简单的块使用sCNN网络，内容复杂的块使用cCNN网络；其中编码模式，包括帧内编码模式、帧间编码模式、跳过编码模式三种；
帧内编码模式下，宏块进一步细分为不同尺寸的子块编码，尺寸包括4×4、8×8和16×16；
帧间编码模式下，宏块进一步细分为不同尺寸的子块编码，尺寸包括4×4、4×8、8×4、8×8、8×16、16×8和16×16；
跳过编码模式下，整个16×16像素的宏块被跳过编码，不再细分。
步骤7：将重建的高分辨率视频数据进行拼接，并用滤波器改善拼接边缘的块效应，然后输出超分辨率重建视频。
本发明在处理视频数据时具有强大的解码加速能力，能在多种、多种解码器下快速切换，可以应对上千路的并发解码请求，并进行多路并发处理时不降低系统性能，特别是在进行硬件解码时，硬件解码线程通常只需将视频结构体指针传给硬件，后续的上下文切换、码流解复用直到输出解码帧都由硬件完成，因此与硬件相关的解码上下文切换管理代价很小，而且由于软件解码的通用处理器核与硬件解码单元共享高速缓存，若需要在软硬件之间传递解码上下文，彼此的地址互相可见，常常能够免去访存开销；另外，后续构建SRAGN或VDSR卷积神经网络，相较于现有BG，SIR算法而言计算速度更快且摆脱了对于系统点响应函数的依赖；模型能够直接学习视频数据中的高频信息，不需要学习低频信息，收敛速度更快；不同于以往的深度学习，本发明将压缩的低分辨率视频数据作为深度学习网络的输入、原始高分辨率视频数据作为监督样本，因而深度学习训练过程能感知压缩造成的图像失真，如块效应、模糊效应，从而特别适合压缩图像的超分辨率重建。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (6)
1.一种加速视频超分辨率重建的方法，其特征在于，包括以下步骤：
步骤1：获取视频源，放入缓冲区，从缓冲区提取数据片段，接着从数据片段中逐一取出帧数据，将帧数据送入硬件待解码数据缓冲区或是软件待解码数据缓冲区；
步骤2：软件解码线程和硬件解码线程分别将各自相应的缓冲区数据提取解码，并将解码结果和解码状态回传至缓冲区；
步骤3：验证解码状态并将解码结果从缓冲区输入到构建好的深度卷积网络，所述深度卷积神经网络的叠加层输出即为重建后的高分辨率视频数据，并重复步骤1、2选取相同或相近场景下的视频源组成的序列，构成高分辨率训练集；
所述深度卷积神经网络的训练过程包括：
步骤3.1：正向演练产生高分辨率视频源TB和低分辨率视频源TA，以组成数据集；
步骤3.2：预处理数据集，构建SRAGN或VDSR训练集；
步骤3.3：利用训练数据集合训练SRAGN或VDSR深度卷积神经网络，利用验证数据集合验证训练得到的SRAGN或VDSR深度卷积神经网络是否过拟合以及测试网络的性能，训练完成后，利用测试数据集测试最优的SRAGN或VDSR深度卷积神经网络的泛化能力；
步骤4：对高分辨率视频数据进行下采样和编码失真处理，产生并构成低分辨率训练集；
步骤5：将高低分辨率视频数据进行分块，并根据纹理结构的复杂性，将视频数据分为平坦块和粗糙块两类，收集到百万级别的视频数据作为深度学习网络的训练样本；
其中所述的视频数据分块及分类，其方法包含以下子步骤：
步骤5.1：将高、低分辨率视频数据均匀地划分成正方形图像块，低分辨率块尺寸为32×32像素，高分辨率块尺寸为32k×32k像素，其中k为2-4的整数；
步骤5.2：通过像素分布的一致性衡量图像内容复杂性，计算块内像素值的方差，方差超过预设门限的视为粗糙块，反之作为平坦块；
步骤6：利用平坦块训练内容简单的CNN网络sCNN，利用粗糙块训练内容复杂的CNN网络cCNN，从而编码重建时，内容简单的块使用sCNN网络，内容复杂的块使用cCNN网络；
步骤7：将重建的高分辨率视频数据进行拼接，并用滤波器改善拼接边缘的块效应，然后输出超分辨率重建视频。
2.根据权利要求1所述的一种加速视频超分辨率重建的方法，其特征在于，所述步骤1中，缓冲区设置有解码上下文表，通过解码上下文表读出属性信息，便于从数据片段中逐一取出帧数据。
3.根据权利要求1所述的一种加速视频超分辨率重建的方法，其特征在于，所述步骤4中，所述低分辨率训练集，其产生方法包括以下子步骤：
步骤4.1：对于高分辨率视频数据，将其宽度和高度均下采样k倍，得到低分辨率视频数据，其中k为2-4的整数；
步骤4.2：将低分辨率视频数据按H.264进行视频编码，每个像素的码率不低于1.98bps，得到压缩的低分辨率视频数据；
步骤4.3：将压缩的低分辨率视频数据按H.264进行解码，得到并构成低分辨率训练集。
4.根据权利要求1所述的一种加速视频超分辨率重建的方法，其特征在于，所述步骤6中的编码模式，包括帧内编码模式、帧间编码模式、跳过编码模式三种；
帧内编码模式下，宏块进一步细分为不同尺寸的子块编码，尺寸包括4×4、8×8和16×16；
帧间编码模式下，宏块进一步细分为不同尺寸的子块编码，尺寸包括4×4、4×8、8×4、8×8、8×16、16×8和16×16；
跳过编码模式下，整个16×16像素的宏块被跳过编码，不再细分。
5.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一所述的加速视频超分辨率重建方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的加速视频超分辨率重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010302468.1A CN111539874A (zh) | 2020-04-15 | 2020-04-15 | 一种加速视频超分辨率重建的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010302468.1A CN111539874A (zh) | 2020-04-15 | 2020-04-15 | 一种加速视频超分辨率重建的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111539874A true CN111539874A (zh) | 2020-08-14 |
Family
ID=71975025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010302468.1A Pending CN111539874A (zh) | 2020-04-15 | 2020-04-15 | 一种加速视频超分辨率重建的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111539874A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113068029A (zh) * | 2021-03-02 | 2021-07-02 | 北京四达时代软件技术股份有限公司 | 用于移动端的视频解码方法、系统、存储介质及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110085742A1 (en) * | 2009-10-14 | 2011-04-14 | Ron Maurer | Fast image resolution enhancement with de-pixeling |
| CN104683860A (zh) * | 2015-02-02 | 2015-06-03 | 北京神州天脉网络计算机有限公司 | 一种音视频多路并发解码加速卡及其解码加速方法 |
| CN106960416A (zh) * | 2017-03-20 | 2017-07-18 | 武汉大学 | 一种内容复杂性自适应的视频卫星压缩图像超分辨率方法 |
| CN109461120A (zh) * | 2018-09-19 | 2019-03-12 | 华中科技大学 | 一种基于srgan的微波遥感亮温图像重构方法 |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
-
2020
- 2020-04-15 CN CN202010302468.1A patent/CN111539874A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110085742A1 (en) * | 2009-10-14 | 2011-04-14 | Ron Maurer | Fast image resolution enhancement with de-pixeling |
| CN104683860A (zh) * | 2015-02-02 | 2015-06-03 | 北京神州天脉网络计算机有限公司 | 一种音视频多路并发解码加速卡及其解码加速方法 |
| CN106960416A (zh) * | 2017-03-20 | 2017-07-18 | 武汉大学 | 一种内容复杂性自适应的视频卫星压缩图像超分辨率方法 |
| CN109461120A (zh) * | 2018-09-19 | 2019-03-12 | 华中科技大学 | 一种基于srgan的微波遥感亮温图像重构方法 |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113068029A (zh) * | 2021-03-02 | 2021-07-02 | 北京四达时代软件技术股份有限公司 | 用于移动端的视频解码方法、系统、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110300977B (zh) | 用于图像处理和视频压缩的方法 | |
| Zhang et al. | Image compressive sensing recovery via collaborative sparsity | |
| CN112102212B (zh) | 一种视频修复方法、装置、设备及存储介质 | |
| DE102019112578A1 (de) | Bereichsbasierte Bewegungsschätzung und -modellierung zur genauen bereichsbasierten Bewegungskompensation zur effizienten Videoverarbeitung oder -codierung | |
| Zhao et al. | Image super-resolution via adaptive sparse representation | |
| CN111127325B (zh) | 基于循环神经网络的卫星视频超分辨率重建方法及系统 | |
| CN110418139B (zh) | 一种视频超分辨修复方法、装置、设备及存储介质 | |
| CN114363623A (zh) | 图像处理方法、装置、介质及电子设备 | |
| CN111586412B (zh) | 高清视频处理方法、主设备、从设备和芯片系统 | |
| CN110830808A (zh) | 一种视频帧重构方法、装置及终端设备 | |
| CN108280804A (zh) | 一种多帧图像超分辨率重建方法 | |
| CN111800630A (zh) | 一种视频超分辨率重建的方法、系统及电子设备 | |
| US9706220B2 (en) | Video encoding method and decoding method and apparatuses | |
| Peter | Fast inpainting-based compression: Combining Shepard interpolation with joint inpainting and prediction | |
| CN111754399A (zh) | 基于梯度的保持几何结构的图像超分辨率方法 | |
| CN105931189A (zh) | 一种基于改进超分辨率参数化模型的视频超分辨率方法及装置 | |
| Sun et al. | A quality enhancement framework with noise distribution characteristics for high efficiency video coding | |
| CN111539874A (zh) | 一种加速视频超分辨率重建的方法及装置 | |
| CN110084742A (zh) | 一种视差图预测方法、装置及电子设备 | |
| CN112601095B (zh) | 一种视频亮度和色度分数插值模型的创建方法及系统 | |
| CN104732508B (zh) | 基于分布式压缩感知的图像融合方法 | |
| US11928855B2 (en) | Method, device, and computer program product for video processing | |
| CN114463189A (zh) | 一种基于密集残差型UNet的图像信息解析建模方法 | |
| CN116912345B (zh) | 一种人像动漫化处理方法、装置、设备和存储介质 | |
| CN116708793B (zh) | 视频的传输方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200814 |