CN112218072B - 一种基于解构压缩和融合的视频编码方法 - Google Patents

一种基于解构压缩和融合的视频编码方法 Download PDF

Info

Publication number
CN112218072B
CN112218072B CN202011076173.3A CN202011076173A CN112218072B CN 112218072 B CN112218072 B CN 112218072B CN 202011076173 A CN202011076173 A CN 202011076173A CN 112218072 B CN112218072 B CN 112218072B
Authority
CN
China
Prior art keywords
frame
resolution
motion
time domain
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011076173.3A
Other languages
English (en)
Other versions
CN112218072A (zh
Inventor
陆明
马展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202011076173.3A priority Critical patent/CN112218072B/zh
Publication of CN112218072A publication Critical patent/CN112218072A/zh
Application granted granted Critical
Publication of CN112218072B publication Critical patent/CN112218072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Abstract

本发明公开了一种基于解构压缩和融合的视频编码方法。该方法基于视频编码中分辨率信息的冗余，将视频序列帧解构为高分辨率的空域纹理帧和低分辨率的时域运动帧进行编码，并利用基于深度学习的超分辨率方法恢复解码后的低分辨率时域运动帧至高保真的原有分辨率，达到编码效率提升。具体步骤为：(1)生成训练使用的图像块组合，作为监督训练数据集；(2)构建损失函数，使用优化器分别单独训练不同压缩率下的超分辨率网络；(3)构建损失函数，使用优化器端到端优化整个网络；(4)使用优化后的超分辨率网络对解构编码的视频中低分辨率时域运动帧进行超分辨率，恢复原有分辨率下的图像纹理和运动细节，提升整体视频编码效率。

Description

一种基于解构压缩和融合的视频编码方法
技术领域
本发明涉及视频压缩领域及图像视频超分辨率技术领域，具体涉及一种基于解构压缩和融合的视频编码方法。
背景技术
视频应用在以互联网为载体的流媒体服务领域无处不在，其与日俱增的流行度带来了越来越多的视频传输和存储需求，而高效的视频压缩技术正是实现这一需求最重要的环节之一。基于此，在过去三十几年间，著名的视频编码标准依次提出并开展了相应阶段的工作，包括H.264/AVC，H.265/HEVC以及最近新兴的H.266/VVC，都在前代编码标准的基础上取得了性能的飞跃，满足了一定的传输存储需求。另一方面，随着过去几年深度学习的长足进步，一系列基于深度学习的视频编码技术也应运而生，并取得了相比传统方法非常可观的压缩效率提升。
综合来看，以上方法都试图去探索视频帧内帧间的信息冗余，来得到更加紧凑的信息表达。绝大部分工作都基于固定每一帧的分辨率进行编码，以此保证解码还原后恢复原有分辨率而不丢失空间信息。该先决条件一定程度上限制了进一步减少序列的冗余，尤其是时域连贯性下的空间分辨率冗余。
基于人类视觉系统的先验，视频信息可以解构为纹理信息、运动信息等，而运动信息可以理解为连贯性语义行为，即使是稀疏分布的多小块像素即可包含全部运动信息。因此，如果将序列帧解构为保存空域纹理信息的帧和保存时域运动信息的帧，而保存时域运动信息的帧可以以更低分辨率编码传输，并通过超分辨率算法在解码端将其恢复至高保真的原始分辨率帧，时域连续帧的空间分辨率冗余可以得到进一步减少，并达到编码效率的提升。
基于深度学习的超分辨率算法相比传统的插值算法可以带来更好的图像质量，借助于临近帧的参考，能够恢复更多的图像细节，尤其是消除本身的运动模糊以及压缩带来的噪声。与此同时，有参考的超分辨率技术提供了恢复高质量高分辨率的另一种思路。借助于低分辨率图片和高分辨率参考帧的语义联系，低分辨率图片可以借助高分辨率图片保留更为完好的高频信息恢复空间纹理细节。
依据解构视频帧为高分辨率的空域纹理帧和低分辨率的时域运动帧输入编码并在解码端通过基于深度学习的超分辨率算法恢复时间运动帧至原始分辨率，可以利用现有编码器框架，达到更好的编码性能。对于满足日益增长的视频应用需求和降低昂贵的带宽消耗，都有非常重要的现实意义和应用价值。
发明内容
针对现有视频编码器编码性能的不足，本发明的目的在于提出一种编码效率更高的基于解构压缩和融合的视频编码方法，
为达上述目的，本发明采用的技术方案如下：
一种基于解构压缩和融合的视频编码方法，该方法的步骤为：将视频解构为空域纹理帧和时域运动帧，对空域纹理帧使用编码器帧内编码模式编码，对时域运动帧首先经双立方插值下采样，后使用编码器帧间编码模式编码，在解码端使用由运动补偿网络和纹理迁移网络组成的超分辨率网络恢复时域运动帧原有分辨率下的图像纹理和运动细节。
所述方法的具体步骤包括：
步骤1，生成训练使用的图像块组合：将采集的每个训练视频帧解构为高分辨率的空域纹理帧和经下采样的低分辨率时域运动帧，使用编码器依次编码并解码，获取带压缩噪声的视频序列帧；将前后各两帧和当前帧共五帧的低分辨率时域运动帧以及最邻近高分辨率空域纹理帧组成输入图像组合，并将对应当前帧高分辨率未编码的原始帧作为真实值标签，一起作为监督训练的数据集；
步骤2，构建解码端超分辨率网络，包括运动补偿网络和非局部纹理迁移网络，用于对解码后的低分辨率时域运动帧进行超分辨率处理；
步骤3，构建损失函数，使用优化器分别单独训练不同压缩率下的超分辨率网络；
步骤4，使用优化后的超分辨率网络对解构编码的视频中低分辨率时域运动帧进行超分辨率，恢复原有分辨率下的图像纹理和运动细节，提升整体视频编码效率。
本发明首先将视频解构为空域纹理帧和时域运动帧，对空域纹理帧使用编码器帧内编码模式编码，对时域运动帧首先经双立方插值下采样，后使用编码器帧间编码模式编码，在解码端使用由运动补偿网络和纹理迁移网络组成的超分辨率网络恢复时域运动帧。相比于现有方法，本方法通过前端解构采样和后端超分融合的方式，基于现有的编码标准框架，大大提升了视频编码的压缩性能。
附图说明
图1为本发明方法的流程图。
图2为本发明方法的模块实现框架图。
图3为本发明方法中运动补偿网络的实施例图。
图4为本发明方法中运动补偿网络使用到的条件卷积的实施例图。
图5为本发明方法中非局部纹理迁移网络的实施例图。
图6为本发明方法中非局部纹理迁移网络中特征融合模块的实施例图。
具体实施方式
下面将结合附图及具体实施例对本发明进行详细描述。
参照图1，本实施例的一种基于解构压缩和融合的视频编码方法，首先将视频解构为空域纹理帧和时域运动帧，对空域纹理帧使用编码器帧内编码模式编码，对时域运动帧首先经双立方插值下采样，后使用编码器帧间编码模式编码，在解码端使用由运动补偿网络和纹理迁移网络组成的超分辨率网络恢复时域运动帧原有分辨率下的图像纹理和运动细节，提升整体视频编码性能。具体步骤如下：
步骤1，将采集的每个训练视频帧解构为高分辨率的空域纹理帧和经下采样的低分辨率时域运动帧，使用编码器依次编码并解码，获取带压缩噪声的视频序列帧，将前后临近和当前的低分辨率时域运动帧(此处选用前后各两帧和当前帧共五帧)以及最邻近高分辨率空域纹理帧组成输入图像组合，并将对应当前帧高分辨率未编码的原始帧作为真实值标签，一起作为监督训练的数据集。
步骤11，对每个采集到的训练视频解构逻辑对应编码模式选择，采用帧内编码模式的帧被认定为空域纹理帧，保持分辨率不变，编码后解码并使用双立方插值下采样为原有分辨率的一半作为后续帧的参考帧。
步骤12，采用帧间编码模式的帧被认定为时域运动帧，首先使用双立方插值降采样到原有分辨率的一半，并在低分辨率下进行编码，参考关系保持编码器原始编码设置不变。
步骤13，分别采用不同的量化参数控制压缩率得到不同压缩率的训练视频，针对不同压缩率的训练视频分别制作对应的训练数据集。
步骤14，在获得的5帧低分辨率时域运动帧上随机裁剪对应位置64x64的图像块，高分辨率空域纹理帧上对应位置128x128的图像块，以及对应帧高分辨率真实值标签上128x128的图像块，对于YUV格式的视频只采用Y通道，并随机垂直、水平翻转，作为网络训练输入。
步骤2，构建解码端超分辨率网络，包括运动补偿网络和非局部纹理迁移网络，用于对解码后的低分辨率时域运动帧进行超分辨率处理。
步骤21，构建运动补偿网络的运动对齐模块，如图3所示，使用多尺度卷积网络层分别提取当前帧和临近帧的多尺度特征，对各个尺度的两帧特征利用卷积提取特征偏移量，将各个尺度的偏移量作用到可变形卷积的卷积核上，按照金字塔型可变形卷积结构，从低尺度到高尺度依次将临近帧特征对齐到当前帧特征，得到相邻帧对当前帧的运动表示。
步骤22，构建运动补偿网络的特征融合模块，如图3所示，依次使用时间注意力机制，通道注意力机制和空间注意力机制对对齐的相邻帧和当前帧的特征进行融合，注意力机制模块网络解构已在图3标注，得到补偿融合后的低分辨率时域运动帧的运动特征表达。具体来讲，时间注意力机制将对齐的临近帧和当前帧各自输入卷积核大小为3x3的卷积网络，随后将两种特征做点积运算，经Sigmoid激活层得到临近帧相较于当前帧的时间注意力权重，将权重点乘到临近帧上得到加权后的临近帧特征，所有临近帧加权后融合所有帧，通过通道注意力机制，给所有帧的所有通道加权。权重值来自于依次经过全局平均池化，3x3卷积，ReLU激活层，3x3卷积以及Sigmoid激活层。空间注意力机制有别于通道注意力机制，即在特征图上逐点计算权重值，得到最后加权融合后的运动特征图
Figure BDA0002716658350000041
步骤23，构建运动补偿网络，使用条件卷积替换网络中所有的普通卷积，如图4所示，条件卷积针对编码器质量波动引起网络收敛效果不好的问题，将帧质量情况τ作为输入，经独热编码变换后，一路与全连接层做计算，再由Softplus激活层生成缩放因子s(τ)，另一路与全连接层计算得到偏置因子b(τ)。将缩放因子s(τ)和偏置因子b(τ)作用在原有卷积上，使卷积自动适配不同压缩情况，帮助网络更好收敛。如，在运动对齐模块中，条件卷积可以适应高质量帧向低质量帧对齐以及低质量帧向高质量帧对齐的不同情况，以及在特征融合模块中，条件卷积可以适应多帧融合时帧质量分布情况。
步骤24，构建非局部纹理迁移网络，如图5所示，将低分辨率时域运动帧上采样，高分辨率空域纹理帧下采样再上采样，高分辨率空域纹理帧本身输入经预训练过的语义分类网络(如VGG19)，分别提取多尺度语义特征Q，K，V，在第三个尺度下(即高分辨率空域纹理帧的1/4分辨率)，计算低分辨率时域运动帧上采样ki和高分辨率空域纹理帧下采样再上采样对应的特征qj的非局部相关性。具体来说，分别以3x3作为滑动窗口提取各自特征图上的局部特征块，使用余弦相似性度量函数
Figure BDA0002716658350000051
逐块计算L2范数标准化后的块间相似性，并在空域纹理帧下采样再上采样的特征块qj中找到对应每一时域运动帧上采样特征块的最相似块，得到对应的相似性系数ai，以及最相似块对应的索引pi，依据索引从空域纹理帧本身找到对应的特征块vpi。插值得到更大两个分辨率特征间的相似性和特征块
Figure BDA0002716658350000052
将步骤22中得到的补偿后的时域运动帧的运动特征表达
Figure BDA0002716658350000053
和纹理迁移网络新得到的特征块以及对应的相似性融合得到最终的输出，如图6所示，即得到高分辨率高保真的时域运动帧。
步骤3，使用最小绝对值偏差构建损失函数，使用Adam优化器分别单独训练不同压缩率下的超分辨率网络。
步骤4，使用优化后的超分辨率网络对解构编码的视频中低分辨率时域运动帧进行超分辨率，恢复原有分辨率下的图像纹理和运动细节，提升整体视频编码效率。
步骤41，同步骤11和步骤12，如图2所示，将需要编码的视频解构为空域纹理帧和时域运动帧，结构逻辑对应编码模式。采用帧内编码模式的帧被认定为空域纹理帧，保持分辨率不变，编码后解码并使用双立方插值下采样为原有分辨率的一半作为后续帧的参考帧。采用帧间编码模式的帧被认定为时域运动帧，首先使用双立方插值降采样到原有分辨率的一半，并在低分辨率下进行编码，参考关系保持编码器原始编码设置不变。
步骤42，根据编码选择的量化参数数值，选择对应训练的超分辨率模型，对解码后时域运动帧进行恢复。将需要恢复的时域运动帧作为中间帧，选择其前后各两帧时域运动帧和当前帧一起输入运动补偿网络得到补偿后的当前帧的运动表示。将当前时域运动帧经双立方插值上采样，最邻近高分辨率空域纹理帧本身以及其经双立方插值下采样再上采样一起输入非局部纹理迁移网络，得到最终恢复的高质量高分辨率的时域运动帧，以此提高压缩效率。

Claims (3)

1.一种基于解构压缩和融合的视频编码方法，其特征在于，该方法的步骤为：将视频解构为空域纹理帧和时域运动帧，对空域纹理帧使用编码器帧内编码模式编码，对时域运动帧首先经双立方插值下采样，后使用编码器帧间编码模式编码，在解码端使用由运动补偿网络和纹理迁移网络组成的超分辨率网络恢复时域运动帧原有分辨率下的图像纹理和运动细节；所述方法的具体步骤包括：
步骤1，生成训练使用的图像块组合：将采集的每个训练视频帧解构为高分辨率的空域纹理帧和经下采样的低分辨率时域运动帧，使用编码器依次编码并解码，获取带压缩噪声的视频序列帧；将前后各两帧和当前帧共五帧的低分辨率时域运动帧以及最邻近高分辨率空域纹理帧组成输入图像组合，并将对应当前帧高分辨率未编码的原始帧作为真实值标签，一起作为监督训练的数据集；
步骤2，构建解码端超分辨率网络，包括运动补偿网络和非局部纹理迁移网络，用于对解码后的低分辨率时域运动帧进行超分辨率处理；具体步骤包括：
步骤21，构建运动补偿网络的运动对齐模块：使用多尺度卷积网络层分别提取当前帧和邻近帧的多尺度特征，对各个尺度的两帧特征利用卷积提取卷积核偏移量，将偏移量作用到可变形卷积的卷积核上，从低尺度到高尺度依次将邻近帧特征对齐到当前帧特征，得到相邻帧对当前帧的运动表示；
步骤22，构建运动补偿网络的特征融合模块：依次使用时间注意力机制，通道注意力机制和空间注意力机制对对齐的相邻帧和当前帧的特征进行融合，得到补偿融合后的低分辨率时域运动帧的运动特征表达；
步骤23，构建运动补偿网络：使用条件卷积替换网络中运动对齐模块和特征融合模块中所有的普通卷积，将帧质量情况即量化参数作为输入，经独热编码变换后与全连接层做卷积计算生成缩放因子和偏置因子作用在原始普通卷积上，调整卷积权重以自动适配不同压缩情况，帮助网络更好收敛；
步骤24，构建非局部纹理迁移网络，将低分辨率时域运动帧上采样，高分辨率空域纹理帧下采样再上采样，高分辨率空域纹理帧本身输入经预训练过的语义分类网络，提取多尺度语义特征，在第三个尺度下计算低分辨率时域运动帧上采样和高分辨率空域纹理帧下采样再上采样对应的特征的非局部相关性，分别以3x3作为滑动窗口提取特征块，使用余弦相似性度量函数逐块计算L2范数标准化后的块间相似性，并在空域纹理帧下采样再上采样的特征块中找到对应每一时域运动帧上采样特征块的最相似块，得到对应的相似性系数，以及最相似块对应的索引，依据索引从空域纹理帧本身找到对应的特征块；插值得到更大两个分辨率特征间的相似性和索引位置；
步骤25，将所述特征融合模块得到的补偿融合后的时域运动帧的运动特征表达和所述非局部纹理迁移网络新得到的特征以及对应的相似性融合得到最终的输出，即高分辨率高保真的时域运动帧；
步骤3，构建损失函数，使用优化器分别单独训练不同压缩率下的超分辨率网络；
步骤4，使用优化后的超分辨率网络对解构编码的视频中低分辨率时域运动帧进行超分辨率重建，恢复原有分辨率下的图像纹理和运动细节，提升整体视频编码效率。
2.根据权利要求1所述的一种基于解构压缩和融合的视频编码方法，其特征在于，步骤1中，对采集的训练视频的解构和编码的具体步骤包括：
步骤11，对每个采集到的训练视频解构逻辑对应编码模式选择，采用帧内编码模式的帧被认定为空域纹理帧，保持分辨率不变，编码后解码并使用双立方插值下采样为原有分辨率的一半作为后续帧的参考帧；
步骤12，采用帧间编码模式的帧被认定为时域运动帧，首先使用双立方插值降采样到原有分辨率的一半，并在低分辨率下进行编码，参考关系保持编码器原始编码设置不变；
步骤13，分别采用不同的量化参数控制压缩率得到不同压缩率的训练视频，针对不同压缩率的训练视频分别制作对应的训练数据集；
步骤14，在获得的五帧低分辨率时域运动帧上随机裁剪对应位置64x64的图像块，高分辨率空域纹理帧上对应位置128x128的图像块，以及对应帧高分辨率真实值标签上128x128的图像块，对于YUV格式的视频只采用Y通道，并随机垂直、水平翻转，作为网络训练输入。
3.根据权利要求1所述的一种基于解构压缩和融合的视频编码方法，其特征在于，步骤4中，恢复原有分辨率下的图像纹理和运动细节的具体步骤包括：
步骤41，将需要编码的视频解构为空域纹理帧和时域运动帧，结构逻辑对应编码模式；采用帧内编码模式的帧被认定为空域纹理帧，保持分辨率不变，编码后解码并使用双立方插值下采样为原有分辨率的一半作为后续帧的参考帧；采用帧间编码模式的帧被认定为时域运动帧，首先使用双立方插值降采样到原有分辨率的一半，并在低分辨率下进行编码，参考关系保持编码器原始编码设置不变；
步骤42，根据编码选择的量化参数数值，选择对应训练的超分辨率网络，对解码后时域运动帧进行恢复；将需要恢复的时域运动帧作为中间帧，选择其前后各两帧时域运动帧和当前帧一起输入运动补偿网络得到补偿后的当前帧的运动表示；将当前时域运动帧经双立方插值上采样，最邻近高分辨率空域纹理帧本身以及其经双立方插值下采样再上采样一起输入非局部纹理迁移网络，得到最终恢复的高质量高分辨率的时域运动帧。
CN202011076173.3A 2020-10-10 2020-10-10 一种基于解构压缩和融合的视频编码方法 Active CN112218072B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011076173.3A CN112218072B (zh) 2020-10-10 2020-10-10 一种基于解构压缩和融合的视频编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011076173.3A CN112218072B (zh) 2020-10-10 2020-10-10 一种基于解构压缩和融合的视频编码方法

Publications (2)

Publication Number Publication Date
CN112218072A CN112218072A (zh) 2021-01-12
CN112218072B true CN112218072B (zh) 2023-04-07

Family

ID=74052965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011076173.3A Active CN112218072B (zh) 2020-10-10 2020-10-10 一种基于解构压缩和融合的视频编码方法

Country Status (1)

Country Link
CN (1) CN112218072B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767250B (zh) * 2021-01-19 2021-10-15 南京理工大学 一种基于自监督学习的视频盲超分辨率重建方法及系统
CN113365079B (zh) * 2021-06-01 2023-05-30 闽南师范大学 一种基于超分辨率网络的视频编码分像素运动补偿方法
CN114119371B (zh) * 2021-11-25 2023-01-10 北京百度网讯科技有限公司 视频超分模型训练方法和装置、视频超分处理方法和装置
CN114202463B (zh) * 2021-12-15 2024-02-23 陕西师范大学 面向云端融合的视频超分辨率方法及系统
CN114266702B (zh) * 2022-03-01 2022-07-15 清华大学 基于压缩感知和深度光学的高速超分辨成像方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075743B (zh) * 2009-11-24 2014-03-12 华为技术有限公司 视频编码方法及装置、视频解码方法及装置
CN104244006B (zh) * 2014-05-28 2019-02-26 北京大学深圳研究生院 一种基于图像超分辨率的视频编解码方法及装置
CN108989818B (zh) * 2017-05-31 2020-12-08 深圳市中兴微电子技术有限公司 一种图像编码参数调整方法及装置
CN109905717A (zh) * 2017-12-11 2019-06-18 四川大学 一种基于空时域下采样与重建的h.264/avc编码优化方法
CN110493596B (zh) * 2019-09-02 2021-09-17 西北工业大学 一种基于神经网络的视频编码系统及方法
CN110969577B (zh) * 2019-11-29 2022-03-11 北京交通大学 一种基于深度双重注意力网络的视频超分辨率重建方法

Also Published As

Publication number Publication date
CN112218072A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN112218072B (zh) 一种基于解构压缩和融合的视频编码方法
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN112991183B (zh) 一种基于多帧注意力机制渐进式融合的视频超分辨率方法
CN111885280B (zh) 一种混合卷积神经网络视频编码环路滤波方法
WO2023000179A1 (zh) 视频超分辨网络及视频超分辨、编解码处理方法、装置
CN111586412B (zh) 高清视频处理方法、主设备、从设备和芯片系统
WO2019056898A1 (zh) 一种编码、解码方法及装置
CN110751597A (zh) 基于编码损伤修复的视频超分辨方法
CN110706155B (zh) 一种视频超分辨率重建方法
CN113066022B (zh) 一种基于高效时空信息融合的视频比特增强方法
CN111711817A (zh) 一种结合卷积神经网络的hevc帧内编码压缩性能优化研究
CN115689917A (zh) 一种基于深度学习的高效时空超分辨率视频压缩复原方法
CN111726614A (zh) 一种基于空域下采样与深度学习重建的hevc编码优化方法
CN113132735A (zh) 一种基于视频帧生成的视频编码方法
CN113850718A (zh) 一种基于帧间特征对齐的视频同步时空超分方法
CN114757828A (zh) 基于Transformer的视频时空超分辨率方法
CN113068041B (zh) 一种智能仿射运动补偿编码方法
CN111726638A (zh) 一种结合去压缩效应与超分辨率的hevc编码优化方法
CN114202463A (zh) 面向云端融合的视频超分辨率方法及系统
CN113055674B (zh) 一种基于两阶段多帧协同的压缩视频质量增强方法
CN111726636A (zh) 一种基于时域下采样与帧率上转换的hevc编码优化方法
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
CN115131254A (zh) 一种基于双域学习的恒定码率压缩视频质量增强方法
CN112533026A (zh) 基于卷积神经网络的视频插帧方法
CN117528085B (zh) 一种基于智能特征聚类的视频压缩编码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant