CN115567719A - 一种多层次卷积的视频压缩方法和系统 - Google Patents

一种多层次卷积的视频压缩方法和系统 Download PDF

Info

Publication number
CN115567719A
CN115567719A CN202211013861.4A CN202211013861A CN115567719A CN 115567719 A CN115567719 A CN 115567719A CN 202211013861 A CN202211013861 A CN 202211013861A CN 115567719 A CN115567719 A CN 115567719A
Authority
CN
China
Prior art keywords
frame
data
video
current frame
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211013861.4A
Other languages
English (en)
Inventor
孙涛
孙中民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Guorui Digital Safety System Co ltd
Original Assignee
Tianjin Guorui Digital Safety System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Guorui Digital Safety System Co ltd filed Critical Tianjin Guorui Digital Safety System Co ltd
Priority to CN202211013861.4A priority Critical patent/CN115567719A/zh
Publication of CN115567719A publication Critical patent/CN115567719A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种多层次卷积的视频压缩方法和系统,通过当前帧与前后帧的帧间运动矢量对当前帧进行补偿,可以强化当前帧的一些特征向量,由此再进行与参考帧的差值估计、语义分析得到词含义的相似度计算、以及通过转置矩阵计算相关度,剔除非关键帧后,最后进行压缩,可以克服现有技术单帧视频质量增强局限性的问题。

Description

一种多层次卷积的视频压缩方法和系统
技术领域
本申请涉及网络多媒体领域,尤其涉及一种多层次卷积的视频压缩方法和系统。
背景技术
传统的编解码标准通过去方块滤波和样点自适应技术对压缩视频质量有了一定的提升,但是实际取得的效果却很有限,使得视频帧产生的细节信息损失。同时现有的视频质量增强方法还存在一定的局限性,一些方法突出在单帧的视频增强,却忽略了帧与帧之间的时间和空间的相关性。
因此,急需一种针对性的多层次卷积的视频压缩方法和系统。
发明内容
本发明的目的在于提供一种多层次卷积的视频压缩方法和系统,用于解决现有技术单帧视频质量增强局限性的问题。
第一方面,本申请提供一种多层次卷积的视频压缩方法,所述方法包括:
获取视频数据流,对所述视频数据流进行分帧处理,得到以帧为单位的第一数据;
提取所述第一数据的当前帧与前一帧的第一帧间运动矢量,以及提取该当前帧与后一帧的第二帧间运动矢量,基于所述第一帧间运动矢量和第二帧间运动矢量对当前帧进行补偿,所述补偿是将帧间运动矢量作为扩充视频质量增强的输入数据,强化当前帧的特征向量;
在时域时间线上连续进行前后帧间运动矢量补偿,得到第二数据;
将所述第二数据的每一帧与参考帧进行差值运算,对所述差值进行估计,若差值在预设范围内,则表明该帧与参考帧差别不大,不是关键帧,将该帧从所述第二数据中剔除出去;
将差值运算后的第二数据的逐个帧输入语义分析模型,得到词含义,将当前帧的词含义与前后帧的词含义计算相似度,当相似度结果高于第一阈值时,则表明该当前帧与前后帧存在伪影,剔除该当前帧,得到第三数据;
将所述第三数据输入到向量矩阵模板中,得到第一向量矩阵P1,计算该第一向量矩阵P1的转置矩阵T1;将所述参考帧输入到向量矩阵模板中,得到参考矩阵P2,计算该参考矩阵P2的转置矩阵T2,计算T1与T2的相关度,剔除所述相关度值高于第二阈值的帧,得到第四数据,从而保留住视频的细节部分;
对所述第四数据进行压缩编码,得到压缩数据流,发送给下一级设备;
接收并解压缩对方设备发送的压缩数据流。
第二方面,本申请提供一种多层次卷积的视频压缩系统,所述系统包括:
获取单元,用于获取视频数据流,对所述视频数据流进行分帧处理,得到以帧为单位的第一数据;
预处理单元,用于提取所述第一数据的当前帧与前一帧的第一帧间运动矢量,以及提取该当前帧与后一帧的第二帧间运动矢量,基于所述第一帧间运动矢量和第二帧间运动矢量对当前帧进行补偿,所述补偿是将帧间运动矢量作为扩充视频质量增强的输入数据,强化当前帧的特征向量;在时域时间线上连续进行前后帧间运动矢量补偿,得到第二数据;
再处理单元,用于将所述第二数据的每一帧与参考帧进行差值运算,对所述差值进行估计,若差值在预设范围内,则表明该帧与参考帧差别不大,不是关键帧,将该帧从所述第二数据中剔除出去;将差值运算后的第二数据的逐个帧输入语义分析模型,得到词含义,将当前帧的词含义与前后帧的词含义计算相似度,当相似度结果高于第一阈值时,则表明该当前帧与前后帧存在伪影,剔除该当前帧,得到第三数据;
相关度计算单元,用于将所述第三数据输入到向量矩阵模板中,得到第一向量矩阵P1,计算该第一向量矩阵P1的转置矩阵T1;将所述参考帧输入到向量矩阵模板中,得到参考矩阵P2,计算该参考矩阵P2的转置矩阵T2,计算T1与T2的相关度,剔除所述相关度值高于第二阈值的帧,得到第四数据,从而保留住视频的细节部分;
压缩单元,用于对所述第四数据进行压缩编码,得到压缩数据流,发送给下一级设备;
解压单元,用于接收并解压缩对方设备发送的压缩数据流。
第三方面,本申请提供一种多层次卷积的视频压缩系统,所述系统包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行第一方面四种可能中任一项所述的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行第一方面四种可能中任一项所述的方法。
有益效果
本发明提供一种多层次卷积的视频压缩方法和系统,通过当前帧与前后帧的帧间运动矢量对当前帧进行补偿,可以强化当前帧的一些特征向量,由此再进行与参考帧的差值估计、语义分析得到词含义的相似度计算、以及通过转置矩阵计算相关度,剔除非关键帧后,最后进行压缩,可以克服现有技术单帧视频质量增强局限性的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种多层次卷积的视频压缩方法的流程图;
图2为本发明一种多层次卷积的视频压缩系统的架构图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
图1为本申请提供的多层次卷积的视频压缩方法的流程图,包括:
获取视频数据流,对所述视频数据流进行分帧处理,得到以帧为单位的第一数据;
提取所述第一数据的当前帧与前一帧的第一帧间运动矢量,以及提取该当前帧与后一帧的第二帧间运动矢量,基于所述第一帧间运动矢量和第二帧间运动矢量对当前帧进行补偿,所述补偿是将帧间运动矢量作为扩充视频质量增强的输入数据,强化当前帧的特征向量;
在时域时间线上连续进行前后帧间运动矢量补偿,得到第二数据;
将所述第二数据的每一帧与参考帧进行差值运算,对所述差值进行估计,若差值在预设范围内,则表明该帧与参考帧差别不大,不是关键帧,将该帧从所述第二数据中剔除出去;
将差值运算后的第二数据的逐个帧输入语义分析模型,得到词含义,将当前帧的词含义与前后帧的词含义计算相似度,当相似度结果高于第一阈值时,则表明该当前帧与前后帧存在伪影,剔除该当前帧,得到第三数据;
将所述第三数据输入到向量矩阵模板中,得到第一向量矩阵P1,计算该第一向量矩阵P1的转置矩阵T1;将所述参考帧输入到向量矩阵模板中,得到参考矩阵P2,计算该参考矩阵P2的转置矩阵T2,计算T1与T2的相关度,剔除所述相关度值高于第二阈值的帧,得到第四数据,从而保留住视频的细节部分;
对所述第四数据进行压缩编码,得到压缩数据流,发送给下一级设备;
接收并解压缩对方设备发送的压缩数据流。
在一些优选实施例中,所述获取视频数据流,包括根据不同的平台预先设置不同的获取策略,获取多个不同平台的视频数据流。
在一些优选实施例中,所述获取多个不同平台的视频数据流包括对所述视频数据流的加密编解码。
在一些优选实施例中,所述压缩编码包括量化编码。
图2为本申请提供的多层次卷积的视频压缩系统的架构图,所述系统包括:
获取单元,用于获取视频数据流,对所述视频数据流进行分帧处理,得到以帧为单位的第一数据;
预处理单元,用于提取所述第一数据的当前帧与前一帧的第一帧间运动矢量,以及提取该当前帧与后一帧的第二帧间运动矢量,基于所述第一帧间运动矢量和第二帧间运动矢量对当前帧进行补偿,所述补偿是将帧间运动矢量作为扩充视频质量增强的输入数据,强化当前帧的特征向量;在时域时间线上连续进行前后帧间运动矢量补偿,得到第二数据;
再处理单元,用于将所述第二数据的每一帧与参考帧进行差值运算,对所述差值进行估计,若差值在预设范围内,则表明该帧与参考帧差别不大,不是关键帧,将该帧从所述第二数据中剔除出去;将差值运算后的第二数据的逐个帧输入语义分析模型,得到词含义,将当前帧的词含义与前后帧的词含义计算相似度,当相似度结果高于第一阈值时,则表明该当前帧与前后帧存在伪影,剔除该当前帧,得到第三数据;
相关度计算单元,用于将所述第三数据输入到向量矩阵模板中,得到第一向量矩阵P1,计算该第一向量矩阵P1的转置矩阵T1;将所述参考帧输入到向量矩阵模板中,得到参考矩阵P2,计算该参考矩阵P2的转置矩阵T2,计算T1与T2的相关度,剔除所述相关度值高于第二阈值的帧,得到第四数据,从而保留住视频的细节部分;
压缩单元,用于对所述第四数据进行压缩编码,得到压缩数据流,发送给下一级设备;
解压单元,用于接收并解压缩对方设备发送的压缩数据流。
本申请提供一种多层次卷积的视频压缩系统,所述系统包括:所述系统包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行第一方面所有实施例中任一项所述的方法。
本申请提供一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行第一方面所有实施例中任一项所述的方法。
具体实现中,本发明还提供一种计算机存储介质,其中,该计算机存储介质可以存储有程序,该程序执行时可包括本发明各个实施例中的部分或全部步骤。所述的存储介质可以为磁碟、光盘、只读存储记忆体(简称:ROM)或随机存储记忆体(简称:RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书各个实施例之间相同相似的部分互相参见即可。尤其,对于实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (7)

1.一种多层次卷积的视频压缩方法,其特征在于,所述方法包括:
获取视频数据流,对所述视频数据流进行分帧处理,得到以帧为单位的第一数据;
提取所述第一数据的当前帧与前一帧的第一帧间运动矢量,以及提取该当前帧与后一帧的第二帧间运动矢量,基于所述第一帧间运动矢量和第二帧间运动矢量对当前帧进行补偿,所述补偿是将帧间运动矢量作为扩充视频质量增强的输入数据,强化当前帧的特征向量;
在时域时间线上连续进行前后帧间运动矢量补偿,得到第二数据;
将所述第二数据的每一帧与参考帧进行差值运算,对所述差值进行估计,若差值在预设范围内,则表明该帧与参考帧差别不大,不是关键帧,将该帧从所述第二数据中剔除出去;
将差值运算后的第二数据的逐个帧输入语义分析模型,得到词含义,将当前帧的词含义与前后帧的词含义计算相似度,当相似度结果高于第一阈值时,则表明该当前帧与前后帧存在伪影,剔除该当前帧,得到第三数据;
将所述第三数据输入到向量矩阵模板中,得到第一向量矩阵P1,计算该第一向量矩阵P1的转置矩阵T1;将所述参考帧输入到向量矩阵模板中,得到参考矩阵P2,计算该参考矩阵P2的转置矩阵T2,计算T1与T2的相关度,剔除所述相关度值高于第二阈值的帧,得到第四数据,从而保留住视频的细节部分;
对所述第四数据进行压缩编码,得到压缩数据流,发送给下一级设备;
接收并解压缩对方设备发送的压缩数据流。
2.根据权利要求1所述的方法,其特征在于:所述获取视频数据流,包括根据不同的平台预先设置不同的获取策略,获取多个不同平台的视频数据流。
3.根据权利要求2所述的方法,其特征在于:所述获取多个不同平台的视频数据流包括对所述视频数据流的加密编解码。
4.根据权利要求3所述的方法,其特征在于:所述压缩编码包括量化编码。
5.一种多层次卷积的视频压缩系统,其特征在于,所述系统包括:
获取单元,用于获取视频数据流,对所述视频数据流进行分帧处理,得到以帧为单位的第一数据;
预处理单元,用于提取所述第一数据的当前帧与前一帧的第一帧间运动矢量,以及提取该当前帧与后一帧的第二帧间运动矢量,基于所述第一帧间运动矢量和第二帧间运动矢量对当前帧进行补偿,所述补偿是将帧间运动矢量作为扩充视频质量增强的输入数据,强化当前帧的特征向量;在时域时间线上连续进行前后帧间运动矢量补偿,得到第二数据;
再处理单元,用于将所述第二数据的每一帧与参考帧进行差值运算,对所述差值进行估计,若差值在预设范围内,则表明该帧与参考帧差别不大,不是关键帧,将该帧从所述第二数据中剔除出去;将差值运算后的第二数据的逐个帧输入语义分析模型,得到词含义,将当前帧的词含义与前后帧的词含义计算相似度,当相似度结果高于第一阈值时,则表明该当前帧与前后帧存在伪影,剔除该当前帧,得到第三数据;
相关度计算单元,用于将所述第三数据输入到向量矩阵模板中,得到第一向量矩阵P1,计算该第一向量矩阵P1的转置矩阵T1;将所述参考帧输入到向量矩阵模板中,得到参考矩阵P2,计算该参考矩阵P2的转置矩阵T2,计算T1与T2的相关度,剔除所述相关度值高于第二阈值的帧,得到第四数据,从而保留住视频的细节部分;
压缩单元,用于对所述第四数据进行压缩编码,得到压缩数据流,发送给下一级设备;
解压单元,用于接收并解压缩对方设备发送的压缩数据流。
6.一种多层次卷积的视频压缩系统,其特征在于,所述系统包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行实现权利要求1-4任一项所述的方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行实现权利要求1-4任一项所述的方法。
CN202211013861.4A 2022-08-23 2022-08-23 一种多层次卷积的视频压缩方法和系统 Pending CN115567719A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211013861.4A CN115567719A (zh) 2022-08-23 2022-08-23 一种多层次卷积的视频压缩方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211013861.4A CN115567719A (zh) 2022-08-23 2022-08-23 一种多层次卷积的视频压缩方法和系统

Publications (1)

Publication Number Publication Date
CN115567719A true CN115567719A (zh) 2023-01-03

Family

ID=84738463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211013861.4A Pending CN115567719A (zh) 2022-08-23 2022-08-23 一种多层次卷积的视频压缩方法和系统

Country Status (1)

Country Link
CN (1) CN115567719A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866521A (zh) * 2020-07-09 2020-10-30 浙江工商大学 一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法
CN112446361A (zh) * 2020-12-16 2021-03-05 上海芯翌智能科技有限公司 一种训练数据的清洗方法及设备
CN112507842A (zh) * 2020-12-01 2021-03-16 宁波多牛大数据网络技术有限公司 一种基于关键帧提取的视频文字识别方法和装置
US20210097692A1 (en) * 2019-10-01 2021-04-01 Volvo Car Corporation Data filtering of image stacks and video streams
WO2022068682A1 (zh) * 2020-09-30 2022-04-07 华为技术有限公司 图像处理方法及装置
CN114898263A (zh) * 2022-05-09 2022-08-12 浙江理工大学 一种基于图像信息熵和hog_ssim的视频关键帧提取方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210097692A1 (en) * 2019-10-01 2021-04-01 Volvo Car Corporation Data filtering of image stacks and video streams
CN111866521A (zh) * 2020-07-09 2020-10-30 浙江工商大学 一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法
WO2022068682A1 (zh) * 2020-09-30 2022-04-07 华为技术有限公司 图像处理方法及装置
CN114339260A (zh) * 2020-09-30 2022-04-12 华为技术有限公司 图像处理方法及装置
CN112507842A (zh) * 2020-12-01 2021-03-16 宁波多牛大数据网络技术有限公司 一种基于关键帧提取的视频文字识别方法和装置
CN112446361A (zh) * 2020-12-16 2021-03-05 上海芯翌智能科技有限公司 一种训练数据的清洗方法及设备
CN114898263A (zh) * 2022-05-09 2022-08-12 浙江理工大学 一种基于图像信息熵和hog_ssim的视频关键帧提取方法

Similar Documents

Publication Publication Date Title
VR An enhanced coding algorithm for efficient video coding
Wu et al. Learned block-based hybrid image compression
CN111263161B (zh) 视频压缩处理方法、装置、存储介质和电子设备
CN114363623A (zh) 图像处理方法、装置、介质及电子设备
CN116233445B (zh) 视频的编解码处理方法、装置、计算机设备和存储介质
US9712828B2 (en) Foreground motion detection in compressed video data
Chen et al. Learning to compress videos without computing motion
CN114157863A (zh) 基于数字视网膜的视频编码方法、系统及存储介质
JP7437426B2 (ja) インター予測方法および装置、機器、記憶媒体
WO2023077707A1 (zh) 视频编码方法、模型训练方法、设备和存储介质
CN115052147B (zh) 基于生成模型的人体视频压缩方法、系统
CN115567719A (zh) 一种多层次卷积的视频压缩方法和系统
CN112714336B (zh) 视频分割方法和装置、电子设备、计算机可读存储介质
US20220377342A1 (en) Video encoding and video decoding
CN116264606A (zh) 用于处理视频的方法、设备和计算机程序产品
CN106791864A (zh) 一种基于hevc标准下提高视频转码速率的实现方法
CN115604463A (zh) 一种自适应感知采样的视频压缩方法和系统
CN116437089B (zh) 一种基于关键目标的深度视频压缩方法
CN116668702B (zh) 一种视频编码方法、装置、终端设备及存储介质
CN114095728B (zh) 一种端到端的视频压缩方法、装置和计算机可读存储介质
CN106658002A (zh) 噪声消除方法及噪声消除装置
WO2023185305A1 (zh) 编码方法、装置、存储介质及计算机程序产品
US20230336710A1 (en) Image compression method and apparatus for machine vision
US20230239470A1 (en) Video encoding and decoding methods, encoder, decoder, and storage medium
CN115604462A (zh) 一种应用成分分析的视频压缩方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination