CN109640100B - 一种视频图像再压缩方法 - Google Patents

一种视频图像再压缩方法 Download PDF

Info

Publication number
CN109640100B
CN109640100B CN201811379107.6A CN201811379107A CN109640100B CN 109640100 B CN109640100 B CN 109640100B CN 201811379107 A CN201811379107 A CN 201811379107A CN 109640100 B CN109640100 B CN 109640100B
Authority
CN
China
Prior art keywords
video
frame
sequence
segment
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811379107.6A
Other languages
English (en)
Other versions
CN109640100A (zh
Inventor
郝小龙
冯敏
樊强
彭启伟
王学广
罗旺
韩斌
贾政
张铁勋
崔漾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NARI Group Corp
Nari Information and Communication Technology Co
Original Assignee
NARI Group Corp
Nari Information and Communication Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NARI Group Corp, Nari Information and Communication Technology Co filed Critical NARI Group Corp
Priority to CN201811379107.6A priority Critical patent/CN109640100B/zh
Publication of CN109640100A publication Critical patent/CN109640100A/zh
Application granted granted Critical
Publication of CN109640100B publication Critical patent/CN109640100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation

Abstract

本发明公开了一种视频图像再压缩方法，采用将原视频进行分割重构的方法，先根据镜头边界检测技术对原视频的分割形成的各视频段进行分类，将不同类型的视频段分别进行处理，对某些帧进行省略，主要针对传统压缩方法对帧间数据压缩比例不够的情况，提出一种结合现有视频图像压缩方法和深度学习技术的视频图像再压缩方法，能极大地提高视频图像帧间数据的压缩比例。具有在现有压缩方法上结合深度学习的方法极大地减少了视频图像帧之间的冗余信息，能在现有方法上提高5倍以上的压缩比的优势。

Description

一种视频图像再压缩方法
技术领域
本发明涉及视频处理领域，特别涉及一种视频图像再压缩方法。
背景技术
视频图像压缩的目的是要在有限的网络带宽条件下传输更高分辨率更高质量的视频或者在同等视频容量内存储更高分辨率更高质量的视频。现有压缩方法以H.265标准为例主要针对帧内数据压缩和相邻帧间的数据压缩，对视频帧序列数据的压缩程度不够高(即时序上的压缩比例不高)。随着新的拍摄设备及视频播放需求(全景相机、全景视频、超高分辨率视频)的出现，未来4K、8K分辨率的视频制作及播放将成为主流，因此需要同行压缩质量下更高比例的压缩方法。
发明内容
本发明的目的在于：提供了一种结合现有视频图像压缩方法和深度学习技术的视频图像再压缩方法，解决了传统压缩方法对帧间数据压缩比例不够的问题，能极大地提高视频图像帧间数据的压缩比例。
本发明采用的技术方案如下：
一种视频图像再压缩方法，包括前端模块和后端模块，还包括以下步骤：
A、将现有视频解码得到视频帧序列；
B、将视频分为N个视频片段，每个视频片段包括K帧图像，N段视频片段构成完整的步骤A中所述的视频帧序列，其中10≤K≤20，N为正整数；
C、使用镜头边界检测算法对视频进行处理，将步骤B中的N段视频片段分为Normal、Sharp和Gradual三类视频片段，其中，Normal:正常视频片段，Sharp：急剧变化的视频片段，Gradual：渐变的视频片段；
D、建立新的视频序列；
E、依次对N段视频片段进行分析重构；
所述步骤E中对N段视频片段进行分析重构的方法包括以下步骤：
E1、判断该段视频的类别属于Normal、Sharp或Gradual，当该段视频的类别为Normal时，进入步骤E2；当该段视频的类别为Sharp时，进入步骤E3；当该段视频的类别为Gradual时进入步骤E3；
E2、对该片段的首帧和尾帧计算颜色直方图，并计算对应颜色直方图之间的巴氏距离记为dN，若dN小于或等于阈值fN，则取出首帧和尾帧存入新的视频帧序列，若dN大于阈值fN，将本视频片段的最后一帧移入下一视频作为第一帧；重复步骤E2，直到dN小于或等于阈值fN，本片段重构完成；
E3、将该片段中所有帧按顺序存入新视频序列；
E4、依次计算该片段中的第一帧F1与第二帧至第K帧的巴氏距离，结果为dG1，直到出现dG1大于阈值fG1，记第一次出现的帧为FG1，依次计算该片段中的最后一帧FK与倒数第二帧至F1的巴氏距离，结果为dG2，直到出现dG2大于阈值fG2，记第一次出现的帧为FG2，将该片段的F1、FG1至FG2和FK按原始顺序存入新视频序列；
E5、上述新的视频帧序列中的每一帧有一个对应的数值m，0≤m≤18，表示该帧和其下一帧在对应原始视频帧序列中的序号差，即相对原始视频，新视频中帧和其下一帧之间未采用的帧数。
进一步的，还包括播放时的步骤G：后端处理根据重构后的视频帧及参数m对重构后的视频进行解码。
进一步的，所述步骤G中后端处理根据重构后的视频帧及参数m对重构后的视频进行解码的方法包括以下步骤：
G1、读取重构后的视频的第一帧及与第一帧匹配的参数m1，判断m1是否为0，若为0，进入步骤G2，若不为0，进入步骤G3；
G2、读取下一帧及与下一帧匹配的参数mN，判断mN是否为0，若为0，重复步骤G2，若不为0，进入步骤G3；
G3、在该帧之后进行插帧，需要插帧的帧数为参数m，插帧完成后转入步骤G2。
进一步的，所述步骤G3的插帧采用训练好的深度学习模型。
进一步的，还包括步骤H：按固定频率播放当前帧，步骤G3中所述插帧与播放当前帧的操作为同步进行。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.本发明一种视频图像再压缩方法，在现有压缩方法上结合深度学习的方法极大地减少了视频图像帧之间的冗余信息，能在现有方法上提高5倍以上的压缩比
2.本发明一种视频图像再压缩方法，通用性强，不需要强大的硬件支持。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
实施例1
一种视频图像再压缩方法，包括前端模块和后端模块，还包括以下步骤：
A、将现有视频解码得到视频帧序列；
B、将视频分为N个视频片段，每个视频片段包括K帧图像，N段视频片段构成完整的步骤A中所述的视频帧序列，其中10≤K≤20，N为正整数；
C、使用镜头边界检测算法对视频进行处理，将步骤B中的N段视频片段分为Normal、Sharp和Gradual三类视频片段，其中，Normal:正常视频片段，Sharp：急剧变化的视频片段，Gradual：渐变的视频片段；
D、建立新的视频序列；
E、依次对N段视频片段进行分析重构；
所述步骤E中对N段视频片段进行分析重构的方法包括以下步骤：
E1、判断该段视频的类别属于Normal、Sharp或Gradual，当该段视频的类别为Normal时，进入步骤E2；当该段视频的类别为Sharp时，进入步骤E3；当该段视频的类别为Gradual时进入步骤E3；
E2、对该片段的首帧和尾帧计算颜色直方图，并计算对应颜色直方图之间的巴氏距离记为dN，若dN小于或等于阈值fN，则取出首帧和尾帧存入新的视频帧序列，若dN大于阈值fN，将本视频片段的最后一帧移入下一视频作为第一帧；重复步骤E2，直到dN小于或等于阈值fN，本片段重构完成；
E3、将该片段中所有帧按顺序存入新视频序列；
E4、依次计算该片段中的第一帧F1与第二帧至第K帧的巴氏距离，结果为dG1，直到出现dG1大于阈值fG1，记第一次出现的帧为FG1，依次计算该片段中的最后一帧FK与倒数第二帧至F1的巴氏距离，结果为dG2，直到出现dG2大于阈值fG2，记第一次出现的帧为FG2，将该片段的F1、FG1至FG2和FK按原始顺序存入新视频序列；
E5、上述新的视频帧序列中的每一帧有一个对应的数值m，0≤m≤18，表示该帧和其下一帧在对应原始视频帧序列中的序号差，即相对原始视频，新视频中帧和其下一帧之间未采用的帧数。
实施例2
本实施例与实施例1的区别在于：进一步的，还包括播放时的步骤G：后端处理根据重构后的视频帧及参数m对重构后的视频进行解码。所述步骤G中后端处理根据重构后的视频帧及参数m对重构后的视频进行解码的方法包括以下步骤：
G1、读取重构后的视频的第一帧及与第一帧匹配的参数m1，判断m1是否为0，若为0，进入步骤G2，若不为0，进入步骤G3；
G2、读取下一帧及与下一帧匹配的参数mN，判断mN是否为0，若为0，重复步骤G2，若不为0，进入步骤G3；
G3、在该帧之后进行插帧，需要插帧的帧数为参数m，插帧完成后转入步骤G2。
进一步的，所述步骤G3的插帧采用训练好的深度学习模型。
进一步的，还包括步骤H：按固定频率播放当前帧，步骤G3中所述插帧与播放当前帧的操作为同步进行。
以上所述，仅为本发明的优选实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (5)

1.一种视频图像再压缩方法，包括前端处理和后端处理，其特征在于：还包括以下步骤：
A、将现有视频解码得到视频帧序列；
B、将视频分为N个视频片段，每个视频片段包括K帧图像，N段视频片段构成完整的步骤A中所述的视频帧序列，其中10≤K≤20，N为正整数；
C、使用镜头边界检测算法对视频进行处理，将步骤B中的N段视频片段分为Normal、Sharp和Gradual三类视频片段，其中，Normal:正常视频片段，Sharp：急剧变化的视频片段，Gradual：渐变的视频片段；
D、建立新的视频序列；
E、依次对N段视频片段进行分析重构；
所述步骤E中对N段视频片段进行分析重构的方法包括以下步骤：
E1、判断该段视频的类别属于Normal、Sharp或Gradual，当该段视频的类别为Normal时，进入步骤E2；当该段视频的类别为Sharp时，进入步骤E3；当该段视频的类别为Gradual时进入步骤E3；
E2、对该片段的首帧和尾帧计算颜色直方图，并计算对应颜色直方图之间的巴氏距离记为dN，若dN小于或等于阈值fN，则取出首帧和尾帧存入新的视频帧序列，若dN大于阈值fN，将本视频片段的最后一帧移入下一视频作为第一帧；重复步骤E2，直到dN小于或等于阈值fN，本片段重构完成；
E3、将该片段中所有帧按顺序存入新视频序列；
E4、依次计算该片段中的第一帧F1与第二帧至第K帧的巴氏距离，结果为dG1，直到出现dG1大于阈值fG1，记第一次出现的帧为FG1，依次计算该片段中的最后一帧FK与倒数第二帧至F1的巴氏距离，结果为dG2，直到出现dG2大于阈值fG2，记第一次出现的帧为FG2，将该片段的F1、FG1至FG2和FK按原始顺序存入新视频序列；
E5、上述新的视频帧序列中的每一帧有一个对应的数值m，0≤m≤18，表示该帧和其下一帧在对应原始视频帧序列中的序号差，即相对原始视频，新视频中帧和其下一帧之间未采用的帧数。
2.根据权利要求1所述的一种视频图像再压缩方法，其特征在于：还包括播放时的步骤G：后端处理根据重构后的视频帧及参数m对重构后的视频进行解码。
3.根据权利要求2所述的一种视频图像再压缩方法，其特征在于：所述步骤G中后端处理根据重构后的视频帧及参数m对重构后的视频进行解码的方法包括以下步骤：
G1、读取重构后的视频的第一帧及与第一帧匹配的参数m1，判断m1是否为0，若为0，进入步骤G2，若不为0，进入步骤G3；
G2、读取下一帧及与下一帧匹配的参数mN，判断mN是否为0，若为0，重复步骤G2，若不为0，进入步骤G3；
G3、在该帧之后进行插帧，需要插帧的帧数为参数m，插帧完成后转入步骤G2。
4.根据权利要求3所述的一种视频图像再压缩方法，其特征在于：所述步骤G3的插帧采用训练好的深度学习模型。
5.根据权利要求3所述的一种视频图像再压缩方法，其特征在于：还包括步骤H：按固定频率播放当前帧，步骤G3中所述插帧与播放当前帧的操作为同步进行。
CN201811379107.6A 2018-11-19 2018-11-19 一种视频图像再压缩方法 Active CN109640100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811379107.6A CN109640100B (zh) 2018-11-19 2018-11-19 一种视频图像再压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811379107.6A CN109640100B (zh) 2018-11-19 2018-11-19 一种视频图像再压缩方法

Publications (2)

Publication Number Publication Date
CN109640100A CN109640100A (zh) 2019-04-16
CN109640100B true CN109640100B (zh) 2021-04-06

Family

ID=66068245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811379107.6A Active CN109640100B (zh) 2018-11-19 2018-11-19 一种视频图像再压缩方法

Country Status (1)

Country Link
CN (1) CN109640100B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247470A (zh) * 2007-02-14 2008-08-20 三菱电机株式会社 用于检测视频中的场景边界的由计算机实现的方法
CN106060556A (zh) * 2016-06-24 2016-10-26 宁波大学 一种针对hevc预测模式隐写的检测方法
CN106534870A (zh) * 2016-12-19 2017-03-22 国网新疆电力公司电力科学研究院 一种基于rgb源视频的率失真优化编码方法
WO2018143992A1 (en) * 2017-02-02 2018-08-09 Hewlett-Packard Development Company, L.P. Video compression

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100698106B1 (ko) * 2000-03-07 2007-03-26 엘지전자 주식회사 엠펙（ｍｐｅｇ）압축 비디오 환경에서 계층적 혼합형장면 변화 검출 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247470A (zh) * 2007-02-14 2008-08-20 三菱电机株式会社 用于检测视频中的场景边界的由计算机实现的方法
CN106060556A (zh) * 2016-06-24 2016-10-26 宁波大学 一种针对hevc预测模式隐写的检测方法
CN106534870A (zh) * 2016-12-19 2017-03-22 国网新疆电力公司电力科学研究院 一种基于rgb源视频的率失真优化编码方法
WO2018143992A1 (en) * 2017-02-02 2018-08-09 Hewlett-Packard Development Company, L.P. Video compression

Also Published As

Publication number Publication date
CN109640100A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
WO2019154152A1 (zh) 一种有损压缩视频的多帧质量增强方法及装置
CN106231214B (zh) 基于可调宏块的高速cmos传感器图像近似无损压缩方法
CN110324626B (zh) 一种面向物联网监控的双码流人脸分辨率保真的视频编解码方法
CN106937121B (zh) 图像解码和编码方法、解码和编码装置、解码器及编码器
CN107197260A (zh) 基于卷积神经网络的视频编码后置滤波方法
CN101651837B (zh) 一种基于帧间预测误差直方图修改的可逆视频水印方法
CN105139421B (zh) 电力系统基于互信息量的视频关键帧提取方法
CN111260560A (zh) 一种融合注意力机制的多帧视频超分辨率方法
CN104363403A (zh) 一种视频监控系统中视频数据的存储方法及存储设备
CN111047532B (zh) 一种基于3d卷积神经网络的低照度视频增强方法
CN111711817B (zh) 一种结合卷积神经网络的hevc帧内编码压缩性能优化方法
CN109982092B (zh) 基于多分支循环卷积神经网络的hevc帧间快速方法
CN112422989B (zh) 一种视频编码方法
CN107333133A (zh) 一种码流接收设备的码流编码的方法及装置
CN105306942A (zh) 一种视频编码器的编码方法、装置及系统
CN112651258A (zh) 基于动态二维码的数据传输方法和系统
CN109640100B (zh) 一种视频图像再压缩方法
Chen et al. Pixel-level texture segmentation based AV1 video compression
CN107623852B (zh) 一种对数字视频信号进行编码及降帧的方法及装置
CN116723183A (zh) 一种基于轻量化的视频文件设备及处理方法
CN115131254A (zh) 一种基于双域学习的恒定码率压缩视频质量增强方法
CN105376580B (zh) 一种图像压缩方法
CN115278313A (zh) 一种高倍率多路数的视频并发倍速方法
Tan et al. Two-stage CNN model for joint Demosaicing and Denoising of burst Bayer images
CN106937125B (zh) 一种动态改变搜索窗大小的多假设预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant