CN110677624B - 基于深度学习的面向监控视频的前景和背景并行压缩方法 - Google Patents

基于深度学习的面向监控视频的前景和背景并行压缩方法 Download PDF

Info

Publication number
CN110677624B
CN110677624B CN201911000556.XA CN201911000556A CN110677624B CN 110677624 B CN110677624 B CN 110677624B CN 201911000556 A CN201911000556 A CN 201911000556A CN 110677624 B CN110677624 B CN 110677624B
Authority
CN
China
Prior art keywords
block
background
foreground
compression
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911000556.XA
Other languages
English (en)
Other versions
CN110677624A (zh
Inventor
黄科杰
吴立荣
沈海斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201911000556.XA priority Critical patent/CN110677624B/zh
Publication of CN110677624A publication Critical patent/CN110677624A/zh
Application granted granted Critical
Publication of CN110677624B publication Critical patent/CN110677624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于深度学习的面向监控视频的前景和背景并行压缩方法。视频前景和背景分离步骤；自适应背景模板更新步骤：通过比较判断是否更新背景模板；图像帧分块压缩步骤：对整幅图像帧进行分块、分割、压缩；两阶由粗到精的解码步骤：将图像帧分块压缩获得的各个块代码依次输入经过复合网络和重构网络；构建对抗网络结构结合压缩和解码步骤进行训练：采用训练后的图像帧分块压缩步骤对需压缩的监控视频的每帧图像帧进行并行压缩。本发明在保证视频压缩质量的前提下，大大提高了视频的压缩比，具有较好的实时性，具有更快的编码和解码时间，具有更广阔的应用场景。

Description

基于深度学习的面向监控视频的前景和背景并行压缩方法
技术领域
本发明涉及了一种监控视频压缩技术，具体涉及一种基于深度学习的面向监控视频的前景和背景并行压缩方法。
背景技术
近些年来，随着社会的高度现代化，监控视频遍布于城市的各个角落，在日常生活中越来越随处可见。监控视频的文件容量越来越大，且越来越重要。随着大数据时代的来临和智能安防的兴起，对监控视频进行高效和实时压缩的需求越来越大。监控视频相较于普通视频具有非常鲜明的特点，它们通常具有很大的数据量，但却具有极低的信息密度，一般具有静态的背景。但是目前使用的监控视频压缩方法仍然是传统的架构，包含运动补偿、运动估计和熵编码等组件，无法适应现在监控视频越来越庞大的数据量，也没有利用监控视频低信息密度的特性。近年来，随着人工智能的飞速发展，虽然已经出现了一些基于深度学习的视频压缩方法，但这些方法还是沿用了传统架构，只是将传统架构中的某些组件替换为神经网络，仍不能满足监控视频压缩的需要。因此，如何设计一种面向监控视频的，能搞实现极高压缩比的视频压缩算法是目前监控和安防领域的一大难题。
发明内容
本发明的目的在于针对上述现有监控视频压缩技术存在的不足，提出了一种将背景和前景分离并分别压缩的监控视频压缩方法，通过混合高斯模型分离图像帧的前景和背景，通过自适应背景模板更新算法确定背景模板，通过图像帧分块压缩模块对前景块逐块压缩，最终通过复合网络实现前景和背景的复合，并利用重构网络实现复合帧质量的增强。
如图1所示，本发明采用的技术方案是：
1)视频前景和背景分离步骤；
2)自适应背景模板更新步骤：初始以第一图像帧的背景作为背景模板，通过比较图像帧背景与背景模板的多尺度结构相似性值(MS-SSIM值)来判断是否更新背景模板，由当前图像帧的背景和当前的背景模板共同计算得到多尺度结构相似性值，再与预设的背景阈值进行比较；若多尺度结构相似性值小于等于背景阈值，则将当前的背景模板更新为当前图像帧的背景，并输出更新后的背景模板；若多尺度结构相似性值大于背景阈值，则不对当前的背景模板进行更新；
本步骤使用自适应的背景模板更新算法代替传统的等间隔背景模板更新，通过多帧图像共用背景模板实现压缩比的提高。
3)图像帧分块压缩步骤：对整幅图像帧进行分块，分成相同形状的若干矩形块，然后利用视频前景和背景分离步骤中获得的前景掩模对各个矩形块进行前景部分和背景部分的分割，判断前景部分所占整个矩形块的比例是否大于前景阈值：若矩形块的该比例大于等于前景阈值，则矩形块为前景块；若矩形块的该比例小于前景阈值，则矩形块为背景块；由此判断得到每个矩形块是背景块还是前景块；最后，将所有前景块逐块通过块压缩网络，以块为单位处理获得每个块的压缩结果，将每个块的压缩结果和块的位置信息结合保存为块代码；
4)两阶由粗到精的解码步骤：将图像帧分块压缩获得的各个块代码依次输入经过实现视频前景和背景复合的复合网络和增强复合帧质量的重构网络；复合网络作为粗解码，重构网络进行精解码。
5)构建对抗网络结构结合压缩和解码步骤进行训练：将解码图像和原始的图像帧分别输入到各自的鉴定器中，处理获得各自的鉴定结果，由重构网络和鉴定器组成了生成对抗网络结构，利用两个鉴定结果反向传播采用梯度下降法进行求解优化由块压缩网络、复合网络、重构网络、鉴定器构成整体网络结构中的参数；不断迭代以输入图像和解码图像之间的均方差最小化为目标进行训练，获得训练后的块压缩网络、复合网络、重构网络、鉴定器；
6)采用训练后的图像帧分块压缩步骤对需压缩的监控视频的每帧图像帧进行并行压缩。
所述的视频前景和背景分离步骤，具体为：对监控视频中的每一原始图像帧基于混合高斯模型进行建模，通过阈值判断建模结果从而分离得到图像帧的背景和前景，取前景作为前景掩模。
所述的建模具体是用高斯方程对图像帧中的每一个像素点进行统计和表征。
所述的块压缩网络包括块编码器和量化器，块编码器是由若干卷积层和残差模块组成的神经网络，量化器是采用最近邻量化方式的操作，量化位数为2；所述的块编码器是主要由三个卷积残差单元依次连接构成，每个卷积残差单元是由一个卷积层和一个残差模块依次连接构成，三个卷积残差单元之后再依次连接上一个残差模块和一个卷积层；
所述的复合网络包括块解码器，将每个前景块的块代码经过块解码器进行逐块解码，并按照每个前景块的对应位置将前景块的解码结果嵌入到步骤2)更新后的背景模板中，得到复合图像；所述的块解码器是主要由连续两个卷积层、连续三个残差模块、连续三个转置卷积层、最后一个卷积层依次连接构成，转置卷积层为由下采样改为上采样操作的卷积层；
所述的重构网络是主要由若干卷积层、残差模块和转置卷积层组成的重构网络，将复合图像经过重构网络能够去除复合图像的模糊、振铃和块边界等失真，实现复合图像质量的增强，得到重构后的解码图像；所述的重构网络是主要由连续三个卷积层、连续三个残差模块、连续三个转置卷积层、最后一个卷积层依次连接构成，转置卷积层为由下采样改为上采样操作的卷积层。
本发明方法在重构网络之后连接上鉴定器，由所述的重构网络和鉴定器组成生成对抗网络结构，重构的解码图像虽共享同一背景模板，但并不完全相同，增强了真实性。
所述的鉴定器是由一组全卷积层构成的神经网络，与重构网络进行交替训练。
所述的鉴定器是由连续六个卷积层依次连接构成。
本发明逐帧分离监控视频的前景和背景并分别压缩，以自适应的背景模板更新方法代替等间隔的更新，再对图像帧中的前景逐块进行压缩，使其能够适应视频中不同物体的尺寸变化，随后通过一个由复合网络和重构网络组成的两阶由粗到精的解码，实现了前景和背景的复合和帧质量的增强；最后通过生成对抗网络增强重构的帧图像的真实性。
本发明的有益效果是：
1)本发明所提出的方法充分利用了监控视频的低信息密度特性和背景的静态特性，在保证视频压缩质量的前提下，大大提高了视频的压缩比。
2)本发明提出的方法具有较好的实时性，相较于其他基于深度学习的方法，具有更快的编码和解码时间，能够满足监控视频压缩的实时性要求。
3)本发明提出的方法对前景进行分块压缩，能够适应监控视频中不同物体的尺寸变化，相较于其它基于深度学习的压缩方法，具有更广阔的应用场景。
附图说明
图1是本发明方法的总流程图。
图2是块编码器的网络结构示意图。
图3是块解码器的网络结构示意图。
图4是重构网络的网络结构示意图。
图5是鉴定器的网络结构示意图。
图6是性能比较图。
图7是压缩结果比较图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1所示，本发明的实施例如下：
1)视频前景和背景分离步骤；
对监控视频中的每一原始图像帧基于混合高斯模型进行建模，建模具体是用多个高斯方程的和对图像帧中的每一个像素点进行统计和表征，通过阈值判断建模结果从而分离得到图像帧的背景和前景，取前景作为未处理的前景掩模。
视频逐帧输入到混合高斯模型中，混合高斯模型能结合历史数据对当前图像帧中各个像素点做出判断，判断是背景点还是前景点。通过混合高斯模型，获得了图像每一帧的背景和未处理的前景掩模，再依此经过阈值化、开操作和膨胀等形态学处理后去噪得到在后续步骤中使用的前景掩模。
2)自适应背景模板更新步骤；
初始以第一图像帧的背景作为背景模板，通过比较图像帧背景与背景模板的多尺度结构相似性值(MS-SSIM值)来判断是否更新背景模板，由当前图像帧的背景和当前的背景模板共同计算得到多尺度结构相似性值，再与预设的背景阈值进行比较；若多尺度结构相似性值小于等于背景阈值0.98，则将当前的背景模板更新为当前图像帧的背景，并输出更新后的背景模板；若多尺度结构相似性值大于背景阈值，则不对当前的背景模板进行更新；
3)图像帧分块压缩步骤；
图像帧分块压缩步骤，具体为：
对整幅图像帧进行分块，分成相同形状的100个矩形块，同时视频前景和背景分离步骤中的前景掩模在自身原始图像帧中做相同的分块处理，然后利用视频前景和背景分离步骤中获得的前景掩模对各个矩形块进行前景部分和背景部分的分割，判断前景部分所占整个矩形块的比例是否大于前景阈值：若矩形块的该比例大于等于前景阈值，则矩形块为前景块；若矩形块的该比例小于前景阈值，则矩形块为背景块；由此判断得到每个矩形块是背景块还是前景块；最后，将所有前景块逐块通过块压缩网络，以块为单位处理获得每个块的压缩结果，将每个块的压缩结果和块的位置信息结合保存为块代码，即将块压缩结果和块位置信息一同以块为单位保存。
具体实施的块压缩网络包括块编码器和量化器，块编码器是由若干卷积层和残差模块组成的神经网络，量化器是采用最近邻量化方式的操作，量化位数为2；如图2所示，块编码器是主要由三个卷积残差单元依次连接构成，每个卷积残差单元是由一个卷积层和一个残差模块依次连接构成，三个卷积残差单元之后再依次连接上一个残差模块和一个卷积层。
4)两阶由粗到精的解码步骤；
将图像帧分块压缩获得的各个块代码依次输入经过复合网络和重构网络。
复合网络包括块解码器，将每个前景块的块代码经过块解码器进行逐块解码，并按照每个前景块的对应位置将前景块的解码结果嵌入到步骤2)更新后的背景模板中，得到复合图像。将解码生成的块图像按照一同保存的块位置信息复制到步骤二中得到背景模板中，由此对所有前景块的块代码逐块进行解码和复制，背景块保持不变，就实现了前景和背景的复合。
如图3所示，具体实施的块解码器是主要由连续两个卷积层、连续三个残差模块、连续三个转置卷积层、最后一个卷积层依次连接构成，转置卷积层为由下采样改为上采样操作的卷积层。
如图4所示，重构网络是由若干卷积层、残差模块和转置卷积层组成的重构网络，将复合图像经过重构网络，实现复合图像质量的增强，得到重构后的解码图像。重构网络是主要由连续三个卷积层、连续三个残差模块、连续三个转置卷积层、最后一个卷积层依次连接构成，转置卷积层为由下采样改为上采样操作的卷积层。这样网络结构能够消除复合图像中明显的块边界和模糊等失真，进一步提高图像帧的质量。
5)构建对抗网络结构结合压缩和解码步骤进行训练；
将解码图像和原始的图像帧分别输入到各自的鉴定器中，处理获得各自的鉴定结果，由重构网络和鉴定器组成了生成对抗网络结构，利用两个鉴定结果反向传播采用梯度下降法进行求解优化由块压缩网络、复合网络、重构网络、鉴定器构成整体网络结构中的参数；
6)不断迭代上述步骤3)～5)以输入图像和解码图像之间的均方差最小化为目标进行训练，获得训练后的块压缩网络、复合网络、重构网络、鉴定器。
生成对抗网络结构这部分形成对抗损失，将与原图像和重构的解码图像之间的失真损失一起被考虑。通过两个控制参数，来控制两者的影响，其中对抗损失的控制参数被设置为1，失真损失的控制参数被设置为16。控制参数越大，该损失对最终结果的影响更大。
如图5所示，鉴定器是由连续六个卷积层依次连接构成。
7)采用训练后的图像帧分块压缩步骤对需压缩的监控视频的每帧图像帧进行压缩。在GeForce GTX 1080 Ti硬件平台上，编码和解码视频的每帧图像帧的平均时间为27毫秒和39毫秒。
实施例的压缩结果如图7所示，图中可见复合图像中前景块和背景模板的复合已经完成，但块与块之间的块边界仍然存在，这极大地影响了视觉体验。将复合图像经过重构网络处理后得到解码图像，解码图像中块与块之间的块边界基本已经被消除，前景和背景之间的过渡非常和谐，解码图像与原图像帧高度相似，实现了较好的压缩效果。
实施例经压缩质量测试的性能比较结果如图6所示，图中可见相较于传统的H.264和H.265方法，利用我们的方法压缩监控视频，能够在相同的压缩比(比特/像素/图像帧)下实现较好的压缩质量(峰值信噪比)。

Claims (5)

1.一种基于深度学习的面向监控视频的前景和背景并行压缩方法，包括：
1)视频前景和背景分离步骤；
2)自适应背景模板更新步骤：初始以第一图像帧的背景作为背景模板，通过比较图像帧背景与背景模板的多尺度结构相似性值来判断是否更新背景模板，由当前图像帧的背景和当前的背景模板共同计算得到多尺度结构相似性值，再与预设的背景阈值进行比较；若多尺度结构相似性值小于等于背景阈值，则将当前的背景模板更新为当前图像帧的背景，并输出更新后的背景模板；若多尺度结构相似性值大于背景阈值，则不对当前的背景模板进行更新；
3)图像帧分块压缩步骤：对整幅图像帧进行分块，分成相同形状的若干矩形块，然后利用视频前景和背景分离步骤中获得的前景掩模对各个矩形块进行前景部分和背景部分的分割，判断前景部分所占整个矩形块的比例是否大于前景阈值：若矩形块的该比例大于等于前景阈值，则矩形块为前景块；若矩形块的该比例小于前景阈值，则矩形块为背景块；由此判断得到每个矩形块是背景块还是前景块；最后，将所有前景块逐块通过块压缩网络，以块为单位处理获得每个块的压缩结果，将每个块的压缩结果和块的位置信息结合保存为块代码；
所述的块压缩网络包括块编码器和量化器，块编码器是由若干卷积层和残差模块组成的神经网络，量化器是采用最近邻量化方式的操作；所述的块编码器是主要由三个卷积残差单元依次连接构成，每个卷积残差单元是由一个卷积层和一个残差模块依次连接构成，三个卷积残差单元之后再依次连接上一个残差模块和一个卷积层；
4)两阶由粗到精的解码步骤：将图像帧分块压缩获得的各个块代码依次输入经过复合网络和重构网络；
所述的复合网络包括块解码器，将每个前景块的块代码经过块解码器进行逐块解码，并按照每个前景块的对应位置将前景块的解码结果嵌入到步骤2)更新后的背景模板中，得到复合图像；所述的块解码器是主要由连续两个卷积层、连续三个残差模块、连续三个转置卷积层、最后一个卷积层依次连接构成，转置卷积层为由下采样改为上采样操作的卷积层；
所述的重构网络是主要由若干卷积层、残差模块和转置卷积层组成的重构网络，将复合图像经过重构网络，实现复合图像质量的增强，得到重构后的解码图像；所述的重构网络是主要由连续三个卷积层、连续三个残差模块、连续三个转置卷积层、最后一个卷积层依次连接构成，转置卷积层为由下采样改为上采样操作的卷积层；
5)构建对抗网络结构结合压缩和解码步骤进行训练：将解码图像和原始的图像帧分别输入到各自的鉴定器中，处理获得各自的鉴定结果，由重构网络和鉴定器组成了生成对抗网络结构，利用两个鉴定结果反向传播采用梯度下降法进行求解优化由块压缩网络、复合网络、重构网络、鉴定器构成整体网络结构中的参数；不断迭代以输入图像和解码图像之间的均方差最小化为目标进行训练；
6)采用训练后的图像帧分块压缩步骤对需压缩的监控视频的每帧图像帧进行并行压缩。
2.根据权利要求1所述的一种基于深度学习的面向监控视频的前景和背景并行压缩方法，其特征在于：所述的视频前景和背景分离步骤，具体为：对监控视频中的每一原始图像帧基于混合高斯模型进行建模，通过阈值判断建模结果从而分离得到图像帧的背景和前景，取前景作为前景掩模。
3.根据权利要求2所述的一种基于深度学习的面向监控视频的前景和背景并行压缩方法，其特征在于：所述的建模具体是用高斯方程对图像帧中的每一个像素点进行统计和表征。
4.根据权利要求1所述的一种基于深度学习的面向监控视频的前景和背景并行压缩方法，其特征在于：所述的鉴定器是由一组全卷积层构成的神经网络，与重构网络进行交替训练。
5.根据权利要求1所述的一种基于深度学习的面向监控视频的前景和背景并行压缩方法，其特征在于：所述的鉴定器是由连续六个卷积层依次连接构成。
CN201911000556.XA 2019-10-21 2019-10-21 基于深度学习的面向监控视频的前景和背景并行压缩方法 Active CN110677624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911000556.XA CN110677624B (zh) 2019-10-21 2019-10-21 基于深度学习的面向监控视频的前景和背景并行压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911000556.XA CN110677624B (zh) 2019-10-21 2019-10-21 基于深度学习的面向监控视频的前景和背景并行压缩方法

Publications (2)

Publication Number Publication Date
CN110677624A CN110677624A (zh) 2020-01-10
CN110677624B true CN110677624B (zh) 2020-09-18

Family

ID=69083229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911000556.XA Active CN110677624B (zh) 2019-10-21 2019-10-21 基于深度学习的面向监控视频的前景和背景并行压缩方法

Country Status (1)

Country Link
CN (1) CN110677624B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016683B (zh) * 2020-08-04 2023-10-31 杰创智能科技股份有限公司 数据增强学习、训练方法、电子设备、可读存储介质
CN112203095B (zh) * 2020-12-04 2021-03-09 腾讯科技（深圳）有限公司 视频运动估计方法、装置、设备及计算机可读存储介质
CN115883851A (zh) * 2021-09-28 2023-03-31 腾讯科技（深圳）有限公司 滤波及编解码方法、装置、计算机可读介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004236356A (ja) * 2004-04-06 2004-08-19 Sony Corp 画像信号変換装置および変換方法
CN103475882A (zh) * 2013-09-13 2013-12-25 北京大学 监控视频的编码、识别方法和监控视频的编码、识别系统
CN105554502A (zh) * 2015-12-07 2016-05-04 天津大学 基于前景背景分离的分布式压缩感知视频编解码方法
CN106664417A (zh) * 2014-05-15 2017-05-10 英特尔公司 用于视频编码的内容自适应背景前景分割
CN110113616A (zh) * 2019-06-05 2019-08-09 杭州电子科技大学 一种多层级监控视频高效压缩编码、解码装置及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100778116B1 (ko) * 2006-10-02 2007-11-21 삼성전자주식회사 움직임벡터 보정장치 및 보정방법
US10582211B2 (en) * 2016-06-30 2020-03-03 Facebook, Inc. Neural network to optimize video stabilization parameters
CN106331707B (zh) * 2016-08-30 2020-03-13 上海大学 基于恰可觉察失真模型的非对称感知视频编码系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004236356A (ja) * 2004-04-06 2004-08-19 Sony Corp 画像信号変換装置および変換方法
CN103475882A (zh) * 2013-09-13 2013-12-25 北京大学 监控视频的编码、识别方法和监控视频的编码、识别系统
CN106664417A (zh) * 2014-05-15 2017-05-10 英特尔公司 用于视频编码的内容自适应背景前景分割
CN105554502A (zh) * 2015-12-07 2016-05-04 天津大学 基于前景背景分离的分布式压缩感知视频编解码方法
CN110113616A (zh) * 2019-06-05 2019-08-09 杭州电子科技大学 一种多层级监控视频高效压缩编码、解码装置及方法

Also Published As

Publication number Publication date
CN110677624A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110087087B (zh) Vvc帧间编码单元预测模式提前决策及块划分提前终止方法
CN110677624B (zh) 基于深度学习的面向监控视频的前景和背景并行压缩方法
CN106231214B (zh) 基于可调宏块的高速cmos传感器图像近似无损压缩方法
CN111355956B (zh) 一种hevc帧内编码中基于深度学习的率失真优化快速决策系统及其方法
CN108347612B (zh) 一种基于视觉注意机制的监控视频压缩与重构方法
CN114363623A (zh) 图像处理方法、装置、介质及电子设备
WO2013056200A1 (en) Method and apparatus for video compression of stationary scenes
CN110290386B (zh) 一种基于生成对抗网络的低码率人体运动视频编码系统及方法
CN118020297A (zh) 基于混合神经网络的端到端图像和视频编码方法
CN113766247B (zh) 环路滤波的方法与装置
Liu et al. A high-performance CNN-applied HEVC steganography based on diamond-coded PU partition modes
CN110213584A (zh) 基于纹理复杂度的编码单元分类方法和编码单元分类设备
CN117041599B (zh) 一种基于hevc-vpcc的帧内快速编码方法及系统
CN101883284A (zh) 基于背景建模和可选差分模式的视频编/解码方法及系统
CN116347107A (zh) 面向vvc视频编码标准基于可变cnn的qp自适应环路滤波方法
CN110246093B (zh) 一种解码图像增强方法
CN116916036A (zh) 视频压缩方法、装置及系统
US11212518B2 (en) Method for accelerating coding and decoding of an HEVC video sequence
Ma et al. A cross channel context model for latents in deep image compression
CN112001854A (zh) 一种编码图像的修复方法及相关系统和装置
CN112770120B (zh) 基于深度神经网络的3d视频深度图帧内快速编码方法
Dai et al. HEVC video steganalysis based on PU maps and multi-scale convolutional residual network
US20230343017A1 (en) Virtual viewport generation method and apparatus, rendering and decoding methods and apparatuses, device and storage medium
Ma et al. AFEC: adaptive feature extraction modules for learned image compression
CN113068041A (zh) 一种智能仿射运动补偿编码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant