CN113596473A - 视频压缩方法及装置 - Google Patents

视频压缩方法及装置 Download PDF

Info

Publication number
CN113596473A
CN113596473A CN202110858678.3A CN202110858678A CN113596473A CN 113596473 A CN113596473 A CN 113596473A CN 202110858678 A CN202110858678 A CN 202110858678A CN 113596473 A CN113596473 A CN 113596473A
Authority
CN
China
Prior art keywords
video frame
video
background
frame
redundant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110858678.3A
Other languages
English (en)
Other versions
CN113596473B (zh
Inventor
张湾湾
敦婧瑜
王亚运
薛佳乐
李轶锟
江歆霆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110858678.3A priority Critical patent/CN113596473B/zh
Publication of CN113596473A publication Critical patent/CN113596473A/zh
Application granted granted Critical
Publication of CN113596473B publication Critical patent/CN113596473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供了一种视频压缩方法及装置，该方法包括：在视频的各个视频帧的关注区域中分离出目标区域，并根据所述各个视频帧的目标区域和背景区域，确定所述各个视频帧的关键背景图；根据各个视频帧与所述各个视频帧对应的其它视频帧的关键背景图的差异，从所述各个视频帧中确定出冗余视频帧；基于非冗余视频帧的目标区域以及关键背景图，对所述视频进行压缩。在本发明中，通过在压缩视频时，去除冗余视频帧，保留非冗余视频帧的目标区域以及关键背景图，使得仅需配置极少的参数即可实现该压缩方法的复用，且压缩率较高。

Description

视频压缩方法及装置
技术领域
本发明实施例涉及安防技术领域，具体而言，涉及一种视频压缩压缩方法及装置。
背景技术
在安防领域，交通监控视频的使用范围日益增大，但其往往占用较大的存储空间，不便于日常的存储和传输，因此对视频进行压缩是一种常用的解决方案。
目前，视频压缩技术主要分为两类：一类是传统的视频压缩方法，主要通过运动估计、运动补偿、变换和量化、逆转换、熵编码等操作实现，这些方法在视频压缩领域占据主流地位；另一类是基于深度学习(Deep learning，DL)的视频压缩方法，主要依靠深度神经网络(Deep neural network，DNN)进行目标检测来分离前景目标和背景，并根据检测结果保留特定帧的目标区域，后期通过背景图和目标区域的叠加来实现视频恢复。相比于硬编码的传统方法，基于DL的方法为现今急剧增长的视频处理需求和日益多样化的视频类型提供了新的压缩方案，但它同时面临很多挑战，例如，DNN的训练往往需要大量的标注数据，且训练好的模型在不同的任务场景下泛化性较弱。
发明内容
本发明实施例提供了一种视频压缩方法及装置，以至少解决现有的视频压缩技术所存在的问题。
根据本发明的一个实施例，提供了一种视频压缩方法，包括：在视频的各个视频帧的关注区域中分离出目标区域，并根据所述各个视频帧的目标区域和背景区域，确定所述各个视频帧的关键背景图；根据各个视频帧与所述各个视频帧对应的其它视频帧的关键背景图的差异，从所述各个视频帧中确定出冗余视频帧；其中，一个视频帧对应的其它视频帧包括所述视频中除所述该视频帧之外的一个或多个视频帧；基于非冗余视频帧的目标区域以及关键背景图，对所述视频进行压缩，其中，所述非冗余视频帧包括所述视频中除所述冗余视频帧之外的视频帧。
在一个示例性实施例中，在所述关注区域中分离出目标区域包括：初始化水平集参数，基于水平集分割所述视频帧；提取所述水平集分割结果，确定目标区域和背景区域。
在一个示例性实施例中，提取所述水平集分割结果，确定目标区域和背景区域之后还包括：遍历所有视频帧，确定所有视频帧中的目标区域和背景区域。
在一个示例性实施例中，根据所述目标区域和背景区域确定视频帧的关键背景图包括：当第一视频帧图像中无目标区域时，确定所述第一视频帧图像为关键背景图；当所述第一视频帧图像中有目标区域时，则根据后续连续的第二视频帧的背景图像对所述第一视频帧的背景图像进行补全以确定关键背景图。
在一个示例性实施例中，当所述第一视频帧图像中有目标区域时，则根据后续连续的第二视频帧的背景图像对所述第一视频帧的背景图像进行补全以确定关键背景图，包括：计算所述第一视频帧与第二视频帧的背景的第一差异度；如果所述第一差异度大于第一阈值，则保存所述第一视频帧的背景为关键背景图；如果所述第一差异度小于或等于所述第一阈值，则计算所述第一视频帧与第二视频帧的背景缺失区域的重叠度(Intersection over union，IOU)值；当所述IOU≤0时，取所述第二视频帧相应位置的背景图像填充到所述第一视频帧的背景图像中，并将填充后的第一视频帧的背景保存为关键背景图；当所述IOU＞0时，继续取所述第二视频帧的后续的连续帧对第一视频帧的背景图像进行填充，直至第一视频帧的背景图像完整填充，或第一视频帧与第二视频帧的背景的差异度大于第一阈值,则将填充后的第一视频帧的背景保存为关键背景图。
在一个示例性实施例中，算所述第一视频帧与第二视频帧的背景的第一差异度包括：计算所述第一视频帧和第二视频帧的背景特征向量之间的距离以及背景的感知相似度；根据所述第一视频帧和第二视频帧的背景特征向量之间的距离以及背景的感知相似度计算所述第一差异度。
在一个示例性实施例中，根据各个视频帧与所述各个视频帧对应的其它视频帧的关键背景图的差异从所述各个视频帧中确定出冗余视频帧，包括：当所述第一视频帧图像中无目标区域时，计算所述第一视频帧的背景与填充完整的关键背景图的第二差异度；如果所述第二差异度大于所述第二阈值，则确定所述第一视频帧为非冗余视频帧；如果所述第二差异度小于或等于所述第二阈值，则确定所述第一视频帧为冗余视频帧；当所述第一视频帧图像中有目标区域时，比较所述第一视频帧与前一关联视频帧的目标区域的数目；若所述目标区域的数目不相等，则确定第一视频帧为非冗余视频帧，记录第一视频帧帧号，并保存所述第一视频帧的目标区域的图像；若所述目标区域的数目相等，计算所述第一视频帧与前一关联视频帧的目标区域的IOU值；如果IOU小于等于第三阈值时，则确定第一视频帧为冗余视频帧；如果IOU大于所述第三阈值时，确定第一视频帧为非冗余视频帧，记录第一视频帧帧号，并保存所述第一视频帧的目标区域的图像。
在一个示例性实施例中，基于非冗余视频帧的目标区域以及关键背景图对所述视频进行压缩之后，还包括:提取视频中的非冗余视频帧的目标区域和关键背景图，通过叠加各非冗余视频帧的目标区域和关键背景图，按时间顺序重构所述视频。
根据本发明的另一个实施例，提供了一种视频压缩装置，该装置包括：分离模块，用于在视频的各个视频帧的关注区域中分离出目标区域，并根据所述各个视频帧的目标区域和背景区域，确定所述各个视频帧的关键背景图；确定模块，用于根据各个视频帧与所述各个视频帧对应的其它视频帧的关键背景图的差异，从所述各个视频帧中确定出冗余视频帧，其中，一个视频帧对应的其它视频帧包括所述视频中除该视频帧之外的一个或多个视频帧；压缩模块，用于基于非冗余视频帧的目标区域以及关键背景图，对所述视频进行压缩，其中，所述非冗余视频帧包括所述视频中除所述冗余视频帧之外的视频帧。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明上述实施例，在压缩视频时，去除冗余帧，保留非冗余帧的目标区域以及关键背景图，使得仅需配置极少的参数即可实现该压缩方法的复用，且压缩率较高。
附图说明
图1是根据本发明实施例的方法运行的计算机终端的硬件结构框图；
图2是根据本发明实施例的视频压缩方法流程图；
图3是根据本发明实施例的视频压缩装置框图；
图4是根据本发明实施例的交通监控视频压缩方法流程图；
图5是根据本发明实施例的关注区域示意图；
图6是根据本发明实施例的水平集的分割结果示意图；
图7是根据本发明实施例的关注区域内提取的分割结果示意图；
图8是根据本发明实施例的提取的目标区域示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的方法运行的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
图2是根据本发明实施例的视频压缩流程图，该方法可运用在图1所示的计算机终端中。
如图2所示，该流程包括如下步骤：
步骤S202，在视频的各个视频帧的关注区域中分离出目标区域，并根据所述各个视频帧的目标区域和背景区域，确定所述各个视频帧的关键背景图；
步骤S204，根据各个视频帧与所述各个视频帧对应的其它视频帧的关键背景图的差异，从所述各个视频帧中确定出冗余视频帧；其中，一个视频帧对应的其它视频帧包括所述视频中除所述该视频帧之外的一个或多个视频帧；
步骤S206，基于非冗余视频帧的目标区域以及关键背景图，对所述视频进行压缩，其中，所述非冗余视频帧包括所述视频中除所述冗余视频帧之外的视频帧。
在本实施例的步骤S202中，初始化水平集参数，并基于水平集分割所述视频帧；提取所述水平集分割结果，确定目标区域和背景区域。
在本实施例的步骤S202中，提取所述水平集分割结果，确定目标区域和背景区域之后，还可包括：遍历所有视频帧，确定所有视频帧中的目标区域和背景区域。
在本实施例的步骤S204中，当第一视频帧图像中无目标区域时，确定所述第一视频帧图像为关键背景图；当所述第一视频帧图像中有目标区域时，则根据后续连续的第二视频帧的背景图像对所述第一视频帧的背景图像进行补全以确定视频帧的关键背景图。
在本实施例的步骤S204中，当所述第一视频帧图像中有目标区域时，则根据后续连续的第二视频帧的背景图像对所述第一视频帧的背景图像进行补全以确定视频帧的关键背景图，包括：计算所述第一视频帧与第二视频帧的背景的第一差异度；如果所述第一差异度大于第一阈值，则保存所述第一视频帧的背景为关键背景图；如果所述第一差异度小于或等于所述第一阈值，则计算所述第一视频帧与第二视频帧的背景缺失区域的重叠度IOU值；当所述IOU≤0时，取所述第二视频帧相应位置的背景图像填充到所述第一视频帧的背景图像中，并将填充后的第一视频帧的背景保存为关键背景图；当所述IOU＞0时，继续取所述第二视频帧的后续的连续帧对第一视频帧的背景图像进行填充，直至第一视频帧的背景图像完整填充，或第一视频帧与第二视频帧的背景的差异度大于第一阈值,则将填充后的第一视频帧的背景保存为关键背景图。
在本实施例中，计算所述第一视频帧与第二视频帧的背景的第一差异度包括：计算所述第一视频帧和第二视频帧的背景特征向量之间的距离以及背景的感知相似度；根据所述第一视频帧和第二视频帧的背景特征向量之间的距离以及背景的感知相似度计算所述第一差异度。
在本实施例的步骤S206中，根据各个视频帧与所述各个视频帧对应的其它视频帧的关键背景图的差异从所述各个视频帧中确定出冗余视频帧，包括：当所述第一视频帧图像中无目标区域时，计算所述第一视频帧的背景与填充完整的关键背景图的第二差异度；如果所述第二差异度大于所述第二阈值，则确定所述第一视频帧为非冗余视频帧；如果所述第二差异度小于或等于所述第二阈值，则确定所述第一视频帧为冗余视频帧；当所述第一视频帧图像中有目标区域时，比较所述第一视频帧与前一关联视频帧的目标区域的数目；若所述目标区域的数目不相等，则确定第一视频帧为非冗余视频帧，记录第一视频帧帧号，并保存所述第一视频帧的目标区域的图像；若所述目标区域的数目相等，计算所述第一视频帧与前一关联视频帧的目标区域的IOU值；如果IOU小于等于第三阈值时，则确定第一视频帧为冗余视频帧；如果IOU大于所述第三阈值时，确定第一视频帧为非冗余视频帧，记录第一视频帧帧号，并保存所述第一视频帧的目标区域的图像。
在本实施例的步骤S208之后，还可包括:提取视频中的非冗余视频帧的目标区域和关键背景图，通过叠加各非冗余视频帧的目标区域和关键背景图，按时间顺序重构所述视频。
在本实施例所提供的视频压缩方法中，利用水平集分割方法不需要预先训练的特性，分离目标区域和背景区域，将所述视频帧中的冗余视频帧去除，并保留非冗余视频帧的目标区域以及关键背景图后压缩视频，该方法在不同的任务场景下，仅需配置极少的参数即可实现复用，且压缩率较高。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种视频压缩装置，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的视频压缩装置的结构框图，如图3所示，该装置100包括分离模块10、确定模块20和压缩模块30。
分离模块10，用于在视频的各个视频帧的关注区域中分离出目标区域，并根据所述各个视频帧的目标区域和背景区域，确定所述各个视频帧的关键背景图。
确定模块20，用于根据各个视频帧与所述各个视频帧对应的其它视频帧的关键背景图的差异，从所述各个视频帧中确定出冗余视频帧，其中，一个视频帧对应的其它视频帧包括所述视频中除该视频帧之外的一个或多个视频帧。
压缩模块30，用于基于非冗余视频帧的目标区域以及关键背景图，对所述视频进行压缩，其中，所述非冗余视频帧包括所述视频中除所述冗余视频帧之外的视频帧。
在本发明实施例所提供的视频压缩装置中，利用水平集分割方法不需要预先训练的特性，分离目标区域和背景区域，将所述视频帧中的冗余帧去除，并保留非冗余帧的目标区域以及关键背景图后压缩视频，使得在不同的任务场景下，仅需配置极少的参数即可实现复用，且压缩率较高。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
为了便于对本发明所提供的技术方案的理解，下面将结合具体场景的实施例进行详细描述。
本实施例提供了一种基于水平集分割的交通监控视频压缩方法。交通监控视频图像帧具有背景低秩和前景目标稀疏的特性，因此少量的背景信息和前景目标的叠加可以实现视频关键信息的传递。首先，利用水平集分割方法不需要预先训练的特性，分离目标和背景区域；其次，利用相近时间段内背景变化小的特性，连续相邻帧间背景补充得到关键背景图；再者，利用相同目标运动连续的特性，结合目标位置信息，去除肉眼察觉不到明显变化的冗余图像帧；另外，根据不同目标的出现和消失、相同目标的位置变化确定并记录关键帧号；最后，利用保存的关键背景图、目标图、帧号等信息重构视频帧，并利用关键帧号检索和提取关键帧图像。该方法在不同的任务场景下，仅需配置极少的参数即可实现复用，且压缩率较高。
图4为根据本实施例的交通监控视频压缩方法，如图4所示，该方法包括如下步骤：
步骤S401，获取交通监控视频图像帧。
在本实施例中，以交通监控视频为例进行说明。需说明的是本实施例提供的方法同样适用于其他视频图像的压缩。
步骤S402，配置关注区域。
本实施例中的关注区域定义为图像中所有关注目标可能出现的位置范围，用四边形的区域来表示。同一幅图像中可以有一个或多个关注区域，若不配置关注区域，则整幅图像为一个关注区域。图像中关注区域外的部分为非关注区域。图5中实线围起来的四边形区域为一个关注区域，该帧图像共有一个关注区域。
步骤S403，分离背景和目标区域。
在实施例中，可通过如下步骤来实现背景和目标区域的分离:
(1)初始化水平集参数，分割视频帧.图6为水平集的分割结果。
(2)在一个关注区域内，提取水平集分割结果，即一系列闭合曲线。图7为关注区域内提取的分割结果。
(3)去除闭合曲线横纵坐标跨距过大的闭合曲线。
(4)计算分割结果最大外接四边形，向外扩展后确定为目标区域。这里向外扩展是因为外接矩形可能刚好与目标边缘线重叠，适当地向外扩展可以保留充分且完整的目标区域。图8中内边的实线框为分割结果的最大外接矩形，最外边的实线框为扩展后的目标区域。
(5)依次遍历关注区域，进行(2)至(4)的处理，确定所有目标区域。
(6)所有关注区域Aa减去所有目标区域Ao，再加上非关注区域Anoa，即为该视频帧的背景区域Ab,如公式(1)；
Ab＝Anoa+(Aa-Ao) (1)
步骤S404，确定关键背景图。
在本实施例中，可通过如下方式确定出关键背景图：
(1)判断该帧图像中有无目标区域，若无目标区域，则该帧图像即为一个完整的关键背景图；若有目标区域，则需要根据后续帧的背景进行补全，记录该帧背景为候选背景，继续进行(2)；
(2)帧号加1，分割当前帧的背景和目标区域，计算该帧背景与上一帧背景的差异度D。在本实施例中，可采用公式(2)进行计算，若差异度D大于或等于阈值th2,则认为背景变化较大，保存上一帧背景为关键背景图，并记录该帧背景为新的候选背景；若差异度D小于阈值th2,则认为背景变化不大，进行(3)；
Figure BDA0003184956720000061
Figure BDA0003184956720000062
D＝1-FID×S_LPIPS (2)
其中，fid是两帧背景特征向量之间距离的度量，s_lpips为两帧背景的感知相似度度量，FID和S_LPIPS分别是fid和s_lpips归一化到[0,1]的值范围。
(3)计算上一帧和当前帧背景缺失区域的IOU值，若IOU<＝0,则缺失部分可以完整填充，取当前帧背景相应位置的图像进行填充，保存关键背景图；若IOU>0,则缺失部分可以部分填充，填充不满的保持缺失状态，从下一帧中继续填充,直到完整填充或相邻两帧背景图差异度D超出阈值th2，则保存关键背景图。
步骤S405，确定关键帧、非关键帧和冗余帧。
需说明的是，本实施例中的关键帧和非关键帧对应于前文实施例中的非冗余帧，即，前文实施例中的非冗余帧包括了关键帧和非关键帧。在实施例中，对于有目标的视频帧，比较当前帧和前一关联帧目标数目，若不相等，表示有新的目标进来或者有目标离开关注区域，该帧即为一个关键帧，记录帧号，保存目标区域图像；若相等，计算各目标对应区域的IOU值，若IOU≤th3,则认为目标位置变化较小，当前帧为冗余帧，若IOU＞th3,则认为目标位置的变化较大，足够引起肉眼的注意，认为当前帧为关键帧，记录帧号，保存目标区域图像。
对于无目标的视频帧，计算该帧与填充完整的关键背景帧的差异度D，若差异度D大于或等于阈值th2,则认为背景变化较大，该帧为一个非关键帧，保存该帧图像为关键背景图，目标区域记为空；若差异度D小于阈值th2,则记为冗余帧。
步骤S406，去除冗余帧，压缩视频。
在压缩视频时，去除冗余帧，保留关键帧和非关键帧的目标区域，以及关键背景图,记录各帧对应的关键信息。
步骤S407，重构视频，提取关键帧图像。
在本实施例中，依次读取各帧的关键信息，检索和提取各帧对应的关键背景图和目标图，叠加得到各帧图像，按时间顺序合成视频，即为重构后的视频；根据需要，使用关键帧号标志提取各关键帧。
在本实施例所提供的交通监控视频压缩方法中，采用水平集方法对视频帧的前景目标和背景进行分离，无需预先训练，适用于多种场景，迁移性好。另外，本实施例中，利用连续相邻帧间背景补充得到关键背景图，能够较好地融合连续多帧图像的背景信息，且无论图像帧中是否有目标，该方法均能适用。本实施例中，还利用相同运动目标连续帧间的相似性去除冗余图像帧，能够在不损失视觉效果的前提下，去除大量冗余视频帧，提高压缩率。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种视频压缩方法，其特征在于，包括：
在视频的各个视频帧的关注区域中分离出目标区域，并根据所述各个视频帧的目标区域和背景区域，确定所述各个视频帧的关键背景图；
根据各个视频帧与所述各个视频帧对应的其它视频帧的关键背景图的差异，从所述各个视频帧中确定出冗余视频帧；其中，一个视频帧对应的其它视频帧包括所述视频中除所述该视频帧之外的一个或多个视频帧；基于非冗余视频帧的目标区域以及关键背景图，对所述视频进行压缩，其中，所述非冗余视频帧包括所述视频中除所述冗余视频帧之外的视频帧。
2.根据权利要求1所述的方法，其特征在于，在所述关注区域中分离出目标区域包括：
初始化水平集参数，基于水平集分割所述视频帧；
提取所述水平集分割结果，确定目标区域和背景区域。
3.根据权利要求2所述方法，其特征在于，提取所述水平集分割结果，确定目标区域和背景区域之后还包括：
遍历所有视频帧，确定所有视频帧中的目标区域和背景区域。
4.根据权利要求1所述的方法，其特征在于，根据所述目标区域和背景区域确定视频帧的关键背景图包括：
当第一视频帧图像中无目标区域时，确定所述第一视频帧图像为关键背景图；
当所述第一视频帧图像中有目标区域时，则根据后续连续的第二视频帧的背景图像对所述第一视频帧的背景图像进行补全以确定关键背景图。
5.根据权利要求4所述的方法，其特征在于，当所述第一视频帧图像中有目标区域时，则根据后续连续的第二视频帧的背景图像对所述第一视频帧的背景图像进行补全以确定关键背景图，包括：
计算所述第一视频帧与第二视频帧的背景的第一差异度；
如果所述第一差异度大于第一阈值，则保存所述第一视频帧的背景为关键背景图；
如果所述第一差异度小于或等于所述第一阈值，则计算所述第一视频帧与第二视频帧的背景缺失区域的重叠度IOU值；
当所述IOU≤0时，取所述第二视频帧相应位置的背景图像填充到所述第一视频帧的背景图像中，并将填充后的第一视频帧的背景保存为关键背景图；
当所述IOU＞0时，继续取所述第二视频帧的后续的连续帧对第一视频帧的背景图像进行填充，直至第一视频帧的背景图像完整填充，或第一视频帧与第二视频帧的背景的差异度大于第一阈值,则将填充后的第一视频帧的背景保存为关键背景图。
6.根据权利要求5所述的方法，其特征在于，其中，计算所述第一视频帧与第二视频帧的背景的第一差异度包括：
计算所述第一视频帧和第二视频帧的背景特征向量之间的距离以及背景的感知相似度；
根据所述第一视频帧和第二视频帧的背景特征向量之间的距离以及背景的感知相似度计算所述第一差异度。
7.根据权利要求6或5所述的方法，其特征在于，根据各个视频帧与所述各个视频帧对应的其它视频帧的关键背景图的差异从所述各个视频帧中确定出冗余视频帧，包括：
当所述第一视频帧图像中无目标区域时，计算所述第一视频帧的背景与填充完整的关键背景图的第二差异度；
如果所述第二差异度大于所述第二阈值，则确定所述第一视频帧为非冗余视频帧；
如果所述第二差异度小于或等于所述第二阈值，则确定所述第一视频帧为冗余视频帧；
当所述第一视频帧图像中有目标区域时，比较所述第一视频帧与前一关联视频帧的目标区域的数目；
若所述目标区域的数目不相等，则确定第一视频帧为非冗余视频帧，记录第一视频帧帧号，并保存所述第一视频帧的目标区域的图像；
若所述目标区域的数目相等，计算所述第一视频帧与前一关联视频帧的目标区域的IOU值；
如果IOU小于等于第三阈值时，则确定第一视频帧为冗余视频帧；
如果IOU大于所述第三阈值时，确定第一视频帧为非冗余视频帧，记录第一视频帧帧号，并保存所述第一视频帧的目标区域的图像。
8.根据权利要求1所述的方法，其特征在于，基于非冗余视频帧的目标区域以及关键背景图对所述视频进行压缩之后，还包括:
提取视频中的非冗余视频帧的目标区域和关键背景图，通过叠加各非冗余视频帧的目标区域和关键背景图，按时间顺序重构所述视频。
9.一种视频压缩装置，其特征在于，包括：
分离模块，用于在视频的各个视频帧的关注区域中分离出目标区域，并根据所述各个视频帧的目标区域和背景区域，确定所述各个视频帧的关键背景图；
确定模块，用于根据各个视频帧与所述各个视频帧对应的其它视频帧的关键背景图的差异，从所述各个视频帧中确定出冗余视频帧，其中，一个视频帧对应的其它视频帧包括所述视频中除该视频帧之外的一个或多个视频帧；
压缩模块，用于基于非冗余视频帧的目标区域以及关键背景图，对所述视频进行压缩，其中，所述非冗余视频帧包括所述视频中除所述冗余视频帧之外的视频帧。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至8任一项中所述的方法的步骤。
11.一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述权利要求1至8任一项中所述的方法的步骤。
CN202110858678.3A 2021-07-28 2021-07-28 视频压缩方法及装置 Active CN113596473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110858678.3A CN113596473B (zh) 2021-07-28 2021-07-28 视频压缩方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110858678.3A CN113596473B (zh) 2021-07-28 2021-07-28 视频压缩方法及装置

Publications (2)

Publication Number Publication Date
CN113596473A true CN113596473A (zh) 2021-11-02
CN113596473B CN113596473B (zh) 2023-06-13

Family

ID=78251191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110858678.3A Active CN113596473B (zh) 2021-07-28 2021-07-28 视频压缩方法及装置

Country Status (1)

Country Link
CN (1) CN113596473B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095750A (zh) * 2021-11-20 2022-02-25 深圳市伊登软件有限公司 云平台监控方法及相关产品
CN115514985A (zh) * 2022-09-20 2022-12-23 广东省宏视智能科技有限公司 一种视频处理方法、装置、电子设备及存储介质
CN116320536A (zh) * 2023-05-16 2023-06-23 瀚博半导体(上海)有限公司 视频处理方法、装置、计算机设备及计算机可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100128789A1 (en) * 2007-05-07 2010-05-27 Joel Sole Method and apparatus for processing video sequences
US20130128121A1 (en) * 2010-09-14 2013-05-23 Aseem O. Agarwala Methods and Apparatus for Video Completion
US20150317520A1 (en) * 2014-04-30 2015-11-05 Sony Corporation Method and apparatus for extraction of static scene photo from sequence of images
WO2016090652A1 (zh) * 2014-12-12 2016-06-16 深圳Tcl新技术有限公司 视频压缩方法及装置
US20180308330A1 (en) * 2017-04-20 2018-10-25 David Lee Selinger Automatic threat detection based on video frame delta information in compressed video streams
US20190147279A1 (en) * 2017-11-13 2019-05-16 Aupera Technologies, Inc. System of a video frame detector for video content identification and method thereof
CN109977840A (zh) * 2019-03-20 2019-07-05 四川川大智胜软件股份有限公司 一种基于深度学习的机场场面监视方法
US10462365B1 (en) * 2013-03-14 2019-10-29 Hrl Laboratories, Llc Low power surveillance system
CN110674874A (zh) * 2019-09-24 2020-01-10 武汉理工大学 基于目标精细组件检测的细粒度图像识别方法
CN110753228A (zh) * 2019-10-24 2020-02-04 山东浪潮人工智能研究院有限公司 基于YOLOv1的目标检测算法的车库监控视频压缩方法及系统
CN110956219A (zh) * 2019-12-09 2020-04-03 北京迈格威科技有限公司 视频数据的处理方法、装置和电子系统
WO2020115571A1 (en) * 2018-12-07 2020-06-11 Kpit Technologies Limited A system and method for video compression using key frames and sums of absolute differences
CN111274995A (zh) * 2020-02-13 2020-06-12 腾讯科技（深圳）有限公司 视频分类方法、装置、设备和计算机可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100128789A1 (en) * 2007-05-07 2010-05-27 Joel Sole Method and apparatus for processing video sequences
US20130128121A1 (en) * 2010-09-14 2013-05-23 Aseem O. Agarwala Methods and Apparatus for Video Completion
US10462365B1 (en) * 2013-03-14 2019-10-29 Hrl Laboratories, Llc Low power surveillance system
US20150317520A1 (en) * 2014-04-30 2015-11-05 Sony Corporation Method and apparatus for extraction of static scene photo from sequence of images
WO2016090652A1 (zh) * 2014-12-12 2016-06-16 深圳Tcl新技术有限公司 视频压缩方法及装置
US20180308330A1 (en) * 2017-04-20 2018-10-25 David Lee Selinger Automatic threat detection based on video frame delta information in compressed video streams
US20190147279A1 (en) * 2017-11-13 2019-05-16 Aupera Technologies, Inc. System of a video frame detector for video content identification and method thereof
WO2020115571A1 (en) * 2018-12-07 2020-06-11 Kpit Technologies Limited A system and method for video compression using key frames and sums of absolute differences
CN109977840A (zh) * 2019-03-20 2019-07-05 四川川大智胜软件股份有限公司 一种基于深度学习的机场场面监视方法
CN110674874A (zh) * 2019-09-24 2020-01-10 武汉理工大学 基于目标精细组件检测的细粒度图像识别方法
CN110753228A (zh) * 2019-10-24 2020-02-04 山东浪潮人工智能研究院有限公司 基于YOLOv1的目标检测算法的车库监控视频压缩方法及系统
CN110956219A (zh) * 2019-12-09 2020-04-03 北京迈格威科技有限公司 视频数据的处理方法、装置和电子系统
CN111274995A (zh) * 2020-02-13 2020-06-12 腾讯科技（深圳）有限公司 视频分类方法、装置、设备和计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095750A (zh) * 2021-11-20 2022-02-25 深圳市伊登软件有限公司 云平台监控方法及相关产品
CN115514985A (zh) * 2022-09-20 2022-12-23 广东省宏视智能科技有限公司 一种视频处理方法、装置、电子设备及存储介质
CN116320536A (zh) * 2023-05-16 2023-06-23 瀚博半导体(上海)有限公司 视频处理方法、装置、计算机设备及计算机可读存储介质
CN116320536B (zh) * 2023-05-16 2023-08-18 瀚博半导体(上海)有限公司 视频处理方法、装置、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN113596473B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN113596473B (zh) 视频压缩方法及装置
Bouwmans et al. Scene background initialization: A taxonomy
CN111901604B (zh) 视频压缩、重构方法及对应装置、摄像头及视频处理设备
CN115359261B (zh) 图像识别方法、计算机可读存储介质以及电子设备
CN110599554A (zh) 人脸肤色的识别方法和装置、存储介质及电子装置
CN111444976A (zh) 目标检测方法、装置、电子设备和可读存储介质
CN112329702A (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN110858277A (zh) 一种获得姿态分类模型的方法以及装置
CN113627402A (zh) 一种图像识别方法及相关装置
CN110991298B (zh) 图像的处理方法和装置、存储介质及电子装置
CN114708287A (zh) 一种镜头边界检测方法、设备及存储介质
CN114170425A (zh) 模型训练、图像分类方法、服务器及存储介质
CN115243073A (zh) 一种视频处理方法、装置、设备及存储介质
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN115631339A (zh) 视觉特征提取方法、装置及电子设备
CN114610942A (zh) 基于联合学习的图像检索方法及装置、存储介质、电子设备
CN114500879A (zh) 视频数据处理方法、装置、设备及存储介质
CN111527518B (zh) 基于超射线表示的使用来处理光场视频的方法
CN114626994A (zh) 一种图像处理方法、视频处理方法、计算机设备、存储介质
CN114639076A (zh) 目标对象检测方法、装置、存储介质以及电子装置
CN117176979B (zh) 多源异构视频的内容帧提取方法、装置、设备及存储介质
CN116489477B (zh) 全息视频的生成方法、装置、设备及存储介质
CN117271831B (zh) 一种基于多属性学习的体育视频智能分类方法及系统
CN117177004A (zh) 内容帧的提取方法、装置、设备及存储介质
CN116386134A (zh) 时序动作检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant