CN111726620A - 一种监控视频背景帧的编码方法、装置、电子设备及介质 - Google Patents

一种监控视频背景帧的编码方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN111726620A
CN111726620A CN201910221762.7A CN201910221762A CN111726620A CN 111726620 A CN111726620 A CN 111726620A CN 201910221762 A CN201910221762 A CN 201910221762A CN 111726620 A CN111726620 A CN 111726620A
Authority
CN
China
Prior art keywords
frame
background
frames
monitoring
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910221762.7A
Other languages
English (en)
Inventor
严柯森
吴辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201910221762.7A priority Critical patent/CN111726620A/zh
Priority to PCT/CN2019/111948 priority patent/WO2020192095A1/zh
Publication of CN111726620A publication Critical patent/CN111726620A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本申请公开了一种监控视频背景帧的编码方法，为解决现有技术缺陷，本申请提供了一种将位于连续背景帧组中的每个非I帧均以相同的I帧作为参考对象来进行SKIP编码的新编码机制，即连续背景帧组中每个非I帧不再需要基于互不相同的关联帧作为进行SKIP编码时的参考对象，而是每个非I帧都只需基于相同的关联帧作为编码时的参考对象，由于位于连续背景帧组中的各背景帧间差异极小，因此基于新编码方式得到的画面质量并不会与现有技术存在明显差距，但新编码机制的应用却会使抗丢帧和抗丢包能力因为关联帧的统一得到明显提升。本申请还同时公开了一种监控视频背景帧的编码装置、电子设备及计算机可读存储介质，具有上述有益效果。

Description

一种监控视频背景帧的编码方法、装置、电子设备及介质
技术领域
本申请涉及视频编码技术领域，特别涉及一种监控视频背景帧的编码方法、装置、电子设备及计算机可读存储介质。
背景技术
遍布大街小巷的监控摄像头为人们提供了可靠的信息追溯能力，但随着人们对画面质量、清晰度要求的不断提高，导致增大的数据量向数据传输网络施加了更大的压力，压力的增加会导致数据传输网络出错率的激增，反映在监控视频数据上就是丢包率的上升。
监控视频相比于其他类型视频拥有一个明显的区别特性，就是由于无法预知监控要素(例如人和车等非固定物体)的出现时间，监控摄像头通常24小时工作，但对使用者来讲，监控视频的作用就是记录监控要素的行为，不包含监控要素的部分通常会被当作影响抓取有效信息的无效数据被跳过或被舍弃。换句话说，不包含监控要素的部分监控视频是不被用户所关心的，用户关心的仅仅是包含监控要素的部分，基于此特性，业界通常采用降低不包含监控要素的背景帧的画面质量的方式来尽可能的实现高画面质量与传输数据量间的平衡，以求在画面质量提升的同时数据量增加不明显。
在主流视频压缩编码标准中，SKIP编码模式是一种压缩率最高的编码模式，因此广泛应用于对连续背景帧的(即不包含监控要素的帧)的编码中，但在现行的SKIP编码模式下，P帧(又称帧间预测编码帧)需要参考前一帧才能进行编码，记录的是该帧相对于前一帧在图像上的偏差量；B帧(又称双向预测编码帧)则需要同时参考前一帧和后一帧才能进行编码，同时记录该帧相对于前一帧和后一帧在图像上的偏差量。由此可知，在进行SKIP编码时，当前帧的前一帧或前一帧以及后一帧都将作为必要的关联帧参与编码过程，且由于帧的连续性，使得每个背景帧在进行SKIP编码时其关联帧都互不相同。因此一个非常明显的问题就是：任何一帧的丢失都将会对后续帧的编码造成极大的影响，其抗丢包和抗丢帧能力较差。基于现有技术的一种编码示意图可参见图1。
因此，如何克服现有技术中存在的技术缺陷，是本领域技术人员亟待解决的问题。
发明内容
本申请的目的在于提供一种监控视频背景帧的编码方法、装置、电子设备及计算机可读存储介质，旨在解决连续背景帧组中的每个非I帧均需要基于互不相同的关联帧才能进行SKIP编码的机制下，因连续性导致的抗丢包和抗丢帧能力较差的问题。
为实现上述目的，本申请提供一种监控视频背景帧的编码方法，该编码方法包括：
从监控视频的各帧中选取出连续背景帧组；其中，所述连续背景帧组包括多个背景帧，多个所述背景帧中仅有一个I帧，且所述I帧为所述连续背景帧组的首帧；
将所述连续背景帧组中非所述I帧的每个其它帧均以所述I帧为参考对象进行SKIP编码。
可选的，将所述连续背景帧组中非所述I帧的每个其它帧均以所述I帧为参考对象进行SKIP编码，包括：
从所述连续背景帧组中提取得到非所述I帧的所有其它帧；
将各所述其它帧通过多线程并发技术同时以所述I帧为参考对象进行SKIP编码。
可选的，从监控视频的各帧中选取出连续背景帧组，包括：
利用背景帧检测模型从所述实际监控视频的各帧中选取出所述连续背景帧组；其中，所述背景帧检测模型为利用深度学习算法基于真实背景帧训练后得到的检测模型；
或，
利用监控要素检测模型从所述实际监控视频的各帧中选取出所述连续背景帧组；其中，所述监控要素检测模型为利用深度学习算法基于真实监控要素的特征训练后得到的检测模型。
可选的，从监控视频的各帧中选取出连续背景帧组，包括：
利用背景帧检测模型检测所述实际监控视频的各帧中是否包含背景特征；其中，所述背景帧检测模型为利用深度学习算法基于真实背景帧训练后得到的检测模型，所述背景特征是所述深度学习算法从所述真实背景帧中提取得到的；
利用监控要素检测模型检测所述实际监控视频的各帧中是否包含监控要素；其中，所述监控要素检测模型为利用深度学习算法基于真实监控要素的特征训练后得到的检测模型；
将包含所述背景特征、不包含所述监控要素的连续帧的集合选为所述连续背景帧组。
可选的，该监控视频背景帧的编码方法还包括：
分别根据所述背景帧检测模型和所述监控要素检测模型对所述实际监控视频中背景帧的判别准确度，为所述背景帧检测模型和所述监控要素检测模型分别分配对应的权值，以通过基于所述权值的加权计算法更准确的选取得到所述连续背景帧组。
可选的，所述背景帧检测模型和/或所述监控要素检测模型包括预设数量的子检测模型；其中，每个子检测模型为不同深度学习算法分别基于相同训练样本训练后得到的检测模型。
可选的，该监控视频背景帧的编码方法还包括：
将所述监控视频中为非所述背景帧的帧选取为监控要素帧；
将所述监控要素帧中监控要素的所在区域标记为监控要素区域；
按帧间或帧内的编码方式对所述监控要素区域进行编码；
将所述监控要素区域之外的区域通过宏块级SKIP模式进行编码。
可选的，该监控视频背景帧的编码方法还包括：
将在所述连续背景帧组中和在非所述监控要素区域之外显示OSD信息的区域标记为OSD变化区域；
按帧间或帧内的编码方式对所述OSD变化区域进行编码。
为实现上述目的，本申请还提供了一种监控视频背景帧的编码装置，该编码装置包括：
连续背景帧组选取单元，用于从监控视频的各帧中选取出连续背景帧组；其中，所述连续背景帧组包括多个背景帧，多个所述背景帧中仅有一个I帧，且所述I帧为所述连续背景帧组的首帧；
帧级SKIP编码单元，用于将所述连续背景帧组中非所述I帧的每个其它帧均以所述I帧为参考对象进行SKIP编码。
可选的，所述帧级SKIP编码单元包括：
其它帧提取子单元，用于从所述连续背景帧组中提取得到非所述I帧的所有其它帧；
多线程并发编码子单元，用于将各所述其它帧通过多线程并发技术同时以所述I帧为参考对象进行SKIP编码。
可选的，所述连续背景帧组选取单元包括：
背景帧检测模型选取子单元，用于利用背景帧检测模型从所述实际监控视频的各帧中选取出所述连续背景帧组；其中，所述背景帧检测模型为利用深度学习算法基于真实背景帧训练后得到的检测模型；
或，
监控要素检测模型选择子单元，用于监控利用监控要素检测模型从所述实际监控视频的各帧中选取出所述连续背景帧组；其中，所述监控要素检测模型为利用深度学习算法基于真实监控要素的特征训练后得到的检测模型。
可选的，所述连续背景帧组选取单元包括：
背景特征检测子单元，用于利用背景帧检测模型检测所述实际监控视频的各帧中是否包含背景特征；其中，所述背景帧检测模型为利用深度学习算法基于真实背景帧训练后得到的检测模型，所述背景特征是所述深度学习算法从所述真实背景帧中提取得到的；
监控要素检测子单元，用于利用监控要素检测模型检测所述实际监控视频的各帧中是否包含监控要素；其中，所述监控要素检测模型为利用深度学习算法基于真实监控要素的特征训练后得到的检测模型；
多检测模型选取子单元，用于将包含所述背景特征、不包含所述监控要素的连续帧的集合选为所述连续背景帧组。
可选的，该监控视频背景帧的编码装置还包括：
权值分配单元，用于分别根据所述背景帧检测模型和所述监控要素检测模型对所述实际监控视频中背景帧的判别准确度，为所述背景帧检测模型和所述监控要素检测模型分别分配对应的权值，以通过基于所述权值的加权计算法更准确的选取得到所述连续背景帧组。
可选的，该监控视频背景帧的编码装置还包括：
监控要素帧选取单元，用于将所述监控视频中为非背景帧的帧选取为监控要素帧；
监控要素区域标记单元，用于将所述监控要素帧中监控要素的所在区域标记为监控要素区域；
监控要素区域高质量编码单元，用于按帧间或帧内的编码方式对所述监控要素区域进行编码；
宏块级SKIP编码单元，用于将所述监控要素区域之外的区域通过宏块级SKIP模式进行编码。
可选的，该监控视频背景帧的编码装置还包括：
OSD变化区域标记单元，用于将在所述连续背景帧组中和在非所述监控要素区域之外显示OSD信息的区域标记为OSD变化区域；
OSD变化区域编码单元，用于按帧间或帧内的编码方式对所述OSD变化区域进行编码。
为实现上述目的，本申请还提供了一种电子设备，该电子设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述内容所描述的监控视频背景帧的编码方法。
为实现上述目的，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述内容所描述的监控视频背景帧的编码方法。
为解决现有技术缺陷，本申请提供了一种将位于连续背景帧组中的每个非I帧均以相同的I帧作为参考对象来进行SKIP编码的新编码机制，即连续背景帧组中每个非I帧不再需要基于互不相同的关联帧作为进行SKIP编码时的参考对象，而是每个非I帧都只需基于相同的关联帧作为编码时的参考对象，由于位于连续背景帧组中的各背景帧间差异极小，因此基于新编码方式得到的画面质量并不会与现有技术存在明显差距，但新编码机制的应用却会使抗丢帧和抗丢包能力因为关联帧的统一得到明显提升。
本申请同时还提供了一种监控视频背景帧的编码装置、电子设备及计算机可读存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为现有技术下连续背景帧组中一种各背景帧的编码示意图；
图2为本申请实施例提供的一种监控视频背景帧的编码方法的流程图；
图3为与图2所示的新编码方法对应的连续背景帧组中一种各背景帧的编码示意图；
图4为本申请实施例提供的另一种监控视频背景帧的编码方法的流程图；
图5为本申请实施例提供的又一种监控视频背景帧的编码方法的流程图；
图6为本申请实施例提供的再一种监控视频背景帧的编码方法的流程图；
图7为本申请实施例提供的还一种监控视频背景帧的编码方法的流程图；
图8为本申请实施例提供的一种监控视频中监控要素帧的编码方法的流程图；
图9为本申请实施例提供的一种监控视频的帧编码方法的流程示意图；
图10为本申请实施例提供的一种监控视频背景帧的编码装置的结构框图；
图11为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
本申请的目的在于提供一种监控视频背景帧的编码方法、装置、电子设备及计算机可读存储介质，旨在解决连续背景帧组中的每个非I帧均需要基于互不相同的关联帧才能进行SKIP编码的机制下，因连续性导致的抗丢包和抗丢帧能力较差的问题。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
实施例一
请参见图2，图2为本申请实施例提供的一种监控视频背景帧的编码方法的流程图，其包括以下步骤：
S101：从监控视频的各帧中选取出连续背景帧组；
本步骤旨在从监控摄像头对目标监控区域拍摄得到的监控视频中选取出连续背景帧组。
由于实际构成监控视频的是一帧帧的图像，因此选取出连续背景帧组的操作是从实际构成监控视频的各帧中进行的。其中，作为多个连续背景帧集合的连续背景帧组，每个连续背景帧组中通常仅包含一个I帧(帧内编码帧)，且该I帧通常作为该连续背景帧组的首帧存在于该连续背景帧组中，其它帧根据实际应用场景以及用户设定的不同可以表现为B帧或P帧。帧序列中新的I帧通常会作为另一个连续背景帧组的首帧存在，而不是被置入前一个I帧所在的连续背景帧组。
为选取出连续背景帧组，首先需要从实际构成监控视频的各帧中选取出背景帧，再将连续的、相差较小的、相似度较高的背景帧形成一个连续背景帧组，连续背景帧组中包含的背景帧的数量并不固定，界定能够与其它连续的背景帧形成一个连续背景帧组，主要是看当前背景帧与其相连续的其它背景帧间的相似度和差异大小，根据实际应用场景下所有可能存在的特殊要求，连续背景帧组中包含的背景帧个数可灵活调整，此处并不做具体限定。
从构成监控视频的各帧中选取出背景帧的方法包括但不限于以下几种：
基于背景特征的背景帧选取方法、基于监控要素的背景帧选取方法，以及结合背景特征和监控要素这两种特征的背景帧选取方法，其中，基于背景特征的背景帧选取方法是指通过判断当前帧是否存在与预设背景帧相同的背景特征来判断当前帧是否为背景帧的方法；相类似的，基于监控要素的背景帧选取方法是指通过当前帧中是否存在与预设监控要素的特征相一致的监控要素来判断当前帧是否为背景帧的方法。上述单纯的依据背景特征或监控要素特征的有无来判别是否为背景帧可能会存在误判，因为即使存在相同的背景特征也并非一定就是背景帧，当监控要素以不影响背景特征的方式出现在当前帧里时，误判就会发生，同理，不存在监控要素也并非一定就是背景帧。
因此，为了尽可能的降低误判率，还可以同时结合上述两种分别从不同角度来判别当前帧是否为背景帧的方法，以使不包含监控要素、包含与预设背景特征相同的背景特征的当前帧才能够被选取为背景帧。
提取和检测背景特征/监控要素特征的具体算法包括但不限于以下几种：
其中，特征的提取包括最简单的特征区域圈定法(一种通过确定特征所在区域实现对区域内特征进行提取的方法)、运动/行为特征确定法(一种根据监控要素相比于背景存在较大的相对运动来提取相应特征的方法)、ROI(Region Of Interest，感兴趣区域)确定法(一种自动圈定感应趣区域的方法)等其他类似算法，特征的检测则通常都是基于相似度或差异度的比对来实现的，但在此原理基础上存在多种具体算法，例如基于灰度分布、灰度差异、灰度均值等灰度相关参数的相似性比对法，也可以基于其它有相同或类似功能的参数，此部分内容已被本领域技术人员所熟知，且如何确定背景帧的方式也并非是本发明的主要发明点，不再一一赘述。
应当理解的是，相比于常规特征提取算法更多提取到的表层特征，基于深度学习算法的提取模型可以通过其仿自人类神经元构造的算法结构提取到更多更深层的特征，基于深层特征的相似性比对，相比于常规表层特征的相似性比对，效果更好，误判率更低。
S102：将连续背景帧组中非I帧的每个其它帧均以I帧为参考对象进行SKIP编码。
在S101的基础上，本步骤旨在将连续背景帧组中非I帧的每个其它帧均以I帧为参考对象进行SKIP编码，其中一种采用本步骤提供的新编码方式的示意图可参见图3，图3给出的是在将帧结构自定义为仅包含I帧和P帧的情况下得到的，因此在图3所示的连续背景帧组中除首帧的I帧外，剩下的均为P帧。
结合图3可以看出，连续背景帧组中的每一个P帧均有一条指向I帧的连线，该连线的箭头指向进行SKIP编码时的参考对象，相比于对应现有技术的图1可以明显看出，在本申请提供的新编码方式下，连续背景帧组中的每个非I帧的参考对象是相同的，而非像现有技术每个非I帧都有自己专属的参考对象，编码不再拥有连续性，因此在I帧不丢失的情况下，丢失任何一个非I帧的编码结果都不会影响其它非I帧的编码，使得需要保证稳定存在的帧从原先位于连续背景帧组中的每个背景帧变为了数量为1的I帧，使得抗丢包和抗丢帧能力得到了显著的提升。同时，由于不需要再参考前一帧或前一帧和后一帧，两个P帧或P帧和B帧间不需要再计算偏差量，也能够在一定程度上减少编码过程的计算量和编码量。
同时，现有技术中当前帧需要以前一帧或前一帧和后一帧同时作为参考对象才能进行编码，使得连续背景帧组中每个背景帧的编码过程是线性的、连续的，必然要通过串行的方式进行处理，无法充分发挥处理器的多进程并发处理能力，而采用新编码方式后，由于参考对象的固定，使得各背景帧的编码可以是非线性的、不连续的，也就使得采用多进程并发技术来加速编码过程成为可能，有效提升编码速度。
为解决现有技术缺陷，本申请提供了一种将位于连续背景帧组中的每个非I帧均以相同的I帧作为参考对象来进行SKIP编码的新编码机制，即连续背景帧组中每个非I帧不再需要基于互不相同的关联帧作为进行SKIP编码时的参考对象，而是每个非I帧都只需基于相同的关联帧作为编码时的参考对象，由于位于连续背景帧组中的各背景帧间差异极小，因此基于新编码方式得到的画面质量并不会与现有技术存在明显差距，但新编码机制的应用却会使抗丢帧和抗丢包能力因为关联帧的统一得到明显提升。
实施例二
请参见图4，图4为本申请实施例提供的另一种监控视频背景帧的编码方法的流程图，本实施例在实施例一的基础上，从提升整体编码效果的角度出发，提供了一种通过多进程并发技术来提升编码速度的方法，包括以下步骤：
S201：从监控视频的各帧中选取出连续背景帧组；
S202：从连续背景帧组中提取得到非I帧的所有其它帧；
在S201的基础上，本步骤旨在从连续背景帧组中取出所有非I帧，以便将这些非I帧分别分配给多线程并发技术提供的多个线程或多个协程来同时执行编码操作。
S203：将各其它帧通过多线程并发技术同时以I帧为参考对象进行SKIP编码。
在S202的基础上，本步骤旨在将取出的各其它帧分别分配给多线程并发技术提供的多个进程或多个协程，以通过同时执行相对独立的每个进程或协程的方式来提升整体编码速度。进一步的，当多线程并发技术无法一次性为连续背景帧组中的每一个非I帧都对应提供一个进程或协程时，还可以采用将各非I帧按照实际能够提供的进程数或协程数分组，使得每个进程或协程负责对应组内的非I帧的编码，这种方式也被称为微批量方式。
采用多线程并发技术将有助于提升整体编码速度，但在一定程度上也会存在破坏各帧在时间序列上排列的情况，因此为了保证编码后的各帧在时间序列上的排列情况不变，因此还可以进一步的根据各非I帧在时间序列上的排列情况在进行批量编码时附加特殊的排序标记或时间戳，以便在编码完成后能够根据该时间戳或排序标记再将其排列为相同的序列。
实施例一所提供的新编码方式解放了编码过程中对编码连续性的要求，因此也就使得并行方式的应用成为可能，本实施例就从如何提升整体编码效率出发具体提供一种利用多进程并发技术来批量处理无关联的编码操作，得以使得整体编码效率得到明显提升，充分利用了处理器的多进程处理能力。
实施例三
请参见图5，图5为本申请实施例提供的又一种监控视频背景帧的编码方法的流程图，为提升背景帧、连续背景帧组的选取准确度、降低误判率，本实施例在上述任意实施例的基础上，提供了一种基于深度学习算法的特殊构造使得特征的提取和检测都能够包含更多深层次特征的方法，包括如下步骤：
S301：利用背景帧检测模型从实际监控视频的各帧中选取出连续背景帧组；
其中，本步骤所使用的背景帧检测模型为利用深度学习算法基于真实背景帧训练后得到的检测模型，通常基于深度学习算法得到一个相应模型的过程如下：
获取大量真实的针对性样本数据，以构建一个用于检测当前帧是否为背景帧的背景帧检测模型为例，本步骤需要获取到大量真实的背景帧作为样本数据；
将样本数据作为具体深度学习算法的输入数据；
具体的深度学习算法将通过内部的多层构造提取得到隐藏在样本数据背后的具有共性的目标特征；
构建得到基于目标特征的分类器，以利用该分类器将包含与不包含与目标特征相同或类似的特征的实际帧区分开。
深度学习算法根据是否需要提供指导信息，还被分为有监督和无监督两大类，有监督是指在提供样本数据的同时还给出一些针对性的指导信息，适合对特征有明确要求的应用场景，能够得到较好的分类和检测效果；无监督则相反，由于不提供针对性的指导信息，使得提取出的特征有可能与预期存在较大的偏差，适合对特征没有明确要求或者需要此种方式自行寻找一个合适特征的应用场景。结合本申请对背景特征的需求，采用有监督的深度学习算法可以得到更好的效果。
具体算法可以选用常见的卷积神经网络、深度残差网络等等，由于不同算法的针对性各有不同，具体哪种更适合还可以根据实际应用场景下的有限次测试得到具体结论，此外，采用的激活函数和损失函数的不同也可能导致检测效果存在差别，此处并不做具体限定。
进一步的，在利用基于深度学习算法构建出背景帧检测模型完成高质量的背景帧检测之后，还可以通过增加相似性判定算法的方式完成哪些连续背景帧可以形成一个连续背景帧组的判定，该判定算法可以作为模型中的一部分，也可以单独存在，作为模型一部分存在的时候集成度更高。
S302：将连续背景帧组中非I帧的每个其它帧均以I帧为参考对象进行SKIP编码。
上面给出了一种通过引入深度学习算法来提升基于背景特征的背景帧检测精度的方法，当然也可以通过将相同的深度学习算法应用在监控要素的特征方面来提升背景帧检测精度，其实现步骤可参见图6：
S401：利用监控要素检测模型从实际监控视频的各帧中选取出连续背景帧组；
其中，监控要素检测模型为利用深度学习算法基于真实监控要素的特征训练后得到的检测模型。可以看出，区别于如图5所示的实现步骤，图6所示的实现步骤中同样是利用了深度学习算法对深层次特征的提取能力，只不过所提取的特征是区别于背景特征的监控要素的特征，是可以用于判别是否为背景帧的另一种特征。其它部分与图5所示的内容相同，不再一一赘述。
S402：将连续背景帧组中非I帧的每个其它帧均以I帧为参考对象进行SKIP编码。
图5和图6为将深度学习算法对深层次特征的提取分别引入了背景特征和监控要素的特征，但依然还是单独依据一类特征完成的检测，在S101部分已经说明过，单独依据一类特征得到的检测结果往往并不准确，因此本申请还提供了一种利用这两类特征共同进行检测的实现方式，且每种特征的检测模型都是依据深度学习算法构造的检测模型，以期得到尽可能准确的检测结果：
S501：利用背景帧检测模型检测实际监控视频的各帧中是否包含背景特征；其中，背景帧检测模型为利用深度学习算法基于真实背景帧训练后得到的检测模型，背景特征是深度学习算法从真实背景帧中提取得到的；
S502：利用监控要素检测模型检测实际监控视频的各帧中是否包含监控要素；
其中，监控要素检测模型为利用深度学习算法基于真实监控要素的特征训练后得到的检测模型。
S503：将包含背景特征、不包含监控要素的连续帧的集合选为连续背景帧组。
进一步的，虽然上述给出的两类均能单独用于区别当前帧是否为背景帧，但由于其方式不同，往往对得出相同结论所起到影响程度也有所不同，例如在一个受多因素影响的参数时，每种因素在相同变化量下往往会使参数出现不同的变化量，也就是说其对参数或结论的影响不同。同理，在同时结合背景特征和监控要素特征时，在不同应用场景下，这两类特征对得到当前帧为背景帧这一结论的影响程度也不尽相同，因此还可以分别根据背景帧检测模型和监控要素检测模型对实际监控视频中背景帧的判别准确度，为背景帧检测模型和监控要素检测模型分别分配对应的权值，以通过基于权值的加权计算法更准确的选取得到连续背景帧。
为方便理解，此处将通过一个较为具体的例子进行说明：
假定利用背景帧检测模型单独判别一帧是否为背景帧的准确率为80％，利用监控要素检测模型单独判别一帧是否为背景帧的准确率为70％，那么可以将准确率作为其各自的权值，并将每个权值作为乘积因子与对应模型对该帧进行判别后得到的背景帧评估概率，最终将两种模型得到的值相加得到一个背景帧综合评估概率，以便基于该综合评估概率进行该帧是否为背景帧的评定。
假定，背景帧检测模型判断目标帧为背景帧的评估概率为85％，监控要素检测模型判断目标帧为背景帧的评估概率为80％，应用加权计算法的一个具体计算过程为：综合背景帧评估概率＝0.85×0.8+0.7×0.8，可得到为1.24的综合评估概率，在此基础上，可以制定数值为1.15的综合评估概率阈值，以仅将通过加权计算法计算得到的数值超过1.15的综合评估概率的帧判别为背景帧。其中，综合评估概率阈值的大小可以根据实际情况自行设定，不做具体限定。
需要说明的是，在实际情况下，也存在将背景帧检测模型或监控要素检测模型训练为一个二分分类器的情况，上述权值的方式并不适用于二分分类器仅能得到属于背景帧或不属于背景帧的判别结果。
另一方面，即使是有监督的深度学习算法也依然存在多种不同倾向性的算法，因此为了尽可能提升检测准确度，还可以设置述背景帧检测模型和/或监控要素检测模型中包括预设数量的子检测模型，其中每个子检测模型为不同深度学习算法分别基于相同训练样本训练后得到的检测模型，以通过多个子模型的共同作用来期望得到一个更准确的检测结果。
当然，每个子检测模型也可以根据对整体检测结果的影响程度被分配有相应大小的权值，来通过加权计算法得到一个综合结果，并基于综合结果得到相应的结论。
本实施例在上述任意实施例的基础上，从提升背景帧判别准确度这一角度出发，将拥有仿自人类神经元构造的深度学习算法引入特征提取部分，并通过其对深层次特征的挖掘能力来提升提取特征对比过程中对背景帧的判别准确度，图5、图6分别某一类特征出发提供了一种实现方式，图7则在其基础上，提供了一种更优的、结合两类特征同时判别的实现方式，效果更佳。
实施例四
请参见图8，图8为本申请实施例提供的一种监控视频中监控要素帧的编码方法的流程图，本实施例在上述任意实施例实现对背景帧的检测之外，额外提供了一种对非背景帧的编码方法，以与背景帧的编码方法相互配合，共同形成对监控视频所有类型的帧进行编码的方法，包括如下步骤：
S601：将监控视频中为非背景帧的帧选取为监控要素帧；
本步骤旨在得到与S101中选取出的构成连续背景帧组的背景帧相对的监控要素帧，当仅基于背景帧检测模型判别当前是否为背景帧时，非背景帧将通常为包含监控要素的监控要素帧。当然，上面以及提及过，无论单纯使用哪一种类型的判别方法，都不太准确，因此结合实施例三给出的内容，当同时采用两类特征判别背景帧时，与之相对的监控要素帧的选取方式应为不包含背景特征、包含监控要素的特征的实际帧。
S602：将监控要素帧中监控要素的所在区域标记为监控要素区域；
S603：按帧间或帧内的编码方式对监控要素区域进行编码；
虽然被判别为监控要素帧，但由于其中包含的监控要素并非会占据这一帧图像的全部区域，因此为了尽可能的减少编码量、降低编码后形成的待传输数据的大小，S602和S603提供确定监控要素所在区域，并针对监控要素区域采用高质量的帧内或帧间编码(具体选择哪种编码方式可以根据实际情况选取其中最优的那种)的方式来进行编码，以期针对用户关心的监控要素部分提供高质量的画面。
S604：将监控要素区域之外的区域通过宏块级SKIP模式进行编码。
在监控要素区域外的区域通常为监控要素帧中相对固定的背景部分，针对不关心的背景区域，本步骤通过沿用普通的宏块级SKIP编码来尽可能的减少编码量和数据量。其中，进行宏块级SKIP编码需要首先将目标区域按预设大小拆分为多个宏块，即普通的宏块级SKIP编码是以宏块作为是否可以进行SKIP编码的对象，每个宏块的参考对象可以是前一帧相同位置或邻近位置的宏块，结合运动估计、运动矢量的算法得到编码结果，此处并不做具体限定。其中，拆分出的宏块的大小可以根据实际情况在16×16、8×16以及8×8中自行选择，此处并不做具体限定。
进一步的，为了便于监控站区别不同监控摄像头所监控的区域的内容，通常还会采用OSD(On Screen Display，即屏幕菜单式调节方式)技术在画面上叠加一些诸如摄像头名称、监控区域名称、时间等信息，为了保证SKIP编码对变化的时间信息的影响，还可以将在连续背景帧组中和在非监控要素区域之外显示OSD信息的区域标记为OSD变化区域，并按帧间或帧内的编码方式对OSD变化区域进行编码，以更好的显示变化的信息。由于OSD变化区域通常位于画面的一角、顶部或者底部，便于进行区域的分割，不会因为此操作明显导致编码量明显增加，影响很小。
为加深对本申请发明点和本申请发明点在整体监控视频编码过程中的作用和步骤，本申请还在上述内容的基础上，提供了一种实际的监控视频的帧编码方法的流程示意图，请参见图9：
如图9所示，本实施例同时采用基于深度学习算法构造的背景帧检测模型和监控要素检测模型共同完成对实际帧帧类型的判断，将每个实际帧判别为背景帧或监控要素帧，并在背景帧的基础上选取出相似度保持在一定范围内的连续背景帧组，将连续背景帧组中包含的各背景帧按帧级SKIP编码方式进行编码(即每个非I帧都以相同的I帧为参考对象进行SKIP编码，用于区别于常规被称之为宏块级SKIP编码的编码方式)，而位于各背景帧中的OSD变化区域、监控要素帧中的监控要素区域和OSD变化区域则采用帧内或帧间编码的方式完成编码，监控要素中的背景区域则按照普通的宏块级SKIP编码方式进行编码，以此完成对构成监控视频的所有类型的帧的编码过程。
因为情况复杂，无法一一列举进行阐述，本领域技术人员应能意识到根据本申请提供的基本方法原理结合实际情况可以存在很多的例子，在不付出足够的创造性劳动下，应均在本申请的保护范围内。
实施例五
下面请参见图10，图10为本申请实施例提供的一种监控视频背景帧的编码装置的结构框图，该编码装置可以包括：
连续背景帧组选取单元100，用于从监控视频的各帧中选取出连续背景帧组；其中，连续背景帧组包括多个背景帧，多个背景帧中仅有一个I帧，且I帧为连续背景帧组的首帧；
帧级SKIP编码单元200，用于将连续背景帧组中非I帧的每个其它帧均以I帧为参考对象进行SKIP编码。
其中，该帧级SKIP编码单元200可以包括：
其它帧提取子单元，用于从连续背景帧组中提取得到非I帧的所有其它帧；
多线程并发编码子单元，用于将各其它帧通过多线程并发技术同时以I帧为参考对象进行SKIP编码。
其中，该连续背景帧组选取单元100可以包括：
背景帧检测模型选取子单元，用于利用背景帧检测模型从实际监控视频的各帧中选取出连续背景帧组；其中，背景帧检测模型为利用深度学习算法基于真实背景帧训练后得到的检测模型；
或，
监控要素检测模型选择子单元，用于监控利用监控要素检测模型从实际监控视频的各帧中选取出连续背景帧组；其中，监控要素检测模型为利用深度学习算法基于真实监控要素的特征训练后得到的检测模型。
其中，该连续背景帧组选取单元100可以包括：
背景特征检测子单元，用于利用背景帧检测模型检测实际监控视频的各帧中是否包含背景特征；其中，背景帧检测模型为利用深度学习算法基于真实背景帧训练后得到的检测模型，背景特征是深度学习算法从真实背景帧中提取得到的；
监控要素检测子单元，用于利用监控要素检测模型检测实际监控视频的各帧中是否包含监控要素；其中，监控要素检测模型为利用深度学习算法基于真实监控要素的特征训练后得到的检测模型；
多检测模型选取子单元，用于将包含背景特征、不包含监控要素的连续帧的集合选为连续背景帧组。
进一步的，该监控视频背景帧的编码装置还可以包括：
权值分配单元，用于分别根据背景帧检测模型和监控要素检测模型对实际监控视频中背景帧的判别准确度，为背景帧检测模型和监控要素检测模型分别分配对应的权值，以通过基于权值的加权计算法更准确的选取得到连续背景帧组。
进一步的，该监控视频背景帧的编码装置还可以包括：
监控要素帧选取单元，用于将监控视频中为非背景帧的帧选取为监控要素帧；
监控要素区域标记单元，用于将监控要素帧中监控要素的所在区域标记为监控要素区域；
监控要素区域高质量编码单元，用于按帧间或帧内的编码方式对监控要素区域进行编码；
宏块级SKIP编码单元，用于将监控要素区域之外的区域通过宏块级SKIP模式进行编码。
更进一步的，该监控视频背景帧的编码装置还可以包括：
OSD变化区域标记单元，用于将在连续背景帧组中和在非监控要素区域之外显示OSD信息的区域标记为OSD变化区域；
OSD变化区域编码单元，用于按帧间或帧内的编码方式对OSD变化区域进行编码。
本实施例提供的监控视频背景帧的编码装置对应于上述给出的编码方法，本实施例作为一个与方法实施例对应的产品实施例存在，具有与方法实施例相同的有益效果，各功能单元的说明的解释可参见上述各方法实施例，此处不再一一赘述。
图11是根据一示例性实施例示出的一种电子设备300的框图。如图11所示，电子设备300可以包括处理器301和存储器302，还可以进一步包括多媒体组件303、信息输入/信息输出(I/O)接口304以及通信组件305中的一或多者。
其中，处理器301用于控制电子设备300的整体操作，以完成上述的数据库透明加密方法中的全部或部分步骤；存储器302用于存储各种类型的数据以支持处理器301所需执行的各种操作，这些数据例如可以包括用于在该电子设备300上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器302可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，SRAM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory，EEPROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、只读存储器(Read-Only Memory，ROM)、磁存储器、快闪存储器、磁盘或光盘中的一或多者。
多媒体组件303可以包括用于采集图像的摄像头和采集音频信号的麦克风。所采集到的图像和接收的音频信号可以被进一步存储在存储器302或通过通信组件305发送。I/O接口304为处理器301和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标。通信组件305用于电子设备300与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件305可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
具体的，该电子设备可以具体表现为拥有编码能力的监控摄像头。
在一示例性实施例中，电子设备300可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例给出的监控视频背景帧的编码方法。
在另一示例性实施例中，还提供了一种存储有程序指令的计算机可读存储介质，该程序指令将在被处理器执行时实现与该程序指令对应的操作。例如，该计算机可读存储介质可以为上述包括程序指令的存储器302，上述程序指令具体为可由电子设备300的处理器301在执行时完成上述实施例给出的监控视频背景帧的编码方法。
本文中应用了具体个例对本公开的原理及实施方式进行了阐述，且各个实施例间为递进关系，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，可参见对应的方法部分说明。以上实施例的说明只是用于帮助理解本公开的方法及其核心思想。对于本技术领域的普通技术人员来说，在不脱离本公开原理的前提下，还可以对本公开进行若干改进和修饰，这些改进和修饰也落入本公开权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (11)

1.一种监控视频背景帧的编码方法，其特征在于，包括：
从监控视频的各帧中选取出连续背景帧组；其中，所述连续背景帧组包括多个背景帧，多个所述背景帧中仅有一个I帧，且所述I帧为所述连续背景帧组的首帧；
将所述连续背景帧组中非所述I帧的每个其它帧均以所述I帧为参考对象进行SKIP编码。
2.根据权利要求1所述的编码方法，其特征在于，将所述连续背景帧组中非所述I帧的每个其它帧均以所述I帧为参考对象进行SKIP编码，包括：
从所述连续背景帧组中提取得到非所述I帧的所有其它帧；
将各所述其它帧通过多线程并发技术同时以所述I帧为参考对象进行SKIP编码。
3.根据权利要求1所述的编码方法，其特征在于，从监控视频的各帧中选取出连续背景帧组，包括：
利用背景帧检测模型从所述实际监控视频的各帧中选取出所述连续背景帧组；其中，所述背景帧检测模型为利用深度学习算法基于真实背景帧训练后得到的检测模型；
或，
利用监控要素检测模型从所述实际监控视频的各帧中选取出所述连续背景帧组；其中，所述监控要素检测模型为利用深度学习算法基于真实监控要素的特征训练后得到的检测模型。
4.根据权利要求1所述的编码方法，其特征在于，从监控视频的各帧中选取出连续背景帧组，包括：
利用背景帧检测模型检测所述实际监控视频的各帧中是否包含背景特征；其中，所述背景帧检测模型为利用深度学习算法基于真实背景帧训练后得到的检测模型，所述背景特征是所述深度学习算法从所述真实背景帧中提取得到的；
利用监控要素检测模型检测所述实际监控视频的各帧中是否包含监控要素；其中，所述监控要素检测模型为利用深度学习算法基于真实监控要素的特征训练后得到的检测模型；
将包含所述背景特征、不包含所述监控要素的连续帧的集合选为所述连续背景帧组。
5.根据权利要求4所述的编码方法，其特征在于，还包括：
分别根据所述背景帧检测模型和所述监控要素检测模型对所述实际监控视频中背景帧的判别准确度，为所述背景帧检测模型和所述监控要素检测模型分别分配对应的权值，以通过基于所述权值的加权计算法更准确的选取得到所述连续背景帧组。
6.根据权利要求4所述的编码方法，其特征在于，所述背景帧检测模型和/或所述监控要素检测模型包括预设数量的子检测模型；其中，每个子检测模型为不同深度学习算法分别基于相同训练样本训练后得到的检测模型。
7.根据权利要求1至6任一项所述的编码方法，其特征在于，还包括：
将所述监控视频中为非所述背景帧的帧选取为监控要素帧；
将所述监控要素帧中监控要素的所在区域标记为监控要素区域；
按帧间或帧内的编码方式对所述监控要素区域进行编码；
将所述监控要素区域之外的区域通过宏块级SKIP模式进行编码。
8.根据权利要求7所述的编码方法，其特征在于，还包括：
将在所述连续背景帧组中和在非所述监控要素区域之外显示OSD信息的区域标记为OSD变化区域；
按帧间或帧内的编码方式对所述OSD变化区域进行编码。
9.一种监控视频背景帧的编码装置，其特征在于，包括：
连续背景帧组选取单元，用于从监控视频的各帧中选取出连续背景帧组；其中，所述连续背景帧组包括多个背景帧，多个所述背景帧中仅有一个I帧，且所述I帧为所述连续背景帧组的首帧；
帧级SKIP编码单元，用于将所述连续背景帧组中非所述I帧的每个其它帧均以所述I帧为参考对象进行SKIP编码。
10.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述的监控视频背景帧的编码方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的监控视频背景帧的编码方法。
CN201910221762.7A 2019-03-22 2019-03-22 一种监控视频背景帧的编码方法、装置、电子设备及介质 Pending CN111726620A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910221762.7A CN111726620A (zh) 2019-03-22 2019-03-22 一种监控视频背景帧的编码方法、装置、电子设备及介质
PCT/CN2019/111948 WO2020192095A1 (zh) 2019-03-22 2019-10-18 一种监控视频背景帧的编码方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910221762.7A CN111726620A (zh) 2019-03-22 2019-03-22 一种监控视频背景帧的编码方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN111726620A true CN111726620A (zh) 2020-09-29

Family

ID=72563512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910221762.7A Pending CN111726620A (zh) 2019-03-22 2019-03-22 一种监控视频背景帧的编码方法、装置、电子设备及介质

Country Status (2)

Country Link
CN (1) CN111726620A (zh)
WO (1) WO2020192095A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112040232A (zh) * 2020-11-04 2020-12-04 北京金山云网络技术有限公司 实时通信的传输方法和装置、实时通信的处理方法和装置
CN113038133A (zh) * 2021-05-24 2021-06-25 星航互联(北京)科技有限公司 一种基于卫星传输的视频压缩传输系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120449A1 (en) * 2004-12-06 2006-06-08 Lg Electronics Inc. Method of coding and decoding moving picture
CN101192903A (zh) * 2007-11-28 2008-06-04 腾讯科技（深圳）有限公司 数据帧编解码控制方法
CN101321287A (zh) * 2008-07-08 2008-12-10 浙江大学 基于运动目标检测的视频编码方法
CN104077757A (zh) * 2014-06-09 2014-10-01 中山大学 一种融合实时交通状态信息的道路背景提取与更新方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7139409B2 (en) * 2000-09-06 2006-11-21 Siemens Corporate Research, Inc. Real-time crowd density estimation from video
US6970640B2 (en) * 2001-05-14 2005-11-29 Microsoft Corporation Systems and methods for playing digital video in reverse and fast forward modes
CN101207813A (zh) * 2007-12-18 2008-06-25 中兴通讯股份有限公司 一种视频序列的编码、解码方法及编码、解码系统
CN101216942A (zh) * 2008-01-14 2008-07-09 浙江大学 一种自适应选取权重的增量式特征背景建模算法
CN102222349B (zh) * 2011-07-04 2013-01-23 江苏大学 一种基于边缘模型的前景帧检测方法
CN103546747B (zh) * 2013-09-29 2016-11-23 北京航空航天大学 一种基于彩色视频编码模式的深度图序列分形编码方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120449A1 (en) * 2004-12-06 2006-06-08 Lg Electronics Inc. Method of coding and decoding moving picture
CN101192903A (zh) * 2007-11-28 2008-06-04 腾讯科技（深圳）有限公司 数据帧编解码控制方法
CN101321287A (zh) * 2008-07-08 2008-12-10 浙江大学 基于运动目标检测的视频编码方法
CN104077757A (zh) * 2014-06-09 2014-10-01 中山大学 一种融合实时交通状态信息的道路背景提取与更新方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PUSHKAR GORUR等: "Skip Decision and Reference Frame Selection for Low-Complexity H.264/AVC Surveillance Video Coding", 《 IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
余崇智等: "《运动图像及其伴音的压缩与编码 MPEG 1》", 31 October 1995 *
牟晨杰等: "基于多线程处理器的H.264软件编码器并行算法", 《有线电视技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112040232A (zh) * 2020-11-04 2020-12-04 北京金山云网络技术有限公司 实时通信的传输方法和装置、实时通信的处理方法和装置
CN112040232B (zh) * 2020-11-04 2021-06-22 北京金山云网络技术有限公司 实时通信的传输方法和装置、实时通信的处理方法和装置
CN113038133A (zh) * 2021-05-24 2021-06-25 星航互联(北京)科技有限公司 一种基于卫星传输的视频压缩传输系统
CN113038133B (zh) * 2021-05-24 2021-12-24 星航互联(北京)科技有限公司 一种基于卫星传输的视频压缩传输系统

Also Published As

Publication number Publication date
WO2020192095A1 (zh) 2020-10-01

Similar Documents

Publication Publication Date Title
CN104063883B (zh) 一种基于对象和关键帧相结合的监控视频摘要生成方法
CN108182421B (zh) 视频分割方法和装置
CN104268900B (zh) 一种运动目标检测方法及装置
CN102473291B (zh) 体育视频中的远视场景的检测和自适应视频处理方法
CN110691259B (zh) 视频播放方法、系统、装置、电子设备及存储介质
CN110399526B (zh) 视频标题的生成方法、装置和计算机可读存储介质
CN111225234A (zh) 视频审核方法、视频审核装置、设备和存储介质
CN110782433B (zh) 基于时序的动态信息暴力抛物检测方法、装置及存储介质
WO2011153869A1 (zh) 一种图像区域划分/编码方法、装置及系统
US20100141810A1 (en) Bad Pixel Detection and Correction
JP2005243035A (ja) アンカーショット決定方法及び決定装置
CN109194955B (zh) 一种场景切换检测方法及系统
JP2021176243A (ja) 画像処理装置およびその制御方法、ならびに撮像装置
CN111726620A (zh) 一种监控视频背景帧的编码方法、装置、电子设备及介质
CN113505707A (zh) 吸烟行为检测方法、电子设备及可读存储介质
CN110866473B (zh) 目标对象的跟踪检测方法及装置、存储介质、电子装置
CN108985244B (zh) 一种电视节目类型识别方法及装置
CN114613006A (zh) 一种远距离手势识别方法及装置
CN111722891A (zh) 显示方法、装置、计算机可读存储介质和计算机设备
KR101667011B1 (ko) 입체 영상의 장면 전환 검출 장치 및 방법
CN116233479A (zh) 基于数据处理的直播信息内容审核系统及方法
CN111199538A (zh) 一种针对多层压缩感知图像的隐私保护度评价方法
US8014606B2 (en) Image discrimination apparatus
CN113191210B (zh) 一种图像处理方法、装置及设备
CN112752110B (zh) 视频呈现方法及装置、计算设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200929