CN108337515A - 一种视频编码方法及装置 - Google Patents

一种视频编码方法及装置 Download PDF

Info

Publication number
CN108337515A
CN108337515A CN201810053679.9A CN201810053679A CN108337515A CN 108337515 A CN108337515 A CN 108337515A CN 201810053679 A CN201810053679 A CN 201810053679A CN 108337515 A CN108337515 A CN 108337515A
Authority
CN
China
Prior art keywords
image
block
mask
masks
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810053679.9A
Other languages
English (en)
Other versions
CN108337515B (zh
Inventor
陈瑶
林聚财
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201810053679.9A priority Critical patent/CN108337515B/zh
Publication of CN108337515A publication Critical patent/CN108337515A/zh
Application granted granted Critical
Publication of CN108337515B publication Critical patent/CN108337515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供一种视频编码方法及装置，用以解决现有技术中编码获得的视频流的播放画面存在前景区域不完整、运动目标失真的技术问题。所述方法包括：基于预设高斯混合模型，以像素块为单位确定待编码视频的视频图像中的前景区域；基于预设边缘检测模型，以像素块为单位确定视频图像中的前景边缘区域；叠加前景区域和前景边缘区域，获得视频图像像素块级的第一图像掩膜，第一图像掩膜用于标识视频图像中的感兴趣区域和背景区域，感兴趣区域包括前景区域和前景边缘区域，背景区域为视频图像中除感兴趣区域外的区域；根据第一图像掩膜，生成视频图像宏块级的第二图像掩膜；根据第二图像掩膜，对视频图像进行编码。

Description

一种视频编码方法及装置
技术领域
本发明涉及视频编解码技术领域，尤其涉及一种视频编码方法及装置。
背景技术
原始采集的视频数据的数据量通常较大，在对其进行传输、存储时需要进行编码以实现压缩，压缩后形成的视频流可以通过有线或者无线网络进行传输。由于网络带宽的限制，通常希望在不影响用户观看体验的前提下，使压缩后的视频流尽可能小，以降低传输视频流占用的带宽。
在安防监控领域，监控视频的画面背景变化较小。目前，存在通过前背景分割技术将视频中的前景区域和背景区域分开，实现将网络带宽中有限的比特资源优先分配给前景区域，以改善用户观看体验的技术。
然而，通过实际使用发现，上述技术方案获得的视频流播放出的画面存在前景区域不完整，前景区域的运动目标失真的技术问题。
发明内容
本发明实施例提供一种视频编码方法及装置，用以解决现有技术中编码获得的视频流的播放画面存在前景区域不完整、运动目标失真的技术问题。
第一方面，提供一种视频编码方法，包括：
基于预设高斯混合模型，以像素块为单位确定待编码视频的视频图像中的前景区域，其中，每个像素块包括n个像素，n为正整数；
基于预设边缘检测模型，以像素块为单位确定所述视频图像中的前景边缘区域；
叠加所述前景区域和所述前景边缘区域，获得所述视频图像像素块级的第一图像掩膜，所述第一图像掩膜用于标识所述视频图像中的感兴趣区域和背景区域，所述感兴趣区域包括所述前景区域和所述前景边缘区域，所述背景区域为所述视频图像中除所述感兴趣区域外的区域；
根据所述第一图像掩膜，生成所述视频图像宏块级的第二图像掩膜，所述第二图像掩膜中的每个宏块包括多个像素块；
根据所述第二图像掩膜，对所述视频图像进行编码。
在一种可能的实现方式中，根据所述第一图像掩膜，生成所述视频图像宏块级的第二图像掩膜，包括：
确定所述第一图像掩膜中用于标识所述感兴趣区域的像素块在所有像素块中所占的第一比例；
若所述第一比例大于第一比例阈值，则对所述第一图像掩膜先进行腐蚀处理，再进行膨胀处理，以获得第三图像掩膜；若所述第一比例小于第二比例阈值，则对所述第一图像掩膜先进行膨胀处理，再进行腐蚀处理，以获得第三图像掩膜；若所述第一比例不大于所述第一比例阈值且不小于所述第二比例阈值，则将所述第二图像掩膜作为第三图像掩膜；
根据获得的第三图像掩膜，生成所述第二图像掩膜。
在一种可能的实现方式中，所述第一图像掩膜中用于标识所述感兴趣区域的像素块的掩膜值为1，用于标识所述背景区域的像素块的掩膜值为0，根据获得的第三图像掩膜，生成所述第二图像掩膜，包括：
对所述获得的第三图像掩膜进行连通域标记，将所述获得的第三图像的各连通域中的第一类连通域的掩膜值调整为0，以获得第四图像掩膜，其中，所述第一类连通域为面积小于预设面积阈值的连通域，或为包含的像素块数量小于预设数量阈值的连通域；
根据获得的第四图像掩膜，生成所述第二图像掩膜。
在一种可能的实现方式中，所述第一图像掩膜中用于标识所述感兴趣区域的像素块的掩膜值为1，用于标识所述背景区域的像素块的掩膜值为0，根据所述第一图像掩膜，生成所述视频图像宏块级的第二图像掩膜，包括：
对所述第一图像掩膜进行连通域标记，将所述第一图像掩膜的各连通域中的第一类连通域的掩膜值调整为0，以获得所述第五图像掩膜，其中，所述第一类连通域为面积小于预设面积阈值的连通域，或为包含的像素块数量小于预设数量阈值的连通域；
根据获得的第五图像掩膜，生成所述第二图像掩膜。
在一种可能的实现方式中，所述第二图像掩膜中包括掩膜值为1的宏块和掩膜值为0的宏块，根据所述第二图像掩膜，对所述视频图像进行编码，包括：
针对所述第二图像掩膜中的任一宏块，若所述任一宏块分割为的多个子块在各直流DC系数分量上之和分别小于各DC系数分量分别的阈值，且所述任一宏块的掩膜值为0，则以跳过skip编码模式对所述任一宏块标识的视频图像像素块进行编码，否则，以不同于所述skip编码模式的预设编码模式对所述任一宏块标识的视频图像像素块进行编码；
或，
针对所述第二图像掩膜中的任一宏块，若所述任一宏块分割为的多个子块在各DC系数分量上之和分别小于各DC系数分量分别的阈值，且所述任一宏块的掩膜值为0，且所述任一宏块的交流AC系数之和小于AC系数之和的阈值，则以skip编码模式对所述任一宏块标识的视频图像像素块进行编码，否则，以不同于所述skip编码模式的预设编码模式对所述任一宏块标识的视频图像像素块进行编码。
在一种可能的实现方式中，所述第二图像掩膜中包括掩膜值为1的宏块和掩膜值为0的宏块，在根据所述第二图像掩膜，对所述视频图像进行编码之前，所述方法还包括：
确定所述第二图像掩膜中掩膜值为1的宏块在所有宏块中所占的第二比例；
判断所述第二比例与前一帧视频图像的第三比例之间的差值的绝对值是否小于预设差值阈值，其中，所述前一帧视频图像为所述待编码视频中位于所述视频图像前一帧的图像，所述第三比例为所述前一帧视频图像宏块级的图像掩膜中掩膜值为1的宏块在所有宏块中所占的比例；
若是，则确定所述视频图像的处理方式为丢帧，并停止对所述视频图像的编码。
第二方面，提供一种视频编码装置，包括：
前背景分割模块，用于基于预设高斯混合模型，以像素块为单位确定待编码视频的视频图像中的前景区域，其中，每个像素块包括n个像素，n为正整数；基于预设边缘检测模型，以像素块为单位确定所述视频图像中的前景边缘区域；叠加所述前景区域和所述前景边缘区域，获得所述视频图像像素块级的第一图像掩膜，所述第一图像掩膜用于标识所述视频图像中的感兴趣区域和背景区域，所述感兴趣区域包括所述前景区域和所述前景边缘区域，所述背景区域为所述视频图像中除所述感兴趣区域外的区域；
图像掩膜处理模块，用于根据所述第一图像掩膜，生成所述视频图像宏块级的第二图像掩膜，所述第二图像掩膜中的每个宏块包括多个像素块；
编码模块，用于根据所述第二图像掩膜，对所述视频图像进行编码。
在一种可能的实现方式中，所述图像掩膜处理模块用于：
确定所述第一图像掩膜中用于标识所述感兴趣区域的像素块在所有像素块中所占的第一比例；
若所述第一比例大于第一比例阈值，则对所述第一图像掩膜先进行腐蚀处理，再进行膨胀处理，以获得第三图像掩膜；若所述第一比例小于第二比例阈值，则对所述第一图像掩膜先进行膨胀处理，再进行腐蚀处理，以获得第三图像掩膜；若所述第一比例不大于所述第一比例阈值且不小于所述第二比例阈值，则将所述第二图像掩膜作为第三图像掩膜；
根据获得的第三图像掩膜，生成所述第二图像掩膜。
在一种可能的实现方式中，所述第一图像掩膜中用于标识所述感兴趣区域的像素块的掩膜值为1，用于标识所述背景区域的像素块的掩膜值为0，所述图像掩膜处理模块用于：
对所述获得的第三图像掩膜进行连通域标记，将所述获得的第三图像的各连通域中的第一类连通域的掩膜值调整为0，以获得第四图像掩膜，其中，所述第一类连通域为面积小于预设面积阈值的连通域，或为包含的像素块数量小于预设数量阈值的连通域；
根据获得的第四图像掩膜，生成所述第二图像掩膜。
在一种可能的实现方式中，所述第一图像掩膜中用于标识所述感兴趣区域的像素块的掩膜值为1，用于标识所述背景区域的像素块的掩膜值为0，所述图像掩膜处理模块用于：
对所述第一图像掩膜进行连通域标记，将所述第一图像掩膜的各连通域中的第一类连通域的掩膜值调整为0，以获得所述第五图像掩膜，其中，所述第一类连通域为面积小于预设面积阈值的连通域，或为包含的像素块数量小于预设数量阈值的连通域；
根据获得的第五图像掩膜，生成所述第二图像掩膜。
在一种可能的实现方式中，所述第二图像掩膜中包括掩膜值为1的宏块和掩膜值为0的宏块，所述编码模块用于：
针对所述第二图像掩膜中的任一宏块，若所述任一宏块分割为的多个子块在各直流DC系数分量上之和分别小于各DC系数分量分别的阈值，且所述任一宏块的掩膜值为0，则以跳过skip编码模式对所述任一宏块标识的视频图像像素块进行编码，否则，以不同于所述skip编码模式的预设编码模式对所述任一宏块标识的视频图像像素块进行编码；
或，
针对所述第二图像掩膜中的任一宏块，若所述任一宏块分割为的多个子块在各DC系数分量上之和分别小于各DC系数分量分别的阈值，且所述任一宏块的掩膜值为0，且所述任一宏块的交流AC系数之和小于AC系数之和的阈值，则以skip编码模式对所述任一宏块标识的视频图像像素块进行编码，否则，以不同于所述skip编码模式的预设编码模式对所述任一宏块标识的视频图像像素块进行编码。
在一种可能的实现方式中，所述第二图像掩膜中包括掩膜值为1的宏块和掩膜值为0的宏块，所述装置还包括丢帧模块，用于：
确定所述第二图像掩膜中掩膜值为1的宏块在所有宏块中所占的第二比例；
判断所述第二比例与前一帧视频图像的第三比例之间的差值的绝对值是否小于预设差值阈值，其中，所述前一帧视频图像为所述待编码视频中位于所述视频图像前一帧的图像，所述第三比例为所述前一帧视频图像宏块级的图像掩膜中掩膜值为1的宏块在所有宏块中所占的比例；
若是，则确定所述视频图像的处理方式为丢帧，并停止对所述视频图像的编码。
第三方面，提供一种计算机设备，所述设备包括：
至少一个处理器，以及
与所述至少一个处理器连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，执行如第一方面所述的方法。
第四方面，提供一种计算机可读存储介质，包括：
所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行第一方面所述的方法。
本发明实施例中，基于预设高斯混合模型(Gaussian Mixture Model，GMM)，以像素块为单位确定待编码视频的视频图像中的前景区域，以及，基于预设边缘检测模型，以像素块为单位确定视频图像中的前景边缘区域，进而，叠加前景区域和前景边缘区域，获得视频图像像素块级的第一图像掩膜，该第一图像掩膜用于标识视频图像中的感兴趣区域和背景区域，其中，感兴趣区域包括前景区域和前景边缘区域，背景区域为视频图像中除感兴趣区域外的区域，然后，根据第一图像掩膜，生成视频图像宏块级的第二图像掩膜，第二图像掩膜中的每个宏块包括多个像素块，根据第二图像掩膜，对视频图像进行编码。
通过预设边缘检测模型确定前景边缘区域，提高了前背景分割过程中对用户感兴趣区域检测的完整性，并且，叠加前景区域和前景边缘区域并获得第一图像掩膜，增强了第一图像掩膜中的前景边缘的信息，在增强用户感兴趣区域检测完整性的同时，起到了保护场景中重要边缘的作用。
进一步地，本发明实施例中，以像素块为单位确定前景区域和前景边缘区域，每个像素块包括n个像素。其中，当n大于1时，一个像素块被当作一个像素来处理，提高了前背景分割的速度，利于实现实时编码。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例中一种视频编码方法的流程示意图；
图2为本发明实施例中一种Gx矩阵的示意图；
图3为本发明实施例中一种Gy矩阵的示意图；
图4为本发明实施例中一种视频编码装置的结构框图；
图5为本发明实施例中一种视频编码装置各模块的执行流程图；
图6为本发明实施例中另一种视频编码装置各模块的执行流程图；
图7为本发明实施例中另一种视频编码装置各模块的执行流程图；
图8为本发明实施例中另一种视频编码装置各模块的执行流程图；
图9为本发明实施例中另一种视频编码装置各模块的执行流程图；
图10为本发明实施例中另一种视频编码装置各模块的执行流程图；
图11为本发明实施例中另一种视频编码装置各模块的执行流程图；
图12为本发明实施例中另一种视频编码装置各模块的执行流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。另外，需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
实施例一
本发明实施例提供一种视频编码方法。请参见图1，本发明实施例中的视频编码方法的流程描述如下。
步骤101：基于预设高斯混合模型，以像素块为单位确定待编码视频的视频图像中的前景区域，其中，每个像素块包括n个像素，n为正整数。
步骤102：基于预设边缘检测模型，以像素块为单位确定视频图像中的前景边缘区域。
步骤103：叠加前景区域和前景边缘区域，获得视频图像像素块级的第一图像掩膜，第一图像掩膜用于标识视频图像中的感兴趣区域和背景区域，感兴趣区域包括前景区域和前景边缘区域，背景区域为视频图像中除感兴趣区域外的区域。
步骤104：根据第一图像掩膜，生成视频图像宏块级的第二图像掩膜，第二图像掩膜中的每个宏块包括多个像素块。
步骤105：根据第二图像掩膜，对视频图像进行编码。
步骤101中，每个像素块包括n个像素，n为1或大于1的整数。当n为1时，相当于以像素为单位确定待编码视频的视频图像中的前景区域，而当n大于1时，每个像素块包括多个像素，一个像素块可以被当作一个像素来处理。当n大于1时，以像素块为单位的计算分析相对于以像素为单位的计算分析，计算量更下，处理图像的效率更高。
在确定待编码视频的视频图像中的前景区域时，可以使用基于统计模型的方法对视频图像进行背景检测。本发明实施例中，使用高斯混合模型进行背景检测，而在具体的实施过程中，也可以采用其它的统计模型。
以下对步骤101中采用的预设高斯混合模型的原理进行介绍。应当说明的是，以下对预设高斯模型的原理描述中，以n＝1的情况进行举例，在实际应用中，以下原理描述中的像素(像素点)可以替换为n>1的像素块。
预设高斯混合模型中的建模对象是图像序列，对应空域每个像素位置可以视为一随机变量X＝{x1,x2,...,xt}，该随机变量由具有K个单高斯分布的预设高斯混合模型表示，其中每个单高斯模型可以表征当前像素块的不同状态，K的取值范围通常为3到7。在待编码视频的第t帧视频图像中，背景像素值为xt的概率为K个高斯分布的加权和，具体可以用如下的公式(1)来表示：
其中，wi,t表示第i个高斯分布的权值；μi,t为t时刻(即待编码视频中第t帧视频图像占用的时刻)第i个高斯分布的均值；∑i,t为t时刻第i个高斯分布对应的协方差矩阵；η为第i个高斯分布的概率密度函数，即为如下的公式(2)：
若假设X的各个成分是独立的，则协方差矩阵为如下的公式(3)：
其中，I是单位矩阵。
每遇到一个新的像素xt，都要检查已经存在的K个高斯分布，从中找到能匹配的高斯分布，像素匹配的条件为满足如下的公式(4)：
|xt-μi,t|≤2.5σi……………………………(4)
如果所匹配的模式(即像素值大小满足上述公式(4))符合背景要求，则该像素属于背景区域，否则属于前景区域。各模式的权值按如下的公式(5)进行更新，公式(5)中α为学习速率，Mk,t在找到匹配对象时值为1，否则为0：
ωk,t＝(1-α)ωk,t-1+αMk,t……………………(5)
未匹配模式(即像素值大小不满足上述公式(4))下，均值μ与标准差σ维持不变；匹配模式下，均值μ与标准差σ按照如下的公式(6)进行更新：
如果该新的像素块xt与K个高斯分布都不匹配，则对权值最小的分布进行更新，由当前的像素块xt构造一个新的高斯分布，其均值为当前像素块值。其中，标准差为一预设的值，该预设的值可以是标准差通常的取值中相对较大的值；权重为一预设的值，该预设的值可以是权重通常的取值中相对较小的值。
每次更新结束后，K个高斯分布根据ω/σ值的大小排序，而最有可能是背景分布的是ω/σ值最大的高斯分布，K个高斯分布中前B个分布则代表了真实的背景分布情况，作为建立的预设高斯混合模型的背景模型。其中，B可以采用如下的公式(7)来表示：
其中，T表示分割前景像素块的门限值，视频图像的所有像素块中与这B个高斯分布中的任一分布相匹配的作为组成背景区域的背景像素块，否则作为组成前景区域的前景像素块。
本发明实施例中，初始化预设高斯混合模型的参数时，可以采用如下几种方案：
方案a：
协方差矩阵∑i,0设为82I，其中I为单位矩阵(方差σ2＝82为多次实验所得经验数据)；每个模型比例的先验概率设为wi,0＝1/K，均值μi,0设为随机数。
方案b：
用待编码视频中第一帧视频图像的像素值对所有高斯分布进行初始化，每个模型比例的先验概率设为wi,0＝1/K，均值为方差为其中N为每帧图像含有的像素块总数，I为像素块灰度值。
方案b中上述内容的一个变种方案可以是将第一帧图像分成K部分，利用每部分像素块的均值和方差用来初始化高斯分布的均值和方差。
方案c：
对待编码视频中前两帧视频图像采用帧差法提取属于背景区域的像素值，计算该部分像素值的均值，方差作为高斯分布的初始参数值。
方案d：
由K均值聚类算法对待编码的视频图像进行聚类，利用各类的均值作为μi,0，并计算∑i,0，wi,0取各类样本占样本总数的比例。
通过测试发现，上述方案a、b、c、d中最简单有效的是方案a；方案b、c与方案a的效果类似，但相对于方案a耗时更多一些；方案d相对于方案a更为精确，但耗时比方案a增加较多。
步骤102中，采用边缘检测的方式提取目标的轮廓，即确定视频图像中的前景边缘区域。预设边缘检测模型中可以采用的算子有多种，例如Roberts算子、Prewitt算子、Sobel算子、Laplacian算子、Log算子、Canny算子等。
本发明实施例中，以预设边缘检测模型采用Sobel算子进行边缘检测为例。
预设边缘检测模型中，Sobel算子是一个离散的一阶微分算子，用于计算图像亮度函数的一阶梯度的近似值。Sobel算子包含两组3x3的矩阵，分别为横向及纵向，将两组3x3的矩阵与图像做平面卷积，即可得到横向及纵向的亮度差分近似值。如果A代表原始图像，则：
其中，gradx、grady分别代表横向及纵向边缘检测之后的图像，Gx、Gy分别代表横向及纵向的3x3矩阵，Gx可以为如图2所示的矩阵，Gy可以为如图3所示的矩阵。
视频图像中每一个像素块的横向及纵向梯度近似值可以用如下的公式(9)结合以计算梯度的大小，用如下的公式(10)计算梯度的方向：
步骤103中，将预设高斯混合模型和预设边缘检测模型的检测结果相叠加，获得视频图像像素块级的第一图像掩膜。
其中，像素块级图像掩膜指以像素块为单位，由至少一个像素块组成的图像掩膜，当像素块包括多个像素时，像素块级图像掩膜即为介于像素级图像掩膜与宏块级图像掩膜之间的一种图像掩膜。
在一种可能的实施方式中，在叠加前景区域和前景边缘区域之前，若根据预设高斯混合模型的检测结果，确定视频图像中前景像素块占所有像素块的比例大于第一比例阈值T1，则可以不叠加预设高斯混合模型和预设边缘检测模型的检测结果，而是直接将预设高斯混合模型的检测结果作为第一图像掩膜。
其中，视频图像中前景像素块占所有像素块的比例大于第一比例阈值T1，表明预设高斯混合模型检测的准确性和完整性比较高。在具体的实施过程中，T1的取值例如可以为0.2。
步骤104中，根据第一图像掩膜，生成视频图像宏块级的第二图像掩膜的具体实施方式可以有多种，以下以其中四种进行举例说明。
第一种生成方式：
直接对前背景分割获得的图像掩膜进行掩膜宏块化处理，以生成第二图像掩膜。
其中，掩膜宏块化处理即是根据由一个个像素/像素块划分的图像掩膜，生成以一个个宏块划分的图像掩膜；前背景分割处理为图1所示的步骤101、步骤102和步骤103。
第一种生成方式中，在生成第二图像掩膜之前，不对第一图像掩膜做其它的加工处理，直接根据第一图像掩膜生成第二图像掩膜。
其中，对像素块级的图像掩膜进行掩膜宏块化处理以生成宏块级的图像掩膜的具体方式，可以参看现有技术中的方式，或采用如下方式：
分别统计每个宏块中掩膜值为0的像素块的数量number，确定number大于阈值M(M为正整数)的宏块的掩膜值为0，确定number小于或等于阈值M(M为正整数)的宏块的掩膜值为1。举例来说，M的取值可以是第二图像掩膜中宏块总数的70％或90％。
可选的，在生成宏块级掩膜的过程中，如果位于当前宏块8邻域的8个宏块的掩膜值均为1，则调整当前宏块的掩膜值为1，反之，若这8个宏块掩膜值均为0，则调整当前宏块的掩膜值为0。通过该可选的步骤，可以进一步消除宏块级图像掩膜中的孤立点，提高宏块级图像掩膜的准确性。
第二种生成方式：
对前背景分割获得的图像掩膜进行形态学处理，再对形态学处理获得的图像掩膜进行掩膜宏块化处理生成第二图像掩膜。具体过程如下：
首先，确定第一图像掩膜中用于标识感兴趣区域的像素块在所有像素块中所占的第一比例。
进而，进行与第一比例的数值范围对应的处理。其中：
(1)若第一比例大于第一比例阈值T1，则对第一图像掩膜先进行腐蚀处理再进行膨胀处理(即开运算)，以获得第三图像掩膜；
(2)若第一比例小于第二比例阈值T2，则对第一图像掩膜先进行膨胀处理再进行腐蚀处理(即闭运算)，以获得第三图像掩膜；
(3)若第一比例不大于第一比例阈值T1且不小于第二比例阈值T2，则将第二图像掩膜作为第三图像掩膜。即，该情况下以与前述的第一种方式相同的方式生成第二图像掩膜。
最后，对获得的第三图像掩膜进行掩膜宏块化处理，生成第二图像掩膜。
举例来说，T1、T2的取值可以分别为0.2、0.15。
通过腐蚀处理、膨胀处理等形态学处理，可以去除图像中孤立噪声点的影响，填补感兴趣区域中的空洞。在具体的实施过程中，形态学处理中膨胀处理和腐蚀处理的次数可以为一次或多次。其中，开运算可以用来消除小物体，在纤细点处分离物体，平滑较大的物体边界；而闭运算可以用来填充物体内细小的空洞，连接邻近物体，平滑边界。
以下对步骤104中的腐蚀处理和膨胀处理的原理进行介绍。应当说明的是，以下对腐蚀处理和膨胀处理的原理描述中，以n＝1的情况进行举例，在实际应用中，以下原理描述中的像素(像素点)可以替换为n>1的像素块。
腐蚀处理采用一个全为1的L*L矩阵(L为正整数，例如为3x3矩阵)扫描图像掩膜中的每一个像素，即使得矩阵的中心元素与当前像素位置对应(如重叠的对应关系)，用该矩阵中的每一个像素与矩阵覆盖的图像掩膜像素做逻辑“与”操作，如果运算结果都为1，则确定该像素掩膜值为1，否则确定该像素掩膜值为0。
膨胀处理采用一个全为1的LxL矩阵(例如为3x3矩阵)扫描图像掩膜中的每一个像素，即使得矩阵的中心元素与当前像素位置对应(如重叠的对应关系)，用该矩阵中的每一个像素与矩阵覆盖的图像掩膜像素做逻辑“与”操作，如果运算结果都为0，则确定该像素掩膜值0，否则确定该像素掩膜值1。
第三种生成方式：
对前背景分割获得的图像掩膜进行连通域处理，再对连通域处理获得的图像掩膜进行掩膜宏块化处理生成第二图像掩膜。具体过程如下：
首先，对第一图像掩膜进行连通域标记，将第一图像掩膜的各连通域中的第一类连通域的掩膜值调整为0，以获得第五图像掩膜，其中，第一类连通域为面积小于预设面积阈值的连通域，或为包含的像素块数量小于预设数量阈值的连通域。其中，连通域标记可以是指将图像掩膜中全连通的包络内用于标记感兴趣区域的像素块全部标记为1。
进而，对获得的第五图像掩膜进行掩膜宏块化处理，生成第二图像掩膜。
通过连通域处理，可以得到较为完整的运动前景，有利于在后续编码优化中保证感兴趣区域的编码质量。
第四种生成方式：
先对前背景分割获得的图像掩膜进行形态学处理，再对形态学处理获得的图像掩膜进行连通域处理，最后对连通域处理获得的图像掩膜进行掩膜宏块化处理生成第二图像掩膜。具体过程如下：
先以与前述的第二方式相同的方式获得第三图像掩膜，再对获得的第三图像掩膜进行连通域标记，将获得的第三图像的各连通域中的第一类连通域的掩膜值调整为0，以获得第四图像掩膜，最后，对获得的第四图像掩膜进行掩膜宏块化处理，生成第二图像掩膜。
步骤105中，根据第二图像掩膜对视频图像进行编码，至少可以包括如下的两种编码策略：
第一种编码策略：量化参数(Quantization Parameter，QP)调整编码策略
第一种编码策略中，对第二图像掩膜中不同掩膜值的宏块标识的视频图像像素块，采用不同的QP值进行编码。具体来说，针对第二图像掩膜中的任一宏块，可以通过如下的公式(11)来确定其标识的视频图像像素块进行编码时采用的QP值(即QPnew)：
其中，mb_mask表示宏块的掩膜值，QPorig是预设的原始QP值，deltaQP是大于0的常数，QPnew是调整之后的QP。在具体的实施过程中，可以限制QPnew的取值范围，例如，可以限制QPnew的取值范围在0到51之间。
举例来说，deltaQP的取值可以是2，以避免过大的deltaQP造成图像质量的过度下降。
第二种编码策略：强制skip(跳过)编码策略
具体来说，强制skip编码策略包括两种。其中：
强制skip编码策略1：
针对第二图像掩膜中的任一宏块，若该任一宏块分割为的多个子块在各DC(直流)系数分量上之和分别小于各DC系数分量分别的阈值，且该任一宏块的掩膜值为0，则以skip编码模式对该任一宏块标识的视频图像像素块进行编码，否则，以不同于skip编码模式的预设编码模式对该任一宏块标识的视频图像像素块进行编码。
举例来说，对该任一宏块中每个4x4块的DC系数分量求和(亮度crf＝22，色度crf＝20时，其中crf是恒定码率系数，该参数表示采用固定质量编码)，当各DC系数分量上之和分别小于各DC系数分量分别的阈值，并且mb_mask＝0(即为背景宏块)时，将该任一宏块标识的视频图像像素块的编码模式设置为skip编码模式，从而节省一部分码率。
等价地，强制skip编码策略1可以用如下的公式(12)表示：
其中，mb_type表示确定出的该任一宏块标识的视频图像像素块的编码模式，DCluma,i、DCcb,i、DCcr,i分别代表每个4x4块的亮度及两个色度DC系数，T3、T4、T5分别表示各DC系数分量的阈值。举例来说，T3、T4、T5的取值可以分别为5、1、1。
强制skip编码策略2：
在强制skip编码策略1的基础上，针对监控领域中摄像头抖动场景编码效果不理想的情况，还可以进一步加入对AC系数的限制条件。也即，在满足强制skip编码策略1中强制调整为skip编码模式的条件的基础上，还要求该任一宏块的亮度AC(交流)系数之和还要小于AC系数之和的阈值，才将该任一宏块标识的视频图像像素块的编码模式设置为skip编码模式。
也就是说，针对第二图像掩膜中的任一宏块，若该任一宏块分割为的多个子块在各DC系数分量上之和分别小于各DC系数分量分别的阈值，且该任一宏块的掩膜值为0，且该任一宏块的AC系数之和小于AC系数之和的阈值，则以skip编码模式对任一宏块标识的视频图像像素块进行编码，否则，以不同于skip编码模式的预设编码模式对该任一宏块标识的视频图像像素块进行编码。
等价地，强制skip编码策略2可以用如下的公式(13)表示：
其中，ACluma,i表示宏块中的AC系数，T6表示AC系数之和的阈值。举例来说，T6的取值可以为12。
通过强制skip编码策略2，能够改善监控领域中摄像头抖动场景编码效果不理想的情况。
在一种可能的实施方式中，在根据步骤105根据第二图像掩膜，对视频图像进行编码之前还可以判断是否对该帧视频图像采取丢帧策略。具体来说，可以通过如下的步骤实现：
首先，确定第二图像掩膜中掩膜值为1的宏块在所有宏块中所占的第二比例。
进而，判断第二比例与前一帧视频图像的第三比例之间的差值的绝对值是否小于预设差值阈值。其中，前一帧视频图像为待编码视频中位于视频图像前一帧的图像，第三比例为前一帧视频图像宏块级的图像掩膜中掩膜值为1的宏块在所有宏块中所占的比例。
若第二比例与第三比例之间的差值的绝对值小于预设差值阈值，则确定该视频图像的处理方式为丢帧，并停止对视频图像的编码。
其中，第二图像掩膜中掩膜值为1的宏块可以称为感兴趣宏块，掩膜值为0的宏块可以称为背景宏块。
第二比例与第三比例之间的差值的绝对值小于预设差值阈值，表明该帧视频图像与前一帧视频图像相比变化量很小，两帧的相似度较高，因而可以丢弃后一帧，不对该视频图像进行编码，以进一步减少视频流的码率。
实施例二
基于同一发明构思，本发明实施例提供一种视频编码装置。请参见图4，图4为该视频编码装置的结构框图。视频编码装置包括前背景分割模块401、图像掩膜处理模块402和编码模块403，其中：
前背景分割模块401，用于基于预设高斯混合模型，以像素块为单位确定待编码视频的视频图像中的前景区域，其中，每个像素块包括n个像素，n为正整数；基于预设边缘检测模型，以像素块为单位确定视频图像中的前景边缘区域；叠加前景区域和前景边缘区域，获得视频图像像素块级的第一图像掩膜，第一图像掩膜用于标识视频图像中的感兴趣区域和背景区域，感兴趣区域包括前景区域和前景边缘区域，背景区域为视频图像中除感兴趣区域外的区域；
图像掩膜处理模块402，用于根据第一图像掩膜，生成视频图像宏块级的第二图像掩膜，第二图像掩膜中的每个宏块包括多个像素块；
编码模块403，用于根据第二图像掩膜，对视频图像进行编码。
也就是说，视频编码装置中，以图4所示连接方式连接的各模块处理视频图像的执行流程可以如图5所示。
在一种可能的实施方式中，图像掩膜处理模块402用于：
确定第一图像掩膜中用于标识感兴趣区域的像素块在所有像素块中所占的第一比例；
若第一比例大于第一比例阈值，则对第一图像掩膜先进行腐蚀处理，再进行膨胀处理，以获得第三图像掩膜；若第一比例小于第二比例阈值，则对第一图像掩膜先进行膨胀处理，再进行腐蚀处理，以获得第三图像掩膜；若第一比例不大于第一比例阈值且不小于第二比例阈值，则将第二图像掩膜作为第三图像掩膜；
根据获得的第三图像掩膜，生成第二图像掩膜。
在一种可能的实施方式中，第一图像掩膜中用于标识感兴趣区域的像素块的掩膜值为1，用于标识背景区域的像素块的掩膜值为0，图像掩膜处理模块402用于：
对获得的第三图像掩膜进行连通域标记，将获得的第三图像的各连通域中的第一类连通域的掩膜值调整为0，以获得第四图像掩膜，其中，第一类连通域为面积小于预设面积阈值的连通域，或为包含的像素块数量小于预设数量阈值的连通域；
根据获得的第四图像掩膜，生成第二图像掩膜。
在一种可能的实施方式中，第一图像掩膜中用于标识感兴趣区域的像素块的掩膜值为1，用于标识背景区域的像素块的掩膜值为0，图像掩膜处理模块402用于：
对第一图像掩膜进行连通域标记，将第一图像掩膜的各连通域中的第一类连通域的掩膜值调整为0，以获得第五图像掩膜，其中，第一类连通域为面积小于预设面积阈值的连通域，或为包含的像素块数量小于预设数量阈值的连通域；
根据获得的第五图像掩膜，生成第二图像掩膜。
在具体的实施过程中，图像掩膜处理模块402可以包括掩膜宏块化子模块4023、形态学处理子模块4021和/或连通域处理子模块4022。其中，掩膜宏块化子模块4023用于对像素块级的图像掩膜进行宏块化处理，以生成宏块级图像掩膜，例如进行实施例一中的第一种生成方式所描述的宏块化处理；形态学处理子模块4021用于对图像掩膜进行形态学处理，例如进行实施例一中的第二种生成方式所描述的形态学处理；连通域处理子模块4022用于对图像掩膜进行连通域处理，例如进行实施例一中的第三种生成方式所描述的连通域处理。
根据生成第二图像掩膜的方式不同，视频编码装置中各模块和/或子模块处理视频图像的具体流程不同。举例来说：
具体流程1：
如图6所示的流程中，先由前背景分割模块处理视频图像获得第一图像掩膜；再由掩膜宏块化子模块4023对第一图像掩膜进行处理，获得第二图像掩膜；再由编码模块403根据获得的第二图像掩膜对视频图像进行编码。
具体流程2：
如图7所示的流程中，先由前背景分割模块处理视频图像获得第一图像掩膜；再由形态学处理子模块4021对第一图像掩膜进行处理，获得第三图像掩膜；再由掩膜宏块化子模块4023对第三图像掩膜进行处理，获得第二图像掩膜；再由编码模块403根据获得的第二图像掩膜对视频图像进行编码。
具体流程3：
如图8所示的流程中，先由前背景分割模块处理视频图像获得第一图像掩膜；再由连通域处理子模块4022对第一图像掩膜进行处理，获得第五图像掩膜；再由掩膜宏块化子模块4023对第五图像掩膜进行处理，获得第二图像掩膜；再由编码模块403根据获得的第二图像掩膜对视频图像进行编码。
具体流程4：
如图9所示的流程中，先由前背景分割模块处理视频图像获得第一图像掩膜；再由形态学处理子模块4021对第一图像掩膜进行处理，获得第三图像掩膜；再由连通域处理子模块4022对第三图像掩膜进行处理，获得第四图像掩膜；再由掩膜宏块化子模块4023对第四图像掩膜进行处理，获得第二图像掩膜；再由编码模块403根据获得的第二图像掩膜对视频图像进行编码。
在一种可能的实施方式中，第二图像掩膜中包括掩膜值为1的宏块和掩膜值为0的宏块，编码模块403用于：
针对第二图像掩膜中的任一宏块，若该任一宏块分割为的多个子块在各DC系数分量上之和分别小于各DC系数分量分别的阈值，且该任一宏块的掩膜值为0，则以skip编码模式对该任一宏块标识的视频图像像素块进行编码，否则，以不同于skip编码模式的预设编码模式对该任一宏块标识的视频图像像素块进行编码；
或，
针对第二图像掩膜中的任一宏块，若该任一宏块分割为的多个子块在各DC系数分量上之和分别小于各DC系数分量分别的阈值，且该任一宏块的掩膜值为0，且该任一宏块的AC系数之和小于AC系数之和的阈值，则以skip编码模式对该任一宏块标识的视频图像像素块进行编码，否则，以不同于skip编码模式的预设编码模式对该任一宏块标识的视频图像像素块进行编码。
在具体的实施过程中，编码模块403可以为QP调整编码子模块4031，或者为强制skip编码子模块4032，或者编码模块403包括QP调整编码子模块4031和强制skip编码子模块4032。其中，QP调整编码子模块4031用于对宏块级图像掩膜中不同掩膜值的宏块所标识的视频图像像素块，采用不同的QP进行编码；强制skip编码子模块4032用于对宏块级图像掩膜中满足预设条件的宏块所标识的视频图像像素块，以skip编码模式进行编码。
举例来说，采用以QP调整编码子模块4031进行编码这一编码策略时，视频编码装置中各模块和/或子模块处理视频图像的具体流程可以如图10所示；采用以强制skip编码子模块4032进行编码这一编码策略时，视频编码装置中各模块和/或子模块处理视频图像的具体流程可以如图11所示。
在一种可能的实施方式中，第二图像掩膜中包括掩膜值为1的宏块和掩膜值为0的宏块，装置还包括丢帧模块404，用于：
确定第二图像掩膜中掩膜值为1的宏块在所有宏块中所占的第二比例；
判断第二比例与前一帧视频图像的第三比例之间的差值的绝对值是否小于预设差值阈值，其中，前一帧视频图像为待编码视频中位于视频图像前一帧的图像，第三比例为前一帧视频图像宏块级的图像掩膜中掩膜值为1的宏块在所有宏块中所占的比例；
若是，则确定视频图像的处理方式为丢帧，并停止对视频图像的编码。
也就是说，视频编码装置中各模块和/或子模块处理视频图像的具体流程可以如图12所示。
实施例三
基于同一发明构思，本发明实施例提供一种计算机设备，包括：
至少一个处理器，以及
与至少一个处理器连接的存储器；
其中，存储器存储有可被至少一个处理器执行的指令，至少一个处理器通过执行存储器存储的指令，执行如实施例一所述的方法。
实施例四
基于同一发明构思，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行实施例一所述的方法。
在具体的实施过程中，计算机可读存储介质包括：通用串行总线闪存盘(Universal Serial Bus flash drive，USB)、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的存储介质。
上述的一个或多个技术方案，至少具有如下有益效果：
本发明实施例中，基于预设高斯混合模型，以像素块为单位确定待编码视频的视频图像中的前景区域，以及，基于预设边缘检测模型，以像素块为单位确定视频图像中的前景边缘区域，进而，叠加前景区域和前景边缘区域，获得视频图像像素块级的第一图像掩膜，该第一图像掩膜用于标识视频图像中的感兴趣区域和背景区域，其中，感兴趣区域包括前景区域和前景边缘区域，背景区域为视频图像中除感兴趣区域外的区域，然后，根据第一图像掩膜，生成视频图像宏块级的第二图像掩膜，第二图像掩膜中的每个宏块包括多个像素块，根据第二图像掩膜，对视频图像进行编码。
通过预设边缘检测模型确定前景边缘区域，提高了前背景分割过程中对用户感兴趣区域检测的完整性，并且，叠加前景区域和前景边缘区域并获得第一图像掩膜，增强了第一图像掩膜中的前景边缘的信息，在增强用户感兴趣区域检测完整性的同时，起到了保护场景中重要边缘的作用。
进一步地，本发明实施例中，以像素块为单位确定前景区域和前景边缘区域，其中每个像素块包括n个像素。其中，当n大于1时，每个像素块包括多个像素，一个像素块被当作一个像素来处理，通过像素块为单位进行计算分析，提高了前背景分割的速度，利于实现实时编码。
进一步地，本发明实施例中，根据标识感兴趣区域的像素块在所有像素块中所占的第一比例进行自适应的形态学处理。第一比例大于第一比例阈值时，对第一图像掩膜先进行腐蚀处理，再进行膨胀处理；第一比例小于第二比例阈值时，对第一图像掩膜先进行膨胀处理，再进行腐蚀处理。通过自适应的形态学处理，可以进一步去除图像中孤立噪声点，填补感兴趣区域中的空洞。
进一步地，本发明实施例中，根据宏块级的图像掩膜中掩膜值为1的宏块在所有宏块中所占的比例，判断前后两帧图像的变化量，当确定当前帧视频图像与前一帧视频图像相比变化量很小时，丢弃当前帧视频图像。实现了在几乎不影响用户观看体验的情况下，进一步减少视频流的码率的效果。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元/模块可以是或者也可以不是物理上分开的，作为单元/模块显示的部件可以是或者也可以不是物理单元/模块，即可以位于一个地方，或者也可以分布到多个网络单元/模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种视频编码方法，其特征在于，包括：
基于预设高斯混合模型，以像素块为单位确定待编码视频的视频图像中的前景区域，其中，每个像素块包括n个像素，n为正整数；
基于预设边缘检测模型，以像素块为单位确定所述视频图像中的前景边缘区域；
叠加所述前景区域和所述前景边缘区域，获得所述视频图像像素块级的第一图像掩膜，所述第一图像掩膜用于标识所述视频图像中的感兴趣区域和背景区域，所述感兴趣区域包括所述前景区域和所述前景边缘区域，所述背景区域为所述视频图像中除所述感兴趣区域外的区域；
根据所述第一图像掩膜，生成所述视频图像宏块级的第二图像掩膜，所述第二图像掩膜中的每个宏块包括多个像素块；
根据所述第二图像掩膜，对所述视频图像进行编码。
2.如权利要求1所述的方法，其特征在于，根据所述第一图像掩膜，生成所述视频图像宏块级的第二图像掩膜，包括：
确定所述第一图像掩膜中用于标识所述感兴趣区域的像素块在所有像素块中所占的第一比例；
若所述第一比例大于第一比例阈值，则对所述第一图像掩膜先进行腐蚀处理，再进行膨胀处理，以获得第三图像掩膜；若所述第一比例小于第二比例阈值，则对所述第一图像掩膜先进行膨胀处理，再进行腐蚀处理，以获得第三图像掩膜；若所述第一比例不大于所述第一比例阈值且不小于所述第二比例阈值，则将所述第二图像掩膜作为第三图像掩膜；
根据获得的第三图像掩膜，生成所述第二图像掩膜。
3.如权利要求2所述的方法，其特征在于，所述第一图像掩膜中用于标识所述感兴趣区域的像素块的掩膜值为1，用于标识所述背景区域的像素块的掩膜值为0，根据获得的第三图像掩膜，生成所述第二图像掩膜，包括：
对所述获得的第三图像掩膜进行连通域标记，将所述获得的第三图像的各连通域中的第一类连通域的掩膜值调整为0，以获得第四图像掩膜，其中，所述第一类连通域为面积小于预设面积阈值的连通域，或为包含的像素块数量小于预设数量阈值的连通域；
根据获得的第四图像掩膜，生成所述第二图像掩膜。
4.如权利要求1所述的方法，其特征在于，所述第一图像掩膜中用于标识所述感兴趣区域的像素块的掩膜值为1，用于标识所述背景区域的像素块的掩膜值为0，根据所述第一图像掩膜，生成所述视频图像宏块级的第二图像掩膜，包括：
对所述第一图像掩膜进行连通域标记，将所述第一图像掩膜的各连通域中的第一类连通域的掩膜值调整为0，以获得所述第五图像掩膜，其中，所述第一类连通域为面积小于预设面积阈值的连通域，或为包含的像素块数量小于预设数量阈值的连通域；
根据获得的第五图像掩膜，生成所述第二图像掩膜。
5.如权利要求1-4中任一权利要求所述的方法，其特征在于，所述第二图像掩膜中包括掩膜值为1的宏块和掩膜值为0的宏块，根据所述第二图像掩膜，对所述视频图像进行编码，包括：
针对所述第二图像掩膜中的任一宏块，若所述任一宏块分割为的多个子块在各直流DC系数分量上之和分别小于各DC系数分量分别的阈值，且所述任一宏块的掩膜值为0，则以跳过skip编码模式对所述任一宏块标识的视频图像像素块进行编码，否则，以不同于所述skip编码模式的预设编码模式对所述任一宏块标识的视频图像像素块进行编码；
或，
针对所述第二图像掩膜中的任一宏块，若所述任一宏块分割为的多个子块在各DC系数分量上之和分别小于各DC系数分量分别的阈值，且所述任一宏块的掩膜值为0，且所述任一宏块的交流AC系数之和小于AC系数之和的阈值，则以skip编码模式对所述任一宏块标识的视频图像像素块进行编码，否则，以不同于所述skip编码模式的预设编码模式对所述任一宏块标识的视频图像像素块进行编码。
6.如权利要求1-4中任一权利要求所述的方法，其特征在于，所述第二图像掩膜中包括掩膜值为1的宏块和掩膜值为0的宏块，在根据所述第二图像掩膜，对所述视频图像进行编码之前，所述方法还包括：
确定所述第二图像掩膜中掩膜值为1的宏块在所有宏块中所占的第二比例；
判断所述第二比例与前一帧视频图像的第三比例之间的差值的绝对值是否小于预设差值阈值，其中，所述前一帧视频图像为所述待编码视频中位于所述视频图像前一帧的图像，所述第三比例为所述前一帧视频图像宏块级的图像掩膜中掩膜值为1的宏块在所有宏块中所占的比例；
若是，则确定所述视频图像的处理方式为丢帧，并停止对所述视频图像的编码。
7.一种视频编码装置，其特征在于，包括：
前背景分割模块，用于基于预设高斯混合模型，以像素块为单位确定待编码视频的视频图像中的前景区域，其中，每个像素块包括n个像素，n为正整数；基于预设边缘检测模型，以像素块为单位确定所述视频图像中的前景边缘区域；叠加所述前景区域和所述前景边缘区域，获得所述视频图像像素块级的第一图像掩膜，所述第一图像掩膜用于标识所述视频图像中的感兴趣区域和背景区域，所述感兴趣区域包括所述前景区域和所述前景边缘区域，所述背景区域为所述视频图像中除所述感兴趣区域外的区域；
图像掩膜处理模块，用于根据所述第一图像掩膜，生成所述视频图像宏块级的第二图像掩膜，所述第二图像掩膜中的每个宏块包括多个像素块；
编码模块，用于根据所述第二图像掩膜，对所述视频图像进行编码。
8.如权利要求7所述的装置，其特征在于，所述图像掩膜处理模块用于：
确定所述第一图像掩膜中用于标识所述感兴趣区域的像素块在所有像素块中所占的第一比例；
若所述第一比例大于第一比例阈值，则对所述第一图像掩膜先进行腐蚀处理，再进行膨胀处理，以获得第三图像掩膜；若所述第一比例小于第二比例阈值，则对所述第一图像掩膜先进行膨胀处理，再进行腐蚀处理，以获得第三图像掩膜；若所述第一比例不大于所述第一比例阈值且不小于所述第二比例阈值，则将所述第二图像掩膜作为第三图像掩膜；
根据获得的第三图像掩膜，生成所述第二图像掩膜。
9.如权利要求8所述的装置，其特征在于，所述第一图像掩膜中用于标识所述感兴趣区域的像素块的掩膜值为1，用于标识所述背景区域的像素块的掩膜值为0，所述图像掩膜处理模块用于：
对所述获得的第三图像掩膜进行连通域标记，将所述获得的第三图像的各连通域中的第一类连通域的掩膜值调整为0，以获得第四图像掩膜，其中，所述第一类连通域为面积小于预设面积阈值的连通域，或为包含的像素块数量小于预设数量阈值的连通域；
根据获得的第四图像掩膜，生成所述第二图像掩膜。
10.如权利要求7所述的装置，其特征在于，所述第一图像掩膜中用于标识所述感兴趣区域的像素块的掩膜值为1，用于标识所述背景区域的像素块的掩膜值为0，所述图像掩膜处理模块用于：
对所述第一图像掩膜进行连通域标记，将所述第一图像掩膜的各连通域中的第一类连通域的掩膜值调整为0，以获得所述第五图像掩膜，其中，所述第一类连通域为面积小于预设面积阈值的连通域，或为包含的像素块数量小于预设数量阈值的连通域；
根据获得的第五图像掩膜，生成所述第二图像掩膜。
11.如权利要求7-10中任一权利要求所述的装置，其特征在于，所述第二图像掩膜中包括掩膜值为1的宏块和掩膜值为0的宏块，所述编码模块用于：
针对所述第二图像掩膜中的任一宏块，若所述任一宏块分割为的多个子块在各直流DC系数分量上之和分别小于各DC系数分量分别的阈值，且所述任一宏块的掩膜值为0，则以跳过skip编码模式对所述任一宏块标识的视频图像像素块进行编码，否则，以不同于所述skip编码模式的预设编码模式对所述任一宏块标识的视频图像像素块进行编码；
或，
针对所述第二图像掩膜中的任一宏块，若所述任一宏块分割为的多个子块在各DC系数分量上之和分别小于各DC系数分量分别的阈值，且所述任一宏块的掩膜值为0，且所述任一宏块的交流AC系数之和小于AC系数之和的阈值，则以skip编码模式对所述任一宏块标识的视频图像像素块进行编码，否则，以不同于所述skip编码模式的预设编码模式对所述任一宏块标识的视频图像像素块进行编码。
12.如权利要求7-10中任一权利要求所述的装置，其特征在于，所述第二图像掩膜中包括掩膜值为1的宏块和掩膜值为0的宏块，所述装置还包括丢帧模块，用于：
确定所述第二图像掩膜中掩膜值为1的宏块在所有宏块中所占的第二比例；
判断所述第二比例与前一帧视频图像的第三比例之间的差值的绝对值是否小于预设差值阈值，其中，所述前一帧视频图像为所述待编码视频中位于所述视频图像前一帧的图像，所述第三比例为所述前一帧视频图像宏块级的图像掩膜中掩膜值为1的宏块在所有宏块中所占的比例；
若是，则确定所述视频图像的处理方式为丢帧，并停止对所述视频图像的编码。
13.一种计算机设备，其特征在于，所述设备包括：
至少一个处理器，以及
与所述至少一个处理器连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，执行如权利要求1-6中任一项所述的方法。
14.一种计算机可读存储介质，其特征在于：
所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-6中任一项所述的方法。
CN201810053679.9A 2018-01-19 2018-01-19 一种视频编码方法及装置 Active CN108337515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810053679.9A CN108337515B (zh) 2018-01-19 2018-01-19 一种视频编码方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810053679.9A CN108337515B (zh) 2018-01-19 2018-01-19 一种视频编码方法及装置

Publications (2)

Publication Number Publication Date
CN108337515A true CN108337515A (zh) 2018-07-27
CN108337515B CN108337515B (zh) 2020-08-04

Family

ID=62925847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810053679.9A Active CN108337515B (zh) 2018-01-19 2018-01-19 一种视频编码方法及装置

Country Status (1)

Country Link
CN (1) CN108337515B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862365A (zh) * 2019-01-30 2019-06-07 西安万像电子科技有限公司 图像数据处理方法及装置
CN110674778A (zh) * 2019-09-30 2020-01-10 安徽创世科技股份有限公司 一种高分辨视频图像目标检测方法及装置
CN110689014A (zh) * 2019-10-14 2020-01-14 腾讯科技（深圳）有限公司 感兴趣区域的检测方法、装置、电子设备及可读存储介质
CN111193932A (zh) * 2019-12-13 2020-05-22 西安万像电子科技有限公司 图像处理方法及装置
CN111491167A (zh) * 2019-10-28 2020-08-04 华为技术有限公司 图像编码方法、转码方法、装置、设备以及存储介质
CN111783771A (zh) * 2020-06-12 2020-10-16 北京达佳互联信息技术有限公司 文字检测方法、装置、电子设备和存储介质
CN111787398A (zh) * 2020-06-24 2020-10-16 浙江大华技术股份有限公司 视频压缩方法、装置、设备及存储装置
CN111787323A (zh) * 2020-05-23 2020-10-16 清华大学 一种基于对抗学习的可变比特率生成式压缩方法
CN112116624A (zh) * 2019-06-21 2020-12-22 华为技术有限公司 一种图像处理方法和电子设备
CN112163554A (zh) * 2020-10-15 2021-01-01 北京达佳互联信息技术有限公司 获取视频中的标记掩模的方法和装置
CN116580220A (zh) * 2023-07-07 2023-08-11 江苏网进科技股份有限公司 一种数字政府平台数据优化传输方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006473A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 视频编码器和编码方法以及视频解码器和解码方法
CN103002289A (zh) * 2013-01-08 2013-03-27 中国电子科技集团公司第三十八研究所 面向监控应用的视频恒定质量编码装置及其编码方法
CN103065145A (zh) * 2012-12-07 2013-04-24 北京中邮致鼎科技有限公司 一种车辆运动阴影消除方法
CN104463165A (zh) * 2014-10-24 2015-03-25 南京邮电大学 一种融合Canny算子与Vibe算法的目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006473A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 视频编码器和编码方法以及视频解码器和解码方法
CN103065145A (zh) * 2012-12-07 2013-04-24 北京中邮致鼎科技有限公司 一种车辆运动阴影消除方法
CN103002289A (zh) * 2013-01-08 2013-03-27 中国电子科技集团公司第三十八研究所 面向监控应用的视频恒定质量编码装置及其编码方法
CN104463165A (zh) * 2014-10-24 2015-03-25 南京邮电大学 一种融合Canny算子与Vibe算法的目标检测方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862365A (zh) * 2019-01-30 2019-06-07 西安万像电子科技有限公司 图像数据处理方法及装置
CN109862365B (zh) * 2019-01-30 2022-01-11 西安万像电子科技有限公司 图像数据处理方法及装置
CN112116624A (zh) * 2019-06-21 2020-12-22 华为技术有限公司 一种图像处理方法和电子设备
CN110674778A (zh) * 2019-09-30 2020-01-10 安徽创世科技股份有限公司 一种高分辨视频图像目标检测方法及装置
CN110674778B (zh) * 2019-09-30 2023-05-16 安徽创世科技股份有限公司 一种高分辨视频图像目标检测方法及装置
CN110689014B (zh) * 2019-10-14 2022-02-11 腾讯科技（深圳）有限公司 感兴趣区域的检测方法、装置、电子设备及可读存储介质
CN110689014A (zh) * 2019-10-14 2020-01-14 腾讯科技（深圳）有限公司 感兴趣区域的检测方法、装置、电子设备及可读存储介质
CN111491167A (zh) * 2019-10-28 2020-08-04 华为技术有限公司 图像编码方法、转码方法、装置、设备以及存储介质
CN111491167B (zh) * 2019-10-28 2022-08-26 华为技术有限公司 图像编码方法、转码方法、装置、设备以及存储介质
CN111193932A (zh) * 2019-12-13 2020-05-22 西安万像电子科技有限公司 图像处理方法及装置
CN111787323A (zh) * 2020-05-23 2020-10-16 清华大学 一种基于对抗学习的可变比特率生成式压缩方法
CN111783771A (zh) * 2020-06-12 2020-10-16 北京达佳互联信息技术有限公司 文字检测方法、装置、电子设备和存储介质
CN111783771B (zh) * 2020-06-12 2024-03-19 北京达佳互联信息技术有限公司 文字检测方法、装置、电子设备和存储介质
CN111787398A (zh) * 2020-06-24 2020-10-16 浙江大华技术股份有限公司 视频压缩方法、装置、设备及存储装置
CN112163554A (zh) * 2020-10-15 2021-01-01 北京达佳互联信息技术有限公司 获取视频中的标记掩模的方法和装置
CN112163554B (zh) * 2020-10-15 2021-08-17 北京达佳互联信息技术有限公司 获取视频中的标记掩模的方法和装置
CN116580220A (zh) * 2023-07-07 2023-08-11 江苏网进科技股份有限公司 一种数字政府平台数据优化传输方法及系统
CN116580220B (zh) * 2023-07-07 2023-09-22 江苏网进科技股份有限公司 一种数字政府平台数据优化传输方法及系统

Also Published As

Publication number Publication date
CN108337515B (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN108337515A (zh) 一种视频编码方法及装置
Ying et al. From patches to pictures (PaQ-2-PiQ): Mapping the perceptual space of picture quality
CN111950723B (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN111988611B (zh) 量化偏移信息的确定方法、图像编码方法、装置及电子设备
CN112399176B (zh) 一种视频编码方法、装置、计算机设备及存储介质
CN106664417A (zh) 用于视频编码的内容自适应背景前景分割
CN104023225B (zh) 基于空时域自然场景统计特征的无参考视频质量评估方法
CN109698957B (zh) 图像编码方法、装置、计算设备及存储介质
US11259029B2 (en) Method, device, apparatus for predicting video coding complexity and storage medium
Li et al. User-generated video quality assessment: A subjective and objective study
CN111179201B (zh) 一种视频去噪方法和电子设备
CN110062230A (zh) 图像编码方法及装置
WO2017085708A1 (en) Method of controlling a quality measure and system thereof
Li et al. Predicting the quality of view synthesis with color-depth image fusion
Yang et al. A no-reference optical flow-based quality evaluator for stereoscopic videos in curvelet domain
CN115297288A (zh) 用于驾驶模拟器的监控数据存储方法
CN106664404A (zh) 视频编码中的块分割方式处理方法和相关装置
Liu et al. Spatio-temporal interactive laws feature correlation method to video quality assessment
US20230343017A1 (en) Virtual viewport generation method and apparatus, rendering and decoding methods and apparatuses, device and storage medium
CN111741313B (zh) 基于图像熵k均值聚类的3d-hevc快速cu分割方法
CN117478886A (zh) 多媒体数据编码方法、装置、电子设备及存储介质
Zhao et al. Fast CU partition decision strategy based on human visual system perceptual quality
CN106454386A (zh) 一种基于jnd的视频编码的方法和装置
Du AIVMAF: Automatic Image Quality Estimation Based on Improved VMAF and YOLOv4
CN116996680B (zh) 一种用于视频数据分类模型训练的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant