CN106162181B - 视频编码中背景图像的更新方法及其装置 - Google Patents

视频编码中背景图像的更新方法及其装置 Download PDF

Info

Publication number
CN106162181B
CN106162181B CN201510167079.1A CN201510167079A CN106162181B CN 106162181 B CN106162181 B CN 106162181B CN 201510167079 A CN201510167079 A CN 201510167079A CN 106162181 B CN106162181 B CN 106162181B
Authority
CN
China
Prior art keywords
background image
image
sampled
candidate
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510167079.1A
Other languages
English (en)
Other versions
CN106162181A (zh
Inventor
童俊艳
浦世亮
沈林杰
马程
呼志刚
张文聪
俞海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201510167079.1A priority Critical patent/CN106162181B/zh
Publication of CN106162181A publication Critical patent/CN106162181A/zh
Application granted granted Critical
Publication of CN106162181B publication Critical patent/CN106162181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及视频处理,公开了一种视频编码中背景图像的更新方法及其装置。本发明中,背景图像的更新方法包括以下步骤:如果需要更新背景图像,则判断当前帧是否为静止帧;如果判断结果为是,则将第一背景图像更新为当前帧;如果判断结果为否,则根据通过背景建模得到的候选背景图像处理背景图像。能够极好的在背景图像中保留背景细节,为提取前景图像和后续编码背景区域提供良好的参考图像,并有效提高背景图像的提取效率。

Description

视频编码中背景图像的更新方法及其装置
技术领域
本发明涉及视频处理,特别涉及视频编码中背景图像的更新方法及其装置。
背景技术
基于前景背景分离的结构化编码技术大致思想为,待编码图像经过背景重建技术分成前景和背景两部分,前景和背景的重要程度不一样,在编码时对两者分别处理,编码后将两者形成一个码流。
背景重建技术是视频分析领域常用的一种方法,有很多主流方法,典型的有高斯背景建摸、基于码本模型的背景重建、非参数学习方法、中值滤波等。这些方法的目标侧重都是提取干净的运动前景,而且大多数时候为了去除扰动的影响,会维护多个背景模型,运算复杂度高。而在视频编码应用中,处理的图像分辨率大部分都是19201088等大分辨率,直接应用主流方法无法达到实时编码的高性能要求,另外,结构化编码中的背景图像希望能最佳的保留背景细节,克服瞬时光线干扰,为后续编码背景区域编码提供参考图像。
半结构化编码中的背景图像需要通过背景建模模块生成,由于编码分辨率常常会达到1920*1088等大分辨率,且编码要求实时运行,这就要求背景建模模块实时运行,这需要巨大的计算量,严重影响编码效率。
发明内容
本发明的目的在于提供一种视频编码中背景图像的更新方法及其装置,能够极好的在背景图像中保留背景细节,为提取前景图像和后续编码背景区域提供良好的参考图像,并有效提高背景图像的提取效率。
为解决上述技术问题,本发明的实施方式公开了一种视频编码中背景图像的更新方法,包括以下步骤:
根据获取到的当前帧对通过背景建模得到的候选背景图像进行更新;
如果当前帧是静止帧,则将第一背景图像更新为当前帧;
如果当前帧不是静止帧,则根据通过背景建模得到的候选背景图像处理第一背景图像。
本发明的实施方式还公开了一种视频编码中背景图像的更新装置,包括:
第一更新单元,用于根据获取到的当前帧对通过背景建模得到的候选背景图像进行更新;
第一判断单元,用于判断当前帧是否为静止帧;
第二更新单元,用于在第一判断单元的判断结果为是时,将第一背景图像更新为当前帧;
处理单元,用于在第一判断单元的判断结果为否时,根据通过背景建模得到的候选背景图像处理第一背景图像。
本发明实施方式与现有技术相比,主要区别及其效果在于:
采用静止帧和背景建模混合提取背景图像的方式,能够极好的在背景图像中保留背景细节,为提取前景图像和后续编码背景区域提供良好的参考图像,并有效提高背景图像的提取效率。
进一步地,通过计算候选背景图像或其中宏块的置信度,能对候选背景图像或其部分区域是否可以作为背景图像进行可能性分析,并减少运动目标的偶尔加入对候选背景图像建立过程产生的影响,提高图像背景提取的准确度。
进一步地,对于大分辨率图像(如分辨率≥1920*1088),可采用将分辨率的方法对候选背景图像是否发生变化进行检测,在降采样背景图像发生较大变化时,再对候选背景图像进行更新,可在保证背景图像即时更新的同时降低背景图像的更新频率,降低计算量。
进一步地,将作为静止帧和背景图像的当前帧作为候选背景图像,能够提高后续候选背景图像的更新准确度,因为静止帧保留有更原始更准确的背景细节。
附图说明
图1是本发明第一实施方式中一种视频编码中背景图像的更新方法的流程示意图;
图2是本发明第二实施方式中一种更新候选背景图像的方式流程示意图;
图3是本发明第二实施方式中一种对降采样图像进行背景建模的方法示意图;
图4是本发明第三实施方式中一种视频编码中背景图像的更新装置的结构示意图。
具体实施方式
在以下的叙述中,为了使读者更好地理解本申请而提出了许多技术细节。但是,本领域的普通技术人员可以理解,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保护的技术方案。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明第一实施方式涉及一种视频编码中背景图像的更新方法。图1是该视频编码中背景图像的更新方法的流程示意图。
如图1所示,该视频编码中背景图像的更新方法包括以下步骤:
在步骤101中,获取当前帧,根据获取到的当前帧对通过背景建模得到的候选背景图像进行更新,并判断获取的当前帧是否为静止帧。其中,静止帧是指与历史帧相比,整个帧中没有运动宏块或运动宏块占有量较小的图像,即表示与历史帧图像相比,发生的变化较小的图像。
如果判断结果为是,则进入步骤102;否则,继续进入步骤103。
在步骤102中,将第一背景图像更新为当前帧;
在步骤103中,根据通过背景建模得到的候选背景图像处理第一背景图像。
此后结束本流程。
此外,在本申请中,判断当前帧是否为静止帧的方法可以是:对当前帧进行降分辨率采用以得到降采样当前帧;基于帧间运动矢量(例如N帧帧差、光流等)或上述背景建模过程中得到的前景信息,对降采样当前帧中的运动宏块和非运动宏块的数目进行统计;如果非运动宏块与运动宏块的数目的比值大于某一预定阈值,则将该当前帧判定为静止帧。
此外,还可以根据当前帧中运动宏块和非运动宏块的数目对当前帧的静止特性进行等级划分,例如,划分为五个不同的等级,第一等级对应的静止宏块数目最多,第五等级对应的静止宏块数目最少。每次检测当前帧是否为静止帧时先从第一等级开始检测,检测不到则降低条件,转到第二等级,依次类推,到第四等级还不能将当前帧判断为静止帧时,表示没有理想的静止帧,不将当前帧输出作为背景图像,而是采用背景建模得到的候选背景图像作为背景图像。表1列出了宽度为W,高度为H的分辨率下的五个等级对应的运动条件、检测时间以及使用时间,W、H代表输入图像的宽度和高度。表中的数字阈值只是阈值实例,并不仅限于此具体值。
表1 静止抽检测的五个等级列表
等级 运动宏块数 检测时间 使用时间
[0,W*H*0.02] 1500 1500
[W*H*0.02,W*H*0.04] 1000 1000
[W*H*0.04,W*H*0.1] 1000 500
[W*H*0.1,W*H*0.2] 500 250
[W*H*0.2,W*H] 1 50
在本发明的其他实施方式中,也可以采取其他方式判断当前帧是否为静止帧,且判断当前帧是否为静止帧也可以不预先进行降采样,直接对原始图像进行判断,在此不做限制。
此外,候选背景图像在建立过程中会受到场景中运动目标的影响,如果运动目标呆在场景中的时间超过了那个位置背景出现的时间,则建立的候选背景图像往往是不干净的,会有运动目标的像素值在里面。为减少不纯背景的影响,在当前帧不是静止帧时,本发明可以采取各种方式对第一背景图像进行处理,例如,在一优选例中,上述步骤103包括以下子步骤:
计算候选背景图像的置信度;如果候选背景图像的置信度大于第一预定阈值,则将第一背景图像更新为该候选背景图像;如果候选背景图像的置信度小于第一预定阈值,则不对第一背景图像进行更新,将编码方式切换为帧内编码模式。
在本发明的其他实施方式中,也可以在候选背景图像的置信度小于第一预定阈值时,不将候选背景图像更新为第一背景图像,编解码回归到普通编码方式。反之,根据候选背景图像的置信度高低,设置参考候选背景图像对整个图像前景和背景处理的影响系数,其中,置信度越低,表示候选背景图像作为背景越不可靠,因此,在编码时对背景图像的参考程度越小。
在另一优选例中,该步骤103包括以下子步骤:
计算候选背景图像中各宏块的置信度;如果候选背景图像中具有置信度大于第二预定阈值的宏块,则根据置信度大于第二预定阈值的宏块,更新第一背景图像中对应区域的宏块。此处对应区域的宏块,是指在候选背景图像和第一背景图像中具有相同位置的宏块。
可以理解,置信度表示图像或者宏块的历史运动信息情况,置信度值越大表示该处的背景越可靠。例如,对于候选背景图像中的某一宏块,在过去的1500帧内,该宏块处没有出现运动目标的像素,则该宏块的置信度为最高值(如225),如果有n帧出现了运动目标的像素,则其置信度介于最高值和0之间(如通过下式计算:(1-n/1500)*255)。整个候选背景图像的置信度可以是整幅图像中,置信度大于某一预定值的宏块占整幅图像的宏块的比例。
通过计算候选背景图像或其中宏块的置信度,能对候选背景图像或其部分区域是否可以作为背景图像进行可能性分析,并减少运动目标的偶尔加入对候选背景图像建立过程产生的影响,提高图像背景提取的准确度。
此外,可以理解,在本发明中,对一幅图像(或其中的宏块)对另一幅图像(或其中的宏块)的更新,包括直接替换、加权融合等操作,在此不做限制。
采用静止帧和背景建模混合提取背景图像的方式,能够极好的在背景图像中保留背景细节,为提取前景图像和后续编码背景区域提供良好的参考图像,并有效提高背景图像的提取效率。
本发明第二实施方式涉及一种视频编码中背景图像的更新方法。
第二实施方式在第一实施方式的基础上进行了改进,主要改进之处在于:对于大分辨率图像(如分辨率≥1920*1088),可采用降分辨率采样的方法对候选背景图像是否发生变化进行检测,在降采样背景图像发生较大变化时,再对候选背景图像进行更新,可在保证背景图像即时更新的同时降低背景图像的更新频率,降低计算量。将作为静止帧和第一背景图像的当前帧作为候选背景图像,能够提高后续候选背景图像的更新准确度,因为静止帧保留有更原始更准确的背景细节。
具体地说,在本发明中,候选背景图像在以一定的频率进行更新,或者在满足某些预定条件时,会将候选背景图像进行更新,以提高上述步骤101中采用候选背景图像进行相关处理的准确性。例如,图2所示为在满足某一预定条件时,将候选背景图像进行更新的优选例,其中,候选背景图像通过以下方式进行更新,即上述步骤101包括以下子步骤:
在子步骤2011中,判断当前帧是否为静止帧。
如果判断结果为是,则进入子步骤2012;否则,进入子步骤2013。
在子步骤2012中,将已有的候选背景图像更新为当前帧。此后返回上述子步骤2011。
在子步骤2013中,对当前帧进行降分辨率采样以得到降采样图像。此后进入子步骤2014。
在子步骤2014中,根据当前帧的降采样图像更新候选背景图像的降采样候选背景图像。例如,在该步骤中,将降采样候选背景图像中被更新的像素标被记为第一标识,未被更新的像素标被记为第二标识。
此后进入子步骤2015,根据降采样候选背景图像中被更新的像素,对候选背景图像中与被更新的像素对应的宏块进行更新。例如,将候选背景图像中对应像素被标记为第一标识的宏块进行更新。此后返回上述步骤2011。
例如,该子步骤2015通过以下方式实现:
将降采样背景图像与候选背景图像的降采样候选背景图像进行对比,得出需要更新的宏块,然后将得出的宏块在候选背景图像中对应的宏块进行更新。例如,采用8*8的倍率进行降采样,降采样候选背景图像中坐标为(10,10)的1个像素点,在候选背景图像中对应坐标从(80,80)开始的8*8像素块,如果该像素需要更新,则可以更新坐标从(80,80)开始的8*8像素块。
在本发明的各实施方式中,降采样背景图像和候选背景对应的降采样候选背景图像的降采样率可以相同,降采样背景图像和候选背景对应的降采样候选背景图像的降采样率也可以不同,不同时只需知道各自的分辨率,便可按照分辨率比例确定相应对比的宏块。
此外,可以理解,可基于现有的背景建模方法对降采样图像进行背景建模得到降采样背景图像,如混合高斯背景建模、中值滤波等,也可以采用其他方式,例如,在一优选例中,上述步骤2014包括以下子步骤:
根据预定更新频率,判断当前帧是否处于更新周期;如果判断结果为是,则获取当前帧对应的降采样图像的静止区域,并将降采样背景图像中对应的区域更新为静止区域。
在另一优选例中,上述步骤2014包括以下子步骤:
计算降采样图像和更新前的降采样候选背景图像之间的差分,并通过连通域分析得到该降采样图像的运动区域和静止区域;将更新前降采样候选背景图像中,与得到的静止区域对应的区域更新为该静止区域。
在另一优选例中,上述步骤2014包括以下子步骤:
获取降采样图像的静止区域;基于历史降采样图像,判断静止区域中是否存在出现次数超过第二预定阈值的像素;如果判断结果为是,则将降采样候选背景图像中对应位置的像素更新为出现次数超过第二预定阈值的像素。
此外,也可以结合两个优选例中的方法实现上述步骤2014,例如,如图3所示,首先,如果当前帧属于初始获取的N帧图像范围内,即属于第0-N帧内的某一帧,则对当前帧进行降采样,采用分段直方图统计每个像素点出现概率最多的像素,构造一幅初始背景图像作为降采样背景图像;其次,如果当前帧属于第N帧-2N帧图像,将当前帧降采样处理后与初始背景图像进行差分(背景差快速更新背景),通过连通域分析后得到运动区域和静止区域,如果满足预先设定更新周期,则将初始背景图像中的对应静止区域的区域进行更新,对应运动区域的区域不更新,得到降采样背景图像;如果当前帧属于第2N帧以后输入的图像,根据前景检测结果,对静止区域和运动区域分别进行累计计时,当静止区域背景像素出现的时间达到一定阈值时,更新降采样背景图像(稳定更新,输出更新率)。其中,上述N的值可以根据具体情况进行设定,在此不做限制。
在本发明的其他实施方式中,也可以根据预定频率对候选背景图像进行更新,例如,在得到降采样背景图像后,如果到达更新候选背景图像的更新周期,则基于降采样背景图像对候选背景图像进行更新。或者在接收到更新指令后,基于降采样背景图像对候选背景图像进行更新。在此不做限制。
此外,可以理解,第一幅候选背景图像可以直接采用第一帧输入的原始图像。
在本发明中,如果视频编码为结构化编码,则第一背景图像为实时更新的备用背景图像,结构化编码中正常使用的为第二背景图像,只有满足一定条件时,才将使用的第二背景图像进行更新,更新为第一背景图像,例如,在一优选例中,且当满足下列任一种条件时,将当前结构化编码中使用的第二背景图像更新为第一背景图像:
当前时刻达到第二背景图像的更新周期;
第一背景图像和第二背景图像之间的差异超过第三预定阈值;
距离检测到拍摄场景发生切换后的时间段超过了第四预定阈值;
通过运动矢量分析,检测到当前帧的图像发生了整体光线变化。
本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现,指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的,易失性的或者非易失性的,固态的或者非固态的,固定的或者可更换的介质等等)。同样,存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic,简称“PAL”)、随机存取存储器(Random Access Memory,简称“RAM”)、可编程只读存储器(Programmable Read Only Memory,简称“PROM”)、只读存储器(Read-Only Memory,简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM,简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc,简称“DVD”)等等。
本发明第三实施方式涉及一种视频编码中背景图像的更新装置。图4是该视频编码中背景图像的更新装置的结构示意图。
具体地说,如图4所示,该视频编码中背景图像的更新装置包括:
第一更新单元,用于根据获取到的当前帧对通过背景建模得到的候选背景图像进行更新;
第一判断单元,用于判断当前帧是否为静止帧;
第二更新单元,用于在第一判断单元的判断结果为是时,将第一背景图像更新为当前帧;
处理单元,用于在第一判断单元的判断结果为否时,根据通过背景建模得到的候选背景图像处理第一背景图像
此外,在一优选例中,上述处理单元包括以下子单元:
图像计算子单元,用于计算候选背景图像的置信度。
图像更新子单元,用于当候选背景图像的置信度大于第一预定阈值时,将第一背景图像更新为该候选背景图像。
第一实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明第四实施方式涉及一种视频编码中背景图像的更新装置。
第四实施方式在第三实施方式的基础上进行了改进,主要改进之处在于:对于大分辨率图像(如分辨率≥1920*1088),可采用降分辨率采样的方法对候选背景图像是否发生变化进行检测,在降采样背景图像发生较大变化时,再对候选背景图像进行更新,可在保证背景图像即时更新的同时降低背景图像的更新频率,降低计算量。将作为静止帧和背景图像的当前帧作为候选背景图像,能够提高后续候选背景图像的更新准确度,因为静止帧保留有更原始更准确的背景细节。
具体地说,在本发明中,候选背景图像在以一定的频率进行更新,或者在满足某些预定条件时,会将候选背景图像进行更新,以提高上述处理单元采用候选背景图像进行相关处理的准确性。例如,该装置的第一更新单元包括以下子单元:
第一降采样子单元,用于在当前帧不是静止帧时,对当前帧进行降分辨率采样以得到降采样图像;
第一更新子单元,用于根据当前帧的降采样图像更新候选背景图像的降采样候选背景图像;
第二更新子单元,根据降采样候选背景图像中被更新的像素,对候选背景图像中与被更新的像素对应的宏块进行更新;
第三更新子单元,用于在当前帧是静止帧时,则将已有的候选背景图像更新为当前帧。
此外,在一优选例中,上述第一更新子单元将降采样候选背景图像中被更新的像素标被记为第一标识,未被更新的像素标被记为第二标识;并且上述第二更新子单元包括以下子模块:
标记更新子模块,用于将候选背景图像中对应像素被标记为第一标识的宏块进行更新。
在另一优选例中,上第一更新子单元包括以下子模块:
差分计算子模块,用于计算降采样图像和更新前的降采样候选背景图像之间的差分,并通过连通域分析得到该降采样图像的运动区域和静止区域。
静止更新子模块,用于将更新前降采样候选背景图像中,与得到的静止区域对应的区域更新为静止区域。
在另一优选例中,上述第一更新子单元包括以下子模块:
静止获取子模块,用于获取降采样图像的静止区域;
次数判断子模块,用于基于历史降采样图像,判断静止区域中是否存在出现次数超过第二预定阈值的像素;
次数更新子模块,用于在次数判断子模块的判断结果为是时,将降采样候选背景图像中对应位置的像素更新为出现次数超过第二预定阈值的像素。
此外,在另一优选例中,该视频编码中背景图像的更新装置还包括以下单元:
第三更新单元,用于视频编码为结构化编码,且当满足下列任一种条件时,将当前结构化编码中使用的第二背景图像更新为第一背景图像:
当前时刻达到第二背景图像的更新周期;
第一背景图像和第二背景图像之间的差异超过第三预定阈值;
距离检测到拍摄场景发生切换后的时间段超过了第四预定阈值;
通过运动矢量分析,检测到当前帧的图像发生了整体光线变化。
第二实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第二实施方式中。
需要说明的是,本发明各设备实施方式中提到的各单元都是逻辑单元,在物理上,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现,这些逻辑单元本身的物理实现方式并不是最重要的,这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外,为了突出本发明的创新部分,本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,这并不表明上述设备实施方式并不存在其它的单元。
需要说明的是,在本专利的权利要求和说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本发明的某些优选实施方式,已经对本发明进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。

Claims (11)

1.一种视频编码中背景图像的更新方法,其特征在于,包括以下步骤:
根据获取到的当前帧对通过背景建模得到的候选背景图像进行更新;
如果当前帧是静止帧,则将第一背景图像更新为当前帧;
如果当前帧不是静止帧,则根据通过背景建模得到的候选背景图像处理所述第一背景图像;
所述视频编码为结构化编码,且当满足下列任一种条件时,将当前结构化编码中使用的第二背景图像更新为第一背景图像:
当前时刻达到所述第二背景图像的更新周期;或者,
所述第一背景图像和第二背景图像之间的差异超过第三预定阈值;或者,
距离检测到拍摄场景发生切换后的时间段超过了第四预定阈值;或者,
通过运动矢量分析,检测到当前帧的图像发生了整体光线变化。
2.根据权利要求1所述的视频编码中背景图像的更新方法,其特征在于,所述根据通过背景建模得到的候选背景图像处理所述第一背景图像的步骤包括以下子步骤:
计算所述候选背景图像的置信度;
如果所述候选背景图像的置信度大于第一预定阈值,则将所述第一背景图像更新为该候选背景图像。
3.根据权利要求1所述的视频编码中背景图像的更新方法,其特征在于,所述根据获取到的当前帧对通过背景建模得到的候选背景图像进行更新的步骤包括以下子步骤:
如果当前帧不是静止帧,则对当前帧进行降分辨率采样以得到降采样图像;
根据当前帧的所述降采样图像更新候选背景图像的降采样候选背景图像;
根据降采样候选背景图像中被更新的像素,对候选背景图像中与所述被更新的像素对应的宏块进行更新。
4.根据权利要求3所述的视频编码中背景图像的更新方法,其特征在于,在所述根据当前帧的所述降采样图像更新候选背景图像的降采样候选背景图像的步骤中:
所述降采样候选背景图像中被更新的像素标被记为第一标识,未被更新的像素标被记为第二标识;并且
所述对候选背景图像中与所述被更新的像素对应的宏块进行更新的子步骤包括以下子步骤:
将所述候选背景图像中对应像素被标记为第一标识的宏块进行更新。
5.根据权利要求3所述的视频编码中背景图像的更新方法,其特征在于,所述根据获取到的当前帧对通过背景建模得到的候选背景图像进行更新的步骤包括以下子步骤:
如果当前帧是静止帧,则将已有的候选背景图像更新为当前帧。
6.根据权利要求3所述的视频编码中背景图像的更新方法,其特征在于,所述根据当前帧的所述降采样图像更新候选背景图像的降采样候选背景图像的子步骤包括以下子步骤:
计算所述降采样图像和更新前的降采样候选背景图像之间的差分,并通过连通域分析得到该降采样图像的运动区域和静止区域;
将更新前降采样候选背景图像中,与得到的所述静止区域对应的区域更新为所述静止区域;和/或
所述根据当前帧的所述降采样图像更新候选背景图像的降采样候选背景图像的子步骤包括以下子步骤:
获取所述降采样图像的静止区域;
基于历史降采样图像,判断所述静止区域中是否存在出现次数超过第二预定阈值的像素;
如果所述判断结果为是,则将降采样候选背景图像中对应位置的像素更新为出现次数超过第二预定阈值的像素。
7.一种视频编码中背景图像的更新装置,其特征在于,包括:
第一更新单元,用于根据获取到的当前帧对通过背景建模得到的候选背景图像进行更新;
第一判断单元,用于判断当前帧是否为静止帧;
第二更新单元,用于在第一判断单元的判断结果为是时,将第一背景图像更新为当前帧;
处理单元,用于在第一判断单元的判断结果为否时,根据通过背景建模得到的候选背景图像处理所述第一背景图像;
第三更新单元,用于所述视频编码为结构化编码,且当满足下列任一种条件时,将当前结构化编码中使用的第二背景图像更新为第一背景图像:
当前时刻达到所述第二背景图像的更新周期;
所述第一背景图像和第二背景图像之间的差异超过第三预定阈值;
距离检测到拍摄场景发生切换后的时间段超过了第四预定阈值;
通过运动矢量分析,检测到当前帧的图像发生了整体光线变化。
8.根据权利要求7所述的视频编码中背景图像的更新装置,其特征在于,所述处理单元包括以下子单元:
图像计算子单元,用于计算所述候选背景图像的置信度;
图像更新子单元,用于当所述候选背景图像的置信度大于第一预定阈值时,将所述第一背景图像更新为该候选背景图像。
9.根据权利要求7所述的视频编码中背景图像的更新装置,其特征在于,所述第一更新单元包括以下子单元:
第一降采样子单元,用于在当前帧不是静止帧时,对当前帧进行降分辨率采样以得到降采样图像;
第一更新子单元,用于根据当前帧的所述降采样图像更新候选背景图像的降采样候选背景图像;
第二更新子单元,根据降采样候选背景图像中被更新的像素,对候选背景图像中与所述被更新的像素对应的宏块进行更新;
第三更新子单元,用于在当前帧是静止帧时,则将已有的候选背景图像更新为当前帧。
10.根据权利要求9所述的视频编码中背景图像的更新装置,其特征在于,所述第一更新子单元将所述降采样候选背景图像中被更新的像素标被记为第一标识,未被更新的像素标被记为第二标识;并且
所述第二更新子单元包括以下子模块:
标记更新子模块,用于将所述候选背景图像中对应像素被标记为第一标识的宏块进行更新。
11.根据权利要求9所述的视频编码中背景图像的更新装置,其特征在于,所述第一更新子单元包括以下子模块:
差分计算子模块,用于计算所述降采样图像和更新前的降采样候选背景图像之间的差分,并通过连通域分析得到该降采样图像的运动区域和静止区域;
静止更新子模块,用于将更新前降采样候选背景图像中,与得到的所述静止区域对应的区域更新为所述静止区域;和/或
所述第一更新子单元包括以下子模块:
静止获取子模块,用于获取所述降采样图像的静止区域;
次数判断子模块,用于基于历史降采样图像,判断所述静止区域中是否存在出现次数超过第二预定阈值的像素;
次数更新子模块,用于在所述次数判断子模块的判断结果为是时,将降采样候选背景图像中对应位置的像素更新为出现次数超过第二预定阈值的像素。
CN201510167079.1A 2015-04-09 2015-04-09 视频编码中背景图像的更新方法及其装置 Active CN106162181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510167079.1A CN106162181B (zh) 2015-04-09 2015-04-09 视频编码中背景图像的更新方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510167079.1A CN106162181B (zh) 2015-04-09 2015-04-09 视频编码中背景图像的更新方法及其装置

Publications (2)

Publication Number Publication Date
CN106162181A CN106162181A (zh) 2016-11-23
CN106162181B true CN106162181B (zh) 2019-03-05

Family

ID=57335675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510167079.1A Active CN106162181B (zh) 2015-04-09 2015-04-09 视频编码中背景图像的更新方法及其装置

Country Status (1)

Country Link
CN (1) CN106162181B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227160B2 (en) * 2019-11-15 2022-01-18 International Business Machines Corporation Detecting scene transitions in video footage
CN113011225A (zh) * 2019-12-19 2021-06-22 瑞昱半导体股份有限公司 对象检测方法以及电子装置
CN112073721B (zh) * 2020-10-10 2024-02-27 绍兴文理学院 一种高效率的非i帧图像编解码方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004075194A1 (en) * 2003-02-24 2004-09-02 Samsung Electronics Co., Ltd. Apparatus and method for decoding data for providing browsable slide show, and data storage medium therefor
CN101778265A (zh) * 2010-01-13 2010-07-14 上海交通大学 基于异常事件检测和双流编码的视频监控方法
CN102169538A (zh) * 2011-04-12 2011-08-31 广州市威宝网络科技有限公司 一种基于像素置信度的背景建模方法
CN102665077A (zh) * 2012-05-03 2012-09-12 北京大学 一种基于宏块分类的快速高效编转码方法
CN103440475A (zh) * 2013-08-14 2013-12-11 北京博思廷科技有限公司 一种自动取款机使用者人脸可见性判断系统及方法
CN104137146A (zh) * 2011-12-29 2014-11-05 派尔高公司 用于利用前景对象分割的噪声过滤的视频编码的方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004075194A1 (en) * 2003-02-24 2004-09-02 Samsung Electronics Co., Ltd. Apparatus and method for decoding data for providing browsable slide show, and data storage medium therefor
CN101778265A (zh) * 2010-01-13 2010-07-14 上海交通大学 基于异常事件检测和双流编码的视频监控方法
CN102169538A (zh) * 2011-04-12 2011-08-31 广州市威宝网络科技有限公司 一种基于像素置信度的背景建模方法
CN104137146A (zh) * 2011-12-29 2014-11-05 派尔高公司 用于利用前景对象分割的噪声过滤的视频编码的方法和系统
CN102665077A (zh) * 2012-05-03 2012-09-12 北京大学 一种基于宏块分类的快速高效编转码方法
CN103440475A (zh) * 2013-08-14 2013-12-11 北京博思廷科技有限公司 一种自动取款机使用者人脸可见性判断系统及方法

Also Published As

Publication number Publication date
CN106162181A (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
CN101535941B (zh) 自适应视频呈现的方法和装置
CN102131058B (zh) 高清数字视频帧速率变换处理模块及其方法
CN106162181B (zh) 视频编码中背景图像的更新方法及其装置
CN102497556B (zh) 一种基于时间变化度的场景切换检测方法、装置、设备
CN107392932A (zh) 更新用于图像的背景减除的背景模型的方法和装置
CN1972421A (zh) 帧插补器、帧插补方法以及运动可靠性评价器
CN106663325B (zh) 图像处理装置及其图像处理方法
CN102263955A (zh) 基于运动矢量检测视频遮挡的方法
CN102496058B (zh) 客流密度检测方法
CN101483001A (zh) 基于视频的入侵检测方法、检测装置、芯片
CN104717402B (zh) 一种空时域联合噪声估计系统
CN102939609A (zh) 基于人类交互轨迹的系统
CN103824114B (zh) 一种基于截面流量统计的行人流量计数方法和系统
JPWO2018061976A1 (ja) 画像処理装置
CN103338377A (zh) 用于确定运动估计中最优运动矢量的方法
US8306123B2 (en) Method and apparatus to improve the convergence speed of a recursive motion estimator
CN101908214A (zh) 基于邻域相关的背景重构的运动目标检测方法
CN106934332A (zh) 一种多目标跟踪的方法
CN110674886A (zh) 一种融合多层级特征的视频目标检测方法
CN111741186A (zh) 一种视频抖动检测方法、装置以及系统
US9367927B2 (en) Moving image region detection device
CN105469384A (zh) 车牌图像质量的综合评价方法
Song et al. A reliable counting vehicles method in traffic flow monitoring
CN105760854B (zh) 信息处理方法及电子设备
WO2020192095A1 (zh) 一种监控视频背景帧的编码方法、装置、电子设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant