CN102572381A - 视频监控场景判别方法及其监控图像编码方法、及装置 - Google Patents
视频监控场景判别方法及其监控图像编码方法、及装置 Download PDFInfo
- Publication number
- CN102572381A CN102572381A CN2010106123774A CN201010612377A CN102572381A CN 102572381 A CN102572381 A CN 102572381A CN 2010106123774 A CN2010106123774 A CN 2010106123774A CN 201010612377 A CN201010612377 A CN 201010612377A CN 102572381 A CN102572381 A CN 102572381A
- Authority
- CN
- China
- Prior art keywords
- frame
- scene
- motion vector
- unit
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明公开了一种视频监控场景判别方法及装置、一种监控图像编码方法及装置,其中视频监控场景判别方法包括获得前端视频监控装置监控到的前一视频图像帧以及当前视频图像帧;将获得的当前视频图像帧与前一视频图像帧相减得到图像残差帧;确定得到的图像残差帧中每个像素点的亮度值;根据确定的每个像素点的亮度值,确定非零亮度值的像素点数目与所述残差帧中所有像素点的数目的比例值;若确定的比例值大于设定的比例阈值,则判别前端视频监控装置当前所处的监控场景为运动场景;否则判别前端视频监控装置当前所处的监控场景为静止场景。本发明可以实现对不同监控场景下监控到的视频图像采用适应的编码方式,提升视频监控的图像编码质量。
Description
技术领域
本发明涉及视频监控技术领域,尤其是涉及一种视频监控场景判别方法及其装置,以及一种视频监控图像编码方法及其装置。
背景技术
目前,伴随着安防产业的成熟和平安城市、平安校园的大规模建设,实时远程监控越来越得到人们的重视,视频监控得到了越来越广泛的应用。视频监控也从有线发展为无线,以满足不断增加的移动性及便捷性要求。但由于TD-SCDMA等3G无线网络的上行带宽受限,使得视频监控图像的传输质量不佳,极大地影响了视频监控的效果。
在增加无线网络传输带宽的同时,还需要对信源端的视频编码方式进行优化,以提升在现有无线网络状况下的视频图像传输质量。但是通常情况下视频监控的应用场景很多,如白天、夜间,固定、移动等监控场景,不同监控场景下前端摄像装置采集的视频图像特性不相同,对编码器的性能要求也不相同。如果统一采用同一套编码配置方案对诸多种不同监控场景下监控到的视频图像进行相同方式编码,其视频编码质量就不能达到最优效果,且压缩后重建视频图像的质量差别也很大,无法呈现一致的监控视频图像的效果,从而影响了视频监控技术的实施效果。
发明内容
本发明实施例提供一种视频监控场景判别方法及其装置,以及一种视频监控图像编码方法及其装置,以实现对运动/静止监控场景下监控到的视频图像采用适应的编码方式,提升视频监控的图像编码质量。
本发明实施例提出的技术方案如下:
一种针对运动场景的视频监控图像编码方法,包括对前端视频监控装置监控到的当前视频图像帧在编码预测前进行全局运动估计,得到全局运动矢量MVg;并对当前视频图像帧在编码预测前进行基于块的运动估计,得到块运动矢量MVb;确定所述块运动矢量MVb与全局运动矢量MVg的差值MVd;基于所述差值MVd对所述当前视频图像帧进行运动矢量编码。
一种针对运动场景的视频监控图像编码装置,包括运动估计单元,用于对前端视频监控装置监控到的当前视频图像帧在编码预测前进行全局运动估计,得到全局运动矢量MVg;并对当前视频图像帧在编码预测前进行基于块的运动估计,得到块运动矢量MVb;矢量差值确定单元,用于确定所述运动估计单元得到的块运动矢量MVb与全局运动矢量MVg的差值MVd;矢量编码单元,用于基于所述矢量差值确定单元确定的差值MVd对所述当前视频图像帧进行运动矢量编码。
一种针对运动场景的视频监控图像编码方法,包括对前端视频监控装置监控到的当前视频图像帧在编码预测前进行全局运动估计,得到全局运动矢量MVg;并对当前视频图像帧在编码预测前进行基于块的运动估计,得到块运动矢量MVb;确定所述块运动矢量MVb与全局运动矢量MVg的差值MVd;基于所述差值MVd对所述当前视频图像帧进行第一次运动矢量编码;根据编码结果对所述当前视频图像帧进行帧率调整;对帧率调整后的当前视频图像帧在编码预测前进行全局运动估计,得到全局运动矢量MVg’;并对帧率调整后的当前视频图像帧在编码预测前进行基于块的运动估计,得到块运动矢量MVb’;确定所述块运动矢量MVb’与全局运动矢量MVg’的差值MVd’;基于所述差值MVd’对帧率调整后的当前视频图像帧进行第二次运动矢量编码。
一种针对运动场景的视频监控图像编码装置,包括运动估计单元,用于对前端视频监控装置监控到的当前视频图像帧在编码预测前进行全局运动估计,得到全局运动矢量MVg;并对当前视频图像帧在编码预测前进行基于块的运动估计,得到块运动矢量MVb;矢量差值确定单元,用于确定所述块运动矢量MVb与全局运动矢量MVg的差值MVd;运动矢量编码单元,用于基于所述矢量差值确定单元确定的差值MVd对所述当前视频图像帧进行第一次运动矢量编码;帧率调整单元,用于根据运动矢量编码单元的编码结果对所述当前视频图像帧进行帧率调整;所述运动估计单元还用于对帧率调整单元调整后的当前视频图像帧在编码预测前进行全局运动估计,得到全局运动矢量MVg’;并对帧率调整后的当前视频图像帧在编码预测前进行基于块的运动估计,得到块运动矢量MVb’;所述矢量差值确定单元还用于确定所述块运动矢量MVb’与全局运动矢量MVg’的差值MVd’;所述运动矢量编码单元还用于基于所述差值MVd’对帧率调整后的当前视频图像帧进行第二次运动矢量编码。
一种视频监控场景判别方法,包括获得前端视频监控装置监控到的前一视频图像帧以及当前视频图像帧;将获得的当前视频图像帧与前一视频图像帧相减得到图像残差帧;确定得到的图像残差帧中每个像素点的亮度值;根据确定的每个像素点的亮度值,确定非零亮度值的像素点数目与所述残差帧中所有像素点的数目的比例值;若确定的比例值大于设定的比例阈值,则判别前端视频监控装置当前所处的监控场景为运动场景;否则判别前端视频监控装置当前所处的监控场景为静止场景。
一种视频监控场景判别装置,包括图像帧获得单元,用于获得前端视频监控装置监控到的前一视频图像帧以及当前视频图像帧;残差帧获得单元,用于将图像帧获得单元获得的当前视频图像帧与前一视频图像帧相减得到图像残差帧;亮度值确定单元,用于确定残差帧获得单元得到的图像残差帧中每个像素点的亮度值;比例值确定单元,用于根据亮度值确定单元确定的每个像素点的亮度值,确定非零亮度值的像素点数目与所述残差帧中所有像素点的数目的比例值;场景判别单元,用于在比例值确定单元确定的比例值大于设定的比例阈值时,判别前端视频监控装置当前所处的监控场景为运动场景;否则判别前端视频监控装置当前所处的监控场景为静止场景。
一种针对静止场景的视频监控图像编码方法,包括将前端视频监控装置监控到的当前视频图像帧相对于监控到的作为参考帧的第一帧视频图像帧的变化区域作为残差帧;以及对所述残差帧相对于监控到的前一视频图像帧进行运动估计,并根据运动估计结果进行视频编码。
一种针对静止场景的视频监控图像编码装置,包括残差帧确定单元,用于将前端视频监控装置监控到的当前视频图像帧相对于监控到的作为参考帧的第一帧视频图像帧的变化区域作为残差帧;以及视频编码单元,用于对所述残差帧确定单元确定的残差帧相对于监控到的前一视频图像帧进行运动估计,并根据运动估计结果进行视频编码。
本发明实施例通过提出运动/静止监控场景的识别方案,并针对识别到的运动/静止监控场景,提出适应性的有针对性的监控图像编码方案,从而实现了针对不同的监控场景分别进行图像优化编码,提升了在各种监控场景下的视频监控图像质量,降低了视频图像编码的复杂度,进而有效的提升了视频监控技术的实施效果。
附图说明
图1为视频监控系统的组成结构示意图;
图2为视频监控系统中视频编码过程示意图;
图3为视频监控系统中详细的视频编码框架示意图;
图4为本发明实施例提出的判别视频监控场景为运动/静止场景的处理流程图;
图5为本发明实施例提出的判别视频监控场景为运动/静止场景的处理装置的组成结构示意图;
图6为本发明实施例提出的判别视频监控场景为白天/夜间场景的处理流程图;
图7为本发明实施例提出的判别视频监控场景为白天/夜间场景的处理装置的组成结构示意图;
图8为本发明实施例提出的判别视频监控场景为室内/室外场景的处理流程图;
图9为本发明实施例提出的判别视频监控场景为室内/室外场景的处理装置的组成结构示意图;
图10为本发明实施例提出的第一种针对运动场景的视频监控图像编码方法的处理流程图;
图11为本发明实施例提出的第一种针对视频监控场景为运动场景的视频监控图像编码处理装置的组成结构示意图;
图12为本发明实施例提出的第二种针对运动场景的视频监控图像编码方法的实施示意图;
图13为本发明实施例提出的第二种针对运动场景的视频监控图像编码方法的处理流程图;
图14为本发明实施例提出的第二种针对视频监控场景为运动场景的视频监控图像编码处理装置的组成结构示意图;
图15为本发明实施例提出的针对静止场景的视频监控图像编码方法的处理流程图;
图16为本发明实施例提出的针对视频监控场景为静止场景的视频监控图像编码处理装置的组成结构示意图;
图17为本发明实施例对零值区域量化优化调整的示意图;
图18为夜间场景下编码优化流程示意图;
图19为本发明实施例提出的针对视频监控场景为白天夜间场景的视频监控图像编码处理装置的组成结构示意图;
图20为本发明实施例提出的针对视频监控场景为室内场景的视频监控图像编码处理装置的组成结构示意图;
图21为本发明实施例提出的视频监控编码方法的处理流程图;
图22为本发明实施例提出的视频监控编码处理装置的组成结构示意图。
具体实施方式
针对现有的视频监控方案均没有考虑监控应用的不同场景特点,没有针对不同的监控场景采取不同的编码优化策略,因此不能适用于多种监控场景。此外,视频监控特别是无线视频监控的前端监控设备的种类较多,很多前端监控设备的处理能力较弱,而采用现有的基于如H.264标准的编码方案过于复杂,在这些设备上难以进行实时编码,或是无法进行多路编码,从而影响了视频监控技术的开展。针对现有技术的问题,本方案实施例提出了一套针对视频监控应用的编码优化方案,基于不同的视频监控应用场景进行有针对性的编码优化,以充分提升在每一种监控场景下的视频质量,提供更为良好的用户体验,并进而降低不同应用监控场景下的视频编码复杂度,以有利于前端监控设备产品的实现。
如图1所示,为视频监控系统的组成结构示意图,其中端到端的视频监控应用系统大致包含摄像机、前端视频监控装置、传输网络及客户端设备等,以实现视频采集、编码、网络传输、解码以及显示输出等功能。
如图2所示,为视频监控系统中视频编码过程示意图,如图3所示,为视频监控系统中详细的视频编码框架示意图。针对这里的一般编码流程,视频监控由于应用场景较为复杂,可针对不同的应用监控场景的特征,对此编码架构进行有针对性的优化,以取得在特定应用场景下的最佳视频质量,并降低编码的复杂度。
本发明实施例这里提出的监控场景可分为静止/运动场景、白天/夜间场景、室内/室外场景三类,可采用如下方法来分别区分不同的监控场景。
实施例一,运动/静止场景的判别:
如图4所示,为本发明实施例提出的判别视频监控场景为运动/静止场景的处理流程图,其中可采用运动检测来判别视频监控场景为运动场景还是为静止场景,即将监控到的视频的当前帧与前一帧图像相减,获得残差帧。如前后两帧图像对应位置没有运动,则获得的残差帧的对应位置像素亮度值(简称为亮度值)为零;如前后两帧图像对应位置没有运动,则获得的残差帧的对应位置像素亮度值为非零的亮度值。将残差帧的每个像素点的亮度值进行统计,如非零亮度值的像素点数目与残差帧中包含的所有像素点数目的比例值大于一定域值,则判别当前视频监控场景为运动场景;反之判别当前视频监控场景为静止场景。具体实现流程如下:
步骤40,获得视频监控系统中前端视频监控装置监控到的前一视频图像帧以及当前视频图像帧;
步骤41,将上述获得的当前视频图像帧与前一视频图像帧相减得到图像残差帧;
步骤42,分别确定上述得到的图像残差帧中每个像素点的亮度值;
步骤43,根据上述分别确定的每个像素点的亮度值,确定非零亮度值的像素点数目与残差帧中所有像素点的数目的比例值;
步骤44,若上述确定的比例值大于设定的比例阈值(通常实际应用场景中,该比例阈值可以选定为30%),则判别前端视频监控装置当前所处的监控场景为运动场景;否则判别前端视频监控装置当前所处的监控场景为静止场景。
相应的,本发明实施例还提出一种判别视频监控场景为运动/静止场景的处理装置,该装置的具体组成结构如图5所示,包括图像帧获得单元50,用于获得视频监控系统中前端视频监控装置监控到的前一视频图像帧以及当前视频图像帧;残差帧获得单元52,用于将图像帧获得单元50获得的当前视频图像帧与前一视频图像帧相减得到图像残差帧;亮度值确定单元54,用于分别确定残差帧获得单元52得到的图像残差帧中每个像素点的亮度值;比例值确定单元56,用于根据亮度值确定单元54分别确定的每个像素点的亮度值,确定非零亮度值的像素点数目与所述残差帧中所有像素点的数目的比例值;场景判别单元58,用于在比例值确定单元56确定的比例值大于设定的比例阈值时,判别前端视频监控装置当前所处的监控场景为运动场景,否则判别前端视频监控装置当前所处的监控场景为静止场景。
实施例二,白天/夜间场景的判别:
如图6所示,为本发明实施例提出的判别视频监控场景为白天/夜间场景的处理流程图,本发明实施例基于图像帧中亮度值代表了图像亮度,通过统计一帧图像中所有像素点的亮度值均值,如统计得到的亮度值均值大于一定域值,则可以判别前端视频监控装置所处的监控场景为白天场景;如统计得到的亮度值均值低于该域值,则可以判别前端视频监控装置所处的监控场景为夜间场景。具体实现流程如下:
步骤60,获得视频监控系统中前端视频监控装置监控到的当前视频图像帧;
步骤61,确定上述获得的当前视频图像帧中包含的各个像素点的亮度值的均值;
步骤62,若上述确定的亮度值的均值大于设定的均值阈值(通常实际应用场景中,该均值阈值可以选定为128),则可以判别前端视频监控装置当前所处的监控场景为白天场景;否则可以判别前端视频监控装置当前所处的监控场景为夜间场景。
此外,也可以通过对时间段的检测来判别视频监控的场景为白天场景或者夜间场景,例如在6:00~19:00的时间段内,可以判别视频监控场景为白天场景,其余时间段内为夜间监控场景。
相应的,本发明实施例还提出一种判别视频监控场景为白天/夜间场景的处理装置,该装置的具体组成结构如图7所示,具体包括图像帧获得单元70,用于获得视频监控系统中前端视频监控装置监控到的当前视频图像帧;亮度值均值确定单元72,用于确定图像帧获得单元70获得的当前视频图像帧中包含的各个像素点的亮度值的均值;场景判别单元74,用于在亮度值均值确定单元确定的亮度值的均值大于设定的均值阈值时,判别前端视频监控装置当前所处的监控场景为白天场景;否则判别前端视频监控装置当前所处的监控场景为夜间场景。
实施例三,室内/室外场景的判别:
如图8所示,为本发明实施例提出的判别视频监控场景为室内/室外场景的处理流程图,本发明实施例区分室内监控场景或室外监控场景主要关注视频图像帧是否照度均匀,其中室内监控场景下监控到的视频图像帧一般照度不均匀,如灯光等影响。将监控到的一帧图像划分为16×16像素的块(当然也可以划分为其他大小的块,例如8×8、4×4等大小的像素块),并计算每个划分得到的像素块的亮度均值Y,获得一帧图像中像素块的最大亮度均值Ymax和最小亮度均值Ymin,如获得的Ymax和Ymin满足下式,则判别前端视频监控装置当前监控的场景为室内场景;否则判别前端视频监控装置当前监控的场景为室外场景。
其中TH通常可以取值为2。其具体处理流程如下:
步骤80,获得视频监控系统中前端视频监控装置监控到的当前视频图像帧;
步骤81,将上述获得的当前视频图像帧划分为M×N像素大小的块,其中M、N为自然数;
步骤82,分别确定上述划分得到的每个像素块的亮度均值;
步骤83,在上述分别确定的每个像素块的亮度均值中,确定最大的亮度均值Ymax和最小的亮度均值Ymin;
步骤84,若上述确定的Ymax和Ymin满足关系式则判别前端视频监控装置当前所处的监控场景为室内场景;否则判别前端视频监控装置当前所处的监控场景为室外场景,其中TH为设定的商值阈值,通常实际应用场景中可以但不限于取值为2。
相应的,本发明实施例还提出一种判别视频监控场景为室内/室外场景的处理装置,该装置的具体组成结构如图9所示,具体包括图像帧获得单元90,用于获得前端视频监控装置监控到的当前视频图像帧;块划分单元92,用于将图像帧获得单元90获得的当前视频图像帧划分为M×N像素大小的块,其中M、N为自然数;亮度均值确定单元94,用于分别确定块划分单元92划分得到的每个块的亮度均值;最大最小亮度值确定单元96,用于在亮度均值确定单元94分别确定的每个块的亮度均值中,确定最大的亮度均值Ymax和最小的亮度均值Ymin;场景判别单元98,用于在最大最小亮度值确定单元96确定的Ymax和Ymin满足时,判别前端视频监控装置当前所处的监控场景为室内场景;否则判别前端视频监控装置当前所处的监控场景为室外场景,其中TH为设定的商值阈值。
当然除了以上介绍的自动判别监控场景的方法,也可以在前端视频监控装置中手动设置监控场景模式。
本发明实施例针对上述提出的监控场景判别方案,分别针对每种不同的监控场景提出有针对性的编码优化方案,具体将在下述依次详细描述。
实施例四,运动场景下的编码优化方案:
在视频监控系统中,运动场景对应于摄像机移动及单兵设备使用时的视频采集情形,静止场景对应于摄像机固定时的视频采集情形。
监控场景处于运动场景时,由于摄像机存在轮巡等运动,运动估计精度较低,且运动矢量数值很大,容易导致编码码流变化较大,在固定网络带宽传输时容易出现丢包等现象,极大地降低了视频编码质量。针对此缺陷,本发明是实力提出在监控场景为运动场景下,在编码过程中的预测处理前增加全局运动估计操作,得到全局运动矢量MVg,可用于代表摄像机的运动矢量。然后进行基于块的运动估计,得到块运动矢量MVb,并计算其差值MVd:
MVd=MVb-MVg (2)
然后以MVd为基础进行随后的运动矢量编码,以降低运动矢量的数值大小,提高视频编码的质量。
因此,如图10所示,为本发明实施例提出的第一种针对运动场景的视频监控图像编码方法的处理流程图,其具体实施过程如下:
步骤100,对视频监控系统中的前端视频监控装置监控到的当前视频图像帧在编码预测前先进行全局运动估计,得到全局运动矢量MVg;
步骤101,对当前视频图像帧在编码预测前先进行基于块的运动估计,得到块运动矢量MVb;
步骤102,确定上述获得的块运动矢量MVb与全局运动矢量MVg的差值MVd;
步骤103,基于上述得到的差值MVd对当前视频图像帧进行运动矢量编码。
相应的,本发明实施例还提出一种针对视频监控场景为运动场景的视频监控图像编码处理装置,该装置的具体组成结构如图11所示,具体包括运动估计单元110,用于对视频监控系统中的前端视频监控装置监控到的当前视频图像帧在编码预测前进行全局运动估计,得到全局运动矢量MVg;并对当前视频图像帧在编码预测前进行基于块的运动估计,得到块运动矢量MVb;矢量差值确定单元111,用于确定运动估计单元110得到的块运动矢量MVb与全局运动矢量MVg的差值MVd;矢量编码单元112,用于基于矢量差值确定单元111确定的差值MVd对当前视频图像帧进行运动矢量编码。
更进一步地,考虑到摄像机运动时可能导致不同图像帧内容出现周期性重复的概率较小,因此可以考虑降低视频编码时的参考帧数量,从多帧参考改为单帧参考,在不降低预测精度的同时降低运动估计的计算量。由于视频监控对单帧图像的质量要求较高,当运动过于剧烈而导致码率增长过快时,需要对码率控制方式进行调整,具体地可保持QP基本不变,通过动态降低帧率来达到恒定码率,以保证单帧图像的质量,具体实施方案如图12所示。
因此,如图13所示,为本发明实施例提出的第二种针对运动场景的视频监控图像编码方法的处理流程图,其具体实施过程如下:
步骤130,对视频监控系统中的前端视频监控装置监控到的当前视频图像帧在编码预测前进行全局运动估计,得到全局运动矢量MVg;
步骤131,对当前视频图像帧在编码预测前进行基于块的运动估计,得到块运动矢量MVb;
步骤132,确定上述获得的块运动矢量MVb与全局运动矢量MVg的差值MVd;
步骤133,基于上述获得的差值MVd对当前视频图像帧进行第一次运动矢量编码;
步骤134,根据上述编码结果对当前视频图像帧进行帧率调整(即码率控制处理);
步骤135,对上述帧率调整后的当前视频图像帧在编码预测前先进行全局运动估计,得到全局运动矢量MVg’;
步骤136,对帧率调整后的当前视频图像帧在编码预测前先进行基于块的运动估计,得到块运动矢量MVb’;
步骤137,确定上述获得的块运动矢量MVb’与全局运动矢量MVg’的差值MVd’;
步骤138,基于上述获得的差值MVd’对帧率调整后的当前视频图像帧进行第二次运动矢量编码。
相应的,本发明实施例还提出另一种针对视频监控场景为运动场景的视频监控图像编码处理装置,该装置的具体组成结构如图14所示,具体包括运动估计单元141,用于对视频监控系统中的前端视频监控装置监控到的当前视频图像帧在编码预测前进行全局运动估计,得到全局运动矢量MVg;并对当前视频图像帧在编码预测前进行基于块的运动估计,得到块运动矢量MVb;矢量差值确定单元143,用于确定运动估计单元141得到的块运动矢量MVb与全局运动矢量MVg的差值MVd;运动矢量编码单元145,用于基于矢量差值确定单元143确定的差值MVd对当前视频图像帧进行第一次运动矢量编码;帧率调整单元147,用于根据运动矢量编码单元145的编码结果对当前视频图像帧进行帧率调整;后续运动估计单元141还用于对帧率调整单元145帧率调整后的当前视频图像帧在编码预测前进行全局运动估计,得到全局运动矢量MVg’;并对帧率调整后的当前视频图像帧在编码预测前进行基于块的运动估计,得到块运动矢量MVb’;矢量差值确定单元143还用于确定块运动矢量MVb’与全局运动矢量MVg’的差值MVd’;运动矢量编码单元145还用于基于差值MVd’对帧率调整后的当前视频图像帧进行第二次运动矢量编码。
实施例五,静止场景下的编码优化方案:
当监控场景为静止场景时,由于监控图像的背景部分保持不变,只有在运动物体出现时在小部分图像区域出现改变,因此可考虑只对变化的部分进行编码,以最大程度地降低编码码率。如图15所示,为本发明实施例提出的针对静止场景的视频监控图像编码方法的处理流程图,其具体实施过程如下:
步骤150,判断视频监控系统中的前端视频监控装置监控到的当前图像帧是否为第一帧视频图像;当判断结果为是时,执行步骤151;否则执行步骤152;
步骤151,将视频监控系统中的前端视频监控装置监控到的当前图像帧作为背景参考帧fb;
步骤152,判断前端视频监控装置监控到的当前视频图像帧fi相对于监控到的作为背景参考帧的第一帧视频图像帧fb是否存在变化区域;如果是,执行步骤153,否则执行步骤156;
步骤153,将前端视频监控装置监控到的当前视频图像帧fi相对于监控到的作为背景参考帧fb的第一帧视频图像帧发生变化的区域部分作为残差帧fΔ;
步骤154,对上述确定的残差帧fΔ相对于监控到的前一视频图像帧进行运动估计,并根据运动估计结果进行视频编码;
步骤156,跳过编码过程,忽略对该当前视频图像帧fi进行编码处理,解码端直接显示背景参考帧fb的解码结果。
基于上述提出的在监控场景为静止场景下的编码优化方案,就能在保持监控视频图像质量不变的情况下极大地降低编解码计算的复杂度。此外由于实际编码帧数减少,且编码帧的编码区域减小,因此在码率不变的情况下可以提高每一帧视频图像的编码质量。
相应的,本发明实施例还提出一种针对视频监控场景为静止场景的视频监控图像编码处理装置,该装置的具体组成结构如图16所示,具体包括残差帧确定单元160,用于将视频监控系统中的前端视频监控装置监控到的当前视频图像帧相对于监控到的作为参考帧的第一帧视频图像帧的变化区域作为残差帧;视频编码单元161,用于对所述残差帧确定单元160确定的残差帧相对于监控到的前一视频图像帧进行运动估计,并根据运动估计结果进行视频编码。
实施例六,白天/夜间场景下的编码优化方案:
白天场景下由于光照强烈,视频采集图像将过亮,像素亮度值过于集中,导致编码过程中经过变换处理后其交流系数AC将均接近于零,经过量化后AC系数直接为零,因此会导致图像细节丢失,表现为图像白茫茫一片,难以分辨其中的细节。对于夜间场景,由于采集图像过暗,也存在相同的量化误差过大直接导致图像细节大量丢失的问题。
针对此问题,可在对前端视频监控装置监控到的当前视频图像帧进行编码量化过程中,对变换后得到的零值区域进行处理,即降低量化步长值QStep0,得到新的量化步长值QStep0′,然后基于新的量化步长值QStep0′对当前视频图像帧进行编码。其中:
QStep0′=QStep0-d (3)
这样,在对白天夜间场景下的视频监控图像进行编码过程中,就可以实现较小的变换系数得以保留,进而保留了更多的图像细节,提升了图像的编码质量。在实际应用中,量化调整系数d可以但不限于取值为QStep0/2。
如图17所示,为本发明实施例对零值区域量化优化调整的示意图。
此外,夜间场景下也可以采取相同的零值区域量化调整方法来避免监控到的视频图像细节严重丢失。此外由于摄像机工艺的限制,在夜间采集视频图像时会不可避免地出现大量噪点,极大地影响了监控到的视频图像的质量,也增加了编码码率,为解决这个问题,可在图像编码前对当前视频图像帧进行滤波处理以去除噪点,提升视频图像的编码质量。具体的夜间场景下编码优化流程示意图如图18所示。
相应的,本发明实施例还提出一种针对视频监控场景为白天夜间场景的视频监控图像编码处理装置,该装置的具体组成结构如图19所示,具体包括降低步长值单元190,用于在对前端视频监控装置监控到的当前视频图像帧进行编码量化过程中,降低量化步长值;视频编码单元191,用于基于降低步长值单元190降低后的量化步长值对当前视频图像帧进行编码处理。滤波单元192,用于在前端视频监控装置当前所处的监控场景为夜间场景时,在基于降低步长值单元降低后的量化步长值对当前视频图像帧进行编码之前,对当前视频图像帧进行滤波处理。
实施例七,室内/室外场景下的编码优化方案:
在视频监控场景为室内场景时,往往由于灯光照射等原因对视频图像产生亮度不均匀的影响,往往会存在过亮(灯泡周围)和过暗(光线被遮挡的角落)的区域。同前述白天夜间场景一样,可能会由于均匀量化的操作而丢失图像的大量细节内容。因此,对于处于室内场景下的视频监控图像帧,可以将当前获得每帧视频图像帧划分为M×N像素大小的块,其中M、N为自然数,这里可以但不限于划分为8×8、4×4、16×16、16×8等像素大小的块。基于划分得到的每个像素块,可以基于下述公式分别确定每个块的亮度均值Y:
其中Yij为块中包含的每一个像素的亮度值,i、j为正整数。
根据确定的每个块的亮度均值Y,选择亮度均值小于第一设定阈值的块及其亮度均值大于第二设定阈值的块,其中第一设定阈值小于第二设定阈值;即将该当前视频图像帧划分得到的各个M×N像素大小的块B分为两类BU和BN:
其中TH1为第一设定阈值,TH2为第二设定阈值,通常TH1可以取64,TH2可以取191。对于上述选择的块(即对于BU块而言),可以进行零值区域量化处理,即对于选择到的BU块而言,在进行编码量化过程中,通过降低其量化步长值QStep0为QStep0′;然后基于降低后的量化步长值QStep0′对选择的BU块进行编码。而对于未选择的块(即对于BN块而言),则可以按照现有的正常编码方式进行编码处理。这样的优化编码方式可以很好的提升过亮区域或者过暗区域的图像编码质量。
对于视频监控场景为室外场景时,也可以按照现有的正常编码方式进行编码处理。如果在室外场景下,同时是白天场景或夜间场景时,则可以结合上述已经介绍的白天/夜间场景下的优化编码方式进行相应的优化编码处理。
相应的,本发明实施例还提出一种针对视频监控场景为室内场景的视频监控图像编码处理装置,该装置的具体组成结构如图20所示,具体包括图像帧获得单元200,用于获得视频监控系统中的前端视频监控装置监控到的当前视频图像帧;块划分单元201,用于将图像帧获得单元200获得的当前视频图像帧划分为M×N像素大小的块,其中M、N为自然数;亮度均值确定单元202,用于分别确定块划分单元201划分得到的每个块的亮度均值,其中亮度均值确定单元202可以按照公式确定划分得到的每个块的亮度均值:其中Yij为块中包含的每一个像素的亮度值,i、j为正整数;块选择单元203,用于根据亮度均值确定单元202确定的每个块的亮度均值,选择亮度均值小于第一设定阈值的块及其亮度均值大于第二设定阈值的块,其中第一设定阈值小于第二设定阈值;降低步长值单元204,用于对块选择单元203选择的块进行编码量化过程中,降低量化步长值;视频编码单元205,用于基于降低步长值单元204降低后的量化步长值对块选择单元203选择的块进行编码处理。
针对前述已经分别阐述的各种识别监控场景的判决方案,以及针对识别到的不同监控场景提出的不同优化编码方案,本发明实施例提出一种新的视频监控编码方法,具体如图21所示,为本发明实施例提出的视频监控编码方法的处理流程图,具体实施过程如下:
步骤210,判别视频监控系统中的前端视频监控装置当前所处的监控场景;具体地监控场景可以但不限于包括运动/静止场景、白天/黑夜场景、室内/室外场景等,其中如何识别上述各种监控场景已经在上述详尽阐述,这里不再过多赘述。
步骤211,按照预先设定的监控场景与视频编码方式的对应关系,确定上述判别出的监控场景对应的视频编码方式;其中不同的监控场景下可以预先设置对应该监控场景的优化编码方式,其中针对不同的监控场景,采用何种优化的编码方式已经在上述详尽阐述,这里也不再过多赘述。
步骤212,按照上述确定出的视频编码方式对前端视频监控装置监控到的每帧视频图像信息进行编码处理。具体每种优化编码方式的具体编码过程也已经在上述详尽阐述,这里也不再过多赘述。
相应的,本发明实施例还提出一种视频监控编码处理装置,该装置的具体组成结构如图22所示,具体包括场景判别单元221,用于判别视频监控系统中的前端视频监控装置当前所处的监控场景;编码方式确定单元222,用于按照预先设定的监控场景与视频编码方式的对应关系,确定场景判别单元221判别出的监控场景对应的视频编码方式;编码单元223,用于按照编码方式确定单元222确定出的视频编码方式对前端视频监控装置监控到的每帧视频图像信息进行编码处理。具体地场景判别单元221如何识别上述各种监控场景、编码方式确定单元222如何针对不同的监控场景,采用何种优化的编码方式、以及编码单元223具体地采用每种优化编码方式的具体编码过程都分别已经在上述详尽阐述,这里不再过多赘述。
综上论述可见,本发明实施例通过提出不同监控场景的识别方案,并针对识别到的不同监控场景,提出适应性的有针对性的监控图像编码方案,从而实现了针对不同的监控场景分别进行图像优化编码,提升了在各种监控场景下的视频监控图像质量,降低了视频图像编码的复杂度,进而有效的提升了视频监控技术的实施效果。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种针对运动场景的视频监控图像编码方法,其特征在于,包括:
对前端视频监控装置监控到的当前视频图像帧在编码预测前进行全局运动估计,得到全局运动矢量MVg;并
对当前视频图像帧在编码预测前进行基于块的运动估计,得到块运动矢量MVb;
确定所述块运动矢量MVb与全局运动矢量MVg的差值MVd;
基于所述差值MVd对所述当前视频图像帧进行运动矢量编码。
2.一种针对运动场景的视频监控图像编码装置,其特征在于,包括:
运动估计单元,用于对前端视频监控装置监控到的当前视频图像帧在编码预测前进行全局运动估计,得到全局运动矢量MVg;并对当前视频图像帧在编码预测前进行基于块的运动估计,得到块运动矢量MVb;
矢量差值确定单元,用于确定所述运动估计单元得到的块运动矢量MVb与全局运动矢量MVg的差值MVd;
矢量编码单元,用于基于所述矢量差值确定单元确定的差值MVd对所述当前视频图像帧进行运动矢量编码。
3.一种针对运动场景的视频监控图像编码方法,其特征在于,包括:
对前端视频监控装置监控到的当前视频图像帧在编码预测前进行全局运动估计,得到全局运动矢量MVg;并
对当前视频图像帧在编码预测前进行基于块的运动估计,得到块运动矢量MVb;
确定所述块运动矢量MVb与全局运动矢量MVg的差值MVd;
基于所述差值MVd对所述当前视频图像帧进行第一次运动矢量编码;
根据编码结果对所述当前视频图像帧进行帧率调整;
对帧率调整后的当前视频图像帧在编码预测前进行全局运动估计,得到全局运动矢量MVg’;并
对帧率调整后的当前视频图像帧在编码预测前进行基于块的运动估计,得到块运动矢量MVb’;
确定所述块运动矢量MVb’与全局运动矢量MVg’的差值MVd’;
基于所述差值MVd’对帧率调整后的当前视频图像帧进行第二次运动矢量编码。
4.一种针对运动场景的视频监控图像编码装置,其特征在于,包括:
运动估计单元,用于对前端视频监控装置监控到的当前视频图像帧在编码预测前进行全局运动估计,得到全局运动矢量MVg;并对当前视频图像帧在编码预测前进行基于块的运动估计,得到块运动矢量MVb;
矢量差值确定单元,用于确定所述块运动矢量MVb与全局运动矢量MVg的差值MVd;
运动矢量编码单元,用于基于所述矢量差值确定单元确定的差值MVd对所述当前视频图像帧进行第一次运动矢量编码;
帧率调整单元,用于根据运动矢量编码单元的编码结果对所述当前视频图像帧进行帧率调整;
所述运动估计单元还用于对帧率调整单元调整后的当前视频图像帧在编码预测前进行全局运动估计,得到全局运动矢量MVg’;并对帧率调整后的当前视频图像帧在编码预测前进行基于块的运动估计,得到块运动矢量MVb’;
所述矢量差值确定单元还用于确定所述块运动矢量MVb’与全局运动矢量MVg’的差值MVd’;
所述运动矢量编码单元还用于基于所述差值MVd’对帧率调整后的当前视频图像帧进行第二次运动矢量编码。
5.一种视频监控场景判别方法,其特征在于,包括:
获得前端视频监控装置监控到的前一视频图像帧以及当前视频图像帧;
将获得的当前视频图像帧与前一视频图像帧相减得到图像残差帧;
确定得到的图像残差帧中每个像素点的亮度值;
根据确定的每个像素点的亮度值,确定非零亮度值的像素点数目与所述残差帧中所有像素点的数目的比例值;
若确定的比例值大于设定的比例阈值,则判别前端视频监控装置当前所处的监控场景为运动场景;否则
判别前端视频监控装置当前所处的监控场景为静止场景。
6.一种视频监控场景判别装置,其特征在于,包括:
图像帧获得单元,用于获得前端视频监控装置监控到的前一视频图像帧以及当前视频图像帧;
残差帧获得单元,用于将图像帧获得单元获得的当前视频图像帧与前一视频图像帧相减得到图像残差帧;
亮度值确定单元,用于确定残差帧获得单元得到的图像残差帧中每个像素点的亮度值;
比例值确定单元,用于根据亮度值确定单元确定的每个像素点的亮度值,确定非零亮度值的像素点数目与所述残差帧中所有像素点的数目的比例值;
场景判别单元,用于在比例值确定单元确定的比例值大于设定的比例阈值时,判别前端视频监控装置当前所处的监控场景为运动场景;否则判别前端视频监控装置当前所处的监控场景为静止场景。
7.一种针对静止场景的视频监控图像编码方法,其特征在于,包括:
将前端视频监控装置监控到的当前视频图像帧相对于监控到的作为参考帧的第一帧视频图像帧的变化区域作为残差帧;以及
对所述残差帧相对于监控到的前一视频图像帧进行运动估计,并根据运动估计结果进行视频编码。
8.一种针对静止场景的视频监控图像编码装置,其特征在于,包括:
残差帧确定单元,用于将前端视频监控装置监控到的当前视频图像帧相对于监控到的作为参考帧的第一帧视频图像帧的变化区域作为残差帧;以及
视频编码单元,用于对所述残差帧确定单元确定的残差帧相对于监控到的前一视频图像帧进行运动估计,并根据运动估计结果进行视频编码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010106123774A CN102572381A (zh) | 2010-12-29 | 2010-12-29 | 视频监控场景判别方法及其监控图像编码方法、及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010106123774A CN102572381A (zh) | 2010-12-29 | 2010-12-29 | 视频监控场景判别方法及其监控图像编码方法、及装置 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310491808.XA Division CN103561232A (zh) | 2010-12-29 | 2010-12-29 | 视频监控场景判别方法及装置 |
CN201310491809.4A Division CN103561268A (zh) | 2010-12-29 | 2010-12-29 | 视频监控图像编码方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102572381A true CN102572381A (zh) | 2012-07-11 |
Family
ID=46416698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010106123774A Pending CN102572381A (zh) | 2010-12-29 | 2010-12-29 | 视频监控场景判别方法及其监控图像编码方法、及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102572381A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015021586A1 (en) * | 2013-08-12 | 2015-02-19 | Intel Corporation | Techniques for low power video compression and transmission |
CN104702964A (zh) * | 2015-03-30 | 2015-06-10 | 北京三好互动教育科技有限公司 | 一种图像处理方法及装置 |
CN105847821A (zh) * | 2016-04-01 | 2016-08-10 | 乐视控股(北京)有限公司 | 一种视频解码方法及装置 |
CN109151469A (zh) * | 2017-06-15 | 2019-01-04 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置及设备 |
CN112087638A (zh) * | 2020-10-09 | 2020-12-15 | 浙江天则通信技术有限公司 | 一种基于h.264技术的场外无线监控系统及方法 |
CN112312134A (zh) * | 2019-08-01 | 2021-02-02 | 杭州海康威视数字技术股份有限公司 | 编码方法、装置、电子设备及可读存储介质 |
CN114466109A (zh) * | 2021-12-27 | 2022-05-10 | 天翼云科技有限公司 | 一种基于高拍仪的图像处理方法、终端设备和介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5006929A (en) * | 1989-09-25 | 1991-04-09 | Rai Radiotelevisione Italiana | Method for encoding and transmitting video signals as overall motion vectors and local motion vectors |
JP2006148409A (ja) * | 2004-11-18 | 2006-06-08 | Matsushita Electric Ind Co Ltd | フレームレート変換方法 |
CN101414977A (zh) * | 2007-10-17 | 2009-04-22 | 三星Techwin株式会社 | 互联网网络设备和使用该设备发送数据的方法 |
CN101742294A (zh) * | 2008-11-14 | 2010-06-16 | 北京中星微电子有限公司 | 一种提高监控视频压缩率的方法和设备 |
-
2010
- 2010-12-29 CN CN2010106123774A patent/CN102572381A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5006929A (en) * | 1989-09-25 | 1991-04-09 | Rai Radiotelevisione Italiana | Method for encoding and transmitting video signals as overall motion vectors and local motion vectors |
JP2006148409A (ja) * | 2004-11-18 | 2006-06-08 | Matsushita Electric Ind Co Ltd | フレームレート変換方法 |
CN101414977A (zh) * | 2007-10-17 | 2009-04-22 | 三星Techwin株式会社 | 互联网网络设备和使用该设备发送数据的方法 |
CN101742294A (zh) * | 2008-11-14 | 2010-06-16 | 北京中星微电子有限公司 | 一种提高监控视频压缩率的方法和设备 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105359523A (zh) * | 2013-08-12 | 2016-02-24 | 英特尔公司 | 用于低功率视频压缩和传输的技术 |
WO2015021586A1 (en) * | 2013-08-12 | 2015-02-19 | Intel Corporation | Techniques for low power video compression and transmission |
EP3033877A4 (en) * | 2013-08-12 | 2017-07-12 | Intel Corporation | Techniques for low power video compression and transmission |
CN104702964B (zh) * | 2015-03-30 | 2018-05-15 | 北京布卡互动科技有限公司 | 一种图像处理方法及装置 |
CN104702964A (zh) * | 2015-03-30 | 2015-06-10 | 北京三好互动教育科技有限公司 | 一种图像处理方法及装置 |
WO2016155125A1 (zh) * | 2015-03-30 | 2016-10-06 | 北京三好互动教育科技有限公司 | 一种图像处理方法及装置 |
CN105847821A (zh) * | 2016-04-01 | 2016-08-10 | 乐视控股(北京)有限公司 | 一种视频解码方法及装置 |
CN109151469A (zh) * | 2017-06-15 | 2019-01-04 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置及设备 |
CN109151469B (zh) * | 2017-06-15 | 2020-06-30 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置及设备 |
US10893275B2 (en) | 2017-06-15 | 2021-01-12 | Tencent Technology (Shenzhen) Company Ltd | Video coding method, device, device and storage medium |
US11297328B2 (en) | 2017-06-15 | 2022-04-05 | Tencent Technology (Shenzhen) Company Ltd | Video coding method, device, device and storage medium |
CN112312134A (zh) * | 2019-08-01 | 2021-02-02 | 杭州海康威视数字技术股份有限公司 | 编码方法、装置、电子设备及可读存储介质 |
CN112087638A (zh) * | 2020-10-09 | 2020-12-15 | 浙江天则通信技术有限公司 | 一种基于h.264技术的场外无线监控系统及方法 |
CN114466109A (zh) * | 2021-12-27 | 2022-05-10 | 天翼云科技有限公司 | 一种基于高拍仪的图像处理方法、终端设备和介质 |
CN114466109B (zh) * | 2021-12-27 | 2024-03-08 | 天翼云科技有限公司 | 一种基于高拍仪的图像处理方法、终端设备和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102547225A (zh) | 视频监控场景判别方法及其监控图像编码方法、及装置 | |
CN102572380B (zh) | 视频监控编码方法及其装置 | |
CN102572381A (zh) | 视频监控场景判别方法及其监控图像编码方法、及装置 | |
CN101163241B (zh) | 一种视频序列编解码系统 | |
CN102395030B (zh) | 基于视频压缩码流的运动分析方法、码流转换方法及其装置 | |
CN102420988B (zh) | 一种利用视觉特性的多视点视频编码系统 | |
CN100448297C (zh) | 一种码率控制方法 | |
CN102014279B (zh) | 一种视频图像对比度增强方法和装置 | |
JP2008503918A5 (zh) | ||
CN103561232A (zh) | 视频监控场景判别方法及装置 | |
CN104994382B (zh) | 一种感知率失真的优化方法 | |
CN103079062A (zh) | 一种智能视频监控系统 | |
CN101321277A (zh) | 去块效应的方法及装置 | |
EP1437896A3 (en) | Method and apparatus for improving MPEG picture compression | |
CN107147912B (zh) | 一种视频编码方法及装置 | |
CN101945281B (zh) | 视频编码的滤波方法及装置 | |
CN103179325A (zh) | 一种固定场景下低信噪比视频的自适应3d降噪方法 | |
CN114051139B (zh) | 视频编码方法和装置 | |
CN101309410A (zh) | 一种视频编解码体系结构 | |
EP2321796B1 (en) | Method and apparatus for detecting dark noise artifacts | |
CN103561268A (zh) | 视频监控图像编码方法及装置 | |
CN102663682A (zh) | 基于感兴趣区域的自适应图像增强方法 | |
CN103747257B (zh) | 一种视频数据高效编码的方法 | |
CN101540834A (zh) | 去除视频图像噪声的方法和视频编码装置 | |
CN102685491A (zh) | 一种实现视频编码的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120711 |