CN105338355A - 视频分析方法和视频分析装置 - Google Patents
视频分析方法和视频分析装置 Download PDFInfo
- Publication number
- CN105338355A CN105338355A CN201410225993.2A CN201410225993A CN105338355A CN 105338355 A CN105338355 A CN 105338355A CN 201410225993 A CN201410225993 A CN 201410225993A CN 105338355 A CN105338355 A CN 105338355A
- Authority
- CN
- China
- Prior art keywords
- motion vector
- video
- encoded frame
- current encoded
- credible
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种视频分析方法和一种视频分析装置,其中,视频分析方法,包括:获取当前编码帧中各宏块的运动矢量数据和灰度平均值;根据运动矢量数据和灰度平均值确定视频的监测模式;在监测模式是稳定模式时,检测出视频中的运动目标和/或获取视频中的运动目标的运动轨迹;以及在监测模式是不稳定模式时,检测出导致不稳定的原因。本发明利用宏块的运动矢量数据和灰度平均值分析出镜头的状态,并根据镜头的状态执行特定的操作,提高了监控系统的智能性,以及对运动目标进行修补,提高了检测精度。
Description
技术领域
本发明涉及图像处理技术领域,具体而言,涉及视频分析方法和视频分析装置。
背景技术
智能分析技术是视频监控系统的重要组成部分。根据系统结构,这部分即可以以硬件形式实现在前端设备,也可以以软件解决方案形式实现在后端应用。当实施在前端设备上时,需增加额外的硬件资源(例如专用芯片或处理器)来执行高运算负担,因为大部分的视频编解码芯片仅仅能够完成编码和解码任务;当在后端服务上嵌入软件解决方案时,可能面临一些技术问题例如传输延迟和信道噪声,甚至,对于超大监控系统,对后端服务和网络容量都可能带来繁重的负担。
其次,目前的视频分析技术不能够判断当前镜头的监测模式,从而不能够依据镜头的监测模式对后续的运动目标检测进行相应的改进处理,影响了运动目标跟踪的精度。
发明内容
有鉴于此,本发明提供了视频分析方法、视频分析装置以及电子设备,以至少解决现有的视频分析技术不能分析视频的监测模式以及运动目标检测精确度低的问题。
根据本发明的一个方面,提供了一种视频分析方法,包括:获取当前编码帧中各宏块的运动矢量数据和灰度平均值;根据所述运动矢量数据和所述灰度平均值确定所述视频的监测模式;在所述监测模式是稳定模式时,检测出所述视频中的运动目标和/或获取所述视频中的运动目标的运动轨迹;以及在所述监测模式是不稳定模式时,检测出导致不稳定的原因。
根据本发明的另一个方面,提供了一种视频分析装置,包括:获取单元,获取当前编码帧中各宏块的运动矢量数据和灰度平均值;监测模式确定单元,根据所述运动矢量数据和所述灰度平均值确定视频的监测模式;处理单元,在所述监测模式是稳定模式时,检测出所述视频中的运动目标和/或获取所述视频中的运动目标的运动轨迹,以及在所述监测模式是不稳定模式时,检测出导致不稳定的原因。
根据本发明的又一个方面,还提供了一种电子设备,该电子设备包括如上所述的视频分析装置。
根据本发明的再一个方面,还提供了一种存储有机器可读取的指令代码的程序产品,上述程序产品在执行时能够使上述机器执行如上所述的视频分析方法。
此外,根据本发明的其他方面,还提供了一种计算机可读存储介质,其上存储有如上所述的程序产品。
上述根据本发明实施例的视频分析方法、视频分析装置以及电子设备,利用宏块的运动矢量数据和灰度平均值来确定视频的监测模式,并根据相应的监测模式执行相应的操作,能够至少实现以下有益效果之一:在前端设备中无需增加额外的硬件资源;在编码的同时输出处理结果,实时性高;有效检测出镜头的状态,并根据镜头的状态实施相应的措施,可提高检测结果的准确度,灵活适应各种使用环境;改进的运动目标检测和跟踪方法,增强了运动目标跟踪效果。
附图说明
图1示出了根据本发明的一个实施例的视频分析方法的流程示意图;
图2示出了根据本发明的另一实施例的视频分析方法的流程示意图;
图3示出了根据本发明的一个实施例的计算每一宏块的平均灰度值的示意图;
图4示出了根据本发明的一个实施例的可信运动矢量和可信运动矢量覆盖范围的定义示意图;
图5示出了根据本发明的一个实施例的视频的监测模式分类示意图;
图6示出了根据本发明的实施例的对运动目标进行跟踪处理的流程示意图;
图7示出了根据本发明的实施例的对运动目标进行修补的示意图;
图8示出了根据本发明的一个实施例的视频编解码系统的框图;
图9示出了根据本发明的一个实施例的视频分析系统的框架示意图;
图10示出了根据本发明的一个实施例的视频分析装置的框图;
图11示出了图10所示的视频分析装置中检测单元的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明并不限于下面公开的具体实施例的限制。
本发明从视频编码中获取当前编码帧中各宏块的运动矢量数据和灰度平均值,可以根据实际应用定义宏块的尺寸。宏块的尺寸越小,处理结果越精确,例如8×8大小的宏块,但相比于大尺寸的宏块(例如16×16大小的宏块)需要占用更多的计算资源。
在下面所阐述的实施例中,假设生成运动矢量数据和灰度平均值的宏块的尺寸为16×16。
图1示出了根据本发明的一个实施例的视频分析方法的流程示意图。
如图1所示,根据本发明的实施例的视频分析方法可以包括以下步骤:
步骤102,获取当前编码帧中各宏块的运动矢量数据和灰度平均值;
步骤104,根据运动矢量数据和灰度平均值确定视频的监测模式;
步骤106,在监测模式是稳定模式时,检测出视频中的运动目标和/或获取视频中的运动目标的运动轨迹;以及
步骤108,在监测模式是不稳定模式时,检测出导致不稳定的原因。
在本实施例中,通过运动矢量数据和灰度平均值就可以确定视频的监测模式,也可以理解为镜头的状态。如果监测模式是稳定模式,则说明当前获取的视频是稳定的有效的,因此可以进行正常的运动目标检测和跟踪。如果监测模式是不稳定模式,则说明当前获取的视频是不稳定的、不一定有效,在这种情况下不能直接进行运动目标的检测和跟踪,需要确定导致不稳定的因素,最后确定相应的实施措施,使监测系统更加智能。
下面结合附图进一步说明如何确定视频的监测模式。
如图2所示,步骤202,根据输入的灰度平均值计算每一宏块的局部灰度均方差值(LMV)。
在计算每一宏块的局部灰度均方差值时,参考其相邻的宏块的局部灰度均方差值来得到该宏块的局部灰度均方差值。
如图3所示,与宏块MBYC相邻的宏块有8个,分别是MBY0~MBY7。根据以下公式计算出的MBYC局部灰度均方差值LMVc:
步骤204,根据以下公式计算所述当前编码帧的所有局部灰度均方差值的平均值avgLMV:
其中,totalLMVNum为当前编码帧中宏块的总数量。
步骤206,将运动矢量数据从直角坐标转换极坐标。
步骤208,计算当前编码帧的平均运动矢量。
步骤210,确定可信运动矢量。
在本步骤中,计算当前编码帧中可信运动矢量的数量占非零运动矢量总数的比例,计算可信运动矢量的覆盖率,其中,覆盖率为在当前编码帧中可信运动矢量覆盖范围内的运动矢量数量之和占总宏块数的比例,可信运动矢量覆盖范围由以每个可信运动矢量为中心的菱形区域交叉重叠构成,参考图4所示的菱形区域。
除此之外,还根据运动矢量数据计算非零运动矢量的比例,其中,非零运动矢量的比例是当前编码帧中非零运动矢量的数量占宏块总数的比例。
步骤212,根据上面计算出的一些参数值判定视频的监测模式或镜头的状态。
若非零运动矢量的比例小于预设的全局运动幅度阈值,则确定视频的监测模式是稳定模式,否则,确定监测模式是不稳定模式。
在不稳定模式下,需要检测出导致不稳定的原因:
在监测模式为不稳定模式时,若非零运动矢量数据的平均值大于平均值阈值且局部灰度均方差值的平均值小于均方差阈值,则检测出导致不稳定的原因是被干扰状态。
若非零运动矢量数据的平均值小于等于平均值阈值且所述局部灰度均方差值的平均值大于等于均方差阈值,则判断可信运动矢量所占的比例是否大于可信运动矢量比例阈值且可信运动矢量的覆盖率是否大于覆盖率阈值;
若判断结果为是,则检测出导致不稳定的原因是镜头移动状态,否则,检测出导致不稳定的原因是无效状态。
其中,需说明的是,本实施例中采用以下方法来判断运动矢量是否是可信运动矢量。
首先,根据每两个相邻运动矢量之间的夹角,计算该每两个相邻运动矢量之间的相似值。然后,针对运动矢量数据中的每一运动矢量,根据其和相邻的运动矢量间的夹角和相似值,确定运动矢量是否是可信运动矢量。
具体地,若在与每一运动矢量相邻的四个运动矢量中,至少有三个运动矢量与运动矢量的夹角小于等于预设值角度值且相似值大于等于预设相似值,则确定所述运动矢量是可信运动矢量。本领域技术人员应理解,此处,优选为在相邻的四个运动矢量中进行判断,其目的是为了减少计算复杂度,如果不考虑计算复杂度,实际上还可以在相邻的八个运动矢量中进行判断。
经过上述分析之后,判断出的监测模式的各个状态可如图5所示。
监测模式表示前端摄像设备的稳定性,在监测模式是稳定模式时,表示镜头是稳定的,获取的运动矢量数据能够精确的反映运动目标,因此可经运动目标检测和跟踪。在监测模式是不稳定模式时,表示镜头是不稳定的,获取的运动矢量数据是失真的。
在检测出导致不稳定的原因是被干扰状态时,输出警告信号,以提示监测装置被干扰(例如被遮挡);在检测出导致不稳定的原因是稳定移动状态时,计算当前编码帧的全局运动;在检测出导致不稳定的原因是无效状态时,输出警告信号,以提示当前输入视频是无效视频,无法用于分析,无效状态可能是因为镜头的激烈运动或光线条件较差。
上述实施例中仅列出了部分监测模式以及导致不稳定的部分原因,当碰到一些新的应用时,可增加其他监测模式以及其他导致不稳定的原因,不仅限于上述列举的情况。
在确定视频的监测模式为稳定模式时,进行运动目标检测和跟踪,在下文结合图6阐述根据本发明的实施例的运动目标检测和跟踪。
如图6所示,步骤602,对获取当前编码帧的运动矢量数据进行过滤,去除噪声。对运动矢量数据进行分组,每一运动矢量组包括N个运动矢量。如图7所示,根据所述当前编码帧的每一运动矢量组(在图9中,N为4)计算出一个局部相似值。
步骤604,每一运动矢量组得到一个局部相似值(LSV),得到所述当前编码帧的局部相似值图,并对局部相似值图进行二值化处理。
步骤606,在获取了当前编码帧的灰度平均值之后,计算所述当前编码帧与前一编码帧之间的灰度差,如下公式所示:
其中,MBYDi,j表示第(i,j)个宏块的灰度差,MBYDi,j表示第(i,j)个宏块在当前编码帧t中的灰度平均值,表示第(i,j)个宏块在前一编码帧t-1中的灰度平均值。
步骤608,每一宏块对应一灰度差,从而获得当前编码帧的灰度差图,并对该灰度差图进行二值化处理。
步骤610,根据经过二值化处理的局部相似值图和经过二值化处理的灰度差图确定运动目标,对初步确定的运动目标进行修补。
在本步骤中,在经过二值化的局部相似值图中分割出多个独立的连通域,将每一独立的连通域作为一个运动目标;
判断对应于运动目标的连通域所包含的宏块数是否大于宏块数阈值;
若对应于运动目标的连通域所包含的宏块数小于宏块数阈值,则确定运动目标是待修补的运动目标;
根据灰度差图对待修补的运动目标进行修补。
其中,参考图7,根据灰度差图对待修补的运动目标进行修补的过程包括:
将待修补的运动目标对应的连通域的边界宏块划入至连通域中,得到扩展的连通域;在灰度差图中获取与扩展的连通域的地址相对应的灰度差区域;将边界宏块中与灰度差区域重合的多个宏块划入连通域中,重新得到扩展的连通域,以修补运动目标。
采用上述修补方法能够避免小的运动目标在下一或多帧图像中由于变形较大导致运动不明显,从而不能够准确检测出小的运动目标的问题,该修补方法根据灰度图和局部相似值图对小的候选运动目标进行补偿,以增强该运动目标的运动特征,从而提高检测精度。
步骤612,进行运动目标跟踪。
在确定导致不稳定的原因是被干扰时,镜头有可能在乱摇摆,相应的局部灰度均方差值的最大值将不会被更新,处理器执行预设的相应操作。例如处理器输出警示信号,提醒摄像头在乱摇摆。或者处理器向编码器反馈类似信息,使得编码器在这种情况下对获取的图像不进行编码处理。
在确定导致不稳定的原因是镜头稳定移动时,可采用全局运动估计模式(GME)估计当前编码帧的全局运动,如下公式所示(以全局运动估计模式的4个参数为例):
其中,z是镜头的变焦参数,r是镜头的旋转参数,c、d是镜头的二维移动参数,MVi,j(x,y)是第(i,j)个宏块的运动矢量。
在计算出描述镜头运动的参数之后,处理器根据应用设置来执行相应的动作。例如,处理器输出计算出的参数至应用级,或者处理器对运动矢量进行补偿,并向运动目标跟踪模块输出经过校正的运动矢量以继续分析。
在确定导致不稳定的原因是无效状态时,处理器根据应用设置来执行相应的动作。例如处理器输出警告信号给应用级,以提示输入的运动矢量数据对于视频分析是无效的,或者向编码器反馈类似的信息,以使编码器不对当前获取的图像进行编码处理。
如图8所示,根据本发明的实施例的视频编解码系统802包括视频编解码专用集成电路804。视频编解码专用集成电路804中的处理器根据来自视频编解码器的运动矢量数据和灰度平均值确定镜头的状态或镜头所获取的视频的状态,然后根据确定的状态执行相应的动作。视频编解码专用集成电路804中的视频编解码器将运动数据输出至处理器,供其视频分析。
如图9所示,根据本发明的实施例的视频分析系统902被应用在监控系统的后端设备,视频分析系统902主要包括两个部分,监测模式判定部分9022、行为分析部分9024。
图8是根据本发明的视频分析系统的硬件实施示意图,图9是根据本发明的运动目标检测系统的结构框架示意图,结合图8和图9可知,根据本发明视频分析系统使用原视频编解码器的处理器来完成镜头状态分析以及相应执行动作,相比于现有技术无需增加额外的硬件资源,节约硬件成本。另外,从图9中也可看出,该视频分析系统实施在前端设备,相比于实施在后端应用的技术,实时性好,从编解码器中直接获取运动矢量数据和灰度数据,因此在编码的同时就可以实行视频检测模式的分析,分析速度快,没有时间延迟。此外,在检测运动目标的过程中,提出了对小的运动目标进行补偿的技术,因此检测的精度也被大大提高。
图10示出了根据本发明的另一实施例的视频分析装置的框图。
如图10所示,根据本发明的实施例的视频分析装置1000可以包括:
获取单元1002,获取当前编码帧中各宏块的运动矢量数据和灰度平均值;
监测模式确定单元1004,根据所述运动矢量数据和所述灰度平均值确定视频的监测模式;
处理单元1006,在所述监测模式是稳定模式时,检测出所述视频中的运动目标和/或获取所述视频中的运动目标的运动轨迹,以及在所述监测模式是不稳定模式时,检测出导致不稳定的原因。
其中,所述监测模式确定单元1004包括:
第一计算单元1004A,根据所述运动矢量数据计算非零运动矢量的比例,其中,所述非零运动矢量的比例是所述当前编码帧中非零运动矢量的数量占宏块总数的比例,
第一判断单元1004B,若所述非零运动矢量的比例小于全局运动幅度阈值,则确定所述监测模式是稳定模式,否则,确定所述监测模式是不稳定模式。
其中,所述处理单元1006包括:
第二计算单元1006A,计算所述当前编码帧中所有非零运动矢量数据的平均值,以及根据与一宏块相邻的宏块的灰度平均值和所述一宏块的灰度平均值,计算所述一宏块的局部灰度均方差值,以及计算所述当前编码帧的所有局部灰度均方差值的平均值,以及确定所述当前编码帧中的可信运动矢量,计算所述当前编码帧中可信运动矢量的数量占非零运动矢量总数的比例,以及计算所述可信运动矢量的覆盖率,其中,所述覆盖率是在所述当前编码帧中可信运动矢量覆盖范围内的运动矢量数量之和占总宏块数的比例,所述可信运动矢量覆盖范围由以每个可信运动矢量为中心的菱形区域交叉重叠构成;
第二判断单元1006B,在所述监测模式是不稳定模式时,若所述非零运动矢量数据的平均值大于平均值阈值且所述局部灰度均方差值的平均值小于均方差阈值,则检测出导致不稳定的原因是被干扰状态。
其中,所述处理单元1006包括:
第三计算单元1006C,计算所述当前编码帧中所有非零运动矢量数据的平均值,以及根据与一宏块相邻的宏块的灰度平均值和所述一宏块的灰度平均值,计算所述一宏块的局部灰度均方差值,以及计算所述当前编码帧的所有局部灰度均方差值的平均值,以及确定所述当前编码帧中的可信运动矢量,计算所述当前编码帧中可信运动矢量的数量占非零运动矢量总数的比例,以及计算所述可信运动矢量的覆盖率,其中,所述覆盖率是在所述当前编码帧中可信运动矢量覆盖范围内的运动矢量数量之和占总宏块数的比例,所述可信运动矢量覆盖范围由以每个可信运动矢量为中心的菱形区域交叉重叠构成;
第三判断单元1006D,在所述监测模式是不稳定模式时,若所述非零运动矢量数据的平均值小于等于平均值阈值且所述局部灰度均方差值的平均值大于等于均方差阈值,则判断所述可信运动矢量所占的比例是否大于可信运动矢量比例阈值且所述可信运动矢量的覆盖率是否大于覆盖率阈值,若判断结果为是,则检测出导致不稳定的原因是镜头移动状态,否则,检测出导致不稳定的原因是无效状态。
所述第二计算单元1006A或所述第三计算单元1006C还用于根据每两个相邻运动矢量之间的夹角,计算所述每两个相邻运动矢量之间的相似值,以及针对所述运动矢量数据中的每一运动矢量,根据其和相邻的运动矢量间的夹角和相似值,确定所述运动矢量是否是可信运动矢量。
所述第二计算单元1006A或所述第三计算单元1006C还用于若在与所述每一运动矢量相邻的四个运动矢量中,至少有三个运动矢量与所述运动矢量的夹角小于等于预设值角度值且相似值大于等于预设相似值,则确定所述运动矢量是可信运动矢量。
其中,所述处理单元1006包括:
局部相似值计算单元1006E,在所述监测模式是稳定模式时,根据所述当前编码帧的每一运动矢量组计算出一个局部相似值,以得到所述当前编码帧的局部相似值图;
灰度差计算单元1006F,计算所述当前编码帧与前一编码帧之间的灰度差,并根据所述灰度差获得灰度差图;
检测单元1006G,根据经过二值化处理的所述局部相似值图和经过二值化处理的所述灰度差图确定所述运动目标。
其中,如图11所示,所述检测单元1006G包括:修补判定单元10,在经过二值化的局部相似值图中分割出多个独立的连通域,将每一所述独立的连通域作为一个运动目标,以及判断对应于所述运动目标的连通域所包含的宏块数是否大于宏块数阈值,若对应于所述运动目标的连通域所包含的宏块数小于所述宏块数阈值,则确定所述运动目标为待修补的运动目标;修补单元20,根据所述灰度差图对所述待修补的运动目标进行修补。
其中,所述修补单元20包括:扩展单元22,将所述待修补的运动目标对应的连通域的边界宏块划入至所述连通域中,得到扩展的连通域,以及在所述灰度差图中获取与所述扩展的连通域的地址相对应的灰度差区域,以及将所述边界宏块中与所述灰度差区域重合的多个宏块划入所述连通域中,重新得到扩展的连通域,以修补所述运动目标。
其中,如图10所示,所述视频分析装置还包括:警告单元1008,在检测出导致不稳定的原因是被干扰状态时,输出警告信号,以提示所述监测装置被干扰,以及在检测出导致不稳定的原因是无效状态时,输出警告信号,以提示当前输入视频是无效视频,无法用于分析;所述处理单元1006还用于在检测出导致不稳定的原因是镜头移动状态时,计算所述当前编码帧的全局运动。
此外,本发明的实施例还提供了一种电子设备,该电子设备包括如上所述的视频分析装置或视频分析系统。在根据本发明的实施例的上述电子设备的具体实现方式中,上述电子设备可以是以下设备中的任意一种设备:计算机;平板电脑;个人数字助理;多媒体播放设备;手机以及电纸书等等。其中,该电子设备具有上述用于运动目标检测装置的各种功能和技术效果,这里不再赘述。
上述根据本发明的实施例的视频分析装置中的各个组成单元、子单元、模块等可以通过软件、固件、硬件或其任意组合的方式进行配置。在通过软件或固件实现的情况下,可从存储介质或网络向具有专用硬件结构的机器安装构成该软件或固件的程序,该机器在安装有各种程序时,能够执行上述各组成单元、子单元的各种功能。
此外,本发明还提出了一种存储有机器可读取的指令代码的程序产品。上述指令代码由机器读取并执行时,可执行上述根据本发明的实施例的视频分析方法。相应地,用于承载这种程序产品的例如磁盘、光盘、磁光盘、半导体存储器等的各种存储介质也包括在本发明的公开中。
此外,本发明的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行,也可以按照其他的时间顺序、并行地或独立地执行。因此,本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
此外,显然,根据本发明的上述方法的各个操作过程也可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。
而且,本发明的目的也可以通过下述方式实现:将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备,并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。
此时,只要该系统或者设备具有执行程序的功能,则本发明的实施方式不局限于程序,并且该程序也可以是任意的形式,例如,目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。
上述这些机器可读存储介质包括但不限于:各种存储器和存储单元,半导体设备,磁盘单元例如光、磁和磁光盘,以及其它适于存储信息的介质等。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
综上,在根据本发明的实施例中,本发明提供了如下方案但不限于此:
附记1.一种视频分析装置,包括:
获取单元,获取当前编码帧中各宏块的运动矢量数据和灰度平均值;
监测模式确定单元,根据所述运动矢量数据和所述灰度平均值确定视频的监测模式;
处理单元,在所述监测模式是稳定模式时,检测出所述视频中的运动目标和/或获取所述视频中的运动目标的运动轨迹,以及在所述监测模式是不稳定模式时,检测出导致不稳定的原因。
附记2.根据附记1所述的视频分析装置,其中,所述监测模式确定单元包括:
第一计算单元,根据所述运动矢量数据计算非零运动矢量的比例,其中,所述非零运动矢量的比例是所述当前编码帧中非零运动矢量的数量占宏块总数的比例,
第一判断单元,若所述非零运动矢量的比例小于全局运动幅度阈值,则确定所述监测模式是稳定模式,否则,确定所述监测模式是不稳定模式。
附记3.根据附记2所述的视频分析装置,其中,所述处理单元包括:
第二计算单元,计算所述当前编码帧中所有非零运动矢量数据的平均值,以及根据与一宏块相邻的宏块的灰度平均值和所述一宏块的灰度平均值,计算所述一宏块的局部灰度均方差值,以及计算所述当前编码帧的所有局部灰度均方差值的平均值,以及确定所述当前编码帧中的可信运动矢量,计算所述当前编码帧中可信运动矢量的数量占非零运动矢量总数的比例,以及计算所述可信运动矢量的覆盖率,其中,所述覆盖率是在所述当前编码帧中可信运动矢量覆盖范围内的运动矢量数量之和占总宏块数的比例,所述可信运动矢量覆盖范围由以每个可信运动矢量为中心的菱形区域交叉重叠构成;
第二判断单元,在所述监测模式是不稳定模式时,若所述非零运动矢量数据的平均值大于平均值阈值且所述局部灰度均方差值的平均值小于均方差阈值,则检测出导致不稳定的原因是被干扰状态。
附记4.根据附记2所述的视频分析装置,其中,所述处理单元包括:
第三计算单元,计算所述当前编码帧中所有非零运动矢量数据的平均值,以及根据与一宏块相邻的宏块的灰度平均值和所述一宏块的灰度平均值,计算所述一宏块的局部灰度均方差值,以及计算所述当前编码帧的所有局部灰度均方差值的平均值,以及确定所述当前编码帧中的可信运动矢量,计算所述当前编码帧中可信运动矢量的数量占非零运动矢量总数的比例,以及计算所述可信运动矢量的覆盖率,其中,所述覆盖率是在所述当前编码帧中可信运动矢量覆盖范围内的运动矢量数量之和占总宏块数的比例,所述可信运动矢量覆盖范围由以每个可信运动矢量为中心的菱形区域交叉重叠构成;
第三判断单元,在所述监测模式是不稳定模式时,若所述非零运动矢量数据的平均值小于等于平均值阈值且所述局部灰度均方差值的平均值大于等于均方差阈值,则判断所述可信运动矢量所占的比例是否大于可信运动矢量比例阈值且所述可信运动矢量的覆盖率是否大于覆盖率阈值,若判断结果为是,则检测出导致不稳定的原因是镜头移动状态,否则,检测出导致不稳定的原因是无效状态。
附记5.根据附记3或4所述的视频分析装置,所述第二计算单元或所述第三计算单元还用于根据每两个相邻运动矢量之间的夹角,计算所述每两个相邻运动矢量之间的相似值,以及针对所述运动矢量数据中的每一运动矢量,根据其和相邻的运动矢量间的夹角和相似值,确定所述运动矢量是否是可信运动矢量。
附记6.根据附记5所述的视频分析装置,所述第二计算单元或所述第三计算单元还用于若在与所述每一运动矢量相邻的四个运动矢量中,至少有三个运动矢量与所述运动矢量的夹角小于等于预设值角度值且相似值大于等于预设相似值,则确定所述运动矢量是可信运动矢量。
附记7.根据附记2所述的视频分析装置,其中,所述处理单元包括:
局部相似值计算单元,在所述监测模式是稳定模式时,根据所述当前编码帧的每一运动矢量组计算出一个局部相似值,以得到所述当前编码帧的局部相似值图;
灰度差计算单元,计算所述当前编码帧与前一编码帧之间的灰度差,并根据所述灰度差获得灰度差图;
检测单元,根据经过二值化处理的所述局部相似值图和经过二值化处理的所述灰度差图确定所述运动目标。
附记8.根据附记7所述的视频分析装置,其中,所述检测单元包括:
修补判定单元,在经过二值化的局部相似值图中分割出多个独立的连通域,将每一所述独立的连通域作为一个运动目标,以及判断对应于所述运动目标的连通域所包含的宏块数是否大于宏块数阈值,若对应于所述运动目标的连通域所包含的宏块数小于所述宏块数阈值,则确定所述运动目标为待修补的运动目标;
修补单元,根据所述灰度差图对所述待修补的运动目标进行修补。
附记9.根据附记8所述的视频分析装置,其中,所述修补单元包括:
扩展单元,将所述待修补的运动目标对应的连通域的边界宏块划入至所述连通域中,得到扩展的连通域,以及在所述灰度差图中获取与所述扩展的连通域的地址相对应的灰度差区域,以及将所述边界宏块中与所述灰度差区域重合的多个宏块划入所述连通域中,重新得到扩展的连通域,以修补所述运动目标。
附记10.根据附记4所述的视频分析装置,其中,所述视频分析装置还包括:警告单元,在检测出导致不稳定的原因是被干扰状态时,输出警告信号,以提示所述监测装置被干扰,以及在检测出导致不稳定的原因是无效状态时,输出警告信号,以提示当前输入视频是无效视频,无法用于分析;
所述处理单元还用于在检测出导致不稳定的原因是镜头移动状态时,计算所述当前编码帧的全局运动。
附记11.一种视频分析方法,包括:
获取当前编码帧中各宏块的运动矢量数据和灰度平均值;
根据所述运动矢量数据和所述灰度平均值确定所述视频的监测模式;
在所述监测模式是稳定模式时,检测出所述视频中的运动目标和/或获取所述视频中的运动目标的运动轨迹;以及
在所述监测模式是不稳定模式时,检测出导致不稳定的原因。
附记12.根据附记11所述的视频分析方法,其中,根据所述运动矢量数据和所述灰度平均值确定所述视频的监测模式包括:
根据所述运动矢量数据计算非零运动矢量的比例,其中,所述非零运动矢量的比例是所述当前编码帧中非零运动矢量的数量占宏块总数的比例;
若所述非零运动矢量的比例小于全局运动幅度阈值,则确定所述监测模式是稳定模式;
否则,确定所述监测模式是不稳定模式。
附记13.根据附记12所述的视频分析方法,其中,在所述监测模式是不稳定模式时,检测出导致不稳定的原因包括:
计算所述当前编码帧中所有非零运动矢量数据的平均值;
根据与一宏块相邻的宏块的灰度平均值和所述一宏块的灰度平均值,计算所述一宏块的局部灰度均方差值,以及计算所述当前编码帧的所有局部灰度均方差值的平均值;
确定所述当前编码帧中的可信运动矢量;
计算所述当前编码帧中可信运动矢量的数量占非零运动矢量总数的比例;
计算所述可信运动矢量的覆盖率,其中,所述覆盖率为在所述当前编码帧中可信运动矢量覆盖范围内的运动矢量数量之和占总宏块数的比例,所述可信运动矢量覆盖范围由以每个可信运动矢量为中心的菱形区域交叉重叠构成;
在所述监测模式为不稳定模式时,若所述非零运动矢量数据的平均值大于平均值阈值且所述局部灰度均方差值的平均值小于均方差阈值,则检测出导致不稳定的原因是被干扰状态。
附记14.根据附记12所述的视频分析方法,其特征在于,在所述监测模式是不稳定模式时,检测出导致不稳定的原因的步骤还包括:
计算所述当前编码帧中所有非零运动矢量数据的平均值;
根据与一宏块相邻的宏块的灰度平均值和所述一宏块的灰度平均值,计算所述一宏块的局部灰度均方差值,以及计算所述当前编码帧的所有局部灰度均方差值的平均值;
确定所述当前编码帧中的可信运动矢量;
计算所述当前编码帧中可信运动矢量的数量占非零运动矢量总数的比例;
计算所述可信运动矢量的覆盖率,其中,所述覆盖率为在所述当前编码帧中可信运动矢量覆盖范围内的运动矢量数量之和占总宏块数的比例,其中,所述可信运动矢量覆盖范围由以每个可信运动矢量为中心的菱形区域交叉重叠构成;
若所述非零运动矢量数据的平均值小于等于平均值阈值且所述局部灰度均方差值的平均值大于等于均方差阈值,则判断所述可信运动矢量所占的比例是否大于可信运动矢量比例阈值且所述可信运动矢量的覆盖率是否大于覆盖率阈值;
若判断结果为是,则检测出导致不稳定的原因是镜头移动状态,否则,检测出导致不稳定的原因是无效状态。
附记15.根据附记13或14所述的视频分析方法,其特征在于,确定所述当前编码帧中的可信运动矢量包括:
根据每两个相邻运动矢量之间的夹角,计算所述每两个相邻运动矢量之间的相似值;
针对所述运动矢量数据中的每一运动矢量,根据其和相邻的运动矢量间的夹角和相似值,确定所述运动矢量是否是可信运动矢量。
附记16.根据附记15所述的视频分析方法,其特征在于,若在与所述每一运动矢量相邻的四个运动矢量中,至少有三个运动矢量与所述运动矢量的夹角小于等于预设值角度值且相似值大于等于预设相似值,则确定所述运动矢量是可信运动矢量。
附记17.根据附记12所述的视频分析方法,其特征在于,在所述监测模式是稳定模式时,检测出所述视频中的运动目标和/或获取所述视频中的运动目标的运动轨迹包括:
根据所述当前编码帧的每一运动矢量组计算出一个局部相似值,以得到所述当前编码帧的局部相似值图;
计算所述当前编码帧与前一编码帧之间的灰度差,并根据所述灰度差获得灰度差图;
根据经过二值化处理的所述局部相似值图和经过二值化处理的所述灰度差图确定所述运动目标。
附记18.根据附记17所述的视频分析方法,其特征在于,所述根据经过二值化处理的所述局部相似值图和经过二值化处理的所述灰度差图确定所述运动目标包括:
在经过二值化的局部相似值图中分割出多个独立的连通域,将每一所述独立的连通域作为一个运动目标;
判断对应于所述运动目标的连通域所包含的宏块数是否大于宏块数阈值;
若对应于所述运动目标的连通域所包含的宏块数小于所述宏块数阈值,则确定所述运动目标是待修补的运动目标;
根据所述灰度差图对所述待修补的运动目标进行修补。
附记19.根据附记18所述的视频分析方法,其特征在于,所述根据所述灰度差图对所述待修补的运动目标进行修补包括:
将所述待修补的运动目标对应的连通域的边界宏块划入至所述连通域中,得到扩展的连通域;
在所述灰度差图中获取与所述扩展的连通域的地址相对应的灰度差区域;
将所述边界宏块中与所述灰度差区域重合的多个宏块划入所述连通域中,重新得到扩展的连通域,以修补所述运动目标。
附记20.根据附记14所述的视频分析方法,还包括:
在检测出导致不稳定的原因是被干扰状态时,输出警告信号,以提示镜头被干扰;
在检测出导致不稳定的原因是稳定移动状态时,计算所述当前编码帧的全局运动;
在检测出导致不稳定的原因是无效状态时,输出警告信号,以提示当前输入视频是无效视频,无法用于分析。
Claims (10)
1.一种视频分析装置,包括:
获取单元,获取当前编码帧中各宏块的运动矢量数据和灰度平均值;
监测模式确定单元,根据所述运动矢量数据和所述灰度平均值确定视频的监测模式;
处理单元,在所述监测模式是稳定模式时,检测出所述视频中的运动目标和/或获取所述视频中的运动目标的运动轨迹,以及在所述监测模式是不稳定模式时,检测出导致不稳定的原因。
2.根据权利要求1所述的视频分析装置,其中,所述监测模式确定单元包括:
第一计算单元,根据所述运动矢量数据计算非零运动矢量的比例,其中,所述非零运动矢量的比例是所述当前编码帧中非零运动矢量的数量占宏块总数的比例,
第一判断单元,若所述非零运动矢量的比例小于全局运动幅度阈值,则确定所述监测模式是稳定模式,否则,确定所述监测模式是不稳定模式。
3.根据权利要求2所述的视频分析装置,其中,所述处理单元包括:
第二计算单元,计算所述当前编码帧中所有非零运动矢量数据的平均值,以及根据与一宏块相邻的宏块的灰度平均值和所述一宏块的灰度平均值,计算所述一宏块的局部灰度均方差值,以及计算所述当前编码帧的所有局部灰度均方差值的平均值,以及确定所述当前编码帧中的可信运动矢量,计算所述当前编码帧中可信运动矢量的数量占非零运动矢量总数的比例,以及计算所述可信运动矢量的覆盖率,其中,所述覆盖率是在所述当前编码帧中可信运动矢量覆盖范围内的运动矢量数量之和占总宏块数的比例,所述可信运动矢量覆盖范围由以每个可信运动矢量为中心的菱形区域交叉重叠构成;
第二判断单元,在所述监测模式是不稳定模式时,若所述非零运动矢量数据的平均值大于平均值阈值且所述局部灰度均方差值的平均值小于均方差阈值,则检测出导致不稳定的原因是被干扰状态。
4.根据权利要求2所述的视频分析装置,其中,所述处理单元包括:
第三计算单元,计算所述当前编码帧中所有非零运动矢量数据的平均值,以及根据与一宏块相邻的宏块的灰度平均值和所述一宏块的灰度平均值,计算所述一宏块的局部灰度均方差值,以及计算所述当前编码帧的所有局部灰度均方差值的平均值,以及确定所述当前编码帧中的可信运动矢量,计算所述当前编码帧中可信运动矢量的数量占非零运动矢量总数的比例,以及计算所述可信运动矢量的覆盖率,其中,所述覆盖率是在所述当前编码帧中可信运动矢量覆盖范围内的运动矢量数量之和占总宏块数的比例,所述可信运动矢量覆盖范围由以每个可信运动矢量为中心的菱形区域交叉重叠构成;
第三判断单元,在所述监测模式是不稳定模式时,若所述非零运动矢量数据的平均值小于等于平均值阈值且所述局部灰度均方差值的平均值大于等于均方差阈值,则判断所述可信运动矢量所占的比例是否大于可信运动矢量比例阈值且所述可信运动矢量的覆盖率是否大于覆盖率阈值,若判断结果为是,则检测出导致不稳定的原因是镜头移动状态,否则,检测出导致不稳定的原因是无效状态。
5.根据权利要求3或4所述的视频分析装置,所述第二计算单元或所述第三计算单元还用于根据每两个相邻运动矢量之间的夹角,计算所述每两个相邻运动矢量之间的相似值,以及针对所述运动矢量数据中的每一运动矢量,根据其和相邻的运动矢量间的夹角和相似值,确定所述运动矢量是否是可信运动矢量。
6.根据权利要求2所述的视频分析装置,其中,所述处理单元包括:
局部相似值计算单元,在所述监测模式是稳定模式时,根据所述当前编码帧的每一运动矢量组计算出一个局部相似值,以得到所述当前编码帧的局部相似值图;
灰度差计算单元,计算所述当前编码帧与前一编码帧之间的灰度差,并根据所述灰度差获得灰度差图;
检测单元,根据经过二值化处理的所述局部相似值图和经过二值化处理的所述灰度差图确定所述运动目标。
7.根据权利要求6所述的视频分析装置,其中,所述检测单元包括:
修补判定单元,在经过二值化的局部相似值图中分割出多个独立的连通域,将每一所述独立的连通域作为一个运动目标,以及判断对应于所述运动目标的连通域所包含的宏块数是否大于宏块数阈值,若对应于所述运动目标的连通域所包含的宏块数小于所述宏块数阈值,则确定所述运动目标为待修补的运动目标;
修补单元,根据所述灰度差图对所述待修补的运动目标进行修补。
8.根据权利要求7所述的视频分析装置,其中,所述修补单元包括:
扩展单元,将所述待修补的运动目标对应的连通域的边界宏块划入至所述连通域中,得到扩展的连通域,以及在所述灰度差图中获取与所述扩展的连通域的地址相对应的灰度差区域,以及将所述边界宏块中与所述灰度差区域重合的多个宏块划入所述连通域中,重新得到扩展的连通域,以修补所述运动目标。
9.根据权利要求4所述的视频分析装置,其中,所述视频分析装置还包括:警告单元,在检测出导致不稳定的原因是被干扰状态时,输出警告信号,以提示所述监测装置被干扰,以及在检测出导致不稳定的原因是无效状态时,输出警告信号,以提示当前输入视频是无效视频,无法用于分析;
所述处理单元还用于在检测出导致不稳定的原因是镜头移动状态时,计算所述当前编码帧的全局运动。
10.一种视频分析方法,包括:
获取当前编码帧中各宏块的运动矢量数据和灰度平均值;
根据所述运动矢量数据和所述灰度平均值确定所述视频的监测模式;
在所述监测模式是稳定模式时,检测出所述视频中的运动目标和/或获取所述视频中的运动目标的运动轨迹;以及
在所述监测模式是不稳定模式时,检测出导致不稳定的原因。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410225993.2A CN105338355B (zh) | 2014-05-26 | 2014-05-26 | 视频分析方法和视频分析装置 |
JP2015103550A JP6507843B2 (ja) | 2014-05-26 | 2015-05-21 | 映像解析方法及び映像解析装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410225993.2A CN105338355B (zh) | 2014-05-26 | 2014-05-26 | 视频分析方法和视频分析装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105338355A true CN105338355A (zh) | 2016-02-17 |
CN105338355B CN105338355B (zh) | 2019-02-19 |
Family
ID=54842784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410225993.2A Active CN105338355B (zh) | 2014-05-26 | 2014-05-26 | 视频分析方法和视频分析装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6507843B2 (zh) |
CN (1) | CN105338355B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109886999A (zh) * | 2019-01-24 | 2019-06-14 | 北京明略软件系统有限公司 | 位置确定方法、装置、存储介质和处理器 |
US20220136859A1 (en) * | 2020-11-05 | 2022-05-05 | Toyota Jidosha Kabushiki Kaisha | Apparatus and method for updating map |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109302590A (zh) * | 2018-11-15 | 2019-02-01 | 深圳市华金盾信息科技有限公司 | 一种大规模视频监控网络极低误警率预警方法 |
CN117478891B (zh) * | 2023-12-28 | 2024-03-15 | 辽宁云也智能信息科技有限公司 | 一种建筑施工智慧管理系统 |
CN117831744B (zh) * | 2024-03-06 | 2024-05-10 | 大连云间来客科技有限公司 | 一种呼吸重症患者远程监控方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1933554A (zh) * | 2005-12-31 | 2007-03-21 | 北京中星微电子有限公司 | 一种用于手持数码摄像设备的防抖方法及装置 |
US20110134329A1 (en) * | 2009-12-04 | 2011-06-09 | Chao-Ho Chen | Stabilization method for vibrating video frames |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8130277B2 (en) * | 2008-02-20 | 2012-03-06 | Aricent Group | Method and system for intelligent and efficient camera motion estimation for video stabilization |
JP2012133759A (ja) * | 2010-11-29 | 2012-07-12 | Canon Inc | 侵入物体の検知を行うことができる物体追尾装置、物体追尾方法及び記憶媒体 |
-
2014
- 2014-05-26 CN CN201410225993.2A patent/CN105338355B/zh active Active
-
2015
- 2015-05-21 JP JP2015103550A patent/JP6507843B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1933554A (zh) * | 2005-12-31 | 2007-03-21 | 北京中星微电子有限公司 | 一种用于手持数码摄像设备的防抖方法及装置 |
US20110134329A1 (en) * | 2009-12-04 | 2011-06-09 | Chao-Ho Chen | Stabilization method for vibrating video frames |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109886999A (zh) * | 2019-01-24 | 2019-06-14 | 北京明略软件系统有限公司 | 位置确定方法、装置、存储介质和处理器 |
US20220136859A1 (en) * | 2020-11-05 | 2022-05-05 | Toyota Jidosha Kabushiki Kaisha | Apparatus and method for updating map |
Also Published As
Publication number | Publication date |
---|---|
JP2015226326A (ja) | 2015-12-14 |
JP6507843B2 (ja) | 2019-05-08 |
CN105338355B (zh) | 2019-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109426782B (zh) | 对象检测方法和用于对象检测的神经网络系统 | |
CN105338355A (zh) | 视频分析方法和视频分析装置 | |
Prakash et al. | It GAN do better: GAN-based detection of objects on images with varying quality | |
KR940019160A (ko) | 영상부호화장치(video coding apparatus) | |
CN103426184A (zh) | 一种光流跟踪方法和装置 | |
US11107237B2 (en) | Image foreground detection apparatus and method and electronic device | |
KR20200062686A (ko) | 동적 객체 검출 장치 및 방법 | |
CN101324958A (zh) | 一种目标跟踪方法及装置 | |
CN112801047A (zh) | 缺陷检测方法、装置、电子设备及可读存储介质 | |
CN111161309A (zh) | 一种车载视频动态目标的搜索与定位方法 | |
CN112418149A (zh) | 一种基于深卷积神经网络的异常行为检测方法 | |
CN104483712A (zh) | 输电线路外物入侵检测方法、装置及系统 | |
CN105338362B (zh) | 运动目标检测方法和运动目标检测装置 | |
CN105184809A (zh) | 运动对象检测方法和运动对象检测装置 | |
CN113158904A (zh) | 一种基于双掩膜模板更新的孪生网络目标跟踪方法及装置 | |
CN110866484B (zh) | 驾驶员人脸检测方法、计算机装置及计算机可读存储介质 | |
CN113160279A (zh) | 一种地铁环境中行人异常行为检测方法及装置 | |
Zheng et al. | Local-to-global background modeling for moving object detection from non-static cameras | |
CN105335683A (zh) | 对象检测方法和对象检测装置 | |
CN116654022A (zh) | 基于多重交互的行人轨迹预测方法、系统、设备和介质 | |
CN111753729A (zh) | 一种假脸检测方法、装置、电子设备及存储介质 | |
KR20080066486A (ko) | 움직임 벡터 추정 장치 및 방법 | |
US11057641B1 (en) | Systems and methods of motion estimation using monocular event-based sensor | |
JPH05236452A (ja) | 動ベクトル検出方法及び検出装置 | |
CN116152321A (zh) | 模型训练方法及装置、图像处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |