CN106612385B - 视频检测方法和视频检测装置 - Google Patents

视频检测方法和视频检测装置 Download PDF

Info

Publication number
CN106612385B
CN106612385B CN201510690788.8A CN201510690788A CN106612385B CN 106612385 B CN106612385 B CN 106612385B CN 201510690788 A CN201510690788 A CN 201510690788A CN 106612385 B CN106612385 B CN 106612385B
Authority
CN
China
Prior art keywords
image
block
bianry
background
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510690788.8A
Other languages
English (en)
Other versions
CN106612385A (zh
Inventor
蒙冰浩
王千
杨路
范圣印
姬艳丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201510690788.8A priority Critical patent/CN106612385B/zh
Publication of CN106612385A publication Critical patent/CN106612385A/zh
Application granted granted Critical
Publication of CN106612385B publication Critical patent/CN106612385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种视频检测方法以及使用该视频检测方法的视频检测装置。视频检测方法包括:对于每帧视频图像,获取不包括动态对象的背景图像的第一背景图像;计算当前帧之前的预定数目的帧的多个第一背景图像的均值图像,以生成第二背景图像;获取当前帧的第一背景图像与第二背景图像的差图像;比较差图像中每个像素点的像素值与第一预定阈值,获取二值图像;以预定分块网格将二值图像等分为多个二值图像块,基于每个二值图像块中非零像素点的比例,获得每个二值图像块的图像块值;在二值图像上设置包括预定数目的二值图像块的图像窗,求和图像窗中的图像块值,获得图像窗的图像窗值;在图像窗值大于第二预定阈值的情况下,确定图像窗中存在事件。

Description

视频检测方法和视频检测装置
技术领域
本发明涉及图像处理领域,更具体地,本发明涉及一种视频检测方法以及使用该视频检测方法的视频检测装置。
背景技术
目前的视频监控往往依赖于工作人员人工的检测和处理。因此,虽然很多场景有摄像头覆盖,但是由于没有智能视频监控方法,所以需要大量人力来进行处理和监视。智能视频监控可以根据捕获的视频数据,自动地对场景中的对象进行识别,以便检测出诸如人群聚集等安全事件,并且提供相应的提示甚至警报。
现有的视频检测方法通常依赖于对于监控场景中的单个对象的识别和位置提取,然后根据场景中识别到的所有单个对象的统计结果,判断是否存在诸如人群聚集等安全事件。然而,这样的视频检测方法需要耗费大量时间和计算资源来执行检测,对于相对复杂的监控场景将难以给出实时的和精确的检测结果。
因此,希望提供一种视频检测方法以及使用该视频检测方法的视频检测装置,其能够以更低的处理复杂度、更高的检测速度和检测精度提供对于诸如人群聚集等安全事件的检测。
发明内容
鉴于上述问题,本发明提供一种基于背景建模和重建的视频检测方法以及使用该视频检测方法的视频检测装置。
根据本发明的一个实施例,提供了一种视频检测方法,用于基于视频信号检测视频信号中的事件,所述视频检测方法包括:获取视频信号;对于所述视频信号中的每帧视频图像,获取对应于所述每帧视频图像的第一背景图像,所述第一背景图像为不包括动态对象的背景图像;计算所述当前帧之前的预定数目的帧的多个所述第一背景图像的均值图像,以生成第二背景图像;获取当前帧的所述第一背景图像与所述第二背景图像的差图像;比较所述差图像中每个像素点的像素值与第一预定阈值,获取二值图像;以预定分块网格将所述二值图像等分为多个二值图像块,基于每个所述二值图像块中非零像素点的比例,获得每个所述二值图像块的图像块值;在所述二值图像上设置包括预定数目的所述二值图像块的图像窗,求和所述图像窗中的图像块值,获得所述图像窗的图像窗值;以及在所述图像窗值大于第二预定阈值的情况下,确定所述图像窗中存在所述事件。
此外,根据本发明一个实施例的视频检测方法,还包括:在获取对应于所述每帧视频图像的第一背景图像之前,标定图像采集模块,以及经由所述图像采集模块获取所述视频信号。
此外,根据本发明一个实施例的视频检测方法,还包括:在所述二值图像上以预定步长移动所述图像窗,以遍历所述二值图像;以及每次移动所述图像窗,确定所述图像窗中是否存在所述事件。
此外,根据本发明一个实施例的视频检测方法,其中所述事件为所述视频图像中存在人群聚集。
此外,根据本发明一个实施例的视频检测方法,其中生成第二背景图像包括:每隔预定时间间隔,判断当前帧的视频图像是否存在所述事件;并且如果不存在所述事件,则计算所述当前帧之前的所述预定数目的帧的多个所述第一背景图像的均值图像,作为所述第二背景图像。
此外,根据本发明一个实施例的视频检测方法,其中所述基于第一预定阈值二值化所述差图像,获取二值图像包括:比较所述差图像中每个像素点的像素值与所述第一预定阈值,将所述像素值大于所述第一预定阈值的像素点的像素值取值为1,将其他像素点的像素值取值为0。
此外,根据本发明一个实施例的视频检测方法,其中所述基于每个所述二值图像块中非零像素点的比例,获得每个所述二值图像块的图像块值包括:将其中非零像素点的比例大于等于第三预定阈值的二值图像块的初始图像块值取值为1,将其他二值图像块的初始图像块值取值为0;基于所述标定图像采集模块,确定每个所述二值图像块的图像块权重;以及将每个所述二值图像块的初始图像块值乘以每个所述二值图像块的图像块权重,获得每个所述二值图像块的图像块值。
此外,根据本发明一个实施例的视频检测方法,其中所述图像块的尺寸小于单个对象在所述视频图像中的对象尺寸,所述图像窗的尺寸为所述图像块的尺寸的整数倍。
根据本发明的另一个实施例,提供了一种视频检测装置,所述视频检测装置包括:图像采集模块,用于采集所述视频信号;视频检测模块,用于基于所述视频信号,检测所述视频信号中的事件,其中所述视频检测模块进一步包括背景重建单元,用于对于所述视频信号中的每帧视频图像,获取对应于所述每帧视频图像的第一背景图像,并且计算所述当前帧之前的预定数目的帧的多个所述第一背景图像的均值图像,生成第二背景图像,其中,所述第一背景图像为不包括动态对象的背景图像;差图像获取单元,用于获取所述第一背景图像与所述第二背景图像的差图像;二值化单元,用于比较所述差图像中每个像素点的像素值与所述第一预定阈值,以获取二值图像;图像块值计算单元,用于以预定分块网格将所述二值图像等分为多个二值图像块,基于每个所述二值图像块中非零像素点的比例,获得每个所述二值图像块的图像块值;图像窗值计算单元,用于在所述二值图像上设置包括预定数目的所述二值图像块的图像窗,求和所述图像窗中的图像块值,获得所述图像窗的图像窗值;事件检测单元,用于基于所述图像窗值与第二预定阈值,检测所述视频信号中的事件,其中,在所述图像窗值大于第二预定阈值的情况下,所述事件检测单元确定所述图像窗中存在所述事件。
此外,根据本发明另一个实施例的视频检测装置,其中在所述图像采集模块采集所述视频信号之前,标定所述图像采集模块。
此外,根据本发明另一个实施例的视频检测装置,其中所述图像窗值计算单元在所述二值图像上以预定步长移动所述图像窗,以遍历所述二值图像,并且所述事件检测单元在每次移动所述图像窗时,确定所述图像窗中是否存在所述事件。
此外,根据本发明另一个实施例的视频检测装置,其中所述事件为所述视频图像中存在人群聚集。
此外,根据本发明另一个实施例的视频检测装置,其中所述背景重建单元每隔预定时间间隔,判断当前帧的视频图像是否存在所述事件;并且如果不存在所述事件,则计算所述当前帧之前的所述预定数目的帧的多个所述第一背景图像的均值图像,作为所述第二背景图像。
此外,根据本发明另一个实施例的视频检测装置,其中所述二值化单元比较所述差图像中每个像素点的像素值与所述第一预定阈值,将所述像素值大于所述第一预定阈值的像素点的像素值取值为1,将其他像素点的像素值取值为0。
此外,根据本发明另一个实施例的视频检测装置,其中所述图像块值计算单元将其中非零像素点的比例大于等于第三预定阈值的二值图像块的初始图像块值取值为1,将其他二值图像块的初始图像块值取值为0;基于标定的所述图像采集模块,确定每个所述二值图像块的图像块权重;以及将每个所述二值图像块的初始图像块值乘以每个所述二值图像块的图像块权重,获得每个所述二值图像块的图像块值。
此外,根据本发明另一个实施例的视频检测装置,其中所述图像块值计算单元设置所述图像块的尺寸小于单个对象在所述视频图像中的对象尺寸,所述图像窗值计算单元设置所述图像窗的尺寸为所述图像块的尺寸的整数倍。
根据本发明的实施例的视频检测方法以及视频检测装置,通过使用背景建模方法为每帧图像重建背景从而获得真实背景,计算每帧图像的动态背景与真实背景的二值化差图像,确定分块的二值化差图像上的滑动窗中是否出现聚集,实现以更低的处理复杂度、更高的检测速度和检测精度提供对于诸如人群聚集等安全事件的实时检测。
要理解的是,前面的一般描述和下面的详细描述两者都是示例性的,并且意图在于提供要求保护的技术的进一步说明。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是图示根据本发明实施例的视频检测装置的功能性框图;
图2A和2B是图示根据本发明实施例的视频检测方法的流程图;
图3A和3B是图示根据本发明实施例的视频检测方法中的第一背景图像重建的示意图;
图4是具体图示根据本发明实施例的视频检测方法中获取第二背景图像的流程图;
图5是图示根据本发明实施例的视频检测方法中的第二背景图像重建的示意图;
图6是图示根据本发明实施例的视频检测方法中的第一背景图像和第二背景图像的差图像的示意图;
图7是图示根据本发明实施例的视频检测方法中的二值图像的示意图;
图8是具体图示根据本发明实施例的视频检测方法中分块二值图像和计算图像块值的流程图;
图9是图示根据本发明实施例的视频检测方法中的分块二值图像的示意图;
图10是图示根据本发明实施例的视频检测方法中用于检测聚集事件的图像窗的第一示意图;
图11是图示根据本发明实施例的视频检测方法中用于检测聚集事件的图像窗的第二示意图;以及
图12是图示根据本发明实施例的视频检测方法中用于检测聚集事件的图像窗的第三示意图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本公开中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
以下,将参考附图详细描述本发明的优选实施例。
首先,将参照图1描述根据本发明实施例的视频检测装置。图1是图示根据本发明实施例的视频检测装置的功能性框图。如图1所示,根据本发明实施例的视频检测装置1包括图像采集模块10和视频检测模块20。容易理解的是,图1仅示出视频检测装置1中与本发明密切相关的模块,根据本发明实施例的视频检测装置还可以包括其他模块,诸如输入输出模块、显示模块、通信模块等。
具体地,所述图像采集模块10用于采集待检测的视频信号。在本发明的一个实施例中,所述图像采集模块10可以是包括能够获取被监控场景的视频数据的RGB摄像机。在本发明的另一个实施例中,所述图像采集模块10可以包括能够获取被摄体的深度信息的深度相机(深度摄像机)。所述图像采集模块10可以与其后的视频检测模块20物理上分离,或者物理上位于同一位置甚至位于同一机壳内部。在所述图像采集模块10与其后的视频检测模块20物理上分离的情况下,所述图像采集模块10进一步经由有线或者无线方式将图像采集模块10获取的视频数据发送给其后的模块。在所述图像采集模块10与其后的视频检测模块20物理上位于同一位置甚至位于同一机壳内部的情况下,所述图像采集模块10经由内部总线将获取的视频数据发送给其后的模块。所述视频数据可以是RGB彩色视频数据或者包括深度信息的RGBD视频数据。在经由有线或者无线方式或者经由内部总线发送所述视频数据之前,可以将其预定格式进行编码和压缩为视频数据包,以减少发送需要占用的通信量和带宽。在本发明的又一实施例中,根据本发明实施例的视频检测装置1也可以不包括所述图像采集模块10,而是经由有线或者无线方式从其他电子设备接收用于监控的视频信号。
所述视频检测模块20用于基于所述视频信号,检测所述视频信号中的事件。在本发明的一个实施例中,根据本发明实施例的视频检测装置1布置在诸如车站、广场、商场等需要执行视频监控的场所。所述视频检测模块20检测诸如人群聚集等安全事件。所述视频检测模块20可以是所述视频检测装置1的中央处理单元(CPU)。可替代地,所述视频检测模块20还可以是所述视频检测装置1的专用处理单元(诸如专用集成电路(ASIC)等)。也就是说,所述视频检测模块20例如可以由诸如硬件、软件、固件以及它们的任意可行的组合配置。
更具体地,所述视频检测模块20包括背景重建单元21、差图像获取单元22、二值化单元23、图像块值计算单元24、图像窗值计算单元25以及事件检测单元26。如上所述,背景重建单元21、差图像获取单元22、二值化单元23、图像块值计算单元24、图像窗值计算单元25以及事件检测单元26可以由诸如硬件、软件、固件以及它们的任意可行的组合配置。
所述背景重建单元21配置为对于所述视频信号中的每帧视频图像,获取对应于所述每帧视频图像的第一背景图像,并且计算所述当前帧之前的预定数目的帧的多个所述第一背景图像的均值图像,生成第二背景图像。在此,所述第一背景图像为不包括动态对象的背景图像。
所述差图像获取单元22配置为获取所述第一背景图像与所述第二背景图像的差图像。
所述二值化单元23配置为比较所述差图像中每个像素点的像素值与所述第一预定阈值,以获取二值图像。
所述图像块值计算单元24配置为以预定分块网格将所述二值图像等分为多个二值图像块,基于每个所述二值图像块中非零像素点的比例,获得每个所述二值图像块的图像块值。
所述图像窗值计算单元25配置为在所述二值图像上设置包括预定数目的所述二值图像块的图像窗,求和所述图像窗中的图像块值,获得所述图像窗的图像窗值。
所述事件检测单元26配置为基于所述图像窗值与第二预定阈值,检测所述视频信号中的事件。在所述图像窗值大于第二预定阈值的情况下,所述事件检测单元26确定所述图像窗中存在所述事件。
以下,将进一步参照附图具体描述由根据本发明实施例的视频检测装置1执行的视频检测方法。
图2A和2B是图示根据本发明实施例的视频检测方法的流程图。如图2A和2B所示,根据本发明实施例的视频检测方法包括以下步骤。
在步骤S201中,标定所述图像采集模块10。为确定空间物体表面某点的三维几何位置与其在所述图像采集模块10采集的视频图像中对应点之间的相互关系,需要建立所述图像采集模块10成像的几何模型。这些几何模型参数就是所述图像采集模块10的参数。通过实验与计算得到所述图像采集模块10的参数,这个求解参数的过程为所述图像采集模块10的标定。在后续的图像处理和事件检测过程中,若干阈值参数也由标定步骤确定。在本发明的实施例中,可以采用基于离线或在线数据的传统相机标定法、主动视觉相机标定方法、相机自标定法等。此后,处理进到步骤S202。
在步骤S202中,经由所述图像采集模块10获取视频信号。如上所述,所述图像采集模块10可以是包括能够获取被监控场景的视频数据的RGB摄像机。所述图像采集模块10经由有线或者无线方式或者经由内部总线发送所述视频数据到所述视频检测模块20用于视频监控。此后,处理进到步骤S203。
在步骤S203中,所述背景重建单元21获取对应于每帧视频图像的第一背景图像。所述第一背景图像为不包括动态对象的背景图像。在本发明的实施例中,需要基于背景重建将视频图像中的运动部分和静止部分分开。静止部分中包括静止的人以及真实背景(例如,地面、建筑物等)。通过背景重建获得的这种静止的人以及真实背景的背景图像在本说明书中称为第一背景图像或者动态背景。在本发明的实施例中,采用诸如高斯混合模型(GMM)、P2M方法等执行第一背景图像或者动态背景的重建。例如,在P2M方法中,每一个像素点由包含了局部压缩描述的上下文特征表示,分类出潜在的背景像素点。并且P2M距离能够一直自适应的有效且平滑地更新背景模型。P2M方法能鲁棒地重构背景并且能避免现实中的噪声带来的影响。
图3A和3B是图示根据本发明实施例的视频检测方法中的第一背景图像重建的示意图。
如图3A所示,在没有进行第一背景图像或者动态背景的重建之前,所述图像采集模块10获取的视频信号中包括多个动态对象301、302和303。通过执行背景重建之后获取如图3B所示的第一背景图像。
如图3B所示,在第一背景图像中,多个动态对象301、302和303被消除,第一背景图像或者动态背景中仅包括静止的人以及真实背景。
返回参照图2A,在获得第一背景图像或者动态背景之后,处理进到步骤S204。
在步骤S204中,所述背景重建单元21计算所述当前帧之前的预定数目的帧的多个所述第一背景图像的均值图像,以生成第二背景图像。在本发明的实施例中,所述第二背景图像为真实背景图像。具体地,当没有聚集事件发生的时候,在步骤S203中重建获得的第一背景图像(动态背景)只包含了真实背景和很少一部分不动的对象。因此,通过计算不同时刻的没有发生聚集时的第一背景图像(动态背景)的平均,少部分的不动的对象就能被去除从而得到第二背景图像(真实背景)。
参照图4描述根据本发明实施例的视频检测方法中获取第二背景图像的流程。图4是具体图示根据本发明实施例的视频检测方法中获取第二背景图像的流程图。如图4所示,获取第二背景图像的流程包括以下步骤。
在步骤S401中,初始化背景图像缓存,以第一帧视频图像的第一背景图像作为初始的第二背景图像。在本发明的实施例中,可以设置用于缓存N张第一背景图像的缓存区。此外,由于在视频开始的时候通常被认为是正常的(没有发生聚集),第一帧视频图像中大多数人是在正常的走动。因此,此时第一背景图像(动态背景)中大部分都是真实背景,它足够干净的用来在真实背景生成前作为一个初始的第二背景图像(真实背景)使用。此后,处理进到步骤S402。
在步骤S402中,等待下一个预定时间间隔T。此后,处理进到步骤S403。
在步骤S403中,判断当前时刻是否存在聚集事件。在本发明的实施例中,步骤S403中的判断依赖于将参照图2B进一步描述的判断过程。如果在步骤S403中获得否定结果,即当前时刻不存在聚集事件,则处理进到步骤S404。
在步骤S404中,将当前时刻的第一背景图像存储到背景图像缓存。也就是说,在所述背景图像缓存中,仅存储每隔预定时间间隔T的第一背景图像,并且该当前时刻没有聚集发生。在本发明的实施例中,如果第一背景图像的缓存区已经存储N张第一背景图像,那么此后最新生成的第一背景图像(动态背景)将覆盖最早存储的第一背景图像(动态背景)。此后,处理进到步骤S405。
在步骤S405中,以计算的均值图像作为更新的第二背景图像。在本发明的实施例中,均值图像的计算以以下等式(1)表示:
其中Bdyc是当前存储在缓存区中的第一背景图像(动态背景)。M是Bdyc的数量。当缓存区是满的时候,M=N。
也就是说,仅在该当前时刻没有聚集发生时更新第二背景图像。此后,处理可以返回步骤S402继续执行每隔预定时间间隔T更新第一背景图像和第二背景图像的处理过程。
相反地,如果在步骤S403中获得肯定结果,即当前时刻存在聚集事件,则处理返回到步骤S402,等待下一个没有聚集发生的时刻存储第一背景图像和更新第二背景图像。
也就是说,考虑到一天中光线的缓慢变化,保持更新第二背景图像(真实背景),即真实背景应当是最近的N个第一背景图像(动态背景)的平均。用于平均的第一背景图像(动态背景)选取方法是每隔预定时间间隔T,如果此时没发生聚集则选择此时的动态背景图像。如果此时发生聚集,则放弃本次更新。
图5是图示根据本发明实施例的视频检测方法中的第二背景图像重建的示意图。通过参照图4描述的第二背景图像重建,如图5所示,通过例如14帧第一背景图像(动态背景)的平均,获得了移除了对象(人)而仅包括第二背景图像(真实背景)的效果。
返回参照图2A,在获得第二背景图像或者真实背景之后,处理进到步骤S205。
在步骤S205中,所述差图像获取单元22获取当前帧的第一背景图像与第二背景图像的差图像。在本发明的实施例,第一背景图像与第二背景图像的差图像(即,动态背景与真实背景的差)用以下等式(2)表示:
Dn=|Breal-Bdycn| (2)
其中Dn是第n帧的差图像,Breal是此时的第二背景图像(真实背景),而Bdycn是第n帧的第一背景图像(动态背景)。
图6是图示根据本发明实施例的视频检测方法中的第一背景图像和第二背景图像的差图像的示意图。如图6所示,第一背景图像和第二背景图像的差图像包括原始图像中的静态对象(人)601-604。
返回参照图2A,在获得第一背景图像与第二背景图像的差图像,处理进到步骤S206。
在步骤S206中,所述二值化单元23比较所述差图像中每个像素点的像素值与第一预定阈值,获取二值图像。在本发明的实施例,二值化差图像中像素点(x,y)的二值化值Ib(x,y)用以下等式(3)表示:
其中,Id(x,y)是差图像中像素点(x,y)的像素值,Th1是预先确定的第一预定阈值。
图7是图示根据本发明实施例的视频检测方法中的二值图像的示意图。与图6所示的二值化处理之前的差图像相比,如图7所示的二值图像噪声更少了。此外,在该二值图像中存在一些空洞和缝隙,这些空洞和缝隙通常来自于二值化和背景建模。它们可以是用随后描述的图像分块策略和滑动图像窗处理。
返回参照图2B,在获得第一背景图像和第二背景图像的二值化差图像之后,处理进到步骤S207。
在步骤S207中,所述图像块值计算单元24以预定分块网格将二值图像等分为多个二值图像块,获得每个二值图像块的图像块值。参照图8详细描述根据本发明实施例的视频检测方法中分块策略。
图8是具体图示根据本发明实施例的视频检测方法中分块二值图像和计算图像块值的流程图。如图8所示,根据本发明实施例的视频检测方法中分块二值图像和计算图像块值的流程包括以下步骤。
在步骤S801中,以预定分块网格将二值图像等分为多个二值图像块。在本发明的实施例中,所述二值图像块的尺寸小于单个对象(人)在所述视频图像中的对象尺寸。此后,处理进到步骤S802。
在步骤S802中,确定每个二值图像块中1像素的比例。此后,处理进到步骤S803。
在步骤S803中,确定在步骤S802中确定的二值图像块中1像素的比例是否大于第三预定阈值Th3
如果在步骤S803中获得肯定结果,即该二值图像块中1像素的比例大于第三预定阈值Th3,则处理进到步骤S804。在步骤S804中,将二值图像块的初始图像块值取值为1。
相反地,如果在步骤S803中获得否定结果,即该二值图像块中1像素的比例不大于第三预定阈值Th3,则处理进到步骤S805。在步骤S805中,将二值图像块的初始图像块值取值为0。
在步骤S804之后,处理进到步骤S806。在步骤S806中,基于所述图像采集模块10的标定,确定每个二值图像块的图像块权重w。在本发明的实施例中,假设处于视频图像最底端的块的权重w为1。权重w可以由以下等式(4)表示:
其中λcb是真实世界中一个单位长度在最底端的块中所占的像素点数。λct是真实世界中一个单位长度在目标的块中所占的像素点数。
在步骤S806中获得每个二值图像块的图像块权重w之后,处理进到步骤S807。在步骤S807中,基于初始图像块值和图像块权重,获得二值图像块的图像块值。
如此,通过参照图8描述的分块二值图像和计算图像块值,覆盖掉背景重建中常常产生的空洞。此外,通过对每个二值图像块的值赋予了一个基于块的纵坐标的权重,该权重是一个根据相机标定所得的补偿参数,抵消了透视的影响。
图9是图示根据本发明实施例的视频检测方法中的分块二值图像的示意图。基于参照图8描述的分块二值图像和计算图像块值,二值图像块901和902由于其中1像素的比例大于第三预定阈值,二值图像块901和902被取值为1。而二值图像块903和904由于其中1像素的比例小于第三预定阈值,二值图像块903和904被取值为0。此外,如图9中箭头所示,随着二值图像块远离视频图像最底端,其图像块权重w随之增加。
返回参照图2B,在步骤S207中获得每个二值图像块的图像块值之后,所述图像窗值计算单元25在二值图像上设置包括预定数目的二值图像块的图像窗,获得图像窗的图像窗值。在本发明的实施例中,图像窗的尺寸应为最少能被判断为聚集的对象(人)所占的尺寸,通常取为4到6人所占的尺寸。为了方便随后滑动,图像窗的长宽分别设置一个二值图像块的大小的长宽的整数倍。所述图像窗值计算单元25通过求和图像窗中每个二值图像块的图像块值,获得所述图像窗的图像窗值。这种简单的数值累积运算,只用占用很少的处理资源。此后,处理进到步骤S209。
在步骤S209中,判断所述图像窗的图像窗值是否大于第二预定阈值。
如果在步骤S209中获得肯定结果,即所述图像窗的图像窗值大于第二预定阈值,处理进到步骤S210。在步骤S210中,判断图像窗中存在聚集事件。
相反地,如果在步骤S209中获得否定结果,即所述图像窗的图像窗值不大于第二预定阈值,处理进到步骤S211。在步骤S211中,判断图像窗中不存在聚集事件。
在步骤S210和S211中确定图像窗中是否存在距离事件之后,处理进到步骤S212。
在步骤S212中,判断当前的图像窗是否已经遍历整个二值图像。
如果在步骤S212中获得否定结果,则处理进到步骤S213。在步骤S213中,以预定步长移动图像窗。从而进一步返回到步骤S208中,对于移动到新的位置的图像窗执行聚集检测过程。
相反地,如果在步骤S212中获得肯定结果,即当前的图像窗已经遍历整个二值图像,则结束对于当前帧视频图像的事件检测。
以下,参照图10到12进一步描述本发明实施例的视频检测方法的效果。
图10是图示根据本发明实施例的视频检测方法中用于检测聚集事件的图像窗的第一示意图。如图10所示,其图像窗值大于第二预定阈值的图像窗1001将被确定为存在聚集事件,而图像窗值不大于第二预定阈值的图像窗1002将被确定为不存在聚集事件,其中可能仅仅存在单个对象(人)。
图11是图示根据本发明实施例的视频检测方法中用于检测聚集事件的图像窗的第二示意图。如图11所示,图像窗1101和1102中都存在对象之间的间隔。具体地,图像窗1101中的对象间隔较小,其整体图像窗值仍然会满足大于第二预定阈值,其将被确定为存在聚集事件。而图像窗1102中的对象间隔较大,完全属于分开站立的对象(人),其整体图像窗值仍然不会满足大于第二预定阈值,其将被确定为不存在聚集事件。
图12是图示根据本发明实施例的视频检测方法中用于检测聚集事件的图像窗的第三示意图。如图12所示,即使在存在大量对象(人)聚集的情况下,聚集的人的面积远大于图像窗的尺寸。但这并不会影响根据本发明实施例的视频检测方法对聚集事件的检测。随着图像窗1201到1206的滑动,每一部分的聚集人群都能够被检测出来。
以上,参照图1到图12描述了根据本发明实施例的视频检测方法以及使用该视频检测方法的视频检测装置,其通过背景重建以及背景图像分块处理,能够准确分辨动态背景和真实背景,并且能够进一步判断动态背景中是否形成聚集事件,从而以更低的处理复杂度、更高的检测速度和检测精度提供对于诸如人群聚集等安全事件的检测。
根据本发明实施例的视频检测装置中的各模块可以通过根据本发明实施例的视频检测装置中的处理器运行在存储器中存储的计算机程序指令来实现,或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合,例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码,另一个计算机可读存储介质包含用于进行人脸活动识别的计算机可读的程序代码。
所述计算机可读存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
在上面详细描述的本发明的示例实施例仅仅是说明性的,而不是限制性的。本领域技术人员应该理解,在不脱离本发明的原理和精神的情况下,可对这些实施例进行各种修改,组合或子组合,并且这样的修改应落入本发明的范围内。

Claims (10)

1.一种视频检测方法,用于基于视频信号检测视频信号中的事件,所述视频检测方法包括:
获取视频信号;
对于所述视频信号中的每帧视频图像,获取对应于所述每帧视频图像的第一背景图像,所述第一背景图像为不包括动态对象的背景图像;
计算当前帧之前的预定数目的帧的多个所述第一背景图像的均值图像,以生成第二背景图像;
获取当前帧的所述第一背景图像与所述第二背景图像的差图像;
比较所述差图像中每个像素点的像素值与第一预定阈值,获取二值图像;
以预定分块网格将所述二值图像等分为多个二值图像块,基于每个所述二值图像块中非零像素点的比例,获得每个所述二值图像块的图像块值;
在所述二值图像上设置包括预定数目的所述二值图像块的图像窗,求和所述图像窗中的图像块值,获得所述图像窗的图像窗值;以及
在所述图像窗值大于第二预定阈值的情况下,确定所述图像窗中存在所述事件。
2.如权利要求1所述的视频检测方法,还包括:
在所述二值图像上以预定步长移动所述图像窗,以遍历所述二值图像;以及
每次移动所述图像窗,确定所述图像窗中是否存在所述事件。
3.如权利要求2所述的视频检测方法,其中所述事件为所述视频图像中存在人群聚集。
4.如权利要求1所述的视频检测方法,其中生成第二背景图像包括:
每隔预定时间间隔,判断当前帧的视频图像是否存在所述事件;并且
如果不存在所述事件,则计算所述当前帧之前的所述预定数目的帧的多个所述第一背景图像的均值图像,作为所述第二背景图像。
5.如权利要求1所述的视频检测方法,其中所述基于每个所述二值图像块中非零像素点的比例,获得每个所述二值图像块的图像块值包括:
将其中非零像素点的比例大于等于第三预定阈值的二值图像块的初始图像块值取值为1,将其他二值图像块的初始图像块值取值为0;
基于标定的图像采集模块,确定每个所述二值图像块的图像块权重;以及
将每个所述二值图像块的初始图像块值乘以每个所述二值图像块的图像块权重,获得每个所述二值图像块的图像块值。
6.一种视频检测装置,所述视频检测装置包括:
图像采集模块,用于采集所述视频信号;
视频检测模块,用于基于所述视频信号,检测所述视频信号中的事件,其中所述视频检测模块进一步包括
背景重建单元,用于对于所述视频信号中的每帧视频图像,获取对应于所述每帧视频图像的第一背景图像,并且计算当前帧之前的预定数目的帧的多个所述第一背景图像的均值图像,生成第二背景图像,其中,所述第一背景图像为不包括动态对象的背景图像;
差图像获取单元,用于获取所述第一背景图像与所述第二背景图像的差图像;
二值化单元,用于比较所述差图像中每个像素点的像素值与第一预定阈值,以获取二值图像;
图像块值计算单元,用于以预定分块网格将所述二值图像等分为多个二值图像块,基于每个所述二值图像块中非零像素点的比例,获得每个所述二值图像块的图像块值;
图像窗值计算单元,用于在所述二值图像上设置包括预定数目的所述二值图像块的图像窗,求和所述图像窗中的图像块值,获得所述图像窗的图像窗值;
事件检测单元,用于基于所述图像窗值与第二预定阈值,检测所述视频信号中的事件,
其中,在所述图像窗值大于第二预定阈值的情况下,所述事件检测单元确定所述图像窗中存在所述事件。
7.如权利要求6所述的视频检测装置,其中所述图像窗值计算单元在所述二值图像上以预定步长移动所述图像窗,以遍历所述二值图像,并且所述事件检测单元在每次移动所述图像窗时,确定所述图像窗中是否存在所述事件。
8.如权利要求7所述的视频检测装置,其中所述事件为所述视频图像中存在人群聚集。
9.如权利要求7所述的视频检测装置,其中所述背景重建单元每隔预定时间间隔,判断当前帧的视频图像是否存在所述事件;并且如果不存在所述事件,则计算所述当前帧之前的所述预定数目的帧的多个所述第一背景图像的均值图像,作为所述第二背景图像。
10.如权利要求7所述的视频检测装置,其中所述图像块值计算单元将其中非零像素点的比例大于等于第三预定阈值的二值图像块的初始图像块值取值为1,将其他二值图像块的初始图像块值取值为0;基于标定的所述图像采集模块,确定每个所述二值图像块的图像块权重;以及将每个所述二值图像块的初始图像块值乘以每个所述二值图像块的图像块权重,获得每个所述二值图像块的图像块值。
CN201510690788.8A 2015-10-22 2015-10-22 视频检测方法和视频检测装置 Active CN106612385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510690788.8A CN106612385B (zh) 2015-10-22 2015-10-22 视频检测方法和视频检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510690788.8A CN106612385B (zh) 2015-10-22 2015-10-22 视频检测方法和视频检测装置

Publications (2)

Publication Number Publication Date
CN106612385A CN106612385A (zh) 2017-05-03
CN106612385B true CN106612385B (zh) 2019-09-06

Family

ID=58611548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510690788.8A Active CN106612385B (zh) 2015-10-22 2015-10-22 视频检测方法和视频检测装置

Country Status (1)

Country Link
CN (1) CN106612385B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10515463B2 (en) * 2018-04-20 2019-12-24 Sony Corporation Object segmentation in a sequence of color image frames by background image and background depth correction
CN109086696B (zh) * 2018-07-18 2020-11-06 洛阳语音云创新研究院 一种异常行为检测方法、装置、电子设备及存储介质
CN109472981A (zh) * 2018-12-28 2019-03-15 苏州智芯控联信息科技有限公司 一种视频交通事件检测器
CN111081340B (zh) * 2019-12-04 2023-11-03 四川骏逸富顿科技有限公司 一种用于远程检测电子处方信息是否完整的方法
CN111462155B (zh) * 2020-03-26 2023-10-24 深圳万拓科技创新有限公司 移动侦测方法、装置、计算机设备和存储介质
CN113838266B (zh) * 2021-09-23 2023-04-07 广东中星电子有限公司 溺水报警方法、装置、电子设备和计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002181498A (ja) * 2000-12-14 2002-06-26 Mitsubishi Electric Corp 目標検出方法及び誘導装置
CN102496164A (zh) * 2011-11-14 2012-06-13 北京国铁华晨通信信息技术有限公司 一种事件检测方法及系统
CN103714325A (zh) * 2013-12-30 2014-04-09 中国科学院自动化研究所 基于嵌入式系统的遗留物和遗失物实时检测方法
CN104658008A (zh) * 2015-01-09 2015-05-27 北京环境特性研究所 一种基于视频图像的人员聚集检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002181498A (ja) * 2000-12-14 2002-06-26 Mitsubishi Electric Corp 目標検出方法及び誘導装置
CN102496164A (zh) * 2011-11-14 2012-06-13 北京国铁华晨通信信息技术有限公司 一种事件检测方法及系统
CN103714325A (zh) * 2013-12-30 2014-04-09 中国科学院自动化研究所 基于嵌入式系统的遗留物和遗失物实时检测方法
CN104658008A (zh) * 2015-01-09 2015-05-27 北京环境特性研究所 一种基于视频图像的人员聚集检测方法

Also Published As

Publication number Publication date
CN106612385A (zh) 2017-05-03

Similar Documents

Publication Publication Date Title
CN106612385B (zh) 视频检测方法和视频检测装置
US9754160B2 (en) Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium
CN103971386B (zh) 一种动态背景场景下的前景检测方法
Varadarajan et al. Spatial mixture of Gaussians for dynamic background modelling
CN108230437B (zh) 场景重建方法和装置、电子设备、程序和介质
Shackleton et al. Tracking people with a 360-degree lidar
RU2393544C2 (ru) Способ и устройство для обнаружения пламени
US9142011B2 (en) Shadow detection method and device
CN107404628B (zh) 图像处理装置及方法以及监视系统
CN112883820B (zh) 基于激光雷达点云的道路目标3d检测方法及系统
WO2013101460A2 (en) Clustering-based object classification
CN111954886A (zh) 对象追踪的系统和方法
CN113177968A (zh) 目标跟踪方法、装置、电子设备及存储介质
WO2023273011A1 (zh) 高空抛物检测方法和装置、设备,及计算机存储介质
FR2977023A1 (fr) Generation de donnees de carte
EP3073443A1 (en) 3D Saliency map
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN112418200B (zh) 基于热成像的对象检测方法、装置及服务器
CN108010065A (zh) 低空目标快速检测方法及装置、存储介质及电子终端
CN111126411B (zh) 一种异常行为识别方法及装置
CN116310993A (zh) 目标检测方法、装置、设备及存储介质
CN113705380B (zh) 雾天的目标检测方法、装置、电子设备以及存储介质
CN114169425A (zh) 训练目标跟踪模型和目标跟踪的方法和装置
CN111862511B (zh) 基于双目立体视觉的目标入侵检测装置及其方法
CN112863124B (zh) 跌倒检测与协助

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant