CN105608479A - 结合深度数据的异常行为检测方法及系统 - Google Patents
结合深度数据的异常行为检测方法及系统 Download PDFInfo
- Publication number
- CN105608479A CN105608479A CN201610116669.6A CN201610116669A CN105608479A CN 105608479 A CN105608479 A CN 105608479A CN 201610116669 A CN201610116669 A CN 201610116669A CN 105608479 A CN105608479 A CN 105608479A
- Authority
- CN
- China
- Prior art keywords
- target
- dimensional
- personnel
- module
- visual angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种结合深度数据的异常行为检测方法及系统，包括：采集目标区域的监控视频图像，建立基于监控视频图像的场景背景模型，提取二维图像的运动目标前景，进行连通域分析和目标分割；根据监控视频图像获取原始视角的深度背景图，从深度背景图中提取三维图像的运动目标前景，分别在原始视角及投影变换后俯视视角进行目标前景的两次分割；提取有效的人员目标信息；根据提取得到的人员目标信息，实现对人员目标的跟踪和行为分析，并根据预设的异常行为规则判断人员目标的行为是否异常，如果是则启动报警。本发明对异常事件和异常行为进行自动识别，提高了异常事件检测的精确度，可以在无人值守的情况下做出及时的反应。
Description
技术领域
本发明涉及计算机深度视觉技术领域，特别涉及一种结合深度数据的异常行为检测方法及系统。
背景技术
传统的异常行为主要是依据视频图像进行分析，其方法主要包括：基于模型的方法、基于预置特征的方法和基于分类器的方法。上述几种方法分别存在不同的缺陷：
(1)基于模型的方法强调对异常事件的检测而非分类，它对正常事件建立一定的模型，通过比较待检测事件与该模型的符合程度来判断其是否为异常事件。
(2)基于预置特征的检测主要对目标的运动轨迹进行分析，将非预置行为误判为异常。
(3)基于分类器的方法需要提取图像统计特征，包括运动特征向量，光流，纹理变化等，通过对统计特征样本设计分类器，实现对特定行为的识别。
目标的识别和提取是异常检测的基础，而传统的二维视频分析方法的缺点在于缺少深度数据，很难提供准确鲁棒的目标识别结果，在实际应用中会产生大量的误报或漏报。一方面，光照变化及阴影对检测结果有较为明显的影响，而这种影响往往导致误报；另一方面，目标的部分遮挡会产生目标的丢失或者交叉，传统方法(如基于Blob的合成分割、卡尔曼滤波等)对这类问题的解决能力有限。因此，在这种方式下所做的异常行为分析通常置信度较低。
专利(申请号：201310059118.7；名称：一种基于视频序列的人体异常行为检测方法)公开了一种的基于视频序列中人体异常行为检测方法，可以对公共场所的异常行为进行监控。但是，该方法缺少对图像的深度特征的分析，从而导致目标识别结果的稳定性差，进而也会影响异常行为的检测的精度。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此，本发明的目的在于提出一种结合深度数据的异常行为检测方法及系统，可以对异常事件和异常行为进行自动识别，提高了异常事件检测的精确度，可以在无人值守的情况下也能做出及时的反应。
为了实现上述目的，本发明一方面的实施例提供一种结合深度数据的异常行为检测方法，包括如下步骤：
步骤S1，采集目标区域的监控视频图像，建立基于所述监控视频图像的场景背景模型，从所述场景背景模型中提取二维图像的运动目标前景，对所述二维图像的运动目标前景进行连通域分析和目标分割，生成二维检测结果；
步骤S2，根据所述监控视频图像获取原始视角的深度背景图，从所述深度背景图中提取三维图像的运动目标前景，分别在原始视角及投影变换后俯视视角进行所述目标前景的两次分割，生成三维检测结果；
步骤S3，对所述二维检测结果和三维检测结果进行合并、分类和过滤，提取有效的人员目标信息；
步骤S4，根据提取得到的所述人员目标信息，实现对人员目标的跟踪和行为分析，并根据预设的异常行为规则判断所述人员目标的行为是否异常，如果是，则启动报警。
进一步，所述步骤S2，还包括如下步骤：对所述三维图像的运动目标前景进行邻域分析，并基于深度变化过滤掉所述目标前景中的噪点，对过滤后的目标前景分别在原始视角及投影变换后俯视视角进行两次分割，生成所述三维检测结果。
进一步，所述步骤S3，包括如下步骤：
对所述二维检测结果进行分析，并采用支持特征分类器进行特征分类以提取二维运动目标的轮廓类；
将所述三维检测结果与预设头肩样本训练模型进行匹配，以及根据预设尺度特征进行检测分类；
将分类后的二维检测结果和三维检测结果进行合并，根据预设人员目标条件进行过滤，提取有效的人员目标信息。
进一步，在所述步骤S4中，所述人员目标的异常行为包括：人员徘徊滞留异常行为、人群拥挤异常行为、人员倒地异常行为、人员局部动作过激行为。
根据本发明实施例的结合深度数据的异常行为检测方法，通过对采集的视频监控图像分别提取出二维图像的运动目标前景和三维图像的运动目标前景，然后提取出有效的人员目标信息，判断人员目标的行为是否异常，可以实现基于深度图像的人员行为异常检测，实现对全局及个人异常行为的检测及报警。通过图像特征对异常事件和异常行为进行自动识别，提高了异常事件检测的精确度，可以在无人值守的情况下也能做出及时的反应。
本发明另一方面的实施例提供一种结合深度数据的异常行为检测系统，包括：视频图像采集模块、二维目标检测及分割模块、三维目标检测及分割模块、人员目标提取模块、目标跟踪及分析模块、异常行为判断模块，其中，所述视频图像采集模块用于采集目标区域的监控视频图像；所述二维目标检测及分割模块与所述视频图像采集模块相连，用于接收所述监控视频图像，建立基于所述监控视频图像场景背景模型，从所述场景背景模型中提取二维图像的运动目标前景，对所述二维图像的运动目标前景进行连通域分析和目标分割，生成二维检测结果；所述三维目标检测及分割模块与所述视频图像采集模块相连，用于根据所述监控视频图像获取原始视角的深度背景图，从所述深度背景图中提取三维图像的运动目标前景，分别在原始视角及投影变换后俯视视角进行所述目标前景的两次分割，生成三维检测结果；所述人员目标提取模块分别与所述二维目标检测及分割模块和所述三维目标检测及分割模块相连，用于对所述二维检测结果和三维检测结果进行合并、分类和过滤，提取有效的人员目标信息；所述目标跟踪及分析模块与所述人员目标提取模块相连，用于根据提取得到的所述人员目标信息，实现对人员目标的跟踪和行为分析；所述异常行为判断模块与所述目标跟踪及分析模块相连，用于根据预设的异常行为规则判断所述人员目标的行为是否异常，如果是，则启动报警。
进一步，所述三维目标检测及分割模块用于对所述三维图像的运动目标前景进行邻域分析，并基于深度变化过滤掉所述目标前景中的噪点，对过滤后的目标前景分别在原始视角及投影变换后俯视视角进行两次分割，生成所述三维检测结果。
进一步，所述人员目标提取模块对所述二维检测结果进行分析，并采用特征分类器进行特征分类以提取二维运动目标的轮廓，将所述三维检测结果与预设头肩样本训练模型进行匹配，以及根据预设尺度特征进行检测分类，将分类后的二维检测结果和三维检测结果进行合并，根据预设人员目标条件进行过滤，提取有效的人员目标信息。
进一步，所述人员目标的异常行为包括：人员徘徊滞留异常行为、人群拥挤异常行为、人员倒地异常行为、人员局部动作过激行为。
根据本发明实施例的结合深度数据的异常行为检测系统，通过对采集的视频监控图像分别提取出二维图像的运动目标前景和三维图像的运动目标前景，然后提取出有效的人员目标信息，判断人员目标的行为是否异常，可以实现基于深度图像的人员行为异常检测，实现对全局及个人异常行为的检测及报警。通过图像特征对异常事件和异常行为进行自动识别，提高了异常事件检测的精确度，可以在无人值守的情况下也能做出及时的反应。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的结合深度数据的异常行为检测方法的流程图；
图2(a)和(b)为根据本发明实施例的二维运动目标的分割示意图；
图3(a)和(b)为根据本发明实施例的三维运动目标的分割示意图；
图4(a)至(c)为根据本发明实施例的轮廓提取及分类示意图；
图5为根据本发明实施例的三维头肩模型的匹配示意图；
图6为根据本发明实施例的结合深度数据的异常行为检测系统的结构图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
如图1所示，本发明实施例的结合深度数据的异常行为检测方法，包括如下步骤：
步骤S1，采集目标区域的监控视频图像，建立基于监控视频图像的场景背景模型基于监控视频图像的场景背景模型，从场景背景模型中提取二维图像的运动目标前景，对二维图像的运动目标前景进行连通域分析和目标分割，生成二维检测结果。
首先，从视频监控设备(例如，监控摄像头、相机等拍摄设备)采集目标区域的监控视频图像。然后，根据上述采集到的监控视频图像，建立基于彩色图像的场景背景模型，基于SILTP纹理特征从场景背景模型中提取二维图像的运动目标前景，参考图2(a)和2(b)所示。
具体地，在SILTP纹理特征(非像素)基础上，加入基于场景的自适应阈值(t)更新策略，通过场景像素的统计变化情况，对阈值t在一定范围内进行自适应调整。并且采用基于时间的codebook(码本)码元加权的背景学习及更新策略。
通过上述自适应阈值(t)更新策略和基于时间的codebook(码本)码元加权的背景学习及更新策略的结合，能够实现相对稳定的二维视频检测效果。
最后，在获得二维图像的运动目标前景后，对该二维图像的运动目标前景进行连通域分析及目标分割，从而得到二维检测结果。
步骤S2，根据监控视频图像获取原始视角的深度背景图，从深度背景图中提取三维图像的运动目标前景，分别在原始视角及投影变换后俯视视角进行目标前景的两次分割，生成三维检测结果。
具体地，对原始视角的深度图进行背景建模，获取深度背景图，从深度背景图中提取三维图像的运动目标前景。对目标前景深度图进行邻域分析并基于深度变化过滤噪点，采用基于深度变化置信度的噪点过滤方法，如果一定范围内的深度突然有一个不连续点导致曲率不平滑，一般认为会是噪点，过滤掉目标前景中的噪点，实现基于平滑曲面拟合的深度目标分割。
然后，对三维图像的运动目标前景进行邻域分析，并基于深度变化对过滤后的目标前景分别在原始视角及投影变换后俯视视角进行两次分割，生成三维检测结果，参考图3(a)和3(b)所示。
在本发明的一个实施例中，本发明采用局部最小二乘拟合的平滑曲面分割策略，分别在原始视角及投影变换后俯视视角进行两次分割。
综上，通过步骤S1和步骤S2，分别通过二维彩色图像和三维深度图像构建背景模型，结合深度数据对场景目标进行有效分割，解决仅靠彩色图很难解决的部分遮挡问题、应对光照变化。
步骤S3，对二维检测结果和三维检测结果进行合并、分类和过滤，提取有效的人员目标信息。
具体地，步骤S3包括如下步骤：
首先，对二维检测结果进行分析，并采用特征分类器进行特征分类以提取二维运动目标的轮廓，参考图4(a)至4(c)所示。其中，特征分类器可以为支持向量机SVM或ADABOOST迭代算法。
然后，如图5所示，将三维检测结果与预设头肩样本训练模型进行匹配，以及根据预设尺度特征进行检测分类，即对深度信息结合头肩及尺度特征进行检测分类。
具体来说，一般通过相机标定能够计算出目标的尺寸，例如1-2米，是符合人体的尺度特征。
最后，将分类后的二维检测结果和三维检测结果进行合并，根据预设人员目标条件进行过滤，提取有效的人员目标信息。即，将二维信息及深度信息结合，实现基于人的目标特征分类，对目标人员进行过滤，剔除非关注目标，提取有效的人员目标信息。例如，非关注目标一般是指车辆、绿植、物体等不符合人的特征的运动目标，和人的特征不匹配，所以会被过滤掉。
步骤S4，根据提取得到的人员目标信息，实现对人员目标的跟踪和行为分析，并根据预设的异常行为规则判断人员目标的行为是否异常，如果是，则启动报警，从而通知监控中心，对上述发生异常行为的人员进行重点观察或采取相应处理措施。
在本发明的一个实施例中，人员目标的异常行为包括：人员徘徊滞留异常行为、人群拥挤异常行为、人员倒地异常行为、人员局部动作过激行为以及1米线检测等行为。需要说明的是，上述异常行为仅是处于示例的目标，异常行为还可以包括其他类型，在此不再赘述。
在本步骤中，通过基于目标的跟踪方法实现分割目标的时空连续信息，分析目标的全局运动行为，基于局部特征的变化实现异常动作识别。
根据本发明实施例的结合深度数据的异常行为检测方法，通过对采集的视频监控图像分别提取出二维图像的运动目标前景和三维图像的运动目标前景，然后提取出有效的人员目标信息，判断人员目标的行为是否异常，可以实现基于深度图像的人员行为异常检测，实现对全局及个人异常行为的检测及报警。通过图像特征对异常事件和异常行为进行自动识别，提高了异常事件检测的精确度，可以在无人值守的情况下也能做出及时的反应。
如图6所示，本发明实施例的结合深度数据的异常行为检测系统，包括：视频图像采集模块1、二维目标检测及分割模块2、三维目标检测及分割模块3、人员目标提取模块4、目标跟踪及分析模块5和异常行为判断模块6。
具体地，视频图像采集模块1用于采集目标区域的监控视频图像。其中，视频采集模块1可以为监控摄像头、相机等拍摄设备。
二维目标检测及分割模块2与视频图像采集模块1相连，用于接收监控视频图像，建立基于监控视频图像的场景背景模型基于监控视频图像的场景背景模型，从场景背景模型中提取二维图像的运动目标前景，对二维图像的运动目标前景进行连通域分析和目标分割，生成二维检测结果。
具体地，二维目标检测及分割模块2从视频监控设备(例如，监控摄像头、相机等拍摄设备)采集目标区域的监控视频图像。然后，根据上述采集到的监控视频图像，建立基于彩色图像的场景背景模型，基于SILTP纹理特征从场景背景模型中提取二维图像的运动目标前景，参考图2(a)和2(b)所示。
在SILTP纹理特征(非像素)基础上，加入基于场景的自适应阈值(t)更新策略，通过场景像素的统计变化情况，对阈值t在一定范围内进行自适应调整。并且采用基于时间的codebook(码本)码元加权的背景学习及更新策略。
通过上述自适应阈值(t)更新策略和基于时间的codebook(码本)码元加权的背景学习及更新策略的结合，能够实现相对稳定的二维视频检测效果。
最后，二维目标检测及分割模块2在获得二维图像的运动目标前景后，对该二维图像的运动目标前景进行连通域分析及目标分割，从而得到二维检测结果。
三维目标检测及分割模块3与视频图像采集模块1相连，用于根据监控视频图像获取原始视角的深度背景图，从深度背景图中提取三维图像的运动目标前景，分别在原始视角及投影变换后俯视视角进行目标前景的两次分割，生成三维检测结果。
三维目标检测及分割模块3对原始视角的深度图进行背景建模，获取深度背景图，从深度背景图中提取三维图像的运动目标前景。对目标前景深度图进行邻域分析并基于深度变化过滤噪点，采用基于深度变化置信度的噪点过滤方法，如果一定范围内的深度突然有一个不连续点导致曲率不平滑，一般认为会是噪点，过滤掉目标前景中的噪点，实现基于平滑曲面拟合的深度目标分割。
然后，三维目标检测及分割模块3对三维图像的运动目标前景进行邻域分析，并基于深度变化对过滤后的目标前景分别在原始视角及投影变换后俯视视角进行两次分割，生成三维检测结果，参考图3(a)和3(b)所示。
在本发明的一个实施例中，三维目标检测及分割模块3采用局部最小二乘拟合的平滑曲面分割策略，分别在原始视角及投影变换后俯视视角进行两次分割。
综上，通过二维彩色图像和三维深度图像构建背景模型，结合深度数据对场景目标进行有效分割，解决仅靠彩色图很难解决的部分遮挡问题、应对光照变化。
人员目标提取模块4分别与二维目标检测及分割模块2和三维目标检测及分割模块3相连，用于对二维检测结果和三维检测结果进行合并、分类和过滤，提取有效的人员目标信息。
人员目标提取模块4对二维检测结果进行分析，并采用特征分类器进行特征分类以提取二维运动目标的轮廓，将三维检测结果与预设头肩样本训练模型进行匹配，以及根据预设尺度特征进行检测分类，将分类后的二维检测结果和三维检测结果进行合并，根据预设人员目标条件进行过滤，提取有效的人员目标信息。其中，特征分类器可以为支持向量机SVM或ADABOOST迭代算法。
即，将二维信息及深度信息结合，实现基于人的目标特征分类，对目标人员进行过滤，剔除非关注目标，提取有效的人员目标信息。例如，非关注目标一般是指车辆、绿植、物体等不符合人的特征的运动目标，和人的特征不匹配，所以会被过滤掉。
目标跟踪及分析模块5与人员目标提取模块4相连，用于根据提取得到的人员目标信息，实现对人员目标的跟踪和行为分析。
异常行为判断模块6与目标跟踪及分析模块5相连，用于根据预设的异常行为规则判断人员目标的行为是否异常，如果是，则启动报警，从而通知监控中心，对上述发生异常行为的人员进行重点观察或采取相应处理措施。
在本发明的一个实施例中，人员目标的异常行为包括：人员徘徊滞留异常行为、人群拥挤异常行为、人员倒地异常行为、人员局部动作过激行为以及1米线检测等行为。需要说明的是，上述异常行为仅是处于示例的目标，异常行为还可以包括其他类型，在此不再赘述。
通过基于目标的跟踪方法实现分割目标的时空连续信息，分析目标的全局运动行为，基于局部特征的变化实现异常动作识别。
根据本发明实施例的结合深度数据的异常行为检测系统，通过对采集的视频监控图像分别提取出二维图像的运动目标前景和三维图像的运动目标前景，然后提取出有效的人员目标信息，判断人员目标的行为是否异常，可以实现基于深度图像的人员行为异常检测，实现对全局及个人异常行为的检测及报警。通过图像特征对异常事件和异常行为进行自动识别，提高了异常事件检测的精确度，可以在无人值守的情况下也能做出及时的反应。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。
Claims (8)
1.一种结合深度数据的异常行为检测方法，其特征在于，包括如下步骤：
步骤S1，采集目标区域的监控视频图像，建立基于所述监控视频图像的彩色图像的场景背景模型，从所述场景背景模型中提取二维图像的运动目标前景，对所述二维图像的运动目标前景进行连通域分析和目标分割，生成二维检测结果；
步骤S2，根据所述监控视频图像获取原始视角的深度背景图，从所述深度背景图中提取三维图像的运动目标前景，分别在原始视角及投影变换后俯视视角进行所述目标前景的两次分割，生成三维检测结果；
步骤S3，对所述二维检测结果和三维检测结果进行合并、分类和过滤，提取有效的人员目标信息；
步骤S4，根据提取得到的所述人员目标信息，实现对人员目标的跟踪和行为分析，并根据预设的异常行为规则判断所述人员目标的行为是否异常，如果是，则启动报警。
2.如权利要求1所述结合深度数据的异常行为检测方法，其特征在于，所述步骤S2，还包括如下步骤：对所述三维图像的运动目标前景进行邻域分析，并基于深度变化过滤掉所述目标前景中的噪点，对过滤后的目标前景分别在原始视角及投影变换后俯视视角进行两次分割，生成所述三维检测结果。
3.如权利要求1所述的结合深度数据的异常行为检测方法，其特征在于，所述步骤S3，包括如下步骤：
对所述二维检测结果进行分析，并采用特征分类器进行特征分类以提取二维运动目标的轮廓；
将所述三维检测结果与预设头肩样本训练模型进行匹配，以及根据预设尺度特征进行检测分类；
将分类后的二维检测结果和三维检测结果进行合并，根据预设人员目标条件进行过滤，提取有效的人员目标信息。
4.如权利要求1所述的结合深度数据的异常行为检测方法，其特征在于，在所述步骤S4中，所述人员目标的异常行为包括：人员徘徊滞留异常行为、人群拥挤异常行为、人员倒地异常行为、人员局部动作过激行为。
5.一种结合深度数据的异常行为检测系统，其特征在于，包括：视频图像采集模块、二维目标检测及分割模块、三维目标检测及分割模块、人员目标提取模块、目标跟踪及分析模块、异常行为判断模块，其中，
所述视频图像采集模块用于采集目标区域的监控视频图像；
所述二维目标检测及分割模块与所述视频图像采集模块相连，用于接收所述监控视频图像，建立基于所述监控视频图像场景背景模型，从所述场景背景模型中提取二维图像的运动目标前景，对所述二维图像的运动目标前景进行连通域分析和目标分割，生成二维检测结果；
所述三维目标检测及分割模块与所述视频图像采集模块相连，用于根据所述监控视频图像获取原始视角的深度背景图，从所述深度背景图中提取三维图像的运动目标前景，分别在原始视角及投影变换后俯视视角进行所述目标前景的两次分割，生成三维检测结果；
所述人员目标提取模块分别与所述二维目标检测及分割模块和所述三维目标检测及分割模块相连，用于对所述二维检测结果和三维检测结果进行合并、分类和过滤，提取有效的人员目标信息；
所述目标跟踪及分析模块与所述人员目标提取模块相连，用于根据提取得到的所述人员目标信息，实现对人员目标的跟踪和行为分析；
所述异常行为判断模块与所述目标跟踪及分析模块相连，用于根据预设的异常行为规则判断所述人员目标的行为是否异常，如果是，则启动报警。
6.如权利要求5所述的结合深度数据的异常行为检测系统，其特征在于，所述三维目标检测及分割模块用于对所述三维图像的运动目标前景进行邻域分析，并基于深度变化过滤掉所述目标前景中的噪点，对过滤后的目标前景分别在原始视角及投影变换后俯视视角进行两次分割，生成所述三维检测结果。
7.如权利要求5所述的结合深度数据的异常行为检测系统，其特征在于，所述人员目标提取模块对所述二维检测结果进行分析，并采用特征分类器进行特征分类以提取二维运动目标的轮廓，将所述三维检测结果与预设头肩样本训练模型进行匹配，以及根据预设尺度特征进行检测分类，将分类后的二维检测结果和三维检测结果进行合并，根据预设人员目标条件进行过滤，提取有效的人员目标信息。
8.如权利要求5所述的结合深度数据的异常行为检测系统，其特征在于，所述人员目标的异常行为包括：人员徘徊滞留异常行为、人群拥挤异常行为、人员倒地异常行为、人员局部动作过激行为。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610116669.6A CN105608479B (zh) | 2016-03-01 | 2016-03-01 | 结合深度数据的异常行为检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610116669.6A CN105608479B (zh) | 2016-03-01 | 2016-03-01 | 结合深度数据的异常行为检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105608479A true CN105608479A (zh) | 2016-05-25 |
| CN105608479B CN105608479B (zh) | 2019-03-29 |
Family
ID=55988403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610116669.6A Active CN105608479B (zh) | 2016-03-01 | 2016-03-01 | 结合深度数据的异常行为检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105608479B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106951574A (zh) * | 2017-05-03 | 2017-07-14 | 牡丹江医学院 | 一种基于计算机网络的信息处理系统和方法 |
| CN107169423A (zh) * | 2017-04-24 | 2017-09-15 | 南京邮电大学 | 一种视频人物运动类型识别方法 |
| CN107169451A (zh) * | 2017-05-16 | 2017-09-15 | 温州医科大学附属第二医院、温州医科大学附属育英儿童医院 | 一种全身运动质量智能评估系统 |
| CN107360396A (zh) * | 2017-06-21 | 2017-11-17 | 安徽众喜科技有限公司 | 一种基于个体特征识别的岗哨互助系统 |
| CN107665326A (zh) * | 2016-07-29 | 2018-02-06 | 奥的斯电梯公司 | 乘客运输装置的监测系统、乘客运输装置及其监测方法 |
| CN109034092A (zh) * | 2018-08-09 | 2018-12-18 | 燕山大学 | 用于监控系统的异常事件检测方法 |
| CN109271847A (zh) * | 2018-08-01 | 2019-01-25 | 阿里巴巴集团控股有限公司 | 无人结算场景中异常检测方法、装置及设备 |
| CN109410220A (zh) * | 2018-10-16 | 2019-03-01 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| CN109697725A (zh) * | 2018-12-03 | 2019-04-30 | 浙江大华技术股份有限公司 | 一种背景过滤方法、装置及计算机可读存储介质 |
| CN109961588A (zh) * | 2017-12-26 | 2019-07-02 | 天地融科技股份有限公司 | 一种监控系统 |
| CN110211330A (zh) * | 2019-07-03 | 2019-09-06 | 西安科技大学 | 一种幼童危险迫害微型预警机器人 |
| CN110309735A (zh) * | 2019-06-14 | 2019-10-08 | 平安科技（深圳）有限公司 | 异常侦测方法、装置、服务器及存储介质 |
| CN111695512A (zh) * | 2020-06-12 | 2020-09-22 | 嘉应学院 | 一种无人值守文物监测方法及装置 |
| CN112092869A (zh) * | 2020-09-23 | 2020-12-18 | 北京交大微联科技有限公司 | 轨道交通的道口物体识别方法、道口控制方法及防护设备 |
| CN113435297A (zh) * | 2021-06-23 | 2021-09-24 | 佛山弘视智能信息科技有限公司 | 基于监控相机和深度相机联合的人体抽搐检测方法及装置 |
| CN116258466A (zh) * | 2023-05-15 | 2023-06-13 | 国网山东省电力公司菏泽供电公司 | 多模态电力场景作业规范检测方法、系统、设备及介质 |
| CN116386016A (zh) * | 2023-05-22 | 2023-07-04 | 杭州睿影科技有限公司 | 一种异物处理方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102867175A (zh) * | 2012-08-31 | 2013-01-09 | 浙江捷尚视觉科技有限公司 | 一种基于立体视觉的atm机行为分析方法 |
| CN103208006A (zh) * | 2012-01-17 | 2013-07-17 | 株式会社理光 | 基于深度图像序列的对象运动模式识别方法和设备 |
| CN105184818A (zh) * | 2015-09-06 | 2015-12-23 | 山东华宇航天空间技术有限公司 | 一种视频监控异常行为检测方法及其检测系统 |
| CN105279483A (zh) * | 2015-09-28 | 2016-01-27 | 华中科技大学 | 一种基于深度图像的跌倒行为实时检测方法 |
| WO2016013719A1 (ko) * | 2014-07-22 | 2016-01-28 | 주식회사 에스원 | 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법 |
-
2016
- 2016-03-01 CN CN201610116669.6A patent/CN105608479B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103208006A (zh) * | 2012-01-17 | 2013-07-17 | 株式会社理光 | 基于深度图像序列的对象运动模式识别方法和设备 |
| CN102867175A (zh) * | 2012-08-31 | 2013-01-09 | 浙江捷尚视觉科技有限公司 | 一种基于立体视觉的atm机行为分析方法 |
| WO2016013719A1 (ko) * | 2014-07-22 | 2016-01-28 | 주식회사 에스원 | 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법 |
| CN105184818A (zh) * | 2015-09-06 | 2015-12-23 | 山东华宇航天空间技术有限公司 | 一种视频监控异常行为检测方法及其检测系统 |
| CN105279483A (zh) * | 2015-09-28 | 2016-01-27 | 华中科技大学 | 一种基于深度图像的跌倒行为实时检测方法 |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107665326A (zh) * | 2016-07-29 | 2018-02-06 | 奥的斯电梯公司 | 乘客运输装置的监测系统、乘客运输装置及其监测方法 |
| CN107665326B (zh) * | 2016-07-29 | 2024-02-09 | 奥的斯电梯公司 | 乘客运输装置的监测系统、乘客运输装置及其监测方法 |
| CN107169423B (zh) * | 2017-04-24 | 2020-08-04 | 南京邮电大学 | 一种视频人物运动类型识别方法 |
| CN107169423A (zh) * | 2017-04-24 | 2017-09-15 | 南京邮电大学 | 一种视频人物运动类型识别方法 |
| CN106951574A (zh) * | 2017-05-03 | 2017-07-14 | 牡丹江医学院 | 一种基于计算机网络的信息处理系统和方法 |
| CN106951574B (zh) * | 2017-05-03 | 2019-06-14 | 牡丹江医学院 | 一种基于计算机网络的信息处理系统和方法 |
| CN107169451A (zh) * | 2017-05-16 | 2017-09-15 | 温州医科大学附属第二医院、温州医科大学附属育英儿童医院 | 一种全身运动质量智能评估系统 |
| CN107360396A (zh) * | 2017-06-21 | 2017-11-17 | 安徽众喜科技有限公司 | 一种基于个体特征识别的岗哨互助系统 |
| CN109961588A (zh) * | 2017-12-26 | 2019-07-02 | 天地融科技股份有限公司 | 一种监控系统 |
| CN109271847A (zh) * | 2018-08-01 | 2019-01-25 | 阿里巴巴集团控股有限公司 | 无人结算场景中异常检测方法、装置及设备 |
| US11132559B2 (en) | 2018-08-01 | 2021-09-28 | Advanced New Technologies Co., Ltd. | Abnormality detection method, apparatus, and device for unmanned checkout |
| CN109034092A (zh) * | 2018-08-09 | 2018-12-18 | 燕山大学 | 用于监控系统的异常事件检测方法 |
| CN109410220A (zh) * | 2018-10-16 | 2019-03-01 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| WO2020078263A1 (zh) * | 2018-10-16 | 2020-04-23 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| CN111062952A (zh) * | 2018-10-16 | 2020-04-24 | 腾讯科技（深圳）有限公司 | 肺部图像分割设备、方法及存储介质 |
| CN109410220B (zh) * | 2018-10-16 | 2019-12-24 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| US12002212B2 (en) | 2018-10-16 | 2024-06-04 | Tencent Technology (Shenzhen) Company Limited | Image segmentation method and apparatus, computer device, and storage medium |
| CN111062952B (zh) * | 2018-10-16 | 2022-09-30 | 腾讯科技（深圳）有限公司 | 肺部图像分割设备、方法及存储介质 |
| CN109697725A (zh) * | 2018-12-03 | 2019-04-30 | 浙江大华技术股份有限公司 | 一种背景过滤方法、装置及计算机可读存储介质 |
| CN109697725B (zh) * | 2018-12-03 | 2020-10-02 | 浙江大华技术股份有限公司 | 一种背景过滤方法、装置及计算机可读存储介质 |
| US12100162B2 (en) | 2018-12-03 | 2024-09-24 | Zhejiang Dahua Technology Co., Ltd. | Method and system for obtaining and processing foreground image and background image |
| CN110309735A (zh) * | 2019-06-14 | 2019-10-08 | 平安科技（深圳）有限公司 | 异常侦测方法、装置、服务器及存储介质 |
| CN110211330A (zh) * | 2019-07-03 | 2019-09-06 | 西安科技大学 | 一种幼童危险迫害微型预警机器人 |
| CN111695512A (zh) * | 2020-06-12 | 2020-09-22 | 嘉应学院 | 一种无人值守文物监测方法及装置 |
| CN111695512B (zh) * | 2020-06-12 | 2023-04-25 | 嘉应学院 | 一种无人值守文物监测方法及装置 |
| CN112092869A (zh) * | 2020-09-23 | 2020-12-18 | 北京交大微联科技有限公司 | 轨道交通的道口物体识别方法、道口控制方法及防护设备 |
| CN113435297A (zh) * | 2021-06-23 | 2021-09-24 | 佛山弘视智能信息科技有限公司 | 基于监控相机和深度相机联合的人体抽搐检测方法及装置 |
| CN116258466A (zh) * | 2023-05-15 | 2023-06-13 | 国网山东省电力公司菏泽供电公司 | 多模态电力场景作业规范检测方法、系统、设备及介质 |
| CN116258466B (zh) * | 2023-05-15 | 2023-10-27 | 国网山东省电力公司菏泽供电公司 | 多模态电力场景作业规范检测方法、系统、设备及介质 |
| CN116386016A (zh) * | 2023-05-22 | 2023-07-04 | 杭州睿影科技有限公司 | 一种异物处理方法、装置、电子设备及存储介质 |
| CN116386016B (zh) * | 2023-05-22 | 2023-10-10 | 杭州睿影科技有限公司 | 一种异物处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105608479B (zh) | 2019-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105608479A (zh) | 结合深度数据的异常行为检测方法及系统 | |
| CN108446630B (zh) | 机场跑道智能监控方法、应用服务器及计算机存储介质 | |
| EP2659456B1 (en) | Scene activity analysis using statistical and semantic feature learnt from object trajectory data | |
| CN104821056B (zh) | 基于雷达与视频融合的智能警戒方法 | |
| CN104933730B (zh) | 使用半穷举搜索的多视图人检测 | |
| CN108985169B (zh) | 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法 | |
| CN102163290B (zh) | 基于时空关联信息的多视角视频监控中异常事件建模方法 | |
| CN105184258A (zh) | 目标跟踪方法及系统、人员行为分析方法及系统 | |
| CN109711322A (zh) | 一种基于rfcn的人车分离方法 | |
| CN104301712B (zh) | 一种基于视频分析的监控摄像头抖动检测方法 | |
| CN106210634A (zh) | 一种智慧金睛识别人员倒地报警方法和装置 | |
| CN102789672A (zh) | 一种婴儿睡姿智能识别方法及装置 | |
| CN106128022A (zh) | 一种智慧金睛识别暴力动作报警方法和装置 | |
| CN105809954B (zh) | 交通事件检测方法以及系统 | |
| CN106228709B (zh) | 一种智慧金睛识别单人加钞报警方法和装置 | |
| CN106127814A (zh) | 一种智慧金睛识别人员聚集打斗报警方法和装置 | |
| CN103996051A (zh) | 基于运动特征变化的视频运动对象异常行为自动检测方法 | |
| CN110781853A (zh) | 人群异常检测方法以及相关装置 | |
| Kongurgsa et al. | Real-time intrusion—detecting and alert system by image processing techniques | |
| CN103456123B (zh) | 一种基于流动和扩散特征的视频烟气探测方法 | |
| Wang et al. | Traffic camera anomaly detection | |
| CN109271877A (zh) | 一种人形识别方法及装置 | |
| JP2007065878A (ja) | 水面または水中における移動体計数方法、計数装置および計数プログラム | |
| CN107358246A (zh) | 一种使用卷积神经网络对物体进行细分类的方法 | |
| CN109993107A (zh) | 一种基于非迭代k均值算法的移动机器人障碍物视觉检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |