CN108647582A - 一种复杂动态环境下目标行为识别与预测方法 - Google Patents

一种复杂动态环境下目标行为识别与预测方法 Download PDF

Info

Publication number
CN108647582A
CN108647582A CN201810354010.3A CN201810354010A CN108647582A CN 108647582 A CN108647582 A CN 108647582A CN 201810354010 A CN201810354010 A CN 201810354010A CN 108647582 A CN108647582 A CN 108647582A
Authority
CN
China
Prior art keywords
behavior
target
human body
time
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810354010.3A
Other languages
English (en)
Inventor
蔡磊
李岳峻
周广福
李国厚
徐涛
刘艳昌
王建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Institute of Science and Technology
Original Assignee
Henan Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Institute of Science and Technology filed Critical Henan Institute of Science and Technology
Priority to CN201810354010.3A priority Critical patent/CN108647582A/zh
Publication of CN108647582A publication Critical patent/CN108647582A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种复杂动态环境下目标行为识别与预测方法，首先建立人体行为数据库和科大讯飞语音识别数据库；然后安防巡视机器人在巡视时，通过视觉传感器和声音传感器对周围环境进行实时采集；接着将语音信息与视觉视频图像信息进行融合，通过目标识别判断将目标由整体判别到区域锁定，再到个体识别，最后将锁定目标人体动作数据与人体行为数据库数据进行实时匹配，对目标人体行为进行识别和预测，当目标人体行为高于一定危险级别时，机器人进行预警。本发明安防巡视机器人能够自动、有效准确地提取和理解监控范围内人体的行为动作，并能及时发现可疑人员或可疑行为发出预警通知安全人员，最大程度地减少和阻止危险事件的发生。

Description

一种复杂动态环境下目标行为识别与预测方法
技术领域
本发明属于机器人智能安防领域，特别涉及基于视觉人体动作捕捉技术和视觉与听觉相结合的人体危险行为动作智能识别技术的复杂动态环境下目标行为识别与预测方法。
背景技术
智能安防巡视机器人工作中，急需提高处理突发事件的基本能力，因此对视频监控系统的智能化提出了越来越高的要求。当前的安防巡视机器人监控系统主要依靠人工对视频图像进行辨别和监视，其缺点是人工很难长时间对大量的视频图像进行实时监控，从而造成对一些突发危险性事件不能进行及时的预警和预防。而且在复杂动态环境下，即人流量较大的巡视区域，即使人工通过视频进行监控，也很难做到对整个监控范围内的人体行为做出全面的分析和准确的识别判断，事实上，我们希望机器人视觉能象人眼一样时刻保持警戒，对巡视下的周围环境有识别和预测危险的能力。然而目前大部分视频监控通常仅作为威慑和事后取证的工具。
发明内容
针对上述现有技术中描述的不足，本发明提供一种复杂动态环境下目标行为识别与预测方法，本发明安防巡视机器人能够自动、有效准确地提取和理解监控范围内尤其是复杂环境下人体的行为动作，并能及时地发现可疑人员或者可疑行为并发出预警通知安全人员，快速有效地采取措施，最大程度地减少和阻止危险事件的发生。
为解决上述技术问题，本发明所采用的技术方案如下：
一种复杂动态环境下目标行为识别与预测方法，步骤如下：
S1，建立数据库。
所述数据库包括人体行为数据库和语音识别数据库。
S1.1，建立人体行为数据库。
S1.1.1，获得训练样本视频。
S1.1.2，对训练样本视频采用HOG3D描述子方法得到描述时空兴趣点的特征向量。
S1.1.2.1，首先进行Harris3D兴趣点检测，建立视频序列f(x,y,t)的时空结构，并将训练视频与时空高斯核函数进行卷积运算：
S1.1.2.2，给定空间和时间尺度因子，并使用由时间和空间求导构成的三阶方阵和一个3D时空高斯窗口构造观测矩阵μ：
S1.1.2.3，定义兴趣点响应函数H：
其中，为观测矩阵μ的特征值；
其中，为观测矩阵μ的特征值；
表示分别对应视频序列f(x,y,t)在x、y、t、3个方向上的变化，取较大值时表示检测到了时空兴趣点，
S1.1.2.4，根据步骤S1.1.2.3计算训练视频所有像素点的H值。
S1.1.2.5，从得到的所有H值中选择正局部最大值对应的像素点为时空兴趣点。
S1.1.2.6，对时空兴趣点周围局部区域内的时空特征分别采用梯度计算、梯度方向量化、直方图计算和描述符计算的方法以获得HOG3D描述子梯度方向直方图特征向量
S1.1.3，对得到的特征向量采用K-means聚类方法进行聚类，构建视觉词袋模型。
S1.1.3.1，采用K-means聚类算法对从提取到的特征向量进行聚类，得到的各聚类中心构成视觉词库C＝{c1,c2,…,ci,…,cN},其中每个聚类中心ci则被认为是构成视觉词库的一个视觉单词。
S1.1.3.2，视觉词库建好后，对应给定的训练视频，并计算每一个特征向量与视觉词库中各视觉单词ci的欧式距离。
S1.1.3.3，将从训练视频中提取的特征向量归类到与其欧式距离最短的视觉单词中，并通过统计各视频单词在训练视频中出现的频率构建词频表来表示给定的训练视频。
S1.1.4，利用基于概率潜在语义模型PLSA分类的方法，对视觉词袋模型进行语义危险级别分类，建立视觉行为词典，完成人体行为数据库的构建。
视觉词袋模型将训练视频的特征向量表示为词频表的形式之后，利用主题模型来挖掘特征向量与训练视频之间所隐含的主题，也就是训练视频中人体的动作行为，并将潜在语义主题进行危险等级分类，建立危险级别临界阈值A，完成人体危险行为的识别和预测功能的前期准备工作。
S1.2，语音识别数据库采用科大讯飞语音识别数据库。
S2，安防巡视机器人进行巡视采集周围环境信息处理并锁定目标。
S2.1，安防巡视机器人在人流量较大的复杂动态环境下进行巡视，并通过视觉传感器和声音传感器对周围环境进行实时采集。
S2.2，判断是否有声音信息，若有则进行步骤S2.3，若无则进行步骤S2.5。
S2.3，将声音的识别数据与语音数据库进行匹配，识别语音信息的危险程度；当危险程度高于设定级别时，则进行步骤S2.4，若未达到危险级别，则返回步骤S2.1进行巡视采集。
S2.4，对声源进行定位，通过位置信息利用视觉传感器锁定声源位置区域，对锁定区域内的人体在一段时间内的动作实时捕捉，并将实时动作与行为数据库内的数据匹配进行行为识别，并将相同时间内视觉行为识别信息与声音识别信息进行融合，判断区域内人体的危险级别，对高于临界阈值A的人体进行特征标记和目标锁定。
将获取的语音信息与科大讯飞语音识别数据库进行匹配识别，得到语义信息，利用图灵语义分析平台提取敏感危险词汇，当敏感词汇出现频率大于一定安全值C时，判定生源为危险目标。
生源定位采用麦克风阵列生源定位算法，声音传感器采用麦克风阵列形式，通过麦克风接受声音信号的时间差和声波速度计算生源空间位置坐标。
S2.5，对整个视觉区域内的人体动作数据进行相似度匹配，提取人体动作相似度差别大于阈值b的人体区域，并对此区域进行区域锁定和实时监控；然后对选出的区域内的人体在一段时间内的动作实时捕捉，并将实时动作与行为数据库数据匹配进行行为识别，判断该区域内的人体的危险级别，若高于设定危险级别，则对对应的人体进行特征标记和目标锁定；若未达到危险级别，则返回步骤S2.1继续巡视采集。
S3，从锁定区域内提取目标人体，识别目标人体的行为危险等级并进行行为预测和报警。
S3.1，采用快速人体检测方法提取目标人体。
复杂场景下的快速人体检测方法有两个模块：运动目标检测模块和人体目标判决模块，通过摄像机获取视频图像后，在运动目标检测模块内首先通过特征提取与图像匹配消除由于视觉获取方式存在的摄像机抖动，然后通过自适应阈值的背景减除法去除背景干扰提取前景目标信息，接着利用中值滤波、图像阈值分割、改进的形态学运算处理方法对前景目标信息进行预处理和优化；在人体目标判决模块，基于人体头部形状和面积特征进行目标判决实现人体检测。
S3.2，对提取的目标人体，对目标人体在t0～t1时刻行为特征信息与视觉词典中词袋模型进行匹配，识别目标人体的行为危险等级，并将目标人体的实时动作行为特征数据与视觉词袋模型进行匹配，在视觉词袋模型中搜索最相近语义词袋模型，将最相近语义词袋模型数据作为目标人体行为预测数据。
S3.3，目标人体的行为危险等级大于临界阈值A时，安防巡视机器人进行预警，并对目标人体行为的识别和预测信息与视觉图像发送给数据终端。
本发明安防巡视机器人能够自动、有效准确地提取和理解监控范围内尤其是复杂动态环境下人体的行为动作，并能及时地发现可疑人员或者可疑行为并发出预警通知安全人员，快速有效地采取措施，最大程度地减少和阻止危险事件的发生。请补充本发明的好处***与现有的安防措施相比，本安防巡视机器人将智能监控与机器人技术相结合，能够极大的减少安防人员的工作量，打破了传统智能安防中智能监控受区域和视角的影响，增加了人体行为智能识别系统，并在其基础上创新性的使用人体行为的预测技术，以安防人员的观察角度对人体的行为动作做出可能的危险判断，并做出相应的反应。在智能安防领域，有就对的技术和实用价值优势。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的系统流程图。
图2为本发明视觉词库建立流程图。
图3为本发明危险目标人体的识别提取流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种复杂动态环境下目标行为识别与预测方法，如图1所示，步骤如下：
S1，建立数据库。
所述数据库包括人体行为数据库和语音识别数据库。
S1.1，建立人体行为数据库，如图2所示。
S1.1.1，获得训练样本视频。
S1.1.2，对训练样本视频采用HOG3D描述子方法得到描述时空兴趣点的特征向量。
S1.1.2.1，首先进行Harris3D兴趣点检测，建立视频序列f(x,y,t)的时空结构，并将训练视频与时空高斯核函数进行卷积运算：
S1.1.2.2，给定空间和时间尺度因子，并使用由时间和空间求导构成的三阶方阵和一个3D时空高斯窗口构造观测矩阵μ：
S1.1.2.3，定义兴趣点响应函数H：
其中，为观测矩阵μ的特征值；
其中，为观测矩阵μ的特征值；
表示分别对应视频序列f(x,y,t)在x、y、t、3个方向上的变化，取较大值时表示检测到了时空兴趣点，
S1.1.2.4，根据步骤S1.1.2.3计算训练视频所有像素点的H值。
S1.1.2.5，从得到的所有H值中选择正局部最大值对应的像素点为时空兴趣点。
S1.1.2.6，对时空兴趣点周围局部区域内的时空特征分别采用梯度计算、梯度方向量化、直方图计算和描述符计算的方法以获得HOG3D描述子梯度方向直方图特征向量
S1.1.3，对得到的特征向量采用K-means聚类方法进行聚类，构建视觉词袋模型。
S1.1.3.1，采用K-means聚类算法对从提取到的特征向量进行聚类，得到的各聚类中心构成视觉词库C＝{c1,c2,…,ci,…,cN},其中每个聚类中心ci则被认为是构成视觉词库的一个视觉单词。
S1.1.3.2，视觉词库建好后，对应给定的训练视频，并计算每一个特征向量与视觉词库中各视觉单词ci的欧式距离。
S1.1.3.3，将从训练视频中提取的特征向量归类到与其距离最短的视觉单词中，并通过统计各视频单词在训练视频中出现的频率构建词频表来表示给定的训练视频。
S1.1.4，利用基于概率潜在语义模型PLSA分类的方法，对视觉词袋模型进行语义危险级别分类，建立视觉行为词典，完成人体行为数据库的构建。
视觉词袋模型将训练视频的特征向量表示为词频表的形式之后，利用主题模型来挖掘特征向量与训练视频之间所隐含的主题，也就是训练视频中人体的动作行为，并将潜在语义主题进行危险等级分类，建立危险级别临界阈值A，完成人体危险行为的识别和预测功能的前期准备工作。
S1.2，语音识别数据库采用科大讯飞语音识别数据库。
S2，安防巡视机器人进行巡视采集周围环境信息处理并锁定目标，如图3所示。
S2.1，安防巡视机器人在人流量较大的复杂动态环境下进行巡视，并通过视觉传感器和声音传感器对周围环境进行实时采集。
S2.2，判断是否有声音信息，若有则进行步骤S2.3，若无则进行步骤S2.5。
S2.3，将声音的识别数据与语音数据库进行匹配，识别语音信息的危险程度；当危险程度高于设定级别时，则进行步骤S2.4，若未达到危险级别，则返回步骤S2.1进行巡视采集。
S2.4，对声源进行定位，通过位置信息利用视觉传感器锁定声源位置区域，对锁定区域内的人体在一段时间内的动作实时捕捉，并将实时动作与行为数据库内的数据匹配进行行为识别，并将相同时间内视觉行为识别信息与声音识别信息进行融合，判断区域内人体的危险级别，对高于临界阈值A的人体进行特征标记和目标锁定。
将获取的语音信息与科大讯飞语音识别数据库进行匹配识别，得到语义信息，利用图灵语义分析平台提取敏感危险词汇，当敏感词汇出现频率大于一定安全值C时，判定生源为危险目标。
生源定位采用麦克风阵列生源定位算法，声音传感器采用麦克风阵列形式，通过麦克风接受声音信号的时间差和声波速度计算生源空间位置坐标。
S2.5，对整个视觉区域内的人体动作数据进行相似度匹配，提取人体动作相似度差别大于阈值b的人体区域，并对此区域进行区域锁定和实时监控；然后对选出的区域内的人体在一段时间内的动作实时捕捉，并将实时动作与行为数据库数据匹配进行行为识别，判断该区域内的人体的危险级别，若高于设定危险级别，则对对应的人体进行特征标记和目标锁定；若未达到危险级别，则返回步骤S2.1继续巡视采集。
S3，从锁定区域内提取目标人体，识别目标人体的行为危险等级并进行行为预测和报警。
S3.1，采用快速人体检测方法提取目标人体。
复杂场景下的快速人体检测方法有两个模块：运动目标检测模块和人体目标判决模块，通过摄像机获取视频图像后，在运动目标检测模块内首先通过特征提取与图像匹配消除由于视觉获取方式存在的摄像机抖动，然后通过自适应阈值的背景减除法去除背景干扰提取前景目标信息，接着利用中值滤波、图像阈值分割、改进的形态学运算处理方法对前景目标信息进行预处理和优化；在人体目标判决模块，基于人体头部形状和面积特征进行目标判决实现人体检测。
S3.2，对提取的目标人体，对目标人体在t0～t1时刻行为特征信息与视觉词典中词袋模型进行匹配，识别目标人体的行为危险等级，并将目标人体的实时动作行为特征数据与视觉词袋模型进行匹配，在视觉词袋模型中搜索最相近语义词袋模型，将最相近语义词袋模型数据作为目标人体行为预测数据。
S3.3，目标人体的行为危险等级大于临界阈值A时，安防巡视机器人进行预警，并对目标人体行为的识别和预测信息与视觉图像发送给数据终端。
上面所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种复杂动态环境下目标行为识别与预测方法，其特征在于，步骤如下：
S1，建立数据库；
所述数据库包括人体行为数据库和语音识别数据库；
S2，安防巡视机器人进行巡视采集周围环境信息处理并锁定目标；
S3，从锁定区域内提取目标人体，识别目标人体的行为危险等级并进行行为预测和报警。
2.根据权利要求1所述的复杂动态环境下目标行为识别与预测方法，其特征在于，在步骤S1中，具体步骤为：
S1.1，建立人体行为数据库；
S1.2，语音识别数据库采用科大讯飞语音识别数据库。
3.根据权利要求1所述的复杂动态环境下目标行为识别与预测方法，其特征在于，在步骤S1.1中，具体步骤为：S1.1.1，获得训练样本视频；
S1.1.2，对训练样本视频采用HOG3D描述子方法得到描述时空兴趣点的特征向量；
S1.1.3，对得到的特征向量采用K-means聚类方法进行聚类，构建视觉词袋模型；
S1.1.4，利用基于概率潜在语义模型PLSA分类的方法，对视觉词袋模型进行语义危险级别分类，建立视觉行为词典，完成人体行为数据库的构建；
视觉词袋模型将训练视频的特征向量表示为词频表的形式之后，利用主题模型来挖掘特征向量与训练视频之间所隐含的主题，也就是训练视频中人体的动作行为，并将潜在语义主题进行危险等级分类，建立危险级别临界阈值A，完成人体危险行为的识别和预测功能的前期准备工作。
4.根据权利要求1所述的复杂动态环境下目标行为识别与预测方法，其特征在于，在步骤S1.1.2中，具体步骤为：S1.1.2.1，首先进行Harris3D兴趣点检测，建立视频序列f(x,y,t)的时空结构，并将训练视频与时空高斯核函数进行卷积运算：
S1.1.2.2，给定空间和时间尺度因子，并使用由时间和空间求导构成的三阶方阵和一个3D时空高斯窗口构造观测矩阵μ：
S1.1.2.3，定义兴趣点响应函数H：
其中，为观测矩阵μ的特征值；
表示分别对应视频序列f(x,y,t)在x、y、t、3个方向上的变化，取较大值时表示检测到了时空兴趣点，
S1.1.2.4，根据步骤S1.1.2.3计算训练视频所有像素点的H值；
S1.1.2.5，从得到的所有H值中选择正局部最大值对应的像素点为时空兴趣点；
S1.1.2.6，对时空兴趣点周围局部区域内的时空特征分别采用梯度计算、梯度方向量化、直方图计算和描述符计算的方法以获得HOG3D描述子梯度方向直方图特征向量 。
5.根据权利要求1所述的复杂动态环境下目标行为识别与预测方法，其特征在于，在步骤S1.1.3中，具体步骤为：
S1.1.3.1，采用K-means聚类算法对从提取到的特征向量进行聚类，得到的各聚类中心构成视觉词库C＝{c1,c2,…,ci,…,cN},其中每个聚类中心ci则被认为是构成视觉词库的一个视觉单词；
S1.1.3.2，视觉词库建好后，对应给定的训练视频，并计算每一个特征向量与视觉词库中各视觉单词ci的欧式距离；
S1.1.3.3，将从训练视频中提取的特征向量归类到与其欧式距离最短的视觉单词中，并通过统计各视频单词在训练视频中出现的频率构建词频表来表示给定的训练视频。
6.根据权利要求1所述的复杂动态环境下目标行为识别与预测方法，其特征在于，在步骤S2中，具体步骤为：
S2.1，安防巡视机器人在人流量较大的复杂动态环境下进行巡视，并通过视觉传感器和声音传感器对周围环境进行实时采集；
S2.2，判断是否有声音信息，若有则进行步骤S2.3，若无则进行步骤S2.5；
S2.3，将声音的识别数据与语音数据库进行匹配，识别语音信息的危险程度；当危险程度高于设定级别时，则进行步骤S2.4，若未达到危险级别，则返回步骤S2.1进行巡视采集；
S2.4，对声源进行定位，通过位置信息利用视觉传感器锁定声源位置区域，对锁定区域内的人体在一段时间内的动作实时捕捉，并将实时动作与行为数据库内的数据匹配进行行为识别，并将相同时间内视觉行为识别信息与声音识别信息进行融合，判断区域内人体的危险级别，对高于临界阈值A的人体进行特征标记和目标锁定；
将获取的语音信息与科大讯飞语音识别数据库进行匹配识别，得到语义信息，利用图灵语义分析平台提取敏感危险词汇，当敏感词汇出现频率大于一定安全值C时，判定生源为危险目标；
生源定位采用麦克风阵列生源定位算法，声音传感器采用麦克风阵列形式，通过麦克风接受声音信号的时间差和声波速度计算生源空间位置坐标；
S2.5，对整个视觉区域内的人体动作数据进行相似度匹配，提取人体动作相似度差别大于阈值b的人体区域，并对此区域进行区域锁定和实时监控；然后对选出的区域内的人体在一段时间内的动作实时捕捉，并将实时动作与行为数据库数据匹配进行行为识别，判断该区域内的人体的危险级别，若高于设定危险级别，则对对应的人体进行特征标记和目标锁定；若未达到危险级别，则返回步骤S2.1继续巡视采集。
7.根据权利要求1所述的复杂动态环境下目标行为识别与预测方法，其特征在于，在步骤S3中，具体步骤为：
S3.1，采用快速人体检测方法提取目标人体；
复杂场景下的快速人体检测方法有两个模块：运动目标检测模块和人体目标判决模块，通过摄像机获取视频图像后，在运动目标检测模块内首先通过特征提取与图像匹配消除由于视觉获取方式存在的摄像机抖动，然后通过自适应阈值的背景减除法去除背景干扰提取前景目标信息，接着利用中值滤波、图像阈值分割、改进的形态学运算处理方法对前景目标信息进行预处理和优化；在人体目标判决模块，基于人体头部形状和面积特征进行目标判决实现人体检测；
S3.2，对提取的目标人体，对目标人体在t0～t1时刻行为特征信息与视觉词典中词袋模型进行匹配，识别目标人体的行为危险等级，并将目标人体的实时动作行为特征数据与视觉词袋模型进行匹配，在视觉词袋模型中搜索最相近语义词袋模型，将最相近语义词袋模型数据作为目标人体行为预测数据；
S3.3，目标人体的行为危险等级大于临界阈值A时，安防巡视机器人进行预警，并对目标人体行为的识别和预测信息与视觉图像发送给数据终端。
CN201810354010.3A 2018-04-19 2018-04-19 一种复杂动态环境下目标行为识别与预测方法 Pending CN108647582A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810354010.3A CN108647582A (zh) 2018-04-19 2018-04-19 一种复杂动态环境下目标行为识别与预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810354010.3A CN108647582A (zh) 2018-04-19 2018-04-19 一种复杂动态环境下目标行为识别与预测方法

Publications (1)

Publication Number Publication Date
CN108647582A true CN108647582A (zh) 2018-10-12

Family

ID=63746918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810354010.3A Pending CN108647582A (zh) 2018-04-19 2018-04-19 一种复杂动态环境下目标行为识别与预测方法

Country Status (1)

Country Link
CN (1) CN108647582A (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241947A (zh) * 2018-10-15 2019-01-18 盎锐（上海）信息科技有限公司 用于人流动量监控的信息处理装置及方法
CN109740559A (zh) * 2019-01-10 2019-05-10 珠海格力电器股份有限公司 身份识别方法、装置及系统
CN109783823A (zh) * 2019-03-07 2019-05-21 百度在线网络技术（北京）有限公司 语音监控方法、装置、设备及计算机可读介质
CN109857114A (zh) * 2019-02-26 2019-06-07 温州市职业中等专业学校 校园移动智能机器人及校园智能管理系统
CN109993091A (zh) * 2019-03-25 2019-07-09 浙江大学 一种基于背景消除的监控视频目标检测方法
CN110276023A (zh) * 2019-06-20 2019-09-24 北京百度网讯科技有限公司 Poi变迁事件发现方法、装置、计算设备和介质
CN110428582A (zh) * 2019-06-28 2019-11-08 苏州浪潮智能科技有限公司 一种婴幼儿睡眠防护的方法和系统
CN110675585A (zh) * 2019-09-23 2020-01-10 北京华毅东方展览有限公司 一种展会安全控制系统
CN110796071A (zh) * 2019-10-28 2020-02-14 广州博衍智能科技有限公司 行为检测方法、系统、机器可读介质及设备
CN111145456A (zh) * 2018-11-06 2020-05-12 天地融科技股份有限公司 一种基于背景协同的风险检测方法、装置及系统
CN111191511A (zh) * 2019-12-03 2020-05-22 北京联合大学 一种监狱动态实时行为识别方法及系统
CN111292508A (zh) * 2019-09-27 2020-06-16 深圳市威富视界有限公司 银行安全警示系统及其警示方法
CN111357011A (zh) * 2019-01-31 2020-06-30 深圳市大疆创新科技有限公司 环境感知方法、装置以及控制方法、装置和车辆
CN111580500A (zh) * 2020-05-11 2020-08-25 吉林大学 一种针对自动驾驶汽车安全性的评价方法
CN111723598A (zh) * 2019-03-18 2020-09-29 北京邦天信息技术有限公司 机器视觉系统及其实现方法
CN111814081A (zh) * 2020-07-08 2020-10-23 北京嘀嘀无限科技发展有限公司 高危路口检测方法、检测模型建立方法、装置、电子设备和可读存储介质
CN112309065A (zh) * 2020-09-21 2021-02-02 浙江宇视科技有限公司 一种警戒音的提示方法、装置、存储介质及电子设备
CN112418091A (zh) * 2020-11-23 2021-02-26 单昂 一种基于大数据的智慧校园安防数据处理方法
CN112454365A (zh) * 2020-12-03 2021-03-09 湖南长城科技信息有限公司 基于人体行为识别技术的人机交互安全监控系统
CN112507869A (zh) * 2020-12-07 2021-03-16 广州博进信息技术有限公司 基于机器视觉的水下目标物行为观测和水体环境监测方法
CN112775983A (zh) * 2020-12-25 2021-05-11 张月崧 智能防卫保护方法及智能保镖机器人
CN112802303A (zh) * 2021-02-09 2021-05-14 成都视海芯图微电子有限公司 一种基于3d视觉的实时风险预测方法及系统
CN113012386A (zh) * 2020-12-25 2021-06-22 贵州北斗空间信息技术有限公司 一种安防报警多级联动快速推送的方法
CN113191209A (zh) * 2021-04-09 2021-07-30 电子科技大学 基于深度学习的智能预警方法
CN113297954A (zh) * 2021-05-21 2021-08-24 中铁第四勘察设计院集团有限公司 一种用于有轨电车的检票方法、系统、计算机设备及可读介质
CN113378648A (zh) * 2021-05-19 2021-09-10 上海可深信息科技有限公司 一种人工智能港口码头监控方法
CN113870525A (zh) * 2021-09-24 2021-12-31 国汽智控(北京)科技有限公司 电子监控方法、装置、设备、存储介质、程序产品
CN114207681A (zh) * 2019-08-02 2022-03-18 索尼集团公司 信息处理设备、方法和程序
CN114666546A (zh) * 2022-03-24 2022-06-24 中国铁塔股份有限公司江苏省分公司 一种通信铁塔用监控方法、装置及通信铁塔
CN115410324A (zh) * 2022-10-28 2022-11-29 山东世拓房车集团有限公司 一种基于人工智能的房车夜间安防系统及方法
CN117671784A (zh) * 2023-12-04 2024-03-08 北京中航智信建设工程有限公司 一种基于视频分析的人体行为分析方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530633A (zh) * 2016-09-28 2017-03-22 中国人民解放军国防科学技术大学 一种智能事中处置的安防方法及系统
CN106650617A (zh) * 2016-11-10 2017-05-10 江苏新通达电子科技股份有限公司 一种基于概率潜在语义分析的行人异常识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530633A (zh) * 2016-09-28 2017-03-22 中国人民解放军国防科学技术大学 一种智能事中处置的安防方法及系统
CN106650617A (zh) * 2016-11-10 2017-05-10 江苏新通达电子科技股份有限公司 一种基于概率潜在语义分析的行人异常识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张亚等: "基于声源定位技术的智能视频监控系统", 《电子技术应用》 *
朱旭东: "基于语义主题模型的人体异常行为识别研究", 《中国博士学位论文全文数据库（电子期刊）信息科技辑》 *
李磊等: "智能视频监控系统的声源定位设计与实现", 《计算机仿真》 *
李龙: "视频中人体行为识别的研究", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 *

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241947A (zh) * 2018-10-15 2019-01-18 盎锐（上海）信息科技有限公司 用于人流动量监控的信息处理装置及方法
CN111145456A (zh) * 2018-11-06 2020-05-12 天地融科技股份有限公司 一种基于背景协同的风险检测方法、装置及系统
CN109740559A (zh) * 2019-01-10 2019-05-10 珠海格力电器股份有限公司 身份识别方法、装置及系统
CN111357011B (zh) * 2019-01-31 2024-04-30 深圳市大疆创新科技有限公司 环境感知方法、装置以及控制方法、装置和车辆
CN111357011A (zh) * 2019-01-31 2020-06-30 深圳市大疆创新科技有限公司 环境感知方法、装置以及控制方法、装置和车辆
CN109857114A (zh) * 2019-02-26 2019-06-07 温州市职业中等专业学校 校园移动智能机器人及校园智能管理系统
CN109783823A (zh) * 2019-03-07 2019-05-21 百度在线网络技术（北京）有限公司 语音监控方法、装置、设备及计算机可读介质
CN111723598A (zh) * 2019-03-18 2020-09-29 北京邦天信息技术有限公司 机器视觉系统及其实现方法
CN109993091A (zh) * 2019-03-25 2019-07-09 浙江大学 一种基于背景消除的监控视频目标检测方法
CN110276023B (zh) * 2019-06-20 2021-04-02 北京百度网讯科技有限公司 Poi变迁事件发现方法、装置、计算设备和介质
CN110276023A (zh) * 2019-06-20 2019-09-24 北京百度网讯科技有限公司 Poi变迁事件发现方法、装置、计算设备和介质
CN110428582A (zh) * 2019-06-28 2019-11-08 苏州浪潮智能科技有限公司 一种婴幼儿睡眠防护的方法和系统
CN114207681A (zh) * 2019-08-02 2022-03-18 索尼集团公司 信息处理设备、方法和程序
CN110675585A (zh) * 2019-09-23 2020-01-10 北京华毅东方展览有限公司 一种展会安全控制系统
CN111292508A (zh) * 2019-09-27 2020-06-16 深圳市威富视界有限公司 银行安全警示系统及其警示方法
CN110796071A (zh) * 2019-10-28 2020-02-14 广州博衍智能科技有限公司 行为检测方法、系统、机器可读介质及设备
CN110796071B (zh) * 2019-10-28 2021-02-19 广州云从博衍智能科技有限公司 行为检测方法、系统、机器可读介质及设备
CN111191511A (zh) * 2019-12-03 2020-05-22 北京联合大学 一种监狱动态实时行为识别方法及系统
CN111191511B (zh) * 2019-12-03 2023-08-18 北京联合大学 一种监狱动态实时行为识别方法及系统
CN111580500A (zh) * 2020-05-11 2020-08-25 吉林大学 一种针对自动驾驶汽车安全性的评价方法
CN111580500B (zh) * 2020-05-11 2022-04-12 吉林大学 一种针对自动驾驶汽车安全性的评价方法
CN111814081A (zh) * 2020-07-08 2020-10-23 北京嘀嘀无限科技发展有限公司 高危路口检测方法、检测模型建立方法、装置、电子设备和可读存储介质
CN112309065A (zh) * 2020-09-21 2021-02-02 浙江宇视科技有限公司 一种警戒音的提示方法、装置、存储介质及电子设备
CN112418091A (zh) * 2020-11-23 2021-02-26 单昂 一种基于大数据的智慧校园安防数据处理方法
CN112418091B (zh) * 2020-11-23 2021-07-13 常州易学网络科技有限公司 一种基于大数据的智慧校园安防数据处理方法
CN112454365A (zh) * 2020-12-03 2021-03-09 湖南长城科技信息有限公司 基于人体行为识别技术的人机交互安全监控系统
CN112507869A (zh) * 2020-12-07 2021-03-16 广州博进信息技术有限公司 基于机器视觉的水下目标物行为观测和水体环境监测方法
CN112507869B (zh) * 2020-12-07 2024-04-09 广州博进信息技术有限公司 基于机器视觉的水下目标物行为观测和水体环境监测方法
CN113012386A (zh) * 2020-12-25 2021-06-22 贵州北斗空间信息技术有限公司 一种安防报警多级联动快速推送的方法
CN112775983A (zh) * 2020-12-25 2021-05-11 张月崧 智能防卫保护方法及智能保镖机器人
CN112802303A (zh) * 2021-02-09 2021-05-14 成都视海芯图微电子有限公司 一种基于3d视觉的实时风险预测方法及系统
CN113191209A (zh) * 2021-04-09 2021-07-30 电子科技大学 基于深度学习的智能预警方法
CN113378648A (zh) * 2021-05-19 2021-09-10 上海可深信息科技有限公司 一种人工智能港口码头监控方法
CN113297954A (zh) * 2021-05-21 2021-08-24 中铁第四勘察设计院集团有限公司 一种用于有轨电车的检票方法、系统、计算机设备及可读介质
CN113870525A (zh) * 2021-09-24 2021-12-31 国汽智控(北京)科技有限公司 电子监控方法、装置、设备、存储介质、程序产品
CN114666546A (zh) * 2022-03-24 2022-06-24 中国铁塔股份有限公司江苏省分公司 一种通信铁塔用监控方法、装置及通信铁塔
CN115410324A (zh) * 2022-10-28 2022-11-29 山东世拓房车集团有限公司 一种基于人工智能的房车夜间安防系统及方法
CN117671784A (zh) * 2023-12-04 2024-03-08 北京中航智信建设工程有限公司 一种基于视频分析的人体行为分析方法及系统

Similar Documents

Publication Publication Date Title
CN108647582A (zh) 一种复杂动态环境下目标行为识别与预测方法
CN111898514B (zh) 一种基于目标检测与动作识别的多目标视觉监管方法
Harrou et al. An integrated vision-based approach for efficient human fall detection in a home environment
CN108447219A (zh) 基于视频图像的火灾检测系统及方法
CN111353338B (zh) 一种基于营业厅视频监控的能效改进方法
CN112686090A (zh) 一种公交车内异常行为智能监控系统
CN111738218B (zh) 人体异常行为识别系统及方法
CN112633057A (zh) 一种公交车内异常行为智能监控方法
CN116189305B (zh) 一种基于神经网络模型嵌入的人员危险动作识别方法
CN108108651B (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
CN106228709A (zh) 一种智慧金睛识别单人加钞报警方法和装置
CN113283369A (zh) 一种港口码头作业人员安全防护措施监控系统及方法
Serpa et al. Evaluating pose estimation as a solution to the fall detection problem
CN112800975A (zh) 一种基于图像处理的安检通道内行为识别方法
CN106991400A (zh) 一种火灾烟雾检测方法及装置
CN115953137A (zh) 一种矿山智能化管理方法和系统
CN115690653A (zh) 基于ai行为识别实现护理员异常护理行为的监测及预警
CN115761537A (zh) 一种面向动态特征补充机制的输电线路异物入侵识别方法
CN115205786A (zh) 手机盗拍行为在线自动识别告警方法
CN113223081A (zh) 一种基于背景建模与深度学习的高空抛物检测方法及系统
KR20230042926A (ko) 폭력감지장치 및 방법, 이를 포함하는 스마트 폭력감시시스템
Yang et al. Mask wearing specification detection based on cascaded convolutional neural network
Patino et al. Loitering behaviour detection of boats at sea
CN112200145A (zh) 一种公共安全的远程识别方法
Han et al. Neuromorphic convolutional recurrent neural network for road safety or safety near the road

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181012