CN109344705B - 一种行人行为检测方法和系统 - Google Patents

一种行人行为检测方法和系统 Download PDF

Info

Publication number
CN109344705B
CN109344705B CN201810981613.6A CN201810981613A CN109344705B CN 109344705 B CN109344705 B CN 109344705B CN 201810981613 A CN201810981613 A CN 201810981613A CN 109344705 B CN109344705 B CN 109344705B
Authority
CN
China
Prior art keywords
pedestrian
behavior
skeleton
abnormal
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810981613.6A
Other languages
English (en)
Other versions
CN109344705A (zh
Inventor
王锋刚
黄玉
张仁辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fenghuo Zhongzhi Digital Technology Co ltd
Original Assignee
Guangzhou Fenghuo Zhongzhi Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fenghuo Zhongzhi Digital Technology Co ltd filed Critical Guangzhou Fenghuo Zhongzhi Digital Technology Co ltd
Priority to CN201810981613.6A priority Critical patent/CN109344705B/zh
Publication of CN109344705A publication Critical patent/CN109344705A/zh
Application granted granted Critical
Publication of CN109344705B publication Critical patent/CN109344705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种行人行为检测方法和系统，其中方法包括有以下步骤：利用监控设备采集行人视频；对视频中的图像帧进行处理得到行人的骨骼信息，所述骨骼信息包括有骨骼像素和非骨骼像素；建立行人的骨骼模型；利用骨骼模型和视频图像帧的骨骼信息计算行人的行为概率；根据行人的行为概率判断行人的行为是否存在异常。本发明通过采集行人视频对图像帧中行人的骨骼像素和非骨骼像素进行分析，能够获取行人更加细微的行为动作；同时，还可结合神经网络模型对分析结果进行准确分类，基于行为概率的计算进行判断，提高判断的准确性，满足利用视频技术进行自动化侦查的能力。本发明作为一种行人行为检测方法和系统可广泛应用于视频数据处理领域。

Description

一种行人行为检测方法和系统
技术领域
本发明涉及视频数据处理领域，尤其是一种行人行为检测方法和系统。
背景技术
行人违法行为在城市公路、城市快速通道上经常发生，严重影响了道路交通安全管理、社会治安管理。目前，实现整治行人异常的方法，主要由治安管理人员现场站岗、现场监督，对于已经发生的违法行为只能人工的查询监控视频来寻找线索；此类方法费时费力，而且效率不高，严重制约社会治安管理，大大浪费了人力。
现有技术中提供了基于卷积神经网络与支持向量机的人体行为识别方法(CN108052896A)，其技术方案通过人体的骨骼序列图来识别人体行为，识别过程中仅利用骨骼序列不利于对行为细节的识别，例如在不法分子实施偷窃行为时，由于动作隐蔽难以发现。
发明内容
为了解决上述技术问题，本发明的目的是：提供一种实现行人行为细节进行准确识别分析的检测方法。
为了解决上述技术问题，本发明的另一目的是：提供一种实现行人行为细节进行准确识别分析的检测系统。
本发明所采用的技术方案是：一种行人行为检测方法，包括有以下步骤：
利用监控设备采集行人视频；
对视频中的图像帧进行处理得到行人的骨骼信息，所述骨骼信息包括有骨骼像素和非骨骼像素；
建立行人的骨骼模型；
利用骨骼模型和视频图像帧的骨骼信息计算行人的行为概率；
根据行人的行为概率判断行人的行为是否存在异常。
进一步，所述对视频中的图像帧进行处理得到行人的骨骼信息这一步骤中，具体采用图像分析方法或深度学习方法对视频中的图像帧进行处理。
进一步，所述利用骨骼模型和视频图像帧的骨骼信息计算行人的行为概率这一步骤，具体为：骨骼模型和视频图像帧的骨骼信息输入至神经网络模型，输出行人行为的分类结果和对应的概率。
进一步，所述神经网络模型为LSTM循环网络模型。
进一步，所述行人行为的分类结果包括有正常行为和异常行为，若异常行为的概率超过0.65，则判断行人的行为存在异常。
本发明所采用的技术方案是：一种行人行为检测系统，包括有
数据采集模块，用于利用监控设备采集行人视频；
骨骼信息分析模块，用于对视频中的图像帧进行处理得到行人的骨骼信息，所述骨骼信息包括有骨骼像素和非骨骼像素；
骨骼模型生成模块，用于建立行人的骨骼模型；
行为概率计算模块，用于利用骨骼模型和视频图像帧的骨骼信息计算行人的行为概率；
异常判断模块，用于根据行人的行为概率判断行人的行为是否存在异常。
进一步，所述骨骼信息分析模块采用图像分析方法或深度学习方法对视频中的图像帧进行处理得到行人的骨骼信息。
进一步，所述行为概率计算模块采用神经网络模型，用于将骨骼模型和视频图像帧的骨骼信息输入至神经网络模型并输出行人行为的分类结果和对应的概率。
进一步，所述神经网络模型为LSTM循环网络模型。
进一步，所述行人行为的分类结果包括有正常行为和异常行为，所述异常判断模块用于在异常行为的概率超过0.65时判断行人的行为存在异常。
本发明的有益效果是：通过采集行人视频对图像帧中行人的骨骼像素和非骨骼像素进行分析，能够获取行人更加细微的行为动作；同时，还可结合神经网络模型对分析结果进行准确分类，基于行为概率的计算进行判断，提高判断的准确性，满足利用视频技术进行自动化侦查的能力。
附图说明
图1为本发明方法的步骤流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明：
参照图1，一种行人行为检测方法，包括有以下步骤：
步骤一：利用监控设备采集行人视频；
步骤二：对视频中的图像帧进行处理得到行人的骨骼信息，所述骨骼信息包括有骨骼像素和非骨骼像素；
进一步作为优选的实施方式，步骤二中具体采用图像分析方法或深度学习方法对视频中的图像帧进行处理。
步骤三：建立行人的骨骼模型；
以卷积神经网络为例，首先建立建立5阶段的卷积网络，计算第K(0≤K≤4)阶段感受野的大小rf(k)；建立侧输出层
Figure BDA0001778708750000041
Figure BDA0001778708750000042
使得每阶段输出的通道数等于阶段数，对每个侧输出层sok计算它与骨骼样本的交叉熵Esok；对各侧输出层中对应通道数据进行融合，即将通道/>
Figure BDA0001778708750000043
进行融合，可以得出5个单通道的融合层Fso＝{Fso(k)|k∈{0，1，..，5}}；计算融合层与骨骼样本的交叉熵EFso，并与Eso进行关联得出损失函数；最后进行迭代训练，得出模型参数；
根据训练好的骨骼模型，计算出融合层Fso；对融合层按通道维度(总共有5通道)进行归一化；对Fso(0)进行颜色反转，即
Figure BDA0001778708750000045
Figure BDA0001778708750000044
便是物体的骨骼图片；
步骤四：利用骨骼模型和视频图像帧的骨骼信息计算行人的行为概率；
进一步作为优选的实施方式，所述利用骨骼模型和视频图像帧的骨骼信息计算行人的行为概率这一步骤，具体为：骨骼模型和视频图像帧的骨骼信息输入至神经网络模型，输出行人行为的分类结果和对应的概率。
进一步作为优选的实施方式，所述神经网络模型为LSTM循环网络模型，采用LSTM循环网络模型可得出当前时刻段当前行人的分类行为概率，尤其是同时对骨骼像素和非骨骼像素进行分析时，能够对行人的细微动作进行分析处理。例如背景技术中提到的不法分子实施偷窃行为时，由于动作隐蔽难以发现，在本发明具体实施方式中，由于之前步骤中还输入了非骨骼像素进行分析，然后再步骤四中通过结合LSTM循环网络模型进行分类，并且获取对应行为概率，从而辅助进行异常行为的判断。
步骤五：根据行人的行为概率判断行人的行为是否存在异常。
进一步作为优选的实施方式，所述行人行为的分类结果包括有正常行为和异常行为，若异常行为的概率超过0.65，则判断行人的行为存在异常，必要时还可通过网络向上级平台进行报警处理。
进一步作为优选的实施方式，所述异常行为还可细分为交通违章行为、扰乱治安行为、潜在危险行为、犯罪嫌疑行为等等。
作为本发明第二实施例，与上述方法所对应的一种行人行为检测系统，包括有
数据采集模块，用于利用监控设备采集行人视频；
骨骼信息分析模块，用于对视频中的图像帧进行处理得到行人的骨骼信息，所述骨骼信息包括有骨骼像素和非骨骼像素；
骨骼模型生成模块，用于建立行人的骨骼模型；
行为概率计算模块，用于利用骨骼模型和视频图像帧的骨骼信息计算行人的行为概率；
异常判断模块，用于根据行人的行为概率判断行人的行为是否存在异常。
进一步作为优选的实施方式，所述骨骼信息分析模块采用图像分析方法或深度学习方法对视频中的图像帧进行处理得到行人的骨骼信息。
进一步作为优选的实施方式，所述行为概率计算模块采用神经网络模型，用于将骨骼模型和视频图像帧的骨骼信息输入至神经网络模型并输出行人行为的分类结果和对应的概率。
进一步作为优选的实施方式，所述神经网络模型为LSTM循环网络模型。
进一步作为优选的实施方式，所述行人行为的分类结果包括有正常行为和异常行为，所述异常判断模块用于在异常行为的概率超过0.65时判断行人的行为存在异常。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可以作出种种的等同变换或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.一种行人行为检测方法，其特征在于，包括有以下步骤：
利用监控设备采集行人视频；
对视频中的图像帧进行处理得到行人的骨骼信息，所述骨骼信息包括有骨骼像素和非骨骼像素，其中，所述非骨骼像素用于辅助异常行为判断；
建立行人的骨骼模型；
将所述骨骼模型和所述骨骼信息输入至神经网络模型，输出行人行为的分类结果和对应的概率，其中，所述神经网络模型为LSTM循环网络模型；
根据所述分类结果和对应的所述概率判断行人的行为是否存在异常。
2.根据权利要求1所述的一种行人行为检测方法，其特征在于：所述对视频中的图像帧进行处理得到行人的骨骼信息这一步骤中，具体采用图像分析方法或深度学习方法对视频中的图像帧进行处理。
3.根据权利要求1所述的一种行人行为检测方法，其特征在于：所述行人行为的分类结果包括有正常行为和异常行为，若异常行为的概率超过0.65，则判断行人的行为存在异常。
4.一种行人行为检测系统，其特征在于：包括有
数据采集模块，用于利用监控设备采集行人视频；
骨骼信息分析模块，用于对视频中的图像帧进行处理得到行人的骨骼信息，所述骨骼信息包括有骨骼像素和非骨骼像素，其中，所述非骨骼像素用于辅助异常行为判断；
骨骼模型生成模块，用于建立行人的骨骼模型；
行为概率计算模块，用于所述骨骼模型和所述骨骼信息输入至神经网络模型，输出行人行为的分类结果和对应的概率，其中，所述神经网络模型为LSTM循环网络模型；
异常判断模块，用于根据所述分类结果和对应的所述概率判断行人的行为是否存在异常。
5.根据权利要求4所述的一种行人行为检测系统，其特征在于：所述骨骼信息分析模块采用图像分析方法或深度学习方法对视频中的图像帧进行处理得到行人的骨骼信息。
6.根据权利要求4所述的一种行人行为检测系统，其特征在于：所述行人行为的分类结果包括有正常行为和异常行为，所述异常判断模块用于在异常行为的概率超过0.65时判断行人的行为存在异常。
CN201810981613.6A 2018-08-27 2018-08-27 一种行人行为检测方法和系统 Active CN109344705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810981613.6A CN109344705B (zh) 2018-08-27 2018-08-27 一种行人行为检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810981613.6A CN109344705B (zh) 2018-08-27 2018-08-27 一种行人行为检测方法和系统

Publications (2)

Publication Number Publication Date
CN109344705A CN109344705A (zh) 2019-02-15
CN109344705B true CN109344705B (zh) 2023-05-23

Family

ID=65291608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810981613.6A Active CN109344705B (zh) 2018-08-27 2018-08-27 一种行人行为检测方法和系统

Country Status (1)

Country Link
CN (1) CN109344705B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472604B (zh) * 2019-08-20 2021-05-14 中国计量大学 一种基于视频的行人与人群行为识别方法
CN110781771A (zh) * 2019-10-08 2020-02-11 北京邮电大学 一种基于深度学习的异常行为实时监测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN108052896A (zh) * 2017-12-12 2018-05-18 广东省智能制造研究所 基于卷积神经网络与支持向量机的人体行为识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010141419A2 (en) * 2009-06-01 2010-12-09 Raytheon Company Non-kinematic behavioral mapping
US8929600B2 (en) * 2012-12-19 2015-01-06 Microsoft Corporation Action recognition based on depth maps
US20160042227A1 (en) * 2014-08-06 2016-02-11 BAE Systems Information and Electronic Systems Integraton Inc. System and method for determining view invariant spatial-temporal descriptors for motion detection and analysis
CN105718857B (zh) * 2016-01-13 2019-06-04 兴唐通信科技有限公司 一种人体异常行为检测方法及系统
CN108229355B (zh) * 2017-12-22 2021-03-23 北京市商汤科技开发有限公司 行为识别方法和装置、电子设备、计算机存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN108052896A (zh) * 2017-12-12 2018-05-18 广东省智能制造研究所 基于卷积神经网络与支持向量机的人体行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Chunyu Chen 等.Detection of Anomalous Crowd Behavior Based on the Acceleration Feature.《IEEE SENSORS JOURNAL》.2015,第15卷(第15期),7252-7261. *
艾达 等.基于监控视频的行人异常行为检测技术研究.《视频应用与工程》.2018,第42卷(第42期),107-112. *

Also Published As

Publication number Publication date
CN109344705A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN110390262B (zh) 视频分析方法、装置、服务器及存储介质
CN102610102B (zh) 一种嫌疑车辆查控方法及系统
CN108446700B (zh) 一种基于对抗攻击的车牌攻击生成方法
KR101748121B1 (ko) 객체 인지 기반의 실시간 영상 검지 시스템 및 그 방법
CN105844238A (zh) 视频鉴别方法及系统
CN112200081A (zh) 异常行为识别方法、装置、电子设备及存储介质
CN111241343A (zh) 一种道路信息监控与分析检测方法、智慧交通控制系统
CN101394316B (zh) 基于完全无向图的贝叶斯的网络入侵分类方法
CN112329719B (zh) 行为识别方法、装置以及计算机可读存储介质
CN111008574A (zh) 一种基于形体识别技术的重点人员轨迹分析方法
KR102015945B1 (ko) 자율주행을 위한 학습대상 이미지 패키징 장치 및 방법
CN109344705B (zh) 一种行人行为检测方法和系统
CN111723656B (zh) 一种基于YOLO v3与自优化的烟雾检测方法及装置
CN113297926B (zh) 行为检测识别方法及系统
CN111738044A (zh) 一种基于深度学习行为识别的校园暴力评估方法
CN116824513B (zh) 基于深度学习的钻探过程自动识别监管方法及系统
CN110620760A (zh) 一种SVM和贝叶斯网络的FlexRay总线融合入侵检测方法和检测装置
CN110121109A (zh) 面向监控系统数字视频实时溯源方法、城市视频监控系统
CN116311071A (zh) 一种融合帧差和ca的变电站周界异物识别方法及系统
CN117292338A (zh) 基于视频流解析的车辆事故识别和分析方法
CN111767881A (zh) 一种基于ai技术的自适应人群密度估计装置
CN113014876B (zh) 视频监控方法、装置、电子设备及可读存储介质
CN113963373A (zh) 一种基于视频图像动态检测与跟踪算法系统及方法
CN116778460A (zh) 一种基于图像识别的疲劳驾驶识别方法
CN108009480A (zh) 一种基于特征识别的图像人体行为检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant