CN108509889A - 一种基于肤色分割的近景异常行为检测方法及装置 - Google Patents

一种基于肤色分割的近景异常行为检测方法及装置 Download PDF

Info

Publication number
CN108509889A
CN108509889A CN201810257192.2A CN201810257192A CN108509889A CN 108509889 A CN108509889 A CN 108509889A CN 201810257192 A CN201810257192 A CN 201810257192A CN 108509889 A CN108509889 A CN 108509889A
Authority
CN
China
Prior art keywords
skin color
hand
information
palm
autoencoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810257192.2A
Other languages
English (en)
Inventor
王鸿鹏
尤磊
陈夫
陈一夫
张春慨
薛睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology Shenzhen
Original Assignee
Harbin Institute of Technology Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology Shenzhen filed Critical Harbin Institute of Technology Shenzhen
Priority to CN201810257192.2A priority Critical patent/CN108509889A/zh
Publication of CN108509889A publication Critical patent/CN108509889A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于肤色分割的近景异常行为检测方法及装置，可完成对视频中的人体近景行为进行检测，所述方法包括：采用基于深度学习的肤色分割算法对视频进行背景去除，以保留当前图像中的肤色区域。另外通过手掌几何特征对肤色区域进行建模，以获得手掌位置。最后通过光流能量模型对运动的手部进行能量判断以实现行为异常与否的判断。本发明基于肤色分割可以有效的过滤背景中的干扰信息，对近景人体行为进行检测。

Description

一种基于肤色分割的近景异常行为检测方法及装置
技术领域
本发明涉及人工智能领域，尤其涉及图像处理方法和深度学习方法。
背景技术
异常行为检测是计算机视觉领域的研究热点之一，也是智能安防的重要组成部分。随着视频拍摄设备的普及，越来越多的以行为人或者行为人的手部为焦点的视频出现在网络中。与传统的远景异常行为检测不同，这些近景的视频主要的关注点在图像中特定的人员或者该特定人员的手部。
现有方法主要有以下的缺点：
一、在肤色分割方面，传统的肤色分割方法，例如颜色空间法，贝叶斯法，高斯模型法等，易受到人员变化，肤色变化以及类肤色物体的影响，而不能满足视频中肤色多样性的要求。
二、现有的行为检测方法多关注于远景异常行为检测，即视频拍摄位置与行为人之间的距离超过10米，行为检测方法以行为人为单位进行检测和分析。且大部分模型需要对监控的背景进行建模，不能满足近景异常行为检查中场景多样性的要求。
发明内容
为了实现近景的异常行为检测，本发明提供了一种基于肤色分割的近景异常行为检测方法及装置，旨在实现对近景视频中的人体行为进行有效的检测。
为了实现上述目的，本发明采取如下技术方案：
一种基于肤色分割的近景异常行为检测方法，所述方法包括以下主要步骤：
S1、构建肤色数据集：收集带有噪点信息的肤色数据与非肤色数据；
S2、深度自编码器训练：将深度自编码器在构建的肤色数据集上进行训练和验证；
S3、手部几何模型建立：采用肤色信息，手掌信息和指尖信息构建手部的二维几何模型；
S4、手部追踪：追踪手部运动轨迹；
S5、光流能量计算：对运动的手部进行光流能量计算，判断其能量值是否异常。
另一方面，本发明还提供了一种基于肤色分割的近景异常行为检测装置，所述装置包括：
肤色数据集构建模块，用于收集带有噪点信息的肤色数据与非肤色数据；
深度自编码器训练模块，用于将深度自编码器在构建的肤色数据集上进行训练和验证；
手部几何模型建立模块，用于采用肤色信息，手掌信息和指尖信息构建手部的二维几何模型；
手部追踪模块，用于追踪手部运动轨迹；
光流能量计算模块，用于对运动的手部进行光流能量计算，判断其能量值是否异常。
本发明的有益效果是：本发明的方法可以应对视频中肤色多样性的问题，在去除背景干扰信息的同时，保留当前场景下的运动肤色区域。通过在肤色分割后的图像上进行手掌几何模型建模，运动轨迹追踪和光流能量计算，实现近景的异常行为检测。从方法先进性层面，本发明有效的克服的场景变化，人员变化带来的视频分析难题。通过结合肤色特征，几何特征和光流能量特征，对进行异常行为的能量进行的判断，有效的弥补了远景异常行为检测在这方面的不足。
附图说明
图1是本发明的方法流程图。
具体实施方式
下面结合附图说明及具体实施方式对本发明进一步说明。
请参阅图1，本发明的基于肤色分割的近景异常行为检测方法的各个步骤具体实施方式如下。
构建肤色数据集：正例样本块采集来自人体的额头、手臂，腿部、脸部等区域，而负样本则是从背景中随机选取。在正例样本中，部分肤色块包含有非肤色信息，但是这部分非肤色信息在当前块中占据面积比肤色信息小。同样的，负例样本中也包含一部分带有肤色信息的非肤色块。在这些肤色块中，本发明可采用尺寸更小的滑动窗口对其进行随机采样，生成最终用于网络训练和测试的数据块。通过这种方式，为了方便训练模型，本发明生成一个包含135000正例样本数据块和240000负例样本数据块的数据集。
深度自编码器训练：将深度自编码器在物体分类数据集上进行预训练。深度自编码器是采用堆叠的方式，将若干个自编码器进行融合后形成的一个具有多层网络结构的自编码器。自编码器每一层神经元的数目和最后网络分类的种类都会根据不同的学习任务进行特殊的设计。预训练过程采用逐层训练、整体微调的策略。在预训练每一层自编码器的时候，采用无监督的训练方式。当整个自编码器完成预训练后，将上一步骤构建的肤色数据集用于深度自编码器的有监督微调。
手部几何模型建立：经过肤色分割后，图像中大部分干扰信息被去除掉，剩下几个肤色联通区域。本发明通过边缘检测获得手掌轮廓及其边缘点。由于指尖点有着曲率大的特点，因此经过曲率过滤可以获得边缘点中的候选指尖点。然后在利用向量积方向来判断指尖点和指根点。通过距离变换，肤色区域中的手指部分会被过滤掉；在剩余的肤色区域进行质心检测用于表示手掌质心所在位置。结合指尖点和手掌质心即可完成手掌几何模型的建立。
手掌追踪：采用camshift算法对识别到的手掌位置进行追踪。
光流能量计算：传统的光流能量模型是对整幅图像进行光流能量计算。由于其借助的是密集光流信息，因此传统的光流能量模型计算非常耗时。本发明只在追踪的手掌周围进行光流能量计算，通过能量值的大小判断该行为是否异常。
在本发明所提供的实施例中，应该理解到，所揭露的装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于肤色分割的近景异常行为检测方法，其特征在于：所述方法包括以下步骤：
S1、构建肤色数据集：收集带有噪点信息的肤色数据与非肤色数据；
S2、深度自编码器训练：将深度自编码器在构建的肤色数据集上进行训练和验证；
S3、手部几何模型建立：采用肤色信息、手掌信息和指尖信息构建手部的二维几何模型；
S4、手部追踪：追踪手部运动轨迹；
S5、光流能量计算：对运动的手部进行光流能量计算，判断其能量值是否异常。
2.根据权利要求1所述的方法，其特征在于：所述步骤S2中，将深度自编码器在物体分类数据集上进行预训练，预训练过程采用逐层训练的方式；当整个自编码器完成预训练后，将步骤S1构建的肤色数据集用于深度自编码器的监督微调。
3.根据权利要求1所述的方法，其特征在于：所述手掌信息和指尖信息包括手掌质心和指尖点。
4.根据权利要求1所述的方法，其特征在于：所述步骤S4中采用camshift算法对识别到的手掌位置进行追踪。
5.根据权利要求1所述的方法，其特征在于：所述方法只计算运动手部的光流能量，从而加速计算过程。
6.一种基于肤色分割的近景异常行为检测装置，所述装置包括：
肤色数据集构建模块，用于收集带有噪点信息的肤色数据与非肤色数据；
深度自编码器训练模块，用于将深度自编码器在构建的肤色数据集上进行训练和验证；
手部几何模型建立模块，用于采用肤色信息，手掌信息和指尖信息构建手部的二维几何模型；
手部追踪模块，用于追踪手部运动轨迹
光流能量计算模块，用于对运动的手部进行光流能量计算，判断其能量值是否异常。
7.根据权利要求6所述的装置，其特征在于：深度自编码器训练模块将深度自编码器在物体分类数据集上进行预训练，预训练过程采用逐层训练的方式；当整个自编码器完成预训练后，将肤色数据集构建模块构建的肤色数据集用于深度自编码器的监督微调。
8.根据权利要求6所述的装置，其特征在于：所述手掌信息和指尖信息包括手掌质心和指尖点。
9.根据权利要求6所述的装置，其特征在于：所述手部追踪模块采用camshift算法对识别到的手掌位置进行追踪。
10.根据权利要求6所述的装置，其特征在于：所述光流能量计算模块只计算运动手部的光流能量，从而加速计算过程。
CN201810257192.2A 2018-03-27 2018-03-27 一种基于肤色分割的近景异常行为检测方法及装置 Pending CN108509889A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810257192.2A CN108509889A (zh) 2018-03-27 2018-03-27 一种基于肤色分割的近景异常行为检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810257192.2A CN108509889A (zh) 2018-03-27 2018-03-27 一种基于肤色分割的近景异常行为检测方法及装置

Publications (1)

Publication Number Publication Date
CN108509889A true CN108509889A (zh) 2018-09-07

Family

ID=63378724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810257192.2A Pending CN108509889A (zh) 2018-03-27 2018-03-27 一种基于肤色分割的近景异常行为检测方法及装置

Country Status (1)

Country Link
CN (1) CN108509889A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597992A (zh) * 2020-05-15 2020-08-28 哈尔滨工业大学 一种基于视频监控的场景物体异常的识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968848A (zh) * 2010-09-27 2011-02-09 哈尔滨工业大学深圳研究生院 一种视频监测方法、系统及视频监测报警系统
CN102164270A (zh) * 2011-01-24 2011-08-24 浙江工业大学 具有异常事件发掘功能的智能视频监控方法及系统
CN105389567A (zh) * 2015-11-16 2016-03-09 上海交通大学 基于稠密光流直方图的群体异常检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968848A (zh) * 2010-09-27 2011-02-09 哈尔滨工业大学深圳研究生院 一种视频监测方法、系统及视频监测报警系统
CN102164270A (zh) * 2011-01-24 2011-08-24 浙江工业大学 具有异常事件发掘功能的智能视频监控方法及系统
CN105389567A (zh) * 2015-11-16 2016-03-09 上海交通大学 基于稠密光流直方图的群体异常检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
L YOU 等: "A Real-time Hand Gesture Recognition Algorithm for an Embedded System", 《 THE 2014 IEEE INTERNA-TIONAL CONFERENCE ON MECHATRONICS AND AUTOMATION (ICMA 2014)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597992A (zh) * 2020-05-15 2020-08-28 哈尔滨工业大学 一种基于视频监控的场景物体异常的识别方法
CN111597992B (zh) * 2020-05-15 2023-04-18 哈尔滨工业大学 一种基于视频监控的场景物体异常的识别方法

Similar Documents

Publication Publication Date Title
Qi et al. Computer vision-based hand gesture recognition for human-robot interaction: a review
Azmat et al. An elliptical modeling supported system for human action deep recognition over aerial surveillance
Tang et al. A real-time hand posture recognition system using deep neural networks
Houshmand et al. Facial expression recognition under partial occlusion from virtual reality headsets based on transfer learning
CN110503081B (zh) 基于帧间差分的暴力行为检测方法、系统、设备及介质
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
D'Sa et al. A survey on vision based activity recognition, its applications and challenges
CN113792700B (zh) 一种电瓶车入箱检测方法、装置、计算机设备及存储介质
Li et al. ET-YOLOv5s: toward deep identification of students’ in-class behaviors
CN107992854A (zh) 基于机器视觉的林业生态环境人机交互方法
Ali et al. Deep Learning Algorithms for Human Fighting Action Recognition.
Batool et al. Multimodal Human Action Recognition Framework using an Improved CNNGRU Classifier
CN104765739B (zh) 基于形状空间的大规模人脸数据库检索方法
Du The computer vision simulation of athlete’s wrong actions recognition model based on artificial intelligence
CN115439927A (zh) 基于机器人的步态监测方法、装置、设备及存储介质
Shastry et al. Survey on various gesture recognition techniques for interfacing machines based on ambient intelligence
CN108509889A (zh) 一种基于肤色分割的近景异常行为检测方法及装置
CN110826459B (zh) 基于姿态估计的可迁移校园暴力行为视频识别方法
Krzeszowski et al. Articulated body motion tracking by combined particle swarm optimization and particle filtering
Sun et al. Human movement recognition in dancesport video images based on chaotic system equations
Palanisamy et al. An efficient hand gesture recognition based on optimal deep embedded hybrid convolutional neural network‐long short term memory network model
Kuo et al. Eye tracking in visible environment
Wang et al. Research on an effective human action recognition model based on 3D CNN
Hanzla et al. Human Pose Estimation and Event Recognition via Feature Extraction and Neuro-Fuzzy Classifier
CN108010051A (zh) 基于AdaBoost算法的多源视频目标融合跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180907

RJ01 Rejection of invention patent application after publication