CN109359510B - 一种对异常行为的视觉分析处理方法 - Google Patents

一种对异常行为的视觉分析处理方法 Download PDF

Info

Publication number
CN109359510B
CN109359510B CN201810980742.3A CN201810980742A CN109359510B CN 109359510 B CN109359510 B CN 109359510B CN 201810980742 A CN201810980742 A CN 201810980742A CN 109359510 B CN109359510 B CN 109359510B
Authority
CN
China
Prior art keywords
model
data
training
models
lbp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810980742.3A
Other languages
English (en)
Other versions
CN109359510A (zh
Inventor
朱静
莫昌康
谭彦
庄裕荃
苏启彬
黄文恺
韩晓英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN201810980742.3A priority Critical patent/CN109359510B/zh
Publication of CN109359510A publication Critical patent/CN109359510A/zh
Application granted granted Critical
Publication of CN109359510B publication Critical patent/CN109359510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种对异常行为的视觉分析处理方法，包括：使用光流法，根据跟踪图像中角点的流动方向采集光流数据，训练数据作为LK光流算法的输入进行模型的训练；通过LBP算法进行纹理特征提取，将获得的数据与已训练好的样本数据进行对比，实现被看护人的区分；通过构造的验证和测试样本数据微调训练得到LBP模型参数，通过不断训练样本数据修正模型参数来提高模型精度；使用dlib自带的frontal_face_detector作为人脸特征检测器，实现人脸个数识别；将该三类模型设置主要输出参数调整模型，综合比较三类测试模型与训练模型的比较结果，最终模型输出被看护人的行为异常或否。

Description

一种对异常行为的视觉分析处理方法
技术领域
本发明涉及计算机图像处理技术领域，特别涉及一种对异常行为的视觉分析处理方法。
背景技术
目前视频监控领域大多是传统的视频监控手段，即对监控范围内所发生的事件以及出现的事物进行记录并存储。
传统的视频监控并没有对记录的图像进行分析检测，单单只是记录，且依赖于人工观看。然而监控的目的就是为了防止异常情况的发生，如果单单依赖于人工观看，24小时的监控不仅会浪费大量的人力资源，也会占用大量的存储资源。
因此，需要提供一种智能视频监控方法。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种对异常行为的视觉分析处理方法，能自动检测到病人的异常行为，节约了人力资源并具有高效性与实时性的优点。
本发明的目的通过以下的技术方案实现：一种对异常行为的视觉分析处理方法，包括以下步骤：
步骤S1：收集多组目标光流数据、人脸纹理特征数据、人脸标记数据；
步骤S2：对收集到的数据进行预处理，然后输入三类模型进行训练，获取训练数据并调整模型参数；
具体的：对收集到的数据进行预处理来构造训练数据与基本模型参数，并使用LK算法得到目标像素点的光流向量；加载dlib自带的frontal_face_detector作为人脸征检测器，并构建特征提取器，得到人脸纹理特征数据；使用LBP算法得到人脸标记数据；
步骤S3：测试训练数据，后获取模型参数，多次对训练数据进行训练以修正模型参数来提高模型精度；
步骤S4：将该三类模型设置主要输出参数，以调整模型，将待测图像中收集到的数据与训练数据相匹配，综合比较三类测试模型与训练模型的比较结果，最终模型输出被看护人的状况。
优选的，步骤S2中三类模型构建具体公式如下：
Figure BDA0001778471480000021
其中x为图像下标；p为目标状态变量，W为仿射变化函数，对公式(1)进行一阶泰勒公式展开可得：
Figure BDA0001778471480000022
其中，▽I＝(IxIy)；设I已经展开成一列n维向量，则
Figure BDA0001778471480000027
为I在W(x；p)的梯度；
求公式(2)关于Δp的偏导数：
Figure BDA0001778471480000023
让公式(3)等于0，则：
Figure BDA0001778471480000024
其中
Figure BDA0001778471480000025
结合上式：得到LK算法最终公式：
Figure BDA0001778471480000026
LBP算法用公式表示为：
Figure BDA0001778471480000031
其中(Xc，yc)是中心像素，ic是灰度值，in是相邻像素的灰度值，s是符号函数：
Figure BDA0001778471480000032
优选的，步骤S2中，在使用dlib库的模型特征提取器中，输出人脸个数后，使用predictor进行人脸关键点识别，绘出关键点。
优选的，步骤S3具体为：测试样本数据微调训练得到模型参数，其中参数包括：图像中心像素点的LBP值，公式(2)所提到梯度下降值，通过
Figure BDA0001778471480000033
求出状态参数的变化，即通过梯度下降方法来寻找局部最优解。
优选的，步骤S4具体为：三类模型包括LK光流模型、LBP模型及dilb模型；利用dilb库提取的人脸纹理特征进行图像人脸个数的识别；利用LK光流模型判断被看护人异常肢体行为与是否掉下床的识别、利用LBP模型与机器学习算法实现被看护人与其他人的区分，最终输出得到病人状况的异常与否。
本发明与现有技术相比，具有如下优点和有益效果：
本发明利用几个经典算法与经典python库，采用LK光流追踪法与LBP人脸纹理特征提取并结合人脸个数检测，能够充分观察到被看护人的状况是否异常，节约了人力资源，并能及时反馈被看护人情况，对监护方面有较好的作用。
附图说明
图1为实施例方法实现的流程图。
图2为LBP算法实现图：(a)原始图像；(b)LBP图谱。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
一种对病人异常行为的视觉分析处理方法，包括以下步骤：使用光流法，根据跟踪图像中角点的流动方向使用LK算法的函数cvCalcOpticalFlowPyrLK()采集光流数据；对函数返回的数据进行分析以确定哪些点被成功跟踪，训练数据作为LK光流算法的输入进行模型的训练；通过LBP算法进行纹理特征提取，将获得的数据与已训练好的样本数据进行对比，实现病人与医生护士的区分；通过构造的验证和测试样本数据微调训练得到LBP模型参数，通过不断训练样本数据修正模型参数来提高模型精度；使用dlib自带的frontal_face_detector作为人脸特征检测器，通过图像收集人脸标记，利用这些地标来创建特征向量，实现人脸个数识别；将该三类模型设置主要输出参数调整模型，综合比较三类测试模型与训练模型的比较结果，最终模型输出病人的行为异常或否。
具体的，包括以下步骤：
步骤S1：收集多组目标光流数据、人脸纹理特征数据、人脸标记数据。
步骤S2：对收集到的数据进行预处理，后输入三类模型进行训练，获取训练数据并调整模型参数。
步骤S3：测试训练数据，后获取模型参数，多次对训练数据进行训练以修正模型参数来提高模型精度。
步骤S4：将该三类模型设置主要输出参数，以调整模型，将待测图像中收集到的数据与训练数据相匹配，综合比较三类测试模型与训练模型的比较结果，最终模型输出病人的状况。
步骤S1具体为：收集多组目标光流向量、人脸纹理特征数据、人脸标记数据，其中要求数据尽量多，类型风格相异，光流相邻帧之间的亮度恒定。
步骤S2具体为：对收集到的数据进行预处理来构造训练数据与基本模型参数，并得到目标像素点的光流向量；加载dlib自带的frontal_face_detector作为人脸征检测器，并使用官方提供的模型构建特征提取器，得到人脸纹理特征数据；使用LBP算法，将要检测的图像划分为16×16的小区域，对于每个区域中的一个像素，将相邻的8个像素的灰度值与其进行比较，得到人脸标记数据。判断数据库(即步骤1所收集到的人脸标记数据)是否存在这些特征模型，如存在，从数据库中读取目标的特征向量并存入当前特征向量，如不存在，建立新的特征模型并存入相关特征向量(实现病人与医生护士的区分)。
步骤S2中三类模型构建具体公式如下：
Figure BDA0001778471480000051
其中x为图像下标，可以是二维(对应图像像素的坐标)，也可以是一维(此时为图像展成一维数组时对应的下标)；p为目标状态变量，W为仿射变化函数，对公式(1)进行一阶泰勒公式展开可得：
Figure BDA0001778471480000052
其中，▽I＝(IxIy)；设I已经展开成一列n维向量，则
Figure BDA0001778471480000058
为I在W(x；p)的梯度；
求公式(2)关于Δp的偏导数：
Figure BDA0001778471480000053
让公式(3)等于0，则：
Figure BDA0001778471480000054
其中
Figure BDA0001778471480000055
结合上式：得到LK算法最终公式：
Figure BDA0001778471480000056
LBP算法用公式表示为：
Figure BDA0001778471480000057
其中(Xc，yc)是中心像素，ic是灰度值，in是相邻像素的灰度值，s是符号函数：
Figure BDA0001778471480000061
步骤S2中，在使用dlib库的模型特征提取器中，输出人脸个数后，使用predictor进行人脸关键点识别，绘出关键点；计算每个区域的直方图，即每个数字(假定是十进制数LBP值)出现的频率，然后对该直方图进行归一化处理，后将得到的每个区域的统计直方图进行连接成为一个特征向量，即整幅图的LBP纹理特征向量。
步骤S3具体为：测试样本数据微调训练得到模型参数，其中参数包括：图像中心像素点的LBP值(8位2进制数)，公式(2)所提到梯度下降值(Gradient descending value)，通过
Figure BDA0001778471480000062
求出状态参数的变化。即通过梯度下降方法来寻找局部最优解。
步骤S4具体为：修正(即结合三类模型)后的模型包括LK光流模型、LBP模型，利用dilb库提取的人脸纹理特征进行图像人脸个数的识别，利用LK光流模型判断病人异常肢体行为与是否掉下床的识别、利用LBP模型与经典SVM机器学习算法实现病人与医生护士的区分，最终输出得到病人状况的异常与否。
(1)Lucas–Kanade算法
光流算法：它评估了两幅图像的之间的变形，它的基本假设是体素和图像像素守恒。它假设一个物体的颜色在前后两帧没有巨大而明显的变化。基于这个思路，可以得到图像约束方程。不同的光流算法解决了假定了不同附加条件的光流问题。
Lucas–Kanade算法：这个算法是最常见，最流行的。它计算两帧在时间t到t+δt之间每个每个像素点位置的移动。Lucas-Kanade算法广泛用于图像对齐、光流法、目标追踪、图像拼接和人脸检测等课题中。
(2)LBP算法(opencv模块)与Dlib模块
LBP(Local Binary Pattern，局部二值模式)是一种用来描述图像局部纹理特征的算子；它具有旋转不变性和灰度不变性等显著的优点。它是首先由T.Ojala,M.
Figure BDA0001778471480000071
和D.Harwood在1994年提出，用于纹理特征提取。而且，提取的特征是图像的局部的纹理特征。
Dlib库使用基于梯度提高学习的回归树方法。该算法使用级联回归因子，首先需要使用一系列标定好的人脸图片作为训练集，然后会生成一个模型。使用基于特征选择的相关性方法把目标输出ri投影到一个随机方向w上，并且选择一对特征(u,v)，使得Ii(u’)-Ii(v’)与被投影的目标wTri在训练数据上拥有最高的样本相关性。当获得一张图片后，算法会生成一个initial shape就是首先估计一个大致的特征点位置，然后采用gradientboosting算法减小initial shape和ground truth的平方误差总和。用最小二乘法来最小化误差，得到每一级的级联回归因子。使用梯度提高学习的回归树训练每个rt，使用最小二乘法最小化误差。t表示级联序号，rt(·,·)表示当前级的回归器regressor。回归器的输入参数为图像I和上一级回归器更新后的shape，采用的特征可以是灰度值或者其它。每个回归器由很多棵树(tree)组成，每棵树参数是根current shape和ground truth的坐标差和随机挑选的像素对训练得到的。与LBF不同，ERT是在学习Tree的过程中，直接将shape的更新值ΔS存入叶子结点leaf node.初始位置S在通过所有学习到的Tree后，meanshape加上所有经过的叶子结点的ΔS，即可得到最终的人脸关键点位置。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种对异常行为的视觉分析处理方法，其特征在于，包括以下步骤：
步骤S1：收集多组目标光流数据、人脸纹理特征数据、人脸标记数据；
步骤S2：对收集到的数据进行预处理，然后输入三类模型进行训练，获取训练数据并调整模型参数；
具体的：对收集到的数据进行预处理来构造训练数据与基本模型参数，并使用LK算法得到目标像素点的光流向量；加载dlib自带的frontal_face_detector作为人脸征检测器，并构建特征提取器，得到人脸纹理特征数据；使用LBP算法得到人脸标记数据；
所述三类模型包括LK光流模型、LBP模型及dilb模型；利用dilb库提取的人脸纹理特征进行图像人脸个数的识别；利用LK光流模型判断被看护人异常肢体行为与是否掉下床的识别、利用LBP模型与机器学习算法实现被看护人与其他人的区分，最终输出得到病人状况的异常与否；
所述三类模型构建具体公式如下：
Figure FDA0003418371970000011
其中x为图像下标；p为目标状态变量，W为仿射变化函数，对公式(1)进行一阶泰勒公式展开可得：
Figure FDA0003418371970000012
其中，
Figure FDA0003418371970000013
设I已经展开成一列n维向量，则
Figure FDA0003418371970000014
为I在W(x；p)的梯度；
求公式(2)关于Δp的偏导数：
Figure FDA0003418371970000015
让公式(3)等于0，则：
Figure FDA0003418371970000016
其中
Figure FDA0003418371970000021
结合上式：得到LK算法最终公式：
Figure FDA0003418371970000022
LBP算法用公式表示为：
Figure FDA0003418371970000023
其中(Xc，yc)是中心像素，ic是灰度值，in是相邻像素的灰度值，s是符号函数：
Figure FDA0003418371970000024
步骤S3：测试训练数据，后获取模型参数，多次对训练数据进行训练以修正模型参数来提高模型精度；
步骤S4：将该三类模型设置主要输出参数，以调整模型，将待测图像中收集到的数据与训练数据相匹配，综合比较三类测试模型与训练模型的比较结果，最终模型输出被看护人的状况。
2.根据权利要求1所述的对异常行为的视觉分析处理方法，其特征在于，步骤S2中，在使用dlib库的模型特征提取器中，输出人脸个数后，使用predictor进行人脸关键点识别，绘出关键点。
3.根据权利要求1所述的对异常行为的视觉分析处理方法，其特征在于，步骤S3具体为：测试样本数据微调训练得到模型参数，其中参数包括：图像中心像素点的LBP值，公式(2)所提到梯度下降值，通过
Figure FDA0003418371970000025
求出状态参数的变化，即通过梯度下降方法来寻找局部最优解。
CN201810980742.3A 2018-08-27 2018-08-27 一种对异常行为的视觉分析处理方法 Active CN109359510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810980742.3A CN109359510B (zh) 2018-08-27 2018-08-27 一种对异常行为的视觉分析处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810980742.3A CN109359510B (zh) 2018-08-27 2018-08-27 一种对异常行为的视觉分析处理方法

Publications (2)

Publication Number Publication Date
CN109359510A CN109359510A (zh) 2019-02-19
CN109359510B true CN109359510B (zh) 2022-03-22

Family

ID=65349886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810980742.3A Active CN109359510B (zh) 2018-08-27 2018-08-27 一种对异常行为的视觉分析处理方法

Country Status (1)

Country Link
CN (1) CN109359510B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331151A (zh) * 2014-10-11 2015-02-04 中国传媒大学 基于光流法的手势运动方向识别方法
CN105100724A (zh) * 2015-08-13 2015-11-25 电子科技大学 一种基于视觉分析的智能家居远程安全监控方法及装置
CN105760861A (zh) * 2016-03-29 2016-07-13 华东师范大学 一种基于深度数据的癫痫发作监控方法及系统
CN107506718A (zh) * 2017-08-17 2017-12-22 南昌航空大学 基于mb‑2dpca特征的人脸表情识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2973866C (en) * 2013-04-19 2019-10-01 James Carey Video identification and analytical recognition system
US10846536B2 (en) * 2014-06-27 2020-11-24 Nec Corporation Abnormality detection device and abnormality detection method
US10878582B2 (en) * 2014-09-11 2020-12-29 Nec Corporation Image processing device, image processing method and storage medium storing program for tracking an object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331151A (zh) * 2014-10-11 2015-02-04 中国传媒大学 基于光流法的手势运动方向识别方法
CN105100724A (zh) * 2015-08-13 2015-11-25 电子科技大学 一种基于视觉分析的智能家居远程安全监控方法及装置
CN105760861A (zh) * 2016-03-29 2016-07-13 华东师范大学 一种基于深度数据的癫痫发作监控方法及系统
CN107506718A (zh) * 2017-08-17 2017-12-22 南昌航空大学 基于mb‑2dpca特征的人脸表情识别方法

Also Published As

Publication number Publication date
CN109359510A (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
US20220157047A1 (en) Feature Point Detection
CN111310731B (zh) 基于人工智能的视频推荐方法、装置、设备及存储介质
US9396412B2 (en) Machine-learnt person re-identification
US7711156B2 (en) Apparatus and method for generating shape model of object and apparatus and method for automatically searching for feature points of object employing the same
US8126206B2 (en) Image processing apparatus, image processing method, and program
US11380010B2 (en) Image processing device, image processing method, and image processing program
CN107240124A (zh) 基于时空约束的跨镜头多目标跟踪方法及装置
US20210068676A1 (en) Method and system for automatically generating and analyzing fully quantitative pixel-wise myocardial blood flow and myocardial perfusion reserve maps to detect ischemic heart disease using cardiac perfusion magnetic resonance imaging
JP6410450B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
Demirkus et al. Hierarchical temporal graphical model for head pose estimation and subsequent attribute classification in real-world videos
Tang et al. Retinal image registration based on robust non-rigid point matching method
Zhou et al. Automatic landmark location with a combined active shape model
Kumar et al. Fall detection in RGB-D videos by combining shape and motion features
Yao et al. Registrating oblique SAR images based on complementary integrated filtering and multilevel matching
CN109359510B (zh) 一种对异常行为的视觉分析处理方法
Yang et al. Person reidentification by kernel pca based appearance learning
JP7374632B2 (ja) 情報処理装置、情報処理方法及びプログラム
Chang et al. Single-shot person re-identification based on improved random-walk pedestrian segmentation
Phogat et al. Different image registration methods—an overview
Bart et al. Class-based matching of object parts
Chen et al. Sequentially adaptive active appearance model with regression-based online reference appearance template
KR20220104426A (ko) 이종 센서 카메라 기반 사람 재식별 장치 및 방법
Hahmann et al. Combination of facial landmarks for robust eye localization using the Discriminative Generalized Hough Transform
Bart et al. Class-based feature matching across unrestricted transformations
Commowick et al. Non-local robust detection of DTI white matter differences with small databases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant