CN109635783B - 视频监控方法、装置、终端和介质 - Google Patents

视频监控方法、装置、终端和介质 Download PDF

Info

Publication number
CN109635783B
CN109635783B CN201910001785.7A CN201910001785A CN109635783B CN 109635783 B CN109635783 B CN 109635783B CN 201910001785 A CN201910001785 A CN 201910001785A CN 109635783 B CN109635783 B CN 109635783B
Authority
CN
China
Prior art keywords
depth
joint
human body
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910001785.7A
Other languages
English (en)
Other versions
CN109635783A (zh
Inventor
刘佩林
王俊
邹耀
应忍冬
邓宁
葛昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Data Miracle Intelligent Technology Co ltd
Original Assignee
Shanghai Data Miracle Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Data Miracle Intelligent Technology Co ltd filed Critical Shanghai Data Miracle Intelligent Technology Co ltd
Priority to CN201910001785.7A priority Critical patent/CN109635783B/zh
Publication of CN109635783A publication Critical patent/CN109635783A/zh
Application granted granted Critical
Publication of CN109635783B publication Critical patent/CN109635783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种视频监控方法、装置、终端和介质，其中，该方法包括：基于采集的深度图像，提取属于人体区域的像素点的深度特征；利用预先训练的关节像素点分类器和深度特征，对提取深度特征的像素点进行分类，得到各关节部位的像素点集合；利用聚类算法，确定像素点集合的中心像素点，并将中心像素点作为关节点位置，以基于关节点位置的变化监控人体姿态的变化。本发明实施例解决了现有的视频监控方法易造成用户隐私泄露的问题，实现了保护用户隐私的视频监控效果，即使原始视频被泄露，用户隐私也不会被泄露。

Description

视频监控方法、装置、终端和介质
技术领域
本发明实施例涉及计算机视觉技术领域，尤其涉及一种视频监控方法、装置、终端和介质。
背景技术
随着网络、通信和微电子技术的快速发展，视频监控在安全防范、信息获取和指挥调度等方面得到了广泛的应用。并且，随着人们安全意识的提升，视频监控不仅存在于公共场所，越来越多的人们选择在自己的家中安装监控摄像头。与此同时，视频监控带来的隐私保护问题也得到了大家的重视。
目前，具有保护隐私权的视频监控方法主要通过对采集的图像做模糊化处理或者二值化处理实现。例如，获取采集的图像，识别出人脸等敏感区域，对该敏感区域进行模糊处理后显示，或者将人物和背景做二值化处理后显示。
上述方法的缺陷在于，监控过程对用户隐私保护的实现均是基于对原始帧图像的处理实现，而原始帧图像的清晰显示导致对用户隐私的保护仍存在风险，用户隐私无法得到可靠的安全保障。
发明内容
本发明实施例提供一种视频监控方法、装置、终端和介质，以实现保护用户隐私的视频监控效果。
第一方面，本发明实施例提供了一种视频监控方法，该方法包括：
基于采集的深度图像，提取属于人体区域的像素点的深度特征；
利用预先训练的关节像素点分类器和所述深度特征，对提取深度特征的像素点进行分类，得到各关节部位的像素点集合；
利用聚类算法，确定所述像素点集合的中心像素点，并将所述中心像素点作为关节点位置，以基于所述关节点位置的变化监控人体姿态的变化。
第二方面，本发明实施例还提供了一种视频监控装置，该装置包括：
深度特征提取模块，用于基于采集的深度图像，提取属于人体区域的像素点的深度特征；
关节像素点分类模块，用于利用预先训练的关节像素点分类器和所述深度特征，对提取深度特征的像素点进行分类，得到各关节部位的像素点集合；
关节点位置确定模块，用于利用聚类算法，确定所述像素点集合的中心像素点，并将所述中心像素点作为关节点位置，以基于所述关节点位置的变化监控人体姿态的变化。
第三方面，本发明实施例还提供了一种终端，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的视频监控方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的视频监控方法。
本发明实施例公开了一种视频监控方法、装置、终端和介质，首先基于采集的深度图像，提取属于人体区域的像素点的深度特征；然后利用预先训练的关节像素点分类器对提取深度特征的像素点进行分类，得到各关节部位的像素点集合；最后利用聚类算法，将像素点集合的中心像素点作为关节点位置，以基于关节点位置的变化监控人体姿态的变化，其中充分利用了深度图像本身不会清楚显示用户敏感区域的特点，解决了现有的视频监控方法易造成用户隐私泄露的问题，实现了保护用户隐私的视频监控效果，即使原始视频被泄露，用户隐私也不会被泄露。
附图说明
图1是本发明实施例一提供的视频监控方法的流程图；
图2a是本发明实施例一提供的一种标记人体关节的标记结果示意图；
图2b是本发明实施例一提供的深度图像中基于确定的关节点位置形成的人体骨架示意图；
图3是本发明实施例二提供的视频监控方法的流程图；
图4a是本发明实施例二提供的一种深度图像的示意图；
图4b是本发明实施例二提供的一种对深度图像进行前后景分割得到的人体区域图像的示意图；
图4c是本发明实施例二提供的一种人体各关节部位的像素点集合的示意图；
图4d是本发明实施例二提供的一种基于确定的关节点位置形成的人体骨架示意图；
图5是本发明实施例二提供的利用网格化方法提取人体区域图像上像素点的深度特征的示意图；
图6是本发明实施例三提供的视频监控装置的结构示意图；
图7是本发明实施例四提供的一种终端的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的视频监控方法的流程图，本实施例可适用于进行视频监控的情况，该方法可以由视频监控装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在终端上，例如电脑、笔记本和智能移动终端等。
如图1所示，本实施例提供的视频监控方法可以包括：
S110、基于采集的深度图像，提取属于人体区域的像素点的深度特征。
本实施例中基于深度相机采集的视频实施监控，深度图像指视频中的任意帧图像。区别于常见的二维(2D)相机，深度相机的摄像头可以得到景物的三维(3D)信息，即物体和摄像头之间的距离，称之为深度图像的深度。当视频采集完成后，可以利用视频处理工具，读取视频帧图像，提取图像中人体区域像素点的深度特征，即深度值。
深度图像不同于通常所说的2D图像，其并不会清晰地显示出人体的敏感区域，例如人脸，而是将人体或物体的三维轮廓以不同的颜色代表不同距离的地形图方式呈现出来，因此，基于深度相机进行视频监控，可以从视频源保证用户隐私的安全性，即使原始视频被泄露，用户隐私也不会被泄露。采集的每一帧深度图像可以通过调节显示色域，以不同的色彩组合显示。
可选的，深度图像包括基于双目视觉原理、结构光技术或时间飞行(TOF，Time offlight)原理的深度相机采集的视频中的任意帧图像。关于深度相机的具体实现原理，本实施例不作具体限定，在此列举的原理作为示例，不应作为对本实施例的具体限定。其中，基于结构光技术或时间飞行原理的深度相机，由于相机本身携带有光源，还可以用于黑暗环境中拍摄视频，从而实现黑暗环境中的视频监控，改善现有的视频监控对环境状况的依赖性较大的缺陷。
S120、利用预先训练的关节像素点分类器和深度特征，对提取深度特征的像素点进行分类，得到各关节部位的像素点集合。
人体不同关节部位在深度图像中对应的像素点的深度特征存在差异，基于深度特征的差异，通过机器学习，训练出可以识别人体不同关节部位像素点的分类器。然后，对当前采集的深度图像中人体区域的关节像素点进行识别与分类，将属于同一关节部位的像素点集中在一起。
可选的，关节像素点分类器的训练过程包括：
对样本图像进行人体关节标记，并将标记结果作为训练关节像素点分类器的输出；
提取样本图像上属于人体区域的像素点的深度特征，作为训练关节像素点分类器的输入；
基于确定的输入和输出，对关节像素点分类器进行训练。
模型训练过程中需要创建训练集，即模型训练的输入与输出。图2a作为示例，示出了本实施例中提供的一种标记人体关节的标记结果示意图，其中左边图像对应于深度图像中的人体区域，右边图像是由点集合组成的对应于左边图像的人体关节标记，每一个标记点对应于人体关节的一个像素点，每个像素点之间的深度特征存在差异。标记点的排列方式与样本图像中人体姿态相对应，当样本图像中人体姿态发生变化时，标记点的排列方式随之变化。具体的标记过程可以通过人工标记实现，也可以利用视频处理工具进行自动识别与标记。结合上述确定的模型训练的输出，提取样本图像上人体区域的像素点的深度特征作为输入，便可进行模型训练，从而得到关节像素点分类器。
可选的，关节像素点分类器包括随机森林分类器。当然，基于现有的分类算法，其他基于上述训练过程经训练后可用于对人体关节对应的像素点进行识别与分类的分类器模型，也属于本实施例的保护范围。
S130、利用聚类算法，确定像素点集合的中心像素点，并将中心像素点作为关节点位置，以基于关节点位置的变化监控人体姿态的变化。
经过像素点分类，人体各关节部位的像素点集合中均可包括大量的像素点，进一步利用聚类算法，例如均值偏移算法(Mean Shift)，计算每个像素点集合的中心像素点，该中心像素点即表示对应关节在图像中的位置，将得到的所有中心像素点连线，即确定人体骨架结构对应的姿态。当人体姿态发生变化时，关节位置随之变化，因此，可以基于关节点位置的变化监控人体姿态的变化。人体姿态的识别与监控结果可以参考图2b所示。图2b是本实施例提供的深度图像中基于确定的关节点位置形成的人体骨架的一种示意图，不应作为对本实施例的具体限定。其中，聚类算法除了均值偏移算法外，其他同样可以确定像素点集合的中心像素点的聚类算法，也在本实施例的保护范围内。
本实施例的技术方案首先基于采集的深度图像，提取属于人体区域的像素点的深度特征；然后利用预先训练的关节像素点分类器对提取深度特征的像素点进行分类，得到各关节部位的像素点集合；最后利用聚类算法，将像素点集合的中心像素点作为关节点位置，以基于关节点位置的变化监控人体姿态的变化，其中充分利用了深度图像本身不会清楚显示用户敏感区域的特点，解决了现有的视频监控方法易造成用户隐私泄露的问题，实现了保护用户隐私的视频监控效果，即使原始视频被泄露，用户隐私也不会被泄露。本实施例提供的视频监控方法可以用于家庭内起居室和医院病房等场景，并且考虑深度相机可以在黑暗环境中工作的优势，本实施例的视频监控方法对监控环境的依赖性较小。
实施例二
图3是本发明实施例二提供的视频监控方法的流程图，本实施例是在上述实施例的基础上进一步进行优化。如图3所示，该方法可以包括：
S210、根据采集的深度图像的深度特征，对深度图像进行前后景分割，得到人体区域图像。
具体的，可以根据深度图像上人体区域和背景区域的深度特征与预设深度阈值的关系，将每一帧深度图像进行前后景分离，得到人体区域图像。例如，将深度特征大于或等于深度阈值的像素区域确定为背景区域，将深度特征小于深度阈值的像素区域确定为人体区域，深度阈值可以根据监控环境中相机的具体位置进行适应性设置。
如图4a所示，其示出了本实施例中一种深度图像的示意图，其中包括人体区域和黑色背景区域，该深度图像是已经过深度特征处理的图像，黑色背景区域的深度特征为0，人体区域的深度特征得到保留。经过前后景分割，得到如图4b所示的人体区域图像。
S220、利用网格格点化方法提取人体区域图像上像素点的深度特征。
利用网格格点化方法在人体区域图像上逐次选定一定区域，进行局域深度采样，提取出人体区域像素点的深度特征。重复该操作，直至提取完毕所需的深度特征。
可选的，利用网格格点化方法提取人体区域图像上像素点的深度特征，包括：
以人体区域图像上的目标像素点为中心，构建格点矩阵，其中，目标像素点是人体区域图像上的任意像素点；
对格点矩阵中每个格点对应的像素点的深度特征取平均，作为目标像素点的深度特征。
示例性的，图5是本实施例提供的利用网格化方法提取人体区域图像上像素点的深度特征的一种示意图。图5中显示的格点矩阵是一个5x5的网格，网格中心点表示目标像素点，将25个格点对应的像素点的深度特征求和后取平均，得到的平均值即目标像素点的深度特征。
其中，格点矩阵覆盖范围的大小会随着目标像素点的深度特征的不同而自适应地调整。格点矩阵中包括的格点数目即采样密度，在保证深度特征提取准确性的基础上可以适应性设置，相当于格点矩阵的每一行和每一列包括的格点数并不是固定的。本实施例以5x5的网格作为示例，但不应造成对本实施例的具体限定。
S230、利用预先训练的关节像素点分类器和深度特征，对提取深度特征的像素点进行分类，得到各关节部位的像素点集合。
S240、利用聚类算法，确定像素点集合的中心像素点，并将中心像素点作为关节点位置，以基于关节点位置的变化监控人体姿态的变化。
示例性的，如图4c所示，示出了本实施例提供的一种人体各关节部位的像素点集合的示意图。不同关节部位各自聚集一堆疏密不同的像素点，越接近关节点位置，利用关节像素点分类器得到的像素点预测概率越高，像素点分布越密集；越远离关节点位置，利用关节像素点分类器得到的像素点预测概率越低，像素点分布越稀疏，其中，预测概率表示像素点属于某一关节部位的可能性。然后，利用聚类算法，计算各像素点集合的中心像素点，如图4d中显示的人体关节部位的各个中心点，将各个中心点连接，即得到图4d所示的人体骨架示意图。
进一步的，利用聚类算法，确定像素点集合的中心像素点，并将中心像素点作为关节点位置，以基于关节点位置的变化监控人体姿态的变化，包括：
利用聚类算法，确定像素点集合的中心像素点，并将中心像素点作为关节点位置，将各个关节点位置进行连线以形成人体骨架；
将人体骨架显示在采集的深度图像上，得到监控图像，并输出监控图像。监控图像的输出效果可以参考图2b所示，由于不显示人体敏感区域，从而实现保护用户隐私的视频监控效果。
在上述技术方案的基础上，可选的，关节点位置包括脖子、脊柱、左脚踝和右脚踝对应的关节点位置；相应的，该方法还包括：
基于采集的深度图像，分别提取脖子、脊柱、左脚踝和右脚踝对应的关节点位置处像素点的深度特征，以及在深度图像坐标系中脖子、脊柱、左脚踝和右脚踝对应的关节点位置的像素点坐标；
依据提取的深度特征以及深度图像坐标系和三维世界坐标系的转换关系，将提取的各个像素点坐标分别转换为三维世界坐标；
基于转换后的三维世界坐标，计算脖子与脊柱对应的关节点位置间的连线和脊柱与左脚踝对应的关节点位置间的连线形成的第一夹角θ左，以及脖子与脊柱对应的关节点位置间的连线和脊柱与右脚踝对应的关节点位置间的连线形成的第二夹角θ右；
基于转换后的三维世界坐标，计算脚踝和脖子对应的关节点位置之间的垂直高度差Δh；
分别根据第一夹角θ左、第二夹角θ右和垂直高度差Δh与相应阈值的关系，确定采集的深度图像中人体是否处于跌倒状态。示例性的，分别根据第一夹角θ左与第一夹角阈值的关系，第二夹角θ右与第二夹角阈值的关系，垂直高度差Δh与高度阈值的关系，确定当前深度图像中人体是否处于跌倒状态，例如，如果第一夹角θ左小于第一夹角阈值，第二夹角θ右大于第二夹角阈值，垂直高度差Δh小于高度阈值，则认为人体处于跌倒状态。其中，各个阈值可以根据人体跌倒状态对应的夹角变化和垂直高度变化，进行适应性设置，本实施例不作具体限定。
可选的，该方法还包括：
根据在预设时间内连续采集的深度图像，若在预设时间内均确定深度图像内的人体处于跌倒状态，则确定视频监控结果为人体发生跌倒。其中，预设时间可以适应性进行设置。
上述以人体的跌倒状态为例，对本实施例的视频监控方法进行示例性说明，但是不应当作为对本实施例的具体限定，对人体任意姿态变化的监控，例如行走、跑步和跳跃等姿态变化，均属于本实施例保护的范围。
本实施例的技术方案首先基于深度图像的深度特征，对深度图像进行前后景分割，得到人体区域图像；然后利用网格格点化方法提取人体区域像素点的深度特征；最后利用聚类算法确定出各关节部位像素点集合的中心像素点，作为关节点位置，基于关节点位置的变化监控人体姿态的变化，其中充分利用了深度图像本身不会清楚显示用户敏感区域的特点，解决了现有的视频监控方法易造成用户隐私泄露的问题，实现了保护用户隐私的视频监控效果，即使原始视频被泄露，用户隐私也不会被泄露；并且，网格格点化方法的使用，保证了视频监控过程中提取人体区域像素点深度特征的准确性，进而保证了监控人体姿态变化的准确性；进一步的，本实施方案可以实现监控人体任意姿态的变化，例如跌倒状态。
实施例三
图6是本发明实施例三提供的视频监控装置的结构示意图，本实施例可适用于进行视频监控的情况。该装置可以采用软件和/或硬件的方式实现，并可集成在终端上，例如电脑、笔记本和智能移动终端等。
如图6所示，本实施例提供的视频监控装置包括深度特征提取模块310、关节像素点分类模块320和关节点位置确定模块330，其中：
深度特征提取模块310，用于基于采集的深度图像，提取属于人体区域的像素点的深度特征；
关节像素点分类模块320，用于利用预先训练的关节像素点分类器和深度特征，对提取深度特征的像素点进行分类，得到各关节部位的像素点集合；
关节点位置确定模块330，用于利用聚类算法，确定像素点集合的中心像素点，并将中心像素点作为关节点位置，以基于关节点位置的变化监控人体姿态的变化。
可选的，深度特征提取模块310包括：
前后景分割单元，用于根据采集的深度图像的深度特征，对深度图像进行前后景分割，得到人体区域图像；
深度特征提取单元，用于利用网格格点化方法提取人体区域图像上像素点的深度特征。
可选的，深度特征提取单元，包括：
格点矩阵构建子单元，用于以人体区域图像上的目标像素点为中心，构建格点矩阵，其中，目标像素点是人体区域图像上的任意像素点；
深度特征平均子单元，用于对格点矩阵中每个格点对应的像素点的深度特征取平均，作为目标像素点的深度特征。
可选的，关节像素点分类模块320包括分类器训练单元，其中，分类器训练单元包括：
分类器训练输出确定子单元，用于对样本图像进行人体关节标记，并将标记结果作为训练关节像素点分类器的输出；
分类器训练输入确定子单元，用于提取样本图像上属于人体区域的像素点的深度特征，作为训练关节像素点分类器的输入；
分类器训练子单元，用于基于确定的输入和输出，对关节像素点分类器进行训练。
可选的，关节点位置确定模块330具体用于：
利用聚类算法，确定像素点集合的中心像素点，并将中心像素点作为关节点位置，将各个关节点位置进行连线以形成人体骨架；
将人体骨架显示在采集的深度图像上，得到监控图像，并输出监控图像。
可选的，关节点位置包括脖子、脊柱、左脚踝和右脚踝对应的关节点位置；相应的，该装置还包括：
提取模块，用于基于采集的深度图像，分别提取脖子、脊柱、左脚踝和右脚踝对应的关节点位置处像素点的深度特征，以及在深度图像坐标系中脖子、脊柱、左脚踝和右脚踝对应的关节点位置的像素点坐标；
坐标转换模块，依据提取的深度特征以及深度图像坐标系和三维世界坐标系的转换关系，将提取的各个像素点坐标分别转换为三维世界坐标；
夹角计算模块，基于转换后的三维世界坐标，计算脖子与脊柱对应的关节点位置间的连线和脊柱与左脚踝对应的关节点位置间的连线形成的第一夹角，以及脖子与脊柱对应的关节点位置间的连线和脊柱与右脚踝对应的关节点位置间的连线形成的第二夹角；
高度差计算模块，用于基于转换后的三维世界坐标，计算脚踝和脖子对应的关节点位置之间的垂直高度差；
跌倒状态判断模块，用于分别根据第一夹角、第二夹角和垂直高度差与相应阈值的关系，确定采集的深度图像中人体是否处于跌倒状态。
可选的，该装置还包括：
监控结果确定模块，用于根据在预设时间内连续采集的深度图像，若在预设时间内均确定深度图像内的人体处于跌倒状态，则确定视频监控结果为人体发生跌倒。
可选的，关节像素点分类器包括随机森林分类器。
可选的，聚类算法包括均值偏移算法。
可选的，深度图像包括基于结构光技术或时间飞行原理的深度相机采集的视频中的任意帧图像。
本发明实施例所提供的视频监控装置可执行本发明任意实施例所提供的视频监控方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本发明方法实施例中的描述。
实施例四
图7是本发明实施例四提供的一种终端的结构示意图。图7示出了适于用来实现本发明实施方式的示例性终端412的框图。图7显示的终端412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，终端412以通用终端的形式表现。终端412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnect，PCI)总线。
终端412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被终端412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。终端412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储装置428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
终端412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信，还可与一个或者多个使得用户能与该终端412交互的终端通信，和/或与使得该终端412能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，终端412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器420通过总线418与终端412的其它模块通信。应当明白，尽管图中未示出，可以结合终端412使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的视频监控方法，该方法可以包括：
基于采集的深度图像，提取属于人体区域的像素点的深度特征；
利用预先训练的关节像素点分类器和深度特征，对提取深度特征的像素点进行分类，得到各关节部位的像素点集合；
利用聚类算法，确定像素点集合的中心像素点，并将中心像素点作为关节点位置，以基于关节点位置的变化监控人体姿态的变化。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的视频监控方法，该方法可以包括：
基于采集的深度图像，提取属于人体区域的像素点的深度特征；
利用预先训练的关节像素点分类器和深度特征，对提取深度特征的像素点进行分类，得到各关节部位的像素点集合；
利用聚类算法，确定像素点集合的中心像素点，并将中心像素点作为关节点位置，以基于关节点位置的变化监控人体姿态的变化。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种视频监控方法，其特征在于，包括：
基于采集的深度图像，提取属于人体区域的像素点的深度特征，所述深度特征是图像中人体区域像素点的深度值；
利用预先训练的关节像素点分类器和所述深度特征，对提取深度特征的像素点进行分类，得到各关节部位的像素点集合；
利用聚类算法，确定所述像素点集合的中心像素点，并将所述中心像素点作为关节点位置，以基于所述关节点位置的变化监控人体姿态的变化；
其中，所述基于采集的深度图像，提取属于人体区域的像素点的深度特征，包括：
根据所述采集的深度图像的深度特征，对所述深度图像进行前后景分割，得到人体区域图像；
利用网格格点化方法提取所述人体区域图像上像素点的深度特征；
其中，所述关节点位置包括脖子、脊柱、左脚踝和右脚踝对应的关节点位置；相应的，所述方法还包括：
基于所述采集的深度图像，分别提取所述脖子、脊柱、左脚踝和右脚踝对应的关节点位置处像素点的深度特征，以及在深度图像坐标系中所述脖子、脊柱、左脚踝和右脚踝对应的关节点位置的像素点坐标；
依据所述提取的深度特征以及所述深度图像坐标系和三维世界坐标系的转换关系，将所述提取的各个像素点坐标分别转换为三维世界坐标；
基于转换后的三维世界坐标，计算所述脖子与所述脊柱对应的关节点位置间的连线和所述脊柱与所述左脚踝对应的关节点位置间的连线形成的第一夹角，以及所述脖子与所述脊柱对应的关节点位置间的连线和所述脊柱与所述右脚踝对应的关节点位置间的连线形成的第二夹角；
基于转换后的三维世界坐标，计算所述脚踝和所述脖子对应的关节点位置之间的垂直高度差；
分别根据所述第一夹角、第二夹角和垂直高度差与相应阈值的关系，确定所述采集的深度图像中人体是否处于跌倒状态。
2.根据权利要求1所述的方法，其特征在于，所述利用网格格点化方法提取所述人体区域图像上像素点的深度特征，包括：
以所述人体区域图像上的目标像素点为中心，构建格点矩阵，其中，所述目标像素点是所述人体区域图像上的任意像素点；
对所述格点矩阵中每个格点对应的像素点的深度特征取平均，作为所述目标像素点的深度特征。
3.根据权利要求1所述的方法，其特征在于，所述关节像素点分类器的训练过程包括：
对样本图像进行人体关节标记，并将标记结果作为训练所述关节像素点分类器的输出；
提取所述样本图像上属于人体区域的像素点的深度特征，作为训练所述关节像素点分类器的输入；
基于所述输入和所述输出，对所述关节像素点分类器进行训练。
4.根据权利要求1所述的方法，其特征在于，所述利用聚类算法，确定所述像素点集合的中心像素点，并将所述中心像素点作为关节点位置，以基于所述关节点位置的变化监控人体姿态的变化，包括：
利用聚类算法，确定所述像素点集合的中心像素点，并将所述中心像素点作为关节点位置，将各个关节点位置进行连线以形成人体骨架；
将所述人体骨架显示在所述采集的深度图像上，得到监控图像，并输出所述监控图像。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据在预设时间内连续采集的深度图像，若在所述预设时间内均确定所述深度图像内的人体处于跌倒状态，则确定视频监控结果为人体发生跌倒。
6.根据权利要求1-5中任一所述的方法，其特征在于，所述关节像素点分类器包括随机森林分类器。
7.根据权利要求1-5中任一所述的方法，其特征在于，所述聚类算法包括均值偏移算法。
8.根据权利要求1-5中任一所述的方法，其特征在于，所述深度图像包括基于结构光技术或时间飞行原理的深度相机采集的视频中的任意帧图像。
9.一种视频监控装置，其特征在于，包括：
深度特征提取模块，用于基于采集的深度图像，提取属于人体区域的像素点的深度特征，所述深度特征是图像中人体区域像素点的深度值；
关节像素点分类模块，用于利用预先训练的关节像素点分类器和所述深度特征，对提取深度特征的像素点进行分类，得到各关节部位的像素点集合；
关节点位置确定模块，用于利用聚类算法，确定所述像素点集合的中心像素点，并将所述中心像素点作为关节点位置，以基于所述关节点位置的变化监控人体姿态的变化；
其中，所述深度特征提取模块包括：
前后景分割单元，用于根据采集的深度图像的深度特征，对深度图像进行前后景分割，得到人体区域图像；
深度特征提取单元，用于利用网格格点化方法提取人体区域图像上像素点的深度特征；
其中，所述关节点位置包括脖子、脊柱、左脚踝和右脚踝对应的关节点位置；相应的，所述装置还包括：
提取模块，用于基于采集的深度图像，分别提取脖子、脊柱、左脚踝和右脚踝对应的关节点位置处像素点的深度特征，以及在深度图像坐标系中脖子、脊柱、左脚踝和右脚踝对应的关节点位置的像素点坐标；
坐标转换模块，依据提取的深度特征以及深度图像坐标系和三维世界坐标系的转换关系，将提取的各个像素点坐标分别转换为三维世界坐标；
夹角计算模块，基于转换后的三维世界坐标，计算脖子与脊柱对应的关节点位置间的连线和脊柱与左脚踝对应的关节点位置间的连线形成的第一夹角，以及脖子与脊柱对应的关节点位置间的连线和脊柱与右脚踝对应的关节点位置间的连线形成的第二夹角；
高度差计算模块，用于基于转换后的三维世界坐标，计算脚踝和脖子对应的关节点位置之间的垂直高度差；
跌倒状态判断模块，用于分别根据第一夹角、第二夹角和垂直高度差与相应阈值的关系，确定采集的深度图像中人体是否处于跌倒状态。
10.一种终端，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的视频监控方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的视频监控方法。
CN201910001785.7A 2019-01-02 2019-01-02 视频监控方法、装置、终端和介质 Active CN109635783B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910001785.7A CN109635783B (zh) 2019-01-02 2019-01-02 视频监控方法、装置、终端和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910001785.7A CN109635783B (zh) 2019-01-02 2019-01-02 视频监控方法、装置、终端和介质

Publications (2)

Publication Number Publication Date
CN109635783A CN109635783A (zh) 2019-04-16
CN109635783B true CN109635783B (zh) 2023-06-20

Family

ID=66056665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910001785.7A Active CN109635783B (zh) 2019-01-02 2019-01-02 视频监控方法、装置、终端和介质

Country Status (1)

Country Link
CN (1) CN109635783B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110595602B (zh) * 2019-04-26 2021-10-15 深圳市豪视智能科技有限公司 振动检测方法及相关产品
CN110321795B (zh) * 2019-05-24 2024-02-23 平安科技（深圳）有限公司 用户姿态识别方法、装置、计算机装置及计算机存储介质
CN110225308B (zh) * 2019-06-18 2020-10-27 中国科学技术大学 一种对家庭视频安防系统的隐私保护方法
CN110897865A (zh) * 2019-12-25 2020-03-24 中科彭州智慧产业创新中心有限公司 耳穴引导装置及方法
CN111767812B (zh) * 2020-06-18 2023-04-21 浙江大华技术股份有限公司 跌倒检测方法、跌倒检测装置及存储装置
CN111783702A (zh) * 2020-07-20 2020-10-16 杭州叙简科技股份有限公司 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法
CN112535476B (zh) * 2020-12-01 2022-11-22 业成科技（成都）有限公司 跌倒侦测系统及其方法
CN113902790B (zh) * 2021-12-09 2022-03-25 北京的卢深视科技有限公司 美容指导方法、装置、电子设备和计算机可读存储介质
CN113989276B (zh) * 2021-12-23 2022-03-29 珠海视熙科技有限公司 一种基于深度图像的检测方法、检测装置及摄像设备
CN114419842B (zh) * 2021-12-31 2024-05-10 浙江大学台州研究院 基于人工智能的辅助用户至马桶的跌倒报警方法及装置
CN114973415B (zh) * 2022-06-02 2023-08-18 华中科技大学 一种基于双层隐私过滤机制的居家行为检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679175A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于深度摄像机的快速3d骨骼模型检测方法
CN104200200A (zh) * 2014-08-28 2014-12-10 公安部第三研究所 融合深度信息和灰度信息实现步态识别的系统及方法
CN106055091A (zh) * 2016-05-16 2016-10-26 电子科技大学 一种基于深度信息和校正方式的手部姿态估计方法
CN108564012A (zh) * 2018-03-29 2018-09-21 北京工业大学 一种基于人体特征分布的行人解析方法
US10096122B1 (en) * 2017-03-28 2018-10-09 Amazon Technologies, Inc. Segmentation of object image data from background image data

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101227569B1 (ko) * 2011-05-26 2013-01-29 한국과학기술연구원 골프 스윙 분석을 위한 신체 부위별 위치 추적 장치 및 방법
CN103246884B (zh) * 2013-05-22 2016-08-10 清华大学 基于深度图像序列的实时人体动作识别方法及装置
KR20150061488A (ko) * 2013-11-27 2015-06-04 한국전자통신연구원 3차원 사용자 자세 추정 방법 및 장치
CN103886588B (zh) * 2014-02-26 2016-08-17 浙江大学 一种三维人体姿态投影的特征提取方法
CN105279483B (zh) * 2015-09-28 2018-08-21 华中科技大学 一种基于深度图像的跌倒行为实时检测方法
CN105760861B (zh) * 2016-03-29 2020-05-12 华东师范大学 一种基于深度数据的癫痫发作监控方法及系统
CN106022213B (zh) * 2016-05-04 2019-06-07 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN106767682A (zh) * 2016-12-01 2017-05-31 腾讯科技（深圳）有限公司 一种获取飞行高度信息的方法及飞行器
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法
CN107194967B (zh) * 2017-06-09 2021-04-06 南昌大学 基于Kinect深度图像的人体摔倒检测方法及装置
CN108154104B (zh) * 2017-12-21 2021-10-15 北京工业大学 一种基于深度图像超像素联合特征的人体姿态估计方法
CN108596056A (zh) * 2018-04-10 2018-09-28 武汉斑马快跑科技有限公司 一种出租车运营行为动作识别方法及系统
CN108898630B (zh) * 2018-06-27 2020-12-15 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
CN109117893A (zh) * 2018-08-28 2019-01-01 华中师范大学 一种基于人体姿态的动作识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679175A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于深度摄像机的快速3d骨骼模型检测方法
CN104200200A (zh) * 2014-08-28 2014-12-10 公安部第三研究所 融合深度信息和灰度信息实现步态识别的系统及方法
CN106055091A (zh) * 2016-05-16 2016-10-26 电子科技大学 一种基于深度信息和校正方式的手部姿态估计方法
US10096122B1 (en) * 2017-03-28 2018-10-09 Amazon Technologies, Inc. Segmentation of object image data from background image data
CN108564012A (zh) * 2018-03-29 2018-09-21 北京工业大学 一种基于人体特征分布的行人解析方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Diogo Carbonera Luvizon等.Learning features combination for human action recognition from skeleton sequences.《Pattern Recognition Letters》.2017,第13-20页. *
Jamie Shotton等.Real-Time Human Pose Recognition in Parts from Single Depth Images.《CVPR 2011》.2011,第1297-1304页. *
全夏杰.基于深度信息的人体运动识别算法研究.《万方数据》.2018,第1-70页. *
周磊.基于体感识别的智能运动训练系统.《万方数据》.2018,第1-74页. *
张乐锋.单一深度图像人体部位识别.《中国优秀硕士学位论文全文数据库 信息科技辑》.2016,(第（2016）04期),I138-1077. *

Also Published As

Publication number Publication date
CN109635783A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109635783B (zh) 视频监控方法、装置、终端和介质
EP3961485A1 (en) Image processing method, apparatus and device, and storage medium
TWI754887B (zh) 活體檢測方法和裝置、電子設備及儲存介質
US11430265B2 (en) Video-based human behavior recognition method, apparatus, device and storage medium
US8792722B2 (en) Hand gesture detection
US8750573B2 (en) Hand gesture detection
CN109934065B (zh) 一种用于手势识别的方法和装置
CN110163076B (zh) 一种图像数据处理方法和相关装置
CN102982341B (zh) 一种可跨摄像机的自适应人群密度估计方法
US20230267735A1 (en) Method for structuring pedestrian information, device, apparatus and storage medium
TW202014984A (zh) 一種圖像處理方法、電子設備及存儲介質
WO2023082784A1 (zh) 一种基于局部特征注意力的行人重识别方法和装置
CN112200187A (zh) 一种目标检测方法、装置、机器可读介质及设备
CN112949507A (zh) 人脸检测方法、装置、计算机设备及存储介质
CN110858277A (zh) 一种获得姿态分类模型的方法以及装置
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN110795975A (zh) 人脸误检优化方法及装置
CN114332927A (zh) 课堂举手行为检测方法、系统、计算机设备和存储介质
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
CN115115699A (zh) 姿态估计方法、装置、相关设备和计算机产品
CN116862920A (zh) 一种人像分割方法、装置、设备及介质
CN114842466A (zh) 目标检测方法、计算机程序产品和电子设备
CN113792700A (zh) 一种电瓶车入箱检测方法、装置、计算机设备及存储介质
CN114842498A (zh) 一种抽烟行为检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant