CN108364303A - 一种带隐私保护的摄像机智能跟踪方法 - Google Patents

一种带隐私保护的摄像机智能跟踪方法 Download PDF

Info

Publication number
CN108364303A
CN108364303A CN201810084838.1A CN201810084838A CN108364303A CN 108364303 A CN108364303 A CN 108364303A CN 201810084838 A CN201810084838 A CN 201810084838A CN 108364303 A CN108364303 A CN 108364303A
Authority
CN
China
Prior art keywords
thread
human body
video frame
face
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810084838.1A
Other languages
English (en)
Inventor
史国庆
柴晓晋
吴勇
张建东
任昊
韩月
彭秀楠
莫文莉
柴源
蔡其航
周佳明
袁履绥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201810084838.1A priority Critical patent/CN108364303A/zh
Publication of CN108364303A publication Critical patent/CN108364303A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种带隐私保护的摄像机智能跟踪方法，利用聚合通道人体检测与核相关滤波跟踪级联并利用聚合通道人脸检测和支持向量机人脸识别技术，实现了有选择地对人体进行快速跟踪且能对部分人员有选择地进行不跟踪的目的；减少了误警和不必要的流量消耗，也很好地保护了个人隐私。

Description

一种带隐私保护的摄像机智能跟踪方法
技术领域
本发明涉及摄像机智能跟踪领域，特别涉及一种带隐私保护的摄像机智能跟踪方法。
背景技术
目前的家用监控摄像头大都能通过用户远程指令控制摄像头转动，也有部分摄像头可以实现智能跟拍，智能跟拍方法主要有两类，一类对所有移动物体无差别对待，一律跟拍，这样做的优点是技术难度相对较低，速度也较快，不过缺点也很明显，摄像头容易被恶意闯入者诱导，或者频繁向用户发送一些家里宠物等运动物体的视频，造成误警和不必要的流量浪费；另外一类跟拍方案是对人体进行检测，之后进行人体跟踪，不过缺点是对所有人体都进行追踪，这样有一个很明显的缺点是若摄像头被盗链，家庭用户隐私视频信息很有可能被泄露。
另一方面从算法的角度讲现有家用摄像头的运动目标检测普遍采用背景减法，帧间差分法，光流场法，这些算法在速度上较快，不过缺点是不能区分人体和其它任何运动物体，目前目标跟踪普遍采用的算法则是卡尔曼滤波，粒子滤波，mean-shift，OAB等，这些算法在精度或者速度上相较于目前相关滤波类跟踪算法都有较大的缺陷。
专利号CN201710386007提出一种基于监控视频多目标跟踪和人脸识别的隐私保护方法，其中行人检测算法特征采用方向梯度直方图，分类器采用优化的支持向量机训练算法；行人跟踪部分采用卡尔曼滤波器。此方法能在一定程度上达到设计目的，不过存在以下两点不足：
(1)在行人检测应用场景中光照，形变等环境因素较复杂，只是通过单纯提取视频帧的方向梯度直方图，算法的抗干扰能力比较差；
(2)卡尔曼滤波跟踪算法则是基于传统的生成模型的目标跟踪算法，生成模型目标跟踪算法会花费大量的时间对目标外观进行建模，因此在实时性上无法达到满足，难以应用到低成本的嵌入式环境下，性能上也普遍差于当前基于判别模型的跟踪算法如相关滤波类算法。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提供了一种带隐私保护的摄像机智能跟踪方法，利用聚合通道人体检测与核相关滤波跟踪级联并利用聚合通道人脸检测和支持向量机人脸识别技术，实现了有选择地对人体进行快速跟踪且能对部分人员有选择地进行不跟踪的目的。
技术方案
一种带隐私保护的摄像机智能跟踪方法，所述的摄像机设有人体热释电模块用于感应人体红外信号，设有2自由度的舵机用于跟踪人体；其特征在于步骤如下：
步骤S101：摄像机接收到触发信号，开启智能检测并读取视频帧图片；所述的触发信号为人体热释电模块接收到的人体红外信号；所述的智能检测包括聚合通道人体检测线程和聚合通道人脸检测线程；
步骤S102：同时开启聚合通道人体检测线程和聚合通道人脸检测线程，若检测到人体开启核相关滤波人体跟踪线程，若检测到人脸则开启支持向量机人脸识别线程；
步骤S103：根据检测到的人脸判断是否是待保护人员，若是则进入步骤S105，否则进入步骤S104；
步骤S104：录制报警视频推送到用户客户端并保持跟踪；
步骤S105：关闭核相关滤波人体跟踪线程，摄像机进入休眠即隐私保护模式。
步骤S102中所述的聚合通道人体检测线程具体步骤如下：
步骤S_A202：摄像机开始接收视频帧，将视频帧送入聚合通道人体检测模块，并开启定时器，若在给定时间内未检测到人体，则关闭摄像机智能检测程序摄像机进入休眠，否则进入步骤S_A203；
步骤S_A203：挂起聚合通道人体检测线程，开启核相关滤波人体跟踪线程，并将聚合通道人体检测线程最后得到的视频帧及视频帧中的人体位置送入核相关滤波人体跟踪线程；
步骤S_A204：利用S_A203步骤送入的视频帧及人体位置初始化核相关滤波跟踪器，并通过V4L视频采集接口读取视频帧更新核相关滤波跟踪器，在跟踪过程中，若跟踪失败则返回步骤S_A202重新唤醒聚合通道人体检测线程。
步骤S102中所述的聚合通道人脸检测线程具体步骤如下：
步骤S_B202：摄像机开始接收视频帧，将视频帧送入聚合通道人脸检测模块，并开启定时器，若在给定时间内未检测到人脸，则直接关闭聚合通道人脸检测线程并保持核相关滤波人体跟踪线程，否则进入步骤S_B203；
步骤S_B203：关闭聚合通道人脸检测线程，开启支持向量机人脸识别线程，并将人脸检测线程最后得到的视频帧及视频帧中的人脸位置送入支持向量机人脸识别线程；
步骤S_B204：将S_B203中检测到视频帧及人脸位置送入支持向量机分类器，利用分类器输出标签及可信度与摄像机本地数据库的待保护人员标签作对比，若为待保护人员则关闭核相关滤波人体跟踪线程，否则退出支持向量机人脸识别线程，保持核相关滤波人体跟踪线程。
步骤S_A202中所述的聚合通道人体检测模块步骤如下：
步骤S401：读取当前摄像头视频帧；
步骤S402：将视频帧按照比例为2-1/8进行缩放得到n个图层，每隔8个图层计算一次图层特征通道，其余图层通过相邻图层推算，构造特征金字塔；将所得的特征向量化输入AdaBoost决策树分类器；
步骤S403：利用AdaBoost决策树分类器对输入的特征描述进行分类；
步骤S404：输出检测到的视频帧中人体位置。
步骤S_B202中所述的聚合通道人脸检测模块步骤如下：
步骤S401：读取当前摄像头视频帧；
步骤S402：将视频帧按照比例为2-1/8进行缩放得到n个图层，每隔8个图层计算一次图层特征通道，其余图层通过相邻图层推算，构造特征金字塔；将所得的特征向量化输入AdaBoost决策树分类器；
步骤S403：利用AdaBoost决策树分类器对输入的特征描述进行分类；
步骤S404：输出检测到的视频帧中人脸位置。
步骤S_A204所述核相关滤波跟踪器具体步骤如下：
步骤S501：第一帧为聚合通道人体检测模块检测到的视频帧，之后则直接通过V4L接口读取摄像头视频帧；
步骤S502：若是第一帧则基于视频帧中的已知人体位置对图片进行循环偏移，构造正负样本并提取样本的方向梯度直方图HOG；若不是第一帧，则利用前一帧中的目标位置为中心将当前帧进行循环偏移，构造正负样本，并提取HOG特征，之后对特征进行离散傅里叶变换，求取特征的外观模型z；
步骤S503：判断当前视频帧是不是进入该核相关滤波跟踪器的第一帧，若是，则进入步骤S507利用该帧及帧中的人体位置初始化岭回归分类器，否则，进入步骤S504；
步骤S504：计算目标外观模型的核相关性，并通过核滤波参数，计算当前待检测图片所有候选区域的回归值；
步骤S505：认为步骤S504中回归值最大所对应的区域即为目标位置；
步骤S506：根据当前目标位置获取搜索区域，对该区域进行提取HOG特征，对该特征进行离散傅里叶变换，获得目标在离散傅里叶变换下的外观模型；
步骤S507：计算外观模型核相关性，利用岭回归模型学习当前帧核滤波参数，之后利用新的外观模型和核滤波参数更新S504步骤的岭回归分类器。
所述的给定时间为15s。
有益效果
当前行人检测领域聚合通道检测算法在速度及召回率上有很大的优势，在视觉跟踪领域核相关滤波则同时兼顾速度和精度，本发明利用两者的级联实现智能摄像头中对人体有选择的跟踪，且在速度和精度上相较于传统方案都有很大程度提高；算法的运行环境硬件要求也远低于目前的深度学习视频处理方法，很大程度上降低了设备成本，有利于大规模推广；此外利用人脸检测和识别技术能对人员进行有选择地跟踪和报警，减少了误警和不必要的流量消耗，也很好地保护了个人隐私。
附图说明
图1示出了本发明实施例所提供的带隐私保护的摄像机智能跟踪方法流程图。
图2示出了本发明实施例所提供的带隐私保护的摄像机智能跟踪方法具体实现流程图。
图3示出了本发明实施例所提供的基于聚合通道人体/人脸检测模型训练流程图。
图4示出了本发明实施例所提供的基于聚合通道人体/人脸检测流程图。
图5示出了本发明实施例所提供的基于核相关滤波的人体跟踪流程图。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
图1示出了本发明实施例所提供的带隐私保护的摄像机智能跟踪方法流程图。
步骤S101：摄像机接收到触发信号，唤醒摄像机，开启智能检测并读取第一帧图片。
本步骤中，所述触发信号为摄像机人体热释电模块(传感器)接收到的人体红外信号，因此对于其它的生物或非生物红外信号并不适用于本实施例，现在假设家里某人员经过摄像机，摄像机接收到红外信号，开启智能检测程序并读取当前视频帧。
步骤S102：同时开启聚合通道人体检测和聚合通道人脸检测，若检测到人体开启核相关滤波人体跟踪，若检测到人脸则开启支持向量机人脸识别模块。
本步骤中将同时开启聚合通道人体检测和聚合通道人脸检测，若在15s内未检测到人体，将退出本次任务，摄像机进入休眠状态，若在15s内未检测到人脸，则直接关闭本人脸检测和人脸识别模块。当检测到人体后，则挂起人体检测模块，进入核相关滤波人体跟踪模块，若跟踪失败则重新唤醒人体检测模块，以重新初始化跟踪模块，但注意此时不再开启人脸检测模块。当检测到人脸后，则停止人脸检测模块，并将检测到的视频帧及人脸位置送入支持向量机人脸识别模块。
步骤S103：根据检测到的人脸判断是否是待保护人员，若是则进入步骤S105，否则进入步骤S104；
本步骤中用户需将待保护人员脸部照片通过客户端上传到云中，云端通过更新的数据集训练出新的模型，并下发到用户ID所属的摄像头设备，同时更新设备本地数据库待保护人员标签。利用识别结果与本地数据库待保护人员对比，若为待保护人员则直接结束本次跟踪任务，否则继续跟踪并结束本模块。
步骤S104：录制报警视频推送到用户客户端并保持跟踪。
本步骤的视频录制在跟踪过程中同时进行，录制完20s视频后，通过RTMP推流到云服务器，云服务器下发到客户端。
步骤S105：关闭人体跟踪，摄像机进入休眠即隐私保护模式。
图2示出了本发明实施例所提供的带隐私保护的摄像机智能跟踪方法具体实现流程图。
下面将结合具体的例子对本发明的实现过程进行详述：假设用户已经通过客户端将人员X的身份信息更新到摄像机本地数据库，某日人员X到访。
步骤S201：摄像机检测到人员X人体红外热释电信号后，唤醒摄像机，运行智能检测程序并读取第一帧图片(程序同时开启S_A202和S_B202两个线程，以下先介绍S_A线程)。
步骤S_A202：本线程开启聚合通道特征(Aggregate Channel Features，以下简称ACF)人体检测，若15s内未检测到人员X，则进入步骤S_B207关闭程序，摄像机进入休眠状态；若检测到人员X，则进入S_A203，其中ACF检测器的训练及具体检测流程分别见附图3和附图4及其说明。
步骤S_A203：挂起本ACF人体检测线程，关闭人体检测。
步骤S_A204：开启核相关滤波(Kernelized Correlation Filters，以下简称KCF)跟踪线程，对人员X进行跟踪，注意这里跟踪的执行机构为摄像机主控板控制的两路舵机，自由度为2(水平和垂直方向)，由于这种机械结构上的限制，导致在同一时间内摄像头只能精确地随动跟踪一人，若此时室内同时出现两人及以上，则随机的择其一进行跟踪，若跟踪失败则进入S_A202，唤醒KCF人体检测线程，若跟踪成功则进入S_A205。其中KCF跟踪器具体工作流程见图5及其说明。
步骤S_A205：在对人员X开启KCF跟踪时同时开启了视频录制，若在这期间人脸检测及识别线程已经确认人员X为保护人员，则停止视频录制并放弃向用户客户端推流，否则录制完成20s后利用RTMP协议通过阿里云向用户推流报警。
步骤S_B202：本线程开启ACF人脸检测，若15s内未检测到人员X的人脸，则直接关闭本线程，保持KCF跟踪线程。这样做的理由是考虑到一些不法分子刻意遮挡脸部，当出现这种情况则直接保持跟踪，将视频推送到用户端，由用户进行决策。
步骤S_B203：若检测到人员X的脸部，则关闭ACF人脸检测线程。
步骤S_B204：将S_B202步骤检测得到的人脸帧先进行LBPH特征提取，之后送入支持向量机(Support Vector Machine，以下简称SVM)人脸检测模块，并将识别结果与本地数据库待保护人员信息进行对比，若成功识别人员X确认其为保护人员，则进入步骤S_B206，关闭对待保护人员的跟踪，若未成功识别人员X(比如说人员X脸部有较严重的遮挡)，则进入S_B205。
步骤S_B205：关闭人脸识别线程，保持KCF跟踪。
步骤S_B206：若人员X已成功识别，关闭视频跟踪，进入隐私保护模式。
步骤S_B207：关闭程序开启的各线程，退出智能跟踪，摄像机继续进入休眠状态。
图3示出了本发明实施例所提供的基于聚合通道人体/人脸检测模型训练流程图。
在使用聚合通道人体/人脸检测前需先对分类器进行训练，训练步骤如下所示：
步骤S301：这里人体与人脸的训练步骤相同，唯一的区别是人体检测训练样本集采用Caltech行人数据集，人脸检测训练样本集采用FDDB数据集。
步骤S302：这里选取了样本图片的10个聚合通道特征包括3个LUV颜色通道，6个梯度方向直方图通道及1个局部归一化梯度幅值通道，聚合通道特征提取的过程为先利用[12 1]/4对样本图片进行去噪；之后分别对10个通道进行计算，并利用双线性插值对各通道进行降采样即将各通道划分成4*4的小块并求和；最后再次利用[1 2 1]/4模板对降采样后的各通道进行滤波。
步骤S303：分类器设计方法采用Adaboost，选择2层决策树作为弱分类器，考虑到人体和人脸容易有较大形变，这里选择采用2048棵决策树，每棵决策树的根节点随机选择2个特征，之后将弱分类器经过T轮迭代产生T个最优弱分类器，并加权所有弱分类器得到最终的强分类器。另外由于检测在每个图层及每个图层的每个区域进行，因此很可能出现同个目标被检测到多次的情况，这里采用PASCAL原则进行非极大值抑制，PASCAL原则的原理如下，定义其中Sa为数据集中目标标注实际位置，Sb为检测到的目标位置，这里设置阀值为0.5，即IOU大于0.5认为目标识别成功。
图4示出了本发明实施例所提供的基于聚合通道人体/人脸检测流程图。
利用上一步训练好的聚合通道人体检测模型和人脸检测模型，分别可完成人体检测和人脸检测，具体的步骤如下：
步骤S401：读取当前摄像头视频帧。
步骤S402：为适应人体或者人脸的尺度变化，这里构造特征金字塔，每个图层的长宽缩放比例为2-1/8，每隔8个图层计算一次图层特征通道，其余图层通过相邻图层推算。这里选取每个图层上滑动窗口的大小为64*48，像素点步长为4，因此得到64*48*10/(4*4)＝1920维特征，之后将这1920维特征向量化输入分类器。
步骤S403：利用AdaBoost决策树分类器对输入的特征描述进行分类。
步骤S404：输出检测到的视频帧中人体及人脸位置。
图5示出了本发明实施例所提供的基于核相关滤波的人体跟踪流程图。
步骤S501：第一帧为聚合通道人体检测模块检测到的视频帧，之后则直接通过V4L接口读取摄像头视频帧。
步骤S502：若是第一帧则基于视频帧中的已知人体位置对图片进行循环偏移，构造正负样本并提取样本的方向梯度直方图(HOG)；若不是第一帧，则利用前一帧中的目标位置为中心将当前帧进行循环偏移，构造正负样本，并提取HOG特征，之后对特征进行离散傅里叶变换，求取特征的外观模型zt。
步骤S503：判断当前视频帧是不是进入该人体跟踪模块的第一帧，若是，则进入步骤S507利用该帧及帧中的人体位置初始化岭回归分类器，否则，进入步骤S504。
步骤S504：计算目标外观模型的核相关性κ(xt-1,zt)，并通过核滤波参数αt-1计算当前待检测图片所有候选区域的回归值其中为快速傅里叶逆变换，⊙为点乘运算。
步骤S505：认为步骤S504中回归值RES最大值所对应的区域即为目标位置。
步骤S506：根据当前目标位置获取搜索区域，对该区域进行提取HOG特征，对该特征进行离散傅里叶变换，获得目标在离散傅里叶变换下的外观模型记作xt′。
步骤S507：计算外观模型核相关性κ(xt′,xt′)，利用岭回归模型学习当前帧核滤波参数αt′＝(κ(xt′,xt′)+Iλ)-1y，其中y为对应样本回归值组成的列向量，之后利用新的外观模型xt′和核滤波参数αt′更新S504步骤的岭回归分类器，将滤波参数更新为αt＝(1-β)αt-1+βαt′，将外观模型更新为xt＝(1-β)xt-1+βxt′，其中β为学习参数。

Claims (7)

1.一种带隐私保护的摄像机智能跟踪方法，所述的摄像机设有人体热释电模块用于感应人体红外信号，设有2自由度的舵机用于跟踪人体；其特征在于步骤如下：
步骤S101：摄像机接收到触发信号，开启智能检测并读取视频帧图片；所述的触发信号为人体热释电模块接收到的人体红外信号；所述的智能检测包括聚合通道人体检测线程和聚合通道人脸检测线程；
步骤S102：同时开启聚合通道人体检测线程和聚合通道人脸检测线程，若检测到人体开启核相关滤波人体跟踪线程，若检测到人脸则开启支持向量机人脸识别线程；
步骤S103：根据检测到的人脸判断是否是待保护人员，若是则进入步骤S105，否则进入步骤S104；
步骤S104：录制报警视频推送到用户客户端并保持跟踪；
步骤S105：关闭核相关滤波人体跟踪线程，摄像机进入休眠即隐私保护模式。
2.根据权利要求1所述的一种带隐私保护的摄像机智能跟踪方法，其特征在于步骤S102中所述的聚合通道人体检测线程具体步骤如下：
步骤S_A202：摄像机开始接收视频帧，将视频帧送入聚合通道人体检测模块，并开启定时器，若在给定时间内未检测到人体，则关闭摄像机智能检测程序摄像机进入休眠，否则进入步骤S_A203；
步骤S_A203：挂起聚合通道人体检测线程，开启核相关滤波人体跟踪线程，并将聚合通道人体检测线程最后得到的视频帧及视频帧中的人体位置送入核相关滤波人体跟踪线程；
步骤S_A204：利用S_A203步骤送入的视频帧及人体位置初始化核相关滤波跟踪器，并通过V4L视频采集接口读取视频帧更新核相关滤波跟踪器，在跟踪过程中，若跟踪失败则返回步骤S_A202重新唤醒聚合通道人体检测线程。
3.根据权利要求1所述的一种带隐私保护的摄像机智能跟踪方法，其特征在于步骤S102中所述的聚合通道人脸检测线程具体步骤如下：
步骤S_B202：摄像机开始接收视频帧，将视频帧送入聚合通道人脸检测模块，并开启定时器，若在给定时间内未检测到人脸，则直接关闭聚合通道人脸检测线程并保持核相关滤波人体跟踪线程，否则进入步骤S_B203；
步骤S_B203：关闭聚合通道人脸检测线程，开启支持向量机人脸识别线程，并将人脸检测线程最后得到的视频帧及视频帧中的人脸位置送入支持向量机人脸识别线程；
步骤S_B204：将S_B203中检测到视频帧及人脸位置送入支持向量机分类器，利用分类器输出标签及可信度与摄像机本地数据库的待保护人员标签作对比，若为待保护人员则关闭核相关滤波人体跟踪线程，否则退出支持向量机人脸识别线程，保持核相关滤波人体跟踪线程。
4.根据权利要求2所述的一种带隐私保护的摄像机智能跟踪方法，其特征在于步骤S_A202中所述的聚合通道人体检测模块步骤如下：
步骤S401：读取当前摄像头视频帧；
步骤S402：将视频帧按照比例为2-1/8进行缩放得到n个图层，每隔8个图层计算一次图层特征通道，其余图层通过相邻图层推算，构造特征金字塔；将所得的特征向量化输入AdaBoost决策树分类器；
步骤S403：利用AdaBoost决策树分类器对输入的特征描述进行分类；
步骤S404：输出检测到的视频帧中人体位置。
5.根据权利要求3所述的一种带隐私保护的摄像机智能跟踪方法，其特征在于步骤S_B202中所述的聚合通道人脸检测模块步骤如下：
步骤S401：读取当前摄像头视频帧；
步骤S402：将视频帧按照比例为2-1/8进行缩放得到n个图层，每隔8个图层计算一次图层特征通道，其余图层通过相邻图层推算，构造特征金字塔；将所得的特征向量化输入AdaBoost决策树分类器；
步骤S403：利用AdaBoost决策树分类器对输入的特征描述进行分类；
步骤S404：输出检测到的视频帧中人脸位置。
6.根据权利要求2所述的一种带隐私保护的摄像机智能跟踪方法，其特征在于步骤S_A204所述核相关滤波跟踪器具体步骤如下：
步骤S501：第一帧为聚合通道人体检测模块检测到的视频帧，之后则直接通过V4L接口读取摄像头视频帧；
步骤S502：若是第一帧则基于视频帧中的已知人体位置对图片进行循环偏移，构造正负样本并提取样本的方向梯度直方图HOG；若不是第一帧，则利用前一帧中的目标位置为中心将当前帧进行循环偏移，构造正负样本，并提取HOG特征，之后对特征进行离散傅里叶变换，求取特征的外观模型z；
步骤S503：判断当前视频帧是不是进入该核相关滤波跟踪器的第一帧，若是，则进入步骤S507利用该帧及帧中的人体位置初始化岭回归分类器，否则，进入步骤S504；
步骤S504：计算目标外观模型的核相关性，并通过核滤波参数，计算当前待检测图片所有候选区域的回归值；
步骤S505：认为步骤S504中回归值最大所对应的区域即为目标位置；
步骤S506：根据当前目标位置获取搜索区域，对该区域进行提取HOG特征，对该特征进行离散傅里叶变换，获得目标在离散傅里叶变换下的外观模型；
步骤S507：计算外观模型核相关性，利用岭回归模型学习当前帧核滤波参数，之后利用新的外观模型和核滤波参数更新S504步骤的岭回归分类器。
7.根据权利要求2或3所述的一种带隐私保护的摄像机智能跟踪方法，其特征在于所述的给定时间为15s。
CN201810084838.1A 2018-01-29 2018-01-29 一种带隐私保护的摄像机智能跟踪方法 Withdrawn CN108364303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810084838.1A CN108364303A (zh) 2018-01-29 2018-01-29 一种带隐私保护的摄像机智能跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810084838.1A CN108364303A (zh) 2018-01-29 2018-01-29 一种带隐私保护的摄像机智能跟踪方法

Publications (1)

Publication Number Publication Date
CN108364303A true CN108364303A (zh) 2018-08-03

Family

ID=63007405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810084838.1A Withdrawn CN108364303A (zh) 2018-01-29 2018-01-29 一种带隐私保护的摄像机智能跟踪方法

Country Status (1)

Country Link
CN (1) CN108364303A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109688380A (zh) * 2018-12-26 2019-04-26 上海与德通讯技术有限公司 一种监控装置、方法、记录仪及存储介质
CN109934098A (zh) * 2019-01-24 2019-06-25 西北工业大学 一种带隐私保护的摄像机智能系统及其实现方法
CN113093554A (zh) * 2021-04-14 2021-07-09 西北工业大学 一种基于Time Base Generator的固定时间动态区域跟踪控制方法
CN117576764A (zh) * 2024-01-15 2024-02-20 四川大学 一种基于多目标追踪的视频无关人员自动识别方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109688380A (zh) * 2018-12-26 2019-04-26 上海与德通讯技术有限公司 一种监控装置、方法、记录仪及存储介质
CN109934098A (zh) * 2019-01-24 2019-06-25 西北工业大学 一种带隐私保护的摄像机智能系统及其实现方法
CN113093554A (zh) * 2021-04-14 2021-07-09 西北工业大学 一种基于Time Base Generator的固定时间动态区域跟踪控制方法
CN113093554B (zh) * 2021-04-14 2022-07-05 西北工业大学 一种基于Time Base Generator的固定时间动态区域跟踪控制方法
CN117576764A (zh) * 2024-01-15 2024-02-20 四川大学 一种基于多目标追踪的视频无关人员自动识别方法
CN117576764B (zh) * 2024-01-15 2024-04-16 四川大学 一种基于多目标追踪的视频无关人员自动识别方法

Similar Documents

Publication Publication Date Title
Verma et al. A review of supervised and unsupervised machine learning techniques for suspicious behavior recognition in intelligent surveillance system
Lu et al. Online video object detection using association LSTM
CN107123131B (zh) 一种基于深度学习的运动目标检测方法
CN109934098A (zh) 一种带隐私保护的摄像机智能系统及其实现方法
CN108364303A (zh) 一种带隐私保护的摄像机智能跟踪方法
CN106919921B (zh) 结合子空间学习与张量神经网络的步态识别方法及系统
Hu et al. Towards real-time eyeblink detection in the wild: Dataset, theory and practices
CN103345735A (zh) 一种基于Kalman滤波器的压缩时空多传感器融合跟踪方法
CN104219488B (zh) 目标图像的生成方法和装置、以及视频监控系统
Shirsat et al. Proposed system for criminal detection and recognition on CCTV data using cloud and machine learning
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
Ezzahout et al. Conception and development of a video surveillance system for detecting, tracking and profile analysis of a person
CN110322472A (zh) 一种多目标跟踪方法以及终端设备
CN117541994A (zh) 一种密集多人场景下的异常行为检测模型及检测方法
Rodriguez et al. Deep learning applied to capacity control in commercial establishments in times of COVID-19
Badave et al. Evaluation of person recognition accuracy based on openpose parameters
Ali et al. Deep Learning Algorithms for Human Fighting Action Recognition.
Baisware et al. Review on recent advances in human action recognition in video data
Hwang et al. Cut and continuous paste towards real-time deep fall detection
Shivthare et al. Suspicious activity detection network for video surveillance using machine learning
Zhou et al. Anomalous event detection based on self-organizing map for supermarket monitoring
Huang et al. A bioinspired retinal neural network for accurately extracting small-target motion information in cluttered backgrounds
Srivastava et al. Automatic and multimodal nuisance activity detection inside ATM cabins in real time
Zhuang et al. Differential recurrent neural network and its application for human activity recognition
Cai et al. A target tracking method based on adaptive occlusion judgment and model updating strategy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180803