CN109934098A - 一种带隐私保护的摄像机智能系统及其实现方法 - Google Patents
一种带隐私保护的摄像机智能系统及其实现方法 Download PDFInfo
- Publication number
- CN109934098A CN109934098A CN201910066207.1A CN201910066207A CN109934098A CN 109934098 A CN109934098 A CN 109934098A CN 201910066207 A CN201910066207 A CN 201910066207A CN 109934098 A CN109934098 A CN 109934098A
- Authority
- CN
- China
- Prior art keywords
- human body
- frame
- video camera
- face
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 claims abstract description 32
- 238000001914 filtration Methods 0.000 claims abstract description 29
- 238000012706 support-vector machine Methods 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 8
- 238000003066 decision tree Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 230000005616 pyroelectricity Effects 0.000 claims description 2
- 238000006116 polymerization reaction Methods 0.000 claims 1
- 238000012549 training Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010021703 Indifference Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种带隐私保护的摄像机智能系统及其实现方法，人体热释电传感器安装于摄像机的摄像头前方，并接收人体的红外触发信号，摄像机读取摄像头的第一帧图片；同时开启聚合通道人体检测和聚合通道人脸检测，若摄像机检测到人体，则开启核相关滤波人体跟踪，若摄像机检测到人脸，则开启支持向量机人脸识别；检测到的人脸若是待保护人员，则关闭人体跟踪，否则录制视频并推送到用户客户端并保持跟踪非保护人员。本发明利用两者的级联实现智能摄像头中对人体有选择的跟踪，且在速度和精度上相较于传统方案都有很大程度提高；很大程度上降低了设备成本，有利于大规模推广；减少了误警和不必要的流量消耗，也很好地保护了个人隐私。
Description
技术领域
本发明涉及智能跟踪领域，尤其是一种摄像机的智能跟踪方法。
背景技术
目前的家用监控摄像头大都能通过用户远程指令控制摄像头转动，也有部分摄像头可以实现智能跟拍，智能跟拍方法主要有两类，一类对所有移动物体无差别对待，一律跟拍，这样做的优点是技术难度相对较低，速度也较快，不过缺点也很明显，摄像头容易被恶意闯入者诱导，或者频繁向用户发送一些家里宠物等运动物体的视频，造成误警和不必要的流量浪费；另外一类跟拍方案是对人体进行检测，之后进行人体跟踪，不过缺点是对所有人体都进行追踪，这样有一个很明显的缺点是若摄像头被盗链，家庭用户隐私视频信息很有可能被泄露。
另一方面从算法的角度讲现有家用摄像头的运动目标检测普遍采用背景减法，帧间差分法，光流场法，这些算法在速度上较快，不过缺点是不能区分人体和其它任何运动物体，目前目标跟踪普遍采用的算法则是卡尔曼滤波，粒子滤波，mean-shift，OAB等，这些算法在精度或者速度上相较于目前相关滤波类跟踪算法都有较大的缺陷。
发明内容
为了克服现有技术的不足，本发明提供一种带隐私保护的摄像机智能系统及其实现方法，利用聚合通道人体检测与核相关滤波跟踪级联并利用聚合通道人脸检测和支持向量机人脸识别技术，实现了有选择地对人体进行快速跟踪且能对部分人员有选择地进行不跟踪的目的。
本发明解决其技术问题所采用的技术方案是：
一种带隐私保护的摄像机智能系统，包括摄像机、人体热释电传感器、跟踪执行机构、主控板以及智能检测识别及跟踪程序；
人体热释电传感器安装于摄像机的摄像头前方，并接收到来自人体的红外触发信号，摄像机的守护进程唤醒摄像机，开启智能检测，并读取摄像头的第一帧图片；同时开启聚合通道人体检测和聚合通道人脸检测，若摄像机检测到人体，则开启核相关滤波人体跟踪，若摄像机检测到人脸，则开启支持向量机人脸识别；根据检测到的人脸，则判断人脸的主人是否为待保护人员，若是待保护人员，则关闭人体跟踪，摄像机进入休眠即隐私保护模式，否则录制视频并推送到用户客户端并保持跟踪非保护人员。
所述触发信号由人体热释电传感器接收到的人体红外信号作为触发信号。
所述跟踪的执行机构为舵机，共2自由度。
所述同时开启聚合通道人体检测和聚合通道人脸检测的具体实现步骤如下，其中步骤A202至步骤A204为聚合通道人体检测步骤，步骤B202至步骤B204为聚合通道人脸检测步骤：
步骤A202：摄像机开始接收视频帧，将视频帧送入聚合通道人体检测模块，并开启15s的定时器，若在15s内未检测到人体，则关闭摄像机智能检测程序，使摄像机进入休眠，否则进入步骤A203；
步骤A203：挂起人体检测线程，开启人体跟踪线程，并将人体检测线程最后得到的视频帧及视频帧中的人体位置送入人体跟踪线程；
步骤A204：利用A203步骤送入的视频帧及人体位置初始化核相关滤波器跟踪器，并通过V4L视频采集接口读取视频帧更新核相关滤波器跟踪器，在跟踪过程中，若跟踪失败则返回步骤S_A202重新唤醒聚合通道人体检测线程；
步骤B202：摄像机开始接收视频帧，将视频帧送入聚合通道人脸检测模块，并开启15s的定时器，若在15s内未检测到人脸，则直接关闭人脸检测线程并保持核相关滤波人体跟踪，否则进入步骤B203；
步骤B203：关闭人脸检测线程，开启支持向量机人脸识别线程，并将人脸检测线程最后得到的视频帧及视频帧中的人脸位置送入支持向量机人脸识别线程；
步骤B204：将S_B203中检测到视频帧及人脸位置送入支持向量机分类器，利用分类器输出标签及可信度，并与摄像机中本地数据库的待保护人员标签作对比，若为待保护人员则关闭核相关滤波人体跟踪线程，否则退出人脸识别线程，并保持核相关滤波人体跟踪。
步骤A202及步骤B202中所述进行聚合通道人体检测和聚合通道人脸检测的具体步骤如下：
步骤S401：读取当前摄像头视频帧；
步骤S402：为适应人体或者人脸的尺度变化，构造特征金字塔，每个特征金字塔的图层的长宽缩放比例为其中n＞0，每隔n个图层计算一次图层特征通道，其余图层通过相邻图层推算，选取每个图层上滑动窗口的大小为w*h，像素点步长为s，因此得到w*h*10/(s*s)维特征，将特征向量化输入分类器；
步骤S403：利用AdaBoost决策树分类器对输入分类器的特征描述进行分类；
步骤S404：输出检测到的视频帧中人体及人脸位置。
步骤A204所述核相关滤波跟踪器具体实现步骤如下：
步骤S501：核相关滤波跟踪器使用的第一帧为聚合通道人体检测模块检测到的视频帧，之后核相关滤波跟踪器则直接通过V4L接口读取摄像头视频帧；
步骤S502：若当前读取到的图像是第一帧为聚合通道人体检测模块检测到的视频帧，则基于视频帧中的已知人体位置对图片进行循环偏移，构造正负样本并提取样本的方向梯度直方图HOG；若当前读取到的图像不是第一帧，则利用前一帧中的目标位置为中心将当前帧进行循环偏移，构造正负样本，并提取HOG特征，对HOG特征进行离散傅里叶变换，求取目标的外观模型zt；
步骤S503：判断当前视频帧是否进入该人体跟踪模块的第一帧，若是，则进入步骤S507利用该帧及帧中的人体位置初始化岭回归分类器，否则，进入步骤S504；
步骤S504：计算目标外观模型的核相关性其中xt-1为上一时刻求出的目标搜索区域外观模型，zt是根据上一时刻计算的目标位置获取的目标的外观模型，σ为核带宽，并通过核滤波参数αt-1计算当前待检测图片所有候选区域的回归值，αt-1是上一时刻计算得到的核相关滤波参数，具体计算步骤见S507，回归值的计算方法为其中为快速傅里叶逆变换，⊙为点乘运算；
步骤S505：找出步骤S504中最大回归值所对应的区域，即为目标位置；
步骤S506：将目标矩形框的长宽均扩大2.5倍得到搜索区域，对搜索区域提取HOG特征，对该HOG特征进行离散傅里叶变换，获得目标在离散傅里叶变换下的外观模型x′t，x′t是根据上一时刻计算的目标位置获取的目标外观模型；
步骤S507：计算外观模型核相关性κ(xt′，xt′)，利用岭回归模型学习当前帧核滤波参数αt′＝(κ(xt′，xt′)+Iλ)-1y，其中y为对应样本回归值组成的列向量，之后利用新的外观模型xt′和核滤波参数αt′更新S504步骤的岭回归分类器，将滤波参数更新为αt＝(1-β)αt-1+βαt′，将外观模型更新为xt＝(1-β)xt-1+βxt′，其中β为学习参数，若当前帧为第一帧，则αt＝α′t，xt＝x′t。
本发明的有益效果在于当前行人检测领域聚合通道检测算法在速度及召回率上有很大的优势，在视觉跟踪领域核相关滤波则同时兼顾速度和精度，本发明利用两者的级联实现智能摄像头中对人体有选择的跟踪，且在速度和精度上相较于传统方案都有很大程度提高；算法的运行环境硬件要求也远低于目前的深度学习视频处理方法，很大程度上降低了设备成本，有利于大规模推广；此外利用人脸检测和识别技术能对人员进行有选择地跟踪和报警，减少了误警和不必要的流量消耗，也很好地保护了个人隐私。
附图说明
图1为本发明的带隐私保护的摄像机智能跟踪方法流程图。
图2为本发明的带隐私保护的摄像机智能跟踪方法具体实现流程图。
图3为本发明的基于聚合通道人体/人脸检测模型训练流程图。
图4为本发明的基于聚合通道人体/人脸检测流程图。
图5为本发明的基于核相关滤波的人体跟踪流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
一种带隐私保护的摄像机智能系统，包括摄像机、人体热释电传感器、跟踪执行机构、主控板以及智能检测识别及跟踪程序；
人体热释电传感器安装于摄像机的摄像头前方，并接收到来自人体的红外触发信号，摄像机的守护进程唤醒摄像机，开启智能检测，并读取摄像头的第一帧图片；同时开启聚合通道人体检测和聚合通道人脸检测，若摄像机检测到人体，则开启核相关滤波人体跟踪，若摄像机检测到人脸，则开启支持向量机人脸识别；根据检测到的人脸，则判断人脸的主人是否为待保护人员，若是待保护人员，则关闭人体跟踪，摄像机进入休眠即隐私保护模式，否则录制视频并推送到用户客户端并保持跟踪非保护人员。所述跟踪执行机构用于旋转摄像机，以便检测人体或人脸。
所述主控板运行智能检测识别及跟踪程序，并控制带隐私保护的摄像机智能系统的整体运行。
所述触发信号由人体热释电传感器接收到的人体红外信号作为触发信号。
所述跟踪的执行机构为舵机，共2自由度。
所述同时开启聚合通道人体检测和聚合通道人脸检测的具体实现步骤如下，其中步骤A202至步骤A204为聚合通道人体检测步骤，步骤B202至步骤B204为聚合通道人脸检测步骤：
步骤A202：摄像机开始接收视频帧，将视频帧送入聚合通道人体检测模块，并开启15s的定时器，若在15s内未检测到人体，则关闭摄像机智能检测程序，使摄像机进入休眠，否则进入步骤A203；
步骤A203：挂起人体检测线程，开启人体跟踪线程，并将人体检测线程最后得到的视频帧及视频帧中的人体位置送入人体跟踪线程；
步骤A204：利用A203步骤送入的视频帧及人体位置初始化核相关滤波器跟踪器，并通过V4L视频采集接口读取视频帧更新核相关滤波器跟踪器，在跟踪过程中，若跟踪失败则返回步骤S_A202重新唤醒聚合通道人体检测线程；
步骤B202：摄像机开始接收视频帧，将视频帧送入聚合通道人脸检测模块，并开启15s的定时器，若在15s内未检测到人脸，则直接关闭人脸检测线程并保持核相关滤波人体跟踪，否则进入步骤B203；
步骤B203：关闭人脸检测线程，开启支持向量机人脸识别线程，并将人脸检测线程最后得到的视频帧及视频帧中的人脸位置送入支持向量机人脸识别线程；
步骤B204：将S_B203中检测到视频帧及人脸位置送入支持向量机分类器，利用分类器输出标签及可信度，并与摄像机中本地数据库的待保护人员标签作对比，若为待保护人员则关闭核相关滤波人体跟踪线程，否则退出人脸识别线程，并保持核相关滤波人体跟踪。
步骤A202及步骤B202中所述进行聚合通道人体检测和聚合通道人脸检测的具体步骤如下：
步骤S401：读取当前摄像头视频帧；
步骤S402：为适应人体或者人脸的尺度变化，构造特征金字塔，每个特征金字塔的图层的长宽缩放比例为其中n＞0，每隔n个图层计算一次图层特征通道，其余图层通过相邻图层推算，选取每个图层上滑动窗口的大小为w*h，像素点步长为s，因此得到w*h*10/(s*s)维特征，将特征向量化输入分类器；
步骤S403：利用AdaBoost决策树分类器对输入分类器的特征描述进行分类；
步骤S404：输出检测到的视频帧中人体及人脸位置。
步骤A204所述核相关滤波跟踪器具体实现步骤如下：
步骤S501：核相关滤波跟踪器使用的第一帧为聚合通道人体检测模块检测到的视频帧，之后核相关滤波跟踪器则直接通过V4L接口读取摄像头视频帧；
步骤S502：若当前读取到的图像是第一帧为聚合通道人体检测模块检测到的视频帧，则基于视频帧中的已知人体位置对图片进行循环偏移，构造正负样本并提取样本的方向梯度直方图HOG；若当前读取到的图像不是第一帧，则利用前一帧中的目标位置为中心将当前帧进行循环偏移，构造正负样本，并提取HOG特征，对HOG特征进行离散傅里叶变换，求取目标的外观模型zt；
步骤S503：判断当前视频帧是否进入该人体跟踪模块的第一帧，若是，则进入步骤S507利用该帧及帧中的人体位置初始化岭回归分类器，否则，进入步骤S504；
步骤S504：计算目标外观模型的核相关性其中xt-1为上一时刻求出的目标搜索区域外观模型，zt是根据上一时刻计算的目标位置获取的目标的外观模型，σ为核带宽，并通过核滤波参数αt-1计算当前待检测图片所有候选区域的回归值，αt-1是上一时刻计算得到的核相关滤波参数，具体计算步骤见S507，回归值的计算方法为其中为快速傅里叶逆变换，⊙为点乘运算；
步骤S505：找出步骤S504中最大回归值所对应的区域，即为目标位置；
步骤S506：将目标矩形框的长宽均扩大2.5倍得到搜索区域，对搜索区域提取HOG特征，对该HOG特征进行离散傅里叶变换，获得目标在离散傅里叶变换下的外观模型xt′，xt′是根据上一时刻计算的目标位置获取的目标外观模型；
步骤S507：计算外观模型核相关性κ(xt′，xt′)，利用岭回归模型学习当前帧核滤波参数αt′＝(κ(xt′，xt′)+Iλ)-1y，其中y为对应样本回归值组成的列向量，之后利用新的外观模型xt′和核滤波参数αt′更新S504步骤的岭回归分类器，将滤波参数更新为αt＝(1-β)αt-1+βαt′，将外观模型更新为xt＝(1-β)xt-1+βxt′，其中β为学习参数，若当前帧为第一帧，则αt＝α′t，xt＝x′t。
为了体现本发明的技术流程，技术特点和优势，下面将结合实施例附图具体讲解本发明工作流程，注意本实施例是示例性的，只是为了让相关技术人员更深入了解本发明，不代表所有应用场景。
图1示出了本发明实施例所提供的带隐私保护的摄像机智能跟踪方法流程图。
摄像机接收到触发信号，唤醒摄像机，开启智能检测并读取第一帧图片。
所述的带隐私保护的摄像机智能系统，触发信号为摄像机人体热释电模块接收到的人体红外信号，因此对于其它的生物或非生物红外信号并不适用于本实施例，假设家里某人经过摄像机，摄像机接收到红外信号，开启智能检测程序并读取当前视频帧。
同时开启聚合通道人体检测和聚合通道人脸检测，若检测到人体开启核相关滤波人体跟踪，若检测到人脸则开启支持向量机人脸识别模块。
所述同时开启聚合通道人体检测和聚合通道人脸检测，若在15s内未检测到人体，将退出本次任务，摄像机进入休眠状态，若在15s内未检测到人脸，则直接关闭本人脸检测和人脸识别模块。当检测到人体后，则挂起人体检测模块，进入核相关滤波人体跟踪模块，若跟踪失败则重新唤醒人体检测模块，以重新初始化跟踪模块，但此时不再开启人脸检测模块。当检测到人脸后，则停止人脸检测模块，并将检测到的视频帧及人脸位置送入支持向量机人脸识别模块。
根据检测到的人脸判断是否是待保护人员，若是，则关闭人体跟踪，摄像机进入休眠即隐私保护模式，否则录制报警视频推送到用户客户端并保持跟踪，视频录制在跟踪过程中同时进行，录制完20s视频后，通过RTMP推流到云服务器，云服务器下发到客户端。
用户需将待保护人员脸部照片通过客户端上传到云中，云端通过更新的数据集训练出新的模型，并下发到用户ID所属的摄像头设备，同时更新设备本地数据库待保护人员标签。利用识别结果与本地数据库待保护人员对比，若为待保护人员则直接结束本次跟踪任务，否则继续跟踪并结束本模块。
图2示出了本发明实施例所提供的带隐私保护的摄像机智能跟踪方法具体实现流程图。
下面将结合具体的例子对本发明的实现过程进行详述：假设用户已经通过客户端将人员X的身份信息更新到摄像机本地数据库，某日人员X到访。
步骤S201：摄像机检测到人员X人体红外热释电信号后，唤醒摄像机，运行智能检测程序并读取第一帧图片(程序同时开启S_A202和S_B202两个线程，以下先介绍S_A线程)。
步骤S_A202：本线程开启聚合通道特征(Aggregate Channel Features，ACF)人体检测，若15s内未检测到人员X，则进入步骤S_B207关闭程序，摄像机进入休眠状态；若检测到人员X，则进入S_A203，其中ACF检测器的训练及具体检测流程分别见附图3和附图4及其说明。
步骤S_A203：挂起本ACF人体检测线程，关闭人体检测。
步骤S_A204：开启核相关滤波(Kernelized Correlation Filters，KCF)跟踪线程，对人员X进行跟踪，跟踪的执行机构为摄像机主控板控制的两路舵机，自由度为2，由于机械结构上的限制，导致在同一时间内摄像头只能精确地随动跟踪一人，若此时室内同时出现两人及以上，则随机的择其一进行跟踪，若跟踪失败则进入S_A202，唤醒KCF人体检测线程，若跟踪成功则进入S_A205。其中KCF跟踪器具体工作流程见图5及其说明。
步骤S_A205：在对人员X开启KCF跟踪时同时开启了视频录制，若在这期间人脸检测及识别线程已经确认人员X为保护人员，则停止视频录制并放弃向用户客户端推流，否则录制完成20s后利用RTMP协议通过阿里云向用户推流报警。
步骤S_B202：本线程开启ACF人脸检测，若15s内未检测到人员X的人脸，则直接关闭本线程，保持KCF跟踪线程。这样做的理由是考虑到一些不法分子刻意遮挡脸部，当出现这种情况则直接保持跟踪，将视频推送到用户端，由用户进行决策。
步骤S_B203：若检测到人员X的脸部，则关闭ACF人脸检测线程。
步骤S_B204：将S_B202步骤检测得到的人脸帧先进行LBPH特征提取，之后送入支持向量机(Support Vector Machine，SVM)人脸检测模块，并将识别结果与本地数据库待保护人员信息进行对比，若成功识别人员X确认其为保护人员，则进入步骤S_B206，关闭对待保护人员的跟踪，若未成功识别人员X(如人员X脸部有较严重的遮挡)，则进入S_B205。
步骤S_B205：关闭人脸识别线程，保持KCF跟踪。
步骤S_B206：若人员X已成功识别，关闭视频跟踪，进入隐私保护模式。
步骤S_B207：关闭程序开启的各线程，退出智能跟踪，摄像机继续进入休眠状态。
图3示出了本发明实施例所提供的基于聚合通道人体/人脸检测模型训练流程图。
在使用聚合通道人体/人脸检测前需先对分类器进行训练，训练步骤如下所示：
步骤S301：人体与人脸的训练步骤相同，唯一的区别是人体检测训练样本集采用Caltech行人数据集，人脸检测训练样本集采用FDDB数据集。
步骤S302：选取样本图片的10个聚合通道特征包括3个LUV颜色通道，6个梯度方向直方图通道及1个局部归一化梯度幅值通道，聚合通道特征提取的过程为先利用[1 2 1]/4对样本图片进行去噪；之后分别对10个通道进行计算，并利用双线性插值对各通道进行降采样即将各通道划分成4*4的小块并求和；最后再次利用[1 2 1]/4模板对降采样后的各通道进行滤波。
步骤S303：分类器设计方法采用Adaboost,选择2层决策树作为弱分类器，考虑到人体和人脸容易有较大形变，选择采用2048棵决策树，每棵决策树的根节点随机选择2个特征，之后将弱分类器经过T轮迭代产生T个最优弱分类器，并加权所有弱分类器得到最终的强分类器。另外由于检测在每个图层及每个图层的每个区域进行，因此很可能出现同个目标被检测到多次的情况，这里采用PASCAL原则进行非极大值抑制，PASCAL原则的原理如下，定义其中Sa为数据集中目标标注实际位置，Sb为检测到的目标位置，这里设置阀值为0.5,即IOU大于0.5认为目标识别成功。
图4示出了本发明实施例所提供的基于聚合通道人体/人脸检测流程图。
利用上一步训练好的聚合通道人体检测模型和人脸检测模型，分别可完成人体检测和人脸检测，具体的步骤如下：
步骤S401：读取当前摄像头视频帧。
步骤S402：为适应人体或者人脸的尺度变化，构造特征金字塔，特征金字塔的每个图层的长宽缩放比例为2-1/8,每隔8个图层计算一次图层特征通道，其余图层通过相邻图层推算。选取每个图层上滑动窗口的大小为64*48，像素点步长为4，因此得到64*48*10/(4*4)＝1920维特征，之后将这1920维特征向量化输入分类器。
步骤S403：利用AdaBoost决策树分类器对输入的特征描述进行分类。
步骤S404：输出检测到的视频帧中人体及人脸位置。
图5示出了本发明实施例所提供的基于核相关滤波的人体跟踪流程图。
步骤S501：第一帧为聚合通道人体检测模块检测到的视频帧，之后则直接通过V4L接口读取摄像头视频帧。
步骤S502：若是第一帧则基于视频帧中的已知人体位置对图片进行循环偏移，构造正负样本并提取样本的方向梯度直方图(HOG)；若不是第一帧，则利用前一帧中的目标位置为中心将当前帧进行循环偏移，构造正负样本，并提取HOG特征，之后对特征进行离散傅里叶变换，求取特征的外观模型zt。
步骤S503：判断当前视频帧是不是进入该人体跟踪模块的第一帧，若是，则进入步骤S507利用该帧及帧中的人体位置初始化岭回归分类器，否则，进入步骤S504。
步骤S504：计算目标外观模型的核相关性κ(xt-1，zt)，并通过核滤波参数αt-1计算当前待检测图片所有候选区域的回归值其中为快速傅里叶逆变换，⊙为点乘运算。
步骤S505：找出步骤S505中回归值RES最大值所对应的区域即为目标位置。
步骤S506：根据当前目标位置获取搜索区域，对该区域进行提取HOG特征，对该特征进行离散傅里叶变换，获得目标在离散傅里叶变换下的外观模型记作xt′。
步骤S507：计算外观模型核相关性κ(xt′，xt′)，利用岭回归模型学习当前帧核滤波参数αt′＝(κ(xt′，xt′)+Iλ)-1y，其中y为对应样本回归值组成的列向量，之后利用新的外观模型xt′和核滤波参数αt′更新S504步骤的岭回归分类器，将滤波参数更新为αt＝(1-β)αt-1+βαt′，将外观模型更新为xt＝(1-β)xt-1+βxt′,其中β为学习参数，若当前帧为第一帧，则αt＝α′t，xt＝x′t。
Claims (5)
1.一种带隐私保护的摄像机智能系统，包括摄像机、人体热释电传感器、跟踪执行机构、主控板以及智能检测识别及跟踪程序，其特征在于：
人体热释电传感器安装于摄像机的摄像头前方，并接收到来自人体的红外触发信号，摄像机的守护进程唤醒摄像机，开启智能检测，并读取摄像头的第一帧图片；同时开启聚合通道人体检测和聚合通道人脸检测，若摄像机检测到人体，则开启核相关滤波人体跟踪，若摄像机检测到人脸，则开启支持向量机人脸识别；根据检测到的人脸，则判断人脸的主人是否为待保护人员，若是待保护人员，则关闭人体跟踪，摄像机进入休眠即隐私保护模式，否则录制视频并推送到用户客户端并保持跟踪非保护人员；所述触发信号由人体热释电传感器接收到的人体红外信号作为触发信号。
2.根据权利要求1所述的带隐私保护的摄像机智能系统，其特征在于：
所述跟踪执行机构为舵机，共2自由度。
3.一种利用权利要求1所述带隐私保护的摄像机智能系统的实现方法，其特征在于包括下述步骤：
所述同时开启聚合通道人体检测和聚合通道人脸检测的具体实现步骤如下，其中步骤A202至步骤A204为聚合通道人体检测步骤，步骤B202至步骤B204为聚合通道人脸检测步骤：
步骤A202：摄像机开始接收视频帧，将视频帧送入聚合通道人体检测模块，并开启15s的定时器，若在15s内未检测到人体，则关闭摄像机智能检测程序，使摄像机进入休眠，否则进入步骤A203；
步骤A203：挂起人体检测线程，开启人体跟踪线程，并将人体检测线程最后得到的视频帧及视频帧中的人体位置送入人体跟踪线程；
步骤A204：利用A203步骤送入的视频帧及人体位置初始化核相关滤波器跟踪器，并通过V4L视频采集接口读取视频帧更新核相关滤波器跟踪器，在跟踪过程中，若跟踪失败则返回步骤S_A202重新唤醒聚合通道人体检测线程；
步骤B202：摄像机开始接收视频帧，将视频帧送入聚合通道人脸检测模块，并开启15s的定时器，若在15s内未检测到人脸，则直接关闭人脸检测线程并保持核相关滤波人体跟踪，否则进入步骤B203；
步骤B203：关闭人脸检测线程，开启支持向量机人脸识别线程，并将人脸检测线程最后得到的视频帧及视频帧中的人脸位置送入支持向量机人脸识别线程；
步骤B204：将S_B203中检测到视频帧及人脸位置送入支持向量机分类器，利用分类器输出标签及可信度，并与摄像机中本地数据库的待保护人员标签作对比，若为待保护人员则关闭核相关滤波人体跟踪线程，否则退出人脸识别线程，并保持核相关滤波人体跟踪。
4.一种利用权利要求3所述带隐私保护的摄像机智能系统的实现方法，其特征在于包括下述步骤：
步骤A202及步骤B202中所述进行聚合通道人体检测和聚合通道人脸检测的具体步骤如下：
步骤S401：读取当前摄像头视频帧；
步骤S402：为适应人体或者人脸的尺度变化，构造特征金字塔，每个特征金字塔的图层的长宽缩放比例为其中n＞0，每隔n个图层计算一次图层特征通道，其余图层通过相邻图层推算，选取每个图层上滑动窗口的大小为w*h，像素点步长为s，因此得到w*h*10/(s*s)维特征，将特征向量化输入分类器；
步骤S403：利用AdaBoost决策树分类器对输入分类器的特征描述进行分类；
步骤S404：输出检测到的视频帧中人体及人脸位置。
5.一种利用权利要求3所述带隐私保护的摄像机智能系统的方法，其特征在于包括下述步骤：
步骤A204所述核相关滤波跟踪器具体实现步骤如下：
步骤S501：核相关滤波跟踪器使用的第一帧为聚合通道人体检测模块检测到的视频帧，之后核相关滤波跟踪器则直接通过V4L接口读取摄像头视频帧；
步骤S502：若当前读取到的图像是第一帧为聚合通道人体检测模块检测到的视频帧，则基于视频帧中的已知人体位置对图片进行循环偏移，构造正负样本并提取样本的方向梯度直方图HOG；若当前读取到的图像不是第一帧，则利用前一帧中的目标位置为中心将当前帧进行循环偏移，构造正负样本，并提取HOG特征，对HOG特征进行离散傅里叶变换，求取目标的外观模型zt；
步骤S503：判断当前视频帧是否进入该人体跟踪模块的第一帧，若是，则进入步骤S507利用该帧及帧中的人体位置初始化岭回归分类器，否则，进入步骤S504；
步骤S504：计算目标外观模型的核相关性其中xt-1为上一时刻求出的目标搜索区域外观模型，zt是根据上一时刻计算的目标位置获取的目标的外观模型，σ为核带宽，并通过核滤波参数αt-1计算当前待检测图片所有候选区域的回归值，αt-1是上一时刻计算得到的核相关滤波参数，具体计算步骤见S507，回归值的计算方法为其中为快速傅里叶逆变换，⊙为点乘运算；
步骤S505：找出步骤S504中最大回归值所对应的区域，即为目标位置；
步骤S506：将目标矩形框的长宽均扩大2.5倍得到搜索区域，对搜索区域提取HOG特征，对该HOG特征进行离散傅里叶变换，获得目标在离散傅里叶变换下的外观模型xt′，xt′是根据上一时刻计算的目标位置获取的目标外观模型；
步骤S507：计算外观模型核相关性κ(xt′，xt′)，利用岭回归模型学习当前帧核滤波参数αt′＝(κ(xt′，xt′)+Iλ)-1y，其中y为对应样本回归值组成的列向量，之后利用新的外观模型xt′和核滤波参数αt′更新S504步骤的岭回归分类器，将滤波参数更新为αt＝(1-β)αt-1+βαt′，将外观模型更新为xt＝(1-β)xt-1+βxt′，其中β为学习参数，若当
前帧为第一帧，则αt＝αt′，xt＝xt。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910066207.1A CN109934098A (zh) | 2019-01-24 | 2019-01-24 | 一种带隐私保护的摄像机智能系统及其实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910066207.1A CN109934098A (zh) | 2019-01-24 | 2019-01-24 | 一种带隐私保护的摄像机智能系统及其实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109934098A true CN109934098A (zh) | 2019-06-25 |
Family
ID=66985157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910066207.1A Pending CN109934098A (zh) | 2019-01-24 | 2019-01-24 | 一种带隐私保护的摄像机智能系统及其实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109934098A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111007732A (zh) * | 2019-11-12 | 2020-04-14 | 珠海格力电器股份有限公司 | 基于尺度变化空调视觉免唤醒识别方法、系统、智能家居 |
| CN111161012A (zh) * | 2019-12-05 | 2020-05-15 | 广州二空间信息服务有限公司 | 一种信息推送方法、装置及计算机设备 |
| CN111339855A (zh) * | 2020-02-14 | 2020-06-26 | 睿魔智能科技（深圳）有限公司 | 基于视觉的目标跟踪方法、系统、设备及存储介质 |
| CN111832451A (zh) * | 2020-07-01 | 2020-10-27 | 中国民用航空局信息中心 | 基于视频数据处理的适航监察流程监管系统及方法 |
| CN113536914A (zh) * | 2021-06-09 | 2021-10-22 | 重庆中科云从科技有限公司 | 一种对象跟踪识别方法、系统、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999920A (zh) * | 2012-10-25 | 2013-03-27 | 西安电子科技大学 | 基于最近邻分类器和均值漂移的目标跟踪方法 |
| CN106570486A (zh) * | 2016-11-09 | 2017-04-19 | 华南理工大学 | 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法 |
| CN107154024A (zh) * | 2017-05-19 | 2017-09-12 | 南京理工大学 | 基于深度特征核相关滤波器的尺度自适应目标跟踪方法 |
| CN107403175A (zh) * | 2017-09-21 | 2017-11-28 | 昆明理工大学 | 一种运动背景下的视觉跟踪方法及视觉跟踪系统 |
| CN107527356A (zh) * | 2017-07-21 | 2017-12-29 | 华南农业大学 | 一种基于懒交互方式的视频跟踪方法 |
| CN108364303A (zh) * | 2018-01-29 | 2018-08-03 | 西北工业大学 | 一种带隐私保护的摄像机智能跟踪方法 |
-
2019
- 2019-01-24 CN CN201910066207.1A patent/CN109934098A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999920A (zh) * | 2012-10-25 | 2013-03-27 | 西安电子科技大学 | 基于最近邻分类器和均值漂移的目标跟踪方法 |
| CN106570486A (zh) * | 2016-11-09 | 2017-04-19 | 华南理工大学 | 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法 |
| CN107154024A (zh) * | 2017-05-19 | 2017-09-12 | 南京理工大学 | 基于深度特征核相关滤波器的尺度自适应目标跟踪方法 |
| CN107527356A (zh) * | 2017-07-21 | 2017-12-29 | 华南农业大学 | 一种基于懒交互方式的视频跟踪方法 |
| CN107403175A (zh) * | 2017-09-21 | 2017-11-28 | 昆明理工大学 | 一种运动背景下的视觉跟踪方法及视觉跟踪系统 |
| CN108364303A (zh) * | 2018-01-29 | 2018-08-03 | 西北工业大学 | 一种带隐私保护的摄像机智能跟踪方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111007732A (zh) * | 2019-11-12 | 2020-04-14 | 珠海格力电器股份有限公司 | 基于尺度变化空调视觉免唤醒识别方法、系统、智能家居 |
| CN111161012A (zh) * | 2019-12-05 | 2020-05-15 | 广州二空间信息服务有限公司 | 一种信息推送方法、装置及计算机设备 |
| CN111339855A (zh) * | 2020-02-14 | 2020-06-26 | 睿魔智能科技（深圳）有限公司 | 基于视觉的目标跟踪方法、系统、设备及存储介质 |
| CN111339855B (zh) * | 2020-02-14 | 2023-05-23 | 睿魔智能科技（深圳）有限公司 | 基于视觉的目标跟踪方法、系统、设备及存储介质 |
| CN111832451A (zh) * | 2020-07-01 | 2020-10-27 | 中国民用航空局信息中心 | 基于视频数据处理的适航监察流程监管系统及方法 |
| CN113536914A (zh) * | 2021-06-09 | 2021-10-22 | 重庆中科云从科技有限公司 | 一种对象跟踪识别方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109934098A (zh) | 一种带隐私保护的摄像机智能系统及其实现方法 | |
| Xu et al. | A people counting system based on head-shoulder detection and tracking in surveillance video | |
| CN104881637B (zh) | 基于传感信息及目标追踪的多模信息系统及其融合方法 | |
| US20160259980A1 (en) | Systems and methodologies for performing intelligent perception based real-time counting | |
| Ma et al. | A reliable people counting system via multiple cameras | |
| CN107230267B (zh) | 基于人脸识别算法的幼儿园智能签到方法 | |
| CN105913528A (zh) | 门禁控制数据处理方法和装置、门禁控制方法和装置 | |
| CN108364303A (zh) | 一种带隐私保护的摄像机智能跟踪方法 | |
| Hu et al. | Towards real-time eyeblink detection in the wild: Dataset, theory and practices | |
| CN104933542B (zh) | 一种基于计算机视觉的物流仓储监控方法 | |
| TW201246089A (en) | Method for setting dynamic environmental image borders and method for instantly determining the content of staff member activities | |
| Shirsat et al. | Proposed system for criminal detection and recognition on CCTV data using cloud and machine learning | |
| Zaidi et al. | Video anomaly detection and classification for human activity recognition | |
| CN117541994A (zh) | 一种密集多人场景下的异常行为检测模型及检测方法 | |
| CN108875497B (zh) | 活体检测的方法、装置及计算机存储介质 | |
| Nam | Loitering detection using an associating pedestrian tracker in crowded scenes | |
| Patel et al. | Human tracking in video surveillance | |
| Russel et al. | Ownership of abandoned object detection by integrating carried object recognition and context sensing | |
| Zhao et al. | Abnormal human behavior recognition based on image processing technology | |
| Gupta et al. | Recognition of Suspicious Human Activity in Video Surveillance: A Review | |
| Patil et al. | Object Detection and Tracking Face Detection and Recognition | |
| CN116246402A (zh) | 一种监控方法及装置 | |
| Arivazhagan | Versatile loitering detection based on non-verbal cues using dense trajectory descriptors | |
| Zhou et al. | Anomalous event detection based on self-organizing map for supermarket monitoring | |
| Srivastava et al. | Automatic and multimodal nuisance activity detection inside ATM cabins in real time |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190625 |