CN110543868A - 一种基于人脸识别和头肩检测的监控方法及系统 - Google Patents

Abstract

本发明属于人工智能监控领域，更具体地，涉及一种基于人脸识别和头肩检测的监控方法及系统。该方法，包括如下步骤，S1、根据监控场所，布控指定数量的摄像头，实现对场所全覆盖监控；S2、数据库管理，将所需对比图像传输到数据库进行存储；S3、摄像头拍摄视频图像和跟踪抓拍人脸图像，将这些图像信息传输给后端服务器；S4、后端服务器调取数据库中存储的图像与摄像头抓拍的人脸图像进行对比分析，头肩检测跟踪视频中所有的人，获取每个人的头肩信息并给每个人编号ID，并跟踪每个ID的运动轨迹；S5、人脸匹配成功进行预警，并给出人脸匹配成功的人对应的运动轨迹。

Description

一种基于人脸识别和头肩检测的监控方法及系统

技术领域

本发明属于人工智能监控领域，更具体地，涉及一种基于人脸识别和头 肩检测的监控方法及系统。

背景技术

随着人们的生活水平提升，在人们的日常生活中更多的地方都布满了监 控摄像头，监控系统可以监控生活中的方方面面。在交通领域，监控系统用 于监控车辆是否违法，在商场、学校等公共场所，监控系统用于监控人们的 安全。

典型的监控系统主要由前端监视设备、传输设备、后端存储、控制及显 示设备这五大部分组成，其中后端设备可进一步分为中心控制设备和分控制 设备。前、后端设备有多种构成方式，它们之间的联系(也可称作传输系统) 可通过电缆、光纤、微波等多种方式来实现。前端设备一般为摄像头，摄像 头安装在制定的地方，24小时不停的进行拍摄或者录像，并将拍摄的画面通 过传输设备传输到电视墙、显示屏等显示装置上进行显示，且控制设备接收 到前端设备画面不仅进行监控，还会进行存储。人工实时监控画面，人工监 控除了事先设定任务，人工监控仅仅用于发现监控时是否有违法行为。人工 监控，事后翻看人工看录像审核；虽然有一些人脸识别，但抓拍率、准确率 偏低。在追捕嫌疑犯时，人肉侦查，出动整个侦查队加班加点反复看视频， 找到嫌疑犯的踪迹，不仅消耗大量警力，还会错过追捕机会。如何提高人脸 识别效率是当前急需解决的技术问题。

发明内容

为此，需要提供一种基于人脸识别和头肩检测的监控方法及系统，人脸 识别仅仅能够视频出拍摄的人脸图像，为了获取一个的运动轨迹，需要去查 看很多视频，根据人脸出现在拍摄视频的摄像头位置，获取该人的运动轨迹。 工作量大，且效率低。本发明基于人脸识别和头肩检测，人脸识别用于识别 人物，头肩检测用于获取该人物的运动轨迹。

为实现上述目的，本发明提供了如下技术方案：

一种基于人脸识别和头肩检测的监控方法，包括如下步骤，

S1、根据监控场所，布控指定数量的摄像头，实现对场所全覆盖监控；

S2、数据库管理，将所需对比图像传输到数据库进行存储；

S3、摄像头拍摄视频图像和跟踪抓拍人脸图像，将这些图像信息传输给 后端服务器；

S4、后端服务器调取数据库中存储的图像与摄像头抓拍的人脸图像进行 对比分析，头肩检测跟踪视频中所有的人，获取每个人的头肩信息并给每个 人编号ID，并跟踪每个ID的运动轨迹；

S5、人脸匹配成功进行预警，并给出人脸匹配成功的人对应的运动轨迹。

本技术方案进一步的优化，所述步骤S3对视频图像和人脸图像进行加密， 加密后传输给后端服务器。

本技术方案进一步的优化于，所述步骤S4头肩检测算法包括如下步骤，

S41、背景分割，背景分割算法通过动态融合技术，分割出背景中运动的 物体和静止物体；

S42、第一分类器分出非头肩图像区域，将候选头肩图像区域采用第二分 类器进行分类，第二分类器为多个子分类器组合，当子分类器中判定候选头 肩图像区域为头肩图像区域的数量大于阈值时，该候选头肩图像区域为头肩 图像区域，否则为非头肩图像区域。

本技术方案更进一步的优化，还包括步骤S43，根据识别的头像图像，分 析视频中每个人的头肩信息和运动轨迹，头肩信息包括头肩坐标和头肩比例。

本技术方案进一步的优化，所述步骤S4中人脸图像对比分析采用深度学 习算法。

一种基于人脸识别和头肩检测的监控系统，包括如下，

摄像头布控模块，根据监控场所，布控指定数量的摄像头，实现对场所 全覆盖监控；

数据库管理模块，将所需对比图像传输到数据库进行存储；

图像采集模块，摄像头拍摄视频图像和跟踪抓拍人脸图像，将这些图像 信息传输给后端服务器；

服务器处理模块，后端服务器调取数据库中存储的图像与摄像头抓拍的 人脸图像进行对比分析，头肩检测跟踪视频中所有的人，获取每个人的头肩 信息并给每个人编号ID，并跟踪每个ID的运动轨迹；

人脸匹配模块，人脸匹配成功进行预警，并给出人脸匹配成功的人对应 的运动轨迹。

本技术方案进一步的优化，所述图像采集模块对视频图像和人脸图像进 行加密，加密后传输给后端服务器。

本技术方案进一步的优化，所述服务器处理模块中头肩检测算法包括如 下步骤，

S41、背景分割，背景分割算法通过动态融合技术，分割出背景中运动的 物体和静止物体；

S42、第一分类器分出非头肩图像区域，将候选头肩图像区域采用第二分 类器进行分类，第二分类器为多个子分类器组合，当子分类器中判定候选头 肩图像区域为头肩图像区域的数量大于阈值时，该候选头肩图像区域为头肩 图像区域，否则为非头肩图像区域。

本技术方案更进一步的优化，还包括步骤S43，根据识别的头像图像，分 析视频中每个人的头肩信息和运动轨迹，头肩信息包括头肩坐标和头肩比例。

本技术方案进一步的优化，所述服务器处理模块中人脸图像对比分析采 用深度学习算法。

区别于现有技术，上述技术方案不仅能够识别人脸，还能够获取其运动 轨迹，根据其运动轨迹得到该人的大致位置。传统的监控布防，能够实现全 方位监控，得到大量的监控视频和抓拍的人脸图像，仅仅能够对人脸图像进 行识别，无法获取运动轨迹。为查找嫌疑犯的踪迹，需要查看大量视频，且 由于人工查看，难免出现漏洞，查找不到。本发明在进行人脸识别的基础上， 进行头肩检测，根据头肩信息，监控每个人的运动轨迹，将人的运动轨迹和 人脸相结合，得到该人的信息和踪迹，节省了大量警力和时间，能够及时抓 住罪犯，保障了人们的生命财产安全。

附图说明

图1为基于人脸识别和头肩检测的监控方法流程图；

图2为加密方法流程图；

图3为解密方法流程图；

图4为分类器分类示意图；

图5为分类器检测对比图。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下 结合具体实施例并配合附图详予说明。

请参阅图1所示，为基于人脸识别和头肩检测的监控方法流程图，该一 种基于人脸识别和头肩检测的监控方法，包括如下步骤，

S1、根据监控场所，布控指定数量的摄像头，实现对场所全覆盖监控。

S2、数据库管理，将所需对比图像传输到数据库进行存储。

S3、摄像头拍摄视频图像和跟踪抓拍人脸图像，对视频图像和人脸图像 进行加密，加密后传输给后端服务器。

S4、后端服务器调取数据库中存储的图像与摄像头抓拍的人脸图像进行 对比分析，头肩检测跟踪视频中所有的人，获取每个人的头肩信息并给每个 人编号ID，并跟踪每个ID的运动轨迹。

头肩检测算法包括如下步骤，

S41、背景分割，背景分割算法通过动态融合技术，分割出背景中运动的 物体和静止物体；

S42、第一分类器分出非头肩图像区域，将候选头肩图像区域采用第二分 类器进行分类，第二分类器为多个子分类器组合，当子分类器中判定候选头 肩图像区域为头肩图像区域的数量大于阈值时，该候选头肩图像区域为头肩 图像区域，否则为非头肩图像区域；

S43、根据识别的头像图像，分析视频中每个人的头肩信息，头肩信息包 括头肩坐标和头肩比例。

S5、人脸匹配成功进行预警，并给出人脸匹配成功的人对应的运动轨迹。

所述步骤S4人脸图像对比分析采用深度学习算法，人脸图像对比，选择 与抓拍因素相似的图像进行对比，抓拍因素包括人脸角度、光线、遮挡等。

本发明提出的技术方案应用于交通要道，具体的监控方法步骤流程如下：

S1、根据交通要道的面积和摄像头拍摄的面积，在该交通要道布控一定 数量的监控摄像头，摄像头对交通要道实现全面覆盖，能够拍摄到交通要道 各个角度的监控画面。交通要道所处位置夜晚没有路灯，则每个摄像头配备 一个曝光灯以便于夜晚拍摄的画面比较清晰。

S2、交通要道设置的摄像头是为了城市安全，便于警察追查逃犯。故警 察会定期将逃犯的人脸图像上传到数据库中，以便于后期图像对比提取。逃 犯的人脸图像包括正脸、侧脸、遮挡、过暗和曝光过度等各种状态下的照片。

S3、交通要道的所有摄像头在24小时不停的拍摄视频，且对于检测到的 人脸进行抓拍。为了信息安全，防止数据丢失，该实施例对摄像头拍摄的视 频图像和人脸图像进行加密，加密后再传输到后端服务器，后端服务器保存 了预设解密方法，对接收到的信息进行解密。该加密方法有效保障了数据传 输的安全性。该实施例的加密方法采用混合加密方法，参阅图2所示，为加 密方法流程图，具体的加密步骤如下：

A1、利用伪随机生成器(pseudorandom generato，简称PRG)生成回话 密钥，然后作为加密密钥利用对称加密算法加密待传输信息，生成密文。

A2、再利用服务器的公钥作为加密密钥，加密PRG生成的会话密钥，生 成密文。

A3、将两个密文组合就生成了整个混合密码体制的密文，完成混合加密。

参阅图3所示，为解密方法流程图，解密方法具体步骤如下：

B1、将混合加密的密文进行解密，得到两个密文；

B2、利用服务器的公钥解密，得到加密PRG的会话秘钥；

B3、采用对称加密算法对PRG的会话秘钥进行解密，得到信息。

S4、后端服务器将解密得到的视频图像和人脸图像进行存储，将人脸图 像与数据库中存储的图像进行对比，识别摄像头抓拍到的人脸图像。人脸识 别技术已经非常成熟，应用到人们生活中的各个方面。该实施例采用深度学 习进行人脸识别，为了提高识别准确率，该深度学习算法模型采用百万级以 上图像进行训练，训练图像包括了人脸的正面图、侧脸图、被眼镜墨镜口罩 等遮挡的图、过暗的图、曝光过度的图等等各种情况下的人脸图像。

头肩检测提取视频中所有人的头肩信息，头肩信息包括头肩坐标和头肩 比例，并给每个人一个编号ID，跟踪每个ID的运动轨迹。头肩检测跟踪，目 标前进过程中转头或者转身依然能跟踪，在人脸不清晰、人体背面或俯视的 角度下仍然能检测跟踪目标。该实施例的头肩检测算法如下：

S41、背景分割，背景分割算法通过动态融合技术，分割出背景中运动的 物体和静止物体。该步骤为对图像进行预处理，将背景从待处理图像中滤除， 提取感兴趣区域，这些感兴趣区域为分类器的输入。

S42、分类器进行分类，分出头肩图像区域。参阅图4所示，为分类器分 类示意图，该实施例的分类器包括两个，即第一分类器和第二分类器，第一 分类器分出非头肩图像区域，得到候选头肩图像区域。该实施例的第一分类 器为Adaboost分类器，该算法其实是一个简单的弱分类算法提升过程，这个 过程通过不断的训练，可以提高对数据的分类能力。第一分类器将非头肩图 像区域剔除，采用高精度分类器，防止将头肩图像区域错误的分走。

由于第一分类器分类精度高，留下的候选头肩图像区域中非头肩图像区 域比较少，故第二分类器的分类精度要求不高。将候选头肩图像区域采用第 二分类器进行分类，第二分类器为多个子分类器组合，所有子分类器之间相 互独立，当子分类器中判定候选头肩图像区域为头肩图像区域的数量大于阈 值时，该候选头肩图像区域为头肩图像区域，否则为非头肩图像区域。该实 施例第二分类器中判定候选头肩图像区域为头肩图像区域的子分类器数量为 N，总子分类器数量为M，N/M不小于65％，即该候选头肩图像区域为头肩图像区域，进行后处理。

S43、对分类出的头肩图像区域进行处理与跟踪，分析出每个头肩的运动 轨迹。

S43、根据识别的头像图像，分析视频中每个人的头肩信息和运动轨迹， 头肩信息包括头肩坐标和头肩比例。

该实施例提出的分类方法，相对于传统的支持向量机SVM分类器、高斯 混合模型GMM分类器，对于图像的检测准确率高运行效率高，参阅图5所 示，为分类器检测对比图。

S5、人脸匹配成功进行预警，并给出人脸匹配成功的人对应的运动轨迹。 将人脸图像与头肩进行一一对应，摄像头中出现的每一个人都单独建立文件 夹，存储这个人对应的人脸图像及其头肩信息、运动轨迹。如果摄像头没有 抓拍到这个人的人脸图像，则仅仅存储这个人的头肩信息和运动轨迹。当摄 像头抓拍的人脸图像与数据库中的图像匹配成功，进行报警。多路视频后端 匹配报警，不同的摄像头报警，根据摄像头的分布位置，也能够得到该人的 运动方向。该实施例实现无人监控操作，所有的布防任务均有记录，对结果进行统计分析，根据目标重复出现形成轨迹跟踪。

一种基于人脸识别和头肩检测的监控系统，包括如下，

摄像头布控模块，根据监控场所，布控指定数量的摄像头，实现对场所 全覆盖监控。

数据库管理模块，将所需对比图像传输到数据库进行存储。

图像采集模块，摄像头拍摄视频图像和跟踪抓拍人脸图像，将这些图像 信息传输给后端服务器；图像采集模块对视频图像和人脸图像进行加密，加 密后传输给后端服务器。

服务器处理模块，后端服务器调取数据库中存储的图像与摄像头抓拍的 人脸图像进行对比分析，头肩检测跟踪视频中所有的人，获取每个人的头肩 信息并给每个人编号ID，并跟踪每个ID的运动轨迹；服务器处理模块中人脸 图像对比分析采用深度学习算法。

人脸匹配模块，人脸匹配成功进行预警，并给出人脸匹配成功的人对应 的运动轨迹。

本发明的服务器处理模块中头肩检测算法包括如下步骤，

S41、背景分割，背景分割算法通过动态融合技术，分割出背景中运动的 物体和静止物体；

S42、第一分类器分出非头肩图像区域，将候选头肩图像区域采用第二分 类器进行分类，第二分类器为多个子分类器组合，当子分类器中判定候选头 肩图像区域为头肩图像区域的数量大于阈值时，该候选头肩图像区域为头肩 图像区域，否则为非头肩图像区域。

S43、根据识别的头像图像，分析视频中每个人的头肩信息和运动轨迹， 头肩信息包括头肩坐标和头肩比例。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来 将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示 这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、 “包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系 列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没 有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设 备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中 还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不 包括本数；“以上”、“以下”、“以内”等理解为包括本数。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知 了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所 述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本 发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用 在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (10)

1.一种基于人脸识别和头肩检测的监控方法，其特征在于，包括如下步骤，

S1、根据监控场所，布控指定数量的摄像头，实现对场所全覆盖监控；

S2、数据库管理，将所需对比图像传输到数据库进行存储；

S3、摄像头拍摄视频图像和跟踪抓拍人脸图像，将这些图像信息传输给后端服务器；

S4、后端服务器调取数据库中存储的图像与摄像头抓拍的人脸图像进行对比分析，头肩检测跟踪视频中所有的人，获取每个人的头肩信息并给每个人编号ID，并跟踪每个ID的运动轨迹；

S5、人脸匹配成功进行预警，并给出人脸匹配成功的人对应的运动轨迹。

2.如权利要求1所述的基于人脸识别和头肩检测的监控方法，其特征在于，所述步骤S3对视频图像和人脸图像进行加密，加密后传输给后端服务器。

3.如权利要求1所述的基于人脸识别和头肩检测的监控方法，其特征在于，所述步骤S4头肩检测算法包括如下步骤，

S41、背景分割，背景分割算法通过动态融合技术，分割出背景中运动的物体和静止物体；

S42、第一分类器分出非头肩图像区域，将候选头肩图像区域采用第二分类器进行分类，第二分类器为多个子分类器组合，当子分类器中判定候选头肩图像区域为头肩图像区域的数量大于阈值时，该候选头肩图像区域为头肩图像区域，否则为非头肩图像区域。

4.如权利要求3所述的基于人脸识别和头肩检测的监控方法，其特征在于，还包括步骤S43，根据识别的头像图像，分析视频中每个人的头肩信息和运动轨迹，头肩信息包括头肩坐标和头肩比例。

5.如权利要求1所述的基于人脸识别和头肩检测的监控方法，其特征在于，所述步骤S4中人脸图像对比分析采用深度学习算法。

6.一种基于人脸识别和头肩检测的监控系统，其特征在于，包括如下，摄像头布控模块，根据监控场所，布控指定数量的摄像头，实现对场所全覆盖监控；

数据库管理模块，将所需对比图像传输到数据库进行存储；

图像采集模块，摄像头拍摄视频图像和跟踪抓拍人脸图像，将这些图像信息传输给后端服务器；

服务器处理模块，后端服务器调取数据库中存储的图像与摄像头抓拍的人脸图像进行对比分析，头肩检测跟踪视频中所有的人，获取每个人的头肩信息并给每个人编号ID，并跟踪每个ID的运动轨迹；

人脸匹配模块，人脸匹配成功进行预警，并给出人脸匹配成功的人对应的运动轨迹。

7.如权利要求6所述的基于人脸识别和头肩检测的监控系统，其特征在于，所述图像采集模块对视频图像和人脸图像进行加密，加密后传输给后端服务器。

8.如权利要求6所述的基于人脸识别和头肩检测的监控系统，其特征在于，所述服务器处理模块中头肩检测算法包括如下步骤，

S41、背景分割，背景分割算法通过动态融合技术，分割出背景中运动的物体和静止物体；

S42、第一分类器分出非头肩图像区域，将候选头肩图像区域采用第二分类器进行分类，第二分类器为多个子分类器组合，当子分类器中判定候选头肩图像区域为头肩图像区域的数量大于阈值时，该候选头肩图像区域为头肩图像区域，否则为非头肩图像区域。

9.如权利要求8所述的基于人脸识别和头肩检测的监控系统，其特征在于，还包括步骤S43，根据识别的头像图像，分析视频中每个人的头肩信息和运动轨迹，头肩信息包括头肩坐标和头肩比例。

10.如权利要求6所述的基于人脸识别和头肩检测的监控系统，其特征在于，所述服务器处理模块中人脸图像对比分析采用深度学习算法。