CN110581970A - 一种带有人脸识别分析功能的网络视频存储装置及方法 - Google Patents

一种带有人脸识别分析功能的网络视频存储装置及方法 Download PDF

Info

Publication number
CN110581970A
CN110581970A CN201810579348.9A CN201810579348A CN110581970A CN 110581970 A CN110581970 A CN 110581970A CN 201810579348 A CN201810579348 A CN 201810579348A CN 110581970 A CN110581970 A CN 110581970A
Authority
CN
China
Prior art keywords
video
face
image
carries out
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810579348.9A
Other languages
English (en)
Inventor
傅剑辉
王东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huatai Cotier Information Technology Ltd By Share Ltd
Original Assignee
Beijing Huatai Cotier Information Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huatai Cotier Information Technology Ltd By Share Ltd filed Critical Beijing Huatai Cotier Information Technology Ltd By Share Ltd
Priority to CN201810579348.9A priority Critical patent/CN110581970A/zh
Publication of CN110581970A publication Critical patent/CN110581970A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种带有人脸识别分析功能的网络视频存储装置，实现视频接入、存储、显示、计算加速和人脸识别、特征获取与比对，以及信息生成和传输的功能，本发明能够用于各种新建和已有网络视频监控场合，能够大幅度提高监控视频中最重要的人脸信息的保存时间，并实时对风险情况提出警示，及时显示相应人脸图片，有利于满足治安防控的多种需求；采用在时间窗中多次采样取优的方式，解决因工况环境带来的人脸特征分析技术不足的问题；利用人脸特征稳定性的特征，解决了各种中小安防监控系统中无法及时进行人员身份辨识与警示的问题。

Description

一种带有人脸识别分析功能的网络视频存储装置及方法
技术领域
本发明涉及人工智能领域，具体涉及一种带有人脸识别分析功能的网络视频存储装置及方法。
背景技术
目前网络视频存储装置(主要是网络视频录像机NVR)主要功能包括视频实时显示、视频录像和录像回放，主要是起到实时显示并记录网络视频摄像机采集到的视频图像信息，并在保留一定的时间后(一般是一个月或两个月)自动覆盖最早的录像达到循环记录节省存储空间的作用，在预防意外事件中，起到实时监控和事后追查的作用。现有的网络视频存储装置，不能够进行基于人脸识别的智能化人员分析提示。
以现有安防网络视频录像系统为基础，结合边缘计算技术、AI芯片加速技术、卷积神经网络技术、深度学习算法、人脸跟踪抓拍技术，形成基于AI加速芯片进行人脸识别和人员分析提示的网络视频存储装置及方法
带有人脸识别分析功能的网络视频存储装置及方法，对各种场所的监控视频，除进行一般的实时显示与录像外，还对监控视频中拍摄到的人员进行人脸采集识别，并根据人员出现频度，是否首次出现，是否带口罩/墨镜，以及是否始终侧脸或背对摄像机等情况和行为，对操作员给出相应提示。同时人脸信息的数据量通常是视频图像中最重要的信息，其数据量又远小于视频图像的数据量，本项发明可以在保持原有录像时间的基础上，另外对重要的人脸数据进行更长时间的保存(比如6或12个月)。本项发明为提高监控系统防控水平和治安联防联控管理水平提供一种的更大时间跨度的智能化的新方法。
发明内容
本发明的目的是为解决上述不足，提供一种带有人脸识别分析功能的网络视频存储装置及方法。
本发明的目的是通过以下技术方案实现的：
一种带有人脸识别分析功能的网络视频存储装置，实现视频接入、存储、显示、计算加速和人脸识别、特征获取与比对，以及信息生成和传输的功能，包括
01视频接入端口：根据中央控制模组(08)的指令，接收外部多路视频图像码流，获取外部提供的视频图像；
02图像复制模组：根据中央控制模组(08)的指令，对接收的视频进行复制并发送给图像存储模组(04)；
03图像解码转换模组：根据中央控制模组(08)的指令对相应视频进行解码和YUV-RGB转换，并根据中央控制模组(08)的指令进行图像下采样；
04图像存储模组：根据中央控制模组(08)的指令，将接收到的图像存储到硬盘相应的目录下，并能够覆盖删除超过录像时限的过期录像记录；
05人脸识别模组：根据中央控制模组(08)的指令，利用人工智能网络模型，通过卷积计算并加载剪枝动态人脸识别算法，进行人脸识别，取得图片中的人脸图像；
06人脸比对模组：根据中央控制模组(08)的指令，对人脸识别模组(05)取得的人脸图片进行特征码提取，并与数据库中一定时间内存储的人脸数据进行比对，筛选出需要提示的人脸图像，提供给图像显示模组(07)进行显示；
07图像显示模组：根据中央控制模组(08)的指令，对接收到的视频进行实时显示，对提示人员图片进行显示，对回放录像和人员信息检索进行显示；
08中央控制模组：实现对装置其他模组的综合控制和管理。
一种人脸目标识别方法，采用时间窗为一个采样周期，其窗口大小可以根据需要设置，在一个采样周期中进行多次采样，选择最优采样为最后的采样信息，对于一个采样帧中出现多个人脸，需要遍历所有人脸，对无法识别的人脸采用舍弃策略，由周期中多次采样进行舍弃的补偿，具体方法如下：
当时间窗触发，装置开始进行视频解码，解码首先进行视频提帧，提帧后进行帧图像优化，优化后进行多人脸定位，定位后进行人脸图像检出，然后对人脸图像进行验证，看是否符合人脸图像要求，不符合的返回时间窗触发步骤，符合要求的进行人脸校正去重，去重后进行特征码提取，提取特征码后进行人脸比对与警示判断步骤，人脸比对符合的进行输出警示类型和人脸图片，然后进行下一时间窗，继续进行新的时间窗触发，不符合的返回时间窗触发步骤。
本发明具有如下有益的效果：
本发明能够用于各种新建和已有网络视频监控场合，能够大幅度提高监控视频中最重要的人脸信息的保存时间，并实时对风险情况提出警示，及时显示相应人脸图片，有利于满足治安防控的多种需求；采用在时间窗中多次采样取优的方式，解决因工况环境带来的人脸特征分析技术不足的问题；利用人脸特征稳定性的特征，解决了各种中小安防监控系统中无法及时进行人员身份辨识与警示的问题。
附图说明
图1为本发明的存储装置结构示意图；
图2为本发明的人脸识别方法流程图。
具体实施方式
下面结合附图对本发明作进一步的说明：
如图1和图2所示，一种带有人脸识别分析功能的网络视频存储装置，实现视频接入、存储、显示、计算加速和人脸识别、特征获取与比对，以及信息生成和传输的功能，包括
01视频接入端口：根据中央控制模组(08)的指令，接收外部多路视频图像码流，获取外部提供的视频图像；
02图像复制模组：根据中央控制模组(08)的指令，对接收的视频进行复制并发送给图像存储模组(04)；
03图像解码转换模组：根据中央控制模组(08)的指令对相应视频进行解码和YUV-RGB转换，并根据中央控制模组(08)的指令进行图像下采样；
04图像存储模组：根据中央控制模组(08)的指令，将接收到的图像存储到硬盘相应的目录下，并能够覆盖删除超过录像时限的过期录像记录；
05人脸识别模组：根据中央控制模组(08)的指令，利用人工智能网络模型，通过卷积计算并加载剪枝动态人脸识别算法，进行人脸识别，取得图片中的人脸图像；
06人脸比对模组：根据中央控制模组(08)的指令，对人脸识别模组(05)取得的人脸图片进行特征码提取，并与数据库中一定时间内存储的人脸数据进行比对，筛选出需要提示的人脸图像，提供给图像显示模组(07)进行显示；
07图像显示模组：根据中央控制模组(08)的指令，对接收到的视频进行实时显示，对提示人员图片进行显示，对回放录像和人员信息检索进行显示；
08中央控制模组：实现对装置其他模组的综合控制和管理。
一种人脸目标识别方法，采用时间窗为一个采样周期，其窗口大小可以根据需要设置，在一个采样周期中进行多次采样，选择最优采样为最后的采样信息，对于一个采样帧中出现多个人脸，需要遍历所有人脸，对无法识别的人脸采用舍弃策略，由周期中多次采样进行舍弃的补偿，具体方法如下：
当时间窗触发，装置开始进行视频解码，解码首先进行视频提帧，提帧后进行帧图像优化，优化后进行多人脸定位，定位后进行人脸图像检出，然后对人脸图像进行验证，看是否符合人脸图像要求，不符合的返回时间窗触发步骤，符合要求的进行人脸校正去重，去重后进行特征码提取，提取特征码后进行人脸比对与警示判断步骤，人脸比对符合的进行输出警示类型和人脸图片，然后进行下一时间窗，继续进行新的时间窗触发，不符合的返回时间窗触发步骤。
工作原理：对网口接收到的视频码流信号进行复制，一路直接按照存储规则写入硬盘中指定的目录，第二路进行视频解码在显示缓存中，与其他路视频拼合后送到显示输出口(VGA或HDMI)进行实时显示，同时解码后的视频经过YUV-RGB转换和下采样，根据人工智能网络模型，通过卷积计算并加载剪枝动态人脸识别算法，对帧图片中的人脸进行检测、跟踪、抓拍、去重，并以特征值作为信息标识，构建检测人员信息，完成人员信息采集和记录，并进行与数据库中人脸比对和新增人脸入库等数据操作，对于符合频繁来访、首次来访、戴墨镜/口罩等检出规则的人脸，投放到显示输出口，在显示画面给出直观提示。其核心原理是在完成网络视频录像的同时进行动态人脸采集、分析和提示。
采用移动式形式表现，装载到车载终端，形成移动非接触式动态人员抓拍采集装置；装置能够单独构成一个硬件系统，与视频对接，形成前置外挂设备；可将此装置直接串接在现有高清网络摄像机的后面，直接在前端就能够完成工作，获取高质量人脸结构化数据，高效、及时、现场提出相应警示信息，可广泛应用于交通(机场、高铁、地铁)、写字楼、小区、超市、医院、银行、证券、保险等机构的视频应用场所。可将此装置部署在移动式工作站中，并使用GPS/北斗/4G进行定位和无线传输，应用临时布控的人脸抓拍场所；。实施中可以在核心算法结构上进行优化，增加其他业务功能，如重点人员跟踪、人员属性分析等。
解决AI人脸识别与比对技术应用于网络视频录像机的方法问题；可以用于各种新建和已有网络视频监控场合，能够大幅度提高监控视频中最重要的人脸信息的保存时间，并实时对风险情况提出警示，及时显示相应人脸图片，有利于满足治安防控的多种需求；采用在时间窗中多次采样取优的方式，解决因工况环境带来的人脸特征分析技术不足的问题；利用人脸特征稳定性的特征，解决了各种中小安防监控系统中无法及时进行人员身份辨识与警示的问题。
突破现有借助人证核验、1∶1人脸采集等方式进行接触式人员信息采集的局限，采用了非干涉式的工作方式，不会惊扰受监视人员的行为；将人脸识别技术与网络视频录像技术重用，扩大了人脸识别技术在安防业务处理中使用，扩展了人脸识别技术的使用面；充分利用现有的存量摄像机，通过外挂的形式可以直接将现有的非结构化视频升级为智能结构化数据。

Claims (2)

1.一种带有人脸识别分析功能的网络视频存储装置，其特征在于：实现视频接入、存储、显示、计算加速和人脸识别、特征获取与比对，以及信息生成和传输的功能，包括
01视频接入端口：根据中央控制模组(08)的指令，接收外部多路视频图像码流，获取外部提供的视频图像；
02图像复制模组：根据中央控制模组(08)的指令，对接收的视频进行复制并发送给图像存储模组(04)；
03图像解码转换模组：根据中央控制模组(08)的指令对相应视频进行解码和YUV-RGB转换，并根据中央控制模组(08)的指令进行图像下采样；
04图像存储模组：根据中央控制模组(08)的指令，将接收到的图像存储到硬盘相应的目录下，并能够覆盖删除超过录像时限的过期录像记录；
05人脸识别模组：根据中央控制模组(08)的指令，利用人工智能网络模型，通过卷积计算并加载剪枝动态人脸识别算法，进行人脸识别，取得图片中的人脸图像；
06人脸比对模组：根据中央控制模组(08)的指令，对人脸识别模组(05)取得的人脸图片进行特征码提取，并与数据库中一定时间内存储的人脸数据进行比对，筛选出需要提示的人脸图像，提供给图像显示模组(07)进行显示；
07图像显示模组：根据中央控制模组(08)的指令，对接收到的视频进行实时显示，对提示人员图片进行显示，对回放录像和人员信息检索进行显示；
08中央控制模组：实现对装置其他模组的综合控制和管理。
2.一种人脸目标识别方法，其特征在于：采用时间窗为一个采样周期，其窗口大小可以根据需要设置，在一个采样周期中进行多次采样，选择最优采样为最后的采样信息，对于一个采样帧中出现多个人脸，需要遍历所有人脸，对无法识别的人脸采用舍弃策略，由周期中多次采样进行舍弃的补偿，具体方法如下：
当时间窗触发，装置开始进行视频解码，解码首先进行视频提帧，提帧后进行帧图像优化，优化后进行多人脸定位，定位后进行人脸图像检出，然后对人脸图像进行验证，看是否符合人脸图像要求，不符合的返回时间窗触发步骤，符合要求的进行人脸校正去重，去重后进行特征码提取，提取特征码后进行人脸比对与警示判断步骤，人脸比对符合的进行输出警示类型和人脸图片，然后进行下一时间窗，继续进行新的时间窗触发，不符合的返回时间窗触发步骤。
CN201810579348.9A 2018-06-07 2018-06-07 一种带有人脸识别分析功能的网络视频存储装置及方法 Pending CN110581970A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810579348.9A CN110581970A (zh) 2018-06-07 2018-06-07 一种带有人脸识别分析功能的网络视频存储装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810579348.9A CN110581970A (zh) 2018-06-07 2018-06-07 一种带有人脸识别分析功能的网络视频存储装置及方法

Publications (1)

Publication Number Publication Date
CN110581970A true CN110581970A (zh) 2019-12-17

Family

ID=68810005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810579348.9A Pending CN110581970A (zh) 2018-06-07 2018-06-07 一种带有人脸识别分析功能的网络视频存储装置及方法

Country Status (1)

Country Link
CN (1) CN110581970A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102694950A (zh) * 2012-05-28 2012-09-26 深圳市兴鼎业科技有限公司 一种文件拍摄与存储的方法及系统
CN204258983U (zh) * 2014-12-23 2015-04-08 北京国基科技股份有限公司 视音频记录装置
CN105184258A (zh) * 2015-09-09 2015-12-23 苏州科达科技股份有限公司 目标跟踪方法及系统、人员行为分析方法及系统
CN105354902A (zh) * 2015-11-10 2016-02-24 深圳市商汤科技有限公司 一种基于人脸识别的安保管理方法及系统
CN106951849A (zh) * 2017-03-14 2017-07-14 广东履安实业有限公司 一种预防儿童意外的监控方法及系统
CN106998444A (zh) * 2017-02-14 2017-08-01 北京中科天云科技有限公司 一种大数据人脸监控系统及装置
US20180150681A1 (en) * 2016-11-30 2018-05-31 Altumview Systems Inc. Face detection using small-scale convolutional neural network (cnn) modules for embedded systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102694950A (zh) * 2012-05-28 2012-09-26 深圳市兴鼎业科技有限公司 一种文件拍摄与存储的方法及系统
CN204258983U (zh) * 2014-12-23 2015-04-08 北京国基科技股份有限公司 视音频记录装置
CN105184258A (zh) * 2015-09-09 2015-12-23 苏州科达科技股份有限公司 目标跟踪方法及系统、人员行为分析方法及系统
CN105354902A (zh) * 2015-11-10 2016-02-24 深圳市商汤科技有限公司 一种基于人脸识别的安保管理方法及系统
US20180150681A1 (en) * 2016-11-30 2018-05-31 Altumview Systems Inc. Face detection using small-scale convolutional neural network (cnn) modules for embedded systems
CN106998444A (zh) * 2017-02-14 2017-08-01 北京中科天云科技有限公司 一种大数据人脸监控系统及装置
CN106951849A (zh) * 2017-03-14 2017-07-14 广东履安实业有限公司 一种预防儿童意外的监控方法及系统

Similar Documents

Publication Publication Date Title
US10020987B2 (en) Systems and methods for correlating sensory events and legacy system events utilizing a correlation engine for security, safety, and business productivity
US9619984B2 (en) Systems and methods for correlating data from IP sensor networks for security, safety, and business productivity applications
CN105632001A (zh) 一种基于人脸识别的安防监控方法及系统
CN104616501A (zh) 基于智能视觉的车辆违章停车检测系统及方法
CN102231820B (zh) 一种监控图像处理的方法、装置和系统
CN102222104A (zh) 基于时空融合的智能提取视频摘要方法
CN110717070A (zh) 一种用于室内监控场景的视频压缩方法及系统
CN114078277A (zh) 一人一档的人脸聚类方法、装置、计算机设备及存储介质
CN107729842A (zh) 基于机器视觉的油气管道第三方破坏危险识别方法、装置及系统
CN111259789A (zh) 一种人脸识别智能安防监控管理方法和系统
CN112446362B (zh) 人脸图片档案处理方法及设备
US20210264374A1 (en) Time monitoring system
CN103905789B (zh) 动态分析数据的保存、搜索和事后分析的方法及其装置
CN110581970A (zh) 一种带有人脸识别分析功能的网络视频存储装置及方法
CN112686180A (zh) 一种封闭空间人员数量计算方法
CN115346169B (zh) 一种睡岗行为检测方法及系统
CN111860308A (zh) 一种基于视频行为识别的学生归寝安全智能管理方法
CN114973135A (zh) 一种基于头肩的时序视频睡岗识别方法、系统及电子设备
CN111931569B (zh) 安防监控热力图统计系统
CN112926542A (zh) 一种性别检测方法、装置、电子设备及存储介质
CN110580425A (zh) 基于ai芯片的人脸跟踪抓拍和属性分析的采集装置及方法
US11875566B1 (en) Anomalous activity recognition in videos
CN117354469B (zh) 一种基于安防预警的小区监控视频目标跟踪方法及系统
CN111144248B (zh) 基于st-fhcd网络模型的人数统计方法、系统及介质
CN2754296Y (zh) 数字录像监控主机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191217