CN110516656A - 视频监控方法、装置、计算机设备和可读存储介质 - Google Patents
视频监控方法、装置、计算机设备和可读存储介质 Download PDFInfo
- Publication number
- CN110516656A CN110516656A CN201910833187.6A CN201910833187A CN110516656A CN 110516656 A CN110516656 A CN 110516656A CN 201910833187 A CN201910833187 A CN 201910833187A CN 110516656 A CN110516656 A CN 110516656A
- Authority
- CN
- China
- Prior art keywords
- face
- information
- characteristic
- list
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种视频监控方法、装置、计算机设备和可读存储介质。所述方法包括:基于预设的采样间隔,从获取到的目标监控视频中抽取单帧图片;若检测到所述图片包括人脸信息,则从所述图片中提取所述人脸信息对应的第一人脸特征;根据所述第一人脸特征及预置的人脸列表,检测所述人脸信息是否为异常用户信息。采用本方法能够提升根据监控视频判别监控区域内是否有异常用户时的判别时效性及判别效率。
Description
技术领域
本发明涉及网络监控技术领域,特别是涉及一种视频监控方法、装置、计算机设备和可读存储介质。
背景技术
在部分工作单位或特殊安全场合中,需要对特定的区域进行视频监控,以便及时发现异常信息,应对潜在袭击和突发事件;例如,银行自动存取款机等敏感区域,需要对其进行监控,工作人员可以根据监控视频进行观察,判别监控区域内是否有人员滞留的行为,对长时间滞留或者徘徊的可疑人员进行预警,有助于防范意外及危险事件的发生。
目前,根据监控视频判别监控区域内是否有人员滞留行为,需要依赖人工阅读视频内容进行判断,人工判别时效性差,且判别效率低。
发明内容
基于此,有必要针对上述技术问题,提供一种在根据监控视频判别监控区域内是否有异常用户时,能够提升判别时效性及判别效率的视频监控方法、装置、计算机设备和可读存储介质。
第一方面,本申请实施例提供了一种视频监控方法,所述视频监控方法包括:
基于预设的采样间隔,从获取到的目标监控视频中抽取单帧图片;
若检测到所述图片包括人脸信息,则从所述图片中提取所述人脸信息对应的第一人脸特征;
根据所述第一人脸特征及预置的人脸列表,检测所述人脸信息是否为异常用户信息。
在其中一个实施例中,所述根据所述第一人脸特征及预置的人脸列表,检测所述人脸信息是否为异常用户信息,包括:
检测所述人脸列表是否为空;
若所述人脸列表不为空,则根据所述第一人脸特征及所述人脸列表中各人脸成员信息,检测所述人脸信息是否为异常用户信息;所述人脸成员信息用于表征人脸成员的面部特征和出现频次。
在其中一个实施例中,所述人脸成员信息包括所述人脸成员的第二人脸特征、人脸计时值及人脸计数值;所述根据所述第一人脸特征及所述人脸列表中各人脸成员信息,检测所述人脸信息是否为异常用户信息,包括:
对所述人脸列表中各所述人脸成员的所述人脸计时值累加一,得到累加后的人脸计时值;
分别检测所述第一人脸特征与各所述人脸成员的所述第二人脸特征之间的相似度是否大于预设的第一阈值;
将相似度大于所述第一阈值的第二人脸特征对应的目标人脸成员的人脸计数值累加一,得到累加后的人脸计数值;
若所述目标人脸成员对应的累加后的人脸计时值达到预设的第二阈值,且所述目标人脸成员对应的累加后的人脸计数值大于预设的第三阈值,则确定所述人脸信息为异常用户信息。
在其中一个实施例中,所述确定所述人脸信息为异常用户信息之后,还包括;
将所述目标人脸成员的人脸成员信息从所述人脸列表中清除。
在其中一个实施例中,所述分别检测所述第一人脸特征与各所述人脸成员的所述第二人脸特征之间的相似度是否大于预设的第一阈值之后,还包括:
若所述第一人脸特征与各所述第二人脸特征之间的相似度均不大于所述第一阈值,则将所述第一人脸特征及与所述第一人脸特征对应的人脸计时值和人脸计数值作为新增人脸成员信息添加至所述人脸列表。
在其中一个实施例中,所述确定所述人脸信息为异常用户信息之后,还包括:
发送异常警示信息;所述异常警示信息用于警示所述人脸信息为异常用户信息。
在其中一个实施例中,所述方法还包括:
若所述人脸列表为空,则将所述第一人脸特征及与所述第一人脸特征对应的人脸计时值和人脸计数值作为新增人脸成员信息添加至所述人脸列表。
在其中一个实施例中,所述若检测到所述图片包括人脸信息,则从所述图片中提取所述人脸信息对应的第一人脸特征,包括:
若检测到所述图片包括人脸信息,则获取所述人脸信息在所述图片中的位置信息;
根据所述位置信息,从所述图片中提取所述人脸信息对应的第一人脸特征。
在其中一个实施例中,所述位置信息包括截取框的坐标,所述根据所述位置信息,从所述图片中提取所述人脸信息对应的第一人脸特征的步骤包括:
根据所述截取框的坐标,在所述图片中截取与所述截取框的坐标对应的目标区域;
基于所述目标区域,提取所述人脸信息对应的第一人脸特征。
第二方面,本申请实施例提供一种视频监控装置,所述装置包括:
采样模块,用于基于预设的采样间隔,从获取到的目标监控视频中抽取单帧图片;
提取模块,用于若检测到所述图片包括人脸信息,则从所述图片中提取所述人脸信息对应的第一人脸特征;
检测模块,用于根据所述第一人脸特征及预置的人脸列表,检测所述人脸信息是否为异常用户信息。
第三方面,本申请实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的视频监控方法的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的视频监控方法的步骤。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过基于预设的采样间隔,从获取到的目标监控视频中抽取单帧图片;若检测到所述图片包括人脸信息,则从所述图片中提取所述人脸信息对应的第一人脸特征;根据所述第一人脸特征及预置的人脸列表,检测所述人脸信息是否为异常用户信息;由此,计算机设备能够根据目标监控视频中人脸信息的第一人脸特征及预置的人脸列表,检测该人脸信息是否为异常用户信息;避免了通过人工阅读视频内容,判断监控区域中是否存在异常用户所造成的判别时效性差及判别效率低的问题。本申请能够提升根据监控视频判别监控区域内是否有异常用户时的判别时效性及判别效率。
附图说明
图1为一个实施例提供的视频监控方法的应用环境图;
图2为一个实施例提供的视频监控方法的流程示意图;
图3为一个实施例提供的视频监控方法的流程示意图;
图4为一个实施例提供的视频监控方法的流程示意图;
图5为一个实施例提供的视频监控方法的流程示意图;
图6为一个实施例提供的视频监控方法的流程示意图;
图7为一个实施例提供的视频监控方法的流程示意图;
图8为一个实施例提供的视频监控装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的视频监控方法,可以应用于如图1所示的计算机设备,该计算机设备可以是服务器,其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存视频监控方法的数据。
在部分工作单位或特殊安全场合中,需要对特定的区域进行视频监控,以便及时发现异常信息,应对潜在袭击和突发事件;例如,银行自动存取款机等敏感区域,需要对其进行监控,工作人员可以根据监控视频进行观察,判别监控区域内是否有人员滞留的行为,对长时间滞留或者徘徊的可疑人员进行预警,有助于防范意外及危险事件的发生。目前,根据监控视频判别监控区域内是否有人员滞留行为,需要依赖人工阅读视频内容进行判断,人工判别时效性差,且判别效率低。本申请实施例提供的视频监控方法、装置、计算机设备和可读存储介质,旨在解决传统技术中,由人工阅读监控视频内容来判断监控区域内是否有人员滞留行为所造成的判别时效性差、判别效率低的技术问题。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体地实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
需要说明的是,本申请实施例提供的视频监控方法,其执行主体可以是视频监控装置,该视频监控装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例中,均以执行主体是计算机设备为例来进行说明。
请参考图2,其示出了本申请实施例提供的一种视频监控方法的流程图,如图2所示,本视频监控方法可以包括以下步骤:
步骤S100,基于预设的采样间隔,从获取到的目标监控视频中抽取单帧图片。
其中,目标监控视频是采用监控设备对监控区域拍摄得到的视频数据,计算机设备获取该目标监控视频,并根据预设的采样间隔,从目标监控视频中抽取单帧图片;例如,计算机设备每隔t(t>0)时间从目标监控视频中抽取一帧,即得到该帧对应的图片。可以理解的是,预设的采样间隔在实施时可以根据实际需求自行设定,例如,采样间隔可以设定为30秒、1分钟,等等,本实施例在此不做具体限制。
步骤S200,若检测到图片包括人脸信息,则从图片中提取人脸信息对应的第一人脸特征。
根据设定的采样间隔,从目标监控视频中抽取到单帧图片后,计算机设备进一步检测该图片中是否包括人脸信息,作为一种实施方式,本实施例中,检测该图片是否包括人脸信息,可以是将该图片输入至卷积神经网络模型中进行分类,得到该图片是否包括人脸信息的检测结果,或者,采用人脸识别技术检测图片中是否包括人脸信息,得到检测结果;若检测到该图片包括人脸信息,进一步通过特征提取模型从该图片中提取该人脸信息对应的第一人脸特征,第一人脸特征用于表征人脸信息的面部特征。
步骤S300,根据第一人脸特征及预置的人脸列表,检测人脸信息是否为异常用户信息。
传统技术中,是由人工阅读监控视频内容来判别监控区域内是否有人员滞留行为,人工判别时效性差,且判别效率低。本实施例中,计算机设备若检测到抽取到的图片包括人脸信息,则从该图片中提取人脸信息对应的第一人脸特征,根据第一人脸特征及预置的人脸列表,检测人脸信息是否为异常用户信息。
作为一种实施方式,人脸列表中包括多个人脸成员信息,每个人脸成员信息表征对应人脸成员的面部特征和出现的频次,其中,出现的频次可以是在之前基于该目标监控视频抽取的图片中,该人脸成员出现的次数以及该人脸成员存在于人脸列表中的时长;将第一人脸特征与人脸列表中每个人脸成员的面部特征进行匹配,若存在匹配成功的目标人脸成员,则确定该人脸信息与该目标人脸成员为同一个人,进一步更新该目标人脸成员的上述出现的频次,若该目标人脸成员更新后的频次超过一定门限值的人脸成员,则确定该目标人脸成员为滞留人员,即该人脸信息为异常用户信息。
在其它实施例中,预置的人脸列表还可以包括历史滞留人员的面部特征,根据第一人脸特征及预置的人脸列表,检测人脸信息是否为异常用户信息,具体可以是,将第一人脸特征与人脸列表中包括的历史滞留人员的面部特征进行匹配,若匹配成功,则确定第一人脸特征对应的人脸信息为异常用户信息;若匹配失败,则进一步检测第一人脸特征在人脸列表中出现的频次,若第一人脸特征在人脸列表中出现的频次超过一定的门限值,则确定第一人脸特征对应的人脸信息为异常用户信息。
本实施例通过基于预设的采样间隔,从获取到的目标监控视频中抽取单帧图片;若检测到图片包括人脸信息,则从图片中提取人脸信息对应的第一人脸特征;根据第一人脸特征及预置的人脸列表,检测人脸信息是否为异常用户信息;由此,计算机设备能够根据监控视频中人脸信息的第一人脸特征及预置的人脸列表,自动检测该人脸信息是否为异常用户信息;避免了通过人工阅读视频内容,判断监控区域中是否存在异常用户所造成的判别时效性差及判别效率低的问题。本实施例能够提升根据监控视频判别监控区域内是否有异常用户时的判别时效性及判别效率。
图3为另一个实施例提供的视频监控方法的流程示意图。在上述图2所示实施例的基础上,步骤S300包括:
步骤S310,检测人脸列表是否为空。
从目标监控视频中抽取的单帧图片中,提取人脸信息对应的第一人脸特征后,检测人脸列表是否为空,人脸列表包括多个人脸成员信息,每个人脸成员信息表征一个人脸成员的面部特征及在该目标监控视频中出现的频次,可以理解的是,若人脸列表不包括任何人脸成员信息,则人脸列表为空;若人脸列表包括至少一个人脸成员信息,则人脸列表不为空。
步骤S320,若人脸列表不为空,则根据第一人脸特征及人脸列表中各人脸成员信息,检测人脸信息是否为异常用户信息。
其中,人脸成员信息用于表征人脸成员的面部特征和出现频次。
若检测到人脸列表不为空,则根据第一人脸特征及人脸列表中各人脸成员信息,检测人脸信息是否为异常用户信息;具体地,人脸成员信息用于表征人脸成员的面部特征和出现频次,将第一人脸特征分别与人脸列表中每个人脸成员的面部特征进行匹配,具体可以是分别计算第一人脸特征与每个人脸成员的面部特征的相似度,若存在相似度大于预设阈值的目标人脸成员,则确定该人脸信息与该目标人脸成员为同一个人。
进一步地,更新该目标人脸成员的出现频次,本实施例中,频次可以通过该目标人脸成员在人脸列表中累积出现的次数及在人脸列表中累积存在的时长来表示;作为一种实施方式,将该目标人脸成员在人脸列表中累积出现的次数累加一;目标人脸成员在人脸列表中累积存在的时长可以结合抽取的帧数表示,例如,累积存在的时长用T表示,T=nt,n为抽取的帧数,t为预设的采样间隔,若确定该人脸信息与该目标人脸成员为同一个人,则将n值累加一,得到更新后的累积存在时长T;若该目标人脸成员在人脸列表中累积出现的次数及在人脸列表中累积存在的时长均超过各自对应的门限值,则确定该目标人脸成员为滞留人员,即该人脸信息为异常用户信息。
在其它实施例中,作为一种实施方式,更新该目标人脸成员的出现频次之后,检测人脸列表中各人脸成员的出现频次,若人脸列表中存在累积出现的次数及在人脸列表中累积存在的时长均超过各自对应的门限值的人脸成员,则确定该人脸成员为滞留人员,若该判定为滞留人员的人脸成员与该人脸信息为同一个人,则确定该人脸信息为异常用户信息。
在其它实施例中,检测人脸列表是否为空之后,若人脸列表为空,则将第一人脸特征及与第一人脸特征对应的人脸计时值和人脸计数值作为新增人脸成员信息添加至人脸列表,由此,实现人脸列表的动态更新。
本实施例基于预设的采样间隔,从获取到的目标监控视频中抽取单帧图片;若检测到图片包括人脸信息,则从图片中提取人脸信息对应的第一人脸特征;检测人脸列表是否为空;若人脸列表不为空,则根据第一人脸特征及人脸列表中各人脸成员信息,检测人脸信息是否为异常用户信息;由此,计算机设备从抽取到的图片中提取人脸信息对应的第一人脸特征后,若检测到人脸列表不为空,则根据第一人脸特征及人脸列表中各人脸成员信息,检测人脸信息是否为异常用户信息,根据预置的人脸列表对第一人脸特征进行检测,提升了检测效率,避免了由人工阅读监控视频内容来判断监控区域内是否有人员滞留行为所造成的判别时效性差、判别效率低的问题。
图4为另一个实施例提供的视频监控方法的流程示意图。在上述图3所示实施例的基础上,人脸成员信息包括人脸成员的第二人脸特征、人脸计时值及人脸计数值,步骤S320“根据第一人脸特征及人脸列表中各人脸成员信息,检测人脸信息是否为异常用户信息”包括:
步骤S321,对人脸列表中各人脸成员的人脸计时值累加一,得到累加后的人脸计时值。
具体地,人脸成员信息包括人脸成员的第二人脸特征、人脸计时值及人脸计数值;第二人脸特征即为该人脸成员的面部特征值,人脸计时值为基于该人脸成员在人脸列表中存在的视频帧数确定的,人脸计数值,即检测到该人脸成员出现的次数。若人脸列表不为空,则遍历人脸列表,对人脸列表中各人脸成员的人脸计时值累加一,得到累加后的人脸计时值;本实施例中,人脸成员的人脸计时值用T表示,T=nt,n为抽取的帧数,t为预设的采样间隔,若检测到人脸列表不为空,则将人脸列表中各人脸成员的人脸计时值中n的取值累加一,得到累加后的人脸计时值。
步骤S322,分别检测第一人脸特征与各人脸成员的第二人脸特征之间的相似度是否大于预设的第一阈值。
其中,第一人脸特征与各人脸成员的第二人脸特征之间的相似度计算采用余弦距离表征,第一人脸特征与第二人脸特征之间的相似度计算公式如下:
其中,similarity为第一人脸特征与第二人脸特征之间相似度,为第一人脸特征的特征值向量,为第二人脸特征的特征值向量,作为一种实施方式,第一人脸特征及第二人脸特征均为128维人脸特征值;计算得到第一人脸特征与各人脸成员的第二人脸特征之间的相似度后,分别检测计算得到的多个相似度中是否大于预设的第一阈值的相似度,第一阈值可以是第一人脸特征与第二人脸特征之间的相似度大于0.8或者0.9,等等,本实施例在此不做具体限制。
步骤S323,将相似度大于第一阈值的第二人脸特征对应的目标人脸成员的人脸计数值累加一,得到累加后的人脸计数值。
计算得到第一人脸特征与各人脸成员的第二人脸特征之间的相似度后,若多个相似度中存在大于第一阈值的相似度,则确定该大于第一阈值的相似度对应的目标人脸成员与第一人脸特征对应的人脸信息为同一个人,则将该目标人脸成员的人脸计数值累加一,得到累加后的人脸计数值,即对该目标人脸成员累积出现的次数累加一。
步骤S324,若目标人脸成员对应的累加后的人脸计时值达到预设的第二阈值,且目标人脸成员对应的累加后的人脸计数值大于预设的第三阈值,则确定人脸信息为异常用户信息。
若目标人脸成员对应的累加后的人脸计时值达到预设的第二阈值,本实施例人脸成员的人脸计时值用T表示,T=nt,n为抽取的帧数,t为预设的采样间隔,第二阈值可以通过设定n的取值确定,例如,设定n=5,即目标人脸成员在人脸列表中累积存在5帧的时间时,则确定目标人脸成员对应的累加后的人脸计时值达到预设的第二阈值,其中第二阈值=nt=5t,t为预设的采样间隔,进一步检测该目标人脸成员对应的累加后的人脸计数值是否大于预设的第三阈值,若该目标人脸成员对应的累加后的人脸计数值大于第三阈值,即确定该目标人脸成员为滞留人员,该人脸信息为异常用户信息;第三阈值的设定可以是目标人脸成员在人脸列表中出现次数的界定阈值,例如,设定抽取10帧图片中,目标人脸成员在人脸列表中的人脸计数值大于8时,则确定该目标人脸成员为滞留人员,第三阈值则为8。在其它实施例中,作为一种实施方式,若该人脸信息为异常用户信息,则发送异常警示信息,警示该目标人脸成员存在滞留行为,有助于防范意外及危险事件的发生。
本实施例若检测到人脸列表不为空,则对人脸列表中各人脸成员的人脸计时值累加一,得到累加后的人脸计时值;分别检测第一人脸特征与各人脸成员的第二人脸特征之间的相似度是否大于预设的第一阈值;将相似度大于第一阈值的第二人脸特征对应的目标人脸成员的人脸计数值累加一,得到累加后的人脸计数值;若目标人脸成员对应的累加后的人脸计时值达到预设的第二阈值,且目标人脸成员对应的累加后的人脸计数值大于预设的第三阈值,则确定人脸信息为异常用户信息。由此,根据人脸列表中各人脸成员的第二人脸特征与图片中提取到的人脸信息的第一人脸特征的相似度,及人脸列表中各人脸成员动态的人脸计数值及人脸计时值,计算机设备即可确定人脸信息是否为异常用户信息,提升了根据监控视频判别监控区域内是否有异常用户时的判别时效性及判别效率。
图5为另一个实施例提供的视频监控方法的流程示意图。在上述图4所示实施例的基础上,步骤S324之后,还包括:
步骤S400,将目标人脸成员的人脸成员信息从人脸列表中清除。
将人脸计时值累积到第二阈值的人脸成员从人脸列表中清除;当人脸成员的人脸计时值累积到第二阈值时,则会检测该人脸成员的人脸计数值是否大于第三阈值,若该人脸成员的人脸计数值大于第三阈值,则确定该人脸成员为滞留人员,若该人脸成员的人脸计数值不大于第三阈值,则确定该人脸成员非滞留人员;对该人脸成员进行滞留人员检测后,将该人脸成员从人脸列表中清除,避免人脸列表中存在冗余信息对计算机设备内存的消耗,提升了第一人脸特征与人脸列表中各人脸成员的第二人脸特征的相似度计算速度,提升了计算机设备根据监控视频判别监控区域内是否有异常用户时的判别时效性及判别效率。
图6为另一个实施例提供的视频监控方法的流程示意图。在上述图4所示实施例的基础上,步骤S322之后,还包括:
步骤S325,若第一人脸特征与各第二人脸特征之间的相似度均不大于第一阈值,则将第一人脸特征及与第一人脸特征对应的人脸计时值和人脸计数值作为新增人脸成员信息添加至人脸列表。
本实施例中,若第一人脸特征与人脸列表中各人脸成员的第二人脸特征之间的相似度均不大于第一阈值,则确定该人脸信息为监控视频中新出现的人员,将第一人脸特征及与第一人脸特征对应的人脸计时值和人脸计数值作为新增人脸成员信息添加至人脸列表,该新增人脸成员信息的人脸计数值为一次,该新增人脸成员信息的人脸计时值为一帧对应的时间,由此,通过将人脸计时值累积到第二阈值的人脸成员从人脸列表中清除,并将与各第二人脸特征之间的相似度均不大于第一阈值的新增人脸成员信息添加至人脸列表,实现人脸列表的动态更新,通过维护动态的人脸列表,计算机设备在获取到目标监控视频后,提取人脸信息对应的第一人脸特征,基于动态的人脸列表,即可实现人脸信息是否为异常用户信息的自动识别,提升了根据监控视频判别监控区域内是否有异常用户时的判别时效性及判别效率。
图7为另一个实施例提供的视频监控方法的流程示意图。在上述图2所示实施例的基础上,步骤S200,包括:
步骤S210,若检测到图片包括人脸信息,则获取人脸信息在图片中的位置信息。
将图片输入至预设的特征提取模型中,该特征提取模型主要包括检测子模块和特征提取子模块,特征提取子模块由若干卷积层、归一化层、激活层、池化层等堆叠而成,检测子模块在特征提取子模块的基础上继续构造若干特征层,在构造的每个特征层上设置若干预设框用于获取检测检测结果;检测子模块从图片中获取人脸信息在图片中的位置信息。
步骤S220,根据位置信息,从图片中提取人脸信息对应的第一人脸特征。
根据位置信息,在图片中截取与位置信息对应的目标区域,从该目标区域中提取人脸信息对应的第一人脸特征,本实施例中,该位置信息包括截取框的坐标,步骤S220进一步包括:
步骤a,根据截取框的坐标,在图片中截取与截取框的坐标对应的目标区域。
根据截取框的坐标,在图片中截取与截取框的坐标对应的目标区域,目标区域是根据人脸信息在图片中的位置截取到的,即目标区域包括该人脸信息,进一步从目标区域中提取第一人脸特征。
步骤b,基于目标区域,提取人脸信息对应的第一人脸特征。
作为一种实施方式,截取框可以是矩形框,矩形截取框的坐标至少包括该矩形框的一条对角线上的两个顶点坐标,在其它实施例中,人脸列表中人脸成员的人脸成员信息还包括与人脸信息对应的截取框的坐标。
本实施例根据截取框的坐标,在图片中截取与截取框的坐标对应的目标区域,根据截取框的坐标,在图片中截取与截取框的坐标对应的目标区域,能够缩特征提取的范围及特征提取的精度及准确度;进一步从目标区域中提取人脸信息的第一人脸特征,根据该第一人脸特征与动态的人脸列表,得到该人脸信息是否为异常用户信息的检测结果,避免了通过人工阅读视频内容,判断监控区域中是否存在异常用户所造成的判别时效性差及判别效率低的问题,提升了判别时效性及判别效率。
应该理解的是,虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图8所示,提供了一种视频监控装置,包括:
采样模块10,用于基于预设的采样间隔,从获取到的目标监控视频中抽取单帧图片;
提取模块20,用于若检测到图片包括人脸信息,则从图片中提取人脸信息对应的第一人脸特征;
检测模块30,用于根据第一人脸特征及预置的人脸列表,检测人脸信息是否为异常用户信息。
可选地,检测模块30包括:
第一检测单元,用于检测人脸列表是否为空;
第二检测单元,用于若人脸列表不为空,则根据第一人脸特征及人脸列表中各人脸成员信息,检测人脸信息是否为异常用户信息;人脸成员信息用于表征人脸成员的面部特征和出现频次。
可选地,人脸成员信息包括人脸成员的第二人脸特征、人脸计时值及人脸计数值;第二检测单元包括:
第一更新子单元,用于对人脸列表中各人脸成员的人脸计时值累加一,得到累加后的人脸计时值;
检测子单元,用于分别检测第一人脸特征与各人脸成员的第二人脸特征之间的相似度是否大于预设的第一阈值;
第二更新子单元,用于将相似度大于第一阈值的第二人脸特征对应的目标人脸成员的人脸计数值累加一,得到累加后的人脸计数值;
确定子单元,用于若目标人脸成员对应的累加后的人脸计时值达到预设的第二阈值,且目标人脸成员对应的累加后的人脸计数值大于预设的第三阈值,则确定人脸信息为异常用户信息。
可选地,装置还包括;
清除模块,用于将目标人脸成员的人脸成员信息从人脸列表中清除。
可选地,第二检测单元包括还包括:
添加子单元,用于若第一人脸特征与各第二人脸特征之间的相似度均不大于第一阈值,则将第一人脸特征及与第一人脸特征对应的人脸计时值和人脸计数值作为新增人脸成员信息添加至人脸列表。
可选地,装置还包括:
警示模块,用于发送异常警示信息;异常警示信息用于警示人脸信息为异常用户信息。
可选地,装置还包括:
添加模块,用于若人脸列表为空,则将第一人脸特征及与第一人脸特征对应的人脸计时值和人脸计数值作为新增人脸成员信息添加至人脸列表。
可选地,提取模块包括:
获取单元,用于若检测到图片包括人脸信息,则获取人脸信息在图片中的位置信息;
提取单元,用于根据位置信息,从图片中提取人脸信息对应的第一人脸特征。
可选地,位置信息包括截取框的坐标,提取单元包括:
截取子单元,用于根据截取框的坐标,在图片中截取与截取框的坐标对应的目标区域;
提取子单元,用于基于目标区域,提取人脸信息对应的第一人脸特征。
本实施例提供的视频监控装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
关于视频监控装置的具体限定可以参见上文中对于视频监控方法的限定,在此不再赘述。上述视频监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,还提供了一种如图1所示的计算机设备,该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储视频监控数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频监控方法。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体地计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
基于预设的采样间隔,从获取到的目标监控视频中抽取单帧图片;
若检测到图片包括人脸信息,则从图片中提取人脸信息对应的第一人脸特征;
根据第一人脸特征及预置的人脸列表,检测人脸信息是否为异常用户信息。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
基于预设的采样间隔,从获取到的目标监控视频中抽取单帧图片;
若检测到图片包括人脸信息,则从图片中提取人脸信息对应的第一人脸特征;
根据第一人脸特征及预置的人脸列表,检测人脸信息是否为异常用户信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种视频监控方法,其特征在于,所述方法包括:
基于预设的采样间隔,从获取到的目标监控视频中抽取单帧图片;
若检测到所述图片包括人脸信息,则从所述图片中提取所述人脸信息对应的第一人脸特征;
根据所述第一人脸特征及预置的人脸列表,检测所述人脸信息是否为异常用户信息。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一人脸特征及预置的人脸列表,检测所述人脸信息是否为异常用户信息,包括:
检测所述人脸列表是否为空;
若所述人脸列表不为空,则根据所述第一人脸特征及所述人脸列表中各人脸成员信息,检测所述人脸信息是否为异常用户信息;所述人脸成员信息用于表征人脸成员的面部特征和出现频次。
3.根据权利要求2所述的方法,其特征在于,所述人脸成员信息包括所述人脸成员的第二人脸特征、人脸计时值及人脸计数值;所述根据所述第一人脸特征及所述人脸列表中各人脸成员信息,检测所述人脸信息是否为异常用户信息,包括:
对所述人脸列表中各所述人脸成员的所述人脸计时值累加一,得到累加后的人脸计时值;
分别检测所述第一人脸特征与各所述人脸成员的所述第二人脸特征之间的相似度是否大于预设的第一阈值;
将相似度大于所述第一阈值的第二人脸特征对应的目标人脸成员的人脸计数值累加一,得到累加后的人脸计数值;
若所述目标人脸成员对应的累加后的人脸计时值达到预设的第二阈值,且所述目标人脸成员对应的累加后的人脸计数值大于预设的第三阈值,则确定所述人脸信息为异常用户信息。
4.根据权利要求3所述的方法,其特征在于,所述确定所述人脸信息为异常用户信息之后,还包括;
将所述目标人脸成员的人脸成员信息从所述人脸列表中清除。
5.根据权利要求3所述的方法,其特征在于,所述分别检测所述第一人脸特征与各所述人脸成员的所述第二人脸特征之间的相似度是否大于预设的第一阈值之后,还包括:
若所述第一人脸特征与各所述第二人脸特征之间的相似度均不大于所述第一阈值,则将所述第一人脸特征及与所述第一人脸特征对应的人脸计时值和人脸计数值作为新增人脸成员信息添加至所述人脸列表。
6.根据权利要求3所述的方法,其特征在于,所述确定所述人脸信息为异常用户信息之后,还包括:
发送异常警示信息;所述异常警示信息用于警示所述人脸信息为异常用户信息。
7.根据权利要求2所述的方法,其特征在于,所述方法还包括:
若所述人脸列表为空,则将所述第一人脸特征及与所述第一人脸特征对应的人脸计时值和人脸计数值作为新增人脸成员信息添加至所述人脸列表。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述若检测到所述图片包括人脸信息,则从所述图片中提取所述人脸信息对应的第一人脸特征,包括:
若检测到所述图片包括人脸信息,则获取所述人脸信息在所述图片中的位置信息;
根据所述位置信息,从所述图片中提取所述人脸信息对应的第一人脸特征。
9.根据权利要求8所述的方法,其特征在于,所述位置信息包括截取框的坐标,所述根据所述位置信息,从所述图片中提取所述人脸信息对应的第一人脸特征的步骤包括:
根据所述截取框的坐标,在所述图片中截取与所述截取框的坐标对应的目标区域;
基于所述目标区域,提取所述人脸信息对应的第一人脸特征。
10.一种视频监控装置,其特征在于,所述装置包括:
采样模块,用于基于预设的采样间隔,从获取到的目标监控视频中抽取单帧图片;
提取模块,用于若检测到所述图片包括人脸信息,则从所述图片中提取所述人脸信息对应的第一人脸特征;
检测模块,用于根据所述第一人脸特征及预置的人脸列表,检测所述人脸信息是否为异常用户信息。
11.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910833187.6A CN110516656A (zh) | 2019-09-04 | 2019-09-04 | 视频监控方法、装置、计算机设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910833187.6A CN110516656A (zh) | 2019-09-04 | 2019-09-04 | 视频监控方法、装置、计算机设备和可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110516656A true CN110516656A (zh) | 2019-11-29 |
Family
ID=68630955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910833187.6A Pending CN110516656A (zh) | 2019-09-04 | 2019-09-04 | 视频监控方法、装置、计算机设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110516656A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110971880A (zh) * | 2019-12-17 | 2020-04-07 | 北京博雅天安信息技术有限公司 | 一种河道视频监控场景下多种违法行为模型实时调度方法 |
CN111563726A (zh) * | 2020-04-30 | 2020-08-21 | 平安国际智慧城市科技股份有限公司 | 企业整改监管方法、装置、设备及计算机可读存储介质 |
CN111862508A (zh) * | 2020-06-22 | 2020-10-30 | 深圳中兴网信科技有限公司 | 监控方法、监控设备和计算机可读存储介质 |
CN112036242A (zh) * | 2020-07-28 | 2020-12-04 | 重庆锐云科技有限公司 | 人脸图片采集方法、装置、计算机设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104239881A (zh) * | 2013-06-08 | 2014-12-24 | 杭州海康威视数字技术股份有限公司 | 监控视频中目标自动发现和注册方法及其系统 |
CN106454253A (zh) * | 2016-11-02 | 2017-02-22 | 北京弘恒科技有限公司 | 区域徘徊的检测方法及系统 |
CN108922114A (zh) * | 2018-06-22 | 2018-11-30 | 张小勇 | 安防监测方法和系统 |
CN109657652A (zh) * | 2019-01-16 | 2019-04-19 | 平安科技(深圳)有限公司 | 一种人脸识别方法和装置 |
CN110191369A (zh) * | 2019-06-06 | 2019-08-30 | 广州酷狗计算机科技有限公司 | 图像截取方法、装置、设备及存储介质 |
-
2019
- 2019-09-04 CN CN201910833187.6A patent/CN110516656A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104239881A (zh) * | 2013-06-08 | 2014-12-24 | 杭州海康威视数字技术股份有限公司 | 监控视频中目标自动发现和注册方法及其系统 |
CN106454253A (zh) * | 2016-11-02 | 2017-02-22 | 北京弘恒科技有限公司 | 区域徘徊的检测方法及系统 |
CN108922114A (zh) * | 2018-06-22 | 2018-11-30 | 张小勇 | 安防监测方法和系统 |
CN109657652A (zh) * | 2019-01-16 | 2019-04-19 | 平安科技(深圳)有限公司 | 一种人脸识别方法和装置 |
CN110191369A (zh) * | 2019-06-06 | 2019-08-30 | 广州酷狗计算机科技有限公司 | 图像截取方法、装置、设备及存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110971880A (zh) * | 2019-12-17 | 2020-04-07 | 北京博雅天安信息技术有限公司 | 一种河道视频监控场景下多种违法行为模型实时调度方法 |
CN111563726A (zh) * | 2020-04-30 | 2020-08-21 | 平安国际智慧城市科技股份有限公司 | 企业整改监管方法、装置、设备及计算机可读存储介质 |
CN111862508A (zh) * | 2020-06-22 | 2020-10-30 | 深圳中兴网信科技有限公司 | 监控方法、监控设备和计算机可读存储介质 |
CN112036242A (zh) * | 2020-07-28 | 2020-12-04 | 重庆锐云科技有限公司 | 人脸图片采集方法、装置、计算机设备及存储介质 |
CN112036242B (zh) * | 2020-07-28 | 2023-07-21 | 重庆锐云科技有限公司 | 人脸图片采集方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020215552A1 (zh) | 多目标跟踪方法、装置、计算机设备及存储介质 | |
CN110516656A (zh) | 视频监控方法、装置、计算机设备和可读存储介质 | |
US10956753B2 (en) | Image processing system and image processing method | |
CN110532988B (zh) | 行为监控方法、装置、计算机设备和可读存储介质 | |
WO2021051547A1 (zh) | 暴力行为检测方法及系统 | |
CN109472608A (zh) | 基于情绪识别的交易认证方法及终端设备 | |
CN110442742A (zh) | 检索图像的方法及装置、处理器、电子设备及存储介质 | |
CN111753724A (zh) | 一种异常行为识别方法及装置 | |
CN113343779B (zh) | 环境异常检测方法、装置、计算机设备和存储介质 | |
CN109711427A (zh) | 目标检测方法及相关产品 | |
US11113838B2 (en) | Deep learning based tattoo detection system with optimized data labeling for offline and real-time processing | |
CN109697815A (zh) | 防盗通讯网络报警方法、装置设备及存储介质 | |
CN111372042A (zh) | 故障检测方法、装置、计算机设备和存储介质 | |
CN109558773A (zh) | 信息识别方法、装置及电子设备 | |
CN111274602B (zh) | 一种图像特征信息替换方法、装置、设备及介质 | |
CN109345184A (zh) | 基于微表情的节点信息处理方法、装置、计算机设备及存储介质 | |
CN109583296A (zh) | 一种防止误检测方法、装置、系统及计算机存储介质 | |
CN111695445A (zh) | 一种人脸识别的方法、装置、设备及计算机可读存储介质 | |
CN112541410B (zh) | 一种金库人员行为规范检测方法及装置 | |
CN116071784A (zh) | 人员违规行为识别方法、装置、设备和存储介质 | |
CN114897499A (zh) | 一种景区员工工作状态判断的方法及装置 | |
CN113468948A (zh) | 基于视图数据的治安防控方法、模块、设备及存储介质 | |
Gupta et al. | Transforming Rapid Diagnostic Tests into Trusted Diagnostic Tools in LMIC using AI | |
CN111739054A (zh) | 目标跟踪标记方法、系统、电子设备及可读存储介质 | |
CN110633658A (zh) | 聚众斗殴行为识别方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191129 |
|
RJ01 | Rejection of invention patent application after publication |