CN107292240A - 一种基于人脸与人体识别的找人方法及系统 - Google Patents

一种基于人脸与人体识别的找人方法及系统 Download PDF

Info

Publication number
CN107292240A
CN107292240A CN201710375492.6A CN201710375492A CN107292240A CN 107292240 A CN107292240 A CN 107292240A CN 201710375492 A CN201710375492 A CN 201710375492A CN 107292240 A CN107292240 A CN 107292240A
Authority
CN
China
Prior art keywords
face
human
people
bioequivalence
human bioequivalence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710375492.6A
Other languages
English (en)
Other versions
CN107292240B (zh
Inventor
张炜
孙华亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shenzhen Horizon Technology Co Ltd
Original Assignee
Shenzhen Shenzhen Horizon Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shenzhen Horizon Technology Co Ltd filed Critical Shenzhen Shenzhen Horizon Technology Co Ltd
Priority to CN201710375492.6A priority Critical patent/CN107292240B/zh
Publication of CN107292240A publication Critical patent/CN107292240A/zh
Application granted granted Critical
Publication of CN107292240B publication Critical patent/CN107292240B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks

Abstract

本发明公开了一种基于人脸与人体识别的找人方法及系统,方法中,通过清晰度判断进行识别模式的选择,提供了两种识别模式,从而为识别模式提供了可选项,并有效提高识别性能;通过人体识别模式进行检测后跟踪,避免了因为人脸看不清导致的无法通过人脸识别实现对目标人物的人脸的检测与跟踪,在硬件不变的情况下,也能提高平安城市的安全性,节省了改造成本;通过人体识别实现身份认证以及行为监控,而降低了身份认证、监控失败的概率,提高了事后追溯能力。系统中,包括:数据判断单元、模式选择单元以及人体识别单元,人体识别单元还包括人脸获取模块和行为检测模块,实现了与上述方法系统的有益效果。

Description

一种基于人脸与人体识别的找人方法及系统
技术领域
本发明涉及平安城市监控领域,具体涉及一种基于人脸与人体识别的找人方法及系统。
背景技术
科学技术的进步为人们带来了长足的方便,一切科技的进步都源于人类美好的愿景;尤其进入信息时代后,只有想不到没有做不到的事情,人们通过自身的智慧不断的突破各个领域的难题,使生活日新月异。
顾名思义,信息时代即以计算机技术为主体的时代,通过计算机技术的运用,人们生活产生了翻天覆地的变化,比如通过计算机技术实现了:平安城市“天网”监控建设、智能家电控制、智能门禁控制等。
在近十年,各地平安城市“天网”监控项目投入巨额资金,建设了大量的治安监控摄像机。截止到今天,我们所处的城市中已经遍布“天网”监控摄像机。但是遗憾的是,从治安监控的角度来讲,依然没有解决“找人”这个核心需求。以目前公安行业现有技术配备来看,“找人”仍然是无法逾越的难题。其根本原因,就是城市中的摄像机数量虽然多了,但也仅仅代表着可利用的资源是多了,而如何利用好这些监控资源,用什么技术和方法来解决找人的问题,依然是一个亟待解决的难题。
现有技术中,基于深度学习的人脸识别技术逐渐成熟,给找人这一课题带来了新的解决契机。通过人脸检测以及人脸跟踪在摄像网络采集获得的视频中进行目标人物的搜寻、身份识别,并通过搜寻到的视频判断目标人物的行为轨迹,从而实现监控,使公安部门能够轻松找到失踪人员和收集犯罪证据等。
现有技术的不足之处在于,识别模式单一;摄像网络拍摄到的人脸清晰度比较低,无法看清人脸,进而也无法通过人脸识别实现对目标人物的人脸的检测与跟踪;人脸识别的事后追溯能力不高,身份认证、监控的成功率低,容易在跟踪时,由于监控数据繁杂,难免有部分人脸清晰度不够,无法跟踪到关键的行为信息。
发明内容
本发明的目的是提供一种基于人脸与人体识别的找人方法及系统,以解决人脸清晰度低导致的无法通过人脸识别实现对目标人物的行为监控;人脸识别的事后追溯能力不高的问题。
为了实现上述目的,本发明提供如下技术方案:
一种基于人脸与人体识别的找人方法,包括以下步骤:
获取监控数据,并对其进行清晰度判断;
根据清晰度判断结果选择识别模式,并通过选择的模式在所述监控数据中对目标对象进行检测后跟踪;
若选择的模式是人体识别时,
从检测后跟踪获得的特征数据中截取得到目标样本,并在所述目标样本中进行人脸质量的比对,获得人脸照片;
根据所述人脸照片在人脸数据库中确定其对应的身份信息,并根据所述特征数据对所述目标对象进行行为监测。
上述基于人脸与人体识别的找人方法,所述监控数据的获取包括以下步骤:
通过平安城市内的摄像网络进行图像采集,获得多段监控视频;
将多段所述监控视频进行拼接,得到所述监控数据。
上述基于人脸与人体识别的找人方法,进行清晰度判断包括以下步骤:
对所述监控数据进行人脸清晰度判断,若符合设定的第一清晰度阈值,则选择人脸识别模式;
若不符合设定的第一清晰度阈值,则进行人体清晰度判断,若符合设定的第二清晰度阈值,则选择人体识别模式。
上述基于人脸与人体识别的找人方法,若选择的模式是人脸识别时,所述目标对象为对应的人脸图片;
根据所述对应的人脸图片在人脸数据库中确定其相应的身份信息,并根据所述特征数据对所述目标对象进行行为监测。
上述基于人脸与人体识别的找人方法,所述目标样本的获取包括以下步骤:
按周期对所述特征数据进行抓拍,并从抓拍后得到的图片中截取人体图片;
将所述人体图片汇集成所述目标样本。
上述基于人脸与人体识别的找人方法,人脸照片的获得包括以下步骤:
通过深度学习算法提取所述目标样本中人体图片的人脸特征点,并据其对所述人体图片中的人脸进行质量打分;
将人脸质量进行比对,选取人脸质量分数最高的人体图片,并从中截取获得所述人脸照片。
上述基于人脸与人体识别的找人方法,身份信息的获得包括以下步骤:
通过所述人脸照片与所述人脸数据库中的人脸进行比对,从中搜索得到一相似度最高的人脸;
根据搜索得到的人脸在所述人脸数据库中关联得到相应的身份信息。
上述基于人脸与人体识别的找人方法,搜索得到一相似度最高的人脸包括以下步骤:
对所述人脸照片进行人脸特征点提取;
根据提取的人脸特征点与人脸数据库中的人脸特征点进行相似度计算,得到一相似度最高的人脸。
上述基于人脸与人体识别的找人方法,对目标对象进行检测后跟踪包括以下步骤:
对人脸检测器进行训练,并通过训练得到人脸模型,在所述监控数据中进行目标对象的检测,获得检测框;
提取所述检测框的人脸特征点,并据其进行相似度计算,获得所述特征数据。
本发明提供的基于人脸与人体识别的找人方法,通过清晰度判断进行识别模式的选择,提供了两种识别模式,从而为识别模式提供了可选项,并有效提高识别性能;通过人体识别模式进行检测后跟踪,避免了因为人脸看不清导致无法通过人脸识别实现对目标人物的人脸的检测与跟踪,从而解决了以现有的监控摄像机网络就能实现找人,在硬件不变的情况下,也能提高平安城市的安全性,节省了改造成本;通过人体识别实现身份认证以及行为监控,即使监控数据中有部分不清晰的人脸,通过人体识别也能跟踪到关键的行为信息,从而降低了身份认证、监控失败的概率,提高了事后追溯能力。
一种基于人脸与人体识别的找人系统,包括:
数据判断单元,用以获取监控数据,并对其进行清晰度判断;
模式选择单元,用以根据清晰度判断结果选择识别模式,并通过选择的模式在所述监控数据中对目标对象进行检测后跟踪;
人体识别单元,用以进行人体识别,
人脸获取模块,用以从检测后跟踪获得的特征数据中截取得到目标样本,并在所述目标样本中进行人脸质量的比对,获得人脸照片;
行为检测模块,用以根据所述人脸照片在人脸数据库中确定其对应的身份信息,并根据所述特征数据对所述目标对象进行行为监测。
本发明提供的基于人脸与人体识别的找人系统,包括:数据判断单元、模式选择单元以及人体识别单元,人体识别单元还包括人脸获取模块和行为检测模块,通过清晰度判断进行识别模式的选择,提供了两种识别模式,从而为识别模式提供了可选项,并有效提高识别性能;通过人体识别模式进行检测后跟踪,避免了因为人脸看不清导致无法通过人脸识别实现对目标人物的人脸的检测与跟踪,从而解决了以现有的监控摄像机网络就能实现找人,在硬件不变的情况下,也能提高平安城市的安全性,节省了改造成本;通过人体识别实现身份认证以及行为监控,即使监控数据中有部分不清晰的人脸,通过人体识别也能跟踪到关键的行为信息,从而降低了身份认证、监控失败的概率,提高了事后追溯能力。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于人脸与人体识别的找人方法的流程示意图;
图2为本发明一优选实施例提供的基于人脸与人体识别的找人方法的流程示意图;
图3为本发明一优选实施例提供的基于人脸与人体识别的找人方法的流程示意图;
图4为本发明一优选实施例提供的基于人脸与人体识别的找人方法的流程示意图;
图5为本发明一优选实施例提供的基于人脸与人体识别的找人方法的流程示意图;
图6为本发明一优选实施例提供的基于人脸与人体识别的找人方法的流程示意图;
图7为本发明一优选实施例提供的基于人脸与人体识别的找人方法的流程示意图;
图8为本发明一优选实施例提供的基于人脸与人体识别的找人方法的流程示意图;
图9为本发明实施例提供的基于人脸与人体识别的找人方法的结构示意图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案,下面将结合附图对本发明作进一步的详细介绍。
如图1-8所示,本发明实施例提供的一种基于人脸与人体识别的找人方法,包括以下步骤:
S101、获取监控数据,并对其进行清晰度判断;
监控数据由拼接而成的一段或者多段视频数据组成,视频数据的格式为VCD、WMV、AVI等,具体的格式由视频采集装置而定;得到的监控数据按照步骤分别进行人脸清晰度判断和人体清晰度判断。
在S101步骤中,所述监控数据的获取包括以下步骤:
S201、通过平安城市内的摄像网络进行图像采集,获得多段监控视频;
S202、将多段所述监控视频进行拼接,得到所述监控数据。
摄像网络是指由城市内各个角落、街道的摄像机组成的集合;拼接是指将分散的多段视频进行结合;摄像网络采集到的多段监控视频将被汇聚至同一个服务器,可以按照不同的地区存入不同的数据库,也可以对相同时间段的监控视频进行拼接,并按照不同时间段存入不同的数据库;优选为拼接,因为对某个目标对象进行寻找、追踪时,往往活动范围会比较广,仅在某个区域内进行寻找、追踪局限性太大,很容易出现漏监测的情况。时间段可以按照小时划分,如以三小时为一个时间段,从0点-3点起算;也可以按照人员的活跃程度划分,如上午6点-8点50为上班行走高峰期划为一个时间段,8点50开始到中午12点为工作时间划为一个时间段等;优选为按照活跃程度划分,因为上下班高峰期以及深夜为事故高发时段,因此该时间段虽然短,但是监控数据中的人为活动频度会比较高,在进行行为监控时可以优先进行寻找、追踪,从而在排除偶然事件的前提下,节省了事后追查的时间,提高了追查效率。
在S101步骤中,进行清晰度判断包括以下步骤:
S301、对所述监控数据进行人脸清晰度判断,若符合设定的第一清晰度阈值,则选择人脸识别模式;
S302、若不符合设定的第一清晰度阈值,则进行人体清晰度判断,若符合设定的第二清晰度阈值,则选择人体识别模式。
清晰度是指监控视频各细部影纹及其边界的清晰程度;人脸清晰度若适用标准以国家标准GB/T 31488-2015安全防范视频监控人脸识别系统技术要求,则为不清晰,反之判断为清晰。第一清晰度阈值是指按照人脸清晰标准而设定的数值。同上,人体清晰度若符合标准,则为清晰,否则为不清晰;一般摄像机对人体的拍摄均在标准之内,因此通过人体识别进行行为监测适用性更强,在人脸清晰度不达标时,可采用人体识别。第二清晰度阈值是指按照人体清晰标准而设定的数值。
S102、根据清晰度判断结果选择识别模式,并通过选择的模式在所述监控数据中对所述目标对象进行检测后跟踪;
清晰度判断结果是指人脸/人体清晰度是否符合标准,若人脸清晰度符合标准就不需要再进行人体清晰度的判断,直接通过人脸识别模式在所述监控数据中对所述目标对象进行检测后跟踪;若人脸清晰度不符合标准,则再进行人体清晰度的判断,符合标准就通过人体识别模式在所述监控数据中对所述目标对象进行检测后跟踪;目标对象是指需要寻找和追踪的嫌疑人员、走失人员或者其他人员,当处于人脸识别模式时,目标对象为输入的人脸图片;当处于人体识别模式时,目标对象为输入的人体图片(包括人脸和身体);检测是指根据上述的人体图片或人脸图片在监控数据中检测到与其最接近的某一帧图像,并确定人脸位置;跟踪是指对检测到的某一帧图像的下一帧图像进行预测,并确定相应的人脸位置。检测、跟踪后得到的是包含人脸或人体的图像,且上述人脸或人体图像都是和目标对象相关联的,其他数据诸如其他人脸图像、其他人体图像、环境、场景等数据全被筛选出来并删除。检测、跟踪所使用的分类器可以为决策树、逻辑回归、朴素贝叶斯以及卷积神经网络等,通过对分类器进行训练,使其具有基于单幅输入图片的人脸或人体检测的功能,以及具有对检测到的人脸或人体进行追踪的功能,从而当有单幅图片输入时,分类器可在监控数据中进行人脸或人体的预测,最终达到监测目标对象行为的目的,大大提高了事后追溯的能力,使失散人员、犯罪人员能被迅速找到。
在步骤S102中,对目标对象进行检测后跟踪包括以下步骤:
S701、对人脸检测器进行训练,并通过训练得到人脸模型,在所述监控数据中进行目标对象的检测,获得检测框;
S702、提取所述检测框的人脸特征点,并据其进行相似度计算,获得所述特征数据。
具体的,人脸检测检测器基于通用的Faster R-CNN方法,使用类ZF的网络结构在ImageNet上进行预训练,并使用实际监控场景视频数据进行微调(fine-tune),得到人脸模型。采用该人脸模型,实现对人脸目标的检测,得到检测框。在检测之后,对检测框使用跟踪性能较好的KCF方法进行跟踪。KCF是一种”基于检测的跟踪方法“(Tracking byDetection),以跟踪单目标引入,因为每个目标处理跟踪过程是独立不相关的,因而可以将KCF扩展到对多个目标进行跟踪上,这样在检测帧之后每个检测到的目标都会有对应的跟踪器进行分别跟踪,并各自得到一个小段的跟踪轨迹(tracklets)。
检测框的人脸特征点能够反应出两两检测框之间的相似性程度,具体是如果两次检测框为同一个对象,则两者之间的人脸特征相似度大,反之不同的对象之间人脸特征相似度小。在跟踪过程中,将所有检测框放缩到64*64的大小并输入到深度神经网络中提取检测框对应的人脸特征点,提取的特征向量使用余弦距离来衡量两个检测框间相似度大小,将相似度在一定范围内的均归为某一目标对象的轨迹。
多目标跟踪的重要过程,其目的是决定如何将检测到的目标准确划分到对应的轨迹中,从而得到被跟踪对象完整的运动轨迹。为了能够满足对实时性要求高的应用场景如视频监控中,采用的数据关联方法基于Huang等提出的分层次的跟踪框架,并进行了扩展。考虑到在实际跟踪过程中通常存在的漏检后跟踪对象易丢失、跟踪目标被遮挡后跟踪轨迹不连续和使用KCF跟踪方法在出现干扰时(常见的情况为目标被部分遮挡或者全部被遮挡)时跟踪易漂移(drift)问题,结合分层次的跟踪框架设计使用分阶段、多状态的数据关联方法。
S103、若选择的模式是人体识别时,从检测后跟踪获得的特征数据中截取得到目标样本,并在所述目标样本中进行人脸质量的比对,获得人脸照片;
进一步的,若选择的模式是人脸识别时,所述目标对象为对应的人脸图片;根据所述对应的人脸图片在人脸数据库中确定其相应的身份信息,并根据所述特征数据对所述目标对象进行行为监测。当经过判断,监控数据中的人脸清晰度达到了标准,则直接将检测时输入的目标对象对应的人脸图片和人脸数据库中的图片进行比对,搜寻到相似度最高的数据库中的人脸图片,并通过其关联出目标对象的身份信息。根据身份信息,可以通过亲属查访、朋友查访、同事查访等方式确定目标对象的去处;也可以通过对手机的追踪、智能穿戴设备的追踪等方式确定目标对象的去处。从而提升了找人的能力,进而提升了公安部门的侦破能力。
具体的,特征数据是指仅包含目标对象的人体特征的图像(处于人体识别的模式下),提取人体特征点,按照检测获得的人体矩形框从中截取部分人体图片作为样本(即目标样本),再对目标样本按照质量进行比对,得到一人脸照片;质量是指截取人体图片中的人脸,判断其是否为正脸,当为正脸时,质量打分为100分,将质量分数比对后得到分数最高的图片即为人脸照片。
在S103步骤中,所述目标样本的获取包括以下步骤:
S401、按周期对所述特征数据进行抓拍,并从抓拍后得到的图片中截取人体图片;
S402、将所述人体图片汇集成所述目标样本。
特征数据为大量的与目标对象相关联的图像,而全部抓拍会影响身份识别和追踪的速度,因此按照设定的周期每隔一段时间对特征数据进行一次抓拍,并且按照人体特征点截取人体图片,直至达到设定的样本中的图片的张数时停止抓拍;把抓拍得到的所有图片汇集并存储于一个数据库中。
在S103步骤中,人脸照片的获得包括以下步骤:
S501、通过深度学习算法提取所述目标样本中人体图片的人脸特征点,并据其对所述人体图片中的人脸进行质量打分;
S502、将人脸质量进行比对,选取人脸质量分数最高的人体图片,并从中截取获得所述人脸照片。
人体图片是指包含人脸和身体的图片;提取目标样本中的人脸特征点并且确定其位置(人脸框),再判断上述位置中的人脸与正脸的相似度,据其得到质量分数;选择分数最高的,并根据人脸框截取出人体图片中的人脸,得到人脸照片。通过人脸照片可以确定目标对象的身份,从而便于追查。
S104、根据所述人脸照片在人脸数据库中确定其对应的身份信息,并根据所述特征数据对所述目标对象进行行为监测。
身份信息包括但不限于,姓名、身份证、居住地址以及祖籍等;在线索中断时,通过身份信息可以进行访问查询,重新收获线索。行为监测是指对目标对象的日常行为进行监测,行为包括但不限于,目标对象的运动路径、目标对象的动作等。通过特征数据可以在平安城市的监控范围内了解到目标对象的行为,从而可以收集犯罪证据或者根据路径找到失踪人员;由于特征数据是通过输入的人体图片跟踪而来,因此避免了人脸检测、跟踪会出现的无法跟踪到关键行为信息的情况,使找人的精确性和参照性大幅提高。
在S104步骤中,身份信息的获得包括以下步骤:
S601、通过所述人脸照片与所述人脸数据库中的人脸进行比对,从中搜索得到一相似度最高的人脸;
S602、根据搜索得到的人脸在所述人脸数据库中关联得到相应的身份信息。
人脸数据库中录入有人脸信息以及与其对应的身份信息,将人脸照片和人脸数据库中的人脸信息一一进行比对,直至获得相似度最高的人脸信息,并通过其关联到相应的身份信息,从而确认目标对象的身份。
在S601中,搜索得到一相似度最高的人脸包括以下步骤:
S801、对所述人脸照片进行人脸特征点提取;
S802、根据提取的人脸特征点与人脸数据库中的人脸特征点进行相似度计算,得到一相似度最高的人脸。
比对的形式为提取人脸特征点,并计算人脸照片和人脸数据库中人脸信息的的相似度,再关联该相似度最高的人脸的身份信息。
本发明提供的基于人脸与人体识别的找人方法,通过清晰度判断进行识别模式的选择,提供了两种识别模式,从而为识别模式提供了可选项,并有效提高识别性能;通过人体识别模式进行检测后跟踪,避免了因为人脸看不清导致无法通过人脸识别实现对目标人物的人脸的检测与跟踪,从而解决了以现有的监控摄像机网络就能实现找人,在硬件不变的情况下,也能提高平安城市的安全性,节省了改造成本;通过人体识别实现身份认证以及行为监控,即使监控数据中有部分不清晰的人脸,通过人体识别也能跟踪到关键的行为信息,从而降低了身份认证、监控失败的概率,提高了事后追溯能力。
如图8所示,本发明实施例还提供一种基于人脸与人体识别的找人系统,包括:数据判断单元,用以获取监控数据,并对其进行清晰度判断;模式选择单元,用以根据清晰度判断结果选择识别模式,并通过选择的模式在所述监控数据中对目标对象进行检测后跟踪;人体识别单元,用以进行人体识别,人脸获取模块,用以从检测后跟踪获得的特征数据中截取得到目标样本,并在所述目标样本中进行人脸质量的比对,获得人脸照片;行为检测模块,用以根据所述人脸照片在人脸数据库中确定其对应的身份信息,并根据所述特征数据对所述目标对象进行行为监测。
本发明提供的基于人脸与人体识别的找人系统,包括:数据判断单元、模式选择单元以及人体识别单元,人体识别单元还包括人脸获取模块和行为检测模块,通过清晰度判断进行识别模式的选择,提供了两种识别模式,从而为识别模式提供了可选项,并有效提高识别性能;通过人体识别模式进行检测后跟踪,避免了因为人脸看不清导致无法通过人脸识别实现对目标人物的人脸的检测与跟踪,从而解决了以现有的监控摄像机网络就能实现找人,在硬件不变的情况下,也能提高平安城市的安全性,节省了改造成本;通过人体识别实现身份认证以及行为监控,即使监控数据中有部分不清晰的人脸,通过人体识别也能跟踪到关键的行为信息,从而降低了身份认证、监控失败的概率,提高了事后追溯能力。
以上只通过说明的方式描述了本发明的某些示范性实施例,毋庸置疑,对于本领域的普通技术人员,在不偏离本发明的精神和范围的情况下,可以用各种不同的方式对所描述的实施例进行修正。因此,上述附图和描述在本质上是说明性的,不应理解为对本发明权利要求保护范围的限制。

Claims (10)

1.一种基于人脸与人体识别的找人方法,其特征在于,包括以下步骤:
获取监控数据,并对其进行清晰度判断;
根据清晰度判断结果选择识别模式,并通过选择的模式在所述监控数据中对目标对象进行检测后跟踪;
若选择的模式是人体识别时,
从检测后跟踪获得的特征数据中截取得到目标样本,并在所述目标样本中进行人脸质量的比对,获得人脸照片;
根据所述人脸照片在人脸数据库中确定其对应的身份信息,并根据所述特征数据对所述目标对象进行行为监测。
2.根据权利要求1所述的基于人脸与人体识别的找人方法,其特征在于,所述监控数据的获取包括以下步骤:
通过平安城市内的摄像网络进行图像采集,获得多段监控视频;
将多段所述监控视频进行拼接,得到所述监控数据。
3.根据权利要求1所述的基于人脸与人体识别的找人方法,其特征在于,进行清晰度判断包括以下步骤:
对所述监控数据进行人脸清晰度判断,若符合设定的第一清晰度阈值,则选择人脸识别模式;
若不符合设定的第一清晰度阈值,则进行人体清晰度判断,若符合设定的第二清晰度阈值,则选择人体识别模式。
4.根据权利要求1所述的基于人脸与人体识别的找人方法,其特征在于,若选择的模式是人脸识别时,所述目标对象为对应的人脸图片;
根据所述对应的人脸图片在人脸数据库中确定其相应的身份信息,并根据所述特征数据对所述目标对象进行行为监测。
5.根据权利要求1所述的基于人脸与人体识别的找人方法,其特征在于,所述目标样本的获取包括以下步骤:
按周期对所述特征数据进行抓拍,并从抓拍后得到的图片中截取人体图片;
将所述人体图片汇集成所述目标样本。
6.根据权利要求1所述的基于人脸与人体识别的找人方法,其特征在于,人脸照片的获得包括以下步骤:
通过深度学习算法提取所述目标样本中人体图片的人脸特征点,并据其对所述人体图片中的人脸进行质量打分;
将人脸质量进行比对,选取人脸质量分数最高的人体图片,并从中截取获得所述人脸照片。
7.根据权利要求1所述的基于人脸与人体识别的找人方法,其特征在于,身份信息的获得包括以下步骤:
通过所述人脸照片与所述人脸数据库中的人脸进行比对,从中搜索得到一相似度最高的人脸;
根据搜索得到的人脸在所述人脸数据库中关联得到相应的身份信息。
8.根据权利要求7所述的基于人脸与人体识别的找人方法,其特征在于,搜索得到一相似度最高的人脸包括以下步骤:
对所述人脸照片进行人脸特征点提取;
根据提取的人脸特征点与人脸数据库中的人脸特征点进行相似度计算,得到一相似度最高的人脸。
9.根据权利要求1所述的基于人脸与人体识别的找人方法,其特征在于,对目标对象进行检测后跟踪包括以下步骤:
对人脸检测器进行训练,并通过训练得到人脸模型,在所述监控数据中进行目标对象的检测,获得检测框;
提取所述检测框的人脸特征点,并据其进行相似度计算,获得所述特征数据。
10.一种基于人脸与人体识别的找人系统,其特征在于,包括:
数据判断单元,用以获取监控数据,并对其进行清晰度判断;
模式选择单元,用以根据清晰度判断结果选择识别模式,并通过选择的模式在所述监控数据中对目标对象进行检测后跟踪;
人体识别单元,用以进行人体识别;
所述人体识别单元包括人脸获取模块和行为检测模块;
人脸获取模块,用以从检测后跟踪获得的特征数据中截取得到目标样本,并在所述目标样本中进行人脸质量的比对,获得人脸照片;
行为检测模块,用以根据所述人脸照片在人脸数据库中确定其对应的身份信息,并根据所述特征数据对所述目标对象进行行为监测。
CN201710375492.6A 2017-05-24 2017-05-24 一种基于人脸与人体识别的找人方法及系统 Expired - Fee Related CN107292240B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710375492.6A CN107292240B (zh) 2017-05-24 2017-05-24 一种基于人脸与人体识别的找人方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710375492.6A CN107292240B (zh) 2017-05-24 2017-05-24 一种基于人脸与人体识别的找人方法及系统

Publications (2)

Publication Number Publication Date
CN107292240A true CN107292240A (zh) 2017-10-24
CN107292240B CN107292240B (zh) 2020-09-18

Family

ID=60095116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710375492.6A Expired - Fee Related CN107292240B (zh) 2017-05-24 2017-05-24 一种基于人脸与人体识别的找人方法及系统

Country Status (1)

Country Link
CN (1) CN107292240B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977639A (zh) * 2017-12-11 2018-05-01 浙江捷尚视觉科技股份有限公司 一种人脸清晰度判断方法
CN108228742A (zh) * 2017-12-15 2018-06-29 深圳市商汤科技有限公司 人脸查重方法和装置、电子设备、介质、程序
CN108271069A (zh) * 2017-12-11 2018-07-10 北京奇艺世纪科技有限公司 一种视频节目的片段过滤方法和装置
CN108445881A (zh) * 2018-03-16 2018-08-24 上海乐愚智能科技有限公司 一种机器人的找人方法和机器人
CN108764047A (zh) * 2018-04-27 2018-11-06 深圳市商汤科技有限公司 群体情绪行为分析方法和装置、电子设备、介质、产品
CN108875507A (zh) * 2017-11-22 2018-11-23 北京旷视科技有限公司 行人跟踪方法、设备、系统和计算机可读存储介质
CN108960216A (zh) * 2018-09-21 2018-12-07 浙江中正智能科技有限公司 一种动态人脸检测和识别方法
CN109145707A (zh) * 2018-06-20 2019-01-04 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN109241934A (zh) * 2018-09-21 2019-01-18 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109446364A (zh) * 2018-10-23 2019-03-08 北京旷视科技有限公司 抓拍检索方法、图像处理方法、装置、设备及存储介质
CN109446936A (zh) * 2018-10-12 2019-03-08 银河水滴科技(北京)有限公司 一种用于监控场景的身份识别方法及装置
CN109598223A (zh) * 2018-11-26 2019-04-09 北京洛必达科技有限公司 基于视频获取目标人物的方法和装置
CN110033293A (zh) * 2018-01-12 2019-07-19 阿里巴巴集团控股有限公司 获取用户信息的方法、装置及系统
CN110418076A (zh) * 2019-08-02 2019-11-05 新华智云科技有限公司 视频集锦生成方法、装置、电子设备及存储介质
CN110503022A (zh) * 2019-08-19 2019-11-26 北京积加科技有限公司 一种身份识别方法、装置及系统
CN110636259A (zh) * 2019-09-10 2019-12-31 杭州亿圣信息技术有限公司 一种基于视频检测的osd叠加方法
CN110705469A (zh) * 2019-09-30 2020-01-17 重庆紫光华山智安科技有限公司 一种人脸匹配方法、装置及服务器
CN110852219A (zh) * 2019-10-30 2020-02-28 广州海格星航信息科技有限公司 一种多行人跨摄像头在线跟踪系统
CN110969045A (zh) * 2018-09-28 2020-04-07 杭州海康威视数字技术股份有限公司 一种行为检测方法、装置、电子设备和存储介质
WO2020135127A1 (zh) * 2018-12-29 2020-07-02 深圳市商汤科技有限公司 一种行人识别方法及装置
CN111429476A (zh) * 2019-01-09 2020-07-17 杭州海康威视系统技术有限公司 确定目标人物行动轨迹的方法和装置
CN111611837A (zh) * 2019-02-23 2020-09-01 和硕联合科技股份有限公司 追踪系统及其方法
CN111611944A (zh) * 2020-05-22 2020-09-01 创新奇智(北京)科技有限公司 身份识别方法及装置、电子设备、存储介质
CN111680622A (zh) * 2020-06-05 2020-09-18 上海一由科技有限公司 一种基于托育环境的身份识别方法
CN112784680A (zh) * 2020-12-23 2021-05-11 中国人民大学 一种人流密集场所锁定密集接触者的方法和系统
CN113221832A (zh) * 2021-05-31 2021-08-06 常州纺织服装职业技术学院 基于三维人体数据的人体识别方法和系统
CN113536914A (zh) * 2021-06-09 2021-10-22 重庆中科云从科技有限公司 一种对象跟踪识别方法、系统、设备及介质
CN113792168A (zh) * 2021-08-11 2021-12-14 同盾科技有限公司 人脸底库自维护的方法、系统、电子装置和存储介质
CN113963428A (zh) * 2021-12-23 2022-01-21 北京的卢深视科技有限公司 模型训练方法、遮挡检测方法、系统、电子设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020067258A1 (en) * 2000-12-06 2002-06-06 Philips Electronics North America Corporation Method and apparatus to select the best video frame to transmit to a remote station for cctv based residential security monitoring
US20090175496A1 (en) * 2004-01-06 2009-07-09 Tetsujiro Kondo Image processing device and method, recording medium, and program
CN103093212A (zh) * 2013-01-28 2013-05-08 北京信息科技大学 基于人脸检测和跟踪截取人脸图像的方法和装置
CN104794458A (zh) * 2015-05-07 2015-07-22 北京丰华联合科技有限公司 一种从模糊视频中识别人员的方法
CN105488478A (zh) * 2015-12-02 2016-04-13 深圳市商汤科技有限公司 一种人脸识别系统和方法
CN105574506A (zh) * 2015-12-16 2016-05-11 深圳市商汤科技有限公司 基于深度学习和大规模集群的智能人脸追逃系统及方法
CN105893963A (zh) * 2016-03-31 2016-08-24 南京邮电大学 一种筛选视频中单个行人目标的最佳易识别帧的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020067258A1 (en) * 2000-12-06 2002-06-06 Philips Electronics North America Corporation Method and apparatus to select the best video frame to transmit to a remote station for cctv based residential security monitoring
US20090175496A1 (en) * 2004-01-06 2009-07-09 Tetsujiro Kondo Image processing device and method, recording medium, and program
CN103093212A (zh) * 2013-01-28 2013-05-08 北京信息科技大学 基于人脸检测和跟踪截取人脸图像的方法和装置
CN104794458A (zh) * 2015-05-07 2015-07-22 北京丰华联合科技有限公司 一种从模糊视频中识别人员的方法
CN105488478A (zh) * 2015-12-02 2016-04-13 深圳市商汤科技有限公司 一种人脸识别系统和方法
CN105574506A (zh) * 2015-12-16 2016-05-11 深圳市商汤科技有限公司 基于深度学习和大规模集群的智能人脸追逃系统及方法
CN105893963A (zh) * 2016-03-31 2016-08-24 南京邮电大学 一种筛选视频中单个行人目标的最佳易识别帧的方法

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875507B (zh) * 2017-11-22 2021-07-23 北京旷视科技有限公司 行人跟踪方法、设备、系统和计算机可读存储介质
CN108875507A (zh) * 2017-11-22 2018-11-23 北京旷视科技有限公司 行人跟踪方法、设备、系统和计算机可读存储介质
CN107977639A (zh) * 2017-12-11 2018-05-01 浙江捷尚视觉科技股份有限公司 一种人脸清晰度判断方法
CN108271069A (zh) * 2017-12-11 2018-07-10 北京奇艺世纪科技有限公司 一种视频节目的片段过滤方法和装置
CN107977639B (zh) * 2017-12-11 2020-07-10 浙江捷尚视觉科技股份有限公司 一种人脸清晰度判断方法
CN108228742A (zh) * 2017-12-15 2018-06-29 深圳市商汤科技有限公司 人脸查重方法和装置、电子设备、介质、程序
CN110033293A (zh) * 2018-01-12 2019-07-19 阿里巴巴集团控股有限公司 获取用户信息的方法、装置及系统
CN108445881A (zh) * 2018-03-16 2018-08-24 上海乐愚智能科技有限公司 一种机器人的找人方法和机器人
CN108764047A (zh) * 2018-04-27 2018-11-06 深圳市商汤科技有限公司 群体情绪行为分析方法和装置、电子设备、介质、产品
CN109145707A (zh) * 2018-06-20 2019-01-04 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN109145707B (zh) * 2018-06-20 2021-09-14 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN109241934A (zh) * 2018-09-21 2019-01-18 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN108960216A (zh) * 2018-09-21 2018-12-07 浙江中正智能科技有限公司 一种动态人脸检测和识别方法
CN110969045A (zh) * 2018-09-28 2020-04-07 杭州海康威视数字技术股份有限公司 一种行为检测方法、装置、电子设备和存储介质
CN109446936A (zh) * 2018-10-12 2019-03-08 银河水滴科技(北京)有限公司 一种用于监控场景的身份识别方法及装置
CN109446364A (zh) * 2018-10-23 2019-03-08 北京旷视科技有限公司 抓拍检索方法、图像处理方法、装置、设备及存储介质
CN109598223A (zh) * 2018-11-26 2019-04-09 北京洛必达科技有限公司 基于视频获取目标人物的方法和装置
WO2020135127A1 (zh) * 2018-12-29 2020-07-02 深圳市商汤科技有限公司 一种行人识别方法及装置
CN111429476A (zh) * 2019-01-09 2020-07-17 杭州海康威视系统技术有限公司 确定目标人物行动轨迹的方法和装置
CN111429476B (zh) * 2019-01-09 2023-10-20 杭州海康威视系统技术有限公司 确定目标人物行动轨迹的方法和装置
CN111611837A (zh) * 2019-02-23 2020-09-01 和硕联合科技股份有限公司 追踪系统及其方法
CN110418076A (zh) * 2019-08-02 2019-11-05 新华智云科技有限公司 视频集锦生成方法、装置、电子设备及存储介质
CN110503022A (zh) * 2019-08-19 2019-11-26 北京积加科技有限公司 一种身份识别方法、装置及系统
CN110636259A (zh) * 2019-09-10 2019-12-31 杭州亿圣信息技术有限公司 一种基于视频检测的osd叠加方法
CN110705469A (zh) * 2019-09-30 2020-01-17 重庆紫光华山智安科技有限公司 一种人脸匹配方法、装置及服务器
CN110852219B (zh) * 2019-10-30 2022-07-08 广州海格星航信息科技有限公司 一种多行人跨摄像头在线跟踪系统
CN110852219A (zh) * 2019-10-30 2020-02-28 广州海格星航信息科技有限公司 一种多行人跨摄像头在线跟踪系统
CN111611944A (zh) * 2020-05-22 2020-09-01 创新奇智(北京)科技有限公司 身份识别方法及装置、电子设备、存储介质
CN111680622A (zh) * 2020-06-05 2020-09-18 上海一由科技有限公司 一种基于托育环境的身份识别方法
CN111680622B (zh) * 2020-06-05 2023-08-01 上海一由科技有限公司 一种基于托育环境的身份识别方法
CN112784680A (zh) * 2020-12-23 2021-05-11 中国人民大学 一种人流密集场所锁定密集接触者的方法和系统
CN112784680B (zh) * 2020-12-23 2024-02-02 中国人民大学 一种人流密集场所锁定密集接触者的方法和系统
CN113221832B (zh) * 2021-05-31 2023-07-11 常州纺织服装职业技术学院 基于三维人体数据的人体识别方法和系统
CN113221832A (zh) * 2021-05-31 2021-08-06 常州纺织服装职业技术学院 基于三维人体数据的人体识别方法和系统
CN113536914A (zh) * 2021-06-09 2021-10-22 重庆中科云从科技有限公司 一种对象跟踪识别方法、系统、设备及介质
CN113792168A (zh) * 2021-08-11 2021-12-14 同盾科技有限公司 人脸底库自维护的方法、系统、电子装置和存储介质
CN113963428A (zh) * 2021-12-23 2022-01-21 北京的卢深视科技有限公司 模型训练方法、遮挡检测方法、系统、电子设备及介质

Also Published As

Publication number Publication date
CN107292240B (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN107292240A (zh) 一种基于人脸与人体识别的找人方法及系统
CN109711370B (zh) 一种基于wifi探测和人脸聚类的数据融合方法
CN110428522A (zh) 一种智慧新城的智能安防系统
CN108537922B (zh) 基于人脸识别的访客预警方法和系统
CN107392222B (zh) 一种人脸聚类方法、装置以及存储介质
CN105574506A (zh) 基于深度学习和大规模集群的智能人脸追逃系统及方法
Afra et al. Early warning system: From face recognition by surveillance cameras to social media analysis to detecting suspicious people
Zheng et al. Rpifield: A new dataset for temporally evaluating person re-identification
CN112183162A (zh) 一种监控场景下人脸自动注册识别系统及方法
US11256945B2 (en) Automatic extraction of attributes of an object within a set of digital images
Shahabi et al. Janus-multi source event detection and collection system for effective surveillance of criminal activity
Moorthy et al. CNN based smart surveillance system: a smart IoT application post covid-19 era
Singleton et al. Gun identification using tensorflow
CN111767880B (zh) 一种基于脸部特征的活体身份识别方法、装置和存储介质
Varghese et al. Video anomaly detection in confined areas
Zhang et al. A Multiple Instance Learning and Relevance Feedback Framework for Retrieving Abnormal Incidents in Surveillance Videos.
Aljaafreh et al. Edge deep learning and computer vision-based physical distance and face mask detection system using Jetson Xavior NX
Yu et al. Network security monitoring method based on deep learning
Xia et al. Recognition of suspicious behavior using case-based reasoning
Rashid et al. Unravel: An anomalistic crowd investigation framework using social airborne sensing
Koppikar et al. Face liveness detection to overcome spoofing attacks in face recognition system
Shenoy et al. An Intelligent Framework for Crime Prediction Using Behavioural Tracking and Motion Analysis
KU et al. Subduing Crime and Threat in Real-Time by Detecting Weapons Using Yolov8
CN113378005A (zh) 事件处理方法、装置、电子设备以及存储介质
Conci et al. An integrated framework for video surveillance in complex environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200918

Termination date: 20210524

CF01 Termination of patent right due to non-payment of annual fee