CN108596140A - 一种移动终端人脸识别方法及系统 - Google Patents

一种移动终端人脸识别方法及系统 Download PDF

Info

Publication number
CN108596140A
CN108596140A CN201810430983.0A CN201810430983A CN108596140A CN 108596140 A CN108596140 A CN 108596140A CN 201810430983 A CN201810430983 A CN 201810430983A CN 108596140 A CN108596140 A CN 108596140A
Authority
CN
China
Prior art keywords
image
video
face
video flowing
facial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810430983.0A
Other languages
English (en)
Inventor
林文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Mobile Communications Technology Co Ltd
Original Assignee
Hisense Mobile Communications Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Mobile Communications Technology Co Ltd filed Critical Hisense Mobile Communications Technology Co Ltd
Priority to CN201810430983.0A priority Critical patent/CN108596140A/zh
Publication of CN108596140A publication Critical patent/CN108596140A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种移动终端人脸识别方法及系统,该识别方法包括:启动视频流采集;在视频流的采集过程中,从视频流中截取多帧视频图像;从多帧视频图像中提取人脸图像区域;将人脸图像区域以图片形式发送给服务器进行人脸识别。本申请提供的移动终端人脸识别方法在移动终端采集到视频流后,在移动终端侧对视频流进行预处理,将视频流转换成仅包含人脸图像区域的人脸图片,相比于视频流,即使提高了人脸图片的清晰度,人脸图片的传输容量也大大减小,降低了传输带宽的占用,因此,提高了人脸图片的清晰度后,提高了人脸识别的准确率与成功率,同时图片传输带宽占用减小,保证了人脸识别的实时性。

Description

一种移动终端人脸识别方法及系统
技术领域
本申请涉及安防行业技术领域,尤其涉及一种移动终端人脸识别方法及系统。
背景技术
人脸识别技术是基于人的脸部特征,对输入的人脸图像或者视频流进行人脸特征提取与比对,从而确定每个人脸所对应的身份信息。在公安等安防行业的应用过程中,采用人脸识别技术的4G执法记录仪已经成为安防行业的一个重要应用。
目前移动警务系统在追查嫌疑人或嫌疑车辆的过程中,通过4G执法记录仪开启视频录制,将现场采集到的视频以视频流的形式实时传输至人脸识别服务器,人脸识别服务器对视频画面进行解析,提取得到视频画面中的人脸图像,然后将人脸图像与人脸图像库进行比对,当人脸图像与人脸图像库中某个已有人脸图像的相似度达到一定值时,人脸识别服务器会向4G执法记录仪发送预警信号,向执法人员进行报警。
但是,在实际环境中,由于视频的清晰度越高,那么人脸识别的准确率就会越高,如果视频流清晰度较低,那么会导致从视频流提取的视频图像清晰度不足或人脸特征不明显,造成人脸识别服务器在解析视频图像时,其与目标人脸图像库中的人脸图像相似度很低,甚至完全无法识别视频图像,从而影响人脸识别的准确率和成功率,造成嫌疑人或嫌疑车辆的逃脱。但是随着视频流清晰度的提高,会导致视频传输所占用的带宽增大,因此如何在保证人脸识别准确率的基础上,降低带宽的占用,就成为一个亟待解决的问题。
发明内容
本申请提供了一种移动终端人脸识别方法及系统,以解决目前移动终端采集人脸图像的清晰度影响人脸识别的准确率、成功率及传输带宽占用的技术问题。
为了解决上述技术问题,本申请实施例公开了如下技术方案:
第一方面,本申请实施例公开了一种移动终端人脸识别方法,所述方法包括:
启动视频流采集;
在所述视频流的采集过程中,从所述视频流中截取多帧视频图像;
从所述多帧视频图像中提取人脸图像区域;
将所述人脸图像区域以图片形式发送给服务器进行人脸识别。
第二方面,本申请实施例公开了一种移动终端人脸识别系统,包括:
采集模块,用于移动终端实时采集视频流;
截取模块,用于在所述视频流采集过程中,从所述视频流中截取多帧视频图像;
提取模块,用于从所述多帧视频图像中提取人脸图像区域;
发送模块,用于将所述人脸图像区域以图片形式发送至服务器进行人脸识别。
与现有技术相比,本申请的有益效果为:
本申请实施例提供了一种移动终端人脸识别方法及系统,该方法包括:启动视频流采集;在视频流的采集过程中,从视频流中截取多帧视频图像;从多帧视频图像中提取人脸图像区域;将人脸图像区域以图片形式发送给服务器进行人脸识别。本申请提供的移动终端人脸识别方法在移动终端采集视频流后,从视频流中截取多帧视频图像,检测视频图像中是否存在人脸图像,只保留存在人脸图像的视频图像,滤除不存在人脸图像的视频图像,并从存在人脸图像的视频图像中提取人脸图像区域,以图片形式将其发送给服务器进行人脸识别。该方法在移动终端采集到视频流后,在移动终端侧对视频流进行预处理,将视频流转换成仅包含人脸图像区域的人脸图片,相比于视频流,人脸图片的传输容量也大大减小,即使提高了人脸图片的清晰度,也能大大降低传输带宽的占用,因此,提高人脸图片的清晰度后,能够提高人脸识别的准确率与成功率,同时图片传输带宽占用减小,能够保证人脸识别的实时性。应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种移动终端人脸识别方法的流程图;
图2为本申请实施例提供的移动终端人脸识别方法中S200的一种详细流程图;
图3为本申请实施例提供的移动终端人脸识别方法中S200的另一种详细流程图;
图4为本申请实施例提供的移动终端人脸识别方法中S400的详细流程图;
图5为本申请实施例提供的一种移动终端人脸识别系统的结构示意图;
图6为本申请实施例提供的另一种移动终端人脸识别系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
人脸识别技术是基于人的脸部特征,对输入的人脸图像或者视频流进行人脸特征提取与比对,从而确定每个人脸多对应的身份信息。在公安等安防行业的应用过程中,采用人脸识别技术的4G执法记录仪已经成为安防行业的一个重要应用。
在实际的应用场景中,带有通信功能的4G执法记录仪应用到安防行业时,4G执法记录仪开启视频录制,将现场采集到的视频流传输到人脸识别服务器,人脸识别服务器对视频画面进行解析,提取得到视频画面中的人脸图像,然后将人脸图像与人脸图像库进行比对,当人脸图像与人脸图像库中某个已有人脸图像的相似度达到一定值时,人脸识别服务器会向4G执法记录仪发送预警信号,向执法人员进行报警。
4G执法记录仪采集的视频画面中人脸图像清晰度越高,那么人脸识别服务器识别人脸的准确率就会越高,如果视频画面清晰度较低,那么会导致从视频流提取的视频图像模糊或人脸特征不明显,造成人脸识别服务器在解析视频图像时,其与目标人脸图像库中的人脸图像相似度很低,甚至完全无法识别视频图像,从而影响人脸识别的准确率和成功率,造成嫌疑人或嫌疑车辆的的逃脱。而如果提高视频流的清晰度,又会增大视频流的传输带宽,当遇到网络质量不佳的情况时,可能导致4G执法记录仪传输的视频流卡顿或者由马赛克的现象,如果先将视频保存到本地,等网络状态良好时再传输给服务器的话,又会影响实时性,不利于执法人员及时识别或逮捕涉案人员,因此如何在保证人脸识别准确率的基础上,降低带宽的占用,就成为一个亟待解决的问题。
为了解决上述问题,本申请实施例提供了一种移动终端人脸识别方法,该识别方法在移动终端这一端对4G执法记录仪采集的视频流进行预处理,截取视频流中的多帧视频图像,从视频图像中提取人脸图像区域,将人脸图像区域以图片形式发送给服务器进行人脸识别,如此可将传输容量较大的视频流改为传输容量较小的图片文件,提高现场人脸的上报效率,降低传输带宽的占用。
参见图1,为本申请实施例提供的一种移动终端人脸识别方法的流程图。
如图1所示,本申请实施例提供的移动终端人脸识别方法包括:
S100:启动视频流采集。
执法人员手持移动终端(4G执法记录仪),当需要对行人或车辆进行抓取时,开启4G执法记录仪,通过4G执法记录仪中控制摄像头的驱动程序开启摄像头,以便实时采集现场视频。
S200:在视频流的采集过程中,从视频流中截取多帧视频图像。
4G执法记录仪在视频流的采集过程中,4G执法记录仪从采集到的视频流中截取多帧视频图像,即在移动终端这一端对视频图像进行分析处理,只将存在人脸图像的视频图像传输至人脸识别服务器,减小视频传输的容量。
如图2所示,可根据截取的视频图像中是否存在人脸图像来调整移动终端采集视频流的频率,具体如下:
S201:按照第一采集频率从视频流中截取视频图像。
4G执法记录仪在采集视频流时,预设设定一个第一采集频率,如1秒采集20帧画面,4G执法记录仪按照设定的第一采集频率采集视频流,然后从采集到的视频流中截取多帧视频图像。
S202:检测视频图像中是否存在人脸图像。
从视频流中截取到多帧视频图像后,4G执法记录仪检测视频图像中是否存在人脸图像。检测视频图像中是否存在人脸图像的方法为:①对截取的多帧视频图像进行预处理,图像预处理包括对每帧图像进行噪声过滤、灰度变换、灰度校正等处理,使得预处理后的图像减小随机干扰,有利于后续对视频图像的处理过程;②采用帧差法提取视频图像中的运动目标,帧差法为常用的运动目标检测方法,通过将相邻两帧视频图像的对应像素值相减得到差分图像,对差分图像基于预设阈值进行二值化,规定二值化后像素为255的为背景,像素为0的为前景,故而提取视频图像中的运动目标,即二值化后的前景区域;③检测该运动目标是否为人脸图像,确定运动目标区域后,在该目标区域进行人脸检测,具体采用预先训练的adaboost分类器作为人脸检测器进行人脸检测,对每一帧视频图像进行检测,在检测过程中,对待检测的每帧图像的目标区域按照固定步长进行缩放,从而使得人脸检测器可以检测到帧图像中不同大小的人脸图像。
本申请实施例采用的人脸检测方法不仅限于adaboost人脸检测算法,如基于Gabor+BP神经网络的人脸检测算法、基于Hog+SVM的人脸检测算法等,其均属于本申请实施例的保护范围。
如果检测到视频图像中存在人脸图像,则执行步骤S203;如果检测到视频图像中不存在人脸图像,则执行步骤S204。
S203:如果视频图像中存在人脸图像,则按照第二采集频率从视频流中截取视频图像,其中第二采集频率高于第一采集频率。
如果检测到视频图像中存在人脸图像,则控制4G执法记录仪设定第二采集频率,其中第二采集频率高于第一采集频率,如第一采集频率为1秒采集20帧画面,则第二采集频率可为1秒采集30帧画面,4G执法记录仪按照再设定的第二采集频率采集视频流。提高采集频率,可以增加存在人脸图像附近的视频图像数量,获取更多的人脸图像,防止漏掉清晰度更高的图像,以提高识别成功率。
S204:如果视频图像中不存在人脸图像,则按照第一采集频率从视频流中截取视频图像。
如果视频图像中不存在人脸图像,则控制4G执法记录仪仍然按照第一采集频率采集视频流,从采集的视频流中截取多帧视频图像,对截取的多帧视频图像进行人脸检测,根据检测结果执行相应操作。
本申请实施例可以根据视频流的采集频率来定时截取不同采集频率的视频图像外,也可以改变视频截取周期,具体方法如图3所示。
S205:按照第一截取周期从视频流中截取视频图像。
4G执法记录仪按照一定采集频率采集视频流后,预先设定一个第一截取周期,如1秒截取5帧视频图像,4G执法记录仪按照设定的第一截取周期从视频流中截取多帧视频图像。
S206:检测视频图像中是否存在人脸图像。
从视频流截取多帧视频图像后,4G执法记录仪基于adaboost人脸检测算法、基于Gabor+BP神经网络的人脸检测算法或基于Hog+SVM的人脸检测算法等检测视频图像中是否存在人脸图像,如果视频图像中存在人脸图像,则执行步骤S207;如果视频图像中不存在人脸图像,则执行步骤S208。
S207:如果视频图像中存在人脸图像,则按照第二截取周期从视频流中截取视频图像,其中第二截取周期小于第一截取周期。
如果视频图像中存在人脸图像,则4G执法记录仪设定第二截取周期,其中第二截取周期小于第一截取周期,如第一截取周期为1秒截取5帧视频图像,则第二截取周期可为0.2秒截取5帧视频图像,4G执法记录仪按照再设定的第二截取周期从视频流中截取多帧视频图像。提高截取周期,可以增加截取的视频图像帧数,从而增加含有人脸图像的视频图像的帧数,防止漏掉含有人脸图像的视频图像,增加的视频图像可能含有较清晰的人脸特征,如此可提高人脸识别的准确率与成功率。
S208:如果视频图像中存在人脸图像,则按照第一截取周期从视频流中截取视频图像。
如果视频图像中不存在人脸图像,则控制4G执法记录仪仍然按照第一截取周期从视频流中截取多帧视频图像,然后继续检测视频图像中是否存在人脸图像,根据检测结果执行相应操作。
本申请实施例从视频流中获取多帧视频图像的方法不仅限于提高视频流的采集频率、减小视频图像的截取周期,也可以是其他方法,只要能够增加含有人脸图像的视频图像的帧数即可,其均属于本申请实施例的保护范围。
S300:从多帧视频图像中提取人脸图像区域。
当截取的视频图像中存在人脸图像时,则从截取的多帧视频图像中提取人脸图像区域,以便于后续识别。检测视频图像中的人脸图像时,采用帧差法等提取视频图像中的运动目标,而在实际应用场景中的运动目标可能是动物等,或者外界环境干扰引起的噪声,比如光照突然变亮,或者固定背景中加入了新物体被误认为时当前运动目标等,所以排除非人区域非常必要。具体做法可为:首先搜索各个目标区域,通过区域标号确定其外接矩形;然后分析各外接矩形的几何特点,如矩形中包含的像素个数、矩形的长宽比等,根据经验值将不符合条件的区域排除;对候选的人体目标区域进行分割,得到候选头肩像二值区域;然后利用边界跟踪算法提取头肩像轮廓,并利用不变矩进行人形验证,若为人形则在原图提取其彩色头肩像。
从视频图像中提取人脸图像的方法也可以是:首先利用图像颜色信息来建立肤色模型,结合图像处理的基本知识准确定位人脸和进行人脸图像的预处理;然后对于处理后的人脸图像用K-L变换和神经网络的方法进行识别,得到人脸图像所在的区域,去除其余背景区域。
一帧视频图像中可能只存在一个人脸图像,也可能存在多个人脸图像,通过上述方法将每帧视频图像中的每个人脸图像区域提取出来,以便后续比对识别。
本申请实施例提取人脸图像区域的方法不仅限于上述方法,只要能够去除人脸图像区域之外的背景区域的方法都属于本申请实施例的保护范围。
S400:将人脸图像区域以图片形式发送给服务器进行人脸识别。
从多帧视频图像中提取出人脸图像区域后,生成仅包含人脸图像区域的人脸图片,即将人脸图像区域由视频形式转换成图片形式。得到人脸图片后,可将所有的人脸图片传输至人脸识别服务器,通过人脸识别服务器对人脸图片与人脸图像库中的图像进行比对,检测人脸图片是否与人脸图像库中某个人脸图像相似。如果4G执法记录仪获取的人脸图片与人脸图像库中的某个人脸图像相似度达到一定值,则人脸识别服务器向获取该图片的4G执法记录仪发送预警信息,提醒执法人员检测到嫌疑人。
4G执法记录仪生成仅包含人脸图像区域的人脸图片,在将人脸图片发送给服务器之前,4G执法记录仪可对人脸图片进行筛选,去掉部分相似的人脸图片,具体方法如图4所示。
S401:生成仅包含人脸图像区域的多帧人脸图片。
将提取出的人脸图像区域由视频形式转换成图片形式,可以大大减小传输容量。4G执法记录仪向人脸识别服务器传输小容量的人脸图片,降低了传输带宽占用,图片传输基本可不受网络质量的影响,可提高人脸识别的实时性。
S402:提取多帧人脸图片的图像边缘。
图像的边缘是待识别类型之间的接线,它是指图像中像素单元灰度有阶跃变化或屋顶状变化的那些像素单元的集合。边缘检测在图像分割、纹理特征提取、形状特征提取和图像识别等方面起着重要的作用。从本质上说,图像边缘是图像局部特性不连续性的反应,它标志着一个区域的终结和另一个区域的开始。边缘提取首先检出图像局部特性的不连续性,然后再将这些不连续的边缘像素连成完备的边界。
经典的边缘提取技术大都基于微分运算,首先通过平滑来滤除图像中的噪声,然后进行一阶微分或二阶微分运算,求得梯度最大值或二阶导数的过零点,最后选取适当的阈值来提取边缘。边缘提取算法可为Roberts边缘算子、Sobel边缘算子、Prewitt边缘算子等。
S403:检测所述人脸图片的图像边缘是否清晰。
图像的边界及细节部分不清晰时,图像就显得模糊,于是以图像的边缘是否清晰为依据,对图像的清晰度进行判断。清晰图像的边缘相对模糊图像具有较大的灰度变化率,即清晰图像能更快地从高灰度降到低灰度,可以图像边缘灰度变化率为依据来评价图像清晰度。
如果人脸图片的图像边缘清晰,则说明该人脸图片清晰度较高,执行步骤S404;如果人脸图片的图像边缘不清晰,则说明人脸图片模糊或存在拖影等,执行步骤S405。
S404:如果所述人脸图片的图像边缘清晰,则将所述人脸图片发送至所述服务器。
如果人脸图片提取到的图像边缘清晰,说明该帧人脸图片清晰较高,则将该帧人脸图片发送至服务器。服务器接收该帧人脸图片后,能够提取到较明显的人脸特征,较容易对该帧人脸图片与人脸图像库中的某个人脸图像进行比对识别,提高了人脸识别的准确率与成功率。
S405:如果所述人脸图片的图像边缘不清晰,则滤除所述人脸图片。
如果人脸图片提取出的图像边缘不清晰,说明该帧人脸图片清晰度较低,该帧人脸图片中可能存在拖影、运动模糊等,如果将模糊的人脸图片发送至服务器,会导致服务器对该帧人脸图片无法识别,增加服务器的工作量,因此将这样的人脸图片在移动终端侧滤出,可提高服务器识别效率。
本申请实施例除了采用图像边缘来检测人脸图片的清晰度,也可以采用其他方法,如图像灰度变化函数、图像灰度熵函数等,其均属于本申请实施例的保护范围。
4G执法记录仪(移动终端)在终端侧对采集的视频流进行预处理,得到仅包含人脸图像的人脸图片,将人脸图片传输至人脸识别服务器,人脸识别服务器将传输的人脸图片与目标人脸图像进行比对,计算图片对比的相似度,得到近似的目标人脸图像后,服务器保存人脸图片和该图片对应的终端位置信息,同时发出通知给用户,向执法人员发送报警信息。
本申请实施例中,服务器计算人脸图片与目标人脸图像的相似度时,可采用①直方图匹配算法,分别计算人脸图片与目标人脸图像的直方图,然后计算两个直方图的归一化相关系数(巴氏距离,直方图相交距离)等等;②数学上的矩阵分解算法,图像本身就是一个矩阵,可以依靠数学上矩阵分解的一些知识来获取矩阵中一些代表这个矩阵元素值和分布的一些鲁棒性特征来对图像的相似度进行计算,最常用的一般是SVD分解(SingularValue Decomposition,奇异值分解)和NMF分解(Nonnegative Matrix Factor,非负矩阵分解);③基于特征点的图像相似度计算,每一幅图像都有自己的特征点,这些特征点图像中比较重要的一些位置,比较类似函数的拐点那种,通过比较常用的有Harris角点和sift特征点,那么将得到的图像角点进行比较,如果相似的角点数目较多,那么可以认为这两幅图像的相似程度较高;等等方法。
本申请实施例提供的移动终端人脸识别方法包括启动视频流采集;在视频流的采集过程中,根据视频流的不同采集频率、不同截取周期或其他方法从视频流中截取多帧视频图像;检测多帧视频图像中是否存在人脸图像,当视频图像中存在人脸图像时,从视频图像中提取人脸图像区域;生成仅包含人脸图像区域的人脸图片,对人脸图片进行筛选或全部将其发送给服务器进行人脸识别。本申请实施例提供的移动终端人脸识别方法在移动终端采集到视频流后,对视频流进行预处理,得到只包含人脸图像的人脸图片,相比于视频流,人脸图片的传输容量大大降低,从而降低了传输带宽的占用,即使人脸图片的清晰度再高,也可及时将人脸图片传送至服务器进行人脸识别,保证了人脸识别的实时性。在实现人脸识别的实时性后,可极大的提高移动终端的分辨率,提高移动终端获取的人脸图片的清晰度,当人脸图片的清晰度提高后,人脸识别服务器解析得到人脸特征越明显,其与目标人脸图像库中的人脸图像比对结果更准确,极大地提高了人脸识别的准确率与成功率。
基于本申请实施例提供的移动终端人脸识别方法,本申请实施例还提供了一种移动终端人脸识别系统。
参见图5、图6,图5为本申请实施例提供的一种移动终端人脸识别系统,图6为本申请实施例提供的另一种移动终端人脸识别系统。
如图5所示,本申请实施例提供的一种移动终端人脸识别系统包括采集模块100、截取模块200、提取模块300与发送模块400,其中,
采集模块100,用于移动终端实时采集视频流。移动终端启动摄像头程序后,4G执法记录仪开始视频流的采集。
截取模块200,用于在视频流的采集过程中,从视频流中截取多帧视频图像。4G执法记录仪在采集视频流时,截取模块200截取多帧视频图像,对视频图像进行检测,检测视频图像中是否存在人脸图像,当视频图像中存在人脸图像时,改变采集模块100的采集频率。
基于截取的视频图像中可能存在人脸图像,也可能不存在人脸图像,采集模块100包括第一频率采集模块101与第二频率采集模块102,其中,
第一频率采集模块101,用于移动终端按照第一采集频率采集视频流。4G执法记录仪在采集视频流之前,设定第一采集频率,4G执法记录仪按照设定的第一采集频率采集视频流。当截取模块200截取的视频图像中不存在人脸图像时,采集模块100仍然通过第一频率采集模块101采集视频流。
第二频率采集模块102,用于截取的视频图像中存在人脸图像时,4G执法记录仪按照第二采集频率采集视频流,其中第二采集频率高于第一采集频率。当截取模块200截取的视频图像存在人脸图像时,4G执法记录仪通过第二频率采集模块102采集视频流。由于第二采集频率高于第一采集频率,通过第二频率采集模块102采集的视频图像增加,含有人脸图像的视频图像相应增加,可提高人脸识别的准确率。
提取模块300,用于从多帧视频图像中提取人脸图像区域。当截取视频图像中存在人脸图像时,提取模块300从视频图像中提取人脸图像区域,去掉其余背景区域。
发送模块400,用于将人脸图像区域以图片形式发送给服务器进行人脸识别。发送模块400包括生成模块401与传输模块403,其中,
生成模块401,用于生成仅包含人脸图像区域的多帧人脸图片。提取模块300提取到人脸图像区域后,生成模块401生成仅包含人脸图像区域的人脸图片。
传输模块403,用于将人脸图片传输至服务器。传输模块403将生成的人脸图片传输至服务器,通过服务器对人脸图片进行人脸身份识别。
发送模块400也可包括筛选模块402,用于根据人脸图片的图像边缘是否清晰筛选出清晰度较高的人脸图片。生成模块401生成的多帧人脸图片可能包含代表同一个人的人脸图片,通过筛选模块402对其进行图像边缘检测,检测每帧人脸图片的图像边缘是否清晰,如果人脸图片的图像边缘清晰,说明该帧人脸图片清晰度较高,将该帧人脸图片发送至服务器进行识别;如果人脸图片的图像边缘不清晰,说明该帧人脸图片的清晰度较低,服务器可能无法对该帧人脸图片进行识别,那就直接滤除该帧人脸图片,提高服务器的识别效率。
如图6所示,本申请实施例提供的另一种移动终端人脸识别系统包括采集模块100、截取模块200、提取模块300及发送模块400,其中,
截取模块200包括第一周期截取模块201与第二周期截取模块202,第二周期截取模块202的截取周期小于第一周期截取模块201的截取周期,其中,
第一周期截取模块201,用于按照第一截取周期从视频流中截取视频图像。采集模块100采集到视频流后,第一周期截取模块201按照第一截取周期从视频流中截取多帧视频图像,然后检测视频图像中是否存在人脸图像,如果视频图像中不存在人脸图像,则4G执法记录仪仍然通过第一周期截取模块201从视频流中截取视频图像。
第二周期截取模块202,用于截取的视频图像中存在人脸图像,按照第二截取周期从视频流中截取多帧视频图像。检测截取的视频图像中是否存在人脸图像,如果视频图像中存在人脸图像,则4G执法记录仪通过第二周期截取模块202从视频流中截取视频图像。由于第二截取周期小于第一截取周期,则截取模块200截取的视频图像增加,带有人脸图像的视频图像也相应增加,可提高人脸识别的准确率。
本实施例中的移动终端人脸识别系统其他结构与前一实施例的其他结构相同,此处不再赘述。
需要说明的是,本申请实施例提供的移动终端人脸识别系统中部分模块的具体描述可以参考方法实施例中的对应内容,本实施例这里不再详细赘述。
由于以上实施方式均是在其他方式之上引用结合进行说明,不同实施例之间均具有相同的部分,本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。
术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下,有语句“包括一个……”限定的要素,并不排除在包括所述要素的电路结构、物品或者设备中还存在另外的相同要素。
本领域技术人员在考虑说明书及实践这里发明的公开后,将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求的内容指出。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (10)

1.一种移动终端人脸识别方法,其特征在于,所述方法包括:
启动视频流采集;
在所述视频流的采集过程中,从所述视频流中截取多帧视频图像;
从所述多帧视频图像中提取人脸图像区域;
将所述人脸图像区域以图片形式发送给服务器进行人脸识别。
2.根据权利要求1所述的方法,其特征在于,从所述视频流中截取多帧视频图像,包括:
按照第一采集频率从所述视频流中截取视频图像;
检测所述视频图像中是否存在人脸图像;
如果所述视频图像中存在人脸图像,则按照第二采集频率从所述视频流中截取视频图像,其中所述第二采集频率高于所述第一采集频率;
如果所述视频图像中不存在人脸图像,则按照所述第一采集频率从所述视频流中截取视频图像。
3.根据权利要求1所述的方法,其特征在于,从所述视频流中截取多帧视频图像,包括:
按照第一截取周期从所述视频流中截取视频图像;
检测所述视频图像中是否存在人脸图像;
如果所述视频图像中存在人脸图像,则按照第二截取周期从所述视频流中截取视频图像,其中所述第二截取周期小于所述第一截取周期;
如果所述视频图像中不存在人脸图像,则按照所述第一截取周期从所述视频流中截取视频图像。
4.根据权利要求2或3所述的方法,其特征在于,从所述多帧视频图像中提取人脸图像区域,包括:
如果所述视频图像中存在人脸图像,则从所述多帧人脸图像中提取人脸图像区域。
5.根据权利要求1所述的方法,其特征在于,将所述人脸图像区域以图片形式发送给服务器进行人脸识别,包括:
生成仅包含所述人脸图像区域的多帧人脸图片;
将所述多帧人脸图片发送至所述服务器。
6.根据权利要求5所述的方法,其特征在于,将所述多帧人脸图片发送至所述服务器,包括:
提取所述多帧人脸图片的图像边缘;
检测所述人脸图片的图像边缘是否清晰;
如果所述人脸图片的图像边缘清晰,则将所述人脸图片发送至所述服务器;
如果所述人脸图片的图像边缘不清晰,则滤除所述人脸图片。
7.一种移动终端人脸识别系统,其特征在于,包括:
采集模块,用于移动终端实时采集视频流;
截取模块,用于在所述视频流采集过程中,从所述视频流中截取多帧视频图像;
提取模块,用于从所述多帧视频图像中提取人脸图像区域;
发送模块,用于将所述人脸图像区域以图片形式发送至服务器进行人脸识别。
8.根据权利要求7所述的系统,其特征在于,所述采集模块包括:
第一频率采集模块,用于所述移动终端按照第一采集频率采集视频流;
第二频率采集模块,用于截取的视频图像中存在人脸图像时,所述移动终端按照第二采集频率采集视频流,其中第二采集频率高于第一采集频率。
9.根据权利要求7所述的系统,其特征在于,所述截取模块包括:
第一周期截取模块,用于按照第一截取周期从所述视频流中截取视频图像;
第二周期截取模块,用于截取的视频图像中存在人脸图像,按照第二截取周期从所述视频流中截取视频图像,其中第二截取周期小于第一截取周期。
10.根据权利要求7所述的系统,其特征在于,所述发送模块包括:
生成模块,用于生成仅包含所述人脸图像区域的多帧人脸图片;
筛选模块,用于根据所述人脸图片的图像边缘是否清晰筛选人脸图片;
传输模块,用于将筛选出的人脸图片传输至所述服务器。
CN201810430983.0A 2018-05-08 2018-05-08 一种移动终端人脸识别方法及系统 Pending CN108596140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810430983.0A CN108596140A (zh) 2018-05-08 2018-05-08 一种移动终端人脸识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810430983.0A CN108596140A (zh) 2018-05-08 2018-05-08 一种移动终端人脸识别方法及系统

Publications (1)

Publication Number Publication Date
CN108596140A true CN108596140A (zh) 2018-09-28

Family

ID=63635764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810430983.0A Pending CN108596140A (zh) 2018-05-08 2018-05-08 一种移动终端人脸识别方法及系统

Country Status (1)

Country Link
CN (1) CN108596140A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409280A (zh) * 2018-10-22 2019-03-01 郑州云海信息技术有限公司 一种行车告警系统、方法、设备、平台及介质
CN109509194A (zh) * 2018-11-23 2019-03-22 上海师范大学 一种复杂背景下正面人体图像分割方法及装置
CN109766844A (zh) * 2019-01-14 2019-05-17 电子科技大学 一种基于胸针设备的移动终端身份鉴别与记忆方法
CN110046552A (zh) * 2019-03-21 2019-07-23 南京华捷艾米软件科技有限公司 保护用户视力的方法和保护用户视力的装置
CN110598648A (zh) * 2019-09-17 2019-12-20 江苏慧眼数据科技股份有限公司 视频人脸检测的方法、视频人脸检测单元和系统
CN110650306A (zh) * 2019-09-03 2020-01-03 平安科技(深圳)有限公司 视频聊天中添加表情的方法、装置、计算机设备及存储介质
CN110717463A (zh) * 2019-10-12 2020-01-21 深圳芯启航科技有限公司 一种非接触式生物识别方法及装置
CN111582006A (zh) * 2019-02-19 2020-08-25 杭州海康威视数字技术股份有限公司 一种视频分析方法及装置
CN111832439A (zh) * 2020-06-24 2020-10-27 广州市保伦电子有限公司 一种多人脸快速识别方法及处理终端
CN112347849A (zh) * 2020-09-29 2021-02-09 咪咕视讯科技有限公司 视频会议处理方法、电子设备及存储介质
CN112507786A (zh) * 2020-11-03 2021-03-16 浙江大华技术股份有限公司 人体多部位检测框关联方法、装置、电子装置和存储介质
CN112616036A (zh) * 2020-11-23 2021-04-06 中标慧安信息技术股份有限公司 一种智能视频监控系统
CN112653839A (zh) * 2020-12-17 2021-04-13 青岛以萨数据技术有限公司 一种基于安卓的外置相机图像采集识别方法及系统
CN113177881A (zh) * 2021-04-28 2021-07-27 广州光锥元信息科技有限公司 提升图片清晰度的处理方法及装置
CN113537090A (zh) * 2021-07-21 2021-10-22 南京奥拓电子科技有限公司 一种智能家居灯控方法、装置及存储介质
CN113837114A (zh) * 2021-09-27 2021-12-24 浙江力石科技股份有限公司 一种景区中人脸视频片段采集方法系统
CN115953823A (zh) * 2023-03-13 2023-04-11 成都运荔枝科技有限公司 一种基于大数据的人脸识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1404695A (zh) * 2000-12-06 2003-03-19 皇家菲利浦电子有限公司 选择最佳视频帧向一个远程站传送的用于基于cctv的住宅安全监控的方法和装置
CN105141922A (zh) * 2015-09-02 2015-12-09 广东美的制冷设备有限公司 基于空调的安防监控方法和空调器
CN106650589A (zh) * 2016-09-30 2017-05-10 北京旷视科技有限公司 实时人脸识别系统和方法
CN107423597A (zh) * 2017-03-23 2017-12-01 证通股份有限公司 实现视频见证的方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1404695A (zh) * 2000-12-06 2003-03-19 皇家菲利浦电子有限公司 选择最佳视频帧向一个远程站传送的用于基于cctv的住宅安全监控的方法和装置
CN105141922A (zh) * 2015-09-02 2015-12-09 广东美的制冷设备有限公司 基于空调的安防监控方法和空调器
CN106650589A (zh) * 2016-09-30 2017-05-10 北京旷视科技有限公司 实时人脸识别系统和方法
CN107423597A (zh) * 2017-03-23 2017-12-01 证通股份有限公司 实现视频见证的方法及设备

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409280A (zh) * 2018-10-22 2019-03-01 郑州云海信息技术有限公司 一种行车告警系统、方法、设备、平台及介质
CN109509194A (zh) * 2018-11-23 2019-03-22 上海师范大学 一种复杂背景下正面人体图像分割方法及装置
CN109509194B (zh) * 2018-11-23 2023-04-28 上海师范大学 一种复杂背景下正面人体图像分割方法及装置
CN109766844A (zh) * 2019-01-14 2019-05-17 电子科技大学 一种基于胸针设备的移动终端身份鉴别与记忆方法
CN111582006A (zh) * 2019-02-19 2020-08-25 杭州海康威视数字技术股份有限公司 一种视频分析方法及装置
CN110046552A (zh) * 2019-03-21 2019-07-23 南京华捷艾米软件科技有限公司 保护用户视力的方法和保护用户视力的装置
CN110650306B (zh) * 2019-09-03 2022-04-15 平安科技(深圳)有限公司 视频聊天中添加表情的方法、装置、计算机设备及存储介质
CN110650306A (zh) * 2019-09-03 2020-01-03 平安科技(深圳)有限公司 视频聊天中添加表情的方法、装置、计算机设备及存储介质
CN110598648A (zh) * 2019-09-17 2019-12-20 江苏慧眼数据科技股份有限公司 视频人脸检测的方法、视频人脸检测单元和系统
CN110598648B (zh) * 2019-09-17 2023-05-09 无锡慧眼人工智能科技有限公司 视频人脸检测的方法、视频人脸检测单元和系统
CN110717463A (zh) * 2019-10-12 2020-01-21 深圳芯启航科技有限公司 一种非接触式生物识别方法及装置
CN111832439B (zh) * 2020-06-24 2022-10-11 广州市保伦电子有限公司 一种多人脸快速识别方法及处理终端
CN111832439A (zh) * 2020-06-24 2020-10-27 广州市保伦电子有限公司 一种多人脸快速识别方法及处理终端
CN112347849A (zh) * 2020-09-29 2021-02-09 咪咕视讯科技有限公司 视频会议处理方法、电子设备及存储介质
CN112347849B (zh) * 2020-09-29 2024-03-26 咪咕视讯科技有限公司 视频会议处理方法、电子设备及存储介质
CN112507786B (zh) * 2020-11-03 2022-04-08 浙江大华技术股份有限公司 人体多部位检测框关联方法、装置、电子装置和存储介质
CN112507786A (zh) * 2020-11-03 2021-03-16 浙江大华技术股份有限公司 人体多部位检测框关联方法、装置、电子装置和存储介质
CN112616036A (zh) * 2020-11-23 2021-04-06 中标慧安信息技术股份有限公司 一种智能视频监控系统
CN112653839A (zh) * 2020-12-17 2021-04-13 青岛以萨数据技术有限公司 一种基于安卓的外置相机图像采集识别方法及系统
CN113177881A (zh) * 2021-04-28 2021-07-27 广州光锥元信息科技有限公司 提升图片清晰度的处理方法及装置
CN113177881B (zh) * 2021-04-28 2023-10-27 广州光锥元信息科技有限公司 提升图片清晰度的处理方法及装置
CN113537090A (zh) * 2021-07-21 2021-10-22 南京奥拓电子科技有限公司 一种智能家居灯控方法、装置及存储介质
CN113837114A (zh) * 2021-09-27 2021-12-24 浙江力石科技股份有限公司 一种景区中人脸视频片段采集方法系统
CN115953823A (zh) * 2023-03-13 2023-04-11 成都运荔枝科技有限公司 一种基于大数据的人脸识别方法

Similar Documents

Publication Publication Date Title
CN108596140A (zh) 一种移动终端人脸识别方法及系统
CN109918971B (zh) 监控视频中人数检测方法及装置
CN105359162B (zh) 用于图像中的与脸部有关的选择和处理的图像掩模
CN107358241B (zh) 图像处理方法、装置、存储介质及电子设备
KR101394242B1 (ko) 영상 감시 장치 및 영상 감시 방법
CN107909081B (zh) 一种深度学习中图像数据集的快速获取和快速标定方法
CN103942539B (zh) 一种人头部椭圆精确高效提取及遮蔽人脸检测方法
JPH09102043A (ja) 画像内の要素の位置検出
CN109359577B (zh) 一种基于机器学习的复杂背景下人数检测系统
CN112396011B (zh) 一种基于视频图像心率检测及活体检测的人脸识别系统
US11670069B2 (en) System and method for face spoofing attack detection
CN103634680A (zh) 一种智能电视的播放控制方法及装置
CN111079688A (zh) 一种人脸识别中的基于红外图像的活体检测的方法
CN110037667A (zh) 应用于工作站的基于人脸识别的人体生理参数监测方法
CN114885119A (zh) 一种基于计算机视觉的智能监控报警系统及方法
CN110222647B (zh) 一种基于卷积神经网络的人脸活体检测方法
CN115731493A (zh) 基于视频图像识别的降水微物理特征参量提取与分析方法
CN107301421A (zh) 车辆颜色的识别方法及装置
CN112907206B (zh) 一种基于视频对象识别的业务审核方法、装置及设备
Li et al. Two-layer average-to-peak ratio based saliency detection
CN106778631B (zh) 一种虹膜识别预处理过程中快速滤除伪造虹膜的异质虹膜分类器设计方法
CN116311212B (zh) 基于高速摄像机实现运动状态下的船号识别方法及装置
Tuba et al. Forest fires detection in digital images based on color features
CN115984973A (zh) 一种用于防偷窥屏幕的人体异常行为监测方法
CN114049732B (zh) 一种变电站视频监控方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180928

RJ01 Rejection of invention patent application after publication