CN108564028A - 一种基于嵌入式系统的多线程人脸识别系统 - Google Patents

一种基于嵌入式系统的多线程人脸识别系统 Download PDF

Info

Publication number
CN108564028A
CN108564028A CN201810322644.0A CN201810322644A CN108564028A CN 108564028 A CN108564028 A CN 108564028A CN 201810322644 A CN201810322644 A CN 201810322644A CN 108564028 A CN108564028 A CN 108564028A
Authority
CN
China
Prior art keywords
face
video frame
thread
buffering queue
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810322644.0A
Other languages
English (en)
Inventor
乐毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Open Intelligent Machine (shanghai) Co Ltd
Original Assignee
Open Intelligent Machine (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Open Intelligent Machine (shanghai) Co Ltd filed Critical Open Intelligent Machine (shanghai) Co Ltd
Priority to CN201810322644.0A priority Critical patent/CN108564028A/zh
Publication of CN108564028A publication Critical patent/CN108564028A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于嵌入式系统的多线程人脸识别系统,采用将视频图像显示与人脸识别分别在多个线程中处理,同时为了平滑人脸检测的显示体验,采用运动模型预测可能的人脸位置实现平滑人脸检测的显示体验,极大的增强的嵌入式平台中人脸识别系统的性能。

Description

一种基于嵌入式系统的多线程人脸识别系统
技术领域
本发明涉及人工智能领域,尤其涉及一种基于嵌入式系统的多线程人脸 识别系统。
背景技术
人脸识别技术涉及神经网络模型和深度学习(DL:Deep Learning)的人 工智能(AI:Artificial Intelligence)领域。深度学习网络由于通过组合底层 特征形成高层特征,受环境变化的影响较小,运用在人脸识别和图像分类等 方面具有超越了人类的识别准确度。然而,现有的高性能深度学习网络一般 都有几百万甚至上亿个参数,这使得它的计算需要消耗巨大,限制了其应用 于计算资源受限的设备,特别是前端的嵌入式产品的应用。由于对于安防人 脸识别门禁和运输行业存在较大的限制。
现有的基于深度学习技术的人脸识别算法在嵌入式环境中采用直接对每 帧进行人脸识别,由于人脸识别的计算量大,在嵌入式上耗时严重,会导致 严重的丢帧,视频卡顿和延时无法应用。对于人脸识别算法优化后,部分算 法能够勉强运行在嵌入式环境中,但用户体验非常差,存在帧率低,反应慢 的技术缺陷。
发明内容
针对现有技术中存在的上述问题,现提供一种基于嵌入式系统的多线程 人脸识别系统。
具体技术方案如下:
一种基于嵌入式系统的多线程人脸识别系统,包括:
摄像模块,用于对识别区域进行实时摄像以获取实时的视频帧;
第一线程单元,连接所述摄像模块和一显示模块,用于将所述视频帧发 送至所述显示模块中进行显示,并将所述视频帧发送至一第一缓冲队列中, 所述第一线程单元通过一独立的第一线程运行;
所述第一缓冲队列,连接所述第一线程单元,用于接收并存储所述视频 帧;
第二线程单元,连接所述第一缓冲队列,用于依次对所述第一缓冲队列 中的所述视频帧进行人脸检测,并对检测到存在人脸特征的视频帧进行裁剪 以获取面部图像,将所述面部图像发送至第二缓冲队列中,所述第二线程单 元通过一独立的第二线程运行;
所述第二缓冲队列,连接所述第二线程单元,用于接收并存储所述面部 图像;
第三线程单元,连接所述第二缓冲队列,用于依次对所述第二缓冲队列 中的所述面部图像进行基于邻近算法的人脸识别,并输出识别结果,所述第 三线程单元通过一独立的第三线程运行。
优选的,还包括第四线程单元,分别连接所述第一缓冲队列、所述第二 缓冲队列、所述第二线程单元,用于以预设的时间间隔进行平滑处理,所述 第四线程单元通过一独立的第四线程运行。
优选的,所述第四线程单元包括:
第一定位单元,用于获取所述第二线程单元当前执行的第一视频帧与所 述第一线程单元当前执行的第二视频帧,并识别获取所述第一视频帧中人脸 框的中心坐标以作为第一中心坐标,识别获取所述第二视频帧中人脸框的中 心坐标以作为第二中心坐标;
计算单元,连接所述定位单元,用于计算获取所述第一中心坐标和所述 第二中心坐标的距离差和方向角,并根据所述距离差及所述第一视频帧与所 述第二视频帧生成的时间差,计算获取人脸移速;
预测单元,连接所述计算单元,用于根据所述人脸移速、所述第二中心 坐标、所述方向角、所述视频帧的生成时间差计算第三视频帧的中人脸框的 预测中心坐标,所述第三视频帧为所述第二视频帧的下一生成的所述视频帧;
第二定位单元,用于获取所述第三视频帧,并识别获取所述第三视频帧 的人脸框的中心坐标以作为第三中心坐标;
处理单元,连接所述预测单元和所述第二定位单元,用于在所述第三中 心坐标与所述预测中心坐标一致时,将所述第一缓冲队列清空并存留所述第 三视频帧,将所述第二缓冲队列清空。
优选的,所述第二线程单元包括:
检测单元,用于依次对所述第一缓冲队列中的所述视频帧进行人脸检测, 获取存在人脸的所述视频帧;
分析单元,连接所述检测单元,用于对存在人脸的所述视频帧进行基于 人脸模型的比对分析,获取面部关键特征点;
裁剪单元,连接所述分析单元,用于根据所述面部关键特征点框选出所 述面部图像,并将所述面部图像发送至所述第二缓冲队列中。
优选的,所述第一线程单元还包括:
溢出判断单元,用于在所述视频帧发送至所述第一缓冲队列前,判断所 述第一缓冲队列是否溢出;若是,则并删除所述视频帧;若否,则执行将所 述视频帧发送至所述第一缓冲队列的操作。
优选的,所述的基于嵌入式系统的多线程人脸识别系统,还包括一数据 库,所述数据库中预存有多组人脸参数及对应的身份信息;
所述第三线程单元包括:
特征值获取单元,用于依次对所述第二缓冲队列中的面部图像进行计算 以获取所述面部图像的特征值;
相似度计算单元,连接所述特征值获取单元和所述数据库,用于采用临 近算法将所述特征值分别与每组所述人脸参数进行运算获取余弦相似度;
相似度判断单元,连接所述相似度计算单元,用于获取所述余弦相似度 最高的所述人脸参数及对应的身份信息以作为所述识别结果。
优选的,一种人脸识别设备,其特征在于,包括上述任一所述的多线程 人脸识别系统。
上述技术方案具有如下优点或有益效果:
采用将视频图像显示与人脸识别分别在多个线程中处理,同时为了平滑 人脸检测的显示体验,采用运动模型预测可能的人脸位置实现平滑人脸检测 的显示体验,极大的增强的嵌入式平台中人脸识别系统的性能。
附图说明
参考所附附图,以更加充分的描述本发明的实施例。然而,所附附图仅 用于说明和阐述,并不构成对本发明范围的限制。
图1为本发明实施例中多线程人脸识别系统的结构示意图;
图2为本发明实施例中第四线程单元的结构示意图;
图3为本发明实施例中第二线程单元的结构示意图;
图4为本发明实施例中第三线程单元的结构示意图;
图5为本发明实施例中进行人脸识别的流程图;
图6为本发明实施例中第四线程单元进行平滑处理的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行 清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而 不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作 出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特 征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的 限定。
本发明一种较佳的实施例中,根据图1所示,一种基于嵌入式系统的多 线程人脸识别系统,包括:
摄像模块1,用于对识别区域进行实时摄像以获取实时的视频帧;
第一线程单元2,连接摄像模块1和一显示模块,用于将视频帧发送至 显示模块中进行显示,并将视频帧发送至一第一缓冲队列3中,所述第一线 程单元通过一独立的第一线程运行;
第一缓冲队列3,连接第一线程单元2,用于接收并存储视频帧;
第二线程单元4,连接第一缓冲队列3,用于依次对第一缓冲队列3中的 视频帧进行人脸检测,并对检测到存在人脸特征的视频帧进行裁剪以获取面 部图像,将面部图像发送至第二缓冲队列5中,所述第二线程单元通过一独 立的第二线程运行;
第二缓冲队列5,连接第二线程单元4,用于接收并存储面部图像;
第三线程单元6,连接第二缓冲队列5,用于依次对第二缓冲队列5中的 面部图像进行基于邻近算法的人脸识别,并输出识别结果,所述第三线程单 元通过一独立的第三线程运行。
本发明一种较佳的实施例中,根据图5所示,一种基于嵌入式系统的多 线程人脸识别方法,包括以下步骤:
步骤S1:采用摄像模块1实时生成视频帧;
步骤S2:采用第一线程单元2将视频帧发送至显示模块中进行显示,并 将视频帧发送到第一缓冲队列3中;
步骤S3:采用第二线程单元4依次对第一缓冲队列3中的视频帧进行人 脸检测,并对检测到存在人脸特征的视频帧进行裁剪以获取面部图像,并依 次将面部图像发送至第二缓冲队列5中;
步骤S4:采用第三线程单元6依次对第二缓冲队列5中的面部图像进行 基于邻近算法的人脸识别。
具体地,本实施例中,将摄像模块1获取的视频帧分解为三个线程分别 执行视频显示、人脸检测、人脸识别,通过多线程分解执行针对视频帧人脸 识别,有效提高了人脸识别的效率。
采用将摄像头获取的视频流绑定第一线程单元2,第一线程单元2提取 视频帧输出到显示模块进行显示,并复制一份输入到第一缓冲队列3,第一 缓冲队列3中存储了初始的视频帧并且也通过获取了视频帧生成时间。
人脸检测模块对人脸进行识别包括两个过程:从图像中检测出人脸,对 检测出的人脸进行比对识别。上述过程分别通过第二线程单元4和第三线程 单元6进行执行。
采用人脸检测模块绑定至第二线程单元4,第二线程单元4从第一缓冲 队列3提取视频帧检测是否存在人脸,第二线程单元4若在当前视频帧中检 测到人脸,则将人脸框裁剪,输入到第二缓冲队列5,人脸框裁剪得到的图 像即为面部图像。
人脸识别模块再绑定第三线程单元6,第三线程单元6执行将面部图像 比对分析获取最为匹配的人脸识别结果。第三线程单元6从缓冲队列提取裁 剪好的面部图像,计算对应的的特征值,并基于数据库8中的存储的数据模 型通过邻近算法计算余弦相似度,返回相似度最高的编号和名称作为识别结 果。
本发明一种较佳的实施例中,基于嵌入式系统的多线程人脸识别系统还 包括第四线程单元7,分别连接第一缓冲队列3、第二缓冲队列5、第二线程 单元4,用于以预设的时间间隔进行平滑处理,所述第四线程单元通过一独 立的第四线程运行。
本发明一种较佳的实施例中,根据图2所示,第四线程单元7包括:
第一定位单元71,用于获取第二线程单元4当前执行的第一视频帧与第 一线程单元2当前执行的第二视频帧,并识别获取第一视频帧中人脸框的中 心坐标以作为第一中心坐标,识别获取第二视频帧中人脸框的中心坐标以作 为第二中心坐标;
计算单元72,连接定位单元,用于计算获取第一中心坐标和第二中心坐 标的距离差和方向角,并根据距离差及第一视频帧与第二视频帧生成的时间 差,计算获取人脸移速;
预测单元73,连接计算单元72,用于根据人脸移速、第二中心坐标、方 向角、视频帧的生成时间差计算第三视频帧的中人脸框的预测中心坐标,第 三视频帧为第二视频帧的下一生成的视频帧;
第二定位单元74,用于获取第三视频帧,并识别获取第三视频帧的人脸 框的中心坐标以作为第三中心坐标;
处理单元75,连接预测单元73和第二定位单元74,用于在第三中心坐 标与预测中心坐标一致时,将第一缓冲队列3清空并存留第三视频帧,将第 二缓冲队列5清空。
本发明一种较佳的实施例中,根据图6所示,还包括以预设的时间间隔 采用第四线程单元7执行以下步骤:
步骤A1:获取第二线程单元4当前执行的第一视频帧与第一线程单元2 当前执行的第二视频帧,分别对第一视频帧和第二视频帧进行人脸框识别, 获取第一视频帧中人脸框的中心坐标以作为第一中心坐标,获取第二视频帧 中人脸框的中心坐标以作为第二中心坐标;
步骤A2:计算获取第一中心坐标和第二中心坐标的距离差和方向角;
步骤A3:根据距离差及第一视频帧与第二视频帧生成的时间差,计算获 取人脸移速;
步骤A4:根据人脸移速、第二中心坐标、方向角、视频帧的生成时间差 计算预测第三视频帧的预测中心坐标,第三视频帧为第二视频帧的下一生成 的视频帧;
步骤A5:对第三视频帧进行人脸框识别,获取第三视频帧的人脸框的中 心坐标以作为第三中心坐标;
步骤A6:在第三中心坐标与预测中心坐标一致时,将第一缓冲队列3 清空并存留第三视频帧,将第二缓冲队列5清空。
具体地,上述实施例中,针对人脸识别过程存在较大的数据计算量,计 算耗时较长,导致视频帧通过显示模型输出到显示屏上,视频帧已经输出若 干帧了,但人脸识别的第二线程单元4和第三线程单元6识别的帧还是以前 的帧。
采用将第二线程单元4当前执行人脸检测的第一视频帧与第一线程单元 2当前执行的进行视频显示的第二视频帧进行比对,上述过程中获取第一视 频帧和第二视频帧的人脸框,根据两个人脸框在视频帧中所处的位置和视频 帧生成的时间差预测出第二视频帧的下一视频帧中人脸框的位置。进一步地, 将预测的人脸框的位置与实际第三视频帧的人脸框的位置进行比较,若符合 则说明在第一视频帧到第二视频帧的过程中人脸框是以形同的趋势移动的, 进而得到第一视频帧到第二视频帧中的人脸图像必然是相同的,将第一缓冲 队列3和第二缓冲队使得,第二线程单元4和第三线程单元6直接对第三视 频帧进行识别,忽略对第一视频帧到第二视频帧的人脸识别,直接插值第三 视频帧,达到涉及人脸识别的线程与实时显示的视频帧保持一致,实现了基 于运动模型的平滑处理,避免了识别卡顿、反应慢的问题。
采用上述基于运动模型进行内插值的方法将第二线程单元4和第三线程 单元6识别的帧平滑到当前显示的视频帧,避免了由于嵌入式系统本身计算 量小,图像识别缓慢的问题,增强的人脸识别的效果。
本发明一种较佳的实施例中,采用将预设的时间间隔缩短。具体地,在 执行第四线程单元7过程中,第一视频帧和第二视频帧之间间隔的视频帧数 量较少,摄像头获取的视频流中少量的连续视频帧通常是拍摄的相同的人脸, 导致第一视频帧与第二视频帧必然是相同的人脸。因而采用缩短时间间隔有 效保证上述基于运动模型进行内插值后的人脸识别的精度。
本发明一种较佳的实施例中,步骤A1中还包括以下步骤:第五线程单 元对第一视频帧的人脸框进行计算获取第一特征值,并对第二视频帧的人脸 框进行计算获取第二特征值,并在判断出第一特征值和第二特征值差异较大 时停止执行第四线程单元7。
具体地,本实施例中,采用第五线程单元对人脸框计算获取第一特征值 和第二特征值,若第一特征值和第二特征值相同,说明第一视频帧与第二视 频帧内的人脸相同,则继续执行上述基于运动模型进行内插值的平滑处理。 若否,则说明人脸不一致,需要第一线程单元2和第二线程单元4进行人脸 识别。上述方案可以保证人脸识别的准确度,避免上述基于运动模型进行内 插值的方法导致的精度下降的问题。
本发明一种较佳的实施例中,根据图3所示,第二线程单元4包括:
检测单元41,用于依次对第一缓冲队列3中的视频帧进行人脸检测,获 取存在人脸的视频帧;
分析单元42,连接检测单元41,用于对存在人脸的视频帧进行基于人脸 模型的比对分析,获取面部关键特征点;
裁剪单元43,连接分析单元42,用于根据面部关键特征点框选出面部图 像,并将面部图像发送至第二缓冲队列5中。
具体地,本实施例中,第二线程单元4将视频帧分为两步进行处理,先 进行人脸检测,在检测到人脸后基于人脸模型进行计算来获取面部关键特征 点,进一步通过面部关键特征点在视频帧中的位置截取对应的面部图像。实 现人脸检测及裁剪的过程。
本发明一种较佳的实施例中,第一线程单元2还包括溢出判断单元,用 于在视频帧发送至第一缓冲队列3前,判断第一缓冲队列3是否溢出;若是, 则并删除视频帧;若否,则执行将视频帧发送至第一缓冲队列3的操作。
本发明一种较佳的实施例中,步骤S2中还包括以下步骤:
在第一线程单元2将视频帧发送至第一缓冲队列3前,判断第一缓冲队 列3是否溢出;
若第一缓冲队列3处于溢出状态,则放弃将视频帧发送至第一缓冲队列 3的操作;
若第一缓冲队列3处于非溢出状态,则执行将视频帧发送至第一缓冲队 列3的操作。
具体地,本实施例中,上述步骤实现第一缓冲队列3溢出时直接丢弃多 余的视频帧。
本发明一种较佳的实施例中,根据图4所示,多线程人脸识别系统还包 括一数据库8,数据库8中预存有多组人脸参数及对应的身份信息;
第三线程单元6包括:
特征值获取单元61,用于依次对第二缓冲队列5中的面部图像进行计算 以获取面部图像的特征值;
相似度计算单元6272,连接特征值获取单元61和数据库8,用于采用临 近算法将特征值分别与每组人脸参数进行运算获取余弦相似度;
相似度判断单元63,连接相似度计算单元6272,用于获取余弦相似度最 高的人脸参数及对应的身份信息以作为识别结果。
本发明一种较佳的实施例中,步骤S4包括以下步骤:依次从第二缓冲 队列5中获取面部图像,并对面部图像进行计算,获取面部图像的特征值; 调取数据库8,采用临近算法将特征值分别与每组人脸图像参数进行运算获 取余弦相似度;输出余弦相似度最高的人脸参数对应的身份信息。
具体地,上述实施例中,采用上述步骤实现根据临近算法获取到数据库 8中与面部图像最接近的身份信息,并作为最终的输出结果。
本发明一种较佳的实施例中,数据库8由以下步骤构建:获取需要导入 的预设图像,并对预设图像进行基于人脸模型的比对分析,获取面部关键特 征点;根据面部关键特征点框选出面部图像,并对面部图像进行特征分析以 获取人脸图像参数;将人脸图像参数及对应的身份进行录入至数据库8中。
具体地,本实施例中,采用上述步骤将预先录入身份信息及对应的人脸 图像,作为后续人脸识别的依据。
本发明一种较佳的实施例中,一种人脸识别设备,包括上述任一的多线 程人脸识别系统。
本发明一种较佳的实施例中,一种人脸识别方法采用以下步骤:
将摄像头读取的视频流绑定至线程A(相当于第一线程)执行,线程A 提取视频帧序列{F1,F2,…Fn}输出到显示模块。将视频帧从F1开始依次通过 显示模块输出到显示屏上,线程A并复制一份视频帧序列到缓冲队列Q1(相 当于第一缓存队列),缓冲队列Q1大小为N1;视频帧复制到缓冲队列Q1 的过程包括在视频帧Fi通过显示模块输出到显示屏的同时并判断缓冲队列 Q1是否溢出,若没有,则复制一份到Q1,若已满,则直接丢弃;
将人脸识别分为两个过程:一是人脸检测,用于检测图片中是否存在人 脸,并画框输出面部关键特征点(Landmark);二是人脸认别,用于提取人 脸特征,计算相似度,输出相似度最高的ID和Name(相当于身份信息)。
人脸检测绑定线程B(相当于第二线程)执行,从缓冲队列Q1提取视 频帧,并检测是否存在人脸,如果不存在人脸,则再次从缓冲队列Q1提取 视频帧进行检测,直到缓冲队列Q1为空或检测到人脸。线程B在缓冲队列 Q1为空时,等待并阻塞,直到线程A有新的视频帧输入到Q1中。线程B 检测到视频帧有人脸,则将人脸框裁剪,并输入到另一个缓冲队列Q2(相当 于第二缓存队列)缓冲队列Q2大小为N2。
人脸识别绑定线程C(相当于第三线程)执行,从缓冲队列Q2提取裁 剪后的人脸图,计算此人脸图的特征值,进一步将人脸的特征值与本地数据 库的所有人脸特征进行比对,即用临近算法(K-Nearest Neighbors)计算K 个邻近人脸特征向量,然后返回余弦相似度最高的Face ID和名称。
人脸检测和人脸识别计算相对较慢,当视频帧Fi在线程B和线程C处 理最返回识别结果后,线程A已经在处理视频帧Fi+k。采用运动模型预测并 平滑到当前显示帧进行识别。具体包括:
首先计算Fi的人脸框位置中心点Li(xi,yi)和Fi+k的人脸框位置中心点 Li+k(xi+k,yi+k),然后计算Li和Li+k的方向角θ=tan(-1)(yi+k-yi)/(xi+k-xi);
计算两中心点距离Di=SQRT((xi+k-xi)2+(yi+k-yi)2)和两帧的时间差Ti, 得到移动速度V=Di/Ti
视频帧Fi+k到视频帧Fi+k+1的时间和Ti+1,则Fi+k+1的中心点移动距离 Di+1=V*Ti+1,预估视频帧Fi+k+1的中心点位置Li+k+1(xi+k+1,yi+k+1)在方向角θ 上移动Di+1距离,就得到当前Fi+k+1的中心点Li+k+1坐标。进一步基于实际 的视频帧Fi+k+1进行比对判断,实现视频帧Fi+k后续的视频帧可通过运动模 型平滑得到。
以上仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护 范围,对于本领域技术人员而言,应当能够意识到凡运用本发明说明书及图 示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本 发明的保护范围内。

Claims (7)

1.一种基于嵌入式系统的多线程人脸识别系统,其特征在于,包括:
摄像模块,用于对识别区域进行实时摄像以获取实时的视频帧;
第一线程单元,连接所述摄像模块和一显示模块,用于将所述视频帧发送至所述显示模块中进行显示,并将所述视频帧发送至一第一缓冲队列中,所述第一线程单元通过一独立的第一线程运行;
所述第一缓冲队列,连接所述第一线程单元,用于接收并存储所述视频帧;
第二线程单元,连接所述第一缓冲队列,用于依次对所述第一缓冲队列中的所述视频帧进行人脸检测,并对检测到存在人脸特征的视频帧进行裁剪以获取面部图像,将所述面部图像发送至第二缓冲队列中,所述第二线程单元通过一独立的第二线程运行;
所述第二缓冲队列,连接所述第二线程单元,用于接收并存储所述面部图像;
第三线程单元,连接所述第二缓冲队列,用于依次对所述第二缓冲队列中的所述面部图像进行基于邻近算法的人脸识别,并输出识别结果,所述第三线程单元通过一独立的第三线程运行。
2.根据权利要求1所述的基于嵌入式系统的多线程人脸识别系统,其特征在于,还包括第四线程单元,分别连接所述第一缓冲队列、所述第二缓冲队列、所述第二线程单元,用于以预设的时间间隔进行平滑处理,所述第四线程单元通过一独立的第四线程运行。
3.根据权利要求1所述的基于嵌入式系统的多线程人脸识别系统,其特征在于,所述第四线程单元包括:
第一定位单元,用于获取所述第二线程单元当前执行的第一视频帧与所述第一线程单元当前执行的第二视频帧,并识别获取所述第一视频帧中人脸框的中心坐标以作为第一中心坐标,识别获取所述第二视频帧中人脸框的中心坐标以作为第二中心坐标;
计算单元,连接所述定位单元,用于计算获取所述第一中心坐标和所述第二中心坐标的距离差和方向角,并根据所述距离差及所述第一视频帧与所述第二视频帧生成的时间差,计算获取人脸移速;
预测单元,连接所述计算单元,用于根据所述人脸移速、所述第二中心坐标、所述方向角、所述视频帧的生成时间差计算第三视频帧的中人脸框的预测中心坐标,所述第三视频帧为所述第二视频帧的下一生成的所述视频帧;
第二定位单元,用于获取所述第三视频帧,并识别获取所述第三视频帧的人脸框的中心坐标以作为第三中心坐标;
处理单元,连接所述预测单元和所述第二定位单元,用于在所述第三中心坐标与所述预测中心坐标一致时,将所述第一缓冲队列清空并存留所述第三视频帧,将所述第二缓冲队列清空。
4.根据权利要求1所述的基于嵌入式系统的多线程人脸识别系统,其特征在于,所述第二线程单元包括:
检测单元,用于依次对所述第一缓冲队列中的所述视频帧进行人脸检测,获取存在人脸的所述视频帧;
分析单元,连接所述检测单元,用于对存在人脸的所述视频帧进行基于人脸模型的比对分析,获取面部关键特征点;
裁剪单元,连接所述分析单元,用于根据所述面部关键特征点框选出所述面部图像,并将所述面部图像发送至所述第二缓冲队列中。
5.根据权利要求1所述的基于嵌入式系统的多线程人脸识别系统,其特征在于,所述第一线程单元还包括:
溢出判断单元,用于在所述视频帧发送至所述第一缓冲队列前,判断所述第一缓冲队列是否溢出;若是,则并删除所述视频帧;若否,则执行将所述视频帧发送至所述第一缓冲队列的操作。
6.根据权利要求1所述的基于嵌入式系统的多线程人脸识别系统,其特征在于,还包括一数据库,所述数据库中预存有多组人脸参数及对应的身份信息;
所述第三线程单元包括:
特征值获取单元,用于依次对所述第二缓冲队列中的面部图像进行计算以获取所述面部图像的特征值;
相似度计算单元,连接所述特征值获取单元和所述数据库,用于采用临近算法将所述特征值分别与每组所述人脸参数进行运算获取余弦相似度;
相似度判断单元,连接所述相似度计算单元,用于获取所述余弦相似度最高的所述人脸参数及对应的身份信息以作为所述识别结果。
7.一种人脸识别设备,其特征在于,包括如权利要求1-6中任一所述的多线程人脸识别系统。
CN201810322644.0A 2018-04-11 2018-04-11 一种基于嵌入式系统的多线程人脸识别系统 Pending CN108564028A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810322644.0A CN108564028A (zh) 2018-04-11 2018-04-11 一种基于嵌入式系统的多线程人脸识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810322644.0A CN108564028A (zh) 2018-04-11 2018-04-11 一种基于嵌入式系统的多线程人脸识别系统

Publications (1)

Publication Number Publication Date
CN108564028A true CN108564028A (zh) 2018-09-21

Family

ID=63534587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810322644.0A Pending CN108564028A (zh) 2018-04-11 2018-04-11 一种基于嵌入式系统的多线程人脸识别系统

Country Status (1)

Country Link
CN (1) CN108564028A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376016A (zh) * 2018-10-29 2019-02-22 安徽智传科技有限公司 一种多线程的人脸识别效率提高方法和系统
CN110443114A (zh) * 2019-06-19 2019-11-12 平安科技(深圳)有限公司 人脸识别方法、装置、计算机设备及可读存储介质
CN111832366A (zh) * 2019-04-22 2020-10-27 鸿富锦精密电子(天津)有限公司 图像识别装置及方法
CN112866643A (zh) * 2021-01-08 2021-05-28 中国船舶重工集团公司第七0七研究所 一种船内关键区域多目标可视化管理系统及方法
CN114253613A (zh) * 2021-11-25 2022-03-29 上海齐感电子信息科技有限公司 控制方法及控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902960A (zh) * 2012-12-28 2014-07-02 北京计算机技术及应用研究所 一种实时人脸识别系统及其方法
WO2014205715A1 (en) * 2013-06-27 2014-12-31 Intel Corporation Face recognition with parallel detection and tracking, and/or grouped feature motion shift tracking
CN107122751A (zh) * 2017-05-03 2017-09-01 电子科技大学 一种基于人脸对齐的人脸跟踪和人脸图像捕获方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902960A (zh) * 2012-12-28 2014-07-02 北京计算机技术及应用研究所 一种实时人脸识别系统及其方法
WO2014205715A1 (en) * 2013-06-27 2014-12-31 Intel Corporation Face recognition with parallel detection and tracking, and/or grouped feature motion shift tracking
CN107122751A (zh) * 2017-05-03 2017-09-01 电子科技大学 一种基于人脸对齐的人脸跟踪和人脸图像捕获方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376016A (zh) * 2018-10-29 2019-02-22 安徽智传科技有限公司 一种多线程的人脸识别效率提高方法和系统
WO2020087340A1 (zh) * 2018-10-29 2020-05-07 安徽智传科技有限公司 一种多线程的人脸识别效率提高方法和系统
CN111832366A (zh) * 2019-04-22 2020-10-27 鸿富锦精密电子(天津)有限公司 图像识别装置及方法
CN111832366B (zh) * 2019-04-22 2024-04-02 富联精密电子(天津)有限公司 图像识别装置及方法
CN110443114A (zh) * 2019-06-19 2019-11-12 平安科技(深圳)有限公司 人脸识别方法、装置、计算机设备及可读存储介质
CN110443114B (zh) * 2019-06-19 2023-09-19 平安科技(深圳)有限公司 人脸识别方法、装置、计算机设备及可读存储介质
CN112866643A (zh) * 2021-01-08 2021-05-28 中国船舶重工集团公司第七0七研究所 一种船内关键区域多目标可视化管理系统及方法
CN114253613A (zh) * 2021-11-25 2022-03-29 上海齐感电子信息科技有限公司 控制方法及控制系统

Similar Documents

Publication Publication Date Title
CN108564028A (zh) 一种基于嵌入式系统的多线程人脸识别系统
CN109344806B (zh) 利用多任务目标检测模型执行目标检测的方法和系统
CN110427807A (zh) 一种时序事件动作检测方法
US10061909B2 (en) Device authentication based on behavior classification using convolution neural network
CN110516620A (zh) 目标跟踪方法、装置、存储介质及电子设备
CN109993734A (zh) 用于输出信息的方法和装置
CN104899561A (zh) 一种并行化的人体行为识别方法
Nguyen et al. Yolo based real-time human detection for smart video surveillance at the edge
WO2022152104A1 (zh) 动作识别模型的训练方法及装置、动作识别方法及装置
CN105243356B (zh) 一种建立行人检测模型的方法及装置及行人检测方法
CN110188596A (zh) 基于深度学习的监控视频行人实时检测、属性识别与跟踪方法及系统
CN112734803B (zh) 基于文字描述的单目标跟踪方法、装置、设备及存储介质
CN108921131A (zh) 一种生成人脸检测模型、三维人脸图像的方法及装置
CN109033955A (zh) 一种人脸跟踪方法和系统
CN110390294A (zh) 一种基于双向长短期记忆神经网络的目标跟踪方法
CN105786610B (zh) 计算密集型任务向云服务器中卸载的方法
CN113792680A (zh) 基于图像融合的行为识别方法、装置、电子设备及介质
CN114972958A (zh) 关键点检测方法、神经网络的训练方法、装置和设备
Naik et al. Development of an Automated Hand Gesture Software to Control Volume for Computer
CN109523573A (zh) 目标对象的跟踪方法和装置
CN109558826A (zh) 基于模糊聚类的手势识别方法、系统、设备及存储介质
Lin et al. Temporal action localization with two-stream segment-based RNN
CN114863487A (zh) 基于二次回归的一阶段多人人体检测和姿态估计的方法
CN115188080A (zh) 基于骨架识别和门控循环网络的交警手势识别方法及系统
CN112802026A (zh) 一种基于深度学习实时的交通场景语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180921