CN109034025A - 一种基于zynq的人脸关键点检测系统 - Google Patents

一种基于zynq的人脸关键点检测系统 Download PDF

Info

Publication number
CN109034025A
CN109034025A CN201810774764.4A CN201810774764A CN109034025A CN 109034025 A CN109034025 A CN 109034025A CN 201810774764 A CN201810774764 A CN 201810774764A CN 109034025 A CN109034025 A CN 109034025A
Authority
CN
China
Prior art keywords
zynq
point detection
critical point
sent
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810774764.4A
Other languages
English (en)
Inventor
陆生礼
庞伟
向家淇
周世豪
范雪梅
李宇峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University - Wuxi Institute Of Technology Integrated Circuits
Southeast University
Original Assignee
Southeast University - Wuxi Institute Of Technology Integrated Circuits
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University - Wuxi Institute Of Technology Integrated Circuits, Southeast University filed Critical Southeast University - Wuxi Institute Of Technology Integrated Circuits
Priority to CN201810774764.4A priority Critical patent/CN109034025A/zh
Publication of CN109034025A publication Critical patent/CN109034025A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于ZYNQ的人脸关键点检测系统，包括摄像头、ZYNQ平台和VGA显示器，其中，ZYNQ平台集成有可编程逻辑模块和处理系统模块，处理系统模块中设有处理器和存储器；所述摄像头用于采集视频信息并将其发送到ZYNQ平台，ZYNQ平台将视频转换成单帧图像并保存在存储器中，可编程逻辑模块进行一系列计算后将运算结果返回处理器，处理器根据运算结果显示相应的人脸关键点，并将处理后的图像存至存储器，最后图像转成满足VGA输出的数据格式并输出到VGA显示器。此种系统具有并行计算能力强，准确率高和预测速度快的优点。

Description

一种基于ZYNQ的人脸关键点检测系统
技术领域
本发明属于人脸识别领域，特别涉及一种基于ZYNQ的人脸关键点检测系统。
背景技术
由于人脸图像包含大量人脸属性信息同时获取方便，近年来成为计算机视觉研究领域的一个热点。人脸属性主要包括性别、表情等，人脸关键点检测即检测出五官在人脸的相对位置，通常也将其作为人脸的一种属性，广泛应用于人脸美化、人脸动画装饰、疲劳驾驶等场景。随着计算机计算能力的快速发展和大数据的爆发，卷积神经网络逐渐取代了基于统计的传统方法，成为人脸识别和人脸属性分析等任务的首选。
卷积神经网络包含众多权重偏置参数和大量的卷积运算操作，当前主流人脸关键点检测还是基于在诸如通用处理器和GPU这样的软件平台，然而通用处理器无法充分挖掘卷积神经网络的并行性，在PC运行速度较慢，尽管GPU能极大的提高计算速度，但其功耗和成本高使其难以在移动终端使用，不利于市场化。本发明结合ARM的便捷操作能力和FPGA的高并行度计算能力，基于ZYNQ平台实现高速判断人脸属性。
ZYNQ平台是基于Xilinx全可编程的平台结构，主要包括可编程逻辑(Programmable Logic，PL)和处理系统(Processing System，PS)两部分。其中，PL部分是全可编程的FPGA部分，用于高并行度的开发；PS中集成了两片ARM Cortex A9处理器，可用于控制系统工作，访问内存等。PS与PL的通信由AXI协议实现。
发明内容
本发明的目的，在于提供一种基于ZYNQ的人脸关键点检测系统，其具有并行计算能力强，准确率高和预测速度快的优点。
为了达成上述目的，本发明的解决方案是：
一种基于ZYNQ的人脸关键点检测系统，包括摄像头、ZYNQ平台和VGA显示器，其中，ZYNQ平台集成有可编程逻辑模块和处理系统模块，处理系统模块中设有处理器和存储器；所述摄像头用于采集视频信息并将其发送到ZYNQ平台，ZYNQ平台将视频转换成单帧图像并保存在存储器中，可编程逻辑模块进行一系列计算后将运算结果返回处理器，处理器根据运算结果显示相应的人脸关键点，并将处理后的图像存至存储器，最后图像转成满足VGA输出的数据格式并输出到VGA显示器。
采用上述方案后，本发明系统以卷积神经网络为基本结构，根据硬件的存储资源、并行度和算法需求设计神经网络每层特征图数量和尺度大小，通过迁移学习建立卷积神经网络模型。将待检测关键点的图片和训练好的模型参数提取出来保存在ZYNQ平台的存储器中，逐层分批发送输入特征图和参数，通过GPIO的控制，ZYNQ平台FPGA端并行加速器进行神经网络前向传播的计算，将计算结果缓存到FIFO,全部计算完成后输出最终预测结果。与现有技术相比，本发明高并行度计算使得人脸关键点的检测能够更加快速，同时便于实现。
附图说明
图1是本发明单帧图像人脸关键点检测流程图；
图2是本发明的系统框架图；
图3是本发明卷积并行计算示意图。
具体实施方式
以下将结合附图，对本发明的技术方案及有益效果进行详细说明。
如图2所示，本发明提供一种基于ZYNQ的人脸关键点检测系统，包括摄像头、ZYNQ平台和VGA显示器，其中，ZYNQ平台集成了PL(Programmable Logic，可编程逻辑)模块和PS(Processing System，处理系统)模块，其中，PS模块中设有处理器(ARM)和存储器，用于控制模块间数据的传输，PL模块(即FPGA)用于加速卷积运算；所述摄像头用于采集视频信息并将其发送到ZYNQ平台，ZYNQ平台中将视频转换成单帧图像并保存在存储器中，进行一系列计算后将运算结果返回存储器，处理器根据运算结果显示相应的人脸关键点，并将处理后的图像存至存储器，最后图像转成满足VGA输出的数据格式并输出到VGA显示器。
其中，ZYNQ平台基于卷积神经网络对单帧图像进行建模，模型建立的过程是：首先，设计卷积神经网络的结构，所述卷积神经网络包括多属性训练网络和人脸关键点检测网络，所述神经网络每层特征图的数量和尺度大小由硬件的存储资源、计算并行度和算法需求确定；然后，进行迁移学习，将多属性训练好的模型迁移至人脸关键点网络继续训练，得到最终的人脸关键点检测神经网络模型，提取模型的参数。所述模型参数包括权重参数和偏置参数。
如图1所示，单帧图像的人脸关键点检测流程包括如下步骤：
步骤1，将待检测关键点的人脸图片和训练好的模型参数提取出来保存在ZYNQ平台的存储器中；
步骤2，按顺序发送一批p个大小为c*c的输入特征图数据暂存至发送缓存区域，发送缓存区域中的数据通过DMA发送到FPGA端，其中第一层的输入特征图为待分析的人脸图片RGB三个通道像素值；
每层特征图的数量和尺度大小确定方法如下：设每个大小为c*c的卷积运算单元所占存储资源为m，网络输入大小为s*s，总的硬件存储资源为M，计算并行度为p，为方便计算，保证网络前k层特征图大小被卷积运算单元大小c整除，同时满足条件：p*m<M；
步骤3，按已发送输入特征图的顺序，发送一批对应的权重和偏置参数，发送方式同步骤2；
步骤4，在ZYNQ平台的FPGA端进行并行的乘累加卷积计算，参照图3，并将计算结果保存至FIFO，FIFO中的数据通过DMA中断接收至接收缓存区域，接收缓存区域的数据按输出特征图排列好后存放至DDR；FPGA的计算由ZYNQ平台ARM端发送的GPIO控制字来控制：包括计算的启止以及卷积结果相加中输入特征图的个数等。
步骤5，重复步骤3到步骤4发送一批新的权重和偏置参数，直到接收到已发送输入特征图对应的所有输出特征图；
步骤6，重复步骤2到步骤5直到接收到本层所有输出特征图；
步骤7，将本层的输出特征图作为下一层的输入特征图，开始处理下一层，重复步骤2到步骤6直到所有层已被处理，输出最终预测的人脸关键点坐标。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (7)

1.一种基于ZYNQ的人脸关键点检测系统，其特征在于：包括摄像头、ZYNQ平台和VGA显示器，其中，ZYNQ平台集成有可编程逻辑模块和处理系统模块，处理系统模块中设有处理器和存储器；所述摄像头用于采集视频信息并将其发送到ZYNQ平台，ZYNQ平台将视频转换成单帧图像并保存在存储器中，可编程逻辑模块进行一系列计算后将运算结果返回处理器，处理器根据运算结果显示相应的人脸关键点，并将处理后的图像存至存储器，最后图像转成满足VGA输出的数据格式并输出到VGA显示器。
2.如权利要求1所述的一种基于ZYNQ的人脸关键点检测系统，其特征在于：所述可编程逻辑模块基于卷积神经网络对单帧图像进行建模，并提取模型参数；然后检测单帧图像的人脸关键点坐标，发送至处理器。
3.如权利要求2所述的一种基于ZYNQ的人脸关键点检测系统，其特征在于：所述可编程逻辑模块基于卷积神经网络对单帧图像进行建模过程是：首先，设计卷积神经网络的结构，所述卷积神经网络包括多属性训练网络和人脸关键点检测网络；然后，进行迁移学习，得到最终的人脸关键点检测神经网络模型，提取模型参数。
4.如权利要求2所述的一种基于ZYNQ的人脸关键点检测系统，其特征在于：所述模型参数包括权重参数和偏置参数。
5.如权利要求2所述的一种基于ZYNQ的人脸关键点检测系统，其特征在于：所述卷积神经网络每层特征图的数量和尺度大小确定方法如下：设每个大小为c*c的卷积运算单元所占存储资源为m，网络输入大小为s*s，总的硬件存储资源为M，计算并行度为p，需保证网络前k层特征图大小被卷积运算单元大小c整除，同时满足条件：p*m<M。
6.如权利要求2所述的一种基于ZYNQ的人脸关键点检测系统，其特征在于：所述可编程逻辑模块检测单帧图像的人脸关键点坐标的具体过程是：
步骤1，将待检测关键点的人脸图像和训练好的模型参数提取出来保存在ZYNQ平台的存储器中；
步骤2，按顺序发送一批p个大小为c*c的输入特征图数据暂存至发送缓存区域，发送缓存区域中的数据通过DMA发送到可编程逻辑模块，其中第一层的输入特征图为待检测关键点的人脸图像RGB三个通道像素值；
步骤3，按已发送输入特征图的顺序，发送一批对应的权重和偏置参数；
步骤4，在ZYNQ平台的可编程逻辑模块进行并行的乘累加卷积计算，并将计算结果保存至FIFO，FIFO中的数据通过DMA中断接收至接收缓存区域，接收缓存区域的数据按输出特征图排列好后存放至DDR；
步骤5，重复步骤3到步骤4发送一批新的权重和偏置参数，直到接收到已发送输入特征图对应的所有输出特征图；
步骤6，重复步骤2到步骤5直到接收到本层所有输出特征图；
步骤7，将本层的输出特征图作为下一层的输入特征图，开始处理下一层，重复步骤2到步骤6直到所有层已被处理，输出最终预测的人脸关键点坐标。
7.如权利要求6所述的一种基于ZYNQ的人脸关键点检测系统，其特征在于：所述步骤4中，可编程逻辑模块的计算由ZYNQ平台ARM端发送的GPIO控制字来控制：包括计算的启止以及卷积结果相加中输入特征图的个数。
CN201810774764.4A 2018-07-16 2018-07-16 一种基于zynq的人脸关键点检测系统 Pending CN109034025A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810774764.4A CN109034025A (zh) 2018-07-16 2018-07-16 一种基于zynq的人脸关键点检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810774764.4A CN109034025A (zh) 2018-07-16 2018-07-16 一种基于zynq的人脸关键点检测系统

Publications (1)

Publication Number Publication Date
CN109034025A true CN109034025A (zh) 2018-12-18

Family

ID=64642908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810774764.4A Pending CN109034025A (zh) 2018-07-16 2018-07-16 一种基于zynq的人脸关键点检测系统

Country Status (1)

Country Link
CN (1) CN109034025A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309088A (zh) * 2019-06-19 2019-10-08 北京百度网讯科技有限公司 Zynq fpga芯片及其数据处理方法、存储介质
CN111056183A (zh) * 2019-11-29 2020-04-24 华东师范大学 一种基于zynq的实时智能垃圾自分类系统
CN111739050A (zh) * 2020-08-05 2020-10-02 北京控制与电子技术研究所 基于Zynq的姿态测量和天体形心提取的飞行器导航系统
CN112101178A (zh) * 2020-09-10 2020-12-18 电子科技大学 一种辅助盲人感知外界环境的智能soc终端
CN112330524A (zh) * 2020-10-26 2021-02-05 沈阳上博智像科技有限公司 一种在图像跟踪系统中快速实现卷积的装置和方法
CN115100568A (zh) * 2022-06-23 2022-09-23 山东科技大学 一种基于视频图像的非接触式生命体征检测系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631798A (zh) * 2016-03-04 2016-06-01 北京理工大学 低功耗便携式实时图像目标检测与跟踪系统及方法
CN106960200A (zh) * 2017-04-01 2017-07-18 罗旗舞 一种人脸识别设备
CN107392309A (zh) * 2017-09-11 2017-11-24 东南大学—无锡集成电路技术研究所 一种基于fpga的通用定点数神经网络卷积加速器硬件结构
CN107657316A (zh) * 2016-08-12 2018-02-02 北京深鉴科技有限公司 通用处理器与神经网络处理器的协同系统设计
CN108124157A (zh) * 2017-12-22 2018-06-05 北京旷视科技有限公司 信息交互方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631798A (zh) * 2016-03-04 2016-06-01 北京理工大学 低功耗便携式实时图像目标检测与跟踪系统及方法
CN107657316A (zh) * 2016-08-12 2018-02-02 北京深鉴科技有限公司 通用处理器与神经网络处理器的协同系统设计
CN106960200A (zh) * 2017-04-01 2017-07-18 罗旗舞 一种人脸识别设备
CN107392309A (zh) * 2017-09-11 2017-11-24 东南大学—无锡集成电路技术研究所 一种基于fpga的通用定点数神经网络卷积加速器硬件结构
CN108124157A (zh) * 2017-12-22 2018-06-05 北京旷视科技有限公司 信息交互方法、装置及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309088A (zh) * 2019-06-19 2019-10-08 北京百度网讯科技有限公司 Zynq fpga芯片及其数据处理方法、存储介质
CN111056183A (zh) * 2019-11-29 2020-04-24 华东师范大学 一种基于zynq的实时智能垃圾自分类系统
CN111056183B (zh) * 2019-11-29 2021-10-15 华东师范大学 一种基于zynq的实时智能垃圾自分类系统
CN111739050A (zh) * 2020-08-05 2020-10-02 北京控制与电子技术研究所 基于Zynq的姿态测量和天体形心提取的飞行器导航系统
CN111739050B (zh) * 2020-08-05 2020-11-20 北京控制与电子技术研究所 基于Zynq的姿态测量和天体形心提取的飞行器导航系统
CN112101178A (zh) * 2020-09-10 2020-12-18 电子科技大学 一种辅助盲人感知外界环境的智能soc终端
CN112101178B (zh) * 2020-09-10 2023-03-24 电子科技大学 一种辅助盲人感知外界环境的智能soc终端
CN112330524A (zh) * 2020-10-26 2021-02-05 沈阳上博智像科技有限公司 一种在图像跟踪系统中快速实现卷积的装置和方法
CN112330524B (zh) * 2020-10-26 2024-06-18 沈阳上博智像科技有限公司 一种在图像跟踪系统中快速实现卷积的装置和方法
CN115100568A (zh) * 2022-06-23 2022-09-23 山东科技大学 一种基于视频图像的非接触式生命体征检测系统及方法

Similar Documents

Publication Publication Date Title
CN109034025A (zh) 一种基于zynq的人脸关键点检测系统
CN110473141B (zh) 图像处理方法、装置、存储介质及电子设备
CN109344806B (zh) 利用多任务目标检测模型执行目标检测的方法和系统
US10832039B2 (en) Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium
CN108205655B (zh) 一种关键点预测方法、装置、电子设备及存储介质
CN108197602B (zh) 一种卷积神经网络生成方法及表情识别方法
US20210382542A1 (en) Screen wakeup method and apparatus
WO2021151336A1 (zh) 基于注意力机制的道路图像目标检测方法及相关设备
CN108171152A (zh) 深度学习人眼视线估计方法、设备、系统及可读存储介质
CN108416440A (zh) 一种神经网络的训练方法、物体识别方法及装置
CN109063584B (zh) 基于级联回归的面部特征点定位方法、装置、设备及介质
CN108805058B (zh) 目标对象变化姿态识别方法、装置及计算机设备
WO2018153294A1 (zh) 人脸跟踪方法、存储介质及终端设备
KR20200118076A (ko) 생체 검출 방법 및 장치, 전자 기기 및 저장 매체
CN108734120A (zh) 标注图像的方法、装置、设备和计算机可读存储介质
CN109409994A (zh) 模拟用户穿戴服装饰品的方法、装置和系统
CN109934065A (zh) 一种用于手势识别的方法和装置
CN109145809A (zh) 一种记谱处理方法和装置以及计算机可读存储介质
WO2016165614A1 (zh) 一种即时视频中的表情识别方法和电子设备
CN104063686A (zh) 作物叶部病害图像交互式诊断系统与方法
CN109955257A (zh) 一种机器人的唤醒方法、装置、终端设备和存储介质
CN108830782A (zh) 图像处理方法、装置、计算机设备和存储介质
WO2024125217A1 (zh) 一种光斑追踪方法、装置、电子设备及存储介质
CN112528811A (zh) 行为识别方法和装置
CN115410274A (zh) 一种手势识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181218