CN110443214B

CN110443214B - 一种基于risc-v的人脸识别加速电路系统及加速方法

Info

Publication number: CN110443214B
Application number: CN201910740291.0A
Authority: CN
Inventors: 王子彤; 姜凯; 秦刚
Original assignee: Shandong Inspur Scientific Research Institute Co Ltd
Current assignee: Shandong Inspur Scientific Research Institute Co Ltd
Priority date: 2019-08-12
Filing date: 2019-08-12
Publication date: 2022-03-01
Anticipated expiration: 2039-08-12
Also published as: CN110443214A

Abstract

本发明公开了一种基于RISC‑V的人脸识别加速电路系统及加速方法，属于人工智能数据处理领域；所述的加速电路系统包括图像采集模块、RISC‑V内核模块、指令处理模块、MACC专用加速模块、参数存储模块、存储控制模块和人脸图像处理模块，各模块之间通信连接；本加速识别电路系统将深层神经网络参数操作的硬件下放，大大加速人脸识别过程的计算过程，提高仿存效率，通过采用RISC‑V内核精简指令集作为片上微控制器的指令集架构，作为人脸识别硬件加速主控，其架构自主可控，能够提成本人脸识别加速电路的安全性和隐私保密性。

Description

一种基于RISC-V的人脸识别加速电路系统及加速方法

技术领域

本发明公开一种基于RISC-V的人脸识别加速电路系统及加速方法，涉及人工智能数据处理技术领域。

背景技术

RISC-V是基于精简指令集计算(RISC)原理建立的开放指令集架构(ISA)，来自于加州大学伯克利分校。作为近年来开源芯片技术的突出代表，RISC-V开放指令集体系结构已受到国内外各领域的广泛关注。与大多数ISA相反，RISC-VISA可以免费地用于所有希望的设备中，允许任何人设计、制造和销售RISC-V芯片和软件。基于RISC-V指令集架构可以设计服务器CPU，家用电器cpu，工控cpu和用在小的传感器中的cpu。与大多数指令集相比，RISC-V指令集可以自由地用于任何目的，允许任何人设计、制造和销售RISC-V芯片和软件。

随着神经网络研究发展，越来越多的模型被用于旧场景中的新解决方案，在人脸识别需求场景中，将卷积神经网络用于人脸检测与人脸识别，可极大提高识别速度与准确率。然而，在卷积神经网络芯片化道路上，用于算法流程控制的微处理器IP核一般采用ARM指令集，其ISA授权费用昂贵，且需要一定的开发周期，不利于算法端化的快速部署，在项目成本把控及开发周期预算上难以达到期望。

发明内容

本发明针对现有技术的问题，提供一种基于RISC-V的人脸识别加速电路系统及加速方法，所采用的技术方案为：一种基于RISC-V的人脸识别加速电路系统，所述的加速电路系统包括图像采集模块、RISC-V内核模块、指令处理模块、MACC专用加速模块、参数存储模块、存储控制模块和人脸图像处理模块，各模块之间通信连接；

RISC-V内核模块发出起始指令，通过存储控制模块控制图像采集模块对输入源的图像信息进行转码；

RISC-V内核模块将人脸识别算法传入指令处理模块内，指令处理模块将人脸识别算法转译映射处理成加速指令；

RISC-V内核模块控制存储控制模块，将转码后的图像信息传入MACC专用加速模块，MACC专用加速模块同时对加速指令和参数存储模块内的深度神经网络参数进行加载，然后对图像信息进行运算处理，得到当前图像的人脸特征值；

RISC-V内核模块控制人脸图像处理模块对人脸特征值比对检索，将匹配结果显示输出。

所述图像采集模块包括图像转码模块和数据缓存模块；

图像转码模块对输入源的图像信息进行采集和转码，并送入至数据缓存模块内。

所述指令处理模块包括指令译码模块和硬件加速指令列队模块；

RISC-V内核模块将人脸识别算法传入指令译码模块，指令译码模块将人脸识别算法映射为乘加加速指令及存取加速指令，并暂存至硬件加速指令列队模块中。

所述人脸图像处理模块包括数据库检索模块和显示编码模块；

数据库检索模块在RISC-V内核模块的控制下，将MACC专用加速模块内的人脸特征值与人脸图像数据库内的数据进行比对，匹配结果通过显示编码模块显示输出。

所述MACC专用加速模块由乘加阵列及可配置互连逻辑构成。

一种基于RISC-V的人脸识别加速方法，其特征是所述加速方法利用RISC-V内核构建开放指令集架构实现人脸识别加速；

RISC-V内核控制采集的图像信息进行转码的过程；

并控制将人脸识别算法转译映射处理为加速指令的过程；

同时控制利用MACC加速指令，对转码后的图像信息进行深度神经网络参数运算的过程进行加速，得到人脸特征值的过程；

并控制对人脸特征值进行检索比对，将匹配结果转译成显示信息输出的过程。

所述加速指令包括乘加加速指令和存取加速指令，并将指令按照读取顺序进行暂存。

所述人脸特征值与人脸图像数据库内的数据进行检索对比，将匹配结果转换成显示图像后进行显示输出。

本发明的有益效果为：RISC-V内核模块内的指令集控制各项模块工作；图像采集模块、存储控制模块和输入源配合对图像进行采集转码缓存；RISC-V内核模块和指令处理模块配合，将人脸识别算法进行转译、映射处理；RISC-V内核模块、参数存储模块和MACC专用加速模块配合，对深度神经网络参数进行加载，并通过其对图像信息进行加速运算处理，运算的中间值暂存至图像采集模块内；RISC-V内核模块、MACC专用加速模块和人脸图像处理模块配合，对最终运算结果得到的人脸特征值进行比对，然后将识别匹配的结果输出，即可完成一次人脸图像的加速识别操作；本加速识别电路系统将深层神经网络参数操作的硬件下放，大大加速人脸识别过程的计算过程，提高仿存效率，通过采用RISC-V内核精简指令集作为片上微控制器的指令集架构，作为人脸识别硬件加速主控，其架构自主可控，能够提成本人脸识别加速电路的安全性和隐私保密性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是加速电路系统的结构示意图；图2是加速方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

实施例一：

一种基于RISC-V的人脸识别加速电路系统，包括图像采集模块、RISC-V内核模块、指令处理模块、加速模块、参数存储模块、存储控制模块和人脸图像处理模块，各模块之间通信连接；

图像采集模块包括图像转码模块和数据缓存模块；

指令处理模块包括指令译码模块、硬件加速指令列队模块；

人脸图像处理模块包括数据库检索模块和显示编码模块；

RISC-V内核模块为开源精简指令集架构组成的微型处理器，存储控制模块挂在在控制总线上，根据人脸识别算法的高级高级语言描述，经编译器译码在RISC-V内核模块的精简指令集上，经RISC-V内核模块翻译成各模块的控制信号，送入至控制总线，完成本加速流程的控制；

指令译码模块能够根据人脸识别算法的需求，将需加速的算法过程编译成专用指令等待读取执行；

加速模块采用MACC专用加速模块实现，MACC专用加速模块有乘加阵列和可配置互连逻辑构成，可以采用“树型”卷积结构或“Z型“卷积结构；

在本发明加速电路系统进行人脸识别工作时，RISC-V内核模块发出起始指令，经控制总线到电路连接各模块，RISC-V内核模块通过存储控制模块控制图像转码模块对输入源的图像信息进行采集和转码，每帧数据按照各像素RGB(8：8：8)形式排列并送入至数据缓存模块内，数据缓存模块对图像数据进行缓存；

RISC-V内核模块将由深度神经网络组成的人脸识别算法以高级语言描述的形式传入指令译码模块，指令译码模块将人脸识别算法映射为乘加加速指令及存取加速指令，并将指令暂存在硬件加速指令列队模块中；

RISC-V内核模块控制存储控制模块将数据缓存模块内缓存的图像信息传入至MACC专用加速模块内，以对不同模块之间数据进行时序同步，对卷积计算中间结果进行缓存，MACC专用加速模块按顺序依次对硬件加速指令列队模块中的指令进行加载的同时，对参数存储模块的深度神经网络参数进行加载，然后通过乘加加速指令和存取加速指令能够提高深度神经网络参数对图像信息的运算，中间结果暂存至所述数据缓存模块中，直到执行完队列中最后一条指令，得到当前图像的人脸特征值；

RISC-V内核模块控制人脸图像处理模块对人脸特征值与人脸图像数据库内的数据进行比对，将匹配结果叠加在输入源数据上，并通过显示编码模块显示输出，即可完成一次人脸图像的加速识别过程；

本加速识别电路系统将深层神经网络参数操作的硬件下放，大大加速人脸识别过程的计算过程，提高仿存效率，通过采用RISC-V内核精简指令集作为片上微控制器的指令集架构，作为人脸识别硬件加速主控，其架构自主可控，能够提成本人脸识别加速电路的安全性和隐私保密性，本发明系统内各模块均可由IP核搭建，最终形成片上系统芯片ASIC。

实施例二：

在实施例一的基础上，所述深度神经网络参数包括每层卷积的卷积核数值、卷积核偏置值、卷积核激活阈值；

RISC-V内核模块控制存储控制模块，将转码后的图像信息传入MACC专用加速模块；

RISC-V内核模块控制MACC专用加速模块对每层卷积的卷积核数值、卷积核偏置值、卷积核激活阈值进行加载，MACC专用加速模块控制卷积核数值与数据缓存模块内的图像数据通过乘法列阵相乘，乘积与卷积核偏置值相加求和后，经卷积核激活阈值选择输出得到人脸特征值；完成卷积神经网络中的卷积计算，从而实现深度神经网络参数对图像信息的计算。

实施例三：

一种基于RISC-V的人脸识别加速方法，利用RISC-V内核构建开放指令集架构实现人脸识别加速；

RISC-V内核控制采集的图像信息的每帧数据按照各像素RGB(8：8：8)形式排列进行转码缓存的过程；

并控制将人脸识别算法转译映射处理为乘加加速指令和存取加速指令，并将指令按照读取顺序进行暂存的过程；

同时控制MACC专用加速模块利用乘加加速指令和存取加速指令，对转码后的图像信息进行深度神经网络参数运算的过程进行加速，得到人脸特征值；

并控制对人脸特征值与人脸图像数据库内的数据进行检索对比，将匹配结果转换成显示图像后进行显示输出；

使用本发明加速方法进行识别加速时，RISC-V内核控制将采集的图像信息的每帧数据按照按照各像素RGB(8：8：8)形式排列进行转码缓存，同时控制将人脸识别算法转译映射处理为乘加加速指令和存取加速指令后，按照读取顺序进行暂存；

RISC-V内核将由深度神经网络组成的人脸识别算法以高级语言描述的形式对转发后的图像进行参数运算，然后控制MACC专用加速模块按照存储顺序依次对乘加加速指令和存取加速指令进行读取，乘加加速指令和存取加速指令对其运算过程进行加速，对中间结果进行暂存，直到依次执行完最后一条指令，得到当前图像的人脸特征值；

RISC-V内核控制将人脸特征值与人脸图像数据库内的数据进行检索比对，将匹配结果叠加在输入源数据上，转换成显示图像后进行显示输出，即可完成一次人脸图像的加速识别过程；

本发明加速方法能够将深层神经网络参数操作通过硬件下放，加速人脸识别的计算过程，从而提高图像信息的识别过程。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于RISC-V的人脸识别加速电路系统，其特征是所述的加速电路系统包括图像采集模块、RISC-V内核模块、指令处理模块、MACC专用加速模块、参数存储模块、存储控制模块和人脸图像处理模块，各模块之间通信连接；

2.根据权利要求1所述的加速电路系统，其特征是所述图像采集模块包括图像转码模块和数据缓存模块；

3.根据权利要求1所述的加速电路系统，其特征是所述指令处理模块包括指令译码模块和硬件加速指令列队模块；

4.根据权利要求1所述的加速电路系统，其特征是所述人脸图像处理模块包括数据库检索模块和显示编码模块；

5.根据权利要求1-4任一所述的加速电路系统，其特征是所述MACC专用加速模块由乘加阵列及可配置互连逻辑构成。

6.一种基于RISC-V的人脸识别加速方法，其特征是所述加速方法利用RISC-V内核构建开放指令集架构实现人脸识别加速；

RISC-V内核控制采集的图像信息进行转码的过程；

并控制将人脸识别算法转译映射处理为加速指令的过程；

7.根据权利要求6所述的识别加速方法，其特征是所述加速指令包括乘加加速指令和存取加速指令，并将指令按照读取顺序进行暂存。

8.根据权利要求7所述的识别加速方法，其特征是所述人脸特征值与人脸图像数据库内的数据进行检索对比，将匹配结果转换成显示图像后进行显示输出。