CN111639534A - 基于人脸识别的信息生成方法、装置及计算机设备 - Google Patents

Abstract

本发明公开了基于人脸识别的信息生成方法、装置、计算机设备及存储介质，涉及人工智能的图像识别技术领域，包括若接收到摄像头所采集的当前用户图像，对所述当前用户图像进行人脸识别，得到对应的当前用户身份识别信息；若存储有与所述当前用户身份识别信息对应的迎宾信息，将所述迎宾信息发送至对应的显示设备以进行显示；若接收到摄像头所采集的用户面部图像，对所述用户面部图像进行情绪识别，得到对应的当前用户情感信息；若所述前用户情感信息是高兴情绪，对所述迎宾信息自动增加可保留的标签。本发明还涉及区块链技术，实现了迎宾信息的生成和部署更加高效，而且能基于用户的情绪识别结果来获取用户对迎宾信息的反馈信息。

Description

基于人脸识别的信息生成方法、装置及计算机设备

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于人脸识别的信息生成方法、装置、计算机设备及存储介质。

背景技术

目前，较常见的迎宾装置是门头迎宾服务设备，门头迎宾服务设备主要包括喷绘横幅、语音播报迎宾设备、屏幕播放迎宾设备等。

其中喷绘横幅的制作时间长且不可回收重复利用，语音播报迎宾设备及屏幕播放迎宾设备中的迎宾词需维护人员人工编辑，可见上述常见的门头迎宾服务设备需人工制作或编辑迎宾词，导致效率低下、展现方式单一，而且无法检测待迎宾用户对迎宾词的满意程度。

发明内容

本发明实施例提供了一种基于人脸识别的信息生成方法、装置、计算机设备及存储介质，旨在解决现有技术中门头迎宾服务设备需人工编辑或制作，导致效率低下、展现方式单一的问题。

第一方面，本发明实施例提供了一种基于人脸识别的信息生成方法，其包括：

判断是否接收到摄像头所采集的当前用户图像；

若接收到摄像头所采集的当前用户图像，对所述当前用户图像进行人脸识别，得到对应的当前用户身份识别信息；

判断是否存储有与所述当前用户身份识别信息对应的迎宾信息；其中，所述迎宾信息中包括迎宾文本信息、迎宾音频信息、或迎宾视频信息；

若存储有与所述当前用户身份识别信息对应的迎宾信息，将所述迎宾信息发送至对应的显示设备以进行显示；

判断是否接收到摄像头所采集的用户面部图像；

若接收到摄像头所采集的用户面部图像，对所述用户面部图像进行情绪识别，得到对应的当前用户情感信息；

判断所述当前用户情感信息是高兴情绪或是生气情绪；以及

若所述前用户情感信息是高兴情绪，对所述迎宾信息自动增加可保留的标签。

第二方面，本发明实施例提供了一种基于人脸识别的信息生成装置，其包括：

第一图像判断单元，用于判断是否接收到摄像头所采集的当前用户图像；

用户身份识别单元，用于若接收到摄像头所采集的当前用户图像，对所述当前用户图像进行人脸识别，得到对应的当前用户身份识别信息；

迎宾信息判断单元，用于判断是否存储有与所述当前用户身份识别信息对应的迎宾信息；其中，所述迎宾信息中包括迎宾文本信息、迎宾音频信息、或迎宾视频信息；

迎宾信息发送单元，用于若存储有与所述当前用户身份识别信息对应的迎宾信息，将所述迎宾信息发送至对应的显示设备以进行显示；

第二图像判断单元，用于判断是否接收到摄像头所采集的用户面部图像；

情绪识别单元，用于若接收到摄像头所采集的用户面部图像，对所述用户面部图像进行情绪识别，得到对应的当前用户情感信息；

情绪判断单元，用于判断所述当前用户情感信息是高兴情绪或是生气情绪；以及

第一标签设置单元，用于若所述前用户情感信息是高兴情绪，对所述迎宾信息自动增加可保留的标签。

第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于人脸识别的信息生成方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于人脸识别的信息生成方法。

本发明实施例提供了一种基于人脸识别的信息生成方法、装置、计算机设备及存储介质，包括判断是否接收到摄像头所采集的当前用户图像；若接收到摄像头所采集的当前用户图像，对所述当前用户图像进行人脸识别，得到对应的当前用户身份识别信息；判断是否存储有与所述当前用户身份识别信息对应的迎宾信息；其中，所述迎宾信息中包括迎宾文本信息、迎宾音频信息、或迎宾视频信息；若存储有与所述当前用户身份识别信息对应的迎宾信息，将所述迎宾信息发送至对应的显示设备以进行显示；判断是否接收到摄像头所采集的用户面部图像；若接收到摄像头所采集的用户面部图像，对所述用户面部图像进行情绪识别，得到对应的当前用户情感信息；判断所述当前用户情感信息是高兴情绪或是生气情绪；以及若所述前用户情感信息是高兴情绪，对所述迎宾信息自动增加可保留的标签。该方法实现了迎宾信息的生成和部署更加高效，而且能基于用户的情绪识别结果来获取用户对迎宾信息的反馈信息。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于人脸识别的信息生成方法的应用场景示意图；

图2为本发明实施例提供的基于人脸识别的信息生成方法的流程示意图；

图3为本发明实施例提供的基于人脸识别的信息生成方法的子流程示意图；

图4为本发明实施例提供的基于人脸识别的信息生成方法的另一子流程示意图；

图5为本发明实施例提供的基于人脸识别的信息生成装置的示意性框图；

图6为本发明实施例提供的基于人脸识别的信息生成装置的子单元示意性框图；

图7为本发明实施例提供的基于人脸识别的信息生成装置的另一子单元示意性框图；

图8为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1和图2，图1为本发明实施例提供的基于人脸识别的信息生成方法的应用场景示意图；图2为本发明实施例提供的基于人脸识别的信息生成方法的流程示意图，该基于人脸识别的信息生成方法应用于本地终端机中，该方法通过安装于本地终端机中的应用软件进行执行。

如图2所示，该方法包括步骤S110～S180。

S110、判断是否接收到摄像头所采集的当前用户图像。

在本实施例中，通过在需要迎宾的场所设置迎宾系统(例如会展场馆、体育场馆、运动员住所、高级宾馆、饭店、旅游景点等场所)，该迎宾系统至少包括摄像头、显示设备和服务器，本申请是在服务器的角度描述技术方案。其中，服务器中存储的迎宾信息和已采集的海量的人脸图片可以由用户终端(即用户使用的智能手机或平板电脑等终端)上传至服务器，用户终端通过与服务器对应的用户交互界面进行上述上传操作。

在迎宾系统中，摄像头上设置有红外传感器，用于检测到有用户与摄像头之间的间距小于预设的距离阈值(如2-10m)时，采集用户的当前用户图像之后发送至服务器。当服务器接收到当前用户图像后进行人脸识别后若有目标用户存在，则将与该目标用户对应的迎宾信息发送至显示设备进行显示，从而实现迎宾效果。

若摄像头检测到有用户与摄像头之间的间距小于所述距离阈值时，由摄像头采集当前用户图像，将所当前用户图像发送至服务器。

S120、若接收到摄像头所采集的当前用户图像，对所述当前用户图像进行人脸识别，得到对应的当前用户身份识别信息。

在本实施例中，当摄像头上传当前用户图像后，服务器采用人脸识别的1:N模式来判断当前用户图像是否为待迎宾用户对应的人脸图像。

人脸识别做的是1：N的比对，即服务器接收了“我”的一张照片之后，从海量的人像数据库中找到与当前使用者(也即“我”)的人脸数据相符合的图像，并进行匹配，找出来“我是谁”。

在一实施例中，如图3所示，步骤S120包括：

S121、对所述当前用户图像进行灰度校正及噪声过滤，得到预处理后图片；

S122、通过卷积神经网络模型获取与所述预处理后图片对应的特征向量；

S123、将所述当前用户图像对应的特征向量与人脸数据库中已存储的特征模板进行比对，以判断人脸数据库中已存储的特征模板中是否存在与所述当前用户图像对应的特征向量相同的特征模板；

S124、若人脸数据库中已存储的特征模板中存在与所述当前用户图像对应的特征向量相同的特征模板，获取对应的当前用户身份识别信息。

在本实施例中，进行1：N模式的人脸识别的具体步骤如上述步骤S121-S124，对于当前用户图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。服务器获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

在获取所述当前用户图像的特征向量时，先获取与预处理后图片对应的像素矩阵，然后将预处理后图片对应的像素矩阵作为卷积神经网络模型中输入层的输入，得到多个特征图，之后将特征图输入池化层，得到每一特征图对应的最大值所对应一维向量，最后将每一特征图对应的最大值所对应一维向量输入至全连接层，得到与预处理后图片对应的特征向量。

其中，人脸数据库中已存储的特征模板可以是用户主动上传至服务器，也可以是用户在不断使用的过程中，不断新增在历史人脸数据库中不存在的特征模板，从而积累得到人脸数据库中已存储的特征模板。例如待迎宾用户在未到达迎宾现场之前，服务器的管理人员可以先直接将待迎宾用户的头部图像上传至服务器进行特征向量提取，从而得到该待迎宾用户的特征模板，之后将该待迎宾用户的特征模板存储至人脸数据库即可。

人脸识别的1:N模式是即服务器接收了“我”的一张照片之后，从海量的人像数据库中找到与当前使用者(也即“我”)的人脸数据相符合的图像，并进行匹配，找出来“我是谁”，也即上述步骤S121-S124的执行过程。

由于人脸数据库中已存储的特征模板中存储了已采集的海量的人脸图片对应的特征向量，也即每一个人的人脸均对应唯一的特征向量，有了这些海量的特征模板为数据基础后，可以用来确定预处理后图片对应的一个或多个人，从而实现人脸识别。

最后，所得到的用户身份识别信息可以是用户的身份证号，由于每一公民的身份证号是唯一的，可以作为其唯一识别码。

在一实施例中，如图3所示，步骤S123之后还包括：

S125、若人脸数据库中已存储的特征模板中不存在与所述当前用户图像对应的特征向量相同的特征模板，进行未识别到目标用户的提示，执行结束流程的步骤。

在本实施例中，当摄像头所采集的当前用户图像对应的特征向量与人脸数据库中已存储的特征模板君不相同，此时表示当前用户图像对应的用户不是待迎宾用户，此时无需执行后续步骤进行迎宾，此时直接跳转执行结束流程的步骤。

其中，若未接收到摄像头所采集的当前用户图像，等待预设的延迟等待时间，返回执行步骤S110；

也即，当迎宾系统中的摄像头一直未采集到当前用户图像，也就导致了摄像头不能将当前用户图像发送至服务器，此时服务器等待预设的延迟等待时间之后，返回执行步骤S110即可。

S130、判断是否存储有与所述当前用户身份识别信息对应的迎宾信息；其中，所述迎宾信息中包括迎宾文本信息、迎宾音频信息、或迎宾视频信息。

在本实施例中，当识别到当前用户图像对应待迎宾用户，此时需要在服务器中检索是否存储有与所述当前用户身份识别信息对应的迎宾信息；其中，所述迎宾信息中包括迎宾文本信息、迎宾音频信息、或迎宾视频信息。也就是判断服务器中是否存储有预先完成编辑的且与该待迎宾用户对应的迎宾信息，这一判断过程也是为了快速检索到与待迎宾用户对应的个性化定制迎宾信息。

S140、若存储有与所述当前用户身份识别信息对应的迎宾信息，将所述迎宾信息发送至对应的显示设备以进行显示。

在本实施例中，所述迎宾信息中包括迎宾文本信息、迎宾音频信息、或迎宾视频信息，也即所述迎宾信息的具体内容是多种多样的，可以是纯文本的迎宾文本信息(如“欢迎XXX光临”，该迎宾文本信息在显示设备上滚动展示或静止展示)，也可以是迎宾音频信息(如“欢迎XXX光临”，该迎宾音频信息通过显示设备自带的扬声器进行外放，播放总次数、播放周期和播放总时长可以是用户自定义设置)，还可以是迎宾视频信息(如通过显示设备播放通过动画文字的方式及各种背景视频组成的迎宾视频，播放总次数、播放周期和播放总时长可以是用户自定义设置)。除了采用上述三种举例的一种或多种方式组成的信息，还可以是其他更为复杂的迎宾方式，本申请中因篇幅限制不再详细举例。而且，本申请中迎宾信息时因待迎宾用户的具体身份而对应推送至显示设备显示，也即服务器可自动控制显示设备所显示的迎宾信息，所述显示设备并不是一次性使用而是多次重复利用，避免了采用定制带迎宾词的红绸横幅而带来的低效制作过程。

通过将迎宾信息发送至显示设备进行显示后，此时即实现了对待迎宾用户多种展示方式的迎宾，但是为了进一步优化迎宾信息的更新或替换，此时步骤S140之后还需执行用户的情绪识别的步骤。

其中，在服务器中未存储有与所述当前用户身份识别信息对应的迎宾信息，获取预先存储的通用迎宾信息，将所述通用迎宾信息发送至对应的显示设备以进行显示。

即若未针对待迎宾用户设置相应的迎宾信息，此时为了快速展示迎宾信息，此时可获取预先存储的通用迎宾信息，将所述通用迎宾信息发送至对应的显示设备以进行显示。

S150、判断是否接收到摄像头所采集的用户面部图像。

在本实施例中，当摄像头所采集的用户面部图像与步骤S110中的当前用户图像不是同一张图像，而且用户面部图像的采集时间与当前用户图像的采集时间也是不相同的，一般用户面部图像的采集时间是晚于当前用户图像的采集时间(例如用户面部图像的采集时间是在当前用户图像的采集时间的5-10s之后)，也即在完成了由对当前用户图像进行识别而对应显示迎宾信息之后，摄像头再采集一张用户面部图像。

S160、若接收到摄像头所采集的用户面部图像，对所述用户面部图像进行情绪识别，得到对应的当前用户情感信息。

在本实施例中，基于用户面部图像进行情绪识别，是为了进一步判断用户在看到所述迎宾信息后的当前情绪种类。例如若用户看到迎宾信息后是开心的情绪，表示用户对所述迎宾信息的内容很满意；例如若用户看到迎宾信息后是生气的情绪，表示用户对所述迎宾信息的内容不满意；例如若用户看到迎宾信息后是正常的情绪，表示用户对所述迎宾信息的内容为中性的态度。

在一实施例中，所述当前用户身份识别信息和对应的迎宾信息存储于区块链网络中，通过区块链实现信息在不同平台之间的共享。当获取到当前用户身份识别信息时，通过区块链网络中存储的信息查找与当前用户身份识别信息对应的迎宾信息。

区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

在一实施例中，如图4所示，步骤S160包括：

S161、通过预先存储的人脸检测器获取所述用户面部图像中的人脸特征点；

S162、获取将所述用户面部图像中的人脸特征点全部包围的人脸边界框；

S163、获取所述用户面部图像中的人脸特征点中所包括的嘴部特征点集；

S164、获取嘴部特征点集合中最上端的上端嘴部特征点与最下端的下端嘴部特征点之间的纵向坐标间距值，根据纵向坐标间距值与人脸边界框的长度之比，获取对应的用户张嘴程度值；

S165、判断所述用户张嘴程度值是否小于预设的张嘴程度阈值；

S166、若用户张嘴程度值小于所述张嘴程度阈值，将当前用户情感信息的取值置为生气情绪；

S167、若用户张嘴程度值大于或等于所述张嘴程度阈值，将当前用户情感信息的取值置为高兴情绪。

在本实施例中，具体是通过OpenCV(是一个跨平台计算机视觉库，实现了图像处理和计算机视觉方面的很多通用算法)中的人脸检测器来获取所述用户面部图像中的68个人脸特征点。

一般68个人脸特征点中有16-20个嘴部特征点，上述16-20个嘴部特征点组成嘴部特征点集合。其中，16-20个嘴部特征点中每一个嘴部特征点可与人脸边界框均放置于同一个直角坐标系下，此时嘴部特征点集合中最上端的上端嘴部特征点其y值在16-20个嘴部特征点中为最大值，嘴部特征点集合中最下端的下端嘴部特征点其y值在16-20个嘴部特征点中为最小值。

在步骤S166和S167中，通过用户张嘴程度值与预设的张嘴程度阈值的大小关系来确定当前用户情感信息，上述步骤中仅以区分高兴情绪和不高兴情绪为例而具体说明，具体实施时并不限定于仅识别高兴情绪和不高兴情绪。

在一实施例中，步骤S162包括：

调用人脸边界框创建指令，对应创建当前人脸边界框；其中，所述当前人脸边界框的初始边界框为预先设置的初始人脸边界框；

判断所述用户面部图像中的人脸特征点是否均位于当前人脸边界框的框内区域；

若所述用户面部图像中的人脸特征点不是均位于当前人脸边界框的框内区域，将所述初始人脸边界框的长度和宽度均按照预设的扩大比例值进行扩大，以更新当前人脸边界框，返回执行所述判断所述用户面部图像中的人脸特征点是否均位于当前人脸边界框的框内区域的步骤；

若所述用户面部图像中的人脸特征点均位于当前人脸边界框的框内区域，将当前人脸边界框作为将所述用户面部图像中的人脸特征点全部包围的人脸边界框。

在本实施例中，通过逐步放大当前人脸边界框长度和宽度的试探法，即可得到为将所述用户面部图像中的人脸特征点全部包围的人脸边界框。

S170、判断所述当前用户情感信息是高兴情绪或是生气情绪。

在本实施例中，当通过情绪识别获取待迎宾用户的当前用户情感信息后，此时需具体判断该用户的当前情绪是高兴情绪或是生气情绪，从而判断进一步判断用户对所述迎宾信息的满意程度。一般用户看到迎宾信息后是开心的情绪(也即高兴情绪)，表示用户对所述迎宾信息的内容很满意；例如若用户看到迎宾信息后是生气的情绪(也即生气情绪)，表示用户对所述迎宾信息的内容不满意。

S180、若所述前用户情感信息是高兴情绪，对所述迎宾信息自动增加可保留的标签。

在本实施例中，若当前用户情感信息是高兴情绪，表示无需对该用户对应的所述迎宾信息进行修改，直接保留该迎宾信息即可，下次该用户再次来临时，可直接调用该用户对应的迎宾信息进行展示。

在一实施例中，步骤S170之后还包括：

若所述前用户情感信息是生气情绪，对所述迎宾信息自动增加待调整的标签。

在本实施例中，若当前用户情感信息是生气情绪，表示需对该用户对应的所述迎宾信息进行修改，下次该用户再次来临时，可调用该用户对应的修改后的迎宾信息进行展示。

在一实施例中，所述若所述前用户情感信息是生气情绪，对所述迎宾信息自动增加待调整的标签的步骤之后还包括：

调用本地的当前待推荐迎宾信息，将标签为待调整的迎宾信息更新为当前待推荐迎宾信息。

在本实施例中，为了及时的调整各标签为待调整的迎宾信息，此时可以获取服务器中本地的当前待推荐迎宾信息，将标签为待调整的迎宾信息更新为当前待推荐迎宾信息。通过这一方式，能够及时对用户不满意的迎宾信息进行调整。

该方法实现了迎宾信息的生成和部署更加高效，而且能基于用户的情绪识别结果来获取用户对迎宾信息的反馈信息。

本发明实施例还提供一种基于人脸识别的信息生成装置，该基于人脸识别的信息生成装置用于执行前述基于人脸识别的信息生成方法的任一实施例。具体地，请参阅图5，图5是本发明实施例提供的基于人脸识别的信息生成装置的示意性框图。

如图5所示，基于人脸识别的信息生成装置100包括：第一图像判断单元110、用户身份识别单元120、迎宾信息判断单元130、迎宾信息发送单元140、第二图像判断单元150、情绪识别单元160、情绪判断单元170、第一标签设置单元180。

第一图像判断单元110，用于判断是否接收到摄像头所采集的当前用户图像。

在本实施例中，在迎宾系统中，摄像头上设置有红外传感器，用于检测到有用户与摄像头之间的间距小于预设的距离阈值(如2-10m)时，采集用户的当前用户图像之后发送至服务器。当服务器接收到当前用户图像后进行人脸识别后若有目标用户存在，则将与该目标用户对应的迎宾信息发送至显示设备进行显示，从而实现迎宾效果。

若摄像头检测到有用户与摄像头之间的间距小于所述距离阈值时，由摄像头采集当前用户图像，将所当前用户图像发送至服务器。

用户身份识别单元120，用于若接收到摄像头所采集的当前用户图像，对所述当前用户图像进行人脸识别，得到对应的当前用户身份识别信息。

在本实施例中，当摄像头上传当前用户图像后，服务器采用人脸识别的1:N模式来判断当前用户图像是否为待迎宾用户对应的人脸图像。

人脸识别做的是1：N的比对，即服务器接收了“我”的一张照片之后，从海量的人像数据库中找到与当前使用者(也即“我”)的人脸数据相符合的图像，并进行匹配，找出来“我是谁”。

在一实施例中，如图6所示，用户身份识别单元120包括：

图片预处理单元121，用于对所述当前用户图像进行灰度校正及噪声过滤，得到预处理后图片；

特征向量获取单元122，用于通过卷积神经网络模型获取与所述预处理后图片对应的特征向量；

向量比对单元123，用于将所述当前用户图像对应的特征向量与人脸数据库中已存储的特征模板进行比对，以判断人脸数据库中已存储的特征模板中是否存在与所述当前用户图像对应的特征向量相同的特征模板；

用户信息获取单元124，用于若人脸数据库中已存储的特征模板中存在与所述当前用户图像对应的特征向量相同的特征模板，获取对应的当前用户身份识别信息。

在本实施例中，进行1：N模式的人脸识别的具体步骤如上述步骤S121-S124，对于当前用户图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。服务器获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

在获取所述当前用户图像的特征向量时，先获取与预处理后图片对应的像素矩阵，然后将预处理后图片对应的像素矩阵作为卷积神经网络模型中输入层的输入，得到多个特征图，之后将特征图输入池化层，得到每一特征图对应的最大值所对应一维向量，最后将每一特征图对应的最大值所对应一维向量输入至全连接层，得到与预处理后图片对应的特征向量。

其中，人脸数据库中已存储的特征模板可以是用户主动上传至服务器，也可以是用户在不断使用的过程中，不断新增在历史人脸数据库中不存在的特征模板，从而积累得到人脸数据库中已存储的特征模板。例如待迎宾用户在未到达迎宾现场之前，服务器的管理人员可以先直接将待迎宾用户的头部图像上传至服务器进行特征向量提取，从而得到该待迎宾用户的特征模板，之后将该待迎宾用户的特征模板存储至人脸数据库即可。

人脸识别的1:N模式是即服务器接收了“我”的一张照片之后，从海量的人像数据库中找到与当前使用者(也即“我”)的人脸数据相符合的图像，并进行匹配，找出来“我是谁”，也即上述步骤S121-S124的执行过程。

由于人脸数据库中已存储的特征模板中存储了已采集的海量的人脸图片对应的特征向量，也即每一个人的人脸均对应唯一的特征向量，有了这些海量的特征模板为数据基础后，可以用来确定预处理后图片对应的一个或多个人，从而实现人脸识别。

最后，所得到的用户身份识别信息可以是用户的身份证号，由于每一公民的身份证号是唯一的，可以作为其唯一识别码。

在一实施例中，如图6所示，用户身份识别单元120还包括：

匹配失败提示单元125，用于若人脸数据库中已存储的特征模板中不存在与所述当前用户图像对应的特征向量相同的特征模板，进行未识别到目标用户的提示，执行结束流程的步骤。

在本实施例中，当摄像头所采集的当前用户图像对应的特征向量与人脸数据库中已存储的特征模板君不相同，此时表示当前用户图像对应的用户不是待迎宾用户，此时无需执行后续步骤进行迎宾，此时直接跳转执行结束流程的步骤。

其中，若未接收到摄像头所采集的当前用户图像，等待预设的延迟等待时间，返回执行判断是否接收到摄像头所采集的当前用户图像的步骤。

也即，当迎宾系统中的摄像头一直未采集到当前用户图像，也就导致了摄像头不能将当前用户图像发送至服务器，此时服务器等待预设的延迟等待时间之后，返回执行判断是否接收到摄像头所采集的当前用户图像的步骤即可。

迎宾信息判断单元130，用于判断是否存储有与所述当前用户身份识别信息对应的迎宾信息；其中，所述迎宾信息中包括迎宾文本信息、迎宾音频信息、或迎宾视频信息。

在本实施例中，当识别到当前用户图像对应待迎宾用户，此时需要在服务器中检索是否存储有与所述当前用户身份识别信息对应的迎宾信息；其中，所述迎宾信息中包括迎宾文本信息、迎宾音频信息、或迎宾视频信息。也就是判断服务器中是否存储有预先完成编辑的且与该待迎宾用户对应的迎宾信息，这一判断过程也是为了快速检索到与待迎宾用户对应的个性化定制迎宾信息。

迎宾信息发送单元140，用于若存储有与所述当前用户身份识别信息对应的迎宾信息，将所述迎宾信息发送至对应的显示设备以进行显示。

在本实施例中，所述迎宾信息中包括迎宾文本信息、迎宾音频信息、或迎宾视频信息，也即所述迎宾信息的具体内容是多种多样的，可以是纯文本的迎宾文本信息(如“欢迎XXX光临”，该迎宾文本信息在显示设备上滚动展示或静止展示)，也可以是迎宾音频信息(如“欢迎XXX光临”，该迎宾音频信息通过显示设备自带的扬声器进行外放，播放总次数、播放周期和播放总时长可以是用户自定义设置)，还可以是迎宾视频信息(如通过显示设备播放通过动画文字的方式及各种背景视频组成的迎宾视频，播放总次数、播放周期和播放总时长可以是用户自定义设置)。除了采用上述三种举例的一种或多种方式组成的信息，还可以是其他更为复杂的迎宾方式，本申请中因篇幅限制不再详细举例。而且，本申请中迎宾信息时因待迎宾用户的具体身份而对应推送至显示设备显示，也即服务器可自动控制显示设备所显示的迎宾信息，所述显示设备并不是一次性使用而是多次重复利用，避免了采用定制带迎宾词的红绸横幅而带来的低效制作过程。

通过将迎宾信息发送至显示设备进行显示后，此时即实现了对待迎宾用户多种展示方式的迎宾，但是为了进一步优化迎宾信息的更新或替换，此时还需执行用户的情绪识别的步骤。

其中，在服务器中未存储有与所述当前用户身份识别信息对应的迎宾信息，获取预先存储的通用迎宾信息，将所述通用迎宾信息发送至对应的显示设备以进行显示。

即若未针对待迎宾用户设置相应的迎宾信息，此时为了快速展示迎宾信息，此时可获取预先存储的通用迎宾信息，将所述通用迎宾信息发送至对应的显示设备以进行显示。

第二图像判断单元150，用于判断是否接收到摄像头所采集的用户面部图像。

在本实施例中，当摄像头所采集的用户面部图像与第一图像判断单元110中的当前用户图像不是同一张图像，而且用户面部图像的采集时间与当前用户图像的采集时间也是不相同的，一般用户面部图像的采集时间是晚于当前用户图像的采集时间(例如用户面部图像的采集时间是在当前用户图像的采集时间的5-10s之后)，也即在完成了由对当前用户图像进行识别而对应显示迎宾信息之后，摄像头再采集一张用户面部图像。

情绪识别单元160，用于若接收到摄像头所采集的用户面部图像，对所述用户面部图像进行情绪识别，得到对应的当前用户情感信息。

在本实施例中，基于用户面部图像进行情绪识别，是为了进一步判断用户在看到所述迎宾信息后的当前情绪种类。例如若用户看到迎宾信息后是开心的情绪，表示用户对所述迎宾信息的内容很满意；例如若用户看到迎宾信息后是生气的情绪，表示用户对所述迎宾信息的内容不满意；例如若用户看到迎宾信息后是正常的情绪，表示用户对所述迎宾信息的内容为中性的态度。

在一实施例中，如图7所示，情绪识别单元160包括：

人脸特征点获取单元161，用于通过预先存储的人脸检测器获取所述用户面部图像中的人脸特征点；

人脸边界框获取单元162，用于获取将所述用户面部图像中的人脸特征点全部包围的人脸边界框；

嘴部特征点集获取单元163，用于获取所述用户面部图像中的人脸特征点中所包括的嘴部特征点集；

用户张嘴程度值获取单元164，用于获取嘴部特征点集合中最上端的上端嘴部特征点与最下端的下端嘴部特征点之间的纵向坐标间距值，根据纵向坐标间距值与人脸边界框的长度之比，获取对应的用户张嘴程度值；

张嘴程度值比较单元165，用于判断所述用户张嘴程度值是否小于预设的张嘴程度阈值；

生气情绪识别单元166，用于若用户张嘴程度值小于所述张嘴程度阈值，将当前用户情感信息的取值置为生气情绪；

高兴情绪识别单元167，用于若用户张嘴程度值大于或等于所述张嘴程度阈值，将当前用户情感信息的取值置为高兴情绪。

在本实施例中，具体是通过OpenCV(是一个跨平台计算机视觉库，实现了图像处理和计算机视觉方面的很多通用算法)中的人脸检测器来获取所述用户面部图像中的68个人脸特征点。

一般68个人脸特征点中有16-20个嘴部特征点，上述16-20个嘴部特征点组成嘴部特征点集合。其中，16-20个嘴部特征点中每一个嘴部特征点可与人脸边界框均放置于同一个直角坐标系下，此时嘴部特征点集合中最上端的上端嘴部特征点其y值在16-20个嘴部特征点中为最大值，嘴部特征点集合中最下端的下端嘴部特征点其y值在16-20个嘴部特征点中为最小值。

通过用户张嘴程度值与预设的张嘴程度阈值的大小关系来确定当前用户情感信息，上述步骤中仅以区分高兴情绪和不高兴情绪为例而具体说明，具体实施时并不限定于仅识别高兴情绪和不高兴情绪。

在一实施例中，人脸边界框获取单元162包括：

初始边界框创建单元，用于调用人脸边界框创建指令，对应创建当前人脸边界框；其中，所述当前人脸边界框的初始边界框为预先设置的初始人脸边界框；

区域内判断单元，用户判断所述用户面部图像中的人脸特征点是否均位于当前人脸边界框的框内区域；

边界框调整单元，用于若所述用户面部图像中的人脸特征点不是均位于当前人脸边界框的框内区域，将所述初始人脸边界框的长度和宽度均按照预设的扩大比例值进行扩大，以更新当前人脸边界框，返回执行所述判断所述用户面部图像中的人脸特征点是否均位于当前人脸边界框的框内区域的步骤；

边界框选定单元，用于若所述用户面部图像中的人脸特征点均位于当前人脸边界框的框内区域，将当前人脸边界框作为将所述用户面部图像中的人脸特征点全部包围的人脸边界框。

在本实施例中，通过逐步放大当前人脸边界框长度和宽度的试探法，即可得到为将所述用户面部图像中的人脸特征点全部包围的人脸边界框。

情绪判断单元170，用于判断所述当前用户情感信息是高兴情绪或是生气情绪。

在本实施例中，当通过情绪识别获取待迎宾用户的当前用户情感信息后，此时需具体判断该用户的当前情绪是高兴情绪或是生气情绪，从而判断进一步判断用户对所述迎宾信息的满意程度。一般用户看到迎宾信息后是开心的情绪(也即高兴情绪)，表示用户对所述迎宾信息的内容很满意；例如若用户看到迎宾信息后是生气的情绪(也即生气情绪)，表示用户对所述迎宾信息的内容不满意。

第一标签设置单元180，用于若所述前用户情感信息是高兴情绪，对所述迎宾信息自动增加可保留的标签。

在本实施例中，若当前用户情感信息是高兴情绪，表示无需对该用户对应的所述迎宾信息进行修改，直接保留该迎宾信息即可，下次该用户再次来临时，可直接调用该用户对应的迎宾信息进行展示。

在一实施例中，基于人脸识别的信息生成装置100还包括：

第二标签设置单元，用于若所述前用户情感信息是生气情绪，对所述迎宾信息自动增加待调整的标签。

在本实施例中，若当前用户情感信息是生气情绪，表示需对该用户对应的所述迎宾信息进行修改，下次该用户再次来临时，可调用该用户对应的修改后的迎宾信息进行展示。

在一实施例中，基于人脸识别的信息生成装置100还包括：

推荐迎宾信息更新单元，用于调用本地的当前待推荐迎宾信息，将标签为待调整的迎宾信息更新为当前待推荐迎宾信息。

在本实施例中，为了及时的调整各标签为待调整的迎宾信息，此时可以获取服务器中本地的当前待推荐迎宾信息，将标签为待调整的迎宾信息更新为当前待推荐迎宾信息。通过这一方式，能够及时对用户不满意的迎宾信息进行调整。

该装置实现了迎宾信息的生成和部署更加高效，而且能基于用户的情绪识别结果来获取用户对迎宾信息的反馈信息。

上述基于人脸识别的信息生成装置可以实现为计算机程序的形式，该计算机程序可以在如图8所示的计算机设备上运行。

请参阅图8，图8是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图8，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于人脸识别的信息生成方法。

该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于人脸识别的信息生成方法。

该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图8中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的基于人脸识别的信息生成方法。

本领域技术人员可以理解，图8中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图8所示实施例一致，在此不再赘述。

应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的基于人脸识别的信息生成方法。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于人脸识别的信息生成方法，其特征在于，包括：

判断是否接收到摄像头所采集的当前用户图像；

若接收到摄像头所采集的当前用户图像，对所述当前用户图像进行人脸识别，得到对应的当前用户身份识别信息；

判断是否存储有与所述当前用户身份识别信息对应的迎宾信息；其中，所述迎宾信息中包括迎宾文本信息、迎宾音频信息、或迎宾视频信息；

若存储有与所述当前用户身份识别信息对应的迎宾信息，将所述迎宾信息发送至对应的显示设备以进行显示；

判断是否接收到摄像头所采集的用户面部图像；

若接收到摄像头所采集的用户面部图像，对所述用户面部图像进行情绪识别，得到对应的当前用户情感信息；

判断所述当前用户情感信息是高兴情绪或是生气情绪；以及

若所述前用户情感信息是高兴情绪，对所述迎宾信息自动增加可保留的标签。

2.根据权利要求1所述的基于人脸识别的信息生成方法，其特征在于，所述对所述当前用户图像进行人脸识别，得到对应的当前用户身份识别信息，包括：

对所述当前用户图像进行灰度校正及噪声过滤，得到预处理后图片；

通过卷积神经网络模型获取与所述预处理后图片对应的特征向量；

将所述当前用户图像对应的特征向量与人脸数据库中已存储的特征模板进行比对，以判断人脸数据库中已存储的特征模板中是否存在与所述当前用户图像对应的特征向量相同的特征模板；

若人脸数据库中已存储的特征模板中存在与所述当前用户图像对应的特征向量相同的特征模板，获取对应的当前用户身份识别信息。

3.根据权利要求1所述的基于人脸识别的信息生成方法，其特征在于，所述对所述用户面部图像进行情绪识别，得到对应的当前用户情感信息，包括：

通过预先存储的人脸检测器获取所述用户面部图像中的人脸特征点；

获取将所述用户面部图像中的人脸特征点全部包围的人脸边界框；

获取所述用户面部图像中的人脸特征点中所包括的嘴部特征点集；

获取嘴部特征点集合中最上端的上端嘴部特征点与最下端的下端嘴部特征点之间的纵向坐标间距值，根据纵向坐标间距值与人脸边界框的长度之比，获取对应的用户张嘴程度值；

判断所述用户张嘴程度值是否小于预设的张嘴程度阈值；

若用户张嘴程度值小于所述张嘴程度阈值，将当前用户情感信息的取值置为生气情绪；

若用户张嘴程度值大于或等于所述张嘴程度阈值，将当前用户情感信息的取值置为高兴情绪。

4.根据权利要求3所述的基于人脸识别的信息生成方法，其特征在于，所述获取将所述用户面部图像中的人脸特征点全部包围的人脸边界框，包括：

调用人脸边界框创建指令，对应创建当前人脸边界框；其中，所述当前人脸边界框的初始边界框为预先设置的初始人脸边界框；

判断所述用户面部图像中的人脸特征点是否均位于当前人脸边界框的框内区域；

若所述用户面部图像中的人脸特征点不是均位于当前人脸边界框的框内区域，将所述初始人脸边界框的长度和宽度均按照预设的扩大比例值进行扩大，以更新当前人脸边界框，返回执行所述判断所述用户面部图像中的人脸特征点是否均位于当前人脸边界框的框内区域的步骤；

若所述用户面部图像中的人脸特征点均位于当前人脸边界框的框内区域，将当前人脸边界框作为将所述用户面部图像中的人脸特征点全部包围的人脸边界框。

5.根据权利要求2所述的基于人脸识别的信息生成方法，其特征在于，所述将所述当前用户图像对应的特征向量与人脸数据库中已存储的特征模板进行比对，以判断人脸数据库中已存储的特征模板中是否存在与所述当前用户图像对应的特征向量相同的特征模板之后，还包括：

若人脸数据库中已存储的特征模板中不存在与所述当前用户图像对应的特征向量相同的特征模板，进行未识别到目标用户的提示，执行结束流程的步骤。

6.根据权利要求1所述的基于人脸识别的信息生成方法，其特征在于，所述判断所述当前用户情感信息是高兴情绪或是生气情绪之后，还包括：

若所述前用户情感信息是生气情绪，对所述迎宾信息自动增加待调整的标签；

调用本地的当前待推荐迎宾信息，将标签为待调整的迎宾信息更新为当前待推荐迎宾信息。

7.根据权利要求1所述的基于人脸识别的信息生成方法，其特征在于，所述当前用户身份识别信息和对应的迎宾信息存储于区块链网络中。

8.一种基于人脸识别的信息生成装置，其特征在于，包括：

第一图像判断单元，用于判断是否接收到摄像头所采集的当前用户图像；

用户身份识别单元，用于若接收到摄像头所采集的当前用户图像，对所述当前用户图像进行人脸识别，得到对应的当前用户身份识别信息；

迎宾信息判断单元，用于判断是否存储有与所述当前用户身份识别信息对应的迎宾信息；其中，所述迎宾信息中包括迎宾文本信息、迎宾音频信息、或迎宾视频信息；

迎宾信息发送单元，用于若存储有与所述当前用户身份识别信息对应的迎宾信息，将所述迎宾信息发送至对应的显示设备以进行显示；

第二图像判断单元，用于判断是否接收到摄像头所采集的用户面部图像；

情绪识别单元，用于若接收到摄像头所采集的用户面部图像，对所述用户面部图像进行情绪识别，得到对应的当前用户情感信息；

情绪判断单元，用于判断所述当前用户情感信息是高兴情绪或是生气情绪；以及

第一标签设置单元，用于若所述前用户情感信息是高兴情绪，对所述迎宾信息自动增加可保留的标签。

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于人脸识别的信息生成方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于人脸识别的信息生成方法。

Images