CN110807395A - 一种基于用户行为的信息交互方法、装置及设备 - Google Patents

Abstract

本说明书实施例公开了一种基于用户行为的信息交互方法、装置及设备，所述方法包括：获取视频中的一帧或多帧图像，然后，可以提取所述图像所对应的一个或多个特征值，将所述特征值输入到预定的行为模型中，判断所述图像中是否包含特定的用户行为信息，如果所述图像中包含特定的用户行为信息，则输出与所述用户行为信息相对应的交互响应。

Description

一种基于用户行为的信息交互方法、装置及设备

技术领域

本文件涉及计算机技术领域，尤其涉及一种基于用户行为的信息交互方法、装置及设备。

背景技术

人脸识别技术因为其识别率的越来越高和应用的便利性而得到了越来越广泛的应用，例如，在视频监控、访问控制、智能身份证等方面的应用。目前，随着摄像头的普及，越来越多的场景如无人值守的自助类商业场景、安防场景都需要在用户无感知的情况下，识别出出现在摄像头中的用户的身份等。

目前，基于IoT设备的面部识别应用越来越多，通常的交互方式是屏幕具有一个显示摄像组件拍摄的图像的区域，用户对着摄像组件进行面部识别，在实际过程中，会发现有些用户会面对面部识别机具做一些个性化互动，例如做剪刀手的手势、做睁大眼睛的表情、做鬼脸等，而面部识别机具往往与该用户之间没有任何互动，从而导致用户使用上述场景中的人脸识别机具的次数减少，从而造成人脸识别对应的场景或机具的使用率低下。为此，需要提供一种应用于面部识别中对用户的某个或某些行为进行互动的处理机制。

发明内容

本说明书实施例的目的是提供一种基于用户行为的信息交互方法、装置及设备，以提供一种应用于面部识别中对用户的某个或某些行为进行互动的处理机制。

为了实现上述技术方案，本说明书实施例是这样实现的：

本说明书实施例提供的一种基于用户行为的信息交互方法，所述方法包括：

获取视频中的一帧或多帧图像；

提取所述图像所对应的一个或多个特征值；

将所述特征值输入到预定的行为模型中，判断所述图像中是否包含特定的用户行为信息；

如果所述图像中包含特定的用户行为信息，则输出与所述用户行为信息相对应的交互响应。

可选地，所述将所述特征值输入到预定的行为模型中，判断所述图像中是否包含特定的用户行为信息，包括：

将所述特征值输入到预定的行为模型中，得到与所述特征值相匹配的行为模型；

获取与所述特征值相匹配的行为模型对应的用户行为信息，并将获取的用户行为信息识别为所述图像中包含的用户行为信息。

可选地，所述输出与所述用户行为信息相对应的交互响应，包括：

输出所述图像中包含的用户行为信息相对应的提示音；和/或，

将所述视频对应的界面调整为预定界面。

可选地，所述方法还包括：

获取用于表征预定用户行为信息的一帧或多帧样本图像；

提取所述样本图像所对应的一个或多个特征值；

基于提取的所述样本图像所对应的一个或多个特征值对所述预定用户行为信息对应的行为模型进行训练，得到训练后的行为模型。

可选地，所述图像中包括深度图像、红外图像和RGB图像中的一种或多种。

可选地，所述特征值是基于所述一帧或多帧图像中包含的预定行为序列的信息确定，和/或，基于所述一帧或多帧图像中的图像包含的预定行为的信息确定。

可选地，所述特定的用户行为信息包括用户面部表情的信息、用户手势动作的信息和除面部表情和手势动作之外的用户其它肢体动作的信息中的一种或多种。

本说明书实施例提供的一种基于用户行为的信息交互装置，所述装置包括：

图像获取模块，获取视频中的一帧或多帧图像；

特征提取模块，提取所述图像所对应的一个或多个特征值；

识别模块，将所述特征值输入到预定的行为模型中，判断所述图像中是否包含特定的用户行为信息；

响应输出模块，如果所述图像中包含特定的用户行为信息，则输出与所述用户行为信息相对应的交互响应。

可选地，所述识别模块，包括：

匹配单元，将所述特征值输入到预定的行为模型中，得到与所述特征值相匹配的行为模型；

识别单元，获取与所述特征值相匹配的行为模型对应的用户行为信息，并将获取的用户行为信息识别为所述图像中包含的用户行为信息。

可选地，所述装置还包括：

样本图像获取模块，获取用于表征预定用户行为信息的一帧或多帧样本图像；

样本特征提取模块，提取所述样本图像所对应的一个或多个特征值；

训练模块，基于提取的所述样本图像所对应的一个或多个特征值对所述预定用户行为信息对应的行为模型进行训练，得到训练后的行为模型。

可选地，所述特征值是基于所述一帧或多帧图像中包含的预定行为序列的信息确定，和/或，基于所述一帧或多帧图像中的图像包含的预定行为的信息确定。

本说明书实施例提供的一种基于用户行为的信息交互设备，所述基于用户行为的信息交互设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

获取视频中的一帧或多帧图像；

提取所述图像所对应的一个或多个特征值；

将所述特征值输入到预定的行为模型中，判断所述图像中是否包含特定的用户行为信息；

如果所述图像中包含特定的用户行为信息，则输出与所述用户行为信息相对应的交互响应。

由以上本说明书实施例提供的技术方案可见，本说明书实施例通过获取视频中的一帧或多帧图像，并通过该图像对应的特征值和预定的行为模型，识别该图像中包含的用户行为信息，进而输出与该图像中包含的用户行为信息相对应的交互响应，这样，通过一帧或多帧图像和预定的行为模型，可以判定出用户当前是否进行预定的行为，判定出用户当前所做的预定行为属于哪种行为，得到相应的用户行为信息，并以此进行响应，从而可以对用户的行为进行实时响应，提高用户在如进行面部识别等应用中的趣味性，提高了面部识别机具的使用率。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一种基于用户行为的信息交互方法实施例；

图2为本说明书一种面部识别机具与用户构成的系统的结构示意图；

图3为本说明书另一种基于用户行为的信息交互方法实施例；

图4为本说明书一种基于用户行为的信息交互装置实施例；

图5为本说明书一种基于用户行为的信息交互设备实施例。

具体实施方式

本说明书实施例提供一种基于用户行为的信息交互方法、装置及设备。

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件保护的范围。

实施例一

如图1所示，本说明书实施例提供一种基于用户行为的信息交互方法，执行主体可以为用于人脸识别的机具或服务器，其中，该机具可以是一个独立终端设备，并可以与相应的服务器相连接，该机具具体如自助收银机具、自助售卖机具或自动柜员机等。该服务器可以是某项业务(如进行交易的业务等)的后台服务器，也可以是某应用(如金融类应用等)的后台服务器等。该方法可以用于在面部识别的过程中对用户的指定行为进行响应等处理中。该方法具体可以包括以下步骤：

在步骤S102中，获取视频中的一帧或多帧图像。

其中，一帧或多帧图像可以是包含用户面部、手势和肢体动作等的相关特征的图像，用户面部的相关特征可以包括如眼睛的相关特征、眉毛的相关特征、鼻子的相关特征、耳朵的相关特征和口部的相关特征中的一种或多种等。

在实施中，人脸识别技术因为其识别率的越来越高和应用的便利性而得到了越来越广泛的应用，例如，在视频监控、访问控制、智能身份证等方面的应用。目前，随着摄像头的普及，越来越多的场景如无人值守的自助类商业场景、安防场景都需要在用户无感知的情况下，识别出出现在摄像头中的用户的身份等。

目前，基于IoT设备的面部识别应用越来越多，通常的交互方式是屏幕具有一个显示摄像组件拍摄的图像的区域，用户对着摄像组件进行面部识别，在实际过程中，会发现有些用户会面对面部识别机具做一些个性化互动，例如做剪刀手的手势、做睁大眼睛的表情、做鬼脸等，而面部识别机具往往与该用户之间没有任何互动，从而导致用户使用上述场景中的人脸识别机具的次数减少，从而造成人脸识别对应的场景或机具的使用率低下。在实际应用中，在终端上，存在一些对识别到的面部的某些位置(如头部、眼睛、耳朵等)添加一些个性化元素(如帽子、眼镜等)。但是上述处理方式对于用户来说存在预期的结果，即只要面部在摄像组件前就会有上述的相应反馈，并且没有针对特殊动作或行为的识别。为此，本说明书实施例提供一种应用于面部识别中对用户的某个或某些行为进行互动的处理机制，本说明书实施例提供一种上述处理机制，具体可以包括以下内容：

以无人值守的自助类商业场景(如人脸自助结算场景或人脸售卖场景等)为例，则上述视频可以是进行面部识别的过程中采集的视频等。当用户在某线下商场完成购物时，可以携带购买的商品到人脸结算机具处进行结算，该人脸结算机具中可以设置有结算按键。如图2所示，当用户需要对购买的商品进行结算时，可以点击该结算按键以触发人脸结算机具对该目标用户进行面部识别处理，此时，人脸结算机具可以启动摄像组件(如摄像头等)，摄像组件可以对预定区域进行摄像，通常，对用户的包含面部的图像采集需要持续一定的时长(如3秒钟或5秒钟等)，在上述时长内，摄像组件可以摄制用户的视频，从而可以得到摄像组件摄制的视频流，该视频流中会包含一定数量(如100帧～150帧等)的视频图像帧。其中，摄像组件可以包括多种，例如摄像组件可以由深度摄像组件、红外摄像组件和RGB摄像组件中的一种或多种构成，对于摄像组件由多种不同的摄像组件构成的情况，摄像组件可以分别通过相应的摄像组件拍摄相应的视频，例如摄像组件由深度摄像组件和红外摄像组件构成，则摄像组件可以同时获取用户面部的深度视频图像帧和红外视频图像帧等。此外，摄像组件的摄像区域可以根据实际情况设定，此外，由于需要对目标用户进行面部、手势和其它肢体动作等的识别，因此，摄像组件的摄像区域可以是包含用户的面部所在的区域，例如人脸结算机具顶部的斜下方区域或人脸结算机具的正前方区域等。

考虑到摄像组件摄制的视频流中包含的图像较多，为了减少人脸识别机具的处理压力，可以从摄像组件摄制的视频流中选取包含信息量较多一个图像或多个连续的图像(在实际应用中，也可以是多个不连续的图像，此处仅是以多个连续的图像为例进行说明)进行分析。其中，从视频流中选取一个图像或多个连续的图像的方式可以包括多种，例如可以根据视频流中包含的特征，获取一个包含该特征的图像，或者，获取多个包含该特征，以及该特征相关的特征的，在时间上连续的图像。

在步骤S104中，提取上述图像所对应的一个或多个特征值。

在实施中，针对获取的多帧图像的情况，可以对多帧图像中的每一帧图像进行特征提取或多帧图像中选取的多帧图像分别进行特征提取，提取的特征可以包括如眼睛、眉毛、鼻子、手部、耳朵和口部等中的一个或多个部位的特征，以及面部的整体样式或姿态的相关特征等，每一帧图像可以对应一个特征或一组特征，而对一组特征的情况，每组特征可以对应有一组特征值，相应的，多帧图像可以对应有多组特征，每一组特征可以对应有一组特征值，而多组特征可以组成特征组，多组特征对应的特征值可以组成特征值组。

在步骤S106中，将上述特征值输入到预定的行为模中，判断上述图像中是否包含特定的用户行为信息。

其中，行为模型可以是用于识别用户的某一种或多种不同行为的模型，例如，第一行为模型可以用于识别用户做剪刀手手势动作的模型，第二行为模型可以用于识别用户睁大眼睛行为和张开嘴行为的模型等。用户行为信息可以是用户做出的某一种或多种不同的行为的相关信息，如行为的标识(如名称)等，具体如剪刀手手势动作的标识(如名称)等或睁大眼睛行为的标识(如名称)等，即特定的用户行为信息可以包括用户面部表情的信息、用户手势动作的信息和除面部表情和手势动作之外的用户其它肢体动作的信息中的一种或多种。

在实施中，为了准确判断当前用户的行为属于哪一种行为，或者，判断当前用户的行为是否为某特定的行为，可以预先设定多种不同的用户行为信息对应的行为模型，不同的行为模型可以使用不同的样本数据进行训练，例如，对于用于识别用户做剪刀手手势动作的行为模型，可以获取一个带有剪刀手手势动作的图像，或者，连续的多个剪刀手手势动作的图像(如从用户准备做剪刀手手势动作开始到用户完成剪刀手手势动作为止的时间段内的多个连续的图像等)，可以获取一个或多个上述单个图像和/或多组上述连续的多个图像，并可以将获取的上述图像组成为训练样本，并可以对上述训练样本进行特征提取，得到每个图像对应的一组特征值，可以使用得到的一个或多个特征值训练用于识别用户做剪刀手手势动作的行为模型，得到训练后的行为模型。然后，可以基于上述处理方式对不同用户行为信息对应的行为模型进行训练，得到多种不同的用户行为信息对应的行为模型。

可以通过行为模型对用户的行为进行分析，具体地，通过上述步骤S104的处理得到一帧或多帧图像对应的特征值后，可以将该特征值(也可以是上述多个特征值构成的特征值组等)输入到多个不同行为模型中的每一个行为模型中，从而得到该图像所对应的特征值与每一个行为模型的匹配度，基于得到的匹配度，获取匹配度大于预定匹配度阈值，且匹配度数值最大的行为模型，可以获取该行为模型的用户行为信息，可以将获取的用户行为信息作为该图像所对应的特征值所对应的用户行为信息或该图像对应的用户行为信息。其中，该图像所对应的特征值与每一个行为模型的匹配度可以通过多种方式确定，例如，可以将该图像所对应的特征值输入到每一个行为模型中，得到相应的匹配度数值等，具体可以根据实际情况设定相应的处理方式，本说明书实施例对此不做限定。

例如，可以分别建立用于识别用户做剪刀手手势动作的模型，以及用于识别用户睁大眼睛行为和张开嘴行为的模型，然后，可以将该图像所对应的特征值输入到上述两个行为模型中，得到用于识别用户做剪刀手手势动作的模型对应的匹配度数值和用于识别用户睁大眼睛行为和张开嘴行为的模型对应的匹配度数值。获取上述两个匹配度数值中的最大值，如果得到的最大值大于预定匹配度阈值，则可以将该最大值对应的行为模型的用户行为信息作为该图像对应的用户行为信息，如上述最大值对应的行为模型为用于识别用户做剪刀手手势动作的模型，则相应的用户行为信息可以为剪刀手。

在步骤S108中，如果上述图像中包含特定的用户行为信息，则输出与该用户行为信息相对应的交互响应。

其中，交互响应可以是进行面部识别的机具与进行面部识别的用户之间进行交互的响应，交互响应可以通过多种方式实现，例如交互响应可以是基于声音的响应，也可以是基于文本信息的响应，还可以是基于视频或图像等的响应，本说明书实施例对此不做限定。

在实施中，针对不同的用户行为信息可以设定不同的交互响应，例如，用户行为信息为剪刀手，则相应的交互响应可以是进行面部识别的机具发出指定的提示音等，用户行为信息为睁大眼睛，则相应的交互响应可以是进行面部识别的机具当前的显示界面颜色变为指定颜色等，本说明书实施例对此不做限定。

本说明书实施例提供一种基于用户行为的信息交互方法，通过获取视频中的一帧或多帧图像，并通过该图像对应的特征值和预定的行为模型，识别该图像中包含的用户行为信息，进而输出与该图像中包含的用户行为信息相对应的交互响应，这样，通过一帧或多帧图像和预定的行为模型，可以判定出用户当前是否进行预定的行为，判定出用户当前所做的预定行为属于哪种行为，得到相应的用户行为信息，并以此进行响应，从而可以对用户的行为进行实时响应，提高用户在如进行面部识别等应用中的趣味性，提高了面部识别机具的使用率。

实施例二

如图3所示，本说明书实施例提供一种基于用户行为的信息交互方法，执行主体可以为用于人脸识别的机具或服务器，其中，该机具可以是一个独立终端设备，并可以与相应的服务器相连接，该机具具体如自助收银机具、自助售卖机具或自动柜员机等。该服务器可以是某项业务(如进行交易的业务等)的后台服务器，也可以是某应用(如金融类应用等)的后台服务器等。该方法可以用于在面部识别的过程中对用户的指定行为进行响应等处理中。该方法具体可以包括以下步骤：

在步骤S302中，获取用于表征预定用户行为信息的一帧或多帧样本图像。

其中，多帧样本图像中可以包括深度图像、红外图像和RGB图像中的一种或多种。

在实施中，当触发对用户的面部识别时，可以根据实际情况获取该用户的不同种类的面部图像，例如，通过机具上的深度摄像头获取该用户的深度图像、通过机具上的红外摄像头获取该用户的红外图像和通过机具上的摄像头获取该用户的RGB图像中的一种或多种，可以从上述获取的不同种类的图像中选取包含预定用户行为的图像，并可以将上述选取的图像作为用于表征预定用户行为信息的图像，其中，如果选取的图像为一帧图像，即该图像中可以包含预定用户行为，如剪刀手或睁大眼睛等，如果选取的图像为连续的多帧图像，即连续的多帧图像可以构成预定的用户行为序列该图像中可以包含预定用户行为，如从用户准备做剪刀手手势动作开始到用户完成剪刀手手势动作为止的用户行为等。

需要说明的是，可以通过多种方式触发对用户的面部识别，在人脸识别的应用场景中，用于人脸识别的机具中可以设置有摄像头、显示屏等，并且该机具中还可以设置有面部识别的按键，当用户(即目标用户)需要进行人脸识别时(如进行购物或结算时)，可以点击显示屏中用于面部识别的按键，此时，该机具可以监测到目标用户的点击操作，可以生成面部识别指令。通过面部识别指令，可以启动该机具的摄像头等摄像组件，并触发对目标用户的面部识别。

触发对目标用户的面部识别可以包括多种不同的方式，以下还提供两种可选的方式，具体可以参见下述方式一和方式二。

方式一，当检测到用户进入预定识别区域时，触发对用户的面部识别。

在实施中，如图2所示，用于人脸识别的机具的摄像等摄像组件可以保持开启状态，并采集预定识别区域或预定识别位置的人脸图像，当用户需要进行人脸识别时(如进行购物或结算时)，可以进入上述预定识别区域或预定识别位置，此时，机具可以检测到该用户进入预定识别区域，机具可以启动对该用户的面部识别。

方式二，当检测到用户进入预定识别区域，且在预定识别区域内停留的时长超过预定时长时，触发对用户的面部识别。

其中，预定时长可以是任意时长，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在实施中，如图2所示，用于人脸识别的机具的摄像等摄像组件可以保持开启状态，并采集预定识别区域或预定识别位置的人脸图像，当用户需要进行人脸识别时，可以进入上述预定识别区域或预定识别位置，为了减少对用户的误识别，该用户刚刚进入预定识别区域时，机具可以不对该用户进行面部识别，当该用户在预定识别区域内停留的时长超过预定时长，机具可以启动对用户的面部识别。

在步骤S304中，提取样本图像所对应的一个或多个特征值。

在实施中，可以对样本图像中的每一帧样本图像进行特征提取或样本图像中选取的多帧样本图像分别进行特征提取，提取的特征可以包括如眼睛、眉毛、鼻子、手部、耳朵、口部和其它肢体部位等中的一个或多个部位的特征，以及面部的整体样式或姿态的相关特征等，每一帧样本图像可以对应一组特征，一组特征可以对应有一组特征值，相应的，多帧样本图像可以对应有多组特征，每一组特征可以对应有一组特征值，而多组特征可以组成特征组，多组特征对应的特征值可以组成特征值组，从而得到样本图像对应的特征值。

在步骤S306中，基于提取的样本图像所对应的一个或多个特征值对预定用户行为信息对应的行为模型进行训练，得到训练后的行为模型。

在实施中，上述得到的样本图像对应的特征值可以是分类存储的，可以根据其所对应的用户行为信息进行分类存储，如可以将剪刀手对应的特征值(或上述的特征值组)划分为一类，将睁大眼睛对应的特征值划分为一类等。可以基于不同类别的特征值分别设计相应的行为模型或算法，然后，可以基于不同类别的特征值分别训练相应的行为模型或算法，得到训练后的行为模型。例如，可以获取并存储剪刀手对应的特征值，并可以获取并存储睁大眼睛对应的特征值，然后，可以基于剪刀手对应的特征值训练剪刀手对应的行为模型，并可以基于睁大眼睛对应的特征值训练睁大眼睛对应的行为模型，分别得到训练后的剪刀手对应的行为模型和训练后的睁大眼睛对应的行为模型。

在步骤S308中，获取视频中的一帧或多帧图像。

其中，该视频可以是进行面部识别的过程中采集的视频。多帧图像中包括深度图像、红外图像和RGB图像中的一种或多种。

上述步骤S308的处理可以参见上述实施例一中步骤S102中的相关内容，在此不再赘述。

在步骤S310中，提取上述图像所对应的一个或多个特征值。

其中，特征值可以是基于一帧或多帧图像中包含的预定行为序列的信息确定，和/或，基于一帧或多帧图像中的图像包含的预定行为的信息确定。预定行为序列可以如从用户准备做剪刀手手势动作开始到用户完成剪刀手手势动作为止的过程中用户行为动作的序列等。

上述实施例一中步骤S106的处理可以多种多样，以下提供一种可选的处理方式，具体可以包括以下步骤S312和步骤S314的处理。

在步骤S312中，将上述特征值输入到预定的行为模型中，得到与该特征值相匹配的行为模型。

在实施中，通过上述步骤S310的处理得到一帧或多帧图像对应的特征值后，可以将一帧或多帧图像对应的特征值输入到预先训练的多个不同的行为模型中的每一个行为模型中，分别得到每一个行为模型输出的与相应的行为模型相匹配的概率值，可以比较得到的概率值，将最大的概率值对应的行为模型作为与一帧或多帧图像所对应的特征值相匹配的行为模型。

在步骤S314中，获取与特征值相匹配的行为模型对应的用户行为信息，并将获取的用户行为信息识别为该图像中包含的用户行为信息。

在步骤S316中，输出上述图像中包含的用户行为信息相对应的提示音；和/或，将上述视频对应的界面调整为预定界面。

其中，提示音可以是任意内容的提示音，如蜂鸣音、预定内容的语音等。本说明书实施例中，上述视频对应的界面可以是进行面部识别的界面。预定页面可以是预先设定的任意页面，例如上述视频对应的界面为进行面部识别的界面，则可以使得进行面部识别的界面的内容不变，边框的颜色调整为预定颜色(如红色或蓝色等)，或者，与进行面部识别的界面不同的另一个界面等。

本说明书实施例提供一种基于用户行为的信息交互方法，通过获取视频中的一帧或多帧图像，并通过该图像对应的特征值和预定的行为模型，识别该图像中包含的用户行为信息，进而输出与该图像中包含的用户行为信息相对应的交互响应，这样，通过一帧或多帧图像和预定的行为模型，可以判定出用户当前是否进行预定的行为，判定出用户当前所做的预定行为属于哪种行为，得到相应的用户行为信息，并以此进行响应，从而可以对用户的行为进行实时响应，提高用户在如进行面部识别等应用中的趣味性，提高了面部识别机具的使用率。另外，可以识别用户在进行面部识别的过程中的特殊行为序列，而不是单单是识别出面部的特定区域(如眼睛或耳朵等)，此外，在对用户行为信息进行响应的过程中不存在预期的反馈信息(即在何时何处出现某种反馈等)，而是提供更多的偶发响应，具有响应多样性。

实施例三

以上为本说明书实施例提供的基于用户行为的信息交互方法，基于同样的思路，本说明书实施例还提供一种基于用户行为的信息交互装置，如图4所示。

该基于用户行为的信息交互装置包括：图像获取模块401、特征提取模块402、识别模块403和响应输出模块404，其中：

图像获取模块401，获取视频中的一帧或多帧图像；

特征提取模块402，提取所述图像所对应的一个或多个特征值；

识别模块403，将所述特征值输入到预定的行为模型中，判断所述图像中是否包含特定的用户行为信息；

响应输出模块404，如果所述图像中包含特定的用户行为信息，则输出与所述用户行为信息相对应的交互响应。

本说明书实施例中，所述识别模块403，包括：

匹配单元，将所述特征值输入到预定的行为模型中，得到与所述特征值相匹配的行为模型；

识别单元，获取与所述特征值相匹配的行为模型对应的用户行为信息，并将获取的用户行为信息识别为所述图像中包含的用户行为信息。

本说明书实施例中，所述响应输出模块，输出所述图像中包含的用户行为信息相对应的提示音；和/或，将所述视频对应的界面调整为预定界面。

本说明书实施例中，所述装置还包括：

样本图像获取模块，获取用于表征预定用户行为信息的一帧或多帧样本图像；

样本特征提取模块，提取所述样本图像所对应的一个或多个特征值；

训练模块，基于提取的所述样本图像所对应的一个或多个特征值对所述预定用户行为信息对应的行为模型进行训练，得到训练后的行为模型。

本说明书实施例中，所述图像中包括深度图像、红外图像和RGB图像中的一种或多种。

本说明书实施例中，所述特征值是基于所述一帧或多帧图像中包含的预定行为序列的信息确定，和/或，基于所述一帧或多帧图像中的图像包含的预定行为的信息确定。

本说明书实施例中，所述特定的用户行为信息包括用户面部表情的信息、用户手势动作的信息和除面部表情和手势动作之外的用户其它肢体动作的信息中的一种或多种。

本说明书实施例提供一种基于用户行为的信息交互装置，通过获取视频中的一帧或多帧图像，并通过该图像对应的特征值和预定的行为模型，识别该图像中包含的用户行为信息，进而输出与该图像中包含的用户行为信息相对应的交互响应，这样，通过一帧或多帧图像和预定的行为模型，可以判定出用户当前是否进行预定的行为，判定出用户当前所做的预定行为属于哪种行为，得到相应的用户行为信息，并以此进行响应，从而可以对用户的行为进行实时响应，提高用户在如进行面部识别等应用中的趣味性，提高了面部识别机具的使用率。另外，可以识别用户在进行面部识别的过程中的特殊行为序列，而不是单单是识别出面部的特定区域(如眼睛或耳朵等)，此外，在对用户行为信息进行响应的过程中不存在预期的反馈信息(即在何时何处出现某种反馈等)，而是提供更多的偶发响应，具有响应多样性。

实施例四

以上为本说明书实施例提供的基于用户行为的信息交互装置，基于同样的思路，本说明书实施例还提供一种基于用户行为的信息交互设备，如图5所示。

所述基于用户行为的信息交互设备可以为上述实施例提供的用于人脸识别的机具或服务器。

基于用户行为的信息交互设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器501和存储器502，存储器502中可以存储有一个或一个以上存储应用程序或数据。其中，存储器502可以是短暂存储或持久存储。存储在存储器502的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对基于用户行为的信息交互设备中的一系列计算机可执行指令。更进一步地，处理器501可以设置为与存储器502通信，在基于用户行为的信息交互设备上执行存储器502中的一系列计算机可执行指令。基于用户行为的信息交互设备还可以包括一个或一个以上电源503，一个或一个以上有线或无线网络接口504，一个或一个以上输入输出接口505，一个或一个以上键盘506。

具体在本实施例中，基于用户行为的信息交互设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对基于用户行为的信息交互设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

获取视频中的一帧或多帧图像；

提取所述图像所对应的一个或多个特征值；

将所述特征值输入到预定的行为模型中，判断所述图像中是否包含特定的用户行为信息；

如果所述图像中包含特定的用户行为信息，则输出与所述用户行为信息相对应的交互响应。

本说明书实施例中，所述将所述特征值输入到预定的行为模型中，判断所述图像中是否包含特定的用户行为信息，包括：

将所述特征值输入到预定的行为模型中，得到与所述特征值相匹配的行为模型；

获取与所述特征值相匹配的行为模型对应的用户行为信息，并将获取的用户行为信息识别为所述图像中包含的用户行为信息。

本说明书实施例中，所述输出与所述用户行为信息相对应的交互响应，包括：

输出所述图像中包含的用户行为信息相对应的提示音；和/或，

将所述视频对应的界面调整为预定界面。

本说明书实施例中，还包括：

获取用于表征预定用户行为信息的一帧或多帧样本图像；

提取所述样本图像所对应的一个或多个特征值；

基于提取的所述样本图像所对应的一个或多个特征值对所述预定用户行为信息对应的行为模型进行训练，得到训练后的行为模型。

本说明书实施例中，所述图像中包括深度图像、红外图像和RGB图像中的一种或多种。

本说明书实施例中，所述特征值是基于所述一帧或多帧图像中包含的预定行为序列的信息确定，和/或，基于所述一帧或多帧图像中的图像包含的预定行为的信息确定。

本说明书实施例中，所述特定的用户行为信息包括用户面部表情的信息、用户手势动作的信息和除面部表情和手势动作之外的用户其它肢体动作的信息中的一种或多种。

本说明书实施例提供一种基于用户行为的信息交互设备，通过获取视频中的一帧或多帧图像，并通过该图像对应的特征值和预定的行为模型，识别该图像中包含的用户行为信息，进而输出与该图像中包含的用户行为信息相对应的交互响应，这样，通过一帧或多帧图像和预定的行为模型，可以判定出用户当前是否进行预定的行为，判定出用户当前所做的预定行为属于哪种行为，得到相应的用户行为信息，并以此进行响应，从而可以对用户的行为进行实时响应，提高用户在如进行面部识别等应用中的趣味性，提高了面部识别机具的使用率。另外，可以识别用户在进行面部识别的过程中的特殊行为序列，而不是单单是识别出面部的特定区域(如眼睛或耳朵等)，此外，在对用户行为信息进行响应的过程中不存在预期的反馈信息(即在何时何处出现某种反馈等)，而是提供更多的偶发响应，具有响应多样性。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书的实施例是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程基于用户行为的信息交互设备的处理器以产生一个机器，使得通过计算机或其他可编程基于用户行为的信息交互设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程基于用户行为的信息交互设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程基于用户行为的信息交互设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (12)

1.一种基于用户行为的信息交互方法，所述方法包括：

获取视频中的一帧或多帧图像；

提取所述图像所对应的一个或多个特征值；

将所述特征值输入到预定的行为模型中，判断所述图像中是否包含特定的用户行为信息；

如果所述图像中包含特定的用户行为信息，则输出与所述用户行为信息相对应的交互响应。

2.根据权利要求1所述的方法，所述将所述特征值输入到预定的行为模型中，判断所述图像中是否包含特定的用户行为信息，包括：

将所述特征值输入到预定的行为模型中，得到与所述特征值相匹配的行为模型；

获取与所述特征值相匹配的行为模型对应的用户行为信息，并将获取的用户行为信息识别为所述图像中包含的用户行为信息。

3.根据权利要求1所述的方法，所述输出与所述用户行为信息相对应的交互响应，包括：

输出所述图像中包含的用户行为信息相对应的提示音；和/或，

将所述视频对应的界面调整为预定界面。

4.根据权利要求1所述的方法，所述方法还包括：

获取用于表征预定用户行为信息的一帧或多帧样本图像；

提取所述样本图像所对应的一个或多个特征值；

基于提取的所述样本图像所对应的一个或多个特征值对所述预定用户行为信息对应的行为模型进行训练，得到训练后的行为模型。

5.根据权利要求1所述的方法，所述图像中包括深度图像、红外图像和RGB图像中的一种或多种。

6.根据权利要求1所述的方法，所述特征值是基于所述一帧或多帧图像中包含的预定行为序列的信息确定，和/或，基于所述一帧或多帧图像中的图像包含的预定行为的信息确定。

7.根据权利要求1-6中任一项所述的方法，所述特定的用户行为信息包括用户面部表情的信息、用户手势动作的信息和除面部表情和手势动作之外的用户其它肢体动作的信息中的一种或多种。

8.一种基于用户行为的信息交互装置，所述装置包括：

图像获取模块，获取视频中的一帧或多帧图像；

特征提取模块，提取所述图像所对应的一个或多个特征值；

识别模块，将所述特征值输入到预定的行为模型中，判断所述图像中是否包含特定的用户行为信息；

响应输出模块，如果所述图像中包含特定的用户行为信息，则输出与所述用户行为信息相对应的交互响应。

9.根据权利要求8所述的装置，所述识别模块，包括：

匹配单元，将所述特征值输入到预定的行为模型中，得到与所述特征值相匹配的行为模型；

识别单元，获取与所述特征值相匹配的行为模型对应的用户行为信息，并将获取的用户行为信息识别为所述图像中包含的用户行为信息。

10.根据权利要求8所述的装置，所述装置还包括：

样本图像获取模块，获取用于表征预定用户行为信息的一帧或多帧样本图像；

样本特征提取模块，提取所述样本图像所对应的一个或多个特征值；

训练模块，用于基于提取的所述样本图像所对应的一个或多个特征值对所述预定用户行为信息对应的行为模型进行训练，得到训练后的行为模型。

11.根据权利要求8所述的装置，所述特征值是基于所述一帧或多帧图像中包含的预定行为序列的信息确定，和/或，基于所述一帧或多帧图像中的图像包含的预定行为的信息确定。

12.一种基于用户行为的信息交互设备，所述基于用户行为的信息交互设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

获取视频中的一帧或多帧图像；

提取所述图像所对应的一个或多个特征值；

将所述特征值输入到预定的行为模型中，判断所述图像中是否包含特定的用户行为信息；

如果所述图像中包含特定的用户行为信息，则输出与所述用户行为信息相对应的交互响应。

Images