CN109241815B - 用户行为的检测方法、装置及机器人 - Google Patents

Abstract

本发明实施例提供一种用户行为的检测方法、装置及机器人，该用户行为的检测方法包括：确定待检测图像；通过手势分类模型检测待检测图像中目标对象的手势信息；并通过用餐情景分类模型检测待检测图像中目标对象对应的餐桌上的当前食物信息；之后，再根据目标对象的手势信息和当前食物信息确定目标对象的当前行为。本发明实施例提供的用户行为的检测方法、装置及机器人，通过目标对象的手势信息和当前食物信息确定目标对象的当前行为，实现对目标对象行为的自动识别，从而提高了目标对象的沟通效率。

Description

用户行为的检测方法、装置及机器人

技术领域

本发明涉及机器人技术领域，尤其涉及一种用户行为的检测方法、装置及机器人。

背景技术

现有的餐饮服务主要是传统的人为引导，服务员根据用户需求引导客户入座，点餐，用餐，买单等，这就需要保证每个相对独立的服务区都需要有专门的服务员来了解客户的需求，并提供相应的服务。

然而，当服务员的人手不够，或者用餐高峰期人流量过多时，客户的需求就不能及时被响应，从而导致沟通效率不高。

发明内容

本发明提供一种用户行为的检测方法、装置及机器人，实现了对目标对象行为的自动识别，从而提高了目标对象的沟通效率。

第一方面，本发明实施例提供一种用户行为的检测方法，该用户行为的检测方法可以包括：

确定待检测图像；

通过手势分类模型检测所述待检测图像中目标对象的手势信息；

通过用餐情景分类模型检测所述待检测图像中所述目标对象对应的餐桌上的当前食物信息；

根据所述目标对象的手势信息和所述当前食物信息确定所述目标对象的当前行为。

在一种可能的实现方式中，所述根据所述目标对象的手势信息和所述当前食物信息确定所述目标对象的当前行为之前，还包括：

通过所述用餐情景分类模型检测所述待检测图像中所述目标对象对应的餐桌的当前人数；

所述根据所述目标对象的手势信息和所述当前食物信息确定所述目标对象的当前行为，包括：

根据所述目标对象的手势信息、所述当前食物信息及所述当前人数确定所述目标对象的当前行为。

在一种可能的实现方式中，所述根据所述目标对象的手势信息、所述当前食物信息及所述当前人数确定所述目标对象的当前行为，包括：

将所述当前食物信息和所述当前人数与目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较，确定所述目标对象的用餐状态；其中，所述目标对象的用餐状态包括准备用餐状态、正在用餐状态或用餐完成状态中的任一种；

根据所述目标对象的手势信息和所述目标对象的用餐状态确定所述目标对象的当前行为。

在一种可能的实现方式中，所述将所述当前食物信息和所述当前人数与目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较，确定所述目标对象的用餐状态，包括：

当所述待检测图像中所述目标对象对应的餐桌上和所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上均无食物信息，所述待检测图像中所述目标对象对应的餐桌上的当前人数大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时，确定所述目标对象的用餐状态为所述准备用餐状态。

在一种可能的实现方式中，所述将所述当前食物信息和所述当前人数与目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较，确定所述目标对象的用餐状态，包括：

当所述待检测图像中所述目标对象对应的餐桌上的食物信息的种类大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息的种类，且所述待检测图像中所述目标对象对应的餐桌上的当前人数大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时，确定所述目标对象的用餐状态为所述正在用餐状态。

在一种可能的实现方式中，所述将所述当前食物信息和所述当前人数与目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较，确定所述目标对象的用餐状态，包括：

在预设时间段内，当所述待检测图像中所述目标对象对应的餐桌上的食物信息的种类与所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息的种类相同，且所述待检测图像中所述目标对象对应的餐桌上的当前人数等于或小于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时，确定所述目标对象的用餐状态为所述用餐完成状态。

在一种可能的实现方式中，所述根据所述目标对象的手势信息、所述当前食物信息及所述当前人数确定所述目标对象的当前行为之后，还包括：

根据所述目标对象的当前行为，及目标对象的行为与服务操作之间的映射关系，为所述目标对象提供相应的服务操作。

在一种可能的实现方式中，所述服务操作至少包括下述任一种：

传送菜单和/或餐具操作、打包操作和/或协助买单操作。

第二方面，本发明实施例提供一种用户行为的检测装置，该用户行为的检测装置可以包括：

确定单元，用于确定待检测图像；

检测单元，用于通过手势分类模型检测所述待检测图像中目标对象的手势信息；

所述检测单元，还用于通过用餐情景分类模型检测所述待检测图像中所述目标对象对应的餐桌上的当前食物信息；

所述确定单元，还用于根据所述目标对象的手势信息和所述当前食物信息确定所述目标对象的当前行为。

在一种可能的实现方式中，所述检测单元，还用于通过所述用餐情景分类模型检测所述待检测图像中所述目标对象对应的餐桌的当前人数；

所述确定单元，具体用于根据所述目标对象的手势信息、所述当前食物信息及所述当前人数确定所述目标对象的当前行为。

在一种可能的实现方式中，所述确定单元，具体用于将所述当前食物信息和所述当前人数与目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较，确定所述目标对象的用餐状态；其中，所述目标对象的用餐状态包括准备用餐状态、正在用餐状态或用餐完成状态中的任一种；并根据所述目标对象的手势信息和所述目标对象的用餐状态确定所述目标对象的当前行为。

在一种可能的实现方式中，所述确定单元，具体用于当所述待检测图像中所述目标对象对应的餐桌上和所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上均无食物信息，所述待检测图像中所述目标对象对应的餐桌上的当前人数大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时，确定所述目标对象的用餐状态为所述准备用餐状态。

在一种可能的实现方式中，所述确定单元，具体用于当所述待检测图像中所述目标对象对应的餐桌上的食物信息的种类大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息的种类，且所述待检测图像中所述目标对象对应的餐桌上的当前人数大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时，确定所述目标对象的用餐状态为所述正在用餐状态。

在一种可能的实现方式中，所述确定单元，具体用于在预设时间段内，当所述待检测图像中所述目标对象对应的餐桌上的食物信息的种类与所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息的种类相同，且所述待检测图像中所述目标对象对应的餐桌上的当前人数等于或小于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时，确定所述目标对象的用餐状态为所述用餐完成状态。

在一种可能的实现方式中，该用户行为的检测装置还可以包括提供单元；

提供单元，用于根据所述目标对象的当前行为，及目标对象的行为与服务操作之间的映射关系，为所述目标对象提供相应的服务操作。

在一种可能的实现方式中，所述服务操作至少包括下述任一种：

传送菜单和/或餐具操作、打包操作和/或协助买单操作。

第三方面，本发明实施例提供一种机器人，该机器人可以包括处理器和存储器，其中，

所述存储器用于存储程序指令；

所述处理器用于读取所述存储器中的程序指令，并根据所述存储器中的程序指令执行上述第一方面任一项所示的用户行为的检测方法。

第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，在所述计算机程序被处理器执行时，执行上述第一方面任一项所示的用户行为的检测方法。

本发明实施例提供的用户行为的检测方法、装置及机器人，在确定待检测图像之后，通过手势分类模型检测待检测图像中目标对象的手势信息；并通过用餐情景分类模型检测待检测图像中目标对象对应的餐桌上的当前食物信息；之后，再根据目标对象的手势信息和当前食物信息确定目标对象的当前行为，实现了对目标对象行为的自动识别，与现有技术相比，无需等待服务员获取目标对象的当前行为，从而提高了目标对象的沟通效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1为本发明实施例提供的一种应用场景的示意图；

图2为本发明实施例提供的一种用户行为检测的示意图；

图3为本发明实施例提供的一种用户行为的检测方法的流程示意图；

图4为本申请实施例提供的一种根据深度卷积神经网络建立手势分类模型的示意图；

图5为本发明实施例提供的另一种用户行为的检测方法的流程示意图；

图6为本发明实施例提供的又一种用户行为的检测方法的流程示意图；

图7为本发明实施例提供的一种用户行为的检测装置的结构示意图；

图8为本发明实施例提供的另一种用户行为的检测装置的结构示意图；

图9为本发明实施例提供的一种机器人的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供的用户行为的检测方法可以应用于餐厅，示例的，请参见图1所示，图1为本发明实施例提供的一种应用场景的示意图，以餐厅中客户A在餐厅用餐为例，机器人通过对客户A的当前行为进行检测并识别，从而根据客户A的当前行为为该客户提供相应的服务。示例的，请参见图2所示，图2为本发明实施例提供的一种用户行为检测的示意图，在对用户的当前行为进行检测之前，机器人需要先对训练样本库中的样本图像进行训练引擎，提取样本图像中的特征图，并与预先标注的进行比较分类，从而建立手势分类模型和用餐情景分类模型；在手势分类模型和用餐情景分类模型建立之后，机器人就可以通过手势分类模型检测待检测图像中客户A的手势信息；通过用餐情景分类模型检测待检测图像中客户A对应的餐桌上的当前食物信息；之后，再根据客户A的手势信息和当前食物信息确定客户A的当前行为，从而实现了对客户A行为的自动识别，与现有技术相比，无需等待服务员获取客户A的当前行为，进而提高了客户A的沟通效率。

下面以具体的实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图3为本发明实施例提供的一种用户行为的检测方法的流程示意图，该用户行为的检测方法可以由用户行为的检测装置执行，该用户行为的检测装置可以独立设置，也可以集成在处理器中，该处理器可以设置在机器人中。示例的，请参见图3所示，该用户行为的检测方法可以包括：

S301、确定待检测图像。

其中，待检测图像可以理解为一段视频中的最后一帧图像，可以理解为倒数第二帧的图像，当然，也可以理解为倒数第三帧的图像，只要根据该帧图像能够确定用户的当前行为即可。

当目标对象进入监测区域(例如餐厅)之后，餐厅中的摄像头会追踪并拍摄该目标对象，生成该目标对象对应的视频，并将该视频发送给机器人，使得机器人获取到该目标对象对应的视频。在获取到该目标对象对应的视频之后，机器人若要检测该目标对象的当前行为，需要先确定视频中的待检测图像，之后，再执行下述S302-S304：

S302、通过手势分类模型检测待检测图像中目标对象的手势信息。

示例的，手势信息可以包括招手或者非招手中的任一个。当目标对象的手势信息为招手时，说明该目标对象当前需要帮助；当目标对象的手势信息为非招手时，说明该目标对象当前不需要帮助。

可选的，在本发明实施例中，S302通过手势分类模型确定待检测图像中目标对象的手势信息之前，还可以包括：根据深度卷积神经网络对样本图像进行训练，得到手势分类模型。具体的，请参见图4所示，图4为本申请实施例提供的一种根据深度卷积神经网络建立手势分类模型的示意图，深度卷积神经网络的结构可以由卷积层、池化层及全连接层等构成。在确定深度卷积神经网络的结构之后，可以先获取一些包括手势的样本图像，这些样本图像中每一个样本图像中都标注有手势和该手势对应的含义；在获取到这些样本图像之后，对这些样本图像进行预处理，得到满足预设格式的样本图像(例如，预设格式为256*256*3)；将满足预设格式的样本图像输入至卷积层，得到样本图像对应的多个特征图；并将得到的多个特征图输入至池化层，得到泛化后的多个特征图，泛化后的多个特征图的鲁棒性较好；最后，再将泛化后的多个特征图输入至全连接层进行比较和分类，从而得到手势分类模型。此外，需要说明的是，在得到手势分类模型之后，还可以根据训练样本和得到的手势分类模型进行迭代训练，从而得到准确度更高的手势分类模型。

机器人在根据深度卷积神经网络对样本图像进行训练，得到手势分类模型之后，就可以根据训练得到的手势分类模型对待检测图像进行检测，从而得到检测待检测图像中目标对象的手势信息。可选的，手势分类模型的输出手势信息可以为手势的分类标签，该分类标签可以从0开始设置，也可以从1开始设置，当然，也可以从其他值开始设置。示例的，当手势分类模型输出的分类标签为1时，对应的手势信息可以为招手；当手势分类模型输出的分类标签为1时，对应的手势信息可以为非招手。

S303、通过用餐情景分类模型检测待检测图像中目标对象对应的餐桌上的当前食物信息。

示例的，目标对象对应的餐桌上的当前食物信息可以包括食物的种类和/或每一种食物的剩余量。

可选的，S303通过用餐情景分类模型检测待检测图像中目标对象对应的餐桌上的当前食物信息之前，还可以包括：根据深度卷积神经网络对样本图像进行训练，得到用餐情景分类模型。

需要说明的是，在本发明实施例中，可以采用区域卷积神经网络(Regions withConvolutional Neural Networks，简称RCNN)、用户多类别的单次对象检测器(SingleShot MultiBox Detector，简称SSD)或掩码区域卷积神经网络(Mask RegionConvolutional Neural Networks，简称Mask RCNN)等物体分割模型对待检测图像进行分割，再根据深度卷积神经网络对样本图像进行训练，得到用餐情景分类模型的方法，且根据深度卷积神经网络对样本图像进行训练，得到用餐情景分类模型的方法与上述S302中根据深度卷积神经网络对样本图像进行训练，得到手势分类模型的方法类似，可参考上述S302中的相关描述，在此，本发明实施例不再进行赘述。

机器人在根据深度卷积神经网络对样本图像进行训练，得到用餐情景分类模型之后，就可以根据训练得到的用餐情景分类模型对待检测图像进行检测，从而得到检测待检测图像中目标对象对应的餐桌上的当前食物信息。

S304、根据目标对象的手势信息和当前食物信息确定目标对象的当前行为。

示例的，目标对象的行为可以为需要菜单和/或餐具、可以为需要打包和/或协助买单等。在此，本发明实施例只是以目标对象的行为可以为这几种情况为例进行说明，但并不代表本发明实施例仅局限于此。

在通过上述S302确定待检测图像中目标对象的手势信息，及通过上述S303获取到检测图像中目标对象对应的餐桌上的当前食物信息之后，就可以根据该目标对象的手势信息和当前食物信息确定目标对象的当前行为，实现了对目标对象行为的自动识别，与现有技术相比，无需等待服务员获取目标对象的当前行为，从而提高了目标对象的沟通效率。

示例的，若通过手势分类模型检测到目标对象的手势信息为招手，且通过用餐情景分类模型检测待检测图像中目标对象对应的餐桌上的食物的剩余量较少，且在一段时间内没有发生变化，则说明该目标对象当前可能需要买单，从而可以根据该目标对象的手势信息和当前食物信息确定目标对象的当前行为为需要买单。与现有技术相比，实现了对目标对象行为的自动识别，与现有技术相比，无需等待服务员获取目标对象的当前行为，从而提高了目标对象的沟通效率。

本发明实施例提供的用户行为的检测方法，在确定待检测图像之后，通过手势分类模型检测待检测图像中目标对象的手势信息；并通过用餐情景分类模型检测待检测图像中目标对象对应的餐桌上的当前食物信息；之后，再根据目标对象的手势信息和当前食物信息确定目标对象的当前行为，实现了对目标对象行为的自动识别，与现有技术相比，无需等待服务员获取目标对象的当前行为，从而提高了目标对象的沟通效率。

基于图3所示的实施例，在本发明实施例中，为了更清楚地说明本发明实施例所示的用户行为的检测方法的技术方案，请参见图5所示，图5为本发明实施例提供的另一种用户行为的检测方法的流程示意图，该用户行为的检测方法还可以包括：

S501、确定待检测图像。

其中，待检测图像可以理解为一段视频中的最后一帧图像，可以理解为倒数第二帧的图像，当然，也可以理解为倒数第三帧的图像，只要根据该帧图像能够确定用户的当前行为即可。

S502、通过手势分类模型检测待检测图像中目标对象的手势信息。

示例的，手势信息可以包括招手或者非招手中的任一个。当目标对象的手势信息为招手时，说明该目标对象当前需要帮助；当目标对象的手势信息为非招手时，说明该目标对象当前不需要帮助。

S503、通过用餐情景分类模型检测待检测图像中目标对象对应的餐桌上的当前食物信息。

示例的，目标对象对应的餐桌上的当前食物信息可以包括食物的种类和/或每一种食物的剩余量。

需要说明的是，在本发明实施例中，该S501-S503与上述图1所示的实施例1中的S301-S303相同，可参见上述S301-S303中的描述，在此，本发明实施例不再进行赘述。

S504、通过用餐情景分类模型检测待检测图像中目标对象对应的餐桌的当前人数。

其中，待检测图像中目标对象对应的餐桌的当前人数可以为0个，也可以为一个或多个。

S505、将当前食物信息和当前人数与目标对象的前一个用餐状态中目标对象对应的餐桌上的食物信息和人数进行比较，确定目标对象的用餐状态。

其中，目标对象的用餐状态包括准备用餐状态、正在用餐状态或用餐完成状态中的任一种。

示例的，在本发明实施例中，以用餐状态分为三种情况为例，在第一种情况中，用餐状态为准备用餐状态；在第二种情况中，用餐状态为正在用餐状态；在第三种情况中，用餐状态为用餐完成状态。下面针对这三种情况，将详细描述如何将当前食物信息和当前人数与目标对象的前一个用餐状态中目标对象对应的餐桌上的食物信息和人数进行比较，确定目标对象的用餐状态。

在第一种情况中，可选的，当待检测图像中目标对象对应的餐桌上和目标对象的前一个用餐状态中目标对象对应的餐桌上均无食物信息，待检测图像中目标对象对应的餐桌上的当前人数大于目标对象的前一个用餐状态中目标对象对应的餐桌上的人数时，确定目标对象的用餐状态为准备用餐状态。

具体的，当待检测图像中目标对象对应的餐桌上和目标对象的前一个用餐状态中目标对象对应的餐桌上均无食物信息时，说明该目标对象刚来到餐厅并选择餐桌准备用餐，当待检测图像中目标对象对应的餐桌上的当前人数大于目标对象的前一个用餐状态中目标对象对应的餐桌上的人数时，说明该目标对象的朋友或家人刚就坐并准备和目标对象一起用餐，此时，可以确定目标对象的用餐状态为准备用餐状态。

当然，也可以通过其他方式确定目标对象的用餐状态为准备用餐状态，例如，若目标对象的前一个用餐状态不存在，且待检测图像中目标对象的餐桌上的当前人数非0时，同样可以说明该目标对象刚来到餐厅，且选择餐桌准备用餐，从而确定目标对象的用餐状态为准备用餐状态。需要说明的是，对于如何确定目标对象的用餐状态是否为准备用餐状态，本发明实施例只是以这两种可能的实现方式为例进行说明，但并不代表本发明实施例仅局限于此。

在第二种情况中，可选的，当待检测图像中目标对象对应的餐桌上的食物信息的种类大于目标对象的前一个用餐状态中目标对象对应的餐桌上的食物信息的种类，且待检测图像中目标对象对应的餐桌上的当前人数大于目标对象的前一个用餐状态中目标对象对应的餐桌上的人数时，确定目标对象的用餐状态为正在用餐状态。

具体的，当待检测图像中目标对象对应的餐桌上的食物信息的种类大于目标对象的前一个用餐状态中目标对象对应的餐桌上的食物信息的种类时，说明该目标对象刚点了新的食物，当待检测图像中目标对象对应的餐桌上的当前人数大于目标对象的前一个用餐状态中目标对象对应的餐桌上的人数时，说明该餐桌上有新的对象加入，此时，可以确定目标对象的用餐状态为正在用餐状态。

当然，也可以单独根据待检测图像中目标对象对应的餐桌上的食物信息的种类或待检测图像中目标对象对应的餐桌上的当前人数确定目标对象的用餐状态为正在用餐状态。具体的，当根据待检测图像中目标对象对应的餐桌上的食物信息的种类时，若待检测图像中目标对象对应的餐桌上的食物信息的种类大于目标对象的前一个用餐状态中目标对象对应的餐桌上的食物信息的种类，说明该目标对象刚点了新的食物，并正在用餐，从而确定目标对象的用餐状态为正在用餐状态。当根据待检测图像中目标对象对应的餐桌上的当前人数确定目标对象的用餐状态时，若待检测图像中目标对象对应的餐桌上的当前人数大于目标对象的前一个用餐状态中目标对象对应的餐桌上的人数，说明有新的对象加入，该目标对象可能需要新添加食物，以和新加入的对象继续用餐，从而确定目标对象的用餐状态为正在用餐状态。需要说明的是，对于如何确定目标对象的用餐状态是否为正在用餐状态，本发明实施例只是以这三种可能的实现方式为例进行说明，但并不代表本发明实施例仅局限于此。

在第三种情况中，可选的，在预设时间段内，当待检测图像中目标对象对应的餐桌上的食物信息的种类与目标对象的前一个用餐状态中目标对象对应的餐桌上的食物信息的种类相同，且待检测图像中目标对象对应的餐桌上的当前人数等于或小于目标对象的前一个用餐状态中目标对象对应的餐桌上的人数时，确定目标对象的用餐状态为用餐完成状态。

其中，预设时间段可以为40分钟，也可以为50分钟，当然，也可以为60分钟，具体可以根据实际需要进行设置，在此，对于预设时间段具体为多久，本发明实施例不做具体限制。

具体的，在预设时间段内，当待检测图像中目标对象对应的餐桌上的食物信息的种类与目标对象的前一个用餐状态中目标对象对应的餐桌上的食物信息的种类相同，说明在该预设时间段内，该目标对象没有新的食物加入，且待检测图像中目标对象对应的餐桌上的当前人数等于目标对象的前一个用餐状态中目标对象对应的餐桌上的人数，说明该目标对象用餐完毕，可能正在与其他对象交谈，此时，可以确定目标对象的用餐状态为用餐完毕状态。或者，在预设时间段内，当待检测图像中目标对象对应的餐桌上的食物信息的种类与目标对象的前一个用餐状态中目标对象对应的餐桌上的食物信息的种类相同，说明在该预设时间段内，该目标对象没有新的食物加入，且待检测图像中目标对象对应的餐桌上的当前人数小于目标对象的前一个用餐状态中目标对象对应的餐桌上的人数，说明已经有对象吃完离开，此时也可以确定目标对象的用餐状态为用餐完毕状态。需要说明的是，对于如何确定目标对象的用餐状态是否为用餐完毕状态，本发明实施例只是以这种可能的实现方式为例进行说明，但并不代表本发明实施例仅局限于此。

在分别确定目标对象的手势信息和目标对象的用餐状态之后，就可以执行下述S506：

S506、根据目标对象的手势信息和目标对象的用餐状态确定目标对象的当前行为。

具体的，当确定目标对象的手势信息为招手，且该目标对象的用餐状态为准备用餐状态，说明该目标对象可能需要菜单点餐和/需要餐具，因此可以确定目标对象的当前行为需要菜单和/或餐具。当确定目标对象的手势信息为招手，且该目标对象的用餐状态为正在用餐状态，说明该目标对象可能需要加餐或加餐具，因此可以确定目标对象的当前行为需要菜单和/或餐具。当确定目标对象的手势信息为招手，且该目标对象的用餐状态为用餐完毕状态，说明该目标对象可能需要打包和/或协助买单，因此可以确定目标对象的当前行为需要打包和/或协助买单，实现了对目标对象行为的自动识别，与现有技术相比，无需等待服务员获取目标对象的当前行为，从而提高了目标对象的沟通效率。此外，需要说明的是，当确定目标对象的手势信息为非招手时，说明该目标对象当前不要任何服务，可以无需确定目标对象的当前行为。

需要说明的是，在本发明实施例中，S506根据目标对象的手势信息、当前食物信息及当前人数确定目标对象的当前行为之后，还可以根据该目标对象的当前行为为该目标对象提供相应的服务操作，示例的，请参见图6所示，图6为本发明实施例提供的又一种用户行为的检测方法的流程示意图，该用户行为的检测方法还可以包括：

S601、根据目标对象的当前行为，及目标对象的行为与服务操作之间的映射关系，为目标对象提供相应的服务操作。

可选的，服务操作至少包括下述任一种：传送菜单和/或餐具操作、打包操作和/或协助买单操作。对应的，目标对象的行为与服务操作之间的映射关系可以包括：当目标对象的当前行为为需要菜单和/或餐具时，对应的服务操作为传送菜单和/或餐具操作；当然，当目标对象的当前行为为需要打包和/或协助买单时，对应的服务操作为打包操作和/或协助买单操作。

机器人在分别确定目标对象的当前行为之后，就可以根据目标对象的当前行为，及目标对象的行为与服务操作之间的映射关系，确定为目标对象提供相应的服务操作，与现有技术相比，无需等待服务员为目标对象提供服务操作，而是机器人对目标对象行为自动识别，并根据识别的结果为该目标对象提供相应的服务操作，从而提高了服务效率。

在实际应用过程中，以目标对象为张三为例，当张三进入餐厅时，餐厅内的摄像头会追踪并拍摄张三，生成相应的视频，并将该视频发送给机器人，机器人在接收到该视频之后，通过预先建立的手势分类模型检测视频中待检测图像张三的手势信息，并通过用餐情景分类模型检测所述待检测图像中张三对应的餐桌的当前人数，若张三的餐桌的当前人数非0，说明张三准备在该餐桌上用餐，则确定张三的用餐状态为准备用餐状态；此时若张三的手势信息为招手，说明张三的当前行为为需要菜单和/或餐具；在识别到张三的当前行为为为需要菜单和/或餐具之后，机器人就会执行为张三传送菜单和/或餐具的操作，张三拿到菜单后点了食物A和食物B，之后，张三进入用餐状态；若在后续的某一帧图像中检测到张三的餐桌上的食物为食物A和食物B，且当前人数为2个时，说明与之前相比有新的对象(例如李四)加入，此时若张三的手势信息为招手，说明张三的当前行为为需要菜单和/或餐具，在识别到张三的当前行为为为需要菜单和/或餐具之后，机器人就会执行为张三传送菜单和/或餐具的操作，张三拿到菜单之后，新添加了食物C和食物D，之后，张三和李四继续用餐；若在一个小时之内，餐桌上的食物种类与之前相同，即还是食物A、食物B、食物C及食物D，说明张三和李四再没有新加食物，且当前只有张三一个人时，说明李四可能已经离开，此时若张三的手势信息为招手，说明张三的当前行为为需要打包和/或协助买单，在识别到张三的当前行为为为需要打包和/或协助买单之后，机器人就会执行为张三提供打包和/或协助买单的操作，与现有技术相比，无需等待服务员为目标对象提供服务操作，而是机器人对目标对象行为自动识别，并根据识别的结果为该目标对象提供相应的服务操作，从而提高了服务效率。

图7为本发明实施例提供的一种用户行为的检测装置70的结构示意图，请参见图7所示，该用户行为的检测装置70可以包括：

确定单元701，用于确定待检测图像。

检测单元702，用于通过手势分类模型检测待检测图像中目标对象的手势信息。

检测单元702，还用于通过用餐情景分类模型检测待检测图像中目标对象对应的餐桌上的当前食物信息。

确定单元701，还用于根据目标对象的手势信息和当前食物信息确定目标对象的当前行为。

可选的，检测单元702，还用于通过用餐情景分类模型检测待检测图像中目标对象对应的餐桌的当前人数。

确定单元701，具体用于根据目标对象的手势信息、当前食物信息及当前人数确定目标对象的当前行为。

可选的，确定单元701，具体用于将当前食物信息和当前人数与目标对象的前一个用餐状态中目标对象对应的餐桌上的食物信息和人数进行比较，确定目标对象的用餐状态；其中，目标对象的用餐状态包括准备用餐状态、正在用餐状态或用餐完成状态中的任一种；并根据目标对象的手势信息和目标对象的用餐状态确定目标对象的当前行为。

可选的，确定单元701，具体用于当待检测图像中目标对象对应的餐桌上和目标对象的前一个用餐状态中目标对象对应的餐桌上均无食物信息，待检测图像中目标对象对应的餐桌上的当前人数大于目标对象的前一个用餐状态中目标对象对应的餐桌上的人数时，确定目标对象的用餐状态为准备用餐状态。

可选的，确定单元701，具体用于当待检测图像中目标对象对应的餐桌上的食物信息的种类大于目标对象的前一个用餐状态中目标对象对应的餐桌上的食物信息的种类，且待检测图像中目标对象对应的餐桌上的当前人数大于目标对象的前一个用餐状态中目标对象对应的餐桌上的人数时，确定目标对象的用餐状态为正在用餐状态。

可选的，确定单元701，具体用于在预设时间段内，当待检测图像中目标对象对应的餐桌上的食物信息的种类与目标对象的前一个用餐状态中目标对象对应的餐桌上的食物信息的种类相同，且待检测图像中目标对象对应的餐桌上的当前人数等于或小于目标对象的前一个用餐状态中目标对象对应的餐桌上的人数时，确定目标对象的用餐状态为用餐完成状态。

可选的，该用户行为的检测装置70还可以包括提供单元703，请参见图8所示，图8为本发明实施例提供的另一种用户行为的检测装置70的结构示意图。

提供单元703，用于根据目标对象的当前行为，及目标对象的行为与服务操作之间的映射关系，为目标对象提供相应的服务操作。

可选的，服务操作至少包括下述任一种：

传送菜单和/或餐具操作、打包操作和/或协助买单操作。

本发明实施例所示的用户行为的检测装置70，可以执行上述任一实施例所示的用户行为的检测方法的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

图9为本发明实施例提供的一种机器人90的结构示意图，请参见图9所示，该机器人90可以包括处理器901和存储器902，其中，

存储器902用于存储程序指令。

处理器901用于读取存储器中的程序指令，并根据存储器902中的程序指令执行上述任一实施例所示的用户行为的检测方法。

本发明实施例所示的机器人90，可以执行上述任一实施例所示的用户行为的检测方法的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，在计算机程序被处理器执行时，执行上述任一实施例所示的用户行为的检测方法，其实现原理以及有益效果类似，此处不再进行赘述。

上述实施例中处理器可以是通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的指令，结合其硬件完成上述方法的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (16)

1.一种用户行为的检测方法，其特征在于，包括：

确定待检测图像；

通过手势分类模型检测所述待检测图像中目标对象的手势信息；

通过用餐情景分类模型检测所述待检测图像中所述目标对象对应的餐桌上的当前食物信息；

根据所述目标对象的手势信息和所述当前食物信息确定所述目标对象的当前行为；

其中，所述根据所述目标对象的手势信息和所述当前食物信息确定所述目标对象的当前行为之前，还包括：

通过所述用餐情景分类模型检测所述待检测图像中所述目标对象对应的餐桌的当前人数；

所述根据所述目标对象的手势信息和所述当前食物信息确定所述目标对象的当前行为，包括：

根据所述目标对象的手势信息、所述当前食物信息及所述当前人数确定所述目标对象的当前行为。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标对象的手势信息、所述当前食物信息及所述当前人数确定所述目标对象的当前行为，包括：

将所述当前食物信息和所述当前人数与所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较，确定所述目标对象的用餐状态；其中，所述目标对象的用餐状态包括准备用餐状态、正在用餐状态或用餐完成状态中的任一种；

根据所述目标对象的手势信息和所述目标对象的用餐状态确定所述目标对象的当前行为。

3.根据权利要求2所述的方法，其特征在于，所述将所述当前食物信息和所述当前人数与所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较，确定所述目标对象的用餐状态，包括：

当所述待检测图像中所述目标对象对应的餐桌上和所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上均无食物信息，所述待检测图像中所述目标对象对应的餐桌上的当前人数大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时，确定所述目标对象的用餐状态为所述准备用餐状态。

4.根据权利要求2所述的方法，其特征在于，所述将所述当前食物信息和所述当前人数与目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较，确定所述目标对象的用餐状态，包括：

当所述待检测图像中所述目标对象对应的餐桌上的食物信息的种类大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息的种类，且所述待检测图像中所述目标对象对应的餐桌上的当前人数大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时，确定所述目标对象的用餐状态为所述正在用餐状态。

5.根据权利要求2所述的方法，其特征在于，所述将所述当前食物信息和所述当前人数与目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较，确定所述目标对象的用餐状态，包括：

在预设时间段内，当所述待检测图像中所述目标对象对应的餐桌上的食物信息的种类与所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息的种类相同，且所述待检测图像中所述目标对象对应的餐桌上的当前人数等于或小于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时，确定所述目标对象的用餐状态为所述用餐完成状态。

6.根据权利要求1所述的方法，其特征在于，所述根据所述目标对象的手势信息、所述当前食物信息及所述当前人数确定所述目标对象的当前行为之后，还包括：

根据所述目标对象的当前行为，及目标对象的行为与服务操作之间的映射关系，为所述目标对象提供相应的服务操作。

7.根据权利要求6所述的方法，其特征在于，

所述服务操作至少包括下述任一种：

传送菜单和/或餐具操作、打包操作和/或协助买单操作。

8.一种用户行为的检测装置，其特征在于，包括：

确定单元，用于确定待检测图像；

检测单元，用于通过手势分类模型检测所述待检测图像中目标对象的手势信息；

所述检测单元，还用于通过用餐情景分类模型检测所述待检测图像中所述目标对象对应的餐桌上的当前食物信息；

所述确定单元，还用于根据所述目标对象的手势信息和所述当前食物信息确定所述目标对象的当前行为；

其中，所述检测单元，还用于通过所述用餐情景分类模型检测所述待检测图像中所述目标对象对应的餐桌的当前人数；

所述确定单元，具体用于根据所述目标对象的手势信息、所述当前食物信息及所述当前人数确定所述目标对象的当前行为。

9.根据权利要求8所述的装置，其特征在于，

所述确定单元，具体用于将所述当前食物信息和所述当前人数与目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较，确定所述目标对象的用餐状态；其中，所述目标对象的用餐状态包括准备用餐状态、正在用餐状态或用餐完成状态中的任一种；并根据所述目标对象的手势信息和所述目标对象的用餐状态确定所述目标对象的当前行为。

10.根据权利要求9所述的装置，其特征在于，

所述确定单元，具体用于当所述待检测图像中所述目标对象对应的餐桌上和所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上均无食物信息，所述待检测图像中所述目标对象对应的餐桌上的当前人数大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时，确定所述目标对象的用餐状态为所述准备用餐状态。

11.根据权利要求9所述的装置，其特征在于，

所述确定单元，具体用于当所述待检测图像中所述目标对象对应的餐桌上的食物信息的种类大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息的种类，且所述待检测图像中所述目标对象对应的餐桌上的当前人数大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时，确定所述目标对象的用餐状态为所述正在用餐状态。

12.根据权利要求9所述的装置，其特征在于，

所述确定单元，具体用于在预设时间段内，当所述待检测图像中所述目标对象对应的餐桌上的食物信息的种类与所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息的种类相同，且所述待检测图像中所述目标对象对应的餐桌上的当前人数等于或小于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时，确定所述目标对象的用餐状态为所述用餐完成状态。

13.根据权利要求8所述的装置，其特征在于，还包括：

提供单元，用于根据所述目标对象的当前行为，及目标对象的行为与服务操作之间的映射关系，为所述目标对象提供相应的服务操作。

14.根据权利要求13所述的装置，其特征在于，

所述服务操作至少包括下述任一种：

传送菜单和/或餐具操作、打包操作和/或协助买单操作。

15.一种机器人，其特征在于，包括处理器和存储器，其中，

所述存储器用于存储程序指令；

所述处理器用于读取所述存储器中的程序指令，并根据所述存储器中的程序指令执行权利要求1-7任一项所示的用户行为的检测方法。

16.一种计算机可读存储介质，其特征在于，

计算机可读存储介质上存储有计算机程序，在所述计算机程序被处理器执行时，执行权利要求1-7任一项所示的用户行为的检测方法。