CN108205652A - 一种吃饭动作的识别方法和装置 - Google Patents

Abstract

本发明实施例提供了一种吃饭动作的识别方法和装置，所述方法包括：对获取的每帧视频图像进行检测，确定检测到人脸，并获取摄像头左右偏移角度α和/或上下偏移角度β；所述0＜α、β＜90度；以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域；对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；依据所述肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作。

Description

一种吃饭动作的识别方法和装置

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种吃饭动作的识别方法和装置。

背景技术

随着社会老龄化问题的出现，养老问题已逐渐被人们所关注。随着科技的进步，智慧养老等新型养老方式日趋流行，其中，对老人吃饭动作的识别就可以应用到智慧养老的方式中，即：通过对老人吃饭行为数据的采集分析，实现对老人日常行为活动和身体健康的监测。因此，有待提出一种对吃饭动作进行识别的技术方案。

发明内容

有鉴于此，本发明实施例期望提供一种吃饭动作的识别方法和装置，可识别出吃饭的动作。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种吃饭动作的识别方法，该方法包括：

对获取的每帧视频图像进行检测，确定检测到人脸，并获取摄像头左右偏移角度α和/或上下偏移角度β；所述0＜α、β＜90度；

以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域；

对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；

对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；

依据所述肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作。

可选的，所述以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，包括：

以所述检测到的人脸为参照，在竖直方向上，所述吃饭活动区域的顶部位于所述人脸的顶部；在水平方向上，所述人脸位于所述吃饭活动区域的中间位置；所述吃饭活动区域为矩形，所述矩形的高为3H，宽为5W，所述H为所述视频图像中人脸的高度，所述W为所述视频图像中人脸的宽度。

可选的，所述依据第一预设条件和所述左右偏移角度对所述吃饭活动区域进行区域划分，包括：

在水平方向上从左到右将所述吃饭活动区域划分成三个区域，中间的第二区域为所述人脸所在的区域，第二区域的左侧为第一区域，第二区域的右侧为第三区域；所述第一区域、第二区域和第三区域的高均为3H，所述第一区域、第二区域和第三区域的宽分别为2W+d1*sinα、W和2W-d1*sinα；

其中，所述d1为：俯视待测目标、且摄像头正对人脸时，实际测得的第一中心线与第二中心线在水平面上投影的垂直距离；所述第一中心线为人头部平行于摄像头平面的中心线，所述第二中心线为手部平行于摄像头平面的中心线。

可选的，所述对划分得到的与手部对应的所述视频图像区域进行运动区域检测，包括：

对所述第一区域和/或第三区域的视频图像进行运动区域检测。

可选的，所述依据肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作，包括：

获取所述人脸底部位置的纵坐标y₁和所述肤色区域顶部的纵坐标y₂，并计算两者的差值△y＝y₁-y₂；

如果在T时间内，所述△y满足所述第二预设条件的次数大于第一阈值m，则确定检测到吃饭动作；

其中，所述第二预设条件为：在t时间内，所述△y满足条件-(h/4+d2*cosβ)＜△y+d2*sinβ＜h*cosβ的概率超过第二阈值p；所述t＜T；

其中，所述h为实际测得的人脸竖直方向上的长度；所述d2为：侧视待测目标、且摄像头正对人脸时，实际测得的第三中心线与第四中心线在侧视平面上投影的垂直距离；所述第三中心线为人头部平行于摄像头平面的中心线，所述第四中心线为手部平行于摄像头平面的中心线。

本发明实施例还提供了一种吃饭动作的识别装置，该装置包括：

人脸检测模块，用于对获取的每帧视频图像进行检测，确定检测到人脸，并获取摄像头左右偏移角度α和/或上下偏移角度β；所述0＜α、β＜90度；

区域划分模块，用于以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域；

运动检测模块，用于对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；

肤色检测模块，用于对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；

动作检测模块，用于依据所述肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作。

可选的，所述区域划分模块包括：

选取单元，用于以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域；

划分单元，用于依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域。

可选的，所述选取单元，用于以所述检测到的人脸为参照，在竖直方向上，所述吃饭活动区域的顶部位于所述人脸的顶部；在水平方向上，所述人脸位于所述吃饭活动区域的中间位置；所述吃饭活动区域为矩形，所述矩形的高为3H，宽为5W，所述H为所述视频图像中人脸的高度，所述W为所述视频图像中人脸的宽度。

可选的，所述划分单元，用于在水平方向上从左到右将所述吃饭活动区域划分成三个区域，中间的第二区域为所述人脸所在的区域，第二区域的左侧为第一区域，第二区域的右侧为第三区域；所述第一区域、第二区域和第三区域的高均为3H，所述第一区域、第二区域和第三区域的宽分别为2W+d1*sinα、W和2W-d1*sinα；

其中，所述d1为：俯视待测目标、且摄像头正对人脸时，实际测得的第一中心线与第二中心线在水平面上投影的垂直距离；所述第一中心线为人头部平行于摄像头平面的中心线，所述第二中心线为手部平行于摄像头平面的中心线。

可选的，所述动作检测模块包括：

计算单元，用于获取所述人脸底部位置的纵坐标y₁和所述肤色区域顶部的纵坐标y₂，并计算两者的差值△y＝y₁-y₂；

确定单元，用于判断在T时间内，所述△y满足所述第二预设条件的次数大于第一阈值m时，确定检测到吃饭动作；

其中，所述第二预设条件为：在t时间内，所述△y满足条件-(h/4+d2*cosβ)＜△y+d2*sinβ＜h*cosβ的概率超过第二阈值p；所述t＜T；

其中，所述h为实际测得的人脸竖直方向上的长度；所述d2为：侧视待测目标、且摄像头正对人脸时，实际测得的第三中心线与第四中心线在侧视平面上投影的垂直距离；所述第三中心线为人头部平行于摄像头平面的中心线，所述第四中心线为手部平行于摄像头平面的中心线。

本发明实施例提供的吃饭动作的识别方法和装置，对获取的每帧视频图像进行检测，确定检测到人脸，并获取摄像头左右偏移角度α和/或上下偏移角度β；所述0＜α、β＜90度；以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域；对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；依据所述肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作。本发明实施例对获取的视频图像进行区域划分，并进行运动区域检测以及肤色检测等操作，因此肤色检测的成功率高，滤除对肤色检测有干扰的区域，最后可基于得到的肤色区域进行吃饭动作的识别，而且在检测过程中考虑摄像头角度的问题，因此检测结果更准确，该方法可有效应用到智慧养老领域。

附图说明

图1为本发明实施例所述吃饭动作的识别方法流程示意图一；

图2为本发明实施例所述吃饭动作的识别装置结构示意图；

图3为本发明实施例所述区域划分模块的结构示意图；

图4为本发明实施例所述动作检测模块的结构示意图；

图5为本发明实施例所述吃饭动作的识别方法流程示意图二；

图6为本发明实施例对检测到人脸的图像进行区域划分的示意图；

图7为本发明实施例所述摄像头正对人脸的俯视图；

图8为本发明实施例所述摄像头左右偏移后摄像头采集的视频图像变化示意图；

图9为本发明实施例所述测得的肤色区域示意图；

图10为本发明实施例应用过程中测试样本的示意图；

图11为本发明实施例所述摄像头正对人脸的侧面示意图；

图12为本发明实施例所述摄像头上下偏移后摄像头采集的视频图像变化示意图。

具体实施方式

下面结合附图和实施例对本发明进行描述。

图1为本发明实施例所述吃饭动作的识别方法流程示意图一，如图1所示，该方法包括：

步骤101：对获取的每帧视频图像进行检测，确定检测到人脸，并获取摄像头左右偏移角度α和/或上下偏移角度β；所述0＜α、β＜90度；

步骤102：以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域；

步骤103：对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；

步骤104：对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；

步骤105：依据所述肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作。

本发明实施例对获取的视频图像进行区域划分，并进行运动区域检测以及肤色检测等操作，因此肤色检测的成功率高，滤除对肤色检测有干扰的区域，最后可基于得到的肤色区域进行吃饭动作的识别，而且在检测过程中考虑摄像头角度的问题，因此检测结果更准确，该方法可有效应用到智慧养老领域。

这里，所述对人脸的检测可通过Haar特征的Adaboost算法来实现，在所述人脸检测过程中可获得所述摄像头左右偏移角度α和/或上下偏移角度β；所述左右偏移角度α、上下偏移角度β为所述摄像头相对正对待测目标位置所偏移的角度，为锐角。当然，对于本领域技术人员来说所述人脸检测方法不限于该一种方法；所述运动区域检测可采用但不限于ViBe+算法；所述肤色检测可采用但不仅限于YCbCr椭圆模型的肤色检测算法，上述算法均为现有技术，此处不再详细描述。

本发明实施例中，所述以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，包括：

以所述检测到的人脸为参照，在竖直方向上，所述吃饭活动区域的顶部位于所述人脸的顶部；在水平方向上，所述人脸位于所述吃饭活动区域的中间位置；所述吃饭活动区域为矩形，所述矩形的高为3H，宽为5W，所述H为所述视频图像中人脸的高度，所述W为所述视频图像中人脸的宽度。

本发明实施例中，所述依据第一预设条件对所述吃饭活动区域进行区域划分，包括：

在水平方向上从左到右将所述吃饭活动区域划分成三个区域，中间的第二区域为所述人脸所在的区域，第二区域的左侧为第一区域，第二区域的右侧为第三区域；所述第一区域、第二区域和第三区域的高均为3H，所述第一区域、第二区域和第三区域的宽分别为2W+d1*sinα、W和2W-d1*sinα；

其中，所述d1为：俯视待测目标、且摄像头正对人脸时，实际测得的第一中心线与第二中心线在水平面上投影的垂直距离；所述第一中心线为人头部平行于摄像头平面的中心线，所述第二中心线为手部平行于摄像头平面的中心线。所述待测目标即为待检测的人。在应用时，可依据实际场景测量(设置)所述d1，经验值可取为10cm。

本发明实施例中，所述对划分得到的与手部对应的所述视频图像区域进行运动区域检测，包括：

对所述第一区域和/或第三区域的视频图像进行运动区域检测。

本发明实施例中，所述依据肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作，包括：

获取所述人脸底部位置的纵坐标y₁和所述肤色区域顶部的纵坐标y₂，并计算两者的差值△y＝y₁-y₂；

如果在T(如2分钟)时间内，所述△y满足所述第二预设条件的次数大于第一阈值m(如4次)，则确定检测到吃饭动作；

其中，所述第二预设条件为：在t(如15秒)时间内，所述△y满足条件-(h/4+d2*cosβ)＜△y+d2*sinβ＜h*cosβ的概率超过第二阈值p(如20％)；所述t＜T；

其中，所述h为实际测得的人脸竖直方向上的长度(高度)；所述d2为：侧视待测目标、且摄像头正对人脸时，实际测得的第三中心线与第四中心线在侧视平面上投影的垂直距离；所述第三中心线为人头部平行于摄像头平面的中心线，所述第四中心线为手部平行于摄像头平面的中心线。

本发明实施例还提供了一种吃饭动作的识别装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”“单元”可以实现预定功能的软件和/或硬件的组合。如图2所示，该装置包括：

人脸检测模块21，用于对获取的每帧视频图像进行检测，确定检测到人脸，并获取摄像头左右偏移角度α和/或上下偏移角度β；所述0＜α、β＜90度；

区域划分模块22，用于以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域；

运动检测模块23，用于对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；

肤色检测模块24，用于对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；

动作检测模块25，用于依据所述肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作。

本发明实施例对获取的视频图像进行区域划分，并进行运动区域检测以及肤色检测等操作，因此肤色检测的成功率高，滤除对肤色检测有干扰的区域，最后可基于得到的肤色区域进行吃饭动作的识别，而且在检测过程中考虑摄像头角度的问题，因此检测结果更准确，该方法可有效应用到智慧养老领域。

这里，所述对人脸的检测可通过Haar特征的Adaboost算法来实现，在所述人脸检测过程中可获得所述摄像头左右偏移角度α和/或上下偏移角度β；所述左右偏移角度α、上下偏移角度β为所述摄像头相对正对待测目标位置所偏移的角度，为锐角。当然，对于本领域技术人员来说所述人脸检测方法不限于该一种方法；所述运动区域检测可采用但不限于ViBe+算法；所述肤色检测可采用但不仅限于YCbCr椭圆模型的肤色检测算法，上述算法均为现有技术，此处不再详细描述。

本发明在实际应用时，假设获取视频图像的采集装置，如摄像头正对人脸。

本发明实施例中，如图3所示，所述区域划分模块22包括：

选取单元221，用于以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域；

划分单元222，用于依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域。

本发明实施例中，所述选取单元221，用于以所述检测到的人脸为参照，在竖直方向上，所述吃饭活动区域的顶部位于所述人脸的顶部；在水平方向上，所述人脸位于所述吃饭活动区域的中间位置；所述吃饭活动区域为矩形，所述矩形的高为3H，宽为5W，所述H为所述视频图像中人脸的高度，所述W为所述视频图像中人脸的宽度。

本发明实施例中，所述划分单元222，用于在水平方向上从左到右将所述吃饭活动区域划分成三个区域，中间的第二区域为所述人脸所在的区域，第二区域的左侧为第一区域，第二区域的右侧为第三区域；所述第一区域、第二区域和第三区域的高均为3H，所述第一区域、第二区域和第三区域的宽分别为2W+d1*sinα、W和2W-d1*sinα；

其中，所述d1为：俯视待测目标、且摄像头正对人脸时，实际测得的第一中心线与第二中心线在水平面上投影的垂直距离；所述第一中心线为人头部平行于摄像头平面的中心线，所述第二中心线为手部平行于摄像头平面的中心线。所述待测目标即为待检测的人。在应用时，可依据实际场景测量(设置)所述d1，经验值可取为10cm。

本发明实施例中，如图4所示，所述动作检测模块25包括：

计算单元251，用于获取所述人脸底部位置的纵坐标y₁和所述肤色区域顶部的纵坐标y₂，并计算两者的差值△y＝y₁-y₂；

确定单元252，用于判断在T(如2分钟)时间内，所述△y满足所述第二预设条件的次数大于第一阈值m(如4次)时，确定检测到吃饭动作；

所述第二预设条件为：在t(如15秒)时间内，所述△y满足条件-(h/4+d2*cosβ)＜△y+d2*sinβ＜h*cosβ的概率超过第二阈值p(如20％)；所述t＜T；

其中，所述h为实际测得的人脸竖直方向上的长度(高度)；所述d2为：侧视待测目标、且摄像头正对人脸时，实际测得的第三中心线与第四中心线在侧视平面上投影的垂直距离；所述第三中心线为人头部平行于摄像头平面的中心线，所述第四中心线为手部平行于摄像头平面的中心线。

下面结合场景实施例对本发明进行详细描述。

本实施例的系统组网中包括如下网元：

待检测目标，即：待检测的人；摄像头，用于采集人吃饭动作的视频数据；视频处理单元(即上述吃饭动作的识别装置)，用于处理视频数据，对吃饭动作进行分析和判断。

该系统的吃饭动作识别流程如图5所示，包括：

步骤501：进行人脸检测，获取摄像头左右和/或上下偏移角度，判断是否检测到人脸，如果是，则执行步骤502；否则，继续进行人脸检测；

步骤502：从检测到的人脸视频图像中选取吃饭活动区域，并进行区域划分；

步骤503：在手部对应的区域中进行运动区域检测，判断检测到运动区域，则执行步骤504；否则，返回步骤501；

步骤504：对检测到的运动区域进行肤色检测，如果检测到肤色区域，则执行步骤505；否则，返回步骤501；

步骤505：对检测到的肤色区域的运动分布的检测，确定是否检测到吃饭动作。

其中，所述步骤501中人脸检测采用的是基于Haar特征的Adaboost算法，即采用的是输入图像的矩形特征，也叫Haar特征。在计算过程中，对摄像头采集到的每帧视频图像进行计算，最终会得到两个点的坐标，根据该两点的坐标最终得到人脸的矩形图像。该计算方法为现有技术，此处不再详细描述。当然，对于本领域技术人员来说还可采用其他人脸检测算法。

步骤502中，为了提高通过肤色检测人手的准确度，以人脸为参照系，将视频图像划出一个3X5(人脸)的吃饭活动区域，即：该矩形区域的高为3倍视频图像中人脸的高度height，宽为5倍视频图像中人脸的宽度width，如图6所示，并进一步细分为三个矩形区域：区域一Rect1(左)、区域二Rect2(中)和区域三Rect3(右)。

经过实际测试，这样的检测区域划分方式有两个优点：

1)能够较好的将左右手划分到不同的区域，提高人手的识别准确度；

2)能够较好的刻画吃饭时左右手的动作：握筷的手通常出现在Rect1(左撇子)或者Rect3(右撇子)，拿碗的手通常出现在Rect2。

图6中所示为摄像头正对待检测目标时获得的区域划分结果，如果摄像头发生左右偏移，所述三个区域的宽度将发生变化，高度不变；如果摄像头发生上下偏移，三个区域的宽度不变，高度的变化将影响步骤505中动作识别的过程(具体见后续描述)。这里，仅对摄像头左右偏移的情况进行介绍：

图7所示为摄像头正对人脸的俯视图，人脸实际测量宽度为w，手的中心线离人脸中心线的距离是d1，手贴近人脸的时候，手和脸的交界是rect之间的交界线。当摄像头左右偏移角度α时，俯视图如图8所示。

可以看到，摄像头偏移角度α以后，从摄像头看到的区域分界点进行了调整，Rect1宽度是AC，Rect2的宽度是CE，Rect3的宽度是EF。

AC＝AB+BC＝AB+d1*sinα＝2BD+d1*sinα；

CE＝BD；

EF＝DF–d1*sinα＝2BD-d1*sinα；

其中，所述BD为视频图像中人脸的宽度，可以测量得出；所述d1是一个经验值，一般为10cm左右。

基于这个方法，在摄像头左右偏移的时候，能够根据偏移角度(人脸检测算法自动检测出偏移的角度)，自适应调整各个Rect区域的宽度，而高度维持不变。

步骤503中的运动区域检测可采但不限于用ViBe+算法来进行，该方法同样为已有算法，此处不再详细描述，本领域技术人员还可采用其他运动区域检修算法实现。这里，先判断运动区域，再判断肤色区域，能够有效提高肤色检测的成功率，滤除对肤色检测有干扰的区域。

基于上述描述，步骤504中的肤色检测即为对Rect1和Rect3区域对应的运动区域进行检测，肤色区域检测可采用但不仅限于YCbCr椭圆模型的肤色检测算法，即：如果将皮肤信息映射到YCrCb空间，则在CrCb二维空间中这些皮肤像素点近似成一个椭圆分布。因此，如果得到了一个CrCb的椭圆，下次遇到一个坐标(Cr,Cb)，只需判断它是否在椭圆内(包括边界)，如果是，则可以判断其为皮肤，否则就是非皮肤像素点。具体算法不再详细描述。

这里，得到肤色区域之后，通过检测Rect1和/或Rect3中肤色区域中的手相对于脸的运动特征，来判断是否在吃饭，判断算法如下：

首先，计算Δy＝y₁-y₂，如图9所示，所述y₁为人脸底部位置的纵坐标，所述为y₂肤色区域顶部的纵坐标；

其次，统计如果在T(例如2分钟)时间内，所述△y满足如下条件总次数超过m(例如4次)，则判断为检测到吃饭动作；所述条件为：-height/4<Δy<height的概率超过p(例如20％)，实际应用时的测试样本可如图10所示。

上述图9、10涉及的判断是否在吃饭的方法为摄像头正对人脸的情况，如果摄像头上下偏移一定角度，结果如下：

图11为摄像头正对人的侧视图，人脸实际测量高度为h，手的中心线离人脸中心线的距离是d2，手的最高位置距离人脸底部距离是m。吃饭行为检测算法主要就是考察m取值的分布，m值可以为正数和负数。

当摄像头上下偏移角度β时，侧视图如图12所示，可以看到，手距离脸底部的距离发生了调整，由m变成了BD，从图12可以看出：

BD＝BC+CD＝BC+d2*sinβ，其中，BC为视频图像中人脸底部与手顶部之间的垂直距离(如上文所示的Δy)，可以测量计算得到，所述d1同样是一个经验值，一般为10cm左右。

基于这个方法，在摄像头上下偏移的时候，能够根据上下偏移角度(可以测量出)，自适应调整摄像头画面中手顶部距离脸底部的距离。因此，判断是否在吃饭的方法则调整为：

统计如果在T(例如2分钟)时间内，所述△y满足如下条件总次数超过m(例如4次)，则判断为检测到吃饭动作；所述条件为：-(h/4+d*cosβ)<BD<h*cosβ的概率超过p(例如20％)。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种吃饭动作的识别方法，其特征在于，该方法包括：

对获取的每帧视频图像进行检测，确定检测到人脸，并获取摄像头左右偏移角度α和/或上下偏移角度β；所述0＜α、β＜90度；

以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域；

对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；

对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；

依据所述肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作。

2.根据权利要求1所述的方法，其特征在于，所述以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，包括：

以所述检测到的人脸为参照，在竖直方向上，所述吃饭活动区域的顶部位于所述人脸的顶部；在水平方向上，所述人脸位于所述吃饭活动区域的中间位置；所述吃饭活动区域为矩形，所述矩形的高为3H，宽为5W，所述H为所述视频图像中人脸的高度，所述W为所述视频图像中人脸的宽度。

3.根据权利要求2所述的方法，其特征在于，所述依据第一预设条件和所述左右偏移角度对所述吃饭活动区域进行区域划分，包括：

在水平方向上从左到右将所述吃饭活动区域划分成三个区域，中间的第二区域为所述人脸所在的区域，第二区域的左侧为第一区域，第二区域的右侧为第三区域；所述第一区域、第二区域和第三区域的高均为3H，所述第一区域、第二区域和第三区域的宽分别为2W+d1*sinα、W和2W-d1*sinα；

其中，所述d1为：俯视待测目标、且摄像头正对人脸时，实际测得的第一中心线与第二中心线在水平面上投影的垂直距离；所述第一中心线为人头部平行于摄像头平面的中心线，所述第二中心线为手部平行于摄像头平面的中心线。

4.根据权利要求3所述的方法，其特征在于，所述对划分得到的与手部对应的所述视频图像区域进行运动区域检测，包括：

对所述第一区域和/或第三区域的视频图像进行运动区域检测。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述依据肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作，包括：

获取所述人脸底部位置的纵坐标y₁和所述肤色区域顶部的纵坐标y₂，并计算两者的差值△y＝y₁-y₂；

如果在T时间内，所述△y满足所述第二预设条件的次数大于第一阈值m，则确定检测到吃饭动作；

其中，所述第二预设条件为：在t时间内，所述△y满足条件-(h/4+d2*cosβ)＜△y+d2*sinβ＜h*cosβ的概率超过第二阈值p；所述t＜T；

其中，所述h为实际测得的人脸竖直方向上的长度；所述d2为：侧视待测目标、且摄像头正对人脸时，实际测得的第三中心线与第四中心线在侧视平面上投影的垂直距离；所述第三中心线为人头部平行于摄像头平面的中心线，所述第四中心线为手部平行于摄像头平面的中心线。

6.一种吃饭动作的识别装置，其特征在于，该装置包括：

人脸检测模块，用于对获取的每帧视频图像进行检测，确定检测到人脸，并获取摄像头左右偏移角度α和/或上下偏移角度β；所述0＜α、β＜90度；

区域划分模块，用于以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域；

运动检测模块，用于对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；

肤色检测模块，用于对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；

动作检测模块，用于依据所述肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作。

7.根据权利要求6所述的装置，其特征在于，所述区域划分模块包括：

选取单元，用于以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域；

划分单元，用于依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域。

8.根据权利要求7所述的装置，其特征在于，

所述选取单元，用于以所述检测到的人脸为参照，在竖直方向上，所述吃饭活动区域的顶部位于所述人脸的顶部；在水平方向上，所述人脸位于所述吃饭活动区域的中间位置；所述吃饭活动区域为矩形，所述矩形的高为3H，宽为5W，所述H为所述视频图像中人脸的高度，所述W为所述视频图像中人脸的宽度。

9.根据权利要求8所述的装置，其特征在于，

所述划分单元，用于在水平方向上从左到右将所述吃饭活动区域划分成三个区域，中间的第二区域为所述人脸所在的区域，第二区域的左侧为第一区域，第二区域的右侧为第三区域；所述第一区域、第二区域和第三区域的高均为3H，所述第一区域、第二区域和第三区域的宽分别为2W+d1*sinα、W和2W-d1*sinα；

其中，所述d1为：俯视待测目标、且摄像头正对人脸时，实际测得的第一中心线与第二中心线在水平面上投影的垂直距离；所述第一中心线为人头部平行于摄像头平面的中心线，所述第二中心线为手部平行于摄像头平面的中心线。

10.根据权利要求6-9中任一项所述的装置，其特征在于，所述动作检测模块包括：

计算单元，用于获取所述人脸底部位置的纵坐标y₁和所述肤色区域顶部的纵坐标y₂，并计算两者的差值△y＝y₁-y₂；

确定单元，用于判断在T时间内，所述△y满足所述第二预设条件的次数大于第一阈值m时，确定检测到吃饭动作；

其中，所述第二预设条件为：在t时间内，所述△y满足条件-(h/4+d2*cosβ)＜△y+d2*sinβ＜h*cosβ的概率超过第二阈值p；所述t＜T；

其中，所述h为实际测得的人脸竖直方向上的长度；所述d2为：侧视待测目标、且摄像头正对人脸时，实际测得的第三中心线与第四中心线在侧视平面上投影的垂直距离；所述第三中心线为人头部平行于摄像头平面的中心线，所述第四中心线为手部平行于摄像头平面的中心线。