CN112507955A - 一种婴儿手部精细动作识别方法及系统 - Google Patents

Abstract

本发明公开了一种婴儿手部精细动作识别方法，提取视频连续帧中的手掌的形状和轮廓；选取并标记婴儿的手掌关键点；定义各指尖到手指根部的距离；将婴儿手掌完全张开的状态标记为舒张状态，检测该状态下的各指尖到手指根部的最大距离阈值；定义双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角；将婴儿手掌完全握拳的状态标记为握拳状态，检测该状态下双手拇指、食指和中指与手掌的最小夹角阈值；对视频连续帧中的手掌数据进行解析，通过婴儿各手指的关键点的距离以及与手掌的夹角，结合在先状态对当前的手部精细动作进行识别。

Description

一种婴儿手部精细动作识别方法及系统

技术领域

本发明涉及图像识别领域，具体涉及一种婴儿手部精细动作识别方法及系统。

背景技术

现有技术中用于判别手部精细动作的方式及运用到婴儿手部精细动作识别条件下的弊端如下：

(1)通过克罗福身体部分灵巧测验、本特纳手动工具灵活性测验及九洞测验等方式，让被测试者在特定的环境下完成指定的实验动作来判断被测试者的手部精细动作是否符合某个成长节点。这种人工判断的方式依赖于经验，精度不够高。

(2)通过摄像机获取手部姿态数据集，生成2D手部关节热图，输入训练模型，设计3D手部姿态识别模型，通过数据分析和训练指导模型，实时指导用户进行手部精细动作。但由于婴儿的配合度有限，可控性很低，无法根据提示来矫正动作，因此不适用于婴儿。

(3)通过在测试者手臂和手掌上绑缚各种传感器的方式来获得需要的原始数据，通过分析测试软件来进行测评。这种方式精度很高，但是在婴儿身上绑缚仪器带给婴儿的不适感较强，对情绪和行为产生影响，会造成测量的不准确。

发明内容

为解决现有的手部精细动作的方式用于婴儿的手部精细动作识别会存在精度不高的问题，本发明提供了一种婴儿手部精细动作识别方法及系统。

本发明通过下述技术方案实现：

一种婴儿手部精细动作识别方法，包括如下步骤：

S1：提取视频连续帧中的手掌的形状和轮廓；

S2：选取并标记婴儿的手掌关键点：右手拇指指尖A1，右手拇指根部B1，右手拇指关节C1，右手食指指尖A2，右手食指根部B2，右手食指关节C2，右手中指指尖A3，右手中指根部B3，右手中指关节C3，右手无名指指尖A4，右手无名指根部B4，右手无名指关节C4，右手尾指指尖A5，右手尾指根部B5，右手尾指关节C5，右手手掌根部P；

左手拇指指尖D1，左手拇指根部E1，左手拇指关节F1，左手食指指尖D2，左手食指根部E2，左手食指关节F2，左手中指指尖D3，左手中指根部E3，左手中指关节F3，左手无名指指尖D4，左手无名指根部E4，左手无名指关节F4，左手尾指指尖D5，左手尾指根部E5，左手尾指关节F5，左手手掌根部H；

S3：定义各手指指尖到手指根部的距离；

S4：将婴儿手掌完全张开的状态标记为舒张状态，检测舒张状态下的各手指指尖到手指根部的最大距离阈值；

S5：定义双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角；

S6：将婴儿手掌完全握拳的状态标记为握拳状态，检测握拳状态下双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的最小夹角阈值；

S7：对视频连续帧中的手掌数据进行解析，通过婴儿各手指的关键点的距离以及与手掌的夹角，结合在先状态对当前的手部精细动作进行识别。

步骤S3所述的各手指指尖到手指根部的距离具体定义：右手拇指指尖A1到右手拇指根部B1的距离为L1，右手食指指尖A2到右手食指根部B2的距离为L2，右手中指指尖A3到右手中指根部B3的距离为L3，右手无名指指尖A4到右手无名指根部B4的距离为L4，右手尾指指尖A5到右手尾指根部B5的距离为L5；

左手拇指指尖D1到左手拇指根部E1的距离为L6，左手食指指尖D2到左手食指根部E2的距离为L7，左手中指指尖D3到左手中指根部E3的距离为L8，左手无名指指尖D4到左手无名指根部E4的距离为L9，左手尾指指尖D5到左手尾指根部E5的距离为L10；

步骤S4所述的各手指指尖到手指根部的最大距离阈值具体定义：右手拇指指尖A1到右手拇指根部B1的距离阈值为H1，右手食指指尖A2到右手食指根部B2的距离阈值为H2，右手中指指尖A3到右手中指根部B3的距离阈值为H3，右手无名指指尖A4到右手无名指根部B4的距离阈值为H4，右手尾指指尖A5到右手尾指根部B5的距离阈值为H5；

左手拇指指尖D1到左手拇指根部E1的距离阈值为H6，左手食指指尖D2到左手食指根部E2的距离阈值为H7，左手中指指尖D3到左手中指根部E3的距离阈值为H8，左手无名指指尖D4到左手无名指根部E4的距离阈值为H9，左手尾指指尖D5到左手尾指根部E5的距离阈值为H10；

步骤S5所述的双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角具体定义：右手拇指关节C1与拇指根部B1所在的直线与拇指根部B1和手掌根部P所在的直线的夹角为V1，右手食指关节C2与食指根部B2所在的直线与食指根部B2和手掌根部P所在的直线的夹角为V2，右手中指关节C3与中指根部B3所在的直线与中指根部B3和右手手掌根部P所在的直线的夹角为V3；

左手拇指关节F1与拇指根部E1所在的直线与拇指根部E1和手掌根部P所在的直线的夹角为V4，左手食指关节F2与食指根部E2所在的直线与食指根部E2和手掌根部P所在的直线的夹角为V5，左手中指关节F3与中指根部E3所在的直线与中指根部E3和左手手掌根部H所在的直线的夹角为V6；

步骤S6所述的双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的最小夹角阈值具体定义：右手拇指关节C1与拇指根部B1所在的直线与拇指根部B1和手掌根部P所在的直线的夹角为α1，右手食指关节C2与食指根部B2所在的直线与食指根部B2和手掌根部P所在的直线的夹角为α2，右手中指关节C3与中指根部B3所在的直线与中指根部B3和右手手掌根部P所在的直线的夹角为α3；

左手拇指关节F1与拇指根部E1所在的直线与拇指根部E1和手掌根部P所在的直线的夹角为α4，左手食指关节F2与食指根部E2所在的直线与食指根部E2和手掌根部P所在的直线的夹角为α5，左手中指关节F3与中指根部E3所在的直线与中指根部E3和左手手掌根部H所在的直线的夹角为α6。

所述步骤S7具体包括如下子步骤：

S71：在视频连续帧中，当监测到步骤S2中所述的任意两个关键点之间的距离发生变化，则开始对手部精细动作进行识别，并开始记录当前视频；

S72：判断各手指关键点之间的距离与距离阈值之间的关系，判断双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角与夹角阈值之间的关系，综合判断婴儿手部的精细动作；

S73：每判断出一个动作状态，记录该动作状态的维持时间和连续出现该动作状态的次数；

S74：根据连续的婴儿手部的精细动作记录，判定婴儿手部的成长节点。

所述步骤S72进一步包括：

当L1～L5与H1～H5对应相等，则判定右手“手掌打开”；当L6～L10与H6～H10对应相等，则判定左手“手掌打开”；

当L1～L5均对应小于H1～H5，且V1>α1且V2>α2且V3>α3，则判定右手“半开半握”；当L6～L10均对应小于H6～H10，且V4>α4且V5>α5且V6>α6，则判定左手“半开半握”；

当L1～L5均对应小于H1～H5，且V1＝α1且V2＝α2且V3＝α3，则判定右手“握拳”；当L6～L10均对应小于H6～H10，且V4＝α4且V5＝α5且V6＝α6，则判定左手“握拳”；

当L2>H2，且V3＝α3，且，L1＝H1，且L3～L5均对应小于H3～H5，则判定右手“食指指示”；当L5>H5，且V5＝α5，且，L4＝H4，且L6～L10均对应小于H6～H10，则判定左手“食指指示”；

当A1与A2～A5中任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中任意两个数值对应小于H2～H5，则判定右手“抓取物体”；当D1与D2～D5中任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中任意两个数值对应小于H7～H10，则判定左手“抓取物体”。

判定婴儿右手“抓取物体”后，当V1≥α1且V2≥α2且V3≥α3，且L1～L5均对应小于H1～H5，且A1～A5两两之间的距离在视频连续帧中固定时长超过预设时间，则判定为右手“握住物体”；

当A1与A2～A5中仅有任意一个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中仅有任意一个数值对应小于H2～H5，则判定为右手“两指捏”；

当A1与A2～A5中仅有任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中仅有任意两个数值对应小于H2～H5，则判定为右手“三指捏”；

当A1～A5中任意2个关键点的移动轨迹重复，则判定为右手“循环动作”；

判定婴儿左手“抓取物体”后，当V4≥α4且V5≥α5且V6≥α6，且L6～L10均对应小于H6～H10，且A6～A10两两之间的距离在视频连续帧中固定时长超过预设时间，则判定为左手“握住物体”；

当D1与D2～D5中仅有任意一个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中仅有任意一个数值对应小于H7～H10，则判定为左手“两指捏”；

当D1与D2～D5中仅有任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中仅有任意两个数值对应小于H7～H10，则判定为左手“三指捏”；

当D1～D5中任意2个关键点的移动轨迹重复，则判定为左手“循环动作”；

当左手“握住物体”和右手“握住物体”的判断状态发生切换，则判定为“倒手”。

一种婴儿手部精细动作识别系统，包括：

视频监控模块：用于实时采集婴儿的手部视频数据，存储在存储器中并传输至数据处理模块；

存储器：用于存储视频监控模块的视频数据；

数据处理模块：用于执行所述程序，实现如权利要求1-5中任一项所述的一种婴儿手部精细动作识别系统的各个步骤。

所述视频监控模块设置于室内可监控婴儿活动范围处，所述数据处理模块和存储器设置于终端，通过无线接收来自视频监控模块传输的实时视频数据。

当数据处理模块判定婴儿手部处于“手掌打开”、“半开半握”、“握拳”、“食指指示”或“抓取物体”状态时，将对应连续画面对应的短视频进行提取并标记。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明对婴儿的手掌关键点进行标记，定义各手指关键点距离以及角度的阈值，通过对实际视频连续帧中的参数与对应阈值之间的关系对婴儿手部精细动作进行识别，进而判断婴儿手部对应的成长节点。家长可参考婴儿月龄对应的生长节点与实际生长节点之间是否有时间差异，提早对手部生长较晚的情况进行干预。

附图说明

结合附图，可以得到对本发明实施例的进一步理解，从本发明的权利要求和优选实施例的以下描述可以获得本发明的其它特征和优点。在不超出本发明的范围的情况下，在这种情况下可以按任何期望的方式将图中所示的不同实施例的单独特征加以组合。在附图中：

图1为本发明的婴儿的手掌关键点示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1：

如图1所示，在本实施例中，一种婴儿手部精细动作识别方法，包括如下步骤：

S1：提取视频连续帧中的手掌的形状和轮廓；

S2：选取并标记婴儿的手掌关键点：右手拇指指尖A1，右手拇指根部B1，右手拇指关节C1，右手食指指尖A2，右手食指根部B2，右手食指关节C2，右手中指指尖A3，右手中指根部B3，右手中指关节C3，右手无名指指尖A4，右手无名指根部B4，右手无名指关节C4，右手尾指指尖A5，右手尾指根部B5，右手尾指关节C5，右手手掌根部P；

左手拇指指尖D1，左手拇指根部E1，左手拇指关节F1，左手食指指尖D2，左手食指根部E2，左手食指关节F2，左手中指指尖D3，左手中指根部E3，左手中指关节F3，左手无名指指尖D4，左手无名指根部E4，左手无名指关节F4，左手尾指指尖D5，左手尾指根部E5，左手尾指关节F5，左手手掌根部H；

S3：定义各手指指尖到手指根部的距离；

S4：将婴儿手掌完全张开的状态标记为舒张状态，检测舒张状态下的各手指指尖到手指根部的最大距离阈值；

S5：定义双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角；

S6：将婴儿手掌完全握拳的状态标记为握拳状态，检测握拳状态下双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的最小夹角阈值；

S7：对视频连续帧中的手掌数据进行解析，通过婴儿各手指的关键点的距离以及与手掌的夹角，结合在先状态对当前的手部精细动作进行识别。

步骤S3所述的各手指指尖到手指根部的距离具体定义：右手拇指指尖A1到右手拇指根部B1的距离为L1，右手食指指尖A2到右手食指根部B2的距离为L2，右手中指指尖A3到右手中指根部B3的距离为L3，右手无名指指尖A4到右手无名指根部B4的距离为L4，右手尾指指尖A5到右手尾指根部B5的距离为L5；

左手拇指指尖D1到左手拇指根部E1的距离为L6，左手食指指尖D2到左手食指根部E2的距离为L7，左手中指指尖D3到左手中指根部E3的距离为L8，左手无名指指尖D4到左手无名指根部E4的距离为L9，左手尾指指尖D5到左手尾指根部E5的距离为L10；

步骤S4所述的各手指指尖到手指根部的最大距离阈值具体定义：右手拇指指尖A1到右手拇指根部B1的距离阈值为H1，右手食指指尖A2到右手食指根部B2的距离阈值为H2，右手中指指尖A3到右手中指根部B3的距离阈值为H3，右手无名指指尖A4到右手无名指根部B4的距离阈值为H4，右手尾指指尖A5到右手尾指根部B5的距离阈值为H5；

左手拇指指尖D1到左手拇指根部E1的距离阈值为H6，左手食指指尖D2到左手食指根部E2的距离阈值为H7，左手中指指尖D3到左手中指根部E3的距离阈值为H8，左手无名指指尖D4到左手无名指根部E4的距离阈值为H9，左手尾指指尖D5到左手尾指根部E5的距离阈值为H10；

步骤S5所述的双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角具体定义：右手拇指关节C1与拇指根部B1所在的直线与拇指根部B1和手掌根部P所在的直线的夹角为V1，右手食指关节C2与食指根部B2所在的直线与食指根部B2和手掌根部P所在的直线的夹角为V2，右手中指关节C3与中指根部B3所在的直线与中指根部B3和右手手掌根部P所在的直线的夹角为V3；

左手拇指关节F1与拇指根部E1所在的直线与拇指根部E1和手掌根部P所在的直线的夹角为V4，左手食指关节F2与食指根部E2所在的直线与食指根部E2和手掌根部P所在的直线的夹角为V5，左手中指关节F3与中指根部E3所在的直线与中指根部E3和左手手掌根部H所在的直线的夹角为V6；

步骤S6所述的双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的最小夹角阈值具体定义：右手拇指关节C1与拇指根部B1所在的直线与拇指根部B1和手掌根部P所在的直线的夹角为α1，右手食指关节C2与食指根部B2所在的直线与食指根部B2和手掌根部P所在的直线的夹角为α2，右手中指关节C3与中指根部B3所在的直线与中指根部B3和右手手掌根部P所在的直线的夹角为α3；

左手拇指关节F1与拇指根部E1所在的直线与拇指根部E1和手掌根部P所在的直线的夹角为α4，左手食指关节F2与食指根部E2所在的直线与食指根部E2和手掌根部P所在的直线的夹角为α5，左手中指关节F3与中指根部E3所在的直线与中指根部E3和左手手掌根部H所在的直线的夹角为α6。

所述步骤S7具体包括如下子步骤：

S71：在视频连续帧中，当监测到步骤S2中所述的任意两个关键点之间的距离发生变化，则开始对手部精细动作进行识别，并开始记录当前视频；

S72：判断各手指关键点之间的距离与距离阈值之间的关系，判断双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角与夹角阈值之间的关系，综合判断婴儿手部的精细动作；

S73：每判断出一个动作状态，记录该动作状态的维持时间和连续出现该动作状态的次数；

S74：根据连续的婴儿手部的精细动作记录，判定婴儿手部的成长节点。

所述步骤S72进一步包括：

当L1～L5与H1～H5对应相等，则判定右手“手掌打开”；当L6～L10与H6～H10对应相等，则判定左手“手掌打开”；

当L1～L5均对应小于H1～H5，且V1>α1且V2>α2且V3>α3，则判定右手“半开半握”；当L6～L10均对应小于H6～H10，且V4>α4且V5>α5且V6>α6，则判定左手“半开半握”；

当L1～L5均对应小于H1～H5，且V1＝α1且V2＝α2且V3＝α3，则判定右手“握拳”；当L6～L10均对应小于H6～H10，且V4＝α4且V5＝α5且V6＝α6，则判定左手“握拳”；

当L2>H2，且V3＝α3，且，L1＝H1，且L3～L5均对应小于H3～H5，则判定右手“食指指示”；当L5>H5，且V5＝α5，且，L4＝H4，且L6～L10均对应小于H6～H10，则判定左手“食指指示”；

当A1与A2～A5中任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中任意两个数值对应小于H2～H5，则判定右手“抓取物体”；当D1与D2～D5中任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中任意两个数值对应小于H7～H10，则判定左手“抓取物体”。

判定婴儿右手“抓取物体”后，当V1≥α1且V2≥α2且V3≥α3，且L1～L5均对应小于H1～H5，且A1～A5两两之间的距离在视频连续帧中固定时长超过预设时间，则判定为右手“握住物体”；

当A1与A2～A5中仅有任意一个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中仅有任意一个数值对应小于H2～H5，则判定为右手“两指捏”；

当A1与A2～A5中仅有任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中仅有任意两个数值对应小于H2～H5，则判定为右手“三指捏”；

当A1～A5中任意2个关键点的移动轨迹重复，则判定为右手“循环动作”；

判定婴儿左手“抓取物体”后，当V4≥α4且V5≥α5且V6≥α6，且L6～L10均对应小于H6～H10，且A6～A10两两之间的距离在视频连续帧中固定时长超过预设时间，则判定为左手“握住物体”；

当D1与D2～D5中仅有任意一个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中仅有任意一个数值对应小于H7～H10，则判定为左手“两指捏”；

当D1与D2～D5中仅有任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中仅有任意两个数值对应小于H7～H10，则判定为左手“三指捏”；

当D1～D5中任意2个关键点的移动轨迹重复，则判定为左手“循环动作”；

当左手“握住物体”和右手“握住物体”的判断状态发生切换，则判定为“倒手”。

每判断到一个动作状态，均记录动作状态维持时间，记录动作状态出现次数，并上报数据，在同监测时长(如24H)，若记录同一动作状态，持续时间呈现变短和出现次数增多，判断婴儿此此成长节点动作逐渐熟练。

为了进一步实现本发明的目的，本发明还提出了第二个实施例。

实施例2：

在实施例1的基础上，一种婴儿手部精细动作识别系统，包括：

视频监控模块：用于实时采集婴儿的手部视频数据，存储在存储器中并传输至数据处理模块；

存储器：用于存储视频监控模块的视频数据；

数据处理模块：用于执行所述程序，实现如权利要求1-5中任一项所述的一种婴儿手部精细动作识别系统的各个步骤。

所述视频监控模块设置于室内可监控婴儿活动范围处，所述数据处理模块和存储器设置于终端，通过无线接收来自视频监控模块传输的实时视频数据。

当数据处理模块判定婴儿手部处于“手掌打开”、“半开半握”、“握拳”、“食指指示”或“抓取物体”状态时，将对应连续画面对应的短视频进行提取并标记。

结合上述实施例可以得到，本发明对婴儿的手掌关键点进行标记，定义各手指关键点距离以及角度的阈值，通过对实际视频连续帧中的参数与对应阈值之间的关系对婴儿手部精细动作进行识别，进而判断婴儿手部对应的成长节点。家长可参考婴儿月龄对应的生长节点与实际生长节点之间是否有时间差异，提早对手部生长较晚的情况进行人工干预。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种婴儿手部精细动作识别方法，其特征在于，包括如下步骤：

S1：提取视频连续帧中的手掌的形状和轮廓；

S2：选取并标记婴儿的手掌关键点：右手拇指指尖A1，右手拇指根部B1，右手拇指关节C1，右手食指指尖A2，右手食指根部B2，右手食指关节C2，右手中指指尖A3，右手中指根部B3，右手中指关节C3，右手无名指指尖A4，右手无名指根部B4，右手无名指关节C4，右手尾指指尖A5，右手尾指根部B5，右手尾指关节C5，右手手掌根部P；

左手拇指指尖D1，左手拇指根部E1，左手拇指关节F1，左手食指指尖D2，左手食指根部E2，左手食指关节F2，左手中指指尖D3，左手中指根部E3，左手中指关节F3，左手无名指指尖D4，左手无名指根部E4，左手无名指关节F4，左手尾指指尖D5，左手尾指根部E5，左手尾指关节F5，左手手掌根部H；

S3：定义各手指指尖到手指根部的距离；

S4：将婴儿手掌完全张开的状态标记为舒张状态，检测舒张状态下的各手指指尖到手指根部的最大距离阈值；

S5：定义双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角；

S6：将婴儿手掌完全握拳的状态标记为握拳状态，检测握拳状态下双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的最小夹角阈值；

S7：对视频连续帧中的手掌数据进行解析，通过婴儿各手指的关键点的距离以及与手掌的夹角，结合在先状态对当前的手部精细动作进行识别。

2.根据权利要求1所述的一种婴儿手部精细动作识别方法，其特征在于，

步骤S3所述的各手指指尖到手指根部的距离具体定义：右手拇指指尖A1到右手拇指根部B1的距离为L1，右手食指指尖A2到右手食指根部B2的距离为L2，右手中指指尖A3到右手中指根部B3的距离为L3，右手无名指指尖A4到右手无名指根部B4的距离为L4，右手尾指指尖A5到右手尾指根部B5的距离为L5；

左手拇指指尖D1到左手拇指根部E1的距离为L6，左手食指指尖D2到左手食指根部E2的距离为L7，左手中指指尖D3到左手中指根部E3的距离为L8，左手无名指指尖D4到左手无名指根部E4的距离为L9，左手尾指指尖D5到左手尾指根部E5的距离为L10；

步骤S4所述的各手指指尖到手指根部的最大距离阈值具体定义：右手拇指指尖A1到右手拇指根部B1的距离阈值为H1，右手食指指尖A2到右手食指根部B2的距离阈值为H2，右手中指指尖A3到右手中指根部B3的距离阈值为H3，右手无名指指尖A4到右手无名指根部B4的距离阈值为H4，右手尾指指尖A5到右手尾指根部B5的距离阈值为H5；

左手拇指指尖D1到左手拇指根部E1的距离阈值为H6，左手食指指尖D2到左手食指根部E2的距离阈值为H7，左手中指指尖D3到左手中指根部E3的距离阈值为H8，左手无名指指尖D4到左手无名指根部E4的距离阈值为H9，左手尾指指尖D5到左手尾指根部E5的距离阈值为H10；

步骤S5所述的双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角具体定义：右手拇指关节C1与拇指根部B1所在的直线与拇指根部B1和手掌根部P所在的直线的夹角为V1，右手食指关节C2与食指根部B2所在的直线与食指根部B2和手掌根部P所在的直线的夹角为V2，右手中指关节C3与中指根部B3所在的直线与中指根部B3和右手手掌根部P所在的直线的夹角为V3；

左手拇指关节F1与拇指根部E1所在的直线与拇指根部E1和手掌根部P所在的直线的夹角为V4，左手食指关节F2与食指根部E2所在的直线与食指根部E2和手掌根部P所在的直线的夹角为V5，左手中指关节F3与中指根部E3所在的直线与中指根部E3和左手手掌根部H所在的直线的夹角为V6；

步骤S6所述的双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的最小夹角阈值具体定义：右手拇指关节C1与拇指根部B1所在的直线与拇指根部B1和手掌根部P所在的直线的夹角为α1，右手食指关节C2与食指根部B2所在的直线与食指根部B2和手掌根部P所在的直线的夹角为α2，右手中指关节C3与中指根部B3所在的直线与中指根部B3和右手手掌根部P所在的直线的夹角为α3；

左手拇指关节F1与拇指根部E1所在的直线与拇指根部E1和手掌根部P所在的直线的夹角为α4，左手食指关节F2与食指根部E2所在的直线与食指根部E2和手掌根部P所在的直线的夹角为α5，左手中指关节F3与中指根部E3所在的直线与中指根部E3和左手手掌根部H所在的直线的夹角为α6。

3.根据权利要求2所述的一种婴儿手部精细动作识别方法，其特征在于，所述步骤S7具体包括如下子步骤：

S71：在视频连续帧中，当监测到步骤S2中所述的任意两个关键点之间的距离发生变化，则开始对手部精细动作进行识别，并开始记录当前视频；

S72：判断各手指关键点之间的距离与距离阈值之间的关系，判断双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角与夹角阈值之间的关系，综合判断婴儿手部的精细动作；

S73：每判断出一个动作状态，记录该动作状态的维持时间和连续出现该动作状态的次数；

S74：根据连续的婴儿手部的精细动作记录，判定婴儿手部的成长节点。

4.根据权利要求3所述的一种婴儿手部精细动作识别方法，其特征在于，所述步骤S72进一步包括：

当L1～L5与H1～H5对应相等，则判定右手“手掌打开”；当L6～L10与H6～H10对应相等，则判定左手“手掌打开”；

当L1～L5均对应小于H1～H5，且V1>α1且V2>α2且V3>α3，则判定右手“半开半握”；当L6～L10均对应小于H6～H10，且V4>α4且V5>α5且V6>α6，则判定左手“半开半握”；

当L1～L5均对应小于H1～H5，且V1＝α1且V2＝α2且V3＝α3，则判定右手“握拳”；当L6～L10均对应小于H6～H10，且V4＝α4且V5＝α5且V6＝α6，则判定左手“握拳”；

当L2>H2，且V3＝α3，且，L1＝H1，且L3～L5均对应小于H3～H5，则判定右手“食指指示”；当L5>H5，且V5＝α5，且，L4＝H4，且L6～L10均对应小于H6～H10，则判定左手“食指指示”；

当A1与A2～A5中任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中任意两个数值对应小于H2～H5，则判定右手“抓取物体”；当D1与D2～D5中任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中任意两个数值对应小于H7～H10，则判定左手“抓取物体”。

5.根据权利要求4所述的一种婴儿手部精细动作识别方法，其特征在于，判定婴儿右手“抓取物体”后，当V1≥α1且V2≥α2且V3≥α3，且L1～L5均对应小于H1～H5，且A1～A5两两之间的距离在视频连续帧中固定时长超过预设时间，则判定为右手“握住物体”；

当A1与A2～A5中仅有任意一个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中仅有任意一个数值对应小于H2～H5，则判定为右手“两指捏”；

当A1与A2～A5中仅有任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中仅有任意两个数值对应小于H2～H5，则判定为右手“三指捏”；

当A1～A5中任意2个关键点的移动轨迹重复，则判定为右手“循环动作”；

判定婴儿左手“抓取物体”后，当V4≥α4且V5≥α5且V6≥α6，且L6～L10均对应小于H6～H10，且A6～A10两两之间的距离在视频连续帧中固定时长超过预设时间，则判定为左手“握住物体”；

当D1与D2～D5中仅有任意一个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中仅有任意一个数值对应小于H7～H10，则判定为左手“两指捏”；

当D1与D2～D5中仅有任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中仅有任意两个数值对应小于H7～H10，则判定为左手“三指捏”；

当D1～D5中任意2个关键点的移动轨迹重复，则判定为左手“循环动作”；

当左手“握住物体”和右手“握住物体”的判断状态发生切换，则判定为“倒手”。

6.一种婴儿手部精细动作识别系统，其特征在于，包括：

视频监控模块：用于实时采集婴儿的手部视频数据，存储在存储器中并传输至数据处理模块；

存储器：用于存储视频监控模块的视频数据；

数据处理模块：用于执行所述程序，实现如权利要求1-5中任一项所述的一种婴儿手部精细动作识别系统的各个步骤。

7.根据权利要求6所述的一种婴儿手部精细动作识别系统，其特征在于，所述视频监控模块设置于室内可监控婴儿活动范围处，所述数据处理模块和存储器设置于终端，通过无线接收来自视频监控模块传输的实时视频数据。

8.根据权利要求7所述的一种婴儿手部精细动作识别系统，其特征在于，当数据处理模块判定婴儿手部处于“手掌打开”、“半开半握”、“握拳”、“食指指示”或“抓取物体”状态时，将对应连续画面对应的短视频进行提取并标记。

Images