CN112507955B - 一种婴儿手部精细动作识别方法及系统 - Google Patents
一种婴儿手部精细动作识别方法及系统 Download PDFInfo
- Publication number
- CN112507955B CN112507955B CN202011518135.9A CN202011518135A CN112507955B CN 112507955 B CN112507955 B CN 112507955B CN 202011518135 A CN202011518135 A CN 202011518135A CN 112507955 B CN112507955 B CN 112507955B
- Authority
- CN
- China
- Prior art keywords
- finger
- root
- hand
- straight line
- palm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种婴儿手部精细动作识别方法，提取视频连续帧中的手掌的形状和轮廓；选取并标记婴儿的手掌关键点；定义各指尖到手指根部的距离；将婴儿手掌完全张开的状态标记为舒张状态，检测该状态下的各指尖到手指根部的最大距离阈值；定义双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角；将婴儿手掌完全握拳的状态标记为握拳状态，检测该状态下双手拇指、食指和中指与手掌的最小夹角阈值；对视频连续帧中的手掌数据进行解析，通过婴儿各手指的关键点的距离以及与手掌的夹角，结合在先状态对当前的手部精细动作进行识别。
Description
技术领域
本发明涉及图像识别领域，具体涉及一种婴儿手部精细动作识别方法及系统。
背景技术
现有技术中用于判别手部精细动作的方式及运用到婴儿手部精细动作识别条件下的弊端如下：
(1)通过克罗福身体部分灵巧测验、本特纳手动工具灵活性测验及九洞测验等方式，让被测试者在特定的环境下完成指定的实验动作来判断被测试者的手部精细动作是否符合某个成长节点。这种人工判断的方式依赖于经验，精度不够高。
(2)通过摄像机获取手部姿态数据集，生成2D手部关节热图，输入训练模型，设计3D手部姿态识别模型，通过数据分析和训练指导模型，实时指导用户进行手部精细动作。但由于婴儿的配合度有限，可控性很低，无法根据提示来矫正动作，因此不适用于婴儿。
(3)通过在测试者手臂和手掌上绑缚各种传感器的方式来获得需要的原始数据，通过分析测试软件来进行测评。这种方式精度很高，但是在婴儿身上绑缚仪器带给婴儿的不适感较强，对情绪和行为产生影响，会造成测量的不准确。
发明内容
为解决现有的手部精细动作的方式用于婴儿的手部精细动作识别会存在精度不高的问题，本发明提供了一种婴儿手部精细动作识别方法及系统。
本发明通过下述技术方案实现：
一种婴儿手部精细动作识别方法，包括如下步骤：
S1：提取视频连续帧中的手掌的形状和轮廓；
S2：选取并标记婴儿的手掌关键点：右手拇指指尖A1，右手拇指根部B1，右手拇指关节C1，右手食指指尖A2，右手食指根部B2，右手食指关节C2，右手中指指尖A3，右手中指根部B3，右手中指关节C3，右手无名指指尖A4，右手无名指根部B4，右手无名指关节C4，右手尾指指尖A5，右手尾指根部B5，右手尾指关节C5，右手手掌根部P；
左手拇指指尖D1，左手拇指根部E1，左手拇指关节F1，左手食指指尖D2，左手食指根部E2，左手食指关节F2，左手中指指尖D3，左手中指根部E3，左手中指关节F3，左手无名指指尖D4，左手无名指根部E4，左手无名指关节F4，左手尾指指尖D5，左手尾指根部E5，左手尾指关节F5，左手手掌根部H；
S3：定义各手指指尖到手指根部的距离；
S4：将婴儿手掌完全张开的状态标记为舒张状态，检测舒张状态下的各手指指尖到手指根部的最大距离阈值；
S5：定义双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角；
S6：将婴儿手掌完全握拳的状态标记为握拳状态，检测握拳状态下双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的最小夹角阈值；
S7：对视频连续帧中的手掌数据进行解析，通过婴儿各手指的关键点的距离以及与手掌的夹角，结合在先状态对当前的手部精细动作进行识别。
步骤S3所述的各手指指尖到手指根部的距离具体定义：右手拇指指尖A1到右手拇指根部B1的距离为L1，右手食指指尖A2到右手食指根部B2的距离为L2，右手中指指尖A3到右手中指根部B3的距离为L3，右手无名指指尖A4到右手无名指根部B4的距离为L4，右手尾指指尖A5到右手尾指根部B5的距离为L5；
左手拇指指尖D1到左手拇指根部E1的距离为L6，左手食指指尖D2到左手食指根部E2的距离为L7，左手中指指尖D3到左手中指根部E3的距离为L8，左手无名指指尖D4到左手无名指根部E4的距离为L9，左手尾指指尖D5到左手尾指根部E5的距离为L10；
步骤S4所述的各手指指尖到手指根部的最大距离阈值具体定义：右手拇指指尖A1到右手拇指根部B1的距离阈值为H1，右手食指指尖A2到右手食指根部B2的距离阈值为H2，右手中指指尖A3到右手中指根部B3的距离阈值为H3，右手无名指指尖A4到右手无名指根部B4的距离阈值为H4，右手尾指指尖A5到右手尾指根部B5的距离阈值为H5；
左手拇指指尖D1到左手拇指根部E1的距离阈值为H6，左手食指指尖D2到左手食指根部E2的距离阈值为H7，左手中指指尖D3到左手中指根部E3的距离阈值为H8，左手无名指指尖D4到左手无名指根部E4的距离阈值为H9，左手尾指指尖D5到左手尾指根部E5的距离阈值为H10；
步骤S5所述的双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角具体定义：右手拇指关节C1与拇指根部B1所在的直线与拇指根部B1和手掌根部P所在的直线的夹角为V1，右手食指关节C2与食指根部B2所在的直线与食指根部B2和手掌根部P所在的直线的夹角为V2，右手中指关节C3与中指根部B3所在的直线与中指根部B3和右手手掌根部P所在的直线的夹角为V3；
左手拇指关节F1与拇指根部E1所在的直线与拇指根部E1和手掌根部P所在的直线的夹角为V4，左手食指关节F2与食指根部E2所在的直线与食指根部E2和手掌根部P所在的直线的夹角为V5，左手中指关节F3与中指根部E3所在的直线与中指根部E3和左手手掌根部H所在的直线的夹角为V6；
步骤S6所述的双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的最小夹角阈值具体定义：右手拇指关节C1与拇指根部B1所在的直线与拇指根部B1和手掌根部P所在的直线的夹角为α1，右手食指关节C2与食指根部B2所在的直线与食指根部B2和手掌根部P所在的直线的夹角为α2，右手中指关节C3与中指根部B3所在的直线与中指根部B3和右手手掌根部P所在的直线的夹角为α3；
左手拇指关节F1与拇指根部E1所在的直线与拇指根部E1和手掌根部P所在的直线的夹角为α4，左手食指关节F2与食指根部E2所在的直线与食指根部E2和手掌根部P所在的直线的夹角为α5，左手中指关节F3与中指根部E3所在的直线与中指根部E3和左手手掌根部H所在的直线的夹角为α6。
所述步骤S7具体包括如下子步骤：
S71：在视频连续帧中，当监测到步骤S2中所述的任意两个关键点之间的距离发生变化，则开始对手部精细动作进行识别，并开始记录当前视频；
S72：判断各手指关键点之间的距离与距离阈值之间的关系，判断双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角与夹角阈值之间的关系，综合判断婴儿手部的精细动作；
S73：每判断出一个动作状态，记录该动作状态的维持时间和连续出现该动作状态的次数；
S74：根据连续的婴儿手部的精细动作记录，判定婴儿手部的成长节点。
所述步骤S72进一步包括：
当L1～L5与H1～H5对应相等，则判定右手“手掌打开”；当L6～L10与H6～H10对应相等，则判定左手“手掌打开”；
当L1～L5均对应小于H1～H5，且V1>α1且V2>α2且V3>α3，则判定右手“半开半握”；当L6～L10均对应小于H6～H10，且V4>α4且V5>α5且V6>α6，则判定左手“半开半握”；
当L1～L5均对应小于H1～H5，且V1＝α1且V2＝α2且V3＝α3，则判定右手“握拳”；当L6～L10均对应小于H6～H10，且V4＝α4且V5＝α5且V6＝α6，则判定左手“握拳”；
当L2>H2，且V3＝α3，且，L1＝H1，且L3～L5均对应小于H3～H5，则判定右手“食指指示”；当L5>H5，且V5＝α5，且，L4＝H4，且L6～L10均对应小于H6～H10，则判定左手“食指指示”；
当A1与A2～A5中任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中任意两个数值对应小于H2～H5，则判定右手“抓取物体”；当D1与D2～D5中任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中任意两个数值对应小于H7～H10，则判定左手“抓取物体”。
判定婴儿右手“抓取物体”后，当V1≥α1且V2≥α2且V3≥α3，且L1～L5均对应小于H1～H5，且A1～A5两两之间的距离在视频连续帧中固定时长超过预设时间，则判定为右手“握住物体”；
当A1与A2～A5中仅有任意一个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中仅有任意一个数值对应小于H2～H5，则判定为右手“两指捏”；
当A1与A2～A5中仅有任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中仅有任意两个数值对应小于H2～H5，则判定为右手“三指捏”；
当A1～A5中任意2个关键点的移动轨迹重复，则判定为右手“循环动作”；
判定婴儿左手“抓取物体”后，当V4≥α4且V5≥α5且V6≥α6，且L6～L10均对应小于H6～H10，且A6～A10两两之间的距离在视频连续帧中固定时长超过预设时间，则判定为左手“握住物体”；
当D1与D2～D5中仅有任意一个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中仅有任意一个数值对应小于H7～H10，则判定为左手“两指捏”；
当D1与D2～D5中仅有任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中仅有任意两个数值对应小于H7～H10，则判定为左手“三指捏”；
当D1～D5中任意2个关键点的移动轨迹重复，则判定为左手“循环动作”；
当左手“握住物体”和右手“握住物体”的判断状态发生切换，则判定为“倒手”。
一种婴儿手部精细动作识别系统，包括：
视频监控模块：用于实时采集婴儿的手部视频数据，存储在存储器中并传输至数据处理模块；
存储器：用于存储视频监控模块的视频数据；
数据处理模块：用于执行所述程序，实现如权利要求1-5中任一项所述的一种婴儿手部精细动作识别系统的各个步骤。
所述视频监控模块设置于室内可监控婴儿活动范围处，所述数据处理模块和存储器设置于终端，通过无线接收来自视频监控模块传输的实时视频数据。
当数据处理模块判定婴儿手部处于“手掌打开”、“半开半握”、“握拳”、“食指指示”或“抓取物体”状态时，将对应连续画面对应的短视频进行提取并标记。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明对婴儿的手掌关键点进行标记，定义各手指关键点距离以及角度的阈值，通过对实际视频连续帧中的参数与对应阈值之间的关系对婴儿手部精细动作进行识别，进而判断婴儿手部对应的成长节点。家长可参考婴儿月龄对应的生长节点与实际生长节点之间是否有时间差异，提早对手部生长较晚的情况进行干预。
附图说明
结合附图，可以得到对本发明实施例的进一步理解，从本发明的权利要求和优选实施例的以下描述可以获得本发明的其它特征和优点。在不超出本发明的范围的情况下，在这种情况下可以按任何期望的方式将图中所示的不同实施例的单独特征加以组合。在附图中：
图1为本发明的婴儿的手掌关键点示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1：
如图1所示，在本实施例中，一种婴儿手部精细动作识别方法，包括如下步骤：
S1：提取视频连续帧中的手掌的形状和轮廓；
S2：选取并标记婴儿的手掌关键点：右手拇指指尖A1，右手拇指根部B1，右手拇指关节C1，右手食指指尖A2，右手食指根部B2，右手食指关节C2，右手中指指尖A3，右手中指根部B3，右手中指关节C3，右手无名指指尖A4，右手无名指根部B4，右手无名指关节C4，右手尾指指尖A5，右手尾指根部B5，右手尾指关节C5，右手手掌根部P；
左手拇指指尖D1，左手拇指根部E1，左手拇指关节F1，左手食指指尖D2，左手食指根部E2，左手食指关节F2，左手中指指尖D3，左手中指根部E3，左手中指关节F3，左手无名指指尖D4，左手无名指根部E4，左手无名指关节F4，左手尾指指尖D5，左手尾指根部E5，左手尾指关节F5，左手手掌根部H；
S3：定义各手指指尖到手指根部的距离；
S4：将婴儿手掌完全张开的状态标记为舒张状态，检测舒张状态下的各手指指尖到手指根部的最大距离阈值；
S5：定义双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角；
S6：将婴儿手掌完全握拳的状态标记为握拳状态，检测握拳状态下双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的最小夹角阈值；
S7：对视频连续帧中的手掌数据进行解析，通过婴儿各手指的关键点的距离以及与手掌的夹角，结合在先状态对当前的手部精细动作进行识别。
步骤S3所述的各手指指尖到手指根部的距离具体定义：右手拇指指尖A1到右手拇指根部B1的距离为L1，右手食指指尖A2到右手食指根部B2的距离为L2，右手中指指尖A3到右手中指根部B3的距离为L3，右手无名指指尖A4到右手无名指根部B4的距离为L4，右手尾指指尖A5到右手尾指根部B5的距离为L5；
左手拇指指尖D1到左手拇指根部E1的距离为L6，左手食指指尖D2到左手食指根部E2的距离为L7，左手中指指尖D3到左手中指根部E3的距离为L8，左手无名指指尖D4到左手无名指根部E4的距离为L9，左手尾指指尖D5到左手尾指根部E5的距离为L10；
步骤S4所述的各手指指尖到手指根部的最大距离阈值具体定义：右手拇指指尖A1到右手拇指根部B1的距离阈值为H1，右手食指指尖A2到右手食指根部B2的距离阈值为H2，右手中指指尖A3到右手中指根部B3的距离阈值为H3，右手无名指指尖A4到右手无名指根部B4的距离阈值为H4，右手尾指指尖A5到右手尾指根部B5的距离阈值为H5；
左手拇指指尖D1到左手拇指根部E1的距离阈值为H6，左手食指指尖D2到左手食指根部E2的距离阈值为H7，左手中指指尖D3到左手中指根部E3的距离阈值为H8，左手无名指指尖D4到左手无名指根部E4的距离阈值为H9，左手尾指指尖D5到左手尾指根部E5的距离阈值为H10；
步骤S5所述的双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角具体定义：右手拇指关节C1与拇指根部B1所在的直线与拇指根部B1和手掌根部P所在的直线的夹角为V1，右手食指关节C2与食指根部B2所在的直线与食指根部B2和手掌根部P所在的直线的夹角为V2，右手中指关节C3与中指根部B3所在的直线与中指根部B3和右手手掌根部P所在的直线的夹角为V3；
左手拇指关节F1与拇指根部E1所在的直线与拇指根部E1和手掌根部P所在的直线的夹角为V4，左手食指关节F2与食指根部E2所在的直线与食指根部E2和手掌根部P所在的直线的夹角为V5，左手中指关节F3与中指根部E3所在的直线与中指根部E3和左手手掌根部H所在的直线的夹角为V6；
步骤S6所述的双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的最小夹角阈值具体定义：右手拇指关节C1与拇指根部B1所在的直线与拇指根部B1和手掌根部P所在的直线的夹角为α1，右手食指关节C2与食指根部B2所在的直线与食指根部B2和手掌根部P所在的直线的夹角为α2，右手中指关节C3与中指根部B3所在的直线与中指根部B3和右手手掌根部P所在的直线的夹角为α3；
左手拇指关节F1与拇指根部E1所在的直线与拇指根部E1和手掌根部P所在的直线的夹角为α4，左手食指关节F2与食指根部E2所在的直线与食指根部E2和手掌根部P所在的直线的夹角为α5，左手中指关节F3与中指根部E3所在的直线与中指根部E3和左手手掌根部H所在的直线的夹角为α6。
所述步骤S7具体包括如下子步骤：
S71：在视频连续帧中，当监测到步骤S2中所述的任意两个关键点之间的距离发生变化，则开始对手部精细动作进行识别，并开始记录当前视频；
S72：判断各手指关键点之间的距离与距离阈值之间的关系，判断双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角与夹角阈值之间的关系，综合判断婴儿手部的精细动作；
S73：每判断出一个动作状态，记录该动作状态的维持时间和连续出现该动作状态的次数；
S74：根据连续的婴儿手部的精细动作记录，判定婴儿手部的成长节点。
所述步骤S72进一步包括：
当L1～L5与H1～H5对应相等，则判定右手“手掌打开”；当L6～L10与H6～H10对应相等，则判定左手“手掌打开”；
当L1～L5均对应小于H1～H5，且V1>α1且V2>α2且V3>α3，则判定右手“半开半握”；当L6～L10均对应小于H6～H10，且V4>α4且V5>α5且V6>α6，则判定左手“半开半握”；
当L1～L5均对应小于H1～H5，且V1＝α1且V2＝α2且V3＝α3，则判定右手“握拳”；当L6～L10均对应小于H6～H10，且V4＝α4且V5＝α5且V6＝α6，则判定左手“握拳”；
当L2>H2，且V3＝α3，且，L1＝H1，且L3～L5均对应小于H3～H5，则判定右手“食指指示”；当L5>H5，且V5＝α5，且，L4＝H4，且L6～L10均对应小于H6～H10，则判定左手“食指指示”；
当A1与A2～A5中任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中任意两个数值对应小于H2～H5，则判定右手“抓取物体”；当D1与D2～D5中任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中任意两个数值对应小于H7～H10，则判定左手“抓取物体”。
判定婴儿右手“抓取物体”后，当V1≥α1且V2≥α2且V3≥α3，且L1～L5均对应小于H1～H5，且A1～A5两两之间的距离在视频连续帧中固定时长超过预设时间，则判定为右手“握住物体”；
当A1与A2～A5中仅有任意一个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中仅有任意一个数值对应小于H2～H5，则判定为右手“两指捏”；
当A1与A2～A5中仅有任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中仅有任意两个数值对应小于H2～H5，则判定为右手“三指捏”；
当A1～A5中任意2个关键点的移动轨迹重复，则判定为右手“循环动作”；
判定婴儿左手“抓取物体”后，当V4≥α4且V5≥α5且V6≥α6，且L6～L10均对应小于H6～H10，且A6～A10两两之间的距离在视频连续帧中固定时长超过预设时间，则判定为左手“握住物体”；
当D1与D2～D5中仅有任意一个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中仅有任意一个数值对应小于H7～H10，则判定为左手“两指捏”；
当D1与D2～D5中仅有任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中仅有任意两个数值对应小于H7～H10，则判定为左手“三指捏”；
当D1～D5中任意2个关键点的移动轨迹重复，则判定为左手“循环动作”；
当左手“握住物体”和右手“握住物体”的判断状态发生切换，则判定为“倒手”。
每判断到一个动作状态，均记录动作状态维持时间，记录动作状态出现次数，并上报数据，在同监测时长(如24H)，若记录同一动作状态，持续时间呈现变短和出现次数增多，判断婴儿此此成长节点动作逐渐熟练。
为了进一步实现本发明的目的，本发明还提出了第二个实施例。
实施例2：
在实施例1的基础上，一种婴儿手部精细动作识别系统，包括：
视频监控模块：用于实时采集婴儿的手部视频数据，存储在存储器中并传输至数据处理模块；
存储器：用于存储视频监控模块的视频数据；
数据处理模块：用于执行所述程序，实现如权利要求1-5中任一项所述的一种婴儿手部精细动作识别系统的各个步骤。
所述视频监控模块设置于室内可监控婴儿活动范围处，所述数据处理模块和存储器设置于终端，通过无线接收来自视频监控模块传输的实时视频数据。
当数据处理模块判定婴儿手部处于“手掌打开”、“半开半握”、“握拳”、“食指指示”或“抓取物体”状态时，将对应连续画面对应的短视频进行提取并标记。
结合上述实施例可以得到，本发明对婴儿的手掌关键点进行标记，定义各手指关键点距离以及角度的阈值，通过对实际视频连续帧中的参数与对应阈值之间的关系对婴儿手部精细动作进行识别，进而判断婴儿手部对应的成长节点。家长可参考婴儿月龄对应的生长节点与实际生长节点之间是否有时间差异，提早对手部生长较晚的情况进行人工干预。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种婴儿手部精细动作识别方法，其特征在于，包括如下步骤：
S1：提取视频连续帧中的手掌的形状和轮廓；
S2：选取并标记婴儿的手掌关键点：右手拇指指尖A1，右手拇指根部B1，右手拇指关节C1，右手食指指尖A2，右手食指根部B2，右手食指关节C2，右手中指指尖A3，右手中指根部B3，右手中指关节C3，右手无名指指尖A4，右手无名指根部B4，右手无名指关节C4，右手尾指指尖A5，右手尾指根部B5，右手尾指关节C5，右手手掌根部P；
左手拇指指尖D1，左手拇指根部E1，左手拇指关节F1，左手食指指尖D2，左手食指根部E2，左手食指关节F2，左手中指指尖D3，左手中指根部E3，左手中指关节F3，左手无名指指尖D4，左手无名指根部E4，左手无名指关节F4，左手尾指指尖D5，左手尾指根部E5，左手尾指关节F5，左手手掌根部H；
S3：定义各手指指尖到手指根部的距离；
S4：将婴儿手掌完全张开的状态标记为舒张状态，检测舒张状态下的各手指指尖到手指根部的最大距离阈值；
S5：定义双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角；
S6：将婴儿手掌完全握拳的状态标记为握拳状态，检测握拳状态下双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的最小夹角阈值；
S7：对视频连续帧中的手掌数据进行解析，通过婴儿各手指的关键点的距离以及与手掌的夹角，结合在先状态对当前的手部精细动作进行识别。
2.根据权利要求1所述的一种婴儿手部精细动作识别方法，其特征在于，
步骤S3所述的各手指指尖到手指根部的距离具体定义：右手拇指指尖A1 到右手拇指根部B1的距离为L1，右手食指指尖A2到右手食指根部B2的距离为L2，右手中指指尖A3到右手中指根部B3的距离为L3，右手无名指指尖A4到右手无名指根部B4的距离为L4，右手尾指指尖A5到右手尾指根部B5的距离为L5；
左手拇指指尖D1到左手拇指根部E1的距离为L6，左手食指指尖D2到左手食指根部E2的距离为L7，左手中指指尖D3到左手中指根部E3的距离为L8，左手无名指指尖D4到左手无名指根部E4的距离为L9，左手尾指指尖D5到左手尾指根部E5的距离为L10；
步骤S4所述的各手指指尖到手指根部的最大距离阈值具体定义：右手拇指指尖A1到右手拇指根部B1的距离阈值为H1，右手食指指尖A2到右手食指根部B2的距离阈值为H2，右手中指指尖A3到右手中指根部B3的距离阈值为H3，右手无名指指尖A4到右手无名指根部B4的距离阈值为H4，右手尾指指尖A5到右手尾指根部B5的距离阈值为H5；
左手拇指指尖D1到左手拇指根部E1的距离阈值为H6，左手食指指尖D2到左手食指根部E2的距离阈值为H7，左手中指指尖D3到左手中指根部E3的距离阈值为H8，左手无名指指尖D4到左手无名指根部E4的距离阈值为H9，左手尾指指尖D5到左手尾指根部E5的距离阈值为H10；
步骤S5所述的双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角具体定义：右手拇指关节C1与拇指根部B1所在的直线与拇指根部B1和手掌根部P所在的直线的夹角为V1，右手食指关节C2与食指根部B2所在的直线与食指根部B2和手掌根部P所在的直线的夹角为V2，右手中指关节C3与中指根部B3所在的直线与中指根部B3和右手手掌根部P所在的直线的夹角为V3；
左手拇指关节F1与拇指根部E1所在的直线与拇指根部E1和手掌根部P所在的直线的夹角为V4，左手食指关节F2与食指根部E2所在的直线与食指根部E2和手掌根部P所在的直线的夹角为V5，左手中指关节F3与中指根部E3所在的直线与中指根部E3和左手手掌根部H所在的直线的夹角为V6；
步骤S6所述的双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的最小夹角阈值具体定义：右手拇指关节C1与拇指根部B1所在的直线与拇指根部B1和手掌根部P所在的直线的夹角为α1，右手食指关节C2与食指根部B2所在的直线与食指根部B2和手掌根部P所在的直线的夹角为α2，右手中指关节C3与中指根部B3所在的直线与中指根部B3和右手手掌根部P所在的直线的夹角为α3；
左手拇指关节F1与拇指根部E1所在的直线与拇指根部E1和手掌根部P所在的直线的夹角为α4，左手食指关节F2与食指根部E2所在的直线与食指根部E2和手掌根部P所在的直线的夹角为α5，左手中指关节F3与中指根部E3所在的直线与中指根部E3和左手手掌根部H所在的直线的夹角为α6。
3.根据权利要求2所述的一种婴儿手部精细动作识别方法，其特征在于，所述步骤S7具体包括如下子步骤：
S71：在视频连续帧中，当监测到步骤S2中所述的任意两个关键点之间的距离发生变化，则开始对手部精细动作进行识别，并开始记录当前视频；
S72：判断各手指关键点之间的距离与距离阈值之间的关系，判断双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角与夹角阈值之间的关系，综合判断婴儿手部的精细动作；
S73：每判断出一个动作状态，记录该动作状态的维持时间和连续出现该动作状态的次数；
S74：根据连续的婴儿手部的精细动作记录，判定婴儿手部的成长节点。
4.根据权利要求3所述的一种婴儿手部精细动作识别方法，其特征在于，所述步骤S72进一步包括：
当L1～L5与H1～H5对应相等，则判定右手“手掌打开”；当L6～L10与H6～H10对应相等，则判定左手“手掌打开”；
当L1～L5均对应小于H1～H5，且V1>α1且V2>α2且V3>α3，则判定右手“半开半握”；当L6～L10均对应小于H6～H10，且V4>α4且V5>α5且V6>α6，则判定左手“半开半握”；
当L1～L5均对应小于H1～H5，且V1＝α1且V2＝α2且V3＝α3，则判定右手“握拳”；当L6～L10均对应小于H6～H10，且V4＝α4且V5＝α5且V6＝α6，则判定左手“握拳”；
当L2>H2，且V3＝α3，且，L1＝H1，且L3～L5均对应小于H3～H5，则判定右手“食指指示”；当L5>H5，且V5＝α5，且，L4＝H4，且L6～L10均对应小于H6～H10，则判定左手“食指指示”；
当A1与A2～A5中任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中任意两个数值对应小于H2～H5，则判定右手“抓取物体”；当D1与D2～D5中任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中任意两个数值对应小于H7～H10，则判定左手“抓取物体”。
5.根据权利要求4所述的一种婴儿手部精细动作识别方法，其特征在于，判定婴儿右手“抓取物体”后，当V1≥α1且V2≥α2且V3≥α3，且L1～L5均对应小于H1～H5，且A1～A5两两之间的距离在视频连续帧中固定时长超过预设时间，则判定为右手“握住物体”；
当A1与A2～A5中仅有任意一个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中仅有任意一个数值对应小于H2～H5，则判定为右手“两指捏”；
当A1与A2～A5中仅有任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L1<H1，且L2～L5中仅有任意两个数值对应小于H2～H5，则判定为右手“三指捏”；
当A1～A5中任意2个关键点的移动轨迹重复，则判定为右手“循环动作”；
判定婴儿左手“抓取物体”后，当V4≥α4且V5≥α5且V6≥α6，且L6～L10均对应小于H6～H10，且A6～A10两两之间的距离在视频连续帧中固定时长超过预设时间，则判定为左手“握住物体”；
当D1与D2～D5中仅有任意一个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中仅有任意一个数值对应小于H7～H10，则判定为左手“两指捏”；
当D1与D2～D5中仅有任意两个关键点之间的距离在视频连续帧中固定时长超过预设时间，且L6<H6，且L7～L10中仅有任意两个数值对应小于H7～H10，则判定为左手“三指捏”；
当D1～D5中任意2个关键点的移动轨迹重复，则判定为左手“循环动作”；
当左手“握住物体”和右手“握住物体”的判断状态发生切换，则判定为“倒手”。
6.一种婴儿手部精细动作识别系统，其特征在于，包括：
视频监控模块：用于实时采集婴儿的手部视频数据，存储在存储器中并传输至数据处理模块；
存储器：用于存储视频监控模块的视频数据；
数据处理模块：用于执行程序，实现如权利要求1-5中任一项所述的一种婴儿手部精细动作识别方法 的各个步骤。
7.根据权利要求6所述的一种婴儿手部精细动作识别系统，其特征在于，所述视频监控模块设置于室内可监控婴儿活动范围处，所述数据处理模块和存储器设置于终端，通过无线接收来自视频监控模块传输的实时视频数据。
8.根据权利要求7所述的一种婴儿手部精细动作识别系统，其特征在于，当数据处理模块判定婴儿手部处于“手掌打开”、“半开半握”、“握拳”、“食指指示”或“抓取物体”状态时，将对应连续画面对应的短视频进行提取并标记。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011518135.9A CN112507955B (zh) | 2020-12-21 | 2020-12-21 | 一种婴儿手部精细动作识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011518135.9A CN112507955B (zh) | 2020-12-21 | 2020-12-21 | 一种婴儿手部精细动作识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112507955A CN112507955A (zh) | 2021-03-16 |
| CN112507955B true CN112507955B (zh) | 2023-04-18 |
Family
ID=74921832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011518135.9A Active CN112507955B (zh) | 2020-12-21 | 2020-12-21 | 一种婴儿手部精细动作识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112507955B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469081B (zh) * | 2021-07-08 | 2023-06-06 | 西南交通大学 | 一种运动状态识别方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567703A (zh) * | 2010-12-10 | 2012-07-11 | 上海上大海润信息系统有限公司 | 一种基于分类特征的手部动作识别信息处理方法 |
| CN106971132A (zh) * | 2016-01-14 | 2017-07-21 | 芋头科技（杭州）有限公司 | 一种扫描手势并识别的方法 |
| WO2019080780A1 (zh) * | 2017-10-24 | 2019-05-02 | 京东方科技集团股份有限公司 | 手势检测方法、手势处理设备和计算机可读存储介质 |
| CN110334561A (zh) * | 2018-03-31 | 2019-10-15 | 广州卓腾科技有限公司 | 一种控制对象旋转的手势控制方法 |
| CN110728232A (zh) * | 2019-10-10 | 2020-01-24 | 清华大学深圳国际研究生院 | 一种手部感兴趣区域的获取方法及手纹识别方法 |
| WO2020042121A1 (zh) * | 2018-08-30 | 2020-03-05 | Oppo广东移动通信有限公司 | 一种手势识别方法及终端、存储介质 |
| CN111312017A (zh) * | 2020-03-12 | 2020-06-19 | 许昌学院 | 一种钢琴教学手指训练装置 |
| CN111814645A (zh) * | 2020-06-30 | 2020-10-23 | 山东海博科技信息系统股份有限公司 | 手指检测方法 |
-
2020
- 2020-12-21 CN CN202011518135.9A patent/CN112507955B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567703A (zh) * | 2010-12-10 | 2012-07-11 | 上海上大海润信息系统有限公司 | 一种基于分类特征的手部动作识别信息处理方法 |
| CN106971132A (zh) * | 2016-01-14 | 2017-07-21 | 芋头科技（杭州）有限公司 | 一种扫描手势并识别的方法 |
| WO2019080780A1 (zh) * | 2017-10-24 | 2019-05-02 | 京东方科技集团股份有限公司 | 手势检测方法、手势处理设备和计算机可读存储介质 |
| CN110334561A (zh) * | 2018-03-31 | 2019-10-15 | 广州卓腾科技有限公司 | 一种控制对象旋转的手势控制方法 |
| WO2020042121A1 (zh) * | 2018-08-30 | 2020-03-05 | Oppo广东移动通信有限公司 | 一种手势识别方法及终端、存储介质 |
| CN110728232A (zh) * | 2019-10-10 | 2020-01-24 | 清华大学深圳国际研究生院 | 一种手部感兴趣区域的获取方法及手纹识别方法 |
| CN111312017A (zh) * | 2020-03-12 | 2020-06-19 | 许昌学院 | 一种钢琴教学手指训练装置 |
| CN111814645A (zh) * | 2020-06-30 | 2020-10-23 | 山东海博科技信息系统股份有限公司 | 手指检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| an efficient 3d-nas method for video-based gesture recognition;ziheng guo等;《international conference on artificial neural networks》;319-329 * |
| 基于分类特征提取的手部动作识别方法的研究及应用;阳诚海等;《计算机应用与软件》(第06期);101-104 * |
| 手势识别技术综述;胡友树;《中国科技信息》(第02期);41-42 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112507955A (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kakoty et al. | Recognition of sign language alphabets and numbers based on hand kinematics using a data glove | |
| CN109993073B (zh) | 一种基于Leap Motion的复杂动态手势识别方法 | |
| WO2022012364A1 (zh) | 肌电信号处理、外骨骼机器人控制方法及装置 | |
| CN116226691B (zh) | 用于手势姿态感知的智能戒指数据处理方法 | |
| CN113133787B (zh) | 鼻咽拭子采样机器人人机协同交互控制方法及系统 | |
| Wu et al. | A Visual-Based Gesture Prediction Framework Applied in Social Robots. | |
| CN109634415A (zh) | 一种用于控制模拟量的手势识别控制方法 | |
| CN112507955B (zh) | 一种婴儿手部精细动作识别方法及系统 | |
| CN105446485B (zh) | 基于数据手套和位置跟踪仪的人手运动功能捕捉系统及方法 | |
| CN106123911A (zh) | 一种基于加速传感器和角速度传感器的记步方法 | |
| CN111700718A (zh) | 一种识别握姿的方法、装置、假肢及可读存储介质 | |
| CN105105757B (zh) | 一种可穿戴人体运动姿态轨迹记录与测评装置 | |
| CN113849068A (zh) | 一种手势多模态信息融合的理解与交互方法及其系统 | |
| CN111714121A (zh) | 肌电数据分类模型构建方法、分类方法、装置及服务器 | |
| Chang et al. | A hierarchical hand motions recognition method based on IMU and sEMG sensors | |
| CN106990841A (zh) | 基于运动传感器的手势识别方法及智能可穿戴摄像机 | |
| CN113901881A (zh) | 一种肌电数据自动标注方法 | |
| CN103544469A (zh) | 一种基于掌心测距的指尖检测方法和装置 | |
| CN106951109B (zh) | 一种采集手部姿态的方法及其装置 | |
| CN108127667B (zh) | 一种基于关节角增量的机械臂体感交互控制方法 | |
| CN110362190B (zh) | 基于myo的文本输入系统及方法 | |
| CN116009695A (zh) | 一种基于数据手套的动态手势识别方法及系统 | |
| CN110122929A (zh) | 一种基于惯性传感器的抽烟事件监测系统及监测方法 | |
| CN115390659A (zh) | 数据手套动态校准装置与方法 | |
| CN112949587B (zh) | 基于关键点的手部握姿矫正方法、系统及计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |