CN114842712A - 一种基于手势识别的手语教学系统 - Google Patents

一种基于手势识别的手语教学系统 Download PDF

Info

Publication number
CN114842712A
CN114842712A CN202210378035.3A CN202210378035A CN114842712A CN 114842712 A CN114842712 A CN 114842712A CN 202210378035 A CN202210378035 A CN 202210378035A CN 114842712 A CN114842712 A CN 114842712A
Authority
CN
China
Prior art keywords
sign language
action
module
teaching
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210378035.3A
Other languages
English (en)
Other versions
CN114842712B (zh
Inventor
吴坤泽
张梓浩
张家铭
郑大港
陈子怡
蔡泽民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shantou University
Original Assignee
Shantou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shantou University filed Critical Shantou University
Priority to CN202210378035.3A priority Critical patent/CN114842712B/zh
Publication of CN114842712A publication Critical patent/CN114842712A/zh
Application granted granted Critical
Publication of CN114842712B publication Critical patent/CN114842712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于手势识别的手语教学系统，包括：触摸屏模块、摄像头模块、树莓派模块和手语动作执行机器人，树莓派模块根据教学动作名称控制手语动作执行机器人输出手语动作；摄像头模块用于获取学习者的手语动作图像，树莓派模块用于通过手语动作图像得到学习动作名称，将所述学习动作名称和教学动作名称进行匹配，得到匹配结果。通过树莓派模块作为总控，控制手语动作执行机器人执行学习者想要的手语动作。然后利用摄像头模块对学习者的动作进行采集，实现对学习者动作的正确性进行判断。从而实现对手语动作的教学，提高教学效率。本发明主要用于教学工具领域。

Description

一种基于手势识别的手语教学系统
技术领域
本发明涉及教学用具技术领域，具体是一种基于手势识别的手语教学系统。
背景技术
聋人群体具有一定的特殊性，聋人群体的沟通方式一般采用手语沟通。现 有的手语学习机制一般都是采用视频教学的方式。这种视频教学方式由于是影 像形式，整体以二维形式进行呈现。而且，对于学习者所模仿的手语动作，没 有一个及时的评价机制，从而学习者无法得知当前手语的动作是正确性。因此， 对于很多学习者来讲，这种方式，学习接受效果不好，从而使得整体的教学效 果不佳。
发明内容
本发明提供一种基于手势识别的手语教学系统，以解决现有技术中所存在 的一个或多个技术问题，至少提供一种有益的选择或创造条件。
提供一种基于手势识别的手语教学系统，包括：触摸屏模块、摄像头模块、 树莓派模块和手语动作执行机器人，所述树莓派模块分别与触摸屏模块、摄像 头模块和手语动作执行机器人连接，所述触摸屏模块用于响应学习者触发得到 触发指令，所述树莓派模块根据所述触发指令得到学习者需要学习的手语动作 名称，所述手语动作名称记为教学动作名称，所述树莓派模块根据所述教学动 作名称控制手语动作执行机器人输出手语动作，以完成所述教学动作名称所对 应的手语动作；
所述摄像头模块用于获取学习者的手语动作图像，并将所述手语动作图像 传递给树莓派模块，所述树莓派模块用于：通过集成在所述树莓派模块中的手 语识别模型对所述手语动作图像进行识别，得到所述手语动作图像所对应的手 语动作名称，所述手语动作名称记为学习动作名称，将所述学习动作名称和教 学动作名称进行匹配，得到匹配结果。
进一步，所述树莓派模块用于：通过所述手语识别模型对所述手语动作图 像进行识别，得到所述手语动作图像所对应的手语动作名称，所述手语动作名 称记为学习动作名称，将所述学习动作名称和教学动作名称进行匹配，得到匹 配结果具体包括：
所述手语识别模型集成骨架检测算法MediaPipe Pose和目标检测算法 Yolo X，利用骨架检测算法MediaPipe Pose算法中的脸部检测器detector对 所述手语动作图像进行处理，tracker候选出人体可能出现的候选区域，从候 选区域中计算得到人体动作关节点坐标，设置标准的手臂姿态模板，对所得到 人体动作关节点坐标进行归一化处理后，对所述手臂姿态模板的每一个节点坐 标设置阈值范围，判断归一化的关节点坐标是否落入在所述阈值范围内，输出 第一判断结果；
构建手语词向量，通过目标检测算法Yolo X从手语动作图像中检测出手 掌图像，对所述手掌图像进行基于所述手语词向量中对应的标准手掌图像进行 识别和判断，得到学习动作名称和第二判断结果；
根据所述第一判断结果和第二判断结果得到匹配结果。
进一步，所述人体动作关节点坐标包括第11关节点坐标至第32关节点坐 标。
进一步，本基于手势识别的手语教学系统还包括存储模块，所述存储模块 与所述树莓派模块连接。
进一步，所述树莓派模块用于执行正常学习模式，所述正常学习模式包括： 触摸屏模块显示进入正常学习模式的第一UI接口，触摸屏模块检测到学习者 触摸所述第一UI接口，
所述触摸屏模块生成并显示记录有教学动作名称信息的第二UI接口，触 摸屏模块检测到学习者触摸所述第二UI接口，形成所述触发指令，所述教学 动作名称加载在触发指令中；
当所述第一判断结果为正确，并且所述第二判断结果为正确，则认为匹配 成功，在存储模块中划出用于存储错题集的存储单元，将当前的学习动作名称 存储在所述存储单元中。
进一步，本基于手势识别的手语教学系统还包括历史挑战模式，所述历史 挑战模式包括：触摸屏模式显示进入历史挑战模式的第三UI接口，触摸屏模 块检测到学习者触摸所述第三UI接口，访问存储单元，并从存储单元中获取 记录在错题集中的学习动作名称，将所述学习错题名称作为教学动作名称加载 在触发指令，当所述第一判断结果为正确，且所述第二判断结果为正确时，则 认为匹配成功，获取当前的学习动作名称，根据所述学习动作名称在所述存储 单元中查询是否存在与之相同的学习动作名称，如果有，则将所述学习动作名 称在存储单元中删除。
进一步，本基于手势识别的手语教学系统还包括语音输出模块；所述语音 输出模块与树莓派模块连接，在匹配成功后，所述树莓派模块控制语音输出模 块发出表示“动作正确”的提示语音，并控制触摸屏模块显示第一动画图像, 控制手语动作执行机器人输出设定的第一手语动作。
进一步，在匹配失败后，所述树莓派模块控制语音输出模块发出表示“动 作错误”的提示语音，并控制触摸屏模块显示第二动画图像,控制手语动作执 行机器人输出设定的第二手语动作。
本发明至少具有以下有益效果：通过设置触摸屏模块、摄像头模块、树莓 派模块和手语动作执行机器人。通过树莓派模块作为总控，控制手语动作执行 机器人执行学习者想要的手语动作。然后利用摄像头模块对学习者的动作进行 采集，实现对学习者动作的正确性进行判断。从而实现对手语动作的教学，提 高教学效率。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分， 与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方 案的限制。
图1是基于手势识别的手语教学系统的结构示意图；
图2是骨架检测算法MediaPipe Pose得到33个人体动作关节点坐标示意 图；
图3是目标检测算法Yolo X的模型结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示 出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程 图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术 语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或 先后次序。
参考图1，提供一种基于手势识别的手语教学系统，包括：触摸屏模块、 摄像头模块、树莓派模块和手语动作执行机器人，所述树莓派模块分别与触摸 屏模块、摄像头模块和手语动作执行机器人连接，所述触摸屏模块用于响应学 习者触发得到触发指令，所述树莓派模块根据所述触发指令得到学习者需要学 习的手语动作名称，所述手语动作名称记为教学动作名称，所述树莓派模块根 据所述教学动作名称控制手语动作执行机器人输出手语动作，以完成所述教学 动作名称所对应的手语动作；
所述摄像头模块用于获取学习者的手语动作图像，并将所述手语动作图像 传递给树莓派模块。所述树莓派模块用于：通过集成在所述树莓派模块中的手 语识别模型对所述手语动作图像进行识别，得到所述手语动作图像所对应的手 语动作名称，所述手语动作名称记为学习动作名称，将所述学习动作名称和教 学动作名称进行匹配，得到匹配结果。
本基于手势识别的手语教学系统的目的是实现学习者的有效教学，为此， 通过设置触摸屏模块、摄像头模块、树莓派模块和手语动作执行机器人。通过 树莓派模块作为总控，控制手语动作执行机器人执行学习者想要的手语动作。 然后利用摄像头模块对学习者的动作进行采集，实现对学习者动作的正确性进 行判断。从而实现对手语动作的教学，提高教学效率。
当本基于手势识别的手语教学系统工作时，学习者可以通过触摸屏模块选 择需要学习的手语动作科目，当然，在触摸屏模块中也会出现体现对应手语动 作科目的对应触发按键。学习者触摸了对应的触发按键后，触摸屏模块响应学 习者的触发，从而生成触发指令。其中，触发指令加载有表示学习者选择的需 要学习的手语动作科目所对应的手语动作名称。所述树莓派模块可以对触发指 令进行解析，从所述触发指令中得到所述手语动作名称。
根据所述触发指令得到手语动作名称，为了方便区分，所述手语动作名称 被记为教学动作名称。
所述树莓派模块集成有预先设置的手语动作名称所对应的控制手语动作执 行机器人执行对应手语动作的控制程序。所述树莓派模块可以根据所述教学动 作名称找到对应的控制程序。通过所述控制程序来控制手语动作执行机器人输 出手语动作，以完成所述教学动作名称所对应的手语动作。
学习者可以通过手语执行机器人直观的观察到具体的手语动作。此时，学 习者可以对手语动作进行学习。学习者在对手语动作进行学习的时候，所述摄 像头模块实时的获取学习者的手语动作图像，并将所述手语动作图像传递给树 莓派模块。
所述树莓派模块集成有对手语动作进行识别的手语识别模型，通过所述手 语识别模型对手语动作图像进行识别，从而识别出所述手语动作图像所对应的 手语动作名称。为了方便区分，将所述手语动作名称记为学习动作名称。为了 判断学习者的手语动作是否标准，因此，将识别出来的学习动作名称与教学动 作名称进行匹配，得到匹配结果。当学习动作名称与教学动作名称相同时，则 认为学习者的手语动作是标准的，正确的。当学习动作名称与教学动作名称不 相同时，则认为学习者的手语动作不标准，不正确。
其中，通过所述手语识别模型对所述手语动作图像进行识别，得到所述手 语动作图像所对应的手语动作名称，所述手语动作名称记为学习动作名称，将 所述学习动作名称和教学动作名称进行匹配，得到匹配结果具体包括：
所述手语识别模型集成骨架检测算法MediaPipe Pose和目标检测算法 Yolo X，利用骨架检测算法MediaPipe Pose算法中的脸部检测器detector对 所述手语动作图像进行处理，tracker候选出人体可能出现的候选区域，从候 选区域中计算得到人体动作关节点坐标，设置标准的手臂姿态模板，对所得到 人体动作关节点坐标进行归一化处理后，对所述手臂姿态模板的每一个节点坐 标设置阈值范围，判断归一化的关节点坐标是否落入在所述阈值范围内，输出 第一判断结果；
构建手语词向量，通过目标检测算法Yolo X从手语动作图像中检测出手 掌图像，对所述手掌图像进行基于所述手语词向量中对应的标准手掌图像进行 识别和判断，得到学习动作名称和第二判断结果；
根据所述第一判断结果和第二判断结果得到匹配结果。
MediaPipe是谷歌开发并开源的多媒体机器学习应用框架。骨架检测算法MediaPipe Pose中的姿态估计模型是基于一个轻量化的，可用于移动设备等 边缘设别上的人体姿态估计网络——Blaze Pose实现的。骨架检测算法 MediaPipe Pose的推理过程用一个detector-tracker来表示，在模型运行的过程 中，当第一帧图像被输入到模型中，使用脸部检测器detector对输入图像进行 处理，tracker候选出人体可能出现的候选区域，同时计算出来人体的姿态坐标 信息，同时回归出人体姿态33个关节节点(骨架、躯干、手臂)的坐标，如 图2所示。
当第二帧图像被输入到模型中，假设当前人体仍然出现在原来的区域，不 再运行脸部检测detector部分，而是基于上一帧图片用tracker计算得到姿态信 息与人体可能出现的候选区域来计算当前帧的人体姿态信息，同时输出当前第 二帧的人体姿态关节节点坐标；只有在图像中没有检测到人体的时候，才再次 运行人脸检测解码器，直到图像中再次出现人体，并被检测到得以重复上述流 程。通过这种方法可以极大的减小模型的参数数量与计算量，从而使这个模型 能够适应边缘端的识别任务。
在实际的操作当中我们实际上不需要人体的33个关节点，对于手语识别 任务，我们只需要得到手臂部分与躯干部分，即第11关节点坐标至第32关节 点坐标，便可以，通过对较少的关节点坐标进行运算，可以减少运算过程，提 高运算效率。
参考图3，对于学习者的手部动作的检测，我们采用经典的目标检测算法 Yolo X。它是目前目标检测任务中性能最优的人工智能算法，其损失函数有三 个部分组成，分别是中心坐标误差、宽高坐标误差以及置信度误差。Yolo X算 法将图片划分成网格，网格一共是S*S个，每个网格产生B个候选框anchor box，对每个候选框，经过网络得到相应的bounding box。最终会得到S*S*B 个bounding box，根据这些bounding box计算损失。损失函数由三部分组成， 分别是中心坐标部分、宽高坐标误差以及置信度误差。其中，
Figure BDA0003591589620000071
表示第i个网 格的第j个anchor box是否负责这个object，如果负责那么其值为1，否则为0。
Figure BDA0003591589620000073
表示参数置信度，在训练过程中，
Figure BDA0003591589620000072
表示真实值，其取值由grid cell的 bounding box有没有负责预测某个object决定，如果有其值为1，否则为0。
目标检测算法Yolo X的核心机制：
(1)设计的一种端到端的损失函数，预测物体的长、宽、中心点的x和 y坐标、以及识别物体的置信度。
(2)“分而治之”的预测策略，将输入的图片划分为单元格，对每个单元 格预测其所属的分类的置信度。并且使用anchor boxes机制来适应多个目标不 同大小，长宽比的情况下，训练和预测多个目标的置信度，帮助快速收敛。
(3)灵活的、可更换的、更强的提取特征的骨干网络，在Yolo v3中作 者自行设计了骨干网络Dark net53。并且在网络结构中去掉了池化层和全连接 层以保证更多特征能被提取，前向传播中的张量尺寸通过改变卷积核的步长实 现。
(4)多尺度的训练，设计了3种尺度的物体边框，分别是13*13、26*26、 52*52，三种分辨率，预测大、种、小的物体。
目标检测算法Yolo X的改进了训练阶段的数据增强策略，同时免去了传 统Yolo算法的anchor box操作，同时检测头改为Decoupled Head。采用自制 数据集训练，词库包含14个类，4个句子，每个类图片超过1000张，训练周 期为150个epoch，准确率为90.6％，达到人的识别效果。
联合骨架检测算法MediaPipe Pose和目标检测算法Yolo X的手语判别方 法：
对于骨架检测算法MediaPipe Pose，设置标准的手语模板，对所得到33 个节点坐标进行归一化处理后，对相应的手语动作按照标准的手语动作模板设 置一定的阈值，归一化的节点坐标在阈值范围内认为学习者做出的手语动作为 特定的一类手语动作，在手语词表中设置该手语动作为1。构建关节点词表 xt＝{xt,m|m＝1,2,3,...,N}，如果当前第t帧的手语关节点在第m个手语动作的 阈值范围[am,bm]内，其中对第m个动作，am和bm是一个二元组，分别为坐标的 最大范围，其中a表示横坐标，b表示y坐标，对应的第m个元素xt,m置为1， 其他为0。
对于目标检测算法Yolo X，对于当前第t帧的识别结果，构建手语词向量 yt＝{yt,m|m＝1,2,...,N}，总共含有N个手语动作，当识别结果是N个手语动 作的第m个时，相应的元素置为1。
综合两个模型，输入关节节点词向量和手势节点词向量，给出判断第m 个手语动作判断正确与否的依据为：
Figure BDA0003591589620000091
当输出为1时，表明手臂和手掌的动作都正确，当输出为0时，表明手臂 错误，而手掌的动作正确，当输出为-1时，表明学习者的手臂的动作错误，手 掌的动作也错误。
本具体实施例通过骨架检测算法MediaPipe Pose对手臂姿态进行第一次 判断，得到第一判断结果。同时，通过目标检测算法Yolo X对手掌图像进行 第二次判断，得到第二判断结果，然后利用第一判断结果和第二判断结果得到 匹配结果。当第一判断结果和第二判断结果均为正确的时候，则认为学习者的 手语动作是正确的。当第一判断结果或者第二判断结果存在任意一项是错误的 时候，则认为学习者的手语动作是错误的。
在一些优选的具体实施例中，本基于手势识别的手语教学系统还包括存储 模块，所述存储模块与所述树莓派模块连接。
在一些优选的具体实施例中，所述基于手势识别的手语教学系统具有多种 模式，其中，具有正常学习模式。正常学习模式指的是：学习者通过选择手语 库中含有的学习动作，自行选择并规划进行学习计划，进行手语动作的学习 (单个动作，多个动作)，同时对学生的错误动作生成“错题集”。
为了实现这个功能，触摸屏模块显示进入正常学习模式的第一UI接口， 触摸屏模块检测到学习者触摸所述第一UI接口，所述触摸屏模块生成并显示 记录有教学动作名称信息的第二UI接口，其中，所述第二UI接口连接手语库， 所述第二UI接口可以显示学习者需要学习的手语动作名称。为了方便区分， 所述手语动作名称记为教学动作名称。触摸屏模块检测到学习者触摸所述第二 UI接口，形成所述触发指令，所述教学动作名称加载在触发指令中。当所述 第一判断结果为正确，并且所述第二判断结果为正确，则认为匹配成功，在存 储模块中划出用于存储错题集的存储单元，将当前的学习动作名称存储在所述 存储单元中。
在一些优选的具体实施例中，本基于手势识别的手语教学系统还具有历史 挑战模式。所述历史挑战模式的功能为：对历史的学习情况(错题集)进行复 习，再次纠正学习过程中错误的动作，再次做对动作则在“错题集”中删除对 应“错题”。为了实现这个功能，
触摸屏模式显示进入历史挑战模式的第三UI接口，触摸屏模块检测到学 习者触摸所述第三UI接口，访问存储单元，并从存储单元中获取记录在错题 集中的学习动作名称，将所述学习错题名称作为教学动作名称加载在触发指令， 当所述第一判断结果为正确，且所述第二判断结果为正确时，则认为匹配成功， 获取当前的学习动作名称，根据所述学习动作名称在所述存储单元中查询是否 存在与之相同的学习动作名称，如果有，则将所述学习动作名称在存储单元中 删除。
通过在基于手势识别的手语教学系统中设置正常学习模式和历史挑战模式， 丰富了本基于手势识别的手语教学系统的趣味性，提升了学习者的学习兴趣。
在一些优选的具体实施例中，本基于手势识别的手语教学系统还包括语音 输出模块；所述语音输出模块与树莓派模块连接，在匹配成功后，所述树莓派 模块控制语音输出模块发出表示“动作正确”的提示语音，并控制触摸屏模块 显示第一动画图像，控制手语动作执行机器人输出设定的第一手语动作。其中， 第一手语动作设定为“竖起大拇指”动作。通过设置语音输出模块，然后利用 语音和动画的方式，使得整个基于手势识别的手语教学系统更加具有趣味性。
在一些优选的具体实施例中，在匹配失败后，所述树莓派模块控制语音输 出模块发出表示“动作错误”的提示语音，并控制触摸屏模块显示第二动画图 像,控制手语动作执行机器人输出设定的第二手语动作。其中，第二手语动作 设定为“双手交叉”动作。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实 施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的 等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范 围内。

Claims (8)

1.一种基于手势识别的手语教学系统，其特征在于，包括：触摸屏模块、摄像头模块、树莓派模块和手语动作执行机器人，所述树莓派模块分别与触摸屏模块、摄像头模块和手语动作执行机器人连接，所述触摸屏模块用于响应学习者触发得到触发指令，所述树莓派模块根据所述触发指令得到学习者需要学习的手语动作名称，所述手语动作名称记为教学动作名称，所述树莓派模块根据所述教学动作名称控制手语动作执行机器人输出手语动作，以完成所述教学动作名称所对应的手语动作；
所述摄像头模块用于获取学习者的手语动作图像，并将所述手语动作图像传递给树莓派模块，所述树莓派模块用于：通过集成在所述树莓派模块中的手语识别模型对所述手语动作图像进行识别，得到所述手语动作图像所对应的手语动作名称，所述手语动作名称记为学习动作名称，将所述学习动作名称和教学动作名称进行匹配，得到匹配结果。
2.根据权利要求1所述的一种基于手势识别的手语教学系统，其特征在于，所述树莓派模块用于：通过所述手语识别模型对所述手语动作图像进行识别，得到所述手语动作图像所对应的手语动作名称，所述手语动作名称记为学习动作名称，将所述学习动作名称和教学动作名称进行匹配，得到匹配结果具体包括：
所述手语识别模型集成骨架检测算法MediaPipe Pose和目标检测算法Yolo X，利用骨架检测算法MediaPipe Pose算法中的脸部检测器detector对所述手语动作图像进行处理，tracker候选出人体可能出现的候选区域，从候选区域中计算得到人体动作关节点坐标，设置标准的手臂姿态模板，对所得到人体动作关节点坐标进行归一化处理后，对所述手臂姿态模板的每一个节点坐标设置阈值范围，判断归一化的关节点坐标是否落入在所述阈值范围内，输出第一判断结果；
构建手语词向量，通过目标检测算法Yolo X从手语动作图像中检测出手掌图像，对所述手掌图像进行基于所述手语词向量中对应的标准手掌图像进行识别和判断，得到学习动作名称和第二判断结果；
根据所述第一判断结果和第二判断结果得到匹配结果。
3.根据权利要求2所述的一种基于手势识别的手语教学系统，其特征在于，所述人体动作关节点坐标包括第11关节点坐标至第32关节点坐标。
4.根据权利要求2所述的一种基于手势识别的手语教学系统，其特征在于，还包括存储模块，所述存储模块与所述树莓派模块连接。
5.根据权利要求4所述的一种基于手势识别的手语教学系统，其特征在于，所述树莓派模块用于执行正常学习模式，所述正常学习模式包括：触摸屏模块显示进入正常学习模式的第一UI接口，触摸屏模块检测到学习者触摸所述第一UI接口，所述触摸屏模块生成并显示记录有教学动作名称信息的第二UI接口，触摸屏模块检测到学习者触摸所述第二UI接口，形成所述触发指令，所述教学动作名称加载在触发指令中；当所述第一判断结果为正确，并且所述第二判断结果为正确，则认为匹配成功，在存储模块中划出用于存储错题集的存储单元，将当前的学习动作名称存储在所述存储单元中。
6.根据权利要求5所述的一种基于手势识别的手语教学系统，其特征在于，还包括历史挑战模式，所述历史挑战模式包括：触摸屏模式显示进入历史挑战模式的第三UI接口，触摸屏模块检测到学习者触摸所述第三UI接口，访问存储单元，并从存储单元中获取记录在错题集中的学习动作名称，将所述学习错题名称作为教学动作名称加载在触发指令，当所述第一判断结果为正确，且所述第二判断结果为正确时，则认为匹配成功，获取当前的学习动作名称，根据所述学习动作名称在所述存储单元中查询是否存在与之相同的学习动作名称，如果有，则将所述学习动作名称在存储单元中删除。
7.根据权利要求6所述的一种基于手势识别的手语教学系统，其特征在于，还包括语音输出模块；所述语音输出模块与树莓派模块连接，在匹配成功后，所述树莓派模块控制语音输出模块发出表示“动作正确”的提示语音，控制触摸屏模块显示第一动画图像,控制手语动作执行机器人输出设定的第一手语动作。
8.根据权利要求7所述的一种基于手势识别的手语教学系统，其特征在于，在匹配失败后，所述树莓派模块控制语音输出模块发出表示“动作错误”的提示语音，并控制触摸屏模块显示第二动画图像,控制手语动作执行机器人输出设定的第二手语动作。
CN202210378035.3A 2022-04-12 2022-04-12 一种基于手势识别的手语教学系统 Active CN114842712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210378035.3A CN114842712B (zh) 2022-04-12 2022-04-12 一种基于手势识别的手语教学系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210378035.3A CN114842712B (zh) 2022-04-12 2022-04-12 一种基于手势识别的手语教学系统

Publications (2)

Publication Number Publication Date
CN114842712A true CN114842712A (zh) 2022-08-02
CN114842712B CN114842712B (zh) 2023-10-17

Family

ID=82564034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210378035.3A Active CN114842712B (zh) 2022-04-12 2022-04-12 一种基于手势识别的手语教学系统

Country Status (1)

Country Link
CN (1) CN114842712B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0585098A2 (en) * 1992-08-24 1994-03-02 Hitachi, Ltd. Sign recognition apparatus and method and sign translation system using same
US6549887B1 (en) * 1999-01-22 2003-04-15 Hitachi, Ltd. Apparatus capable of processing sign language information
CN101901350A (zh) * 2010-07-23 2010-12-01 北京航空航天大学 一种基于特征向量的静态手势识别方法
CN105868715A (zh) * 2016-03-29 2016-08-17 苏州科达科技股份有限公司 一种手势识别方法、装置及手势学习系统
CN206075026U (zh) * 2016-07-18 2017-04-05 汕头大学 一种基于多手势控制的智能家居控制终端
CN108960163A (zh) * 2018-07-10 2018-12-07 亮风台（上海）信息科技有限公司 手势识别方法、装置、设备和存储介质
WO2019043350A1 (en) * 2017-09-01 2019-03-07 Hoarton, Lloyd SYSTEM AND METHOD FOR TEACHING THE LANGUAGE OF SIGNS
CN111401188A (zh) * 2020-03-10 2020-07-10 清华大学 一种基于人体关键点特征的交警手势识别方法
CN112668506A (zh) * 2020-12-31 2021-04-16 咪咕动漫有限公司 一种手势跟踪方法、设备及计算机可读存储介质
CN113033526A (zh) * 2021-05-27 2021-06-25 北京欧应信息技术有限公司 基于计算机实现的方法、电子设备和计算机程序产品
CN113221745A (zh) * 2021-05-12 2021-08-06 北京百度网讯科技有限公司 举手识别方法、装置、电子设备及存储介质
CN113569828A (zh) * 2021-09-27 2021-10-29 南昌嘉研科技有限公司 一种人体姿态识别方法、系统、存储介质及设备
CN113706507A (zh) * 2021-08-27 2021-11-26 西安交通大学 基于人体姿态检测的实时跳绳计数方法、装置和设备
CN113792635A (zh) * 2021-09-07 2021-12-14 盐城工学院 一种基于轻量化卷积神经网络的手势识别方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0585098A2 (en) * 1992-08-24 1994-03-02 Hitachi, Ltd. Sign recognition apparatus and method and sign translation system using same
US6549887B1 (en) * 1999-01-22 2003-04-15 Hitachi, Ltd. Apparatus capable of processing sign language information
CN101901350A (zh) * 2010-07-23 2010-12-01 北京航空航天大学 一种基于特征向量的静态手势识别方法
CN105868715A (zh) * 2016-03-29 2016-08-17 苏州科达科技股份有限公司 一种手势识别方法、装置及手势学习系统
CN206075026U (zh) * 2016-07-18 2017-04-05 汕头大学 一种基于多手势控制的智能家居控制终端
WO2019043350A1 (en) * 2017-09-01 2019-03-07 Hoarton, Lloyd SYSTEM AND METHOD FOR TEACHING THE LANGUAGE OF SIGNS
CN108960163A (zh) * 2018-07-10 2018-12-07 亮风台（上海）信息科技有限公司 手势识别方法、装置、设备和存储介质
CN111401188A (zh) * 2020-03-10 2020-07-10 清华大学 一种基于人体关键点特征的交警手势识别方法
CN112668506A (zh) * 2020-12-31 2021-04-16 咪咕动漫有限公司 一种手势跟踪方法、设备及计算机可读存储介质
CN113221745A (zh) * 2021-05-12 2021-08-06 北京百度网讯科技有限公司 举手识别方法、装置、电子设备及存储介质
CN113033526A (zh) * 2021-05-27 2021-06-25 北京欧应信息技术有限公司 基于计算机实现的方法、电子设备和计算机程序产品
CN113706507A (zh) * 2021-08-27 2021-11-26 西安交通大学 基于人体姿态检测的实时跳绳计数方法、装置和设备
CN113792635A (zh) * 2021-09-07 2021-12-14 盐城工学院 一种基于轻量化卷积神经网络的手势识别方法
CN113569828A (zh) * 2021-09-27 2021-10-29 南昌嘉研科技有限公司 一种人体姿态识别方法、系统、存储介质及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANDRES JARAMILLO-YANEZ: ""Short-Term Hand Gesture Recognition using Electromyography in the Transient State, Support Vector Machines, and Discrete Wavelet Transform"", 《2019 IEEE LATIN AMERICAN CONFERENCE ON COMPUTATIONAL INTELLIGENCE (LA-CCI)》, pages 1 - 6 *
朱想先: ""轻量级视觉手势识别系统"", 《电子元器件与信息技术》, vol. 06, no. 5, pages 199 - 200 *
魏楚亮: ""基于单张照片模式的三维图像重建新方法研究"", 《中国测试》, vol. 02, no. 40, pages 23 - 26 *

Also Published As

Publication number Publication date
CN114842712B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
US20230035150A1 (en) Robot control method, apparatus and device, storage medium and program product
CN112231489B (zh) 防疫机器人知识学习与迁移方法和系统
Symeonidis Hand gesture recognition using neural networks
CN107150347A (zh) 基于人机协作的机器人感知与理解方法
CN111144580B (zh) 一种基于模仿学习的层级强化学习训练方法和装置
CN104899561A (zh) 一种并行化的人体行为识别方法
CN110478883B (zh) 一种健身动作教学及矫正系统及方法
US20200241574A1 (en) Generalizable robot approach control techniques
CN108563624A (zh) 一种基于深度学习的自然语言生成方法
CN110472594A (zh) 目标跟踪方法、信息插入方法及设备
CN110796018A (zh) 一种基于深度图像和彩色图像的手部运动识别方法
CN110851760A (zh) 在web3D环境融入视觉问答的人机交互系统
CN111079837B (zh) 一种用于二维灰度图像检测识别分类的方法
CN110008839A (zh) 一种自适应手势识别的智能手语交互系统及方法
CN111401473A (zh) 基于注意力机制卷积神经网络的红外目标分类方法
CN113419623A (zh) 一种非标定眼动交互方法和装置
CN112905762A (zh) 一种基于同等注意力图网络的视觉问答方法
CN111898420A (zh) 一种唇语识别系统
CN115188074A (zh) 一种互动式体育训练测评方法、装置、系统及计算机设备
CN114758180A (zh) 一种基于知识蒸馏的轻量化花卉识别方法
Wu et al. From members to teams to committee-a robust approach to gestural and multimodal recognition
CN111078008B (zh) 一种早教机器人的控制方法
CN113112185A (zh) 一种教师表现力的评估方法、装置和电子设备
CN110990630B (zh) 一种基于图建模视觉信息的利用问题指导的视频问答方法
CN115810163B (zh) 一种基于ai课堂行为识别的教学评估方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant