CN109993130A - 一种基于深度图像动态手语语义识别系统及方法 - Google Patents
一种基于深度图像动态手语语义识别系统及方法 Download PDFInfo
- Publication number
- CN109993130A CN109993130A CN201910269214.1A CN201910269214A CN109993130A CN 109993130 A CN109993130 A CN 109993130A CN 201910269214 A CN201910269214 A CN 201910269214A CN 109993130 A CN109993130 A CN 109993130A
- Authority
- CN
- China
- Prior art keywords
- image
- word
- depth image
- coordinate
- sign language
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于深度图像动态手语语义识别系统及方法，所述系统及方法通过获取操作者的深度图像视频信息，并对所述视频信息进行处理，获取手关节信息，通过关节信息分析出手语单词，将各所述单词输入到语义分析模型中，判断语义表达是否完整，在所述意图表达完整时，将各所述完整语义直接输出或转化控制命令传给其他控制单元，实现了将手语动作翻译为文字，控制机械或操作系统，有助于听障人士更好的融入社会生活。
Description
技术领域
本发明属于语义识别技术领域，特别是涉及一种基于深度图像动态手语语义识别系统及方法。
背景技术
手语识别控制从原理上可分为基于双目相机和基于深度图像三维回归，在手势分析上只支持简单手势识别、简单手语单词。其中，基于双目相机采用的是通过双目相机同时拍摄物体来计算出物体特征点的深度信息的方式来进行图像识别，从而分析出手势信息。基于深度图像三维回归方案主要依赖于深度摄像机对手势进行拍摄得到的图像及拍摄场景内各点与深度摄像机之间的距离信息建立该手势的三维模型。以三维模型为依据进行手势判断，在手势分析上，具体采用标准手势数据库,与手势动作进行匹配，选出与模型最为相近的手势。
现有技术中对语音识别以及语音控制做了很多的研究，也给可以使用语音控制的人创造了许多的便利，但对于聋哑人士却无法享受到这样的便利。而通过简单比划的方式(例如绘画、文字书写、动作比划)进行一些基础的沟通，并不能完全的表达使用者的意图，并且伴有一定的学习成本。所以，为了提高听障人士对控制设备的便利性，同时也为了便于聋哑残障人士与无手语基础的人进行无障碍沟通，急需一种能够理解手语语义的方法及系统。
发明内容
本发明目的是为了解决现有的技术问题，提出了一种基于深度图像动态手语语义识别系统及方法。
本发明是通过以下技术方案实现的，本发明提出一种基于深度图像动态手语语义识别系统，包括：
图像捕获模块，用于捕获操作者的深度图像视频数据并将每一帧深度图像传输给图像分析模块；
图像分析模块，用于处理深度图像视频数据，得到手部关节3d坐标并输出给手语分析模块；
手语分析模块，用于获取足够长度的手部关节3d坐标队列，并提取子队列进行分析，获得子队列可能表示的单词，并将所述单词传递给语义分析模块；
语义分析模块，用于获得足够表明一组完整的单词，并通过语义语境分析，对获取的单词矫正，并组合成完整正确语义的语句或者命令，并通过输出的语句或者命令进行控制操作。
进一步地，所述图像分析模块具体工作流程如下：
步骤21：接收图像捕获模块传输过来的深度图像视频数据；
步骤22：进行人手部矩形框选坐标的识别；
步骤23：通过循环神经网络进行基于时序信息的跟踪；
步骤24：通过提取深度图像框选区域为感兴趣区域，并对框选区域深度图像进行手部关节3d坐标提取；
步骤25：将提取的手部关节3d坐标输入到手语分析模块。
进一步地，所述步骤22具体为：
步骤221：通过图像发现并提取手部信息；
步骤222：对视频前后帧图像时序信息进行手部跟踪，根据检测结果确定目标矩形框选区域；
步骤223：持续跟踪手部，直到跟踪的手部信息消失，并返回步骤221。
进一步地，所述对框选区域深度图像进行手部关节3d坐标提取，具体为：
步骤241：接收框选后截取的深度图像；
步骤242：将深度图像以图像像素值最高点为基准截取到阈值的所有像素；
步骤243：将深度图像归一化到相同尺寸；
步骤244：以像素最低点的像素值为0，像素最高点的像素值为1，将图像进行归一化操作；
步骤245：将归一化后图像输入基于深度参差网络模型输出手部关节三维坐标；
步骤246：将手部关节三维坐标输出到手语分析模块中。
进一步地，所述手语分析模块具体用于将手部的三维坐标进行序列化存储，并通过训练得到的长短期记忆网络模型进行将坐标时序信息转化为手语单词的操作；输入为坐标序列帧，并将可能输出的单词通过独热编码进行重新编码，输出为通过softmax得到的所有概率密度分布，取前五高概率的单词的独热编码及其概率，从而实现从动作上识别操作者可能表达的单词。
进一步地，所述语义分析模块具体用于输入独热编码组和概率组序列，并通过训练得到的N-gram网络模型进行将单词组序列转化为具体语义的操作。
本发明还提出一种基于深度图像动态手语语义识别方法，具体包括以下步骤：
步骤1：调用图像捕获模块捕获操作者的深度图像视频数据将每一帧深度图像传输给图像分析模块；
步骤2：调用图像分析模块处理深度图像视频数据，得到手部关节3d坐标并输出给手语分析模块；
步骤3：重复步骤2，直到获取足够长度的手部关节3d坐标队列，并提取子队列进行分析，获得子队列可能表示的单词，并将所述单词传递给语义分析模块；
步骤4：重复步骤3，直到获得足够表明一组完整的的单词，并通过语义语境分析，对获取的单词矫正，并组合成完整正确语义的语句或者命令，并通过输出的语句或者命令进行控制操作。
进一步地，所述步骤3具体为：
步骤31：将手部关节3d坐标队列输入到长短期记忆网络模型中；
步骤32：通过所述长短期记忆网络模型得到前五高概率的单词独热编码及其概率；
步骤33：将独热编码组和概率组输入到语义分析模块中。
进一步地，所述步骤4具体为：
步骤41：将独热编码组和概率组序列输入到N-gram网络模型中；
步骤42：通过所述N-gram网络模型输出完整语义的句子；
步骤43：将完整语义的句子直接输出或者转化为操作信号传递给受控设备进行控制操作。
进一步地，所述图像捕获模块包括深度摄像机，所述深度摄像机的摄像头能够捕获视场范围内的深度信息，且视场范围可根据实际应用调节。
本发明与现有技术相比，具有如下优点：
1.为获取指定结果的输出，不必采用固定手势输入，只要手语语义相同。
2.采用深度相机采集数据，没有灯光、颜色等其他干扰。
3.系统耦合性低，可截取其中几个模块完成其他操作(例如可单独提取食指关节坐标，进行物体运动控制操作)
4.最终输出控制命令，可进行多项下属单元的控制。
附图说明
图1为本发明所述基于深度图像动态手语语义识别方法流程图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1，本发明提出一种基于深度图像动态手语语义识别系统，包括：
图像捕获模块，用于捕获操作者的深度图像视频数据并将每一帧深度图像传输给图像分析模块；
图像分析模块，用于处理深度图像视频数据，得到手部关节3d坐标并输出给手语分析模块；
手语分析模块，用于获取足够长度的手部关节3d坐标队列，并提取子队列进行分析，获得子队列可能表示的单词，并将所述单词传递给语义分析模块；
语义分析模块，用于获得足够表明一组完整的单词，并通过语义语境分析，对获取的单词矫正，并组合成完整正确语义的语句或者命令，并通过输出的语句或者命令进行控制操作。
所述图像分析模块具体工作流程如下：
步骤21：接收图像捕获模块传输过来的深度图像视频数据；
步骤22：进行人手部矩形框选坐标的识别；
步骤23：通过循环神经网络进行基于时序信息的跟踪；
步骤24：通过提取深度图像框选区域为感兴趣区域，并对框选区域深度图像进行手部关节3d坐标提取；
步骤25：将提取的手部关节3d坐标输入到手语分析模块。
人手检测是通过模型对手部特征的比对以及前后帧的对比进行方位大小的定位，从而提取出操作人员手部位置信息的检测方法。训练过程中的时序图像采用图像捕获模块提取的时序视频。而对视频中的手部位置标注采用非实时性但准确率较高的基于卷积神经网络的yolov3模型，并配合人工修正的方式进行图像标注。对不同的人进行不同的数据采集来避免样本过拟合，从而让手型大小、以及不同场景上都可以得到非常好的效果。所述步骤22具体为：
步骤221：通过图像发现并提取手部信息；
步骤222：对视频前后帧图像时序信息进行手部跟踪，根据检测结果确定目标矩形框选区域；
步骤223：持续跟踪手部，直到跟踪的手部信息消失，并返回步骤221。
所述对框选区域深度图像进行手部关节3d坐标提取，具体为：
步骤241：接收框选后截取的深度图像；
步骤242：将深度图像以图像像素值最高点为基准截取到阈值的所有像素；
步骤243：将深度图像归一化到相同尺寸；
步骤244：以像素最低点的像素值为0，像素最高点的像素值为1，将图像进行归一化操作；
步骤245：将归一化后图像输入基于深度参差网络模型输出手部关节三维坐标；
步骤246：将手部关节三维坐标输出到手语分析模块中。
所述手语分析模块具体用于将手部的三维坐标进行序列化存储，并通过训练得到的长短期记忆网络模型进行将坐标时序信息转化为手语单词的操作；输入为坐标序列帧，并将可能输出的单词通过独热编码进行重新编码，输出为通过softmax得到的所有概率密度分布，取前五高概率的单词的独热编码及其概率，从而实现从动作上识别操作者可能表达的单词。
所述语义分析模块具体用于输入独热编码组和概率组序列，并通过训练得到的N-gram网络模型进行将单词组序列转化为具体语义的操作。
本发明还提出一种基于深度图像动态手语语义识别方法，具体包括以下步骤：
步骤1：调用图像捕获模块捕获操作者的深度图像视频数据将每一帧深度图像传输给图像分析模块；
步骤2：调用图像分析模块处理深度图像视频数据，得到手部关节3d坐标并输出给手语分析模块；
步骤3：重复步骤2，直到获取足够长度的手部关节3d坐标队列，并提取子队列进行分析，获得子队列可能表示的单词，并将所述单词传递给语义分析模块；
步骤4：重复步骤3，直到获得足够表明一组完整的的单词，并通过语义语境分析，对获取的单词矫正，并组合成完整正确语义的语句或者命令，并通过输出的语句或者命令进行控制操作。
所述步骤3具体为：
步骤31：将手部关节3d坐标队列输入到长短期记忆网络模型中；
步骤32：通过所述长短期记忆网络模型得到前五高概率的单词独热编码及其概率；
步骤33：将独热编码组和概率组输入到语义分析模块中。
所述步骤4具体为：
步骤41：将独热编码组和概率组序列输入到N-gram网络模型中；
步骤42：通过所述N-gram网络模型输出完整语义的句子；
步骤43：将完整语义的句子直接输出或者转化为操作信号传递给受控设备进行控制操作。
所述图像捕获模块包括深度摄像机，用于拍摄操作者进行手语表达时所作出的手势，该模块可接收控制信号，捕获深度图像并传入图像分析模块。所述深度摄像机的摄像头能够捕获视场范围内的深度信息，且视场范围可根据实际应用调节。同时可获取点云信息进行图像补正，并将原始深度图或者补正后深度图输入到图像分析模块中。
本发明所述系统及方法通过获取操作者的深度图像视频信息，并对所述视频信息进行处理，获取手关节信息，通过关节信息分析出手语单词，将各所述单词输入到语义分析模型中，判断语义表达是否完整，在所述意图表达完整时，将各所述完整语义直接输出或转化控制命令传给其他控制单元，实现了将手语动作翻译为文字，控制机械或操作系统，有助于听障人士更好的融入社会生活。
以上对本发明所提供的一种基于深度图像动态手语语义识别系统及方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于深度图像动态手语语义识别系统，其特征在于，包括：
图像捕获模块，用于捕获操作者的深度图像视频数据并将每一帧深度图像传输给图像分析模块；
图像分析模块，用于处理深度图像视频数据，得到手部关节3d坐标并输出给手语分析模块；
手语分析模块，用于获取足够长度的手部关节3d坐标队列，并提取子队列进行分析，获得子队列可能表示的单词，并将所述单词传递给语义分析模块；
语义分析模块，用于获得足够表明一组完整的单词，并通过语义语境分析，对获取的单词矫正，并组合成完整正确语义的语句或者命令，并通过输出的语句或者命令进行控制操作。
2.根据权利要求1所述的系统，其特征在于，所述图像分析模块具体工作流程如下：
步骤21： 接收图像捕获模块传输过来的深度图像视频数据；
步骤22： 进行人手部矩形框选坐标的识别；
步骤23： 通过循环神经网络进行基于时序信息的跟踪；
步骤24： 通过提取深度图像框选区域为感兴趣区域，并对框选区域深度图像进行手部关节3d坐标提取；
步骤25：将提取的手部关节3d坐标输入到手语分析模块。
3.根据权利要求2所述的系统，其特征在于，所述步骤22具体为：
步骤221： 通过图像发现并提取手部信息；
步骤222： 对视频前后帧图像时序信息进行手部跟踪，根据检测结果确定目标矩形框选区域；
步骤223： 持续跟踪手部，直到跟踪的手部信息消失，并返回步骤221。
4.根据权利要求2所述的系统，其特征在于，所述对框选区域深度图像进行手部关节3d坐标提取，具体为：
步骤241：接收框选后截取的深度图像；
步骤242：将深度图像以图像像素值最高点为基准截取到阈值的所有像素；
步骤243：将深度图像归一化到相同尺寸；
步骤244：以像素最低点的像素值为0，像素最高点的像素值为1，将图像进行归一化操作；
步骤245：将归一化后图像输入基于深度参差网络模型输出手部关节三维坐标；
步骤246：将手部关节三维坐标输出到手语分析模块中。
5.根据权利要求2、3或4所述的系统，其特征在于，所述手语分析模块具体用于将手部的三维坐标进行序列化存储，并通过训练得到的长短期记忆网络模型进行将坐标时序信息转化为手语单词的操作；输入为坐标序列帧，并将可能输出的单词通过独热编码进行重新编码，输出为通过softmax得到的所有概率密度分布，取前五高概率的单词的独热编码及其概率，从而实现从动作上识别操作者可能表达的单词。
6.根据权利要求5所述的系统，其特征在于，所述语义分析模块具体用于输入独热编码组和概率组序列，并通过训练得到的N-gram网络模型进行将单词组序列转化为具体语义的操作。
7.一种基于深度图像动态手语语义识别方法，其特征在于，具体包括以下步骤：
步骤1： 调用图像捕获模块捕获操作者的深度图像视频数据将每一帧深度图像传输给图像分析模块；
步骤2： 调用图像分析模块处理深度图像视频数据，得到手部关节3d坐标并输出给手语分析模块；
步骤3： 重复步骤2，直到获取足够长度的手部关节3d坐标队列，并提取子队列进行分析，获得子队列可能表示的单词，并将所述单词传递给语义分析模块；
步骤4： 重复步骤3，直到获得足够表明一组完整的的单词，并通过语义语境分析，对获取的单词矫正，并组合成完整正确语义的语句或者命令，并通过输出的语句或者命令进行控制操作。
8.根据权利要求7所述的方法，其特征在于，所述步骤3具体为：
步骤31： 将手部关节3d坐标队列输入到长短期记忆网络模型中；
步骤32： 通过所述长短期记忆网络模型得到前五高概率的单词独热编码及其概率；
步骤33： 将独热编码组和概率组输入到语义分析模块中。
9.根据权利要求8所述的方法，其特征在于，所述步骤4具体为：
步骤41： 将独热编码组和概率组序列输入到N-gram网络模型中；
步骤42： 通过所述N-gram网络模型输出完整语义的句子；
步骤43： 将完整语义的句子直接输出或者转化为操作信号传递给受控设备进行控制操作。
10.根据权利要求7所述的方法，其特征在于，所述图像捕获模块包括深度摄像机，所述深度摄像机的摄像头能够捕获视场范围内的深度信息，且视场范围可根据实际应用调节。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910269214.1A CN109993130A (zh) | 2019-04-04 | 2019-04-04 | 一种基于深度图像动态手语语义识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910269214.1A CN109993130A (zh) | 2019-04-04 | 2019-04-04 | 一种基于深度图像动态手语语义识别系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109993130A true CN109993130A (zh) | 2019-07-09 |
Family
ID=67132359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910269214.1A Pending CN109993130A (zh) | 2019-04-04 | 2019-04-04 | 一种基于深度图像动态手语语义识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109993130A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110348420A (zh) * | 2019-07-18 | 2019-10-18 | 腾讯科技（深圳）有限公司 | 手语识别方法、装置、计算机可读存储介质和计算机设备 |
| CN110991391A (zh) * | 2019-09-17 | 2020-04-10 | 腾讯科技（深圳）有限公司 | 一种基于区块链网络的信息处理方法及装置 |
| CN110992783A (zh) * | 2019-10-29 | 2020-04-10 | 东莞市易联交互信息科技有限责任公司 | 一种基于机器学习的手语翻译方法及翻译设备 |
| CN112084846A (zh) * | 2020-07-30 | 2020-12-15 | 崔恒鑫 | 一种无障碍手语交流系统 |
| CN112149540A (zh) * | 2020-09-14 | 2020-12-29 | 东北大学 | 基于yolov3端到端手语识别技术 |
| WO2021098666A1 (zh) * | 2019-11-20 | 2021-05-27 | Oppo广东移动通信有限公司 | 手部姿态检测方法和装置、及计算机存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140337262A1 (en) * | 2008-12-04 | 2014-11-13 | Canon Kabushiki Kaisha | Convolution operation circuit and object recognition apparatus |
| CN104182772A (zh) * | 2014-08-19 | 2014-12-03 | 大连理工大学 | 一种基于深度学习的手势识别方法 |
| DE102017100609A1 (de) * | 2016-01-14 | 2017-07-20 | Nvidia Corporation | Online-Erfassung und Klassifizierung von dynamischen Gesten mit rekurrenten faltenden neuronalen Netzwerken |
| CN108520530A (zh) * | 2018-04-12 | 2018-09-11 | 厦门大学 | 基于长短时记忆网络的目标跟踪方法 |
| CN108615009A (zh) * | 2018-04-24 | 2018-10-02 | 山东师范大学 | 一种基于动态手势识别的手语翻译交流系统 |
| CN108776773A (zh) * | 2018-05-04 | 2018-11-09 | 华南理工大学 | 一种基于深度图像的三维手势识别方法及交互系统 |
| CN108960126A (zh) * | 2018-06-29 | 2018-12-07 | 北京百度网讯科技有限公司 | 手语翻译的方法、装置、设备及系统 |
-
2019
- 2019-04-04 CN CN201910269214.1A patent/CN109993130A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140337262A1 (en) * | 2008-12-04 | 2014-11-13 | Canon Kabushiki Kaisha | Convolution operation circuit and object recognition apparatus |
| CN104182772A (zh) * | 2014-08-19 | 2014-12-03 | 大连理工大学 | 一种基于深度学习的手势识别方法 |
| DE102017100609A1 (de) * | 2016-01-14 | 2017-07-20 | Nvidia Corporation | Online-Erfassung und Klassifizierung von dynamischen Gesten mit rekurrenten faltenden neuronalen Netzwerken |
| CN108520530A (zh) * | 2018-04-12 | 2018-09-11 | 厦门大学 | 基于长短时记忆网络的目标跟踪方法 |
| CN108615009A (zh) * | 2018-04-24 | 2018-10-02 | 山东师范大学 | 一种基于动态手势识别的手语翻译交流系统 |
| CN108776773A (zh) * | 2018-05-04 | 2018-11-09 | 华南理工大学 | 一种基于深度图像的三维手势识别方法及交互系统 |
| CN108960126A (zh) * | 2018-06-29 | 2018-12-07 | 北京百度网讯科技有限公司 | 手语翻译的方法、装置、设备及系统 |
Non-Patent Citations (1)
| Title |
|---|
| TAO LIU,ET AL.: "Sign language recognition with long short-term memory", 《2016 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110348420A (zh) * | 2019-07-18 | 2019-10-18 | 腾讯科技（深圳）有限公司 | 手语识别方法、装置、计算机可读存储介质和计算机设备 |
| WO2021008320A1 (zh) * | 2019-07-18 | 2021-01-21 | 腾讯科技（深圳）有限公司 | 手语识别方法、装置、计算机可读存储介质和计算机设备 |
| US11749029B2 (en) | 2019-07-18 | 2023-09-05 | Tencent Technology (Shenzhen) Company Limited | Gesture language recognition method and apparatus, computer-readable storage medium, and computer device |
| CN110991391A (zh) * | 2019-09-17 | 2020-04-10 | 腾讯科技（深圳）有限公司 | 一种基于区块链网络的信息处理方法及装置 |
| CN110992783A (zh) * | 2019-10-29 | 2020-04-10 | 东莞市易联交互信息科技有限责任公司 | 一种基于机器学习的手语翻译方法及翻译设备 |
| WO2021098666A1 (zh) * | 2019-11-20 | 2021-05-27 | Oppo广东移动通信有限公司 | 手部姿态检测方法和装置、及计算机存储介质 |
| CN112084846A (zh) * | 2020-07-30 | 2020-12-15 | 崔恒鑫 | 一种无障碍手语交流系统 |
| CN112149540A (zh) * | 2020-09-14 | 2020-12-29 | 东北大学 | 基于yolov3端到端手语识别技术 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109993130A (zh) | 一种基于深度图像动态手语语义识别系统及方法 | |
| Zheng et al. | Recent advances of deep learning for sign language recognition | |
| CN110070065A (zh) | 基于视觉以及语音智能的手语系统以及通讯方法 | |
| CN105787442B (zh) | 一种基于视觉交互面向视障人群的穿戴式辅助系统及其使用方法 | |
| Madhuri et al. | Vision-based sign language translation device | |
| CN106709462A (zh) | 一种室内定位方法及其装置 | |
| CN108288015A (zh) | 基于时间尺度不变性的视频中人体动作识别方法及系统 | |
| CN113723312B (zh) | 基于视觉transformer的水稻病害识别方法 | |
| CN110992783A (zh) | 一种基于机器学习的手语翻译方法及翻译设备 | |
| CN110796101A (zh) | 一种嵌入式平台的人脸识别方法及系统 | |
| CN111126280B (zh) | 基于融合手势识别的失语症患者辅助康复训练系统及方法 | |
| CN107038400A (zh) | 人脸识别装置及方法和利用其的目标人跟踪装置及方法 | |
| CN103489000A (zh) | 一种人体动作识别训练系统的实现方法 | |
| CN110096987B (zh) | 一种基于双路3dcnn模型的哑语动作识别方法 | |
| CN112257513A (zh) | 一种手语视频翻译模型的训练方法、翻译方法及系统 | |
| CN110472655A (zh) | 一种用于跨境旅游的标志物机器学习识别系统及方法 | |
| KR102377767B1 (ko) | 손동작 및 팔동작 학습기반 수화 번역 시스템 및 방법 | |
| CN113591692A (zh) | 一种多视图身份识别方法 | |
| CN114093024A (zh) | 人体动作的识别方法、装置、设备及存储介质 | |
| Tariq et al. | Sign language localization: Learning to eliminate language dialects | |
| WO2019212501A1 (en) | Trained recognition models | |
| CN103473562A (zh) | 特定人体动作的自动训练和识别系统 | |
| CN114241556A (zh) | 一种无感知人脸识别考勤方法及装置 | |
| CN112784631A (zh) | 一种基于深度神经网络进行人脸情绪识别的方法 | |
| CN113052087A (zh) | 基于yolov5模型的人脸识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190709 |
|
| RJ01 | Rejection of invention patent application after publication |