CN108766434B - 一种手语识别翻译系统及方法 - Google Patents
一种手语识别翻译系统及方法 Download PDFInfo
- Publication number
- CN108766434B CN108766434B CN201810466591.XA CN201810466591A CN108766434B CN 108766434 B CN108766434 B CN 108766434B CN 201810466591 A CN201810466591 A CN 201810466591A CN 108766434 B CN108766434 B CN 108766434B
- Authority
- CN
- China
- Prior art keywords
- sign language
- data
- identification
- recognition
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000013519 translation Methods 0.000 title claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 52
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000007726 management method Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims abstract description 8
- 230000002452 interceptive effect Effects 0.000 claims abstract description 7
- 238000013523 data management Methods 0.000 claims abstract description 5
- 238000003909 pattern recognition Methods 0.000 claims abstract description 5
- 230000001133 acceleration Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 10
- 230000002085 persistent effect Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000000306 recurrent effect Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000006403 short-term memory Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 3
- 230000003183 myoelectrical effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 206010011878 Deafness Diseases 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明属于手语翻译软件技术领域，公开了一种手语识别翻译系统及方法。系统包括前端模块、网络连接模块、交互同步模块、算法模块、数据采集、处理模块、手语数据管理模块和资源管理模块；各个模块分别负责在识别过程中各个步骤所需的功能，以及支撑系统持续运行的数据内容的管理。根据采集到的传感器数据，进行数据处理及特征提取。对处理后的数据进行模式识别，多元分类，准确、完整的将手语动作转换为自然语言文本信息。我们对系统及算法进行了良好设计，既保证在识别过程中有良好的识别精准度，又确保用户的在使用过程中有良好的用户体验。
Description
技术领域
本发明属于手语翻译软件技术领域，具体地说，特别涉及到一种带有完整客户端、服务端、数据管理的，可运用于多个场景的手语识别翻译系统及方法。
背景技术
通常聋哑人士都是通过手语来进行沟通表达，这需要交流的双方都要懂得手语，而一般人学习手语需耗费大量的时间和精力。为了解决聋哑人士和非手语使用者之间的沟通问题，需要一种功能齐备的、高识别精度的和实用性较强的手语翻译系统。
现有的手语翻译系统主要是基于计算机视觉或数据手套等设备进行手语识别，基于计算机视觉的方法易受遮挡和光照条件等因素的影响，且便携性较差；而基于数据手套的方法具有易损坏、穿脱不便和价格昂贵的缺点。虽然目前出现了一些基于可穿戴设备的手语识别方法和设备，但这些方法和设备尚处于研发阶段，尚未出现一种融合了成熟算法和系统性管理的实用性的手语翻译产品。
同时，现阶段针对聋哑人士在公共服务场合如医院、银行等，与服务人员的交流存在较多不便，缺少一套行之有效的解决方案，目前相关的解决方案要么处在概念状态，要么存在功能不完全、可用性低和价格昂贵等缺点。
发明内容
为了克服上述不足，本发明旨在建立一种可用于特定公共服务场合的手语翻译系统。本发明系统分为各个模块，分别负责在识别过程中各个步骤所需的功能，以及支撑系统持续运行的数据内容的管理。
本发明的技术方案：
一种手语识别翻译系统，包括以下模块：
前端模块，该模块作为整个手语识别系统的直接接口，用于用户在手语识别过程中与系统的交互，包括控制手语识别过程的开关、选择处于连接状态的手环、展示每次手语识别的结果和向后端发送识别结果的反馈信息；
网络连接模块，用于前端与后端之间进行双工实时信息交流；还包括在识别过程中维护用于前后端双工通讯的套接字连接监听线程和数据发送线程；
交互同步模块，用于在识别过程中将手语数据和识别结果进行对应，以及传感器数据源配对和前后端的协作与控制；
算法模块，用于对处理后的手语数据进行分类，完成手语识别工作。通过装载预先训练好的算法模型，对传入模型的数据进行分类，在置信度高于设定值后方才输出分类结果，否则视为此次分类过程失败；
数据采集、处理模块，用于手语识别过程中，以固定频率对表面肌电信号、加速度信号和陀螺仪信号这三种物理信号进行采集，采集结束后对数据进行分割、特征提取和数据标准化处理；
手语数据管理模块，用于对手语句子以及句子中每个手语词数据进行格式化提取、存储和持久化管理；该过程可为开发人员提供模型更新优化过程中所需的手语数据。
资源管理模块，用于管理在识别过程中，为每个识别实例提供算力的进程和采集数据所需的运算资源。
进一步地，上述交互同步模块还包括在交互同步过程中对所有手语句子以及手语句子中的每个手语词分配唯一的ID编码，并对每个识别实例和数据采集设备进行配对。
进一步地，上述数据采集、处理模块还包括根据采集的数据种类对数据进行不同特征的提取工作，对于表面肌电信号，提取均方根、小波系数和自回归系数；对于加速度和陀螺仪信号，提取均方根、过零点率和自回归系数。
进一步地，上述资源管理模块还包括对每个识别实例启动各个工作所需的线程和进程组，以及管理他们之间用于通讯的消息队列。在实例结束后，负责对资源的及时释放。
上述手语识别翻译系统的方法，包括如下步骤：
S101使用前端设备选择未被占用的手环向后端发出匹配请求，后端根据请求，创建、初始化、启动用于完成识别任务的线程、进程组，与前端建立socket长连接；
S102前端发起开始识别请求，后端接收到请求后进入数据采集状态，数据采集线程开始以固定频率通过传感器，采集表面肌电信号、加速度信号和陀螺仪信号三种物理信号；
S103当采集的时序信号长度满足手势识别的窗口大小时，根据数据类型对数据进行分段、降噪、滤波、特征提取、压缩；
S104启动算法模块，将数据传入算法模块，通过长时短期记忆循环神经网络对时序信号进行模式识别，根据分类结果的置信度，对分类结果再进行调整；
S105将识别结果转换为自然语言文本，传回前端显示，前端进行文本语音合成；用户可根据执行结果向后端对识别结果进行反馈；后端根据反馈结果对每次的识别数据进行持久化保存。
进一步地，上述S102中，对每次手语句子识别的请求，手语句子中每个手语词的识别过程都分配唯一性的识别ID，并将其保存至后端服务器数据库中。
进一步地，上述S103中对采集的陀螺仪信号、加速度信号进行拆分，将其分割成固定长度的窗口，之后对每个窗口提取均方根、过零点数和自回归系数三种特征，最后对特征数据进行归一化；对采集的表面肌电信号进行阈值滤波降噪、dbN小波变换、消除零点漂移和数据标准化。
本发明的有益效果：根据采集到的传感器数据，进行数据处理及特征提取。对处理后的数据进行模式识别，实现多元分类，准确、完整的将手语动作转换为自然语言文本信息。对系统及算法进行了良好设计，既保证在识别过程中有良好的识别精准度，又确保用户的在使用过程中有良好的用户体验。
附图说明
图1为本发明具体实施方式中手语识别方法流程图。
图2为本发明具体实施方式中手语识别系统各模块作用图。
图3为本发明具体实施方式中手语识别系统线程、进程组关系图。
图4为本发明具体实施方式中信号提取示意图，(a)加速度信号(Acceleration,ACC)；(b)陀螺仪信号(Gyroscope,GYR)；(c)表面肌电信号(Surface Electromyography,sEMG)。
图5为本发明具体实施方式中输入数据示意图。
图6为本发明具体实施方式中神经网络结构图。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
本发明实施基于手环传感器的手语识别软件系统，如图2所示，具体包括：
前端模块201，该模块作为整个手语识别系统的直接接口，用于用户在手语识别过程中与系统的交互，包括控制手语识别过程的开关、选择处于连接状态的手环、展示每次手语识别的结果和向后端发送识别结果的反馈信息；
网络连接模块202，用于前端与后端之间进行双工实时信息交流；还包括在识别过程中维护用于前后端双工通讯的套接字连接监听线程和数据发送线程；
交互同步模块203，用于在识别过程中将手语数据和识别结果进行对应，以及传感器数据源配对和前后端的协作与控制；
算法模块204，用于对处理后的手语数据进行分类，完成手语识别工作。通过装载预先训练好的算法模型，对传入模型的数据进行分类，在置信度高于设定值后方才输出分类结果，否则视为此次分类过程失败；
数据采集、处理模块205，用于手语识别过程中，以固定频率对表面肌电信号、加速度信号和陀螺仪信号这三种物理数据信号进行采集，采集结束后对数据进行分割、特征提取和数据标准化处理；
手语数据管理模块206，用于可持久化用于对手语句子以及句子中每个手语词数据进行格式化提取、存储和持久化管理；该过程可为开发人员提供模型更新优化过程中所需的中间手语数据。
资源管理模块207，用于管理在识别过程中，为每个识别实例提供算力的进程和采集数据所需的运算资源。
进一步的，各个模块采用消息队列的方式进行通讯，考虑到多进程并发的特性，对于各个模块的临界区，合理添加了信号量及锁，避免出现并发导致的数据丢失错误。
本发明实施基于手环传感器的手语识别软件系统的方法，用以实现上述系统的功能，如图1所示，包含如下步骤：
S101，使用前端设备选择未被占用的手环向后端发出匹配请求，后端根据请求，创建、初始化、启动用于完成识别任务的线程、进程组，与前端建立socket长连接。
S102，前端发起开始识别请求，后端接收到请求后进入数据采集状态，数据采集线程开始以固定频率通过传感器，采集表面肌电信号、加速度信号和陀螺仪信号三种物理信号；
S103，当采集的时序信号长度满足手势识别的窗口大小时，根据数据类型对进行数据进行分段、降噪、滤波、特征提取、压缩。
S104，启动算法模块，将数据传入算法模块，通过长时短期记忆循环神经网络对时序信号进行模式识别，根据分类结果的置信度，对分类结果再进行调整；
S105，将识别结果转换为自然语言文本，传回前端显示，前端进行文本语音合成。用户可根据执行结果向后端对识别结果进行反馈。后端根据反馈结果对每次的识别数据进行持久化保存。
进一步地，本发明实施例中，前端与后端的信息交流采用双工实时套接字连接，在数据传输的格式上，采用utf-8编码，具有固定结构JSON字符串作为通信数据包，数据包包含控制信息字段和数据信息字段。
后端资源管理模块为每个识别实例开启独立的线程、进程组，从而可以良好支持多个识别实例在一个后端同时进行识别(线程、进程关系如图3)。一个识别线程、进程组分为识别实例主控线程、socket监听线程、传感器数据采集及处理进程、算法模块进程，他们之间通过消息队列和进程间信号进行通讯协作。每个线程组由一个单例对象统一管理，管理其启动、终止、回收。
后端时刻监听用于连接建立的双工socket，等待用户发送任何控制信息。当用户启动手语识别时，同步控制模块将会将用户所用的识别实例置为启动状态，同时为此次识别请求分配唯一的识别ID，该手语句子的识别中，也会对手语句子中的每一个手势的识别过程分配唯一识别ID，这些ID用于前端后端之间每次识别动作的同步及对应，以及对每次手语识别的历史数据进行统一化管理。
对于数据的采集和处理，本方法以100hz的频率通过传感器对三种信号(表面肌电信号、加速度信号和陀螺仪信号)进行数据采集，并使用滑动窗口(长度为180，步长为8-20之间的随机值)对采集的数据进行抽取。随后会将抽取数据的前后空白段进行裁剪，数据段长度会被裁剪至160(裁剪后的数据样例如图4)。随后每10个长度作为一个特征窗口进行特征提取。由于物理特性的不同，表面肌电信号和加速度信号、陀螺仪信号分别采用不同的特征提取方式：对于加速度信号和陀螺仪信号，对每个特征窗口提取均方根、过零点数和3阶自回归系数特征；对于表面肌电信号，先进行阈值滤波预处理，然后进行小波变换，采用db3小波进行五层变换，对数据进行进一步的降噪和数值特征提取；表面肌电信号往往会出现零点漂移的现象，因此随后会对数据进行零点漂移消除处理，降低漂移误差对模型的影响。随后对数据进行标准化，归一化处理，保证各个维度的数值标量相近，加快模型训练时的收敛速度和提高识别准确率，最终神经网络的输入数据格式如图5所示。
识别算法方面，采用了循环神经网络的优化变种之一——长时短期记忆循环神经网络(LSTM RNN)，该网络是当前最适合完成序列识别任务的神经网络，以此保证了识别算法的准确以及健壮性，神经网络结构示意图如图6所示。神经网络读入特征提取后的时序信号，根据整个时序信号，输出一个特征向量。随后使用softmax分类器进行分类，该分类器将会输出每个分类类别的置信度，根据各个分类类比置信度的值，算法将会给出最佳的分类结果。
得到分类结果后，后端模块将其分类结果的序号转换为对应的自然语言文本，通过网络连接模块将结果返回到前端进行展示。前端收到文本消息后会根据文字进行语音合成,以文本和语音的形式同时向用户进行展示。用户可根据识别的结果使用前端设备向后端进行反馈，后端根据返回信息，使用MySQL数据库将数据持久化保存，开发人员可通过简洁的接口快速获取识别的历史数据。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (4)
1.一种手语识别翻译系统，其特征在于，包括以下模块：
前端模块，该模块作为整个手语识别系统的直接接口，用于用户在手语识别过程中与系统的交互，包括控制手语识别过程的开关、选择处于连接状态的手环、展示每次手语识别的结果和向后端发送识别结果的反馈信息；
网络连接模块，用于前端与后端之间进行双工实时信息交流；还包括在识别过程中维护用于前后端双工通讯的套接字连接监听线程和数据发送线程；
交互同步模块，用于在识别过程中将手语数据和识别结果进行对应，以及传感器数据源配对和前后端的协作与控制；还包括在交互同步过程中对所有手语句子以及手语句子中的每个手语词分配唯一的ID编码，并对每个识别实例和数据采集设备进行配对；
算法模块，用于对处理后的手语数据进行分类，完成手语识别工作，通过装载预先训练好的算法模型，对传入模型的数据进行分类，在置信度高于设定值后方才输出分类结果，否则视为此次分类过程失败；
数据采集、处理模块，用于手语识别过程中，以固定频率对表面肌电信号、加速度信号和陀螺仪信号这三种物理信号进行采集，采集结束后对数据进行分割、特征提取和数据标准化处理；
手语数据管理模块，用于对手语句子以及句子中每个手语词数据进行格式化提取、存储和持久化管理；
资源管理模块，用于管理在识别过程中，为每个识别实例提供算力的进程，以及采集数据所需的运算资源；
所述手语识别翻译系统的方法，包括如下步骤：
S101使用前端设备选择未被占用的手环向后端发出匹配请求，后端根据请求，创建、初始化、启动用于完成识别任务的线程、进程组，与前端建立socket长连接；
S102前端发起开始识别请求，后端接收到请求后进入数据采集状态，数据采集线程开始以固定频率通过传感器，采集表面肌电信号、加速度信号和陀螺仪信号三种物理信号；对每次手语句子识别的请求，手语句子中每个手语词的识别过程都分配唯一性的识别ID，并将其保存至后端服务器数据库中；
S103当采集的时序信号长度满足手势识别的窗口大小时，根据数据类型对数据进行分段、降噪、滤波、特征提取、压缩；
S104启动算法模块，将数据传入算法模块，通过长时短期记忆循环神经网络对时序信号进行模式识别，根据分类结果的置信度，对分类结果再进行调整；
S105将识别结果转换为自然语言文本，传回前端显示，前端进行文本语音合成；用户可根据执行结果向后端对识别结果进行反馈；后端根据反馈结果对每次的识别数据进行持久化保存。
2.根据权利要求1所述的一种手语识别翻译系统，其特征在于，数据采集、处理模块还包括根据采集的数据种类对数据进行不同特征的提取工作，对于表面肌电信号，提取均方根、小波系数和自回归系数；对于加速度和陀螺仪信号，提取均方根、过零点率和自回归系数。
3.根据权利要求1所述的一种手语识别翻译系统，其特征在于，资源管理模块还包括对每个识别实例启动各个工作所需的线程和进程组，以及管理他们之间用于通讯的消息队列，在实例结束后，对资源的及时释放。
4.根据权利要求1所述的手语识别翻译系统，其特征在于，S103中对采集的陀螺仪信号、加速度信号进行拆分，成将其分割成固定长度的窗口，之后对每个窗口进行提取均方根、过零点数、和曲线拟合自回归系数三种特征的提取及，最后对特征数据进行归一化；对采集的表面肌电信号进行阈值滤波降噪、dbN小波变换、消除零点漂移和数据标准化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810466591.XA CN108766434B (zh) | 2018-05-11 | 2018-05-11 | 一种手语识别翻译系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810466591.XA CN108766434B (zh) | 2018-05-11 | 2018-05-11 | 一种手语识别翻译系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108766434A CN108766434A (zh) | 2018-11-06 |
| CN108766434B true CN108766434B (zh) | 2022-01-04 |
Family
ID=64008062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810466591.XA Active CN108766434B (zh) | 2018-05-11 | 2018-05-11 | 一种手语识别翻译系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108766434B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109656358A (zh) * | 2018-11-23 | 2019-04-19 | 南京麦丝特精密仪器有限公司 | 一种多维手语识别方法 |
| CN109766559B (zh) * | 2019-01-11 | 2023-09-05 | 沈阳舞指科技有限公司 | 一种手语识别翻译系统及其识别方法 |
| CN110009973A (zh) * | 2019-04-15 | 2019-07-12 | 武汉灏存科技有限公司 | 基于手语的实时互译方法、装置、设备及存储介质 |
| CN110286774B (zh) * | 2019-07-03 | 2021-08-13 | 中国科学技术大学 | 一种基于手腕运动传感器的手语识别方法 |
| CN111292723A (zh) * | 2020-02-07 | 2020-06-16 | 普强时代(珠海横琴)信息技术有限公司 | 一种语音识别系统 |
| CN111913575B (zh) * | 2020-07-24 | 2021-06-11 | 合肥工业大学 | 一种手语词的识别方法 |
| CN113143261B (zh) * | 2021-04-30 | 2023-05-09 | 中国科学院自动化研究所 | 基于肌电信号的身份识别系统、方法及设备 |
| CN113611311A (zh) * | 2021-08-20 | 2021-11-05 | 天津讯飞极智科技有限公司 | 语音转写方法、装置、录音设备和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1682535A (zh) * | 2002-09-17 | 2005-10-12 | 银河网路股份有限公司 | 手语翻译系统及手语翻译方法 |
| CN103116576A (zh) * | 2013-01-29 | 2013-05-22 | 安徽安泰新型包装材料有限公司 | 一种语音手势交互翻译装置及其控制方法 |
| CN104134060A (zh) * | 2014-08-03 | 2014-11-05 | 上海威璞电子科技有限公司 | 基于肌电信号和运动传感器的手语翻译和显示发声系统 |
| CN205158728U (zh) * | 2015-11-19 | 2016-04-13 | 陆庆健 | 一种手语翻译系统 |
| CN105759970A (zh) * | 2016-03-02 | 2016-07-13 | 华南理工大学 | 一种基于弯曲传感器的手势识别装置和手语翻译方法 |
| CN105956529A (zh) * | 2016-04-25 | 2016-09-21 | 福州大学 | 一种基于lstm型rnn的中国手语识别方法 |
| CN106020490A (zh) * | 2016-06-07 | 2016-10-12 | 青岛大学 | 基于三轴重力加速度传感器的多触点数据手套系统 |
| CN106200988A (zh) * | 2016-08-30 | 2016-12-07 | 上海交通大学 | 一种可穿戴式手语识别装置及手语翻译方法 |
| CN106682593A (zh) * | 2016-12-12 | 2017-05-17 | 山东师范大学 | 一种基于手势识别的手语会议方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1246793C (zh) * | 2002-06-17 | 2006-03-22 | 中国科学院计算技术研究所 | 通过中间模式语言进行手语翻译的方法 |
| US20100142683A1 (en) * | 2008-12-09 | 2010-06-10 | Stuart Owen Goldman | Method and apparatus for providing video relay service assisted calls with reduced bandwidth |
| KR20150077684A (ko) * | 2013-12-30 | 2015-07-08 | 삼성전자주식회사 | 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치 |
| KR102450803B1 (ko) * | 2016-02-11 | 2022-10-05 | 한국전자통신연구원 | 양방향 수화 번역 장치 및 장치가 수행하는 양방향 수화 번역 방법 |
| US10038783B2 (en) * | 2016-08-31 | 2018-07-31 | Genesys Telecommunications Laboratories, Inc. | System and method for handling interactions with individuals with physical impairments |
| CN107231374A (zh) * | 2017-07-08 | 2017-10-03 | 长沙手之声信息科技有限公司 | 基于在线手语翻译的聋人远程聊天方法 |
-
2018
- 2018-05-11 CN CN201810466591.XA patent/CN108766434B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1682535A (zh) * | 2002-09-17 | 2005-10-12 | 银河网路股份有限公司 | 手语翻译系统及手语翻译方法 |
| CN103116576A (zh) * | 2013-01-29 | 2013-05-22 | 安徽安泰新型包装材料有限公司 | 一种语音手势交互翻译装置及其控制方法 |
| CN104134060A (zh) * | 2014-08-03 | 2014-11-05 | 上海威璞电子科技有限公司 | 基于肌电信号和运动传感器的手语翻译和显示发声系统 |
| CN205158728U (zh) * | 2015-11-19 | 2016-04-13 | 陆庆健 | 一种手语翻译系统 |
| CN105759970A (zh) * | 2016-03-02 | 2016-07-13 | 华南理工大学 | 一种基于弯曲传感器的手势识别装置和手语翻译方法 |
| CN105956529A (zh) * | 2016-04-25 | 2016-09-21 | 福州大学 | 一种基于lstm型rnn的中国手语识别方法 |
| CN106020490A (zh) * | 2016-06-07 | 2016-10-12 | 青岛大学 | 基于三轴重力加速度传感器的多触点数据手套系统 |
| CN106200988A (zh) * | 2016-08-30 | 2016-12-07 | 上海交通大学 | 一种可穿戴式手语识别装置及手语翻译方法 |
| CN106682593A (zh) * | 2016-12-12 | 2017-05-17 | 山东师范大学 | 一种基于手势识别的手语会议方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| Comparative study on gesture recognition using multiple kernel learning via multi-mode information fusion;Wang F;《2017 IEEE 7th Annual International Conference on CYBER Technology in Automation, Control, and Intelligent Systems (CYBER)》;20171231;19-24 * |
| Real-time American sign language recognition using wrist-worn motion and surface EMG sensors;Wu J;《2015 IEEE 12th International Conference on Wearable and Implantable Body Sensor Networks (BSN)》;20151231;1-6 * |
| 基于肌电模式的中国手语识别研究及康复应用探索;李云;《中国优秀博士学位论文全文数据库医药卫生科技辑》;20140531;E060-23 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108766434A (zh) | 2018-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108766434B (zh) | 一种手语识别翻译系统及方法 | |
| US11080520B2 (en) | Automatic machine recognition of sign language gestures | |
| EP3812926A1 (en) | Multimodal content processing method, apparatus, device and storage medium | |
| CN108509416B (zh) | 句意识别方法及装置、设备和存储介质 | |
| CN114612749B (zh) | 神经网络模型训练方法及装置、电子设备和介质 | |
| US20230306081A1 (en) | Method for training a point cloud processing model, method for performing instance segmentation on point cloud, and electronic device | |
| CN112507090B (zh) | 用于输出信息的方法、装置、设备和存储介质 | |
| KR20210156243A (ko) | 딥러닝 프레임워크의 훈련 방법, 장치 및 저장 매체 | |
| CN110110095A (zh) | 一种基于长短期记忆循环神经网络的电力指令文本匹配方法 | |
| CN113674746B (zh) | 人机交互方法、装置、设备以及存储介质 | |
| CN113378770A (zh) | 手势识别方法、装置、设备、存储介质以及程序产品 | |
| US20230124389A1 (en) | Model Determination Method and Electronic Device | |
| CN112965594A (zh) | 一种基于视觉手势识别的机器人人机交互系统和方法 | |
| CN113792876A (zh) | 骨干网络的生成方法、装置、设备以及存储介质 | |
| CN112382292A (zh) | 基于语音的控制方法和装置 | |
| CN113312924A (zh) | 一种基于nlp高精解析标签的风险规则分类方法及装置 | |
| CN112559715A (zh) | 态度的识别方法、装置、设备及存储介质 | |
| US20230316952A1 (en) | System and method for bidirectional automatic sign language translation and production | |
| CN116543798A (zh) | 基于多分类器的情感识别方法和装置、电子设备、介质 | |
| CN115457329A (zh) | 图像分类模型的训练方法、图像分类方法和装置 | |
| EP4083875A1 (en) | Data annotation method and apparatus, electronic device and readable storage medium | |
| CN110619877A (zh) | 应用于激光笔的语音识别人机交互方法、装置、系统和存储介质 | |
| CN114842541A (zh) | 模型的训练及人脸识别方法、装置、设备以及存储介质 | |
| CN113591709B (zh) | 动作识别方法、装置、设备、介质和产品 | |
| CN114783597A (zh) | 多类疾病诊断的诊断方法及装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |