CN111881697A - 一种实时手语翻译方法及系统 - Google Patents
一种实时手语翻译方法及系统 Download PDFInfo
- Publication number
- CN111881697A CN111881697A CN202010823996.1A CN202010823996A CN111881697A CN 111881697 A CN111881697 A CN 111881697A CN 202010823996 A CN202010823996 A CN 202010823996A CN 111881697 A CN111881697 A CN 111881697A
- Authority
- CN
- China
- Prior art keywords
- muscle sound
- sign language
- sound signal
- preprocessed
- classification model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013519 translation Methods 0.000 title claims abstract description 24
- 210000003205 muscle Anatomy 0.000 claims abstract description 116
- 230000005236 sound signal Effects 0.000 claims abstract description 106
- 238000013145 classification model Methods 0.000 claims abstract description 54
- 230000009471 action Effects 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000001133 acceleration Effects 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000003909 pattern recognition Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 239000000758 substrate Substances 0.000 claims description 6
- 230000000087 stabilizing effect Effects 0.000 claims description 4
- 230000010365 information processing Effects 0.000 claims 1
- 238000003672 processing method Methods 0.000 claims 1
- 238000007635 classification algorithm Methods 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 7
- 206010011878 Deafness Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000002054 transplantation Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 230000003183 myoelectrical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Abstract
本发明涉及一种实时手语翻译方法及系统，其中翻译方法包括：S1：肌音信号无线采集手环获取多个不同手语动作的肌音信号并进行预处理，预处理后的肌音信号传输至上位机；S2：上位机以预处理后的肌音信号以及其对应的手语含义为训练集数据，训练得到分类模型，其中分类模型的输入为预处理后的肌音信号，输出为预处理后的肌音信号对应的手语含义；S3：将分类模型移植到肌音信号无线采集手环上；S4：肌音信号无线采集手环实时获取当前手语动作的肌音信号进行预处理，在嵌入式采集手环上运行分类算法，获得识别结果；S5：将识别结果通过语音播报器实时播报。与现有技术相比，本发明将训练好的分类模型移植至肌音信号无线采集手环，可以实现手语的实时脱机识别。
Description
技术领域
本发明涉及手语翻译技术领域，尤其是涉及一种实时手语翻译方法及系统。
背景技术
我国人口基数巨大，因此聋哑人数量也十分庞大。以2017年为例，聋哑人约为2266万人。对于聋哑人而言，手语是生活中是一种常用的交流方式。但在实际生活中，由于手语晦涩难懂，因此普通人与聋哑患者之间交流十分困难。给聋哑人的生活学习和工作都造成了不便，不利于聋哑人融入社会生活。
目前，在手语识别领域，比较成熟的是利用摄像头采集手语图像，再运用图像识别技术实现对手势动作的识别。在光照条件良好的环境下该方法对手势手语的识别能达到一定的准确率，但是在黑暗或阳光直射条件下，受摄像头采集到图像的限制，该方法很难达到比较好的识别效果，同时摄像头的位置安装、个人隐私等因素限制了该方法在手语识别领域的实际应用。
区别于上一种手语识别方法，一些文献提及到可以应用运动传感器及肌电传感器的组合来采集手部的动作信息，通过对采集到的波形信息进行处理，从而实现对手势手语的动作识别。该种方法在使用环境方面相对于前一种方法在识别环境的适应性上具有一定的优势，但是肌电信号的获取容易被人体的一些状态所影响，比如人体的出汗会使采集到的肌电信号失真，从而降低识别的准确率。
中国专利CN109171124A公开了一种用于手语识别的肌音信号无线采集手环，通过采集手部的肌音信号进行手势识别，但是该手环仅有采集信号和发送信号的功能，信号的处理和手势的识别必须在PC端完成，因此对手语的识别不具有真正意义上的实时性，并且无法在脱机状态下运行。
综上所述，目前现有的手语研究翻译系统存在以下缺陷：手部信号的采集过程操作复杂，受环境影响大，且设备价格高昂，普通人无法承受；对手语的翻译和识别无法脱机，在PC端才能进行手势识别，并且难以同步实现采集工作和识别工作，在现实生活中应用价值不高；识别精度有待提高，且受环境影响较大。
发明内容
本发明的目的就是为了提供一种实时手语翻译方法及系统，将训练好的分类模型移植至肌音信号无线采集手环，同时配合语音播报器，可以实现手语的实时脱机识别和播报。
本发明的目的可以通过以下技术方案来实现：
一种实时手语翻译方法，包括如下步骤：
S1：肌音信号无线采集手环获取多个不同手语动作的肌音信号并进行预处理，预处理后的肌音信号传输至上位机；
S2：所述上位机以预处理后的肌音信号以及其对应的手语含义为训练集数据，训练得到分类模型，其中所述分类模型的输入为预处理后的肌音信号，输出为预处理后的肌音信号对应的手语含义；
S3：将分类模型移植到肌音信号无线采集手环上；
S4：肌音信号无线采集手环实时获取当前手语动作的肌音信号进行预处理，并输入至分类模型识别得到识别结果；
S5：将识别结果通过语音播报器(2)实时播报。
进一步的，所述预处理的过程具体为：在肌音信号无线采集手环上采用基于指数加权平均的分割算法对获取到的连续的肌音信号进行分割，得到单独的动作帧。
分类模型为BPNN算法建立4层深度神经网络的模式识别分类模型。
对应的，一种实时手语翻译系统，包括：
肌音信号无线采集手环，被配置为执行以下步骤：采集肌音信号并预处理，将预处理后的肌音信号传输至上位机，接收并存储上位机训练好的分类模型，基于预处理后的肌音信号和分类模型识别手语动作并将识别结果传输至语音播报器，其中所述分类模型的输入为预处理后的肌音信号，输出为预处理后的肌音信号对应的手语含义；
上位机，被配置为接收预处理后的肌音信号并以预处理后的肌音信号以及其对应的手语含义为训练集数据，训练得到分类模型；
语音播报器，被配置为接收肌音信号无线采集手环的识别结果并进行语音播报。
进一步的，所述肌音信号无线采集手环包括表带和固定于表带上的控制盒，所述控制盒包括手环外壳、第一支架，电池、PCB主板、STM32H743核心板和多个加速度传感模块，所述STM32H743核心板与PCB主板连接，所述加速度传感模块和电池与PCB主板连接，所述电池、PCB主板和STM32H743核心板均置于由手环外壳和第一支架组装内腔中，且所述手环外壳上设有用于加速度传感模块穿过的通孔。
更进一步的，所述PCB主板包括基板和设于基板上的3.5mm音频线接口、60-pin连接器、开关、稳压模块和第一Wifi模块，所述60-pin连接器连接STM32H743核心板连接。
更进一步的，所述控制盒还包括第二支架，所述第二支架将所述内腔分隔为两层，所述电池设于第二支架和第一支架之间，所述PCB主板和STM32H743核心板设于第二支架和手环外壳之间。
更进一步的，所述语音播报器包括播报器外壳和置于播报器外壳内的扬声器、第二WiFi模块、控制板、音频驱动器和存储单元，所述控制板与第二WiFi模块和音频驱动器连接，所述音频驱动器分别与扬声器和存储单元连接。
再更进一步的，所述存储单元为SD卡。
与现有技术相比，本发明具有以下有益效果：
1)将训练好的分类模型移植至肌音信号无线采集手环，同时配合语音播报器，可以实现手语的实时脱机识别和播报。
2)采用的金属表带结构采集装置，可以避免传感器在采集过程中处于压缩状态，相较于之前使用的环形松紧带，可以采集更真实的肌音信号，结合分类模型为BPNN算法建立4层深度神经网络的模式识别分类模型，只需要提取模型参数，并将参数导入手环中的嵌入式系统，即可完成算法的移植，方便移植的同时，识别率达97％以上，可识别手语数量达30种，算法计算量较少，建模仅需10秒。
3)传感器的位置也更便于调整，并且完成模型训练后，使用该系统仅需佩戴手环，并且可以在未连接网络状态下使用。
4)相较于市面上的摄像头、肌电信号传感器等设备价格便宜，普通人可以承受。
附图说明
图1为本发明方法的主要步骤流程图；
图2为本发明翻译系统的系统结构图；
图3为实施例中肌音无线采集手环的结构图；
图4为实施例中加速度传感器的结构图；
图5为实施例中PCB主板的结构图；
图6为实施例中语音播报器的结构图；
图7为实施例中神经网络模型结构图；
其中：1、肌音信号无线采集手环，2、语音播报器，3、上位机，11、STM32H743核心板，12、电池，13、刚性表带，14、磁铁，15、加速度传感器，16、第一支架，17、第二支架，18、PCB主板，19、手环外壳，，21、扬声器，22、第二Wifi模块，23、播报器外壳，24、音频驱动器，25、存储单元，26、控制板，151、加速度芯片，152、数据传输接口，181、3.5mm音频线接口，182、60-pin连接器，183、开关，184、稳压模块，185、第一WiFi模块。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
一种实时手语翻译方法，如图1所示，包括如下步骤：
S1：肌音信号无线采集手环1获取多个不同手语动作的肌音信号并进行预处理，预处理后的肌音信号传输至上位机3；
S2：上位机3以预处理后的肌音信号以及其对应的手语含义为训练集数据，训练得到分类模型，其中分类模型的输入为预处理后的肌音信号，输出为预处理后的肌音信号对应的手语含义；
S3：将分类模型移植到肌音信号无线采集手环1上；
S4：肌音信号无线采集手环1实时获取当前手语动作的肌音信号进行预处理，并输入至分类模型识别得到识别结果；
S5：将识别结果通过语音播报器2实时播报。
预处理的过程具体为：在肌音信号无线采集手环1上采用基于指数加权平均的分割算法对获取到的连续的肌音信号进行分割，得到单独的动作帧。
具体的，上述方法由以下系统实现。
一种实时手语翻译系统，如图2至图6所示，包括：
肌音信号无线采集手环1，被配置为执行以下步骤：采集肌音信号并预处理，将预处理后的肌音信号传输至上位机，接收并存储上位机训练好的分类模型，基于预处理后的肌音信号和分类模型识别手语动作并将识别结果传输至语音播报器，其中分类模型的输入为预处理后的肌音信号，输出为预处理后的肌音信号对应的手语含义；
上位机3，被配置为接收预处理后的肌音信号并以预处理后的肌音信号以及其对应的手语含义为训练集数据，训练得到分类模型；
语音播报器2，被配置为接收肌音信号无线采集手环1的识别结果并进行语音播报。
肌音信号无线采集手环1包括刚性表带13和固定于表带上的控制盒，刚性表带13优选为金属材质，控制盒包括手环外壳19、第一支架16，电池、PCB主板18、STM32H743核心板11和多个加速度传感模块，STM32H743核心板11与PCB主板18连接，加速度传感模块和电池与PCB主板18连接，电池、PCB主板18和STM32H743核心板11均置于由手环外壳19和第一支架16组装内腔中，且手环外壳19上设有用于加速度传感模块穿过的通孔。STM32H743核心板11用于控制加速度传感器15和PCB主板18，运行主频400MHZ，具备高性能的计算能力，并且包含丰富接口，通过定时器IO口读取加速度传感器传递的PWM波。分类模型为BPNN算法建立4层深度神经网络的模式识别分类模型。采用的金属表带结构采集装置，可以避免传感器在采集过程中处于压缩状态，相较于之前使用的环形松紧带，可以采集更真实的肌音信号，结合分类模型为BPNN算法建立4层深度神经网络的模式识别分类模型，只需要提取模型参数，并将参数导入手环中的嵌入式系统，即可完成算法的移植，方便移植的同时，识别率达97％以上，可识别手语数量达30种，算法计算量较少，建模仅需10秒。
此外，电池采用5V锂电池，加速度传感模块包含加速度传感器15和用于调节加速度传感器15位置的连接件，加速度传感器15包括加速度芯片151和数据传输接口152，加速度芯片151用于采集手语动作时手部肌肉产生的肌音信号(肌肉振动)，采样频率为600HZ，数据以PWM形式输出，通过硬件电路滤波，过滤频率在150HZ以外的噪音信号。数据传输接口152作为数据传输线接口，可以采用3.5毫米接口等。刚性表带13和加速度传感器15上设有磁铁14，用于调节和锁定位置。
PCB主板18包括基板和设于基板上的3.5mm音频线接口181、60-pin连接器182、开关183、稳压模块184和第一Wifi模块185，60-pin连接器182连接STM32H743核心板11连接。由于STM32H743核心板11上缺少一些接口，故使用PCB主板18来衔接各个硬件设备，第一Wifi模块185采用CC3200 Wifi芯片，其中3.5mm音频线接口181用于连接加速度传感器，第一Wifi模块185用于PCB主板18和语音播报器2和上位机3之间信息的传输
控制盒还包括第二支架17，第二支架17将内腔分隔为两层，电池设于第二支架17和第一支架16之间，PCB主板18和STM32H743核心板11设于第二支架17和手环外壳19之间。
语音播报器包括播报器外壳23和置于播报器外壳23内的扬声器21、第二WiFi模块22、控制板26、音频驱动器24和存储单元25，控制板26与第二WiFi模块22和音频驱动器24连接，音频驱动器24分别与扬声器和存储单元25连接。存储单元25为SD卡。控制板26具体采用Arduino控制板，第二WiFi模块22采用E103W01的Wifi芯片。
具体使用时：
(1)首先将肌音无线采集手环1佩戴于前臂，肌音无线采集手环1上设有3个加速度传感器，通过磁铁调节和锁定位置，分别对应于手臂的三块肌肉：桡侧腕长伸肌、肱桡肌和尺侧腕屈肌；
(2)佩戴好装置后，使用者重复做30种手语动作：吃、打、好、喝、很、家、今天、看、没有、你、走、什么、是、水、思考、他(她)、天气、晚上、我、喜欢、想要、有、再见、在、早上、知道、中午、走路、来、休息。每个动作重复100次，为确保每次采集时使用者有足够体力，可分多次采集，每次采集前需将手环重新穿戴，并且保证每个加速度传感器15的位置对应各自的肌肉位置。
(3)肌音信号经过滤波除噪后通过3.5mm音频线传输至PCB主板18，再传输至STM32H743核心板11；
(4)STM32H743核心板11采用基于指数加权平均的分割算法对获取到的连续的肌音信号进行分割，同步计算6通道(3个加速度传感器，每个传感器有xy两个方向的通道)波形的移动平均数据，与原始肌音数据进行差分计算，获得每个点位的波动性信息，再以宽度为d的窗口对其进行积分运算，获得对应的能量序列，根据能量阈值法，截取动作阈值点前后一定距离的波段，作为分割结果，得到单独的动作帧；
(5)在上位机3(PC端)的Matlab平台运行APP软件，创建虚拟TCP/IP客户端，并且连接PCB主板18的Wifi芯片，实现手部肌音信号的传输；
(6)将分割得到的动作帧作为输入，动作帧对应的手语动作作为输出，应用BPNN(Back Propagation Neural Network)算法建立4层深度神经网络的模式识别分类模型，如图7所示，其中输入的样本长度为1800，一共训练了3000个样本，隐含层结构为[80 50 30]，输出层包含30个元素，代表30种动作分类。
(7)对建立的模式识别分类模型进行模型准确率的自我测试，使分类正确率达到95％以上。
本实施例中，完成模式识别分类模型的建立和测试后，将模式识别分类模型移植至肌音信号无线采集手环1上，首先提取BP神经网络模型和样本标准化处理参数，打包保存于TXT文件中，再将文件拷贝至肌音信号无线采集手环1中STM32H743核心板11的SPI FLASH内存片中，编写相关嵌入式驱动软件，读取FLASH中的多个神经网络模型，缓存于SDRAM中，完成系统的初始化。
完成模型训练和移植后，肌音信号无线采集手环1就可以实时识别手语动作。
加速度传感器15采集当前手语动作的肌音信号，滤波降噪后通过PCB主板18传输至STM32H743核心板11；
STM32H743核心板11通过分割算法将肌音信号分割成单独动作帧，将动作帧输入至模式识别分类模型，得到当前手语动作的含义，PCB主板18通过Wifi将识别结果传输至语音播报器2；
控制板26根据接收的wifi结果控制音频驱动器24，音频驱动器24自SD卡25中读取音频，通过扬声器21播报。
经过实际测试，识别率达97％以上，可识别手语数量达30种，算法计算量较少，建模仅需10秒，相比于中国专利CN109171124A公开的方式，不仅仅实现了离线实时翻译，而且识别率大大提升了30％以上。
Claims (10)
1.一种实时手语翻译方法，其特征在于，包括如下步骤：
S1：肌音信号无线采集手环(1)获取多个不同手语动作的肌音信号并进行预处理，预处理后的肌音信号传输至上位机(3)；
S2：所述上位机(3)以预处理后的肌音信号以及其对应的手语含义为训练集数据，训练得到分类模型，其中所述分类模型的输入为预处理后的肌音信号，输出为预处理后的肌音信号对应的手语含义；
S3：将分类模型移植到肌音信号无线采集手环(1)上；
S4：肌音信号无线采集手环(1)实时获取当前手语动作的肌音信号进行预处理，并输入至分类模型识别得到识别结果；
S5：将识别结果通过语音播报器(2)实时播报。
2.根据权利要求1所述的一种实时手语翻译方法，其特征在于，所述预处理的过程具体为：在肌音信号无线采集手环(1)上采用基于指数加权平均的分割算法对获取到的连续的肌音信号进行实时分割，得到单独的动作帧。
3.根据权利要求1所述的一种实时手语翻译方法，其特征在于，所述分类模型为BPNN算法建立4层深度神经网络的模式识别分类模型。
4.一种实时手语翻译系统，其特征在于，包括：
肌音信号无线采集手环(1)，被配置为执行以下步骤：采集肌音信号并预处理，将预处理后的肌音信号传输至上位机，接收并存储上位机训练好的分类模型，基于预处理后的肌音信号和分类模型识别手语动作并将识别结果传输至语音播报器，其中所述分类模型的输入为预处理后的肌音信号，输出为预处理后的肌音信号对应的手语含义；
上位机(3)，被配置为接收预处理后的肌音信号并以预处理后的肌音信号以及其对应的手语含义为训练集数据，训练得到分类模型；
语音播报器(2)，被配置为接收肌音信号无线采集手环(1)的识别结果并进行语音播报。
5.一种实时手语翻译信息处理方法，其特征在于，包括如下步骤：
肌音信号无线采集手环(1)获取多个不同手语动作的肌音信号并进行预处理，预处理后的肌音信号传输至上位机(3)；
接收上位机训练好的分类模型并存储，其中，所述分类模型的输入为预处理后的肌音信号，输出为肌音信号对应的手语含义；
实时获取当前手语动作的肌音信号进行预处理，并输入至分类模型识别得到识别结果。
6.一种实时手语翻译系统，其特征在于，包括：
肌音信号无线采集手环(1)，被配置为执行以下步骤：采集肌音信号并预处理，将预处理后的肌音信号传输至上位机(3)，接收并存储上位机(3)训练好的分类模型，基于预处理后的肌音信号和分类模型识别手语动作并将识别结果传输至语音播报器，其中所述分类模型的输入为预处理后的肌音信号，输出为预处理后的肌音信号对应的手语含义；
语音播报器(2)，被配置为接收肌音信号无线采集手环(1)的识别结果并进行语音播报。
7.根据权利要求4或6所述的一种实时手语翻译系统，其特征在于，所述肌音信号无线采集手环(1)包括刚性表带和固定于表带上的控制盒，所述控制盒包括手环外壳(19)、第一支架(16)，电池、PCB主板(18)、STM32H743核心板(11)和多个加速度传感模块，所述STM32H743核心板(11)与PCB主板(18)连接，所述加速度传感模块和电池与PCB主板(18)连接，所述电池、PCB主板(18)和STM32H743核心板(11)均置于由手环外壳(19)和第一支架(16)组装内腔中，且所述手环外壳(19)上设有用于加速度传感模块穿过的通孔。
8.根据权利要求7所述的一种实时手语翻译系统，其特征在于，所述PCB主板(18)包括基板和设于基板上的3.5mm音频线接口(181)、60-pin连接器(182)、开关(183)、稳压模块(184)和第一Wifi模块(185)，所述60-pin连接器(182)连接STM32H743核心板(11)连接。
9.根据权利要求7所述的一种实时手语翻译系统，其特征在于，所述控制盒还包括第二支架(17)，所述第二支架(17)将所述内腔分隔为两层，所述电池设于第二支架(17)和第一支架(16)之间，所述PCB主板(18)和STM32H743核心板(11)设于第二支架(17)和手环外壳(19)之间。
10.根据权利要求8所述的一种实时手语翻译系统，其特征在于，所述语音播报器包括播报器外壳(23)和置于播报器外壳(23)内的扬声器、第二WiFi模块(22)、控制板(26)、音频驱动器(24)和存储单元(25)，所述控制板(26)与第二WiFi模块(22)和音频驱动器(24)连接，所述音频驱动器(24)分别与扬声器和存储单元(25)连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010823996.1A CN111881697A (zh) | 2020-08-17 | 2020-08-17 | 一种实时手语翻译方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010823996.1A CN111881697A (zh) | 2020-08-17 | 2020-08-17 | 一种实时手语翻译方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111881697A true CN111881697A (zh) | 2020-11-03 |
Family
ID=73203329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010823996.1A Pending CN111881697A (zh) | 2020-08-17 | 2020-08-17 | 一种实时手语翻译方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111881697A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106200988A (zh) * | 2016-08-30 | 2016-12-07 | 上海交通大学 | 一种可穿戴式手语识别装置及手语翻译方法 |
| US20170024380A1 (en) * | 2015-07-23 | 2017-01-26 | Map Cardoso | System and method for the translation of sign languages into synthetic voices |
| CN109171124A (zh) * | 2018-09-11 | 2019-01-11 | 华东理工大学 | 一种用于手语识别的肌音信号无线采集手环 |
| CN109685148A (zh) * | 2018-12-28 | 2019-04-26 | 南京师范大学 | 多类别人体动作识别方法及识别系统 |
| CN109885166A (zh) * | 2019-02-25 | 2019-06-14 | 浙江工商大学 | 智能手语翻译手套及其手势识别方法 |
| CN111103976A (zh) * | 2019-12-05 | 2020-05-05 | 深圳职业技术学院 | 手势识别方法、装置及电子设备 |
-
2020
- 2020-08-17 CN CN202010823996.1A patent/CN111881697A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170024380A1 (en) * | 2015-07-23 | 2017-01-26 | Map Cardoso | System and method for the translation of sign languages into synthetic voices |
| CN106200988A (zh) * | 2016-08-30 | 2016-12-07 | 上海交通大学 | 一种可穿戴式手语识别装置及手语翻译方法 |
| CN109171124A (zh) * | 2018-09-11 | 2019-01-11 | 华东理工大学 | 一种用于手语识别的肌音信号无线采集手环 |
| CN109685148A (zh) * | 2018-12-28 | 2019-04-26 | 南京师范大学 | 多类别人体动作识别方法及识别系统 |
| CN109885166A (zh) * | 2019-02-25 | 2019-06-14 | 浙江工商大学 | 智能手语翻译手套及其手势识别方法 |
| CN111103976A (zh) * | 2019-12-05 | 2020-05-05 | 深圳职业技术学院 | 手势识别方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103294199B (zh) | 一种基于脸部肌音信号的无声信息识别系统 | |
| CN101987048B (zh) | 假肢控制方法和系统 | |
| CN110059575A (zh) | 一种基于表面肌电唇语识别的辅助沟通系统 | |
| CN101987047B (zh) | 基于语音与肌电信息识别的假肢控制系统和方法 | |
| CN103853071B (zh) | 基于生物信号的人机面部表情交互系统 | |
| CN109271901A (zh) | 一种基于多源信息融合的手语识别方法 | |
| CN105919591A (zh) | 一种基于表面肌电信号的手语识别发声系统及方法 | |
| CN110070863A (zh) | 一种语音控制方法及装置 | |
| CN114707562B (zh) | 一种肌电信号采样频率控制方法、装置及存储介质 | |
| CN106569606A (zh) | 一种基于自然手势识别的智能家居红外控制系统与方法 | |
| CN106200006A (zh) | 脑电波控制的智能ar眼镜设备 | |
| CN104267807A (zh) | 基于手部动作肌音信号的人机交互方法及交互系统 | |
| CN109171124A (zh) | 一种用于手语识别的肌音信号无线采集手环 | |
| CN108958482A (zh) | 一种基于卷积神经网络的相似性动作识别装置及方法 | |
| CN111657972A (zh) | 一种基于智能手环的心理状态监测评估系统 | |
| CN101474104B (zh) | 一种自动调节的咽腔电子喉语音通讯系统 | |
| CN111881697A (zh) | 一种实时手语翻译方法及系统 | |
| CN108903958A (zh) | 司机注意力评价预警系统及其实施方法 | |
| CN206400210U (zh) | 脑电波控制的智能ar眼镜设备 | |
| CN108831472B (zh) | 一种基于唇语识别的人工智能发声系统及发声方法 | |
| CN111257890A (zh) | 一种跌倒行为识别方法及装置 | |
| CN115438691A (zh) | 一种基于无线信号的小样本手势识别方法 | |
| CN111651046A (zh) | 一种无手部动作的手势意图识别系统 | |
| CN112754504A (zh) | 肌电检测装置 | |
| CN112445288A (zh) | 基于脑电图信号ai语义识别装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |