CN203070287U - 一种基于动作识别及语音识别技术的唇语翻译系统 - Google Patents
一种基于动作识别及语音识别技术的唇语翻译系统 Download PDFInfo
- Publication number
- CN203070287U CN203070287U CN 201220689615 CN201220689615U CN203070287U CN 203070287 U CN203070287 U CN 203070287U CN 201220689615 CN201220689615 CN 201220689615 CN 201220689615 U CN201220689615 U CN 201220689615U CN 203070287 U CN203070287 U CN 203070287U
- Authority
- CN
- China
- Prior art keywords
- dsp
- identification module
- cameras
- fpga
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
本实用新型公开了一种基于动作识别及语音识别技术的唇语翻译系统，包括有壳体，壳体内设置有FPGA及DSP，壳体上设置有一对用于采集人体唇语的摄像头和一个用于采集人体声音的语音识别模块，两摄像头和语音识别模块分别通过信号线接入FPGA，FPGA与DSP双向通信连接，DSP分别通过I2C/SPI总线与两摄像头和语音识别模块连接，DSP还通过USB总线与上位机通讯连接，上位机外接显示器，上位机将DSP传来的摄像头采集的人体唇语的图像数据和语音识别模块采集的人体声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器上显示。本实用新型可实现双摄像头的同步图像采集，并实现了基于动作识别及语音识别技术的唇语翻译，具有很好的应用前景。
Description
技术领域
本实用新型涉及电子设备领域，具体为一种基于动作识别及语音识别技术的唇语翻译系统。
背景技术
基于视频的动作识别设备由主机、显示器、动作识别模块等构成，可通过动作识别设备中的摄像头采集人体的运动图像，并通过集成的图像算法芯片，对运动图像进行解析，形成人体运动的三维动态坐标，经主机的图像合成与仿真，最后在显示器中显示相应的动作视频，因此动作识别设备可作为唇语翻译系统的基础设备。而现有技术中尚没有基于动作识别及语音识别技术的唇语翻译系统。
实用新型内容
本实用新型的目的是提供一种基于动作识别及语音识别技术的唇语翻译系统，以解决现有技术中尚没有基于动作识别及语音识别技术的唇语翻译系统的问题。
为了达到上述目的，本实用新型所采用的技术方案为：
一种基于动作识别及语音识别技术的唇语翻译系统，包括有壳体，其特征在于：所述壳体内设置有FPGA及DSP，壳体上设置有一对用于采集人体唇语的摄像头和一个用于采集人体声音的语音识别模块，两摄像头和语音识别模块分别通过信号线接入FPGA，所述FPGA与DSP双向通信连接，所述DSP分别通过I2C/SPI总线与两摄像头和语音识别模块连接，DSP还通过USB总线与上位机通讯连接，上位机外接显示器，上位机将DSP传来的摄像头采集的人体唇语的图像数据和语音识别模块采集的人体声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器上显示。
所述的一种基于动作识别及语音识别技术的唇语翻译系统，其特征在于：所述FPGA上接入有两个SRAM，所述DSP上接入有一个SDRAM和一个Nand/Nor FLASH。
本实用新型依据Bumblebee双目测量原理，应用FPGA驱动两个摄像头和语音识别模块，并通过DSP的I2C/SPI总线使两个摄像头和语音识别模块同步采集运动图像和语音信号，图像数据和语音信号在DSP进行预处理后传送至上位机。上位机将DSP传来的摄像头采集的人体唇语的图像数据和语音识别模块采集的人体声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器上显示。本实用新型可实现双摄像头
附图说明
图1为本实用新型结构框图。
具体实施方式
如图1所示。一种基于动作识别及语音识别技术的唇语翻译系统，包括有壳体，壳体内设置有FPGA及DSP，壳体上设置有一对用于采集人体唇语的摄像头1和一个用于采集人体声音的语音识别模块2，两摄像头1和语音识别模块2分别通过信号线接入FPGA，FPGA与DSP双向通信连接，DSP分别通过I2C/SPI总线与两摄像头1和语音识别模块2连接，DSP还通过USB总线与上位机3通讯连接，上位机3外接显示器4，上位机3将DSP传来的摄像头1采集的人体唇语的图像数据和语音识别模块2采集的人体声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器4上显示。FPGA上接入有两个SRAM，所述DSP上接入有一个SDRAM和一个Nand/Nor FLASH。
Claims (2)
1.一种基于动作识别及语音识别技术的唇语翻译系统，包括有壳体，其特征在于：所述壳体内设置有FPGA及DSP，壳体上设置有一对用于采集人体唇语的摄像头和一个用于采集人体声音的语音识别模块，两摄像头和语音识别模块分别通过信号线接入FPGA，所述FPGA与DSP双向通信连接，所述DSP分别通过I2C/SPI总线与两摄像头和语音识别模块连接，DSP还通过USB总线与上位机通讯连接，上位机外接显示器，上位机将DSP传来的摄像头采集的人体唇语的图像数据和语音识别模块采集的人体声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器上显示。
2.根据权利要求1所述的一种基于动作识别及语音识别技术的唇语翻译系统，其特征在于：所述FPGA上接入有两个SRAM，所述DSP上接入有一个SDRAM和一个Nand/Nor FLASH。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201220689615 CN203070287U (zh) | 2012-12-13 | 2012-12-13 | 一种基于动作识别及语音识别技术的唇语翻译系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201220689615 CN203070287U (zh) | 2012-12-13 | 2012-12-13 | 一种基于动作识别及语音识别技术的唇语翻译系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN203070287U true CN203070287U (zh) | 2013-07-17 |
Family
ID=48769052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201220689615 Expired - Lifetime CN203070287U (zh) | 2012-12-13 | 2012-12-13 | 一种基于动作识别及语音识别技术的唇语翻译系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN203070287U (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015196547A1 (zh) * | 2014-06-23 | 2015-12-30 | 中兴通讯股份有限公司 | 一种消息处理方法、装置及终端 |
| CN105450970A (zh) * | 2014-06-16 | 2016-03-30 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN107452381A (zh) * | 2016-05-30 | 2017-12-08 | 中国移动通信有限公司研究院 | 一种多媒体语音识别装置及方法 |
| CN110276259A (zh) * | 2019-05-21 | 2019-09-24 | 平安科技（深圳）有限公司 | 唇语识别方法、装置、计算机设备及存储介质 |
-
2012
- 2012-12-13 CN CN 201220689615 patent/CN203070287U/zh not_active Expired - Lifetime
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105450970A (zh) * | 2014-06-16 | 2016-03-30 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| WO2015196547A1 (zh) * | 2014-06-23 | 2015-12-30 | 中兴通讯股份有限公司 | 一种消息处理方法、装置及终端 |
| CN105307132A (zh) * | 2014-06-23 | 2016-02-03 | 中兴通讯股份有限公司 | 一种消息处理方法、装置及终端 |
| CN107452381A (zh) * | 2016-05-30 | 2017-12-08 | 中国移动通信有限公司研究院 | 一种多媒体语音识别装置及方法 |
| CN110276259A (zh) * | 2019-05-21 | 2019-09-24 | 平安科技（深圳）有限公司 | 唇语识别方法、装置、计算机设备及存储介质 |
| CN110276259B (zh) * | 2019-05-21 | 2024-04-02 | 平安科技（深圳）有限公司 | 唇语识别方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN203070287U (zh) | 一种基于动作识别及语音识别技术的唇语翻译系统 | |
| CN204360325U (zh) | 一种头戴式多通道交互系统 | |
| CN106888372B (zh) | 一种无线虚拟现实头盔 | |
| CN104835163A (zh) | 一种针对运动目标检测的嵌入式实时高速双目视觉系统 | |
| CN106095007A (zh) | 一种头戴显示设备 | |
| CN106603953A (zh) | 一种hdmi接口转化成mipi接口的视频显示方法及系统 | |
| CN109714621A (zh) | 一种时序可配置的多路动态视频模拟方法及其处理系统 | |
| CN203070756U (zh) | 一种基于动作识别及语音技术的手语和唇语互译系统 | |
| CN202796043U (zh) | 一种语音识别系统 | |
| CN111479148B (zh) | 可穿戴设备、眼镜终端、处理终端、数据交互方法与介质 | |
| CN203070312U (zh) | 一种基于动作识别及语音合成技术的手语翻译系统 | |
| CN203133885U (zh) | 一种基于动作识别的人体面部表情识别系统 | |
| CN205005198U (zh) | 头戴式显示器 | |
| CN106389077A (zh) | 移动终端、导盲前端设备和导盲系统 | |
| CN109254406A (zh) | 一种多功能增强现实眼镜 | |
| CN206270801U (zh) | 一种头戴显示设备 | |
| CN201145887Y (zh) | 一种可采集人体生理数据的鼠标 | |
| CN209086551U (zh) | 一种多功能增强现实眼镜 | |
| CN203000938U (zh) | 一种基于视频监控的人体摔倒识别与预警系统 | |
| CN203012745U (zh) | 一种基于动作识别的人体异常行为检测与预警系统 | |
| CN206991240U (zh) | 一种基于虚拟现实技术的人机交互系统 | |
| CN204595937U (zh) | 一种针对运动目标检测的嵌入式实时高速双目视觉系统 | |
| CN202713470U (zh) | 一种高速图像采集装置 | |
| CN202976127U (zh) | 一种适用于数字运动的动作识别设备 | |
| CN210727777U (zh) | 一种可拆卸式超声成像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CX01 | Expiry of patent term | ||
| CX01 | Expiry of patent term |
Granted publication date: 20130717 |