CN203070756U - 一种基于动作识别及语音技术的手语和唇语互译系统 - Google Patents

一种基于动作识别及语音技术的手语和唇语互译系统 Download PDF

Info

Publication number
CN203070756U
CN203070756U CN 201220688601 CN201220688601U CN203070756U CN 203070756 U CN203070756 U CN 203070756U CN 201220688601 CN201220688601 CN 201220688601 CN 201220688601 U CN201220688601 U CN 201220688601U CN 203070756 U CN203070756 U CN 203070756U
Authority
CN
China
Prior art keywords
dsp
camera
sign language
fpga
identification module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN 201220688601
Other languages
English (en)
Inventor
陈拥权
王略志
刘思杨
胡翀豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Huanjing Information Technology Co Ltd
Original Assignee
Hefei Huanjing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Huanjing Information Technology Co Ltd filed Critical Hefei Huanjing Information Technology Co Ltd
Priority to CN 201220688601 priority Critical patent/CN203070756U/zh
Application granted granted Critical
Publication of CN203070756U publication Critical patent/CN203070756U/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

本实用新型公开了一种基于动作识别及语音技术的手语和唇语互译系统，包括有壳体，壳体内设置有FPGA及DSP，壳体上设置有一对用于采集聋哑人手语动作的摄像头A和一对用于采集正常人唇语的摄像头B以及一个用于采集正常人声音的语音识别模块，两摄像头A、两摄像头B、语音识别模块分别通过信号线接入FPGA，FPGA与DSP双向通信连接，DSP分别通过I2C/SPI总线与两摄像头A、两摄像头B、语音识别模块连接，DSP还通过USB总线与上位机通讯连接，上位机外接有显示器、语音播放模块。公开了本实用新型可实现手语和唇语互译，具有很好的应用前景。

Description

一种基于动作识别及语音技术的手语和唇语互译系统
技术领域
    本实用新型涉及手语和唇语互译系统领域，具体为一种基于动作识别及语音技术的手语和唇语互译系统。
背景技术
基于视频的动作识别设备由主机、动作识别模块等构成，可通过动作识别设备中的摄像头采集人体的运动图像，并通过集成的图像算法芯片，对运动图像进行解析，形成人体运动的三维动态坐标，经主机的图像合成与仿真，最后得到相应的动作视频，因此动作识别设备可作为手语和唇语互译系统的基础设备。而现有技术中尚没有基于动作识别及语音技术的手语和唇语互译系统。
实用新型内容
本实用新型的目的是提供一种基于动作识别及语音技术的手语和唇语互译系统，以解决现有技术中尚没有基于动作识别及语音技术的实现手语和唇语互译系统的问题。
为了达到上述目的，本实用新型所采用的技术方案为：
一种基于动作识别及语音技术的手语和唇语互译系统，包括有壳体，其特征在于：所述壳体内设置有FPGA及DSP，壳体上设置有一对用于采集聋哑人手语动作的摄像头A和一对用于采集正常人唇语的摄像头B以及一个用于采集正常人声音的语音识别模块，两摄像头A、两摄像头B、语音识别模块分别通过信号线接入FPGA，所述FPGA与DSP双向通信连接，所述DSP分别通过I2C/SPI总线与两摄像头A、两摄像头B、语音识别模块连接，DSP还通过USB总线与上位机通讯连接，上位机外接有显示器、语音播放模块，上位机将DSP传来的摄像头A采集的聋哑人手语动作的图像数据合成视频信号，再将视频信号转化为语音信息通过语音播放模块播出，上位机将DSP传来的摄像头B采集的正常人唇语的图像数据和语音识别模块采集的正常人声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器上显示。
所述的一种基于动作识别及语音技术的手语和唇语互译系统，其特征在于：所述FPGA上接入有两个SRAM，所述DSP上接入有一个SDRAM和一个Nand/Nor FLASH。
本实用新型依据Bumblebee双目测量原理，应用FPGA驱动两个摄像头A，并通过DSP的I2C/SPI总线使两个摄像头A同步采集运动图像，图像数据在DSP进行预处理后传送至上位机。本实用新型依据Bumblebee双目测量原理，应用FPGA驱动两个摄像头B和语音识别模块，并通过DSP的I2C/SPI总线使两个摄像头B和语音识别模块同步采集运动图像和语音信号，图像数据和语音信号在DSP进行预处理后传送至上位机。上位机将DSP传来的摄像头A采集的聋哑人手语动作的图像数据合成视频信号，再将视频信号转化为语音信息通过语音播放模块播出，上位机将DSP传来的摄像头B采集的正常人唇语的图像数据和语音识别模块采集的正常人声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器上显示。本实用新型可实现手语和唇语互译，具有很好的应用前景。
附图说明
图1为本实用新型结构框图。
具体实施方式
如图1所示。一种基于动作识别及语音技术的手语和唇语互译系统，包括有壳体，壳体内设置有FPGA及DSP，壳体上设置有一对用于采集聋哑人手语动作的摄像头1和一对用于采集正常人唇语的摄像头2以及一个用于采集正常人声音的语音识别模块3，两摄像头1、两摄像头2、语音识别模块3分别通过信号线接入FPGA，FPGA与DSP双向通信连接，DSP分别通过I2C/SPI总线与两摄像头1、两摄像头2、语音识别模块3连接，DSP还通过USB总线与上位机4通讯连接，上位机4外接有显示器5、语音播放模块6，上位机4将DSP传来的摄像头1采集的聋哑人手语动作的图像数据合成视频信号，再将视频信号转化为语音信息通过语音播放模块6播出，上位机4将DSP传来的摄像头2采集的正常人唇语的图像数据和语音识别模块6采集的正常人声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器5上显示。FPGA上接入有两个SRAM，所述DSP上接入有一个SDRAM和一个Nand/Nor FLASH。

Claims (2)

1.一种基于动作识别及语音技术的手语和唇语互译系统，包括有壳体，其特征在于：所述壳体内设置有FPGA及DSP，壳体上设置有一对用于采集聋哑人手语动作的摄像头A和一对用于采集正常人唇语的摄像头B以及一个用于采集正常人声音的语音识别模块，两摄像头A、两摄像头B、语音识别模块分别通过信号线接入FPGA，所述FPGA与DSP双向通信连接，所述DSP分别通过I2C/SPI总线与两摄像头A、两摄像头B、语音识别模块连接，DSP还通过USB总线与上位机通讯连接，上位机外接有显示器、语音播放模块，上位机将DSP传来的摄像头A采集的聋哑人手语动作的图像数据合成视频信号，再将视频信号转化为语音信息通过语音播放模块播出，上位机将DSP传来的摄像头B采集的正常人唇语的图像数据和语音识别模块采集的正常人声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器上显示。
2.根据权利要求1所述的一种基于动作识别及语音技术的手语和唇语互译系统，其特征在于：所述FPGA上接入有两个SRAM，所述DSP上接入有一个SDRAM和一个Nand/Nor FLASH。
CN 201220688601 2012-12-13 2012-12-13 一种基于动作识别及语音技术的手语和唇语互译系统 Expired - Lifetime CN203070756U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201220688601 CN203070756U (zh) 2012-12-13 2012-12-13 一种基于动作识别及语音技术的手语和唇语互译系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201220688601 CN203070756U (zh) 2012-12-13 2012-12-13 一种基于动作识别及语音技术的手语和唇语互译系统

Publications (1)

Publication Number Publication Date
CN203070756U true CN203070756U (zh) 2013-07-17

Family

ID=48769520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201220688601 Expired - Lifetime CN203070756U (zh) 2012-12-13 2012-12-13 一种基于动作识别及语音技术的手语和唇语互译系统

Country Status (1)

Country Link
CN (1) CN203070756U (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967843A (zh) * 2016-10-19 2018-04-27 河南省金拐杖医疗科技有限公司 一种聋哑人体外助讲机
CN108510988A (zh) * 2018-03-22 2018-09-07 深圳市迪比科电子科技有限公司 一种用于聋哑人的语言识别系统及方法
CN112164389A (zh) * 2020-09-18 2021-01-01 国营芜湖机械厂 一种多模式语音识别送话装置及其控制方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967843A (zh) * 2016-10-19 2018-04-27 河南省金拐杖医疗科技有限公司 一种聋哑人体外助讲机
CN108510988A (zh) * 2018-03-22 2018-09-07 深圳市迪比科电子科技有限公司 一种用于聋哑人的语言识别系统及方法
CN112164389A (zh) * 2020-09-18 2021-01-01 国营芜湖机械厂 一种多模式语音识别送话装置及其控制方法
CN112164389B (zh) * 2020-09-18 2023-06-02 国营芜湖机械厂 一种多模式语音识别送话装置及其控制方法

Similar Documents

Publication Publication Date Title
CN204542562U (zh) 一种智能盲人眼镜
CN203968275U (zh) 一种基于智能手机平台的虚拟现实显示设备
CN204360325U (zh) 一种头戴式多通道交互系统
CN104102346A (zh) 一种家用信息采集和用户情感识别设备及其工作方法
CN104615243A (zh) 一种头戴式多通道交互系统及多通道交互方法
CN203070756U (zh) 一种基于动作识别及语音技术的手语和唇语互译系统
CN203070287U (zh) 一种基于动作识别及语音识别技术的唇语翻译系统
CN205900093U (zh) 降噪装置及虚拟现实设备
CN203133885U (zh) 一种基于动作识别的人体面部表情识别系统
CN205430592U (zh) 一种音频采集装置
CN202796043U (zh) 一种语音识别系统
CN203070312U (zh) 一种基于动作识别及语音合成技术的手语翻译系统
CN205787669U (zh) 一种智能家居机器人
CN205539712U (zh) 带增强现实的智能眼镜
CN209086551U (zh) 一种多功能增强现实眼镜
CN210109744U (zh) 一种头戴交流装置及头戴交流系统
CN110083844B (zh) 一种携带方便的多国语言翻译器及用户端智能交互系统
CN207124680U (zh) 一种外接摄像组件
CN208188518U (zh) 一种具有助听器功能的智能穿戴设备
CN206991240U (zh) 一种基于虚拟现实技术的人机交互系统
CN201145887Y (zh) 一种可采集人体生理数据的鼠标
CN105824137A (zh) 可视化智能眼镜
CN202843628U (zh) 一种音频传输的疲劳驾驶生理信号采集眼镜
CN203012745U (zh) 一种基于动作识别的人体异常行为检测与预警系统
CN103035150B (zh) 一种基于动作识别的手语翻译系统

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20130717