CN206379066U - 聋哑人与人的智能信息交流装置 - Google Patents

Abstract

本实用新型涉及聋哑人与人的智能信息交流装置，该装置包括用于获取正常人语音信息的语音采集终端以及一用于获取聋哑人面部信息、手势信息以及唇部信息的图像采集终端。语音采集终端包括第一显示单元、第一控制计算单元、语音输入单元以及第一通信单元；图像采集终端包括第二显示单元、第二控制计算单元、第一摄像头单元、第二摄像头单元、第三摄像头单元以及第二通信单元。本实用新型提出的一种聋哑人与人的智能信息交流装置，极大地方便了正常人与聋哑人的交流，进而为聋哑人能更快更好地融入到正常社会生活之中提供了技术基础，提高他们的生活质量，同时，通过所提供的装置，为其他外接设备的接入提供了方便的接入方式。

Description

聋哑人与人的智能信息交流装置

技术领域

本实用新型涉及一种聋哑人与人的智能信息交流装置。

背景技术

全世界的聋哑人的人数在6亿左右，且该数字还在呈上升趋势。目前，聋哑人主要通过手势、肢体动作以及面部表情等肢体语言同他人进行交流和沟通。然而，手语由于其姿势较为复杂，且适用人群较低，在健听人群中的普及度也较低。即使通过一些简单的肢体语言可以初步了解所要表达的内容，但却远远达不到与聋人交流的程度，直接导致了听障人与其他人之间的交流障碍。随着现代高新的计算机技术和信息技术的发展，将听障人的各种肢体语言(包括手形语言，各种面部表情信号等)转换成有声语音或者文字符号，对促进听障人更好更快地融入到正常社会生活，消除聋哑人士与他人之间交流的障碍，提高聋哑人的生活质量，真正地实现融合共生，无疑具有重要的社会现实意义。而现有的技术中，能够较好的实现聋哑人与正常人交流的设备较少且效果较差，并不能与外接的其他设备有效的进行连接，实现扩展。

发明内容

本实用新型的目的在于提供一种聋哑人与人的智能信息交流装置，以克服现有技术存在的缺陷。

为实现上述目的，本实用新型的技术方案是：一种聋哑人与人的智能信息交流装置，其特征在于，包括一用于获取正常人语音信息的语音采集终端以及一用于获取聋哑人面部信息、手势信息以及唇部信息的图像采集终端；所述语音采集终端包括一第一控制计算单元以及分别用于该第一控制计算单元相连的一第一显示单元、一语音输入单元以及一第一通信单元；所述图像采集终端包括一第二控制计算单元以及分别与该第二控制计算单元相连的一第二显示单元、一第一摄像头单元、一第二摄像头单元、一第三摄像头单元以及一第二通信单元；所述第一通信单元与所述第二通信单元匹配。

在本实用新型一实施例中，所述语音采集终端以及所述图像采集终端均设置于一载台上；所述载台设置于一剪式升降台上；所述剪式升降台的驱动单元与所述第一控制计算单元相连；所述语音采集终端还包括一按键单元，所述按键单元与所述第一控制计算单元相连，且通过该按键单元，调整剪式升降台的高低。

在本实用新型一实施例中，所述剪式升降台的底部设置有一底盘；所述底盘两侧分别设置有第一驱动轮以及第二驱动轮，底盘前侧设置有导向轮；所述第一驱动轮、所述第二驱动轮以及所述导向轮分别通过电机驱动，且所述第一驱动轮、所述第二驱动轮以及所述导向轮驱动电机的驱动单元均与一嵌设于所述底盘内的第三控制计算单元相连。

在本实用新型一实施例中，还包括一方向控制装置，所述方向控制装置为一外接方向控制器，该外接方向控制器通过线缆，经设置于底盘上的接口，与所述第三控制计算单元相连。

在本实用新型一实施例中，所述语音输入单元为一话筒或一便携式拾音器，且该话筒或便携式拾音器采用有线或无线的方式与第一控制计算单元相连；所述按键单元为一外置且通过线缆与第一控制计算单元相连的按键装置。

在本实用新型一实施例中，所述载台上设置所述语音采集终端的一侧还设置有一用于放置所述语音输入单元以及所述按键单元的第一支撑架。

在本实用新型一实施例中，所述载台上设置所述图像采集终端的一侧还设置有用放置所述第一摄像头单元以及所述第二摄像头单元的第二支撑架；所述第三摄像头单元设置于所述图像采集终端的顶端；所述第一摄像头单元、所述第二摄像头单元以及所述第三摄像头单元均包括一可旋转调整的底座。

在本实用新型一实施例中，所述第一显示单元以及所述第二显示单元均包括一台式触摸显示器以及手持式触摸显示装置。

在本实用新型一实施例中，还包括一穿戴于聋哑人手部的手套。

相较于现有技术，本实用新型具有以下有益效果：本实用新型所提出的一种聋哑人与人的智能信息交流装置，极大地方便了正常人与聋哑人的交流，进而为聋哑人能更快更好地融入到正常社会生活之中提供了技术基础，提高他们的生活质量，同时，通过本发明所提供的装置，为其他外接设备的接入提供了方便的接入方式，极大地方便了不同场合的使用。

附图说明

图1为本实用新型中语音采集终端的原理图。

图2为本实用新型中图像采集终端的原理图。

图3为本实用新型中一实施例中语音采集终端以及图像采集终端设置于载台以及底盘上的示意图。

图4为本实用新型中一实施例中底盘内的驱动轮与导向轮电路原理图。

【标号说明】：载台1；第一显示单元2；第一控制计算单元3；语音输入单元4；第二显示单元5；第二控制计算单元6；第一摄像头单元7；第二摄像头单元8；第三摄像头单元9；按键单元10；第一支撑架11；第二支撑架12；底盘 13；第一驱动轮14；第二驱动轮15；导向轮16；外接方向控制器17；底盘接口 18；线缆19。

具体实施方式

下面结合附图以及现有软件，对本实用新型的技术方案进行具体说明。在该说明过程中所涉及的现有软件不是本实用新型所保护的客体，本实用新型仅保护该装置的结构及其连接关系。

本实用新型提供一种聋哑人与人的智能信息交流装置，如图1～3所示，包括一用于获取正常人语音信息的语音采集终端以及一用于获取聋哑人面部信息、手势信息以及唇部信息的图像采集终端；语音采集终端包括一第一显示单元、一第一控制计算单元、一语音输入单元以及一第一通信单元；图像采集终端包括一第二显示单元、一第二控制计算单元、一第一摄像头单元、一第二摄像头单元、一第三摄像头单元以及一第二通信单元；第一通信单元与第二通信单元匹配。第一控制计算单元对获取的语音信息处理，通过第一显示单元进行显示，并将处理后的信息通过第一通信单元发送至第二通信单元，第二控制计算单元通过第二通信单元获取信息，并通过第二显示器对应显示；第二控制计算单元对获取的图像信息处理，通过第二显示单元进行显示，并将处理后的信息通过第二通信单元发送至第一通信单元，第一控制计算单元通过第一通信单元获取信息，并通过第一显示器对应显示。

进一步的，在本实施例中，语音采集终端以及图像采集终端均设置于一载台 1上，如图3所示，一侧设置有第一显示单元2、第一控制计算单元3，语音输入单元4，另一侧设置有第二显示单元5，第二控制计算单元6，第一摄像头单元7，第二摄像头单元8，第三摄像头单元9；载台1的下端设置有一剪式升降台2；剪式升降台2的驱动单元与第一控制计算单元相连；语音采集终端的还包括一按键单元10，按键单元与第一控制计算单元相连，且通过该按键单元，调整剪式升降台的高低。在本实施例中，设置于载台上的语音采集终端中的语音输入单元4可以为一话筒或一便携式拾音器，且该话筒或便携式拾音器可采用有线或无线的方式与第一控制计算单元相连。较佳地，采用有线的方式连接。此外，该按键单元10可为外置的按键装置或通过第一显示单元中的触摸显示屏实现的虚拟键盘，且外置的按键装置可采用有线或无线的方式与第一控制计算单元相连。较佳地，采用有线的方式连接。为了方便设置，载台上还设置有一第一支撑架11，用于放置语音输入单元4以及按键单元10。为了便于图像采集，第一摄像头单元7以及第二摄像头单元8设置于第二支撑架12上，第三摄像头单元9 设置于第二显示单元5的顶端，且在设置时，可通过调整对应摄像单元中摄像头的位置，以更好的获取图片。

进一步的，在本实施例中，第一显示单元2以及第二显示单元5均包括一台式触摸显示器。

进一步的，在本实施例中，如图3以及图4所示，剪式升降台2的底部设置有一底盘13；底盘13两侧分别设置有第一驱动轮14以及第二驱动轮15，底盘前侧设置有导向轮16；驱动轮以及导向轮分别通过电机驱动，且驱动轮的驱动电机的驱动单元以及导向轮的驱动电机的驱动单元均与一嵌设于底盘内的第三控制计算单元相连；第三控制单元与一方向控制装置相连，通过该方向控制装置发送控制信号至第三控制计算单元；第三控制单元接收控制信号，产生驱动信号，并经对应的驱动单元驱动驱动电机，控制底盘转动或行驶。较佳的，该方向控制装置为一外接方向控制器17。该外接方向控制器17通过设置于底盘上的接口18，并经线缆19与第三控制计算单元相连。

进一步的，在本实施例中，还包括一穿戴于聋哑人手部的手套，摄像头单元通过获取该手套图像信息，从而获取手势信息，以较少由于不同使用者使用时造成的图像获取的误差问题。

进一步的，在本实施例中，第一控制计算单元以及第二控制计算单元为一计算机。此外，还可设置一中转设备，如包括一第四控制计算单元，并设置有对应的输入/输出接口，包括视频接口，音频接口等，并通过通信单元分别与第一通信单元以及第二通信单元匹配起来，为第三方提供交流信息，如在会议过程中，可通过中转设备将参与交流的双方的内容展示到一公共显示平台上。

进一步的，在本实施例中，为了让本领域技术人员进一步了解本实用新型所提出的装置，线面结合现有软件以及控制方法对其进行说明。

语音采集终端通过语音输入单元采集正常人的语音信息，经第一控制计算单元进行处理以及识别，将所采集的语音信息转换为对应的文字信息，并通过第一显示单元以及第二显示单元显示文字信息，以用于与正常人交流的聋哑人查看；图像采集终端中的第一摄像头单元采集聋哑人的手势图像，第二摄像头单元采集聋哑人的唇部图像，第三摄像头单元采集聋哑人的面部图像，并将该手势图像、唇部图像以及面部图像传输至第二控制计算单元，第二控制计算单元对该手势图像、唇部图像以及面部图像进行处理、识别以及分析，将手势图像、唇部图像以及面部图像转换为对应的文字信息，并通过所述第一显示单元显示所述手势图像、所述唇部图像以及所述面部图像对应的文字信息，通过所述第二显示单元显示所述手势图像与所述唇部图像对应的文字信息，以用于与聋哑人交流的正常人查看。

进一步的，在本实施例中，第二控制计算单元对手势图像以及唇部图像进行处理、识别以及分析按照如下步骤实现：

步骤S11：基于形态学和分水岭算法对手势图像以及唇部图像的边缘进行提取；通过自动识别最优阈值算法，以图像的灰度级特征为基础，计算将图像前景和背景分开的最优分割阈值，并用该最优阈值进一步地限制原IFT分水岭算法中的路径成本函数，从而最大程度地将图像的前景和背景分割开；

步骤S12：通过双正交小波变换算法以及纹理一致性测度分析算法，对步骤 S1中的计算结果进行图像融合；对步骤S1处理后的手势图像以及唇部图像进行小波分解，然后再确定融合图像的小波系数；在对应低频系数方向上，按预设比例选取图像的小波系数，构成融合图像小波低频系数矩阵；对于反映图像细节的高频小波系数，采用纹理一致性测度分析特定区域不同方向的边缘特性，针对不同区域，采用不同的策略得到融合图像的小波系数矩阵，从而得到融合图像；

步骤S13：通过模糊BP神经网络融合算法，对经步骤S2处理后的手势图像以及唇部图像，进行融合计算，将融合图像后的手形图像以及唇形图像分别作为手形模糊集和唇形模糊集；对手形模糊集和唇形模糊集分别进行模糊算子操作，然后将操作结果分别与预设手形数据库中的手语符号以及预设唇形数据库中的唇语语符号进行匹配，对应获取两个手语集；将获得的两个手语集进行模糊集合运算，得到识别结果，并将识别结果通过文字信息的形式输出，在该识别过程中，若得到多个运算结果，识别失败，重新进行上述匹配识别计算。

进一步的，在本实施例中，预设手形数据库包括通过机器训练得到手形数据库以及中国手语提供的手形数据库；预设唇形数据库包括通过机器训练得到唇形数据库以及中国手语提供的唇形数据库。通过训练获取的数据对现有的数据库进行不断更新。

进一步的，在本实施例中，第二控制计算单元通过采用LBP算法对面部图像进行处理、识别以及分析，并将识别结果通过文字信息的形式输出。

进一步的，在本实施例中，将所述手势图像以及所述唇部图像对应的文字信息作为交流内容，将所述面部图像对应的文字信息作为参考内容；通过所述第一显示单元显示时，按照如下形式显示：交流内容，(参考内容)，以方便正常人在交流时，了解聋哑人的面部体现的情绪；通过第二按照如下形式显示：交流内容。

进一步的，在本实施例中，第一显示单元以及第二显示单元还均包括一手持式触摸显示器；在进行交流时，语音采集终端在采集显示后，提示正常人确认所采集的语音信号转换后的文字信息是否准确，若准确，则通过对应的手持式触摸显示器发送确认信息，并通过台式触摸显示器显示；若不准确，可通过应的手持式触摸显示器进行修改；同理，图像采集终端对应的信息也需经过聋哑人的确认，并对有误的进行修改。

以上是本实用新型的较佳实施例，凡依本实用新型技术方案所作的改变，所产生的功能作用未超出本实用新型技术方案的范围时，均属于本实用新型的保护范围。

Claims (9)

1.一种聋哑人与人的智能信息交流装置，其特征在于，包括一用于获取正常人语音信息的语音采集终端以及一用于获取聋哑人面部信息、手势信息以及唇部信息的图像采集终端；所述语音采集终端包括一第一控制计算单元以及分别用于该第一控制计算单元相连的一第一显示单元、一语音输入单元以及一第一通信单元；所述图像采集终端包括一第二控制计算单元以及分别与该第二控制计算单元相连的一第二显示单元、一第一摄像头单元、一第二摄像头单元、一第三摄像头单元以及一第二通信单元；所述第一通信单元与所述第二通信单元匹配。

2.根据权利要求1所述的聋哑人与人的智能信息交流装置，其特征在于，所述语音采集终端以及所述图像采集终端均设置于一载台上；所述载台设置于一剪式升降台上；所述剪式升降台的驱动单元与所述第一控制计算单元相连；所述语音采集终端还包括一按键单元，所述按键单元与所述第一控制计算单元相连，且通过该按键单元，调整剪式升降台的高低。

3.据权利要求2所述的聋哑人与人的智能信息交流装置，其特征在于，所述剪式升降台的底部设置有一底盘；所述底盘两侧分别设置有第一驱动轮以及第二驱动轮，底盘前侧设置有导向轮；所述第一驱动轮、所述第二驱动轮以及所述导向轮分别通过电机驱动，且所述第一驱动轮、所述第二驱动轮以及所述导向轮驱动电机的驱动单元均与一嵌设于所述底盘内的第三控制计算单元相连。

4.据权利要求3所述的聋哑人与人的智能信息交流装置，其特征在于，还包括一方向控制装置，所述方向控制装置为一外接方向控制器，该外接方向控制器通过线缆，经设置于底盘上的接口，与所述第三控制计算单元相连。

5.根据权利要求2所述的聋哑人与人的智能信息交流装置，其特征在于，所述语音输入单元为一话筒或一便携式拾音器，且该话筒或便携式拾音器采用有线或无线的方式与第一控制计算单元相连；所述按键单元为一外置且通过线缆与第一控制计算单元相连的按键装置。

6.根据权利要求5所述的聋哑人与人的智能信息交流装置，其特征在于，所述载台上设置所述语音采集终端的一侧还设置有一用于放置所述语音输入单元以及所述按键单元的第一支撑架。

7.根据权利要求2所述的聋哑人与人的智能信息交流装置，其特征在于，所述载台上设置所述图像采集终端的一侧还设置有用放置所述第一摄像头单元以及所述第二摄像头单元的第二支撑架；所述第三摄像头单元设置于所述图像采集终端的顶端；所述第一摄像头单元、所述第二摄像头单元以及所述第三摄像头单元均包括一可旋转调整的底座。

8.根据权利要求1所述的聋哑人与人的智能信息交流装置，其特征在于，所述第一显示单元以及所述第二显示单元均包括一台式触摸显示器以及手持式触摸显示装置。

9.根据权利要求1所述的聋哑人与人的智能信息交流装置，其特征在于，还包括一穿戴于聋哑人手部的手套。