CN103310683B - 智能眼镜及基于智能眼镜的语音交流系统及方法 - Google Patents

Abstract

本发明适用于电子技术领域，提供了一种智能眼镜，智能眼镜包括：智能镜片和智能镜框；所述智能眼镜还包括：左摄像头、右摄像头、红外LED、微处理器MCU、语音播放模块和通信模块；所述红外LED，用于发射红外线；所述左摄像头，用于接收所述红外线的散射信号，并将所述散射信号传递给所述MCU，所述散射信号为：手指反射所述红外线的散射信号；所述右摄像头，用于接收所述红外线的散射信号，并将所述散射信号传递给所述MCU，所述MCU，用于依据所述散射信息并通过双目立体视觉技术来获取手指立体图像，控制所述通信模块将所述手指立体图像传递给接收终端；所述MCU，用于控制所述语音播放模块播放所述语音信息。本发明提供的技术方案能够实现聋哑人与正常人正常沟通的优点。

Description

智能眼镜及基于智能眼镜的语音交流系统及方法

技术领域

本发明属于电子领域，尤其涉及一种智能眼镜及基于智能眼镜的语音交流系统。

背景技术

目前，全国范围内的聋哑人大约有两千万人，由于无法与正常人(即非聋哑人)直接进行语言交流，这样一个庞大的群体一直生活在社会的边缘，他们并不能真正融入这个社会，聋哑人除了与家人以及能够理解手语的少数正常人交流外，并不能够与大多数不懂手语的正常人进行正常交流，这样就给聋哑人在生活、在工作中造成了巨大的沟通障碍，这也是聋哑人不能真正融入社会的主要原因。

在现有技术中，并没有成熟的用于聋哑人与正常人进行语言交流的系统或装置，导致聋哑人无法与正常人进行正常的交流。

发明内容

本发明实施例的目的在于提供一种智能眼镜及基于智能眼镜的语音交流系统，旨在解决现有技术无法实现聋哑人与正常人正常交流的问题。

本发明实施例是这样实现的，一种智能眼镜，所述智能眼镜包括：智能镜片和智能镜框；所述智能眼镜还包括：左摄像头、右摄像头、红外LED、微处理器MCU、语音播放模块和通信模块；所述智能镜片、所述左摄像头、所述右摄像头、所述红外LED、所述MCU、所述语音播放模块和所述通信模块通过总线连接；

其中，所述左摄像头固定设置在所述智能镜框的左侧，所述右摄像头固定设置在所述智能镜框的右侧，所述红外LED固定设置在所述智能镜框的中心；

所述红外LED，用于发射红外线；

所述左摄像头，用于接收所述红外线的散射信号，并将所述散射信号传递给所述MCU，所述散射信号为：手指反射所述红外线的散射信号；

所述右摄像头，用于接收所述红外线的散射信号，并将所述散射信号传递给所述MCU，

所述MCU，用于依据所述散射信息并通过双目立体视觉技术来获取手指立体图像，控制所述通信模块将所述手指立体图像传递给接收终端；

所述通信模块，用于与所述接收终端通信，接收所述接收终端发送的所述手指立体图像对应的语音信息，并将所述语音信息传递给所述MCU；

所述MCU，用于控制所述语音播放模块播放所述语音信息。

本发明具体实施方式还提供一种智能眼镜及基于智能眼镜的语音交流系统，所述系统包括：智能眼镜和接收终端；

其中，所述智能眼镜包括：智能镜片、智能镜框、左摄像头、右摄像头、红外LED、微处理器MCU、语音播放模块和通信模块；所述智能镜片、所述左摄像头、所述右摄像头、所述红外LED、所述MCU、所述语音播放模块和所述通信模块通过总线连接；

其中，所述左摄像头固定设置在所述智能镜框的左侧，所述右摄像头固定设置在所述智能镜框的右侧，所述红外LED固定设置在所述智能镜框的中心；

所述红外LED，用于发射红外线；

所述左摄像头，用于接收所述红外线的散射信号，并将所述散射信号传递给所述MCU，所述散射信号为：手指反射所述红外线的散射信号；

所述右摄像头，用于接收所述红外线的散射信号，并将所述散射信号传递给所述MCU，

所述MCU，用于依据所述散射信息并通过双目立体视觉技术来获取手指立体图像，控制所述通信模块将所述手指立体图像传递给接收终端；

所述通信模块，用于与所述接收终端通信，接收所述接收终端发送的所述手指立体图像对应的语音信息，并将所述语音信息传递给所述MCU；

所述MCU，用于控制所述语音播放模块播放所述语音信息；

所述接收终端，用于依据所述手指立体图像从图像与语音数据库中查找出与所述手指立体图像对应的语音信息，并将所述手指立体图像对应的语音信息发送给所述智能眼镜；

所述图像与语音数据库包括：所有手指立体图像以及与每个手指立体图像对应的语言信息。

一种基于智能眼镜的语音交流系统的交流方法，所述方法包括：

所述的智能眼镜将语音信息转化为文字信息，并将得到的文字信息投影，

所述智能眼镜将依据手指反射的红外线得到手指立体图像，并将所述立体图像传输给接收终端，

所述接收终端依据接收到的所述手指立体图像从图像与语音数据库中查找出与所述手指立体图像对应的语音信息，并将所述手指立体图像对应的语音信息发送给所述智能眼镜；

所述智能眼镜将接收到的语音信息播放。

本发明实施例与现有技术相比，有益效果在于：本发明的技术方案的通过智能眼镜将聋哑人的手语转换成语音信号播放，然后将接收的正常人的语音信号转换成聋哑人的手语，并将该手语在智能眼镜上显示，这样就能够实现聋哑人与正常人的正常交流。

附图说明

图1是本发明实施例提供的一种智能眼镜的外形图；

图2是本发明实施例提供的一种智能眼镜的结构图；

图3是本发明实施例提供的一种于提供一种基于智能眼镜的语音交流系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明具体实施方式提供一种智能眼镜，该智能眼镜的外形图如图1所示，其电气结构图如图2所示，包括：智能镜片和智能镜框；所述智能眼镜还包括：左摄像头201、右摄像头202、红外LED203、微处理器(MCU)204、语音播放模块205和通信模块206；智能镜片、左摄像头201、右摄像头202、红外LED203、微处理器(MCU)204、语音播放模块205和通信模块206通过总线207连接；

其中，左摄像头201固定设置在智能镜框的左侧，右摄像头202固定设置在智能镜框的右侧，红外LED203固定设置在智能镜框的中心；

红外LED203，用于发射红外线；

左摄像头201，用于接收该红外线的散射信号，并将该散射信号传递给MCU204，该散射信号可以为：手指反射该红外线的散射信号；

右摄像头202，用于接收该红外线的散射信号，并将该散射信号传递给MCU204，

MCU204，用于依据该散射信息并通过双目立体视觉技术来获取手指立体图像，控制通信模块206将该手指立体图像传递给接收终端；

通信模块206，用于与该接收终端通信，接收该接收终端发送的该手指立体图像对应的语音信息，并将该语音信息传递给MCU204；

MCU204，用于控制语音播放模块205播放该语音信息。

本发明的技术方案的通过智能眼镜将聋哑人的手语转换成语音信号播放，这样正常人就能够在不懂手语的情况下也能够知道聋哑人所表达的意义，所以其具有能够使聋哑人与正常人进行正常沟通的优点。

可选的，上述通信模块206，还用于接收该接收终端发送的正常人的语音信息；所述智能眼镜还包括：语音识别模块208，用于依据语音识别算法将所述正常人的语音信息转换成文字信息；

MCU204，用于控制智能眼镜投影该文字信息。

上述语音信息转换成文字信息的方法可以采用常用的方法，例如IPONE5所采用的语音识别算法，当然也可以是其他的语音识别算法，本发明并上述语音识别算法并不限定。

上述通信模块206具体可以为蓝牙模块或WIFI模块或其他的无线通信模块。

本发明的技术方案在接收到正常人的语音信息所对应的文字信息后，将该文字信息播放，这样聋哑人就能够明白正常人所表达的意思，所以其能够与正常人正常的交流。

双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。双目立体视觉系统的开创性工作始于上世纪60年代中期，美国MIT的Roberts通过从数字图像中提取立方体等简单规则多面体的三维结构，并对物体的形状和空间关系进行描述，把过去的简单二维图像分析推广到了复杂的三维场景，标志着立体视觉技术的诞生。随着研究的深入，研究的范围从边缘、角点等特征的提取，线条、平面、曲面等几何要素的分析，直到对图像明暗、纹理、运动和成像几何等进行分析，并建立起各种数据结构和推理规则。

本发明具体实施方式还提供一种基于智能眼镜的语音交流系统，该系统如图3所示，包括：智能眼镜301和接收终端302；

其中，智能眼镜301包括：智能镜片、智能镜框、左摄像头201、右摄像头202、红外LED203、微处理器(MCU)204、语音播放模块205和通信模块206；左摄像头201、右摄像头202、红外LED203、微处理器(MCU)204、语音播放模块205和通信模块206通过总线207连接；

其中，左摄像头201固定设置在智能镜框的左侧，右摄像头202固定设置在智能镜框的右侧，红外LED203固定设置在智能镜框的中心；

红外LED203，用于发射红外线；

左摄像头201，用于接收该红外线的散射信号，并将该散射信号传递给MCU204，该散射信号可以为：手指反射该红外线的散射信号；

右摄像头202，用于接收该红外线的散射信号，并将该散射信号传递给MCU204，

MCU204，用于依据该散射信息并通过双目立体视觉技术来获取手指立体图像，控制通信模块206将该手指立体图像传递给接收终端302；

通信模块206，用于与接收终端302通信，接收该接收终端302发送的该手指立体图像对应的语音信息，并将该语音信息传递给MCU204；

MCU204，用于控制语音播放模块205播放该语音信息。

接收终端302，用于依据该手指立体图像从图像与语音数据库中查找出与该手指立体图像对应的语音信息，并将该语音信息发送给智能眼镜301。

上述图像与语音数据库包括：所有手指立体图像以及与每个手指立体图像对应的语言信息。

本发明的技术方案的通过智能眼镜将聋哑人的手语转换成语音信号播放，这样正常人就能够在不懂手语的情况下也能够知道聋哑人所表达的意义，所以其具有能够使聋哑人与正常人进行正常沟通的优点。

可选的，上述接收终端302，具体用于将该手指立体图像的大小调整成与图像与语音数据库中存储的手指立体图像的大小一致后，依据调整后的手指立体图像在图像与语音数据库中查找出与该手指立体图像对应的语音信息。

上述调整该手指体力图像的大小使得其与图像与语音数据库中存储的手指立体图像的大小一致是为了避免聋哑人的个体差异，因为智能眼镜采集过来的手指立体图像为原始的图像数据，此时采集的图像因为每个人的动作幅度或个人身高的原因可能导致手指立体图像的大小不一致，如果直接与图像与语音数据库内的手指立体图像比对有可能因为手指立体图像大小不一致而出现识别困难的情况，而将大小调整以后，就能够避免这种情况的发生，从而提高识别的精度。

可选的，接收终端302，用于接收正常人的语音信息，将该语音信息发送给智能眼镜301；

智能眼镜301的通信模块206，还用于接收该接收终端发送的语音信息，并将该语音信息传递给语音识别模块207，语音识别模块207依据语音识别算法将该语音信息转换成文字信息；

MCU204，用于控制智能镜片投影该文字信息。

本发明的技术方案在接收到正常人的语音信息所对应的文字信息后，将该文字信息播放，这样聋哑人就能够明白正常人所表达的意思，所以其能够与正常人正常的交流。

本发明具体实施方式还提供一种基于智能眼镜的语音交流系统的交流方法，所述方法包括：

所述的智能眼镜将语音信息转化为文字信息，并将得到的文字信息投影，

所述智能眼镜将依据手指反射的红外线得到手指立体图像，并将所述立体图像传输给接收终端，

所述接收终端依据接收到的所述手指立体图像从图像与语音数据库中查找出与所述手指立体图像对应的语音信息，并将所述手指立体图像对应的语音信息发送给所述智能眼镜；

所述智能眼镜将接收到的语音信息播放。

可选的，上述智能眼镜将依据手指反射的红外线得到手指立体图像具体包括：

所述左摄像头接收被手指反射后的所述红外LED发射的红外线所形成的散射信息，所述右摄像头接收被手指反射后的所述红外LED发射的红外线所形成的散射信息，所述MCU，将依据所述左摄像头、右摄像头接收的散射信息并通过双目立体视觉技术来获取手指立体图像，控制所述通信模块将所述手指立体图像传递给接收终端。

可选的，上述接收终端依据接收到的所述手指立体图像从图像与语音数据库中查找出与所述手指立体图像对应的语音信息具体包括：

所述接收终端将所述手指立体图像的大小调整成与所述图像与语音数据库中存储的手指立体图像的大小一致后，依据调整后的手指立体图像在所述图像与语音数据库中查找出与所述调整后的手指立体图像对应的语音信息，并将所述手指立体图像对应的语音信息发送给所述智能眼镜。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种智能眼镜，所述智能眼镜包括：智能镜片和智能镜框；其特征在于，所述智能眼镜还包括：左摄像头、右摄像头、红外LED、微处理器MCU、语音播放模块和通信模块；所述智能镜片、所述左摄像头、所述右摄像头、所述红外LED、所述MCU、所述语音播放模块和所述通信模块通过总线连接；

其中，所述左摄像头固定设置在所述智能镜框的左侧，所述右摄像头固定设置在所述智能镜框的右侧，所述红外LED固定设置在所述智能镜框的中心；

所述红外LED，用于发射红外线；

所述左摄像头，用于接收所述红外LED发射的红外线的散射信号，并将所述散射信号传递给所述MCU，所述散射信号为：手指反射所述红外线的散射信号；

所述右摄像头，用于接收所述红外LED发射的红外线的散射信号，并将所述散射信号传递给所述MCU，

所述MCU，用于依据所述散射信息并通过双目立体视觉技术来获取手指立体图像，控制所述通信模块将所述手指立体图像传递给接收终端，以使所述接收终端将所述手指立体图像的大小调整成与图像与语音数据库中存储的手指立体图像的大小一致后，依据调整后的手指立体图像在图像与语音数据库中查找出与所述手指立体图像对应的语音信息；所述图像与语音数据库包括：所有手指立体图像以及与每个手指立体图像对应的语言信息；

所述通信模块，用于与所述接收终端通信，接收所述接收终端发送的所述手指立体图像对应的语音信息，并将所述语音信息传递给所述MCU；

所述MCU，用于控制所述语音播放模块播放所述语音信息。

2.根据权利要求1所述的智能眼镜，其特征在于，所述通信模块，还用于接收所述接收终端发送的正常人的语音信息；所述智能眼镜还包括：

语音识别模块，用于依据语音识别算法将所述正常人的语音信息转换成文字信息。

3.根据权利要求2所述的智能眼镜，其特征在于，

所述MCU，用于控制所述智能眼镜投影所述文字信息。

4.一种基于智能眼镜的语音交流系统，其特征在于，所述系统包括：智能眼镜和接收终端；

其中，所述智能眼镜包括：智能镜片、智能镜框、左摄像头、右摄像头、红外LED、微处理器MCU、语音播放模块和通信模块；所述智能镜片、所述左摄像头、所述右摄像头、所述红外LED、所述MCU、所述语音播放模块和所述通信模块通过总线连接；

其中，所述左摄像头固定设置在所述智能镜框的左侧，所述右摄像头固定设置在所述智能镜框的右侧，所述红外LED固定设置在所述智能镜框的中心；

所述红外LED，用于发射红外线；

所述左摄像头，用于接收所述红外LED发射的红外线的散射信号，并将所述散射信号传递给所述MCU，所述散射信号为：手指反射所述红外线的散射信号；

所述右摄像头，用于接收所述红外LED发射的红外线的散射信号，并将所述散射信号传递给所述MCU，

所述MCU，用于依据所述散射信息并通过双目立体视觉技术来获取手指立体图像，控制所述通信模块将所述手指立体图像传递给接收终端；

所述通信模块，用于与所述接收终端通信，接收所述接收终端发送的所述手指立体图像对应的语音信息，并将所述语音信息传递给所述MCU；

所述MCU，用于控制所述语音播放模块播放所述语音信息；

所述接收终端，用于将所述手指立体图像的大小调整成与图像与语音数据库中存储的手指立体图像的大小一致后，依据调整后的手指立体图像在图像与语音数据库中查找出与所述手指立体图像对应的语音信息，并将所述手指立体图像对应的语音信息发送给所述智能眼镜；

所述图像与语音数据库包括：所有手指立体图像以及与每个手指立体图像对应的语言信息。

5.根据权利要求4所述的系统，其特征在于，所述接收终端，用于接收正常人的语音信息，将所述语音信息发送给所述智能眼镜的通信模块；

所述通信模块，还用于接收所述接收终端发送的正常人的语音信息；将所述语音信息传递给语音识别模块；

所述语音识别模块，用于依据语音识别算法将所述正常人的语音信息转换成文字信息；

所述MCU，用于控制所述智能眼镜投影所述文字信息。

6.一种基于智能眼镜的语音交流系统的交流方法，其特征在于，所述方法包括：

智能眼镜包括：左摄像头、右摄像头、红外LED、微处理器MCU、语音播放模块和通信模块；所述智能镜片、所述左摄像头、所述右摄像头、所述红外LED、所述MCU、所述语音播放模块和所述通信模块通过总线连接；其中，所述左摄像头固定设置在所述智能镜框的左侧，所述右摄像头固定设置在所述智能镜框的右侧，所述红外LED固定设置在所述智能镜框的中心；

聋哑人佩戴所述智能眼镜，所述的智能眼镜将正常人的语音信息转化为文字信息，并将得到的文字信息投影，

所述智能眼镜将依据手指反射的红外线得到手指立体图像，并将所述立体图像传输给接收终端，

所述接收终端依据接收到的所述手指立体图像从图像与语音数据库中查找出与所述手指立体图像对应的语音信息，并将所述手指立体图像对应的语音信息发送给所述智能眼镜；所述图像与语音数据库包括：所有手指立体图像以及与每个手指立体图像对应的语言信息；

所述智能眼镜将接收到的语音信息播放；

所述接收终端依据接收到的所述手指立体图像从图像与语音数据库中查找出与所述手指立体图像对应的语音信息具体包括：

所述接收终端将所述手指立体图像的大小调整成与所述图像与语音数据库中存储的手指立体图像的大小一致后，依据调整后的手指立体图像在所述图像与语音数据库中查找出与所述调整后的手指立体图像对应的语音信息，并将所述手指立体图像对应的语音信息发送给所述智能眼镜。

7.根据权利要求6所述的基于智能眼镜的语音交流系统的交流方法，其特征在于，所述智能眼镜将依据手指反射的红外线得到手指立体图像具体包括：

所述左摄像头接收被手指反射后的所述红外LED发射的红外线所形成的散射信息，所述右摄像头接收被手指反射后的所述红外LED发射的红外线所形成的散射信息，所述MCU，将依据所述左摄像头、右摄像头接收的散射信息并通过双目立体视觉技术来获取手指立体图像，控制所述通信模块将所述手指立体图像传递给接收终端。