CN104978886A - 一种基于体感技术的手语翻译系统及处理方法 - Google Patents

Abstract

本发明涉及一种基于体感技术的手语翻译系统，包括用于检测人体手势信息的体感设备、用于接收待翻译语音的声音输入设备、用于对人体手势信息或待翻译语音进行相互转译的手语翻译设备、用于已翻译的文字或已转换的手语手势动画的显示设备和用于播放已翻译的语音的声音输出设备，本发明还涉及一种基于体感技术的手语翻译的处理方法；本发明的有益效果是：能将手语实时转译成书面文字和语音，同时能把语音转译成手语显示在显示设备上,帮助聋人和非聋人进行交流；体感设备采用深度景象CMOS传感器，能在复杂的背景和光照条件下准确的识别手势动作,且该体感设备的光编码(light coding)技术使用的是连续的照明(而非脉冲)，降低了设计方案的成本。

Description

一种基于体感技术的手语翻译系统及处理方法

技术领域

本发明涉及手语翻译技术领域，尤其是一种基于体感技术的手语翻译系统及处理方法。

背景技术

中国有超过2000万人失聪或存在听力障碍，而放眼到全球，这一数字则扩大到大约3.6亿人，近些年来研究人员花费了大量时间攻克手语识别领域所存在的挑战，他们曾研究过诸如数据手套或特殊摄像头这样的输入传感器潜在的发展空间，虽然前者在识别方面表现很好，但因为难以穿戴和过于昂贵很难投入广泛使用。而网络摄像头或立体摄像头虽然能够保证追踪手部运动的精度和速度，却很难处理好复杂背景和光照。

发明内容

本发明提供一种基于体感技术的手语翻译系统及处理方法，能将手语实时转译成书面文字和语音，同时能把语音转译成手语显示在显示设备上,帮助聋人和非聋人进行交流。

本发明解决上述技术问题的技术方案如下：一种基于体感技术的手语翻译系统，包括体感设备、声音输入设备、手语翻译设备、显示设备和声音输出设备；

所述体感设备，用于检测人体手势信息，并将人体手势信息转换成3D数据的格式后发送至手语翻译设备；

所述声音输入设备，用于接收待翻译语音，并将待翻译语音转换成语音数据的格式后发送至手语翻译设备；

所述手语翻译设备，用于识别发送来的数据的格式类型，当发送来的是3D数据的格式类型时，将该3D数据转译成对应的语音和文字，并发出第一执行指令；当发送来的是语音数据的格式类型时，将该语音数据转译成对应的手语手势动画，并发出第二执行指令；

所述显示设备，用于根据第一执行指令从所述手语翻译设备上读取已翻译的文字后进行显示，还用于根据第二执行指令从所述手语翻译设备上读取已转换的手语手势动画后进行显示；

所述声音输出设备，用于根据第一执行指令从所述手语翻译设备上读取已转译的语音后进行播放。

本发明的有益效果是：能将手语实时转译成书面文字和语音，同时能把语音转译成手语显示在显示设备上,帮助聋人和非聋人进行交流；体感设备采用深度景象CMOS传感器，能在复杂的背景和光照条件下准确的识别手势动作,且该体感设备的光编码(light coding)技术使用的是连续的照明(而非脉冲)，降低了设计方案的成本。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述体感设备包括红外光发射器和深度景象CMOS传感器，

所述红外光发射器，用于向目标人体发射红外结构光；

所述深度景象CMOS传感器采用CMOS感光芯片，用于检测从目标人体反射回来的红外结构光，并将红外结构光转换成3D数据的格式后发送至手语翻译设备。

红外光发射器发射红外结构光与传统的结构光方法不同的是，他的光源打出去的并不是一副周期性变化的二维的图像编码，该体感设备的光编码(light coding)技术使用的是连续的照明(而非脉冲)，红外光发射器的这种光源叫做激光散斑(laser speckle)，是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点，这些散斑具有高度的随机性，而且会随着距离的不同变换图案。也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光，整个空间就都被做了标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置了。深度景象CMOS传感器对反射回来的红外结构光进行标定检测，每隔一段距离，取一个参考平面，把参考平面上的散斑图案记录下来；假设人体手势是距离体感设备1米到4米的范围，每隔5cm取一个参考平面，那么标定下来我们就已经保存了60幅散斑图像。需要进行测量的时候，拍摄一副待测场景的散斑图像，将这幅图像和我们保存下来的60幅参考图像依次做互相关运算，这样我们会得到60幅相关度图像，而人体手势存在的位置，在相关度图像上就会显示出峰值。把这些峰值一层层叠在一起，再经过一些插值，就会得到手势的三维形状了，从而将红外结构光转换成3D数据。

采用上述进一步方案的有益效果是：不同于传统的ToF或者结构光测量技术，利用三维纵深的“体编码”的方法进行标记，就得到该物体在空间内的三维形状了，也不需要特制的感光芯片，而只需要普通的CMOS感光芯片，这让方案的成本大大降低。

进一步，所述手语翻译设备包括格式识别器、手语手势3D数据库、语音和文字数据库以及手语手势动画数据库，

所述格式识别器，用于根据数据格式的不同识别发送来的数据的格式类型，当发送来的是3D数据的格式类型时，将3D数据发送至所述手语手势3D数据库处理，当发送来的是语音数据的格式类型时，将语音数据发送至所述语音和文字数据库处理；

所述手语手势3D数据库，用于存储手语手势3D数据和与其对应的名称；还用于当接收到3D数据时，将该3D数据与已存储的手语手势3D数据进行匹配，再将匹配到的手语手势3D数据的名称发送至语音和文字库中，当接收到语音和文字数据的名称时，将该语音和文字数据的名称与已存储的手语手势3D数据的名称进行匹配，并将匹配到的手语手势3D数据的名称发送至手语手势动画数据库中；

所述语音和文字库，用于存储语音和文字数据和与其对应的名称；还用于当接收到语音数据时，将语音数据与已存储的语音和文字数据进行匹配，再将匹配到的语音和文字数据的名称发送至手语手势3D数据库中，当接收到的是手语手势3D数据的名称时，将该手语手势3D数据的名称与语音和文字数据的名称进行匹配，匹配成功后发出第一执行指令；

所述手语手势动画数据库，用于存储手语手势的动画数据和与其对应的名称；还用于当接收到手语手势的3D数据的名称后，将手语手势的3D数据的名称与手语手势的动画数据的名称进行匹配，匹配成功后发出第二执行指令。

进一步，所述的体感设备、声音输入设备、显示设备和声音输出设备均通过USB接口与手语翻译设备连接。

本发明还提供了一种基于体感技术的手语翻译平板电脑，包括了基于体感技术的手语翻译系统。手语翻译平板电脑是一台基于Android系统的大屏幕平板电脑，为系统的核心,系统软件运行在该设备上，手势转译为文字信息时，文字会显示在显示设备上，已转译的语音通过声音输出设备进行播放；语音转译为手语时，手势动画会显示在显示设备上。

本发明还提供了一种基于体感技术的手语翻译智能终端，包括了所述的基于体感技术的手语翻译系统。

进一步，所述智能终端为平板电脑、智能手机、智能手环或智能手表。

本发明还提供了一种基于体感技术的手语翻译的处理方法，包括以下步骤：

步骤S1：检测人体手势的信息，并将人体手势的信息转换成3D数据的格式；

步骤S2：接收待翻译语音，并将待翻译语音转换成语音数据的格式；

步骤S3：对数据的格式类型进行识别，如果是3D数据的格式类型时，将该3D数据转译成对应的语音和文字，并发出第一执行指令，同步执行步骤S4和步骤S5；如果是语音数据的格式类型时，将该语音数据转译对应的手语手势动画，并发出第二执行指令，执行步骤S6；

步骤S4：显示设备根据第一执行指令对已转译的文字进行显示；

步骤S5：声音输出设备根据第一执行指令对已转译的语音进行播放；

步骤S6：显示设备根据第二执行指令对已转换的手语手势动画后进行显示。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤S1的具体实现如下：

步骤S1.1：向目标人体发射红外结构光；

步骤S1.2：检测反射回来的红外结构光，并将红外结构光转换成3D数据。

进一步，所述步骤S2的具体实现如下：

步骤S2.1：根据数据格式的不同对发送来的数据的格式类型进行识别，当发送来的是3D数据的格式类型时，执行步骤S2.2，当发送来的是语音数据的格式类型时，执行步骤S2.3；

步骤S2.2：将该3D数据与已存储的手语手势3D数据进行匹配，执行步骤S2.4；

步骤S2.3：将语音数据与已存储的语音和文字数据进行匹配，执行步骤S2.5；

步骤S2.4：将匹配到的手语手势3D数据的名称与语音和文字数据的名称进行匹配，匹配成功后发出第一执行指令；

步骤S2.5：将匹配到的语音和文字数据的名称与已存储的手语手势3D数据的名称进行匹配，执行步骤S2.6；

步骤S2.6：将手语手势的3D数据的名称与手语手势的动画数据的名称进行匹配，匹配成功后发出第二执行指令。

附图说明

图1为本发明基于体感技术的手语翻译系统的原理框图；

图2为本发明基于体感技术的手语翻译的处理方法的方法流程图。

附图中，各标记所代表的部件名称如下：

1、体感设备，2、声音输入设备，3、手语翻译设备，4、显示设备，5、声音输出设备，101、红外光发射器，102、深度景象CMOS传感器，301、格式识别器，302、手语手势3D数据库，303、语音和文字数据库，304、手语手势动画数据库。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种基于体感技术的手语翻译系统，包括体感设备1、声音输入设备2、手语翻译设备3、显示设备4和声音输出设备5；

所述体感设备1，用于检测人体手势信息，并将人体手势信息转换成3D数据的格式后发送至手语翻译设备3；

所述声音输入设备2，用于接收待翻译语音，并将待翻译语音转换成语音数据的格式后发送至手语翻译设备3；

所述手语翻译设备3，用于识别发送来的数据的格式类型，当发送来的是3D数据的格式类型时，将该3D数据转译成对应的语音和文字，并发出第一执行指令；当发送来的是语音数据的格式类型时，将该语音数据转译成对应的手语手势动画，并发出第二执行指令；

所述显示设备4，用于根据第一执行指令从所述手语翻译设备3上读取已翻译的文字后进行显示，还用于根据第二执行指令从所述手语翻译设备3上读取已转换的手语手势动画后进行显示；

所述声音输出设备5，用于根据第一执行指令从所述手语翻译设备3上读取已转译的语音后进行播放。

所述声音输入设备2具体可采用麦克风设备；所述显示设备2具体可采用LED显示屏；所述声音输出设备5具体可采用喇叭设备。

所述体感设备1包括红外光发射器101和深度景象CMOS传感器102，

所述红外光发射器101，用于向目标人体发射红外结构光；

所述深度景象CMOS传感器102采用CMOS感光芯片，用于检测从目标人体反射回来的红外结构光，并将红外结构光转换成3D数据的格式后发送至手语翻译设备3。

红外光发射器发射红外结构光与传统的结构光方法不同的是，他的光源打出去的并不是一副周期性变化的二维的图像编码，该体感设备的光编码(light coding)技术使用的是连续的照明(而非脉冲)，红外光发射器的这种光源叫做激光散斑(laser speckle)，是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点，这些散斑具有高度的随机性，而且会随着距离的不同变换图案。也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光，整个空间就都被做了标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置了。深度景象CMOS传感器对反射回来的红外结构光进行标定检测，每隔一段距离，取一个参考平面，把参考平面上的散斑图案记录下来；假设人体手势是距离体感设备1米到4米的范围，每隔5cm取一个参考平面，那么标定下来我们就已经保存了60幅散斑图像。需要进行测量的时候，拍摄一副待测场景的散斑图像，将这幅图像和我们保存下来的60幅参考图像依次做互相关运算，这样我们会得到60幅相关度图像，而人体手势存在的位置，在相关度图像上就会显示出峰值。把这些峰值一层层叠在一起，再经过一些插值，就会得到手势的三维形状了，从而将红外结构光转换成3D数据。

所述手语翻译设备3包括格式识别器301、手语手势3D数据库302、语音和文字数据库303以及手语手势动画数据库304，

所述格式识别器301，用于根据数据格式的不同识别发送来的数据的格式类型，当发送来的是3D数据的格式类型时，将3D数据发送至所述手语手势3D数据库302处理，当发送来的是语音数据的格式类型时，将语音数据发送至所述语音和文字数据库303处理；

所述手语手势3D数据库302，用于存储手语手势3D数据和与其对应的名称；还用于当接收到3D数据时，将该3D数据与已存储的手语手势3D数据进行匹配，再将匹配到的手语手势3D数据的名称发送至语音和文字库303中，当接收到语音和文字数据的名称时，将该语音和文字数据的名称与已存储的手语手势3D数据的名称进行匹配，并将匹配到的手语手势3D数据的名称发送至手语手势动画数据库304中；

所述语音和文字库303，用于存储语音和文字数据和与其对应的名称；还用于当接收到语音数据时，将语音数据与已存储的语音和文字数据进行匹配，再将匹配到的语音和文字数据的名称发送至手语手势3D数据库中，当接收到的是手语手势3D数据的名称时，将该手语手势3D数据的名称与语音和文字数据的名称进行匹配，匹配成功后发出第一执行指令；

所述手语手势动画数据库304，用于存储手语手势的动画数据和与其对应的名称；还用于当接收到手语手势的3D数据的名称后，将手语手势的3D数据的名称与手语手势的动画数据的名称进行匹配，匹配成功后发出第二执行指令。

所述的体感设备1、声音输入设备2、显示设备4和声音输出设备5均通过USB接口与手语翻译设备3连接。

本发明还提供了一种基于体感技术的手语翻译智能终端，包括了所述的基于体感技术的手语翻译系统。

所述智能终端为平板电脑，手语翻译的平板电脑是一台基于Android系统的大屏幕平板电脑，以系统为核心运行在该设备上，手势转译为文字信息时，文字会显示在显示设备(如LED显示屏)上，已转译的语音通过声音输出设备(如喇叭设备)进行播放；语音转译为手语时，手势动画会显示在显示设备(如LED显示屏)上。

所述智能终端为智能手机、智能手环或智能手表。

如图2所示，一种基于体感技术的手语翻译的处理方法，包括以下步骤：

步骤S1：检测人体手势的信息，并将人体手势的信息转换成3D数据的格式；

步骤S2：接收待翻译语音，并将待翻译语音转换成语音数据的格式；

步骤S3：对数据的格式类型进行识别，如果是3D数据的格式类型时，将该3D数据转译成对应的语音和文字，并发出第一执行指令，同步执行步骤S4和步骤S5；如果是语音数据的格式类型时，将该语音数据转译对应的手语手势动画，并发出第二执行指令，执行步骤S6；

步骤S4：显示设备根据第一执行指令对已转译的文字进行显示；

步骤S5：声音输出设备根据第一执行指令对已转译的语音进行播放；

步骤S6：显示设备根据第二执行指令对已转换的手语手势动画后进行显示。

所述步骤S1的具体实现如下：

步骤S1.1：向目标人体发射红外结构光；

步骤S1.2：检测反射回来的红外结构光，并将红外结构光转换成3D数据。

所述步骤S2的具体实现如下：

步骤S2.1：根据数据格式的不同对发送来的数据的格式类型进行识别，当发送来的是3D数据的格式类型时，执行步骤S2.2，当发送来的是语音数据的格式类型时，执行步骤S2.3；

步骤S2.2：将该3D数据与已存储的手语手势3D数据进行匹配，执行步骤S2.4；

步骤S2.3：将语音数据与已存储的语音和文字数据进行匹配，执行步骤S2.5；

步骤S2.4：将匹配到的手语手势3D数据的名称与语音和文字数据的名称进行匹配，匹配成功后发出第一执行指令；

步骤S2.5：将匹配到的语音和文字数据的名称与已存储的手语手势3D数据的名称进行匹配，执行步骤S2.6；

步骤S2.6：将手语手势的3D数据的名称与手语手势的动画数据的名称进行匹配，匹配成功后发出第二执行指令。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于体感技术的手语翻译系统，其特征在于，包括体感设备(1)、声音输入设备(2)、手语翻译设备(3)、显示设备(4)和声音输出设备(5)；

所述体感设备(1)，用于检测人体手势信息，并将人体手势信息转换成3D数据的格式后发送至手语翻译设备(3)；

所述声音输入设备(2)，用于接收待翻译语音，并将待翻译语音转换成语音数据的格式后发送至手语翻译设备(3)；

所述手语翻译设备(3)，用于识别发送来的数据的格式类型，当发送来的是3D数据的格式类型时，将该3D数据转译成对应的语音和文字，并发出第一执行指令；当发送来的是语音数据的格式类型时，将该语音数据转译成对应的手语手势动画，并发出第二执行指令；

所述显示设备(4)，用于根据第一执行指令从所述手语翻译设备(3)上读取已翻译的文字后进行显示，还用于根据第二执行指令从所述手语翻译设备(3)上读取已转换的手语手势动画后进行显示；

所述声音输出设备(5)，用于根据第一执行指令从所述手语翻译设备(3)上读取已转译的语音后进行播放。

2.根据权利要求1所述的基于体感技术的手语翻译系统，其特征在于，所述体感设备(1)包括红外光发射器(101)和深度景象CMOS传感器(102)，

所述红外光发射器(101)，用于向目标人体发射红外结构光；

所述深度景象CMOS传感器(102)采用CMOS感光芯片，用于检测从目标人体反射回来的红外结构光，并将红外结构光转换成3D数据的格式后发送至手语翻译设备(3)。

3.根据权利要求1所述的基于体感技术的手语翻译系统，其特征在于，所述手语翻译设备(3)包括格式识别器(301)、手语手势3D数据库(302)、语音和文字数据库(303)以及手语手势动画数据库(304)，

所述格式识别器(301)，用于根据数据格式的不同识别发送来的数据的格式类型，当发送来的是3D数据的格式类型时，将3D数据发送至所述手语手势3D数据库(302)处理，当发送来的是语音数据的格式类型时，将语音数据发送至所述语音和文字数据库(303)处理；

所述手语手势3D数据库(302)，用于存储手语手势3D数据和与其对应的名称；还用于当接收到3D数据时，将该3D数据与已存储的手语手势3D数据进行匹配，再将匹配到的手语手势3D数据的名称发送至语音和文字库(303)中，当接收到语音和文字数据的名称时，将该语音和文字数据的名称与已存储的手语手势3D数据的名称进行匹配，并将匹配到的手语手势3D数据的名称发送至手语手势动画数据库(304)中；

所述语音和文字库(303)，用于存储语音和文字数据和与其对应的名称；还用于当接收到语音数据时，将语音数据与已存储的语音和文字数据进行匹配，再将匹配到的语音和文字数据的名称发送至手语手势3D数据库中，当接收到的是手语手势3D数据的名称时，将该手语手势3D数据的名称与语音和文字数据的名称进行匹配，匹配成功后发出第一执行指令；

所述手语手势动画数据库(304)，用于存储手语手势的动画数据和与其对应的名称；还用于当接收到手语手势的3D数据的名称后，将手语手势的3D数据的名称与手语手势的动画数据的名称进行匹配，匹配成功后发出第二执行指令。

4.根据权利要求1所述的基于体感技术的手语翻译系统，其特征在于，所述的体感设备(1)、声音输入设备(2)、显示设备(4)和声音输出设备(5)均通过USB接口与手语翻译设备(3)连接。

5.一种基于体感技术的手语翻译智能终端，其特征在于，包括如权利要求1-4任一项所述的基于体感技术的手语翻译系统。

6.根据权利要求5所述的基于体感技术的手语翻译智能终端，其特征在于，所述智能终端为平板电脑、智能手机、智能手环或智能手表。

7.一种基于体感技术的手语翻译的处理方法，其特征在于，包括以下步骤：

步骤S1：检测人体手势的信息，并将人体手势的信息转换成3D数据的格式；

步骤S2：接收待翻译语音，并将待翻译语音转换成语音数据的格式；

步骤S3：对数据的格式类型进行识别，如果是3D数据的格式类型时，将该3D数据转译成对应的语音和文字，并发出第一执行指令，同步执行步骤S4和步骤S5；如果是语音数据的格式类型时，将该语音数据转译对应的手语手势动画，并发出第二执行指令，执行步骤S6；

步骤S4：显示设备根据第一执行指令对已转译的文字进行显示；

步骤S5：声音输出设备根据第一执行指令对已转译的语音进行播放；

步骤S6：显示设备根据第二执行指令对已转换的手语手势动画后进行显示。

8.根据权利要求6所述的基于体感技术的手语翻译的处理方法，其特征在于，所述步骤S1的具体实现如下：

步骤S1.1：向目标人体发射红外结构光；

步骤S1.2：检测反射回来的红外结构光，并将红外结构光转换成3D数据。

9.根据权利要求6所述的基于体感技术的手语翻译的处理方法，其特征在于，所述步骤S2的具体实现如下：

步骤S2.1：根据数据格式的不同对发送来的数据的格式类型进行识别，当发送来的是3D数据的格式类型时，执行步骤S2.2，当发送来的是语音数据的格式类型时，执行步骤S2.3；

步骤S2.2：将该3D数据与已存储的手语手势3D数据进行匹配，执行步骤S2.4；

步骤S2.3：将语音数据与已存储的语音和文字数据进行匹配，执行步骤S2.5；

步骤S2.4：将匹配到的手语手势3D数据的名称与语音和文字数据的名称进行匹配，匹配成功后发出第一执行指令；

步骤S2.5：将匹配到的语音和文字数据的名称与已存储的手语手势3D数据的名称进行匹配，执行步骤S2.6；

步骤S2.6：将手语手势的3D数据的名称与手语手势的动画数据的名称进行匹配，匹配成功后发出第二执行指令。