CN107223277A - 一种聋哑人辅助方法、装置以及电子设备 - Google Patents

Abstract

本发明的实施例提供一种聋哑人辅助方法、装置以及电子设备，涉及智能装置技术领域，用于辅助聋哑人方便、快捷的感知声音，该方法包括：接收声音；对声音进行识别并根据识别结果将声音转换为显示信号；在显示信号的驱动下进行显示。本发明实施例用于聋哑人的辅助。

Description

一种聋哑人辅助方法、装置以及电子设备

技术领域

本发明涉及智能装置技术领域，尤其涉及一种聋哑人辅助方法、装置以及电子设备。

背景技术

听觉是人类感知世界的一种重要方式。人类通过听觉可以实现人与人之间的思想与感情的传递和反馈、躲避环境中的危险状况等。

调查显示，听力语言残疾人数居视力残疾、肢残、肢残等五大残疾人数之首，仅中国听力语言残疾人数就有2000万左右，并且其中包括许多七岁以下的儿童。听力语言残疾人群由于听力语言能力的缺陷，造成生活中存在非常多的障碍，因此听力语言残疾人群是亟需帮助的。目前，常见的听力常见的聋哑人辅助设备包括：助听器或人工耳蜗，这些设备对很多聋哑人都有帮助，但同时也存在一定的局限性。一方面，不同残疾程度对助听器或人工耳蜗的设备参数要求不同，用户在选择相应产品时需要复杂的甄选过程。另一方面，对于听力在语前已完全丧失且成年人，即使通过人工耳蜗植入等方式使其恢复听觉，也不是恢复听觉后就能听懂说话，而是要进行语言训练，而且由于错过了最佳语言学习期，语言训练效果往往不理想，导致交流时仍存在较大的障碍。综上，现有技术中的聋哑人辅助设备一定的局限性，如何辅助聋哑人方便、快捷的感知声音仍是本领域技术人员不断研究的问题。

发明内容

本发明的实施例提供一种聋哑人辅助方法、装置以及电子设备，主要用于辅助聋哑人方便、快捷的感知声音。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供一种聋哑人辅助方法，包括：

接收声音；

对所述声音进行识别并根据识别结果将所述声音转换为显示信号；

在所述显示信号的驱动下进行显示。

第二方面，提供一种交流辅助装置，包括：

接收单元，用于接收声音；

转换单元，用于对所述声音进行识别并根据识别结果将所述声音转换为显示信号；

显示单元，用于在所述显示信号的驱动下进行显示。

第三方面，提供一种电子设备，包括：声音采集设备、显示设备、存储器和处理器，声音采集设备、显示设备和存储器耦合至所述处理器；所述存储器用于存储计算机执行代码，所述计算机执行代码用于控制所述处理器执行第一方面所述的聋哑人辅助方法。

第四方面，提供一种存储介质，其特征在于，用于储存为第二方面所述的交流辅助装置所用的计算机软件指令，其包含执行第一方面所述的聋哑人辅助方法所设计的程序代码。

第五方面，提供一种计算机程序产品，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够实现第一方面所述的聋哑人辅助方法。

本发明的实施例提供的聋哑人辅助方法，首先接收声音，然后对接收到的声音行识别并根据识别结果将声音转换为显示信号，最后在显示信号的驱动下进行显示，由于本发明实施例提供的聋哑人辅助方法可以将接收到的声音转换为显示信号，并将在显示信号的驱动下进行显示，即可以将接收到的听觉信号转换成视觉信号，进而使聋哑人通过视觉看到与声音对应的显示内容，因此通过本发明实施例提供的聋哑人辅助方法可以辅助聋哑人感知声音。此外，相比于现有技术中的聋哑人辅助设备，本发明实施例提供的聋哑人辅助方法无需复杂的甄选过程，也无需进行语言训练，因此相比于现有技术本发明实施例提供的聋哑人辅助方法可以辅助聋哑人方便、快捷的感知声音。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的实施例提供的聋哑人辅助方法的步骤流程图之一；

图2为本发明的实施例提供的聋哑人辅助方法的步骤流程图之二；

图3为本发明的实施例提供的聋哑人辅助方法的步骤流程图之三；

图4为本发明的实施例提供的声音方位与显示位置的对应关系的示意图；

图5为本发明的实施例提供的聋哑人辅助方法的步骤流程图之四；

图6为本发明的实施例提供的聋哑人辅助装置的示意性结构图之一；

图7为本发明的实施例提供的聋哑人辅助装置的示意性结构图之二；

图8为本发明的实施例提供的聋哑人辅助装置的示意性结构图之三；

图9为本发明的实施例提供的电子设备的示意性结构图。

具体实施方式

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。如果不加说明，本文中的“多个”是指两个或两个以上。

需要说明的是，本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

需要说明的是，本发明实施例中，除非另有说明，“多个”的含义是指两个或两个以上。

需要说明的是，本发明实施例中，“的(英文：of)”，“相应的(英文：corresponding，relevant)”和“对应的(英文：corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。

下面将结合本发明实施例的说明书附图，对本发明实施例提供的技术方案进行说明。显然，所描述的是本发明的一部分实施例，而不是全部的实施例。需要说明的是，下文所提供的任意多个技术方案中的部分或全部技术特征在不冲突的情况下，可以结合使用，形成新的技术方案。

本发明实施例所提供的技术方案的基本原理为：对接收到的声音进行识别，将接收到的声音转换为显示信号并在显示信号的驱动下将声音对应的内容显示出来，从而使聋哑人通过观看与声音对应的视觉信息感知声音。

本发明实施例提供的聋哑人辅助方法的执行主体可以为聋哑人辅助装置或者可以用于执行聋哑人辅助方法的电子设备。其中，聋哑人辅助装置可以为上述电子设备中的中央处理器(Central Processing Unit，CPU)、CPU与存储器等硬件的组合、或者可以为上述电子设备中的其他控制单元或者模块。

示例性的，上述电子设备可以为采用本发明实施例提供的方法进行聋哑人辅助的手机、增强现实眼镜(简称：AR眼镜)、个人计算机((personal computer，PC)、上网本、个人数字助理(英文：Personal Digital Assistant，简称：PDA)、服务器等，或者上述电子设备可以为安装有可以进行聋哑人辅助的软件客户端或软件系统或软件应用的PC、服务器等，具体的硬件实现环境可以通用计算机形式，或者是ASIC的方式，也可以是FPGA，或者是一些可编程的扩展平台例如Tensilica的Xtensa平台等等。

基于上述内容，本发明的实施例提供一种聋哑人辅助方法，具体的参照图1所示，该聋哑人辅助方法包括如下步骤：

S11、接收声音。

具体的，上述实施例中的声音可以为他人与用户进行交流时发出的说话声音、广播发出的说话声音等；也可以为环境中的声音，例如：汽车鸣笛的声音、狗叫的声音、打雷的声音等。

此外，上述步骤S11中具体可以通过麦克风(英文名称：microphone，简称：Mic)、Mic阵列等声音感应装置来对声音进行接收。

S12、对声音进行识别并根据识别结果将声音转换为显示信号。

具体的，上述实施例中对声音进行识别并根据识别结果将声音转换为显示信号的过程可以在聋哑人辅助装置内部完成，也可以通过远程服务设备协助完成。

当对声音进行识别并根据识别结果将声音转换为显示信号的过程在聋哑人辅助装置内部完成时，步骤S12具体可以通过如下步骤实现：a、通过内部的声音处理装置对声音进行识别，b根据声音处理装置的识别结果将声音转换为对应的显示信号。

当对声音进行识别并根据识别结果将声音转换为显示信号的过程通过远程服务设备协助完成时，步骤S12具体可以通过如下步骤实现：c、将声音发送至远端服务器，以便与端服务器对声音进行识别并根据识别结果将声音转换为显示信号。d、接收远端服务器发送的显示信号。示例性的，远端服务设备可以为云端服务器等。

可选的，上述步骤S12中将声音转换为显示信号具体可以为：将声音转换为用于显示文字的显示信号、用于显示标识的显示信号、用于显示动态画面的显示信号中的至少一种。

示例性的，当接收到的声音为与用户面对面进行交流的人发出的语音时，可以将接收到的声音转换成用于显示文字的显示信号。再例如：当接收到的声音为狗叫声时，可以将接收到的声音转换成用于显示狗的卡通画等标识的显示信号。再例如：当接收到的声音为汽车行走时发出的声音时，可以将接收到的声音转换为用于显示汽车行走的动态画面的显示信号。此外，上述实施例中还可以通过多种方式的组合来更加清楚的通过视觉信息表现接收到的声音。例如：当接收到的声音为汽车行走时发出的声音时，可以将接收到的声音转换为用于显示汽车行走的动态画面以及汽车标识的显示信号。当然，在上述实施例基础上本领域技还可能想到将接收到的声音转换为其他类型的显示信号，但这都属于本发明实施例的合理变通方案，因此均应属于本发明实施例的保护范围之内。

S13、在显示信号的驱动下进行显示。

上述对视觉信息进行显示的具体显示方式可以基于本发明实施例提供的聋哑人辅助方法的执行主体来选择。例如：当上述实施例提供的聋哑人辅助方法的执行主体为手机时，在显示信号的驱动下进行显示可以为通过显示信号驱动手机屏幕进行显示，再例如：当上述实施例提供的聋哑人辅助方法的执行主体为AR眼镜时，对视觉信息进行显示可以为通过显示信号驱动投影显示装置将显示内容投影在AR眼镜的镜片上进行显示。

本发明的实施例提供的聋哑人辅助方法，首先接收声音，然后对接收到的声音行识别并根据识别结果将声音转换为显示信号，最后在显示信号的驱动下进行显示，由于本发明实施例提供的聋哑人辅助方法可以将接收到的声音转换为显示信号，并将在显示信号的驱动下进行显示，即可以将接收到的听觉信号转换成视觉信号，进而使聋哑人通过视觉看到与声音对应的显示内容，因此通过本发明实施例提供的聋哑人辅助方法可以辅助聋哑人感知声音。此外，相比于现有技术中的聋哑人辅助设备，本发明实施例提供的聋哑人辅助方法无需复杂的甄选过程，也无需进行语言训练，因此相比于现有技术本发明实施例提供的聋哑人辅助方法可以辅助聋哑人方便、快捷的感知声音。

可选的，参照图2所示，上述步骤S12中对声音进行识别并根据识别结果将声音转换为显示信号，具体可以通过如下步骤实现：

S121、对声音的种类进行识别。

在步骤S121中，若通过对声音的种类进行识别后确定声音为说话声时，执行步骤S122；和/或，若通过对声音的种类进行识别后确定声音为环境声时，执行步骤S123。即，本发明实施例中的步骤S122和步骤S123可以均执行，也可以择一执行。

需要说明的是，本发明实施例中的说话声一般是指人类在交谈、演讲、播报新闻等时发出的声音。此外，在一些情况下，说话声也可能会经过处理后被接收到，例如：在演讲时将演讲者发出的声音经过放大后输出并被接收到。虽然此类声音并不是人类直接发出的说话声，但此类声音也属于本发明实施例中的说话声。

还需要说明的是，本发明实施例中的环境声音是区别于说话声的其他声音，即将接收到的声音分为说话声和环境声。具体的，环境声可以为：汽车鸣笛的声音、狗叫的声音、打雷的声音、环境中的噪声等。

S122、识别说话声的内容，根据说话声的内容将说话声转换为用于驱动显示文字的显示信号。

可选的，上述实施例中识别说话声的内容具体可以通过如下步骤实现：e、通过语种类型识别技术判断接收到声音的语种类型，例如：将接收到的声音识别为中文、英文、法文等。f、根据接收到声音的语种类型与具体接收到的声音识别说话内容。即，当接收到的声音为说话声时，可以先识别说话声的语种类型再识别说话的具体内容。

由于说话内容往往比较复杂，通过标识、动态画面等方法很难清楚的对应说话内容进行显示，因此在本发明实施中，当声音为说话声时，将根据说话声的内容将声音转为文字，从而更加清楚的显示出接收到的说话声的内容。

S123、识别环境声的类别，根据环境声的类别将环境声转换为用于驱动显示标识的显示信号。

示例性的，上述实施例中的标识具体可以为：狗的卡通画、汽车的卡通画、危险标识、雷电标识等。

进一步的，上述实施例提供的聋哑人辅助方法可以辅助聋哑人感知说话声音以及环境中的各种声音，但是当用户处于嘈杂的环境中接受到说话声时，接收到的说话声中可能包含有环境中的噪音，进而可能会造成说话声的内容识别不准确。针对上述问题本发明实施例提供了一种聋哑人辅助方法，具体的，参照图3所示，在图2所示聋哑人辅助方的基础上本发明实施例提供的聋哑人辅助方法还进一步包括：

S31、获取相对人的图像。

其中，相对人为发出说话声的人。

具体的，可以通过单目摄像头、双目摄像头、深度摄像头、图像传感器等的一种或多种来获取相对人的图像。本发明实施例中可以采用任一种图像采集装置还获取相对人的图像，本发明实施例中对获取相对人的图像的方式不作限定，以能够获取相对人的图像为准。此外，示例性的，相对人的图像可以为相对人说话时的动态画面。

S32、根据相对人的图像获取相对人的嘴唇动作。

上述步骤S122中根据所述说话声的内容将所述说话声转换为用于驱动显示文字的显示信号，可以通过步骤S33所提供的实现方式来实现。

S33、根据所述说话声的内容和所述相对人的嘴唇动作将所述说话声转换为用于驱动显示文字的显示信号。

上述实施例中通过进一步获取获取相对人的图像，对相对人的图像进行识别获取相对人的嘴唇动作，然后在声音为说话声时，识别说话声的内容，以及根据说话声的内容和相对人的嘴唇动作将说话声的内容转换为与文字对应的显示信号，由于通过唇语识别技术可以根据相对人的嘴唇动作解读部分相对人说的话，因此可以提高转换的准确性。

进一步的，上述实施例提供的聋哑人辅助方法还包括：

获取声音的方位；

上述步骤S13中在所述显示信号的驱动下进行显示具体可以通过如下实现方式来实现：根据所述声音的方位在所述显示信号的驱动下在显示界面的相应位置上进行显示。

示例性的，参照图4所示，当声音所在方为位于用户后方F1时，将与声音对应的显示内容41在显示界面40的下方；当声音所在方为位于用户前方F2时，将与声音对应的显示内容42显示在显示界面40的上方；当声音所在方为位于用户左侧F3时，将与声音对应的显示内容43显示在显示界面40的左侧；当声音所在方为位于用户右侧F4时，将与声音对应的显示内容44显示在显示界面40的右侧。

根据声音的方位将显示内容在显示界面的相应位置上进行显示，可以进一步使用户了解到声音产生的方位，进而可以辅助聋哑人更加全面的对声音进行感知。

聋哑人可以通过手语与正常人进行交流、沟通，但当聋哑人面对一些对手语不了解的人时，交流、沟通将无法进行。针对上述问题，本发明实施例进一步提供了一种聋哑人辅助方法，具体的，参照图5所示，本发明实施例提供的聋哑人辅助方法包括：

S51、检测用户的手部动作。

可选的，检测用户的手部动作具体可以为：通过单目摄像头、双目摄像头、深度摄像头、图像传感器等的一种或多种来获取用户的动态画面，进而根据用户的动态画面获取用户的手部动作。此外，检测用户的手部动作还可以通过手部穿戴设备，检测用户手部的加速度、旋转角度等运动参数，并根据运动参数来获取用户的手部动作。其中，手部穿戴设备可以为：指环、腕带、数据手套等。

S52、对用户的手部动作进行识别并根据识别结果将用户的手部动作转换为语音。

同样，上述实施例中对用户的手部动作进行识别并根据识别结果将用户的手部动作转换为语音的过程可以在聋哑人辅助装置内部完成，也可以通过远程服务设备协助完成。

当对用户的手部动作进行识别并根据识别结果将用户的手部动作转换为语音的过程在聋哑人辅助装置内部完成时，步骤S52具体可以通过如下步骤实现：A、通过聋哑人辅助装置内部的图像处理装置对用户的手部动作进行识别。B根据图像处理装置的识别结果将用户的手部动作转换为对应的语音。

当对图像进行识别并根据识别结果将图像转换为声音信息的过程通过远程服务设备协助完成时，步骤S52具体可以通过如下步骤实现：C、将图像发送至远端服务器，以便远端服务器对用户的手部动作进行识别并根据识别结果将用户的手部动作转换为语音。D、接收远端服务器发送的语音。示例性的，远端服务设备可以为云端服务器等。

S53、对语音进行播报。

具体的，可以通过语音合成技术将手势表达的手语内容转换为语音，并通过扬声器(英文名称：Speaker)将语音播报出来。

上述实施例中可以将手语内容转换成语音并播报出来，所以可以使不了解手语的人通过播报出来的语音获知手语聋哑人通手语所表达的内容，进而进一步辅助聋哑人进行沟通。

下面说明本发明实施例提供的与上文所提供的方法实施例相对应的装置实施例。需要说明的是，下述装置实施例中相关内容的解释，均可以参考上述方法实施例。

在采用对应各个功能划分各个功能模块的情况下，图6示出了上述实施例中所涉及的聋哑人辅助装置的一种可能的结构示意图。参照图6所示，聋哑人辅助装置包括：

接收单元61，用于接收声音；

转换单元62，用于对声音进行识别并根据识别结果将声音转换为显示信号；

显示单元63，用于在显示信号的驱动下进行显示。

本发明实施例提供的聋哑人辅助装置包括：接收单元、转换单元以及显示单元，其中，接收单元用于接收声音，转换单元用于对声音进行识别并根据识别结果将声音转换为显示信号，显示单元用于在显示信号的驱动下进行显示，所以本发明实施例提供的聋哑人辅助装置可以将接收到的听觉信号转换成视觉信号，进而使聋哑人通过视觉看到与声音对应的显示内容，因此通过本发明实施例提供的聋哑人辅助装置可以辅助聋哑人感知声音。此外，相比于现有技术中的聋哑人辅助设备，本发明实施例提供的聋哑人辅助装置无需复杂的甄选过程，也无需进行语言训练，因此相比于现有技术本发明实施例提供的聋哑人辅助装置可以辅助聋哑人方便、快捷的感知声音。

可选的，转换单元62具体用于对声音的种类进行识别；

转换单元62具体用于当声音为说话声时，识别说话声的内容，根据说话声的内容将说话声转换为用于驱动显示文字的显示信号；和/或当声音为环境声时，识别环境声的类别，根据环境声的类别将环境声转换为用于驱动显示标识的显示信号。

可选的，接收单元61还用于获取相对人的图像；其中，相对人为发出说话声的人；

转换单元62还用于根据相对人的图像获取相对人的嘴唇动作；

所述转换单元62具体用于根据所述说话声的内容和所述相对人的嘴唇动作将所述说话声转换为用于驱动显示文字的显示信号。

可选的，接收单元61还用于获取声音的方位；

所述显示单元63还用于根据所述声音的方位在所述显示信号的驱动下在显示界面的相应位置上进行显示。

可选的，参照图7所示，转换单元62包括：发送模块71和接收模块72；

发送模块71用于将声音发送至远端服务器，以便与端服务器对声音进行识别并根据识别结果将声音转换为显示信号；

接收模块72用于接收远端服务器发送的显示信号。

可选的，参照图8所示，聋哑人辅助装置600还包括：语音播报单元64；

接收单元61还用于检测用户的手部动作；

识别单元62还用于对用户的手部动作进行识别并根据识别结果将用户的手部动作转换为语音；

语音播报单元64用于对语音进行播报。

即，接收单元61用于实现上述聋哑人辅助方法中的接收声音、获取相对人的图像以及获取声音的方位的步骤；识别单元62用于实现上述聋哑人辅助方法中的对声音进行识别并根据识别结果将声音转换为显示信号、对声音的种类进行识别、识别说话声的内容，根据说话声的内容将说话声转换为用于驱动显示文字的显示信号、识别环境声的类别，根据环境声的类别将环境声转换为用于驱动显示标识的显示信号、根据相对人的图像获取相对人的嘴唇动作、根据说话声的内容和相对人的嘴唇动作将说话声的内容转换为与文字对应的显示信号以及对用户的手部动作进行识别并根据识别结果将用户的手部动作转换为语音的步骤；发送模块71用于实现上述聋哑人辅助方法中的将声音发送至远端服务器的步骤；发送模块72用于实现上述聋哑人辅助方法中的接收远端服务器发送的显示信号的步骤；显示单元63用于实现上述聋哑人辅助方法中的在显示信号的驱动下进行显示和根据环境声的方位将标识显示在显示界面的相应位置的步骤，语音播报单元64用于实现上述聋哑人辅助方法中的对语音进行播报的步骤。

还需说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

在硬件实现上，上述的接收单元61可以是Mic、Mic阵列、摄像头、图像传感器、超声波检测装置、红外摄像头等中的一种或多种。识别单元62可以处理器或者收发机；显示单元63可以是显示屏、激光投影显示装置；语音播报单元64可以是扬声器等。上述聋哑人辅助装置所执行的动作所对应的程序均可以以软件形式存储于聋哑人辅助装置的存储器中，以便于处理器调用执行以上各个单元对应的操作。

在采用集成的单元的情况下，图9示出了包括上述实施例中所涉及的聋哑人辅助装置的电子设备的可能的结构示意图。电子设备900包括：处理器91、存储器92、系统总线93、通信接口94、声音采集设备95、显示设备96。

上述处理器91可以是一个处理器，也可以是多个处理元件的统称。例如，处理器91可以为中央处理器(central processing unit，CPU)。处理器91也可以为其他通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(applicationspecific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。处理器91还可以为专用处理器，该专用处理器可以包括基带处理芯片、射频处理芯片等中的至少一个。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。进一步地，该专用处理器还可以包括具有该装置其他专用处理功能的芯片。

存储器92用于存储计算机执行代码，处理器91与存储器92通过系统总线93连接，当电子设备运行时，处理器91用于执行存储器92存储的计算机执行代码，以执行本发明实施例提供的任意一种聋哑人辅助方法，如，处理器91用于支持电子设备执行图1所示的步骤S12、图2所示的步骤S121、S122、123、图3所示的步骤S32、S33以及图5所示的步骤S52，和/或用于本文所描述的技术的其它过程，具体的聋哑人辅助方法可参考上文及附图中的相关描述，此处不再赘述。

系统总线93可以包括数据总线、电源总线、控制总线和信号状态总线等。本实施例中为了清楚说明，在图9中将各种总线都示意为系统总线93。

通信接口94具体可以是该装置上的收发器。该收发器可以为无线收发器。例如，无线收发器可以是该装置的天线等。处理器91通过通信接口94与其他设备，例如，若该装置为该电子设备中的一个模块或组件时，该装置用于与该电子设备中的其他模块之间进行数据交互。

结合本发明公开内容所描述的方法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。本发明实施例还提供一种存储介质，用于储存为图9所示的电子设备所用的计算机软件指令，其包含执行上述任一实施例提供的聋哑人辅助方法所设计的程序代码。其中，软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(英文：random access memory，缩写：RAM)、闪存、只读存储器(英文：read onlymemory，缩写：ROM)、可擦除可编程只读存储器(英文：erasable programmable ROM，缩写：EPROM)、电可擦可编程只读存储器(英文：electrically EPROM，缩写：EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于核心网接口设备中。当然，处理器和存储介质也可以作为分立组件存在于核心网接口设备中。

本发明实施例还提供一种计算机程序产品，该计算机程序可直接加载到计算机的内部存储器中，并含有软件代码，计算机程序经由计算机载入并执行后能够实现上述任一实施例提供的聋哑人辅助方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种聋哑人辅助方法，其特征在于，包括：

接收声音；

对所述声音进行识别并根据识别结果将所述声音转换为显示信号；

在所述显示信号的驱动下进行显示。

2.根据权利要求1所述的方法，其特征在于，所述对所述声音进行识别并根据识别结果将所述声音转换为显示信号，包括：

对所述声音的种类进行识别；

当所述声音为说话声时，识别所述说话声的内容，根据所述说话声的内容将所述说话声转换为用于驱动显示文字的显示信号；和/或，当所述声音为环境声时，识别所述环境声的类别，根据所述环境声的类别将所述环境声转换为用于驱动显示标识的显示信号。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取相对人的图像；其中，所述相对人为发出说话声的人；

根据所述相对人的图像获取所述相对人的嘴唇动作；

所述根据所述说话声的内容将所述说话声转换为用于驱动显示文字的显示信号,包括：

根据所述说话声的内容和所述相对人的嘴唇动作将所述说话声转换为用于驱动显示文字的显示信号。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述声音的方位；

所述在所述显示信号的驱动下进行显示，包括：

根据所述声音的方位在所述显示信号的驱动下在显示界面的相应位置上进行显示。

5.根据权利要求1所述的方法，其特征在于，所述对所述声音进行识别并根据识别结果将所述声音转换为显示信号包括：

将所述声音发送至远端服务器，以便所述与端服务器对所述声音进行识别并根据识别结果将所述声音转换为显示信号；

接收所述远端服务器发送的显示信号。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

检测用户的手部动作；

对所述用户的手部动作进行识别并根据识别结果将所述用户的手部动作转换为语音；

对所述语音进行播报。

7.一种聋哑人辅助装置，其特征在于，包括：

接收单元，用于接收声音；

转换单元，用于对所述声音进行识别并根据识别结果将所述声音转换为显示信号；

显示单元，用于在所述显示信号的驱动下进行显示。

8.根据权利要求7所述的装置，其特征在于，

所述转换单元具体用于对所述声音的种类进行识别；

所述转换单元具体用于当所述声音为说话声时，识别所述说话声的内容，根据所述说话声的内容将所述说话声转换为用于驱动显示文字的显示信号；和/或，当所述声音为环境声时，识别所述环境声的类别，根据所述环境声的类别将所述环境声转换为用于驱动显示标识的显示信号。

9.根据权利要求8所述的装置，其特征在于，所述接收单元还用于获取相对人的图像；其中，所述相对人为发出说话声的人；

所述转换单元还用于根据所述相对人的图像获取所述相对人的嘴唇动作；

所述转换单元具体用于根据所述说话声的内容和所述相对人的嘴唇动作将所述说话声转换为用于驱动显示文字的显示信号。

10.根据权利要求7所述的装置，其特征在于，

所述接收单元还用于获取所述声音的方位；

所述显示单元还用于根据所述声音的方位在所述显示信号的驱动下在显示界面的相应位置上进行显示。

11.根据权利要求7所述的装置，其特征在于，所述转换单元包括：发送模块和接收模块；

所述发送模块用于将所述所述声音发送至远端服务器，以便所述与端服务器对所述声音进行识别并根据识别结果将所述声音转换为显示信号；

所述接收模块用于接收所述远端服务器发送的显示信号。

12.根据权利要求7所述的装置，其特征在于，所述装置还包括：语音播报单元；

所述接收单元还用于检测用户的手部动作；

所述识别单元还用于对所述用户的手部动作进行识别并根据识别结果将所述用户的手部动作转换为语音；

所述语音播报单元用于对所述语音进行播报。

13.一种电子设备，其特征在于，包括：声音采集设备、显示设备、存储器和处理器，声音采集设备、显示设备和存储器耦合至所述处理器；所述存储器用于存储计算机执行代码，所述计算机执行代码用于控制所述处理器执行权利要求1-6任一项所述的聋哑人辅助方法。

14.一种存储介质，其特征在于，用于储存为权利要求7-12任一项所述的交流辅助装置所用的计算机软件指令，其包含执行权利要求1-6任一项所述的聋哑人辅助方法所设计的程序代码。

15.一种计算机程序产品，其特征在于，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够实现权利要求1-6任一项所述的聋哑人辅助方法。