CN114285939A - 一种用于聋哑人的专用通信终端及其通信交流方法 - Google Patents
一种用于聋哑人的专用通信终端及其通信交流方法 Download PDFInfo
- Publication number
- CN114285939A CN114285939A CN202111615679.1A CN202111615679A CN114285939A CN 114285939 A CN114285939 A CN 114285939A CN 202111615679 A CN202111615679 A CN 202111615679A CN 114285939 A CN114285939 A CN 114285939A
- Authority
- CN
- China
- Prior art keywords
- voice
- communication terminal
- main processor
- special communication
- special
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006854 communication Effects 0.000 title claims abstract description 199
- 238000004891 communication Methods 0.000 title claims abstract description 198
- 206010011878 Deafness Diseases 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000010295 mobile communication Methods 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 230000015572 biosynthetic process Effects 0.000 claims description 51
- 238000003786 synthesis reaction Methods 0.000 claims description 51
- 239000011521 glass Substances 0.000 claims description 36
- 230000010365 information processing Effects 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Telephone Function (AREA)
Abstract
本发明提供了一种用于聋哑人的专用通信终端，包括主处理器、WIFI模块、BT模块、BLE模块、触摸显示模组、存储器、麦克风阵列、对应编码电路、电池、电源管理单元、模拟开关电路、麦克风、音频数模转换电路、喇叭和移动通信单元，所述WIFI模块、BT模块、BLE模块、触摸显示模组、存储器、对应编码电路、电源管理单元、音频数模转换电路、喇叭和移动通信单元分别与所述主处理器连接，所述麦克风阵列与所述对应编码电路连接，所述麦克风、音频数模转换电路分别与所述模拟开关电路连接。本发明还提供了一种用于聋哑人的专用通信终端的通信交流方法。本发明的有益效果是：对于远程通信，聋哑人可以无障碍的跟正常人进行语音通信和交流。
Description
技术领域
本发明涉及通信终端，尤其涉及一种用于聋哑人的专用通信终端及其通信交流方法。
背景技术
一直以来，某些特殊人群如聋哑人、听力障碍人群等，因为自身身体的局限，跟人通信或者交流的时候，只能通过文字进行，极大的限制了通信和交流的效率和体验。
发明内容
为了解决现有技术中的问题，本发明提供了一种用于聋哑人的专用通信终端及其通信交流方法。
本发明提供了一种用于聋哑人的专用通信终端，包括主处理器、WIFI模块、BT模块、BLE模块、触摸显示模组、存储器、麦克风阵列、对应编码电路、电池、电源管理单元、模拟开关电路、麦克风、音频数模转换电路、喇叭和移动通信单元，所述WIFI模块、BT模块、BLE模块、触摸显示模组、存储器、对应编码电路、电源管理单元、音频数模转换电路、喇叭和移动通信单元分别与所述主处理器连接，所述麦克风阵列与所述对应编码电路连接，所述麦克风、音频数模转换电路分别与所述模拟开关电路连接，所述模拟开关电路与所述电源管理单元连接。
本发明还提供了一种用于聋哑人的专用通信终端的通信交流方法，基于所述的用于聋哑人的专用通信终端进行面对面交流或者通话交流。
作为本发明的进一步改进，当所述的用于聋哑人的专用通信终端独立工作时，如果用户接通来电，则进行以下过程：
1）、接通云端语音、语义识别服务器或者启动本地语音、语义识别应用算法；
2）、接通语音合成处理服务器的通道或者启动本地语音合成应用算法；
3）、把模拟开关电路切换到音频数模转换电路，所述音频数模转换电路、模拟开关电路和电源管理单元构成了麦克风语音旁路电路；
4）、接通通话。
作为本发明的进一步改进，在通话时，进行以下过程：
下行语音的处理流程如下：
（1）、专用通信终端的主处理器从移动通信单元接收到下行语音；
（2）、专用通信终端的主处理器把收到的下行语音传送到云端语音、语义识别服务器或者本地语音、语义识别应用算法对应的接口，进行语音、语义识别，得到文字识别结果；
（3）、专用通信终端的主处理器接收文字识别结果；
（4）、专用通信终端的主处理器把文字识别结果送到触摸显示模组上显示；
上行语音的处理流程如下：
（1）、用户通过触摸显示模组上输入文字信息；
（2）、专用通信终端的主处理器收到输入的文字信息后，把文字信息送到语音合成处理服务器或者本地语音合成应用算法的接口，进行语音合成，得到语音数据，并把合成的语音数据送到麦克风语音旁路电路；
（3）、专用通信终端的麦克风语音旁路电路把合成的语音送到麦克风的语音接口；
（4）、专用通信终端的主处理器通过移动通信单元把语音数据传给通话对象。
当所述的用于聋哑人的专用通信终端独立工作时，如果用户进行面对面交流，进行以下过程：
（1)、接通云端语音、语义识别服务器和语音合成处理服务器的通道或者启动本地语音、语义识别应用算法和本地语音合成应用算法；
（2）、启动麦克风阵列和克风阵列算法；
（3）、开启喇叭。
作为本发明的进一步改进，在面对面交流时，进行以下过程：
交流对象的语音处理过程如下：
（1）、专用通信终端的麦克风阵列接收交流对象的语音，经编码后传给主处理器；
（2）、专用通信终端的主处理器对语音阵列信号做阵列信号处理，然后通过移动通信单元或者WIFI模块把语音送到语音识别、语义识别服务器或者本地识别、语义识别算法的接口，进行语音、语义识别，得到文字识别结果；
（3）、专用通信终端的主处理器通过移动通信单元或者WIFI模块接收到文字识别结果；
（4）、专用通信终端的主处理器把文字识别结果送到触摸显示模组上显示出来；
用户的文字信息处理过程如下：
（1）、用户通过专用通信终端的触摸显示模组输入文字信息；
（2）、专用通信终端的主处理器通过语音合成处理服务器或者本地语音合成应用算法将文字信息合成为语音，并把合成的语音送到喇叭进行播放。
作为本发明的进一步改进，当所述的用于聋哑人的专用通信终端与AR眼镜配合使用时，专用通信终端开启WIFI模块、BT模块和BLE模块，通过WIFI模块共享WIFI热点，将AR眼镜连上专用通信终端的WIFI热点，并完成AR眼镜与专用通信终端的BT、BLE配对，专用通信终端开启屏幕共享。
作为本发明的进一步改进，如果用户接通来电，则进行以下过程：
1）、接通云端语音、语义识别服务器或者启动本地语音、语义识别应用算法；
2）、接通语音合成处理服务器的通道或者启动本地语音合成处理应用算法；
3）、把模拟开关电路切换到音频数模转换电路，所述音频数模转换电路、模拟开关电路和电源管理单元构成了麦克风语音旁路电路；
4）、把触摸显示模组共享到AR眼镜；
5）、接通通话；
通话时下行语音的处理流程如下：
（1）、专用通信终端的主处理器收到下行语音；
（2）、专用通信终端的主处理器把收到的下行语音通过移动通信单元或者WIFI模块送到云端语音、语义识别服务器或者本地语音、语义识别应用算法的接口，进行语音、语义识别，得到文字识别结果；
（3）、专用通信终端的主处理器接收文字识别结果；
（4）、专用通信终端的主处理器通过BLE模块把文字识别结果送到AR眼镜进行显示；
通话时上行语音的处理流程如下：
（1）、用户通过专用通信终端的触摸显示模组输入文字信息；
（2）、专用通信终端的主处理器把触摸显示模组通过WIFI模块或者BLE模块共享到配套的AR眼镜；
（3）、专用通信终端的主处理器收到输入的文字信息后，把文字信息送到语音合成处理服务器或者本地语音合成应用算法的接口，进行语音合成，得到语音数据，并把合成的语音数据送到麦克风语音旁路电路；
（4）、专用通信终端的麦克风语音旁路电路把合成的语音送到麦克风的语音接口；
（5）、专用通信终端的主处理器通过移动通信单元或者WIFI模块把语音传给通话对象。
作为本发明的进一步改进，如果进行面对面交流，则进行以下过程：
1)、接通云端语音、语义识别服务器和语音合成处理服务器的通道或者启动本地语音、语义识别应用算法和本地语音合成处理应用算法；
2）、启动麦克风阵列和麦克风阵列算法；
3）、开启喇叭；
4）、把屏幕共享到AR眼镜；
交流对象的语音处理过程如下：
（1）、专用通信终端的麦克风阵列接收交流对象的语音，经编码后传给主处理器；
（2）、专用通信终端的主处理器对语音阵列信号做阵列信号处理，然后通过移动通信单元或者WIFI模块把语音送到语音识别、语义识别服务器或者本地识别、语义识别算法的接口，进行语音、语义识别，得到文字识别结果；
（3）、专用通信终端的主处理器通过移动通信单元或者WIFI模块接收到文字识别结果；
（4）、专用通信终端的主处理器把识别结果送到触摸显示模组上显示出来；
（5）、专用通信终端的主处理器通过WIFI模块或者BLE模块通过屏幕共享的方式把触摸显示模组投映到AR眼镜上；
用户的文字信息处理过程如下：
（1）、用户通过专用通信终端输入文字信息；
（2）、专用通信终端的主处理器里通过WIFI模块或者BLE模块把输入的文字信息共享到配对使用的AR眼镜上；
（3）、专用通信终端的主处理器通过语音合成处理服务器或者本地语音合成应用算法将文字信息合成为语音，并把合成的语音送到喇叭进行播放。
本发明的有益效果是：
1、 对于远程通信，聋哑人可以无障碍的跟正常人进行语音通信和交流；
2、 对于面对面的交流，聋哑人可以通过AR眼镜，看着对方的眼睛和动作进行交流，不用担心丢失信息，也给对方更真诚的感觉，也可以单独使用本专利产品直接跟交流对象交流；
3、 因为跟人沟通交流的顺畅，能极大的提高聋哑人的生活便利性和幸福指数。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的方案。
图1是一种用于聋哑人的专用通信终端的原理框图。
图2是一种用于聋哑人的专用通信终端在单独使用时的下行语音通路示意图。
图3是一种用于聋哑人的专用通信终端在单独使用时的上行语音通路示意图。
图4是一种用于聋哑人的专用通信终端在单独使用面对面交流时的交流对象的语音通道示意图。
图5是一种用于聋哑人的专用通信终端在单独使用面对面交流时的用户的信息通道示意图。
图6是一种用于聋哑人的专用通信终端在与AR眼镜配套使用时的下行语音通路示意图。
图7是一种用于聋哑人的专用通信终端在与AR眼镜配套使用时的上行语音通路示意图。
图8是一种用于聋哑人的专用通信终端在与AR眼镜配套使用面对面交流时的交流对象的语音通道示意图。
图9是一种用于聋哑人的专用通信终端在与AR眼镜配套使用面对面交流时的用户的信息通道示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面结合附图说明及具体实施方式对本发明作进一步说明。
如图1所示，一种用于聋哑人的专用通信终端，包括主处理器101、WIFI模块102、BT模块103、BLE模块104、触摸显示模组105、存储器106、麦克风阵列107、对应编码（CODEC）电路115、电池108、电源管理单元109、模拟形状电路110、麦克风111、音频数模转换电路112、喇叭113和移动通信单元114。
BT模块103为经典蓝牙模块，泛指支持蓝牙协议在4.0以下的模块，一般用于数据量比较大的传输。
BLE（Bluetooth Low Energy Module）模块104为低功耗蓝牙模块，指支持蓝牙协议4.0或更高的模块，最大的特点是功耗的降低。
触摸显示模组105包括TP和LCD。
本发明提供的一种用于聋哑人的专用通信终端，涉及智能穿戴、公共通信、语音阵列信号处理、语音识别、语音识别、语音合成等方面的领域，是一种可以独立使用、也可以配合AR眼镜使用的和专门针对特殊人群（聋哑人、听力障碍）专用通信终端。
为便于用户使用，本发明并充分利用现有智能手机平台，通过研发一款移动通信终端，适用于类似特殊人群（聋哑人、听力障碍）群体。
本发明提供的专用通信终端，可以以两种方式工作，一种是独立工作，一种是跟配套的AR眼镜一起工作，具体的通信交流过程如下：
一、独立工作
（一）通话
1、用户接通来电：
1）、控制APP接通云端语音、语义识别服务器或者启动本地相关应用算法，并把下行语音旁路到对应的接口，以便于语音转文字处理；
2）、控制APP接通语音合成处理服务器的通道或者启动本地相关应用算法，并把合成语音往自主封装的、音频DA播放音频的接口播放；
3）、把麦克风的模拟开关切到音频DA输出这边，使得音频数模转换电路、模拟开关电路和电源管理单元构成了麦克风语音旁路电路；
4）、接通通话；
2、下行语音通路如图2所示，
（1）如图2步骤1，专用通信终端的主处理器从4G/5G接收到下行语音；
（2）如图2步骤2，专用通信终端的主处理器把收到的语音送给云端语音、语义识别服务器或者本地相关算法接口；
（3）如图2步骤3，专用通信终端的主处理器接收识别结果；
（4）如图2步骤4，专用通信终端的主处理器把识别结果送到屏幕上显示。
3、上行语音通路如图3所示，
（1）如图3步骤1，用户通过TP和专用通信终端里的输入法，输入信息；
（2）如图3步骤2，专用通信终端主处理器收到输入的文字后，把文字送到语音合成接口，并通过自行开发的语音播放接口把合成的语音送到麦克风语音旁路电路；
（3）如图3步骤3，专用通信终端的麦克风语音旁路电路把合成的语音送到通话麦克风的语音接口；
（4）如图3步骤4，专用通信终端的主处理器通过4G/5G或者WIFI把语音传给通话对象。
4、结束交流，挂断电话即可。
（二）当面交流
1、启动手机端的控制APP，选择面对面交流模式:
（1)、控制APP接通远端语音、语义识别服务器和语音合成处理服务器的通道或者启动本地相关应用算法；
（2）、控制APP启动麦克风阵列和相关算法，把麦克风阵列算法输出的语音送到语音识别通路；
（3）、开启喇叭，把语音合成的输出，送到喇叭播放接口。
2、交流对象的语音通道如图4所示，
（1）、如图4步骤1，专用通信终端的麦克风阵列接收的交流对象的语音，经编码后传给主处理器；
（2）、如图4步骤2，专用通信终端的主处理器对语音阵列信号做阵列信号处理，然后通过4G/5G或者WIFI把干净的语音送到语音识别、语义识别服务器或者本地算法接口；
（3）、如图4步骤3，专用通信终端的主处理器接收到语音识别、语义识别的结果；
（4）、如图4步骤4，专用通信终端的主处理器把识别结果送到屏幕上显示出来；
3、 终端使用者信息通道如图5所示，
（1）、如图5步骤1，用户通过专用通信终端的TP把想表达的意思输入；
（2）、如图5步骤2，专用通信终端主处理器把相关文字送到语音合成通道，并接收合成结果，把合成的结果送到喇叭播放接口，通过喇叭把语音播放出来。
4、结束交流，退出控制APP即可。
二、跟AR眼镜配合使用，在使用前，终端需开启WIFI、WIFI热点、BT、BLE，AR眼镜需连上终端的WIFI热点，BT、BLE完成配对，终端开启屏幕共享。
（一）通话
1、来电：
1）、控制APP接通远端语音、语义识别或者启动本地相关应用算法，并把下行语音旁路到对应的接口，以便语音转文字处理；
2）、控制APP接通语音合成处理服务器的通道或者启动本地相关应用算法，并把合成语音往自主封装的、往音频DA播放音频的接口播放；
3）、把麦克风切换模拟开关切到音频DA输出这边；
4）、把语音识别的结果数据，送往BLE的文字信息通道；
5）、把屏幕共享到AR眼镜
6）、接通通话。
2、 通话过程下行语音的通路如图6：
（1）、如图6步骤1，专用通信终端的主处理器收到下行语音；
（2）、如图6步骤2，专用通信终端的主处理器把收到的下行语音通过4G/5G或者WIFI送到语音识别、语义识别服务器或者本地算法接口；
（3）、如图6步骤3，专用通信终端的主处理器接收语音识别、语义识别的结果；
（4）、如图6步骤4，专用通信终端的主处理器把语音、语义识别结果通过BLE把信息送到AR眼镜。
3、通话上行语音通路如图7，
（1）、如图7步骤1，用户通过专用通信终端的TP把想表达的意思输入；
（2）、如图7步骤2，终端主处理器把屏幕通过WIFI（BLE）共享到配套的AR眼镜；
（3）、如图7步骤3，专用通信终端主处理器收到输入的文字后，把文字送到语音合成接口，并通过自行开发的语音播放接口把合成的语音送到麦克风语音旁路电路；
（4）、如图7步骤4，专用通信终端麦克风语音旁路电路把合成的语音送到通话麦克风的语音接口；
（5）、如图7步骤5，专用通信终端主处理器通过4G/5G或者WIFI把语音传给通话对象。
4、结束通话，挂断电话即可。
（二）、面对面交流
1、启动专用通信终端的端的控制APP，选择面对面交流模式:
1)、控制APP接通远端语音、语义识别服务器和语音合成处理服务器的通道或者启动本地相关应用算法；
2）、控制APP启动麦克风阵列和相关算法，把麦克风阵列算法输出的语音送到语音识别通路；
3）、开启喇叭，把语音合成的输出送到喇叭播放接口；
4）、把语音识别的结果数据，送往BLE的文字信息通道；
5）、把屏幕共享到AR眼镜。
2、交流对象的语音通道如图8所示，
（1）、如图8步骤1，专用终端的麦克风阵列接收的交流对象的语音，经编码后传给主处理器；
（2）、如图8步骤2，专用通信终端的主处理器对语音阵列信号做阵列信号处理，然后通过4G/5G或者WIFI把干净的语音送到语音识别、语义识别服务器或者本地算法接口；
（3）、如图8步骤3，专用通信终端的主处理器接收到语音识别、语义识别的结果；
（4）、如图8步骤4，专用通信终端的主处理器把识别结果送到屏幕上显示出来；
（5）、如图8步骤5，专用通信终端的主处理器通过WIFI(BLE)通过屏幕共享的方式把文字投映到AR眼镜上。
3、终端使用者信息通道如图9所示，
（1）、如图9步骤1，用户通过专用通信终端的TP把想表达的意思输入；
（2）、如图9步骤2，专用通信终端的主处理器里通过WIFI(BLE)把输入的内容共享到配对使用的AR眼镜上；
（3）、如图9步骤3，专用通信终端的主处理器里把相关文字送到语音合成通道，并接收合成结果，把合成的结果送到喇叭播放接口，通过喇叭把语音播放出来。
4、结束交流，退出APP即可。
本发明提供的一种用于聋哑人的专用通信终端及其通信交流方法，具有以下改进：
1）、带有4G、5G、BT、BLE、WIFI等无线连接，带有包括TP、LCD在内的显示模组；
2）、增加麦克风阵列和对应编码（CODEC）电路，解决面对面沟通时的音量、混音、噪音等导致的语音识别率降低的问题；
3）、增加音频DA电路和模拟开关电路，用来作为上行语音的回路；
4）、软件驱动层增加阵列信号CODEC和音频DA电路相关驱动；
5）、软件HAL层增加增列信号处理算法库，同时增加往FRAMEWORK层的音频传送接口和往音频DA传送数据接口；
6）、FRAMEWORK层封装专用的录音和播放接口，录音接口接收麦克风阵列信号算法送出来的音频数据，播放接口把数字音频数据送给对于音频DA的接口；
7）、增加模拟开关的控制驱动，通过控制模拟开关的连通方式，选择采用APP送下来的音频信号还是通话麦克风采集的音频信号；
8）、终端需要安装专用的控制APP对各种应用场景进行管理；
9）、可以独立使用，也可以跟配套的AR眼镜配合使用。
本发明针对类似聋哑人这样的群体，可以提供以下非常良好的效果：
1、 对于远程通信，聋哑人可以无障碍的跟正常人进行语音通信和交流；
2、 对于面对面的交流，聋哑人可以通过AR眼镜，看着对方的眼睛和动作进行交流，不用担心丢失信息，也给对方更真诚的感觉，也可以单独使用本专利产品直接跟交流对象交流。
3、 因为跟人沟通交流的顺畅，能极大的提高聋哑人的生活便利性和幸福指数。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (9)
1.一种用于聋哑人的专用通信终端，其特征在于：包括主处理器、WIFI模块、BT模块、BLE模块、触摸显示模组、存储器、麦克风阵列、对应编码电路、电池、电源管理单元、模拟开关电路、麦克风、音频数模转换电路、喇叭和移动通信单元，所述WIFI模块、BT模块、BLE模块、触摸显示模组、存储器、对应编码电路、电源管理单元、音频数模转换电路、喇叭和移动通信单元分别与所述主处理器连接，所述麦克风阵列与所述对应编码电路连接，所述麦克风、音频数模转换电路分别与所述模拟开关电路连接，所述模拟开关电路与所述电源管理单元连接。
2.一种用于聋哑人的专用通信终端的通信交流方法，其特征在于：基于权利要求1所述的用于聋哑人的专用通信终端进行面对面交流或者通话交流。
3.根据权利要求2所述的用于聋哑人的专用通信终端的通信交流方法，其特征在于：
当所述的用于聋哑人的专用通信终端独立工作时，如果用户接通来电，则进行以下过程：
1）、接通云端语音、语义识别服务器或者启动本地语音、语义识别应用算法；
2）、接通语音合成处理服务器的通道或者启动本地语音合成应用算法；
3）、把模拟开关电路切换到音频数模转换电路，所述音频数模转换电路、模拟开关电路和电源管理单元构成了麦克风语音旁路电路；
4）、接通通话。
4.根据权利要求3所述的用于聋哑人的专用通信终端的通信交流方法，其特征在于：
在通话时，进行以下过程：
下行语音的处理流程如下：
（1）、专用通信终端的主处理器从移动通信单元接收到下行语音；
（2）、专用通信终端的主处理器把收到的下行语音传送到云端语音、语义识别服务器或者本地语音、语义识别应用算法对应的接口，进行语音、语义识别，得到文字识别结果；
（3）、专用通信终端的主处理器接收文字识别结果；
（4）、专用通信终端的主处理器把文字识别结果送到触摸显示模组上显示；
上行语音的处理流程如下：
（1）、用户通过触摸显示模组上输入文字信息；
（2）、专用通信终端的主处理器收到输入的文字信息后，把文字信息送到语音合成处理服务器或者本地语音合成应用算法的接口，进行语音合成，得到语音数据，并把合成的语音数据送到麦克风语音旁路电路；
（3）、专用通信终端的麦克风语音旁路电路把合成的语音送到麦克风的语音接口；
（4）、专用通信终端的主处理器通过移动通信单元把语音数据传给通话对象。
5.根据权利要求2所述的用于聋哑人的专用通信终端的通信交流方法，其特征在于：
当所述的用于聋哑人的专用通信终端独立工作时，如果用户进行面对面交流，进行以下过程：
（1)、接通云端语音、语义识别服务器和语音合成处理服务器的通道或者启动本地语音、语义识别应用算法和本地语音合成应用算法；
（2）、启动麦克风阵列和克风阵列算法；
（3）、开启喇叭。
6.根据权利要求5所述的用于聋哑人的专用通信终端的通信交流方法，其特征在于：
在面对面交流时，进行以下过程：
交流对象的语音处理过程如下：
（1）、专用通信终端的麦克风阵列接收交流对象的语音，经编码后传给主处理器；
（2）、专用通信终端的主处理器对语音阵列信号做阵列信号处理，然后通过移动通信单元或者WIFI模块把语音送到语音识别、语义识别服务器或者本地识别、语义识别算法的接口，进行语音、语义识别，得到文字识别结果；
（3）、专用通信终端的主处理器通过移动通信单元或者WIFI模块接收到文字识别结果；
（4）、专用通信终端的主处理器把文字识别结果送到触摸显示模组上显示出来；
用户的文字信息处理过程如下：
（1）、用户通过专用通信终端的触摸显示模组输入文字信息；
（2）、专用通信终端的主处理器通过语音合成处理服务器或者本地语音合成应用算法将文字信息合成为语音，并把合成的语音送到喇叭进行播放。
7.根据权利要求2所述的用于聋哑人的专用通信终端的通信交流方法，其特征在于：
当所述的用于聋哑人的专用通信终端与AR眼镜配合使用时，专用通信终端开启WIFI模块、BT模块和BLE模块，通过WIFI模块共享WIFI热点，将AR眼镜连上专用通信终端的WIFI热点，并完成AR眼镜与专用通信终端的BT、BLE配对，专用通信终端开启屏幕共享。
8.根据权利要求7所述的用于聋哑人的专用通信终端的通信交流方法，其特征在于：
如果用户接通来电，则进行以下过程：
1）、接通云端语音、语义识别服务器或者启动本地语音、语义识别应用算法；
2）、接通语音合成处理服务器的通道或者启动本地语音合成处理应用算法；
3）、把模拟开关电路切换到音频数模转换电路，所述音频数模转换电路、模拟开关电路和电源管理单元构成了麦克风语音旁路电路；
4）、把触摸显示模组共享到AR眼镜；
5）、接通通话；
通话时下行语音的处理流程如下：
（1）、专用通信终端的主处理器收到下行语音；
（2）、专用通信终端的主处理器把收到的下行语音通过移动通信单元或者WIFI模块送到云端语音、语义识别服务器或者本地语音、语义识别应用算法的接口，进行语音、语义识别，得到文字识别结果；
（3）、专用通信终端的主处理器接收文字识别结果；
（4）、专用通信终端的主处理器通过BLE模块把文字识别结果送到AR眼镜进行显示；
通话时上行语音的处理流程如下：
（1）、用户通过专用通信终端的触摸显示模组输入文字信息；
（2）、专用通信终端的主处理器把触摸显示模组通过WIFI模块或者BLE模块共享到配套的AR眼镜；
（3）、专用通信终端的主处理器收到输入的文字信息后，把文字信息送到语音合成处理服务器或者本地语音合成应用算法的接口，进行语音合成，得到语音数据，并把合成的语音数据送到麦克风语音旁路电路；
（4）、专用通信终端的麦克风语音旁路电路把合成的语音送到麦克风的语音接口；
（5）、专用通信终端的主处理器通过移动通信单元或者WIFI模块把语音传给通话对象。
9.根据权利要求7所述的用于聋哑人的专用通信终端的通信交流方法，其特征在于：
如果进行面对面交流，则进行以下过程：
1)、接通云端语音、语义识别服务器和语音合成处理服务器的通道或者启动本地语音、语义识别应用算法和本地语音合成处理应用算法；
2）、启动麦克风阵列和麦克风阵列算法；
3）、开启喇叭；
4）、把屏幕共享到AR眼镜；
交流对象的语音处理过程如下：
（1）、专用通信终端的麦克风阵列接收交流对象的语音，经编码后传给主处理器；
（2）、专用通信终端的主处理器对语音阵列信号做阵列信号处理，然后通过移动通信单元或者WIFI模块把语音送到语音识别、语义识别服务器或者本地识别、语义识别算法的接口，进行语音、语义识别，得到文字识别结果；
（3）、专用通信终端的主处理器通过移动通信单元或者WIFI模块接收到文字识别结果；
（4）、专用通信终端的主处理器把识别结果送到触摸显示模组上显示出来；
（5）、专用通信终端的主处理器通过WIFI模块或者BLE模块通过屏幕共享的方式把触摸显示模组投映到AR眼镜上；
用户的文字信息处理过程如下：
（1）、用户通过专用通信终端输入文字信息；
（2）、专用通信终端的主处理器里通过WIFI模块或者BLE模块把输入的文字信息共享到配对使用的AR眼镜上；
（3）、专用通信终端的主处理器通过语音合成处理服务器或者本地语音合成应用算法将文字信息合成为语音，并把合成的语音送到喇叭进行播放。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111615679.1A CN114285939A (zh) | 2021-12-27 | 2021-12-27 | 一种用于聋哑人的专用通信终端及其通信交流方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111615679.1A CN114285939A (zh) | 2021-12-27 | 2021-12-27 | 一种用于聋哑人的专用通信终端及其通信交流方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114285939A true CN114285939A (zh) | 2022-04-05 |
Family
ID=80876423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111615679.1A Pending CN114285939A (zh) | 2021-12-27 | 2021-12-27 | 一种用于聋哑人的专用通信终端及其通信交流方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114285939A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2664310Y (zh) * | 2003-11-25 | 2004-12-15 | 牛文运 | 一种聋哑人用电话机 |
| CN106686223A (zh) * | 2016-12-19 | 2017-05-17 | 中国科学院计算技术研究所 | 聋哑人与正常人的辅助对话系统、方法及智能手机 |
| CN206210144U (zh) * | 2016-05-03 | 2017-05-31 | 北京儿童创客教育科技有限公司 | 手语语音转化帽 |
| CN110717344A (zh) * | 2019-10-12 | 2020-01-21 | 深圳市热丽泰和生命科技有限公司 | 基于智能可穿戴设备的辅助交流系统 |
-
2021
- 2021-12-27 CN CN202111615679.1A patent/CN114285939A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2664310Y (zh) * | 2003-11-25 | 2004-12-15 | 牛文运 | 一种聋哑人用电话机 |
| CN206210144U (zh) * | 2016-05-03 | 2017-05-31 | 北京儿童创客教育科技有限公司 | 手语语音转化帽 |
| CN106686223A (zh) * | 2016-12-19 | 2017-05-17 | 中国科学院计算技术研究所 | 聋哑人与正常人的辅助对话系统、方法及智能手机 |
| CN110717344A (zh) * | 2019-10-12 | 2020-01-21 | 深圳市热丽泰和生命科技有限公司 | 基于智能可穿戴设备的辅助交流系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7643619B2 (en) | Method for offering TTY/TDD service in a wireless terminal and wireless terminal implementing the same | |
| CN100359941C (zh) | 可视电话终端 | |
| US7925296B2 (en) | Intergrated communication apparatus | |
| US20080151786A1 (en) | Method and apparatus for hybrid audio-visual communication | |
| US7027774B2 (en) | Method for direct voice telephone call using bluetooth terminal | |
| JPH09214486A (ja) | 情報処理装置および情報処理方法 | |
| CN1980438A (zh) | 蜂窝电话设备 | |
| US20100151915A1 (en) | Headset or Hands-free Set for Mobile Telephones Monitoring Voice Mail Messages in Real-Time and Offering the Option to Take Over Conversation with the Caller | |
| KR101191263B1 (ko) | 스피커폰 기능 사용여부를 상대방에게 알려주는 방법 | |
| CN110381215A (zh) | 音频分流方法、装置、存储介质及计算机设备 | |
| CN114285939A (zh) | 一种用于聋哑人的专用通信终端及其通信交流方法 | |
| CN101727963B (zh) | 兼具固话及无线移动双网络互联功能的音频播放设备 | |
| CN201018556Y (zh) | 分体式无线操作手机 | |
| KR100994889B1 (ko) | 영상 채팅 시스템 및 영상 채팅 서비스 제공 방법 | |
| CN114267323A (zh) | 一种用于聋哑人的语音助听ar眼镜及其通信交流方法 | |
| KR100360621B1 (ko) | 캐릭터 정보 서비스 시스템 및 방법과 이에 적합한 캐릭터인형 | |
| CN202127474U (zh) | 一种新型无线可视门铃系统 | |
| CN101102338B (zh) | 具有话筒功能的手机 | |
| TWI293001B (en) | Method and apparatus for implementing internet telephone functions on an electronic player | |
| CN108563109A (zh) | 一种基于互联网技术的平安闹钟及其应用方法 | |
| CN218976709U (zh) | 一种无线通话系统 | |
| CN218387832U (zh) | 一拖多双模蓝牙级联话务耳机系统 | |
| CN114333513A (zh) | 一种用于聋哑人的语音助听ar眼镜及其通信交流方法 | |
| CN218825191U (zh) | 一种低功耗蓝牙4g手表 | |
| CN203840415U (zh) | 一种智能数字无线终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220405 |
|
| RJ01 | Rejection of invention patent application after publication |