CN108764172A - 车辆中的手语通信方法、系统及车载标签或智能后视镜 - Google Patents

Abstract

本申请公开了一种车辆中的手语通信方法、系统及车载标签或智能后视镜，涉及通信技术，该方法通过获取手语者图像，并根据该图像，确定手语者手势表达的语义，再将该语义输出给车内其它乘客，可以实现手语者与其它乘客的沟通，提高了手语者的乘车体验。

Description

车辆中的手语通信方法、系统及车载标签或智能后视镜

技术领域

本公开一般涉及通信技术，具体涉及手势图像通信技术，尤其涉及一种车辆中的手语通信方法、系统及车载标签或智能后视镜。

背景技术

目前，在汽车电子标签、汽车智能后视镜等汽车中的智能装备中，均只能实现其自身功能。

例如，汽车电子标签一般的功能为：显示车检信息、或者用来作为留言信息显示、交警罚单显示等，其附加功能可能包括降低功耗、显示车辆行驶状态等。

智能后视镜中，可能提供了自动防眩晕，语音识别，语音控制等功能，但并不支持对手语的识别。

当汽车中乘坐有手语者时，汽车内并没有智能设备能够为手语者的沟通提供便利，不便于手语者与司机及其他乘客的沟通。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种车辆中的手语通信方法、系统及车载标签或智能后视镜，以便于车内的手语乘客与其他乘客进行沟通。

第一方面，本发明实施例提供一种车辆中的手语通信方法，包括：

获取车辆中手语者的手势图像；

根据所述手势图像，确定手语者手势表达的语义；

将所述手语者手势表达的语义输出给车辆中的其它乘客。

进一步，所述获取车辆中手语者的手势图像，具体包括：

从摄像头中获取车辆中手语者的手势图像。

进一步，所述将所述手语者手势表达的语义输出给车辆中的其它乘客，具体包括：

通过文字显示的方式，将所述手语者手势表达的语义输出给车辆中的其它乘客；和/或

通过语音播放的方式，将所述手语者手势表达的语义输出给车辆中的其它乘客。

更进一步，当通过文字显示的方式，将所述手语者手势表达的语义输出给车辆中的其它乘客时，通过车载标签或者智能后视镜的屏幕，将所述手语者手势表达的语义通过文字显示给车辆中的其它乘客；

当通过语音播放的方式，将所述手语者手势表达的语义输出给车辆中的其它乘客时，通过车载标签或者智能后视镜的扬声器，将所述手语者手势表达的语义通过语音播报给车辆中的其它乘客。

更进一步，所述获取车辆中手语者的手势图像，具体包括：

从车辆中多个摄像头中，分别获取对应的手语者的手势图像；

所述将所述手语者手势表达的语义输出给车辆中的其它乘客，具体包括：

通过不同的文字显示效果，分别显示各摄像头对应的手语者手势表达的语义；和/或

通过不同的声音效果，对各摄像头对应的手语者手势表达的语义分别进行语音播报。

进一步，所述将所述手语者手势表达的语义输出给车辆中的其它乘客，具体包括：

通过对应各乘客的终端设备，将所述手语者手势表达的语义通过文字或语音输出给车辆中的其它乘客。

进一步，所述车辆中的其它乘客具体为司机；

该方法还包括：

获取司机讲话的语音内容；

根据所述语音内容，确定对应的手语动画和/或文字；

将所述手语动画和/或文字显示给手语者乘客。

进一步，当手语者选择在线交流时，还包括：

当手语者的在线交流对象为手语者时，进行视频交流；

当手语者的在线交流对象为非手语者时，将所述手语者手势表达的语义发送至互动平台中手语者选择的交流对象；获取手语者的在线交流对象的语音内容，确定所述语音内容对应的手语动画和/或文字，并显示给手语者，或者，直接获取手语者的在线交流对象的语音内容对应的手语动画和/或文字并显示给手语者。

第二方面，本发明实施例还提供一种车载标签或者智能后视镜，包括处理器和存储器，以及屏幕和扬声器；

所述存储器包含可由所述处理器执行的指令以使得所述处理器执行如第一方面中所述的方法。

进一步，还包括：

通信单元，用于与终端设备连接。

第三方面，本发明实施例还提供一种终端设备，包括处理器和存储器；还包括：

摄像头、通信模块以及屏幕和/或扬声器；其中，

所述处理器用于，通过所述摄像头采集车辆中手语者的手势图像；通过所述通信模块将所述手势图像发送给车载标签或者智能后视镜，由所述车载标签或者智能后视镜将所述手语者手势表达的语义输出给车辆中的其它乘客。

进一步，还包括：

屏幕和/或扬声器，用于输出通过通信模块接收的对应司机讲话的语音内容的文字和/或手语动画。

第四方面，本发明实施例还提供一种车辆中的手语通信系统，包括：

第二方面中所述的车载标签或者智能后视镜；以及

至少一个第三方面中所述的终端设备。

本发明实施例提供一种车辆中的手语通信方法、系统及车载标签或智能后视镜，通过获取手语者图像，并根据该图像，确定手语者手势表达的语义，再将该语义输出给车内其它乘客，可以实现手语者与其它乘客的沟通，提高了手语者的乘车体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的车辆中的手语通信方法流程图；

图2为本发明实施例提供的车载标签或智能后视镜结构示意图；

图3为本发明实施例提供的车载标签或智能后视镜中MIMO 2X2天线结构示意图；

图4为本发明实施例提供的车载标签正面示意图；

图5为本发明实施例提供的车载标签背面示意图；

图6为本发明实施例提供的终端设备结构示意图；

图7为本发明实施例提供的终端设备电源管理芯片电路结构示意图；

图8为本发明实施例提供的终端设备正面示意图；

图9为本发明实施例提供的车载标签或智能后视镜和终端设备布局示意图；

图10为本发明实施例提供的车辆中的手语通信系统网络拓扑示意图；

图11为本发明实施例提供的MIMO数据传输示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，本发明实施例提供的车辆中的手语通信方法，包括：

步骤S101、获取车辆中手语者的手势图像；

步骤S102、根据手势图像，确定手语者手势表达的语义；

步骤S103、将手语者手势表达的语义输出给车辆中的其它乘客。

通过该方法，可以获取手语者图像，并根据该图像，确定手语者手势表达的语义，再将该语义输出给车内其它乘客，进而实现手语者与其它乘客的沟通，提高了手语者的乘车体验。

其中，手势图像可以是视频的形式，也可以是多张图片的形式。

该方法可以由车载标签或者智能后视镜执行，也可以由车内其它设备执行。

为使得手语通信具有更好的实时性，可以由摄像头获取手语者的手势图像，并发送给执行该方法的车载标签或者智能后视镜，此时，步骤S101中，获取车辆中手语者的手势图像，具体包括：

从摄像头中获取车辆中手语者的手势图像。

该摄像头可以设置在车载标签或者智能后视镜上，也可以单独设置，并通过有线或无线的方式与车载标签或者智能后视镜实现通信连接。

通常，非手语者可以通过文字或者语音进行交流，所以将手语者手势表达的语义输出给车辆中的其它乘客的方式可以是，文字和/或语音的形式，此时，步骤S103中，将手语者手势表达的语义输出给车辆中的其它乘客，具体包括：

通过文字显示的方式，将手语者手势表达的语义输出给车辆中的其它乘客；和/或

通过语音播放的方式，将手语者手势表达的语义输出给车辆中的其它乘客。

当该方法由车载标签或者智能后视镜执行时，即可利用车载标签或者智能后视镜的屏幕和扬声器输出手语者手势表达的语义，此时：

当通过文字显示的方式，将手语者手势表达的语义输出给车辆中的其它乘客时，通过车载标签或者智能后视镜的屏幕，将手语者手势表达的语义通过文字显示给车辆中的其它乘客；

当通过语音播放的方式，将手语者手势表达的语义输出给车辆中的其它乘客时，通过车载标签或者智能后视镜的扬声器，将手语者手势表达的语义通过语音播报给车辆中的其它乘客。

当车辆中存在多个手语者时，较佳的方式是针对每个手语者分别设置一个摄像头，再通过不同的效果输出各个手语者表达的语义，从而便于用户区分各个手语者的表达，提高用户体验，此时，步骤S101中，获取车辆中手语者的手势图像，具体包括：

从车辆中多个摄像头中，分别获取对应的手语者的手势图像；

步骤S103中，将手语者手势表达的语义输出给车辆中的其它乘客，具体包括：

通过不同的文字显示效果，分别显示各摄像头对应的手语者手势表达的语义；和/或

通过不同的声音效果，对各摄像头对应的手语者手势表达的语义分别进行语音播报。

如果是通过文字显示的方式进行输出，那么仅通过智能后视镜或者电子标签进行显示，则难以使得车内所有乘客都能看清楚，优选的方案是，针对每个乘客设置一个终端设备，通过该终端设备，将手势表达的语义通过语音或者文字输出给对应的乘客。

此时，步骤S103中，将手语者手势表达的语义输出给车辆中的其它乘客，具体包括：

通过对应各乘客的终端设备，将手语者手势表达的语义通过文字或语音输出给车辆中的其它乘客。

该实施例中，车辆中的其它乘客可以具体为司机，对于有些手语者来说，可能存在听力障碍，不能听见司机的讲话，此时，可以获取司机的语音，并转化为手语者能够看懂的图像或者文字，显示给手语者。

此时，该方法还包括：

获取司机讲话的语音内容；

根据语音内容，确定对应的手语动画和/或文字；

将手语动画和/或文字显示给手语者乘客。

一种可行的实施例为：

执行该方法的电子标签或者智能后视镜被安装在前挡风玻璃上，包括无线摄像头和扬声器、屏幕的终端设备被安放到每个座位的前方，对于单排后座的车辆，可以设置三个终端设备，三个终端设备中的摄像头捕捉手语，终端设备上的屏幕可以让手语者在座位上调整自己的位置，还可以把驾驶座上司机或其它乘客的语音转化成文本或者动画式的手语展现在屏幕上。

在每个座位上都安装带有摄像头和屏幕的终端设备，可以让手语者无论坐在哪个位置都能够与司机进行交流，也可以支持多个聋哑人手语者依次与司机交流，并支持多个手语者之间进行交流，也支持手语者与车内其它乘客交流。

当多个手语者和非手语者司机进行交流时，可以预设3种声音的语音，分别对应每一个座位上的每一个终端，当终端1的手语者1发起说话请求时，通过电子标签或智能后视镜用对应终端1的语音播放，若在终端1正在讲话的过程中，终端2或者终端3也要进行讲话，那么可以让终端2和终端3按照请求的时间顺序进行排队，终端1的语音播放完成之后，依次播放终端2和终端3的语音。通过按照不同的终端播放不同的声音来区别不同的手语者，可以使司机能够容易分清不同的发言者。

进一步，还可以利用无线网络和云服务器，提供一个交流平台，可以使所有的手语乘客进入到这个平台，手语者可以选择进入或者登陆到这个交流平台，在这个交流平台上，能看到所有登陆到这个平台的手语者，可以选择任何一个对象去请求视频聊天，通过后，可以进行视频聊天，如果双方都是手语者，通过视频，手语者就能直接进行交流。如果一方不是手语者，系统会利用在云端的算法，将手语者的手势翻译成文字或者语音，实现手语者与非手语者进行交流。

当手语者选择在线交流时，该方法还包括：

当手语者的在线交流对象为手语者时，进行视频交流；

当手语者的在线交流对象为非手语者时，将所述手语者手势表达的语义发送至互动平台中手语者选择的交流对象；获取手语者的在线交流对象的语音内容，确定语音内容对应的手语动画和/或文字，并显示给手语者，或者，直接获取手语者的在线交流对象的语音内容对应的手语动画和/或文字并显示给手语者。

为便于用户使用，在用户开启终端设备后，终端设备即通过有线或者无线的方式与车载标签或者智能后视镜实现通信连接，用户在终端设备上选择手语者模式或选择非手语者模式，并选择已连线的用户进行通信。

若终端设备或车载标签或者智能后视镜能够连接到云服务器提供的交流平台，那么用户自选择了手语者模式或非手语者模式后，可以进入交流平台，选择交流平台中的其它用户进行通信。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本发明实施例还相应提供一种车载标签或者智能后视镜，如图2所示，包括处理器201和存储器202，以及屏幕203和扬声器204；

其中，存储器202包含可由处理器201执行的指令以使得处理器201执行本发明实施例提供的车辆中的手语通信方法。

进一步，该车载标签或者智能后视镜还包括：

通信单元205，用于与终端设备连接。

当通过wifi进行通信连接时，该通信单元205具体包括wifi模块和天线。

该车载标签或者智能后视镜可以通过3G或4G网络连接云服务器，还设置有电池、麦克风及开关、设置按钮。

在如图2所示的车载标签或者智能后视镜中，wifi负责与每个摄像头终端实现连接，由于需要大量传输视频，因此可以采用802.11ac/a/b/g/n通讯标准来实现视频数据传输，可以采用Broadcom的BCM4356 2X2MIMO天线方案，当与电子标签合并设置时，WIFI也是进行车检信息刷新的数据传输通道，此时，可以采用MIMO 2X2的设计方案，如图3所示，BCM4356也带有BTLE功能，因此BTLE可以用来实现密码的设置等功能。电路的工作原理如下：天线Antenna1和天线Antenna0，分别是2.4G&5.8G的双频天线，Diplexer用来选择天线的频率，如果是2.4G的信号输入和输出就经过2G WLAN通路，如果是5.8G的信号输入输出，就经过5G WLAN输入。两个天线通路可以同时发送信号，这样极大的提高了信号的传输速率；由于有BTLE功能，可以使用BTLE来进行密码的设置。

如图2所示的车载标签或者智能后视镜采用电池供电而且能够进行充电。充电IC采用采用支持恒流/恒压线性充电芯片TP4056，充电电流大小可调整，并具备过热保护功能。

麦克风阵列负责拾取司机的语音信息。麦克风可以选取KNOWLES的SPH0641LM4H-1智能麦克风，具有语音唤醒功能以及非常低的功耗。

存储器用来存储语音识别算法和手势识别算法，可以使用DDR3L的RAM和三星eMMC存储器KLM8G1GEND，这两种器件具有性能稳定，读取速度快的特点。

如图2所示的车载标签或者智能后视镜的屏幕可以采用4.2寸的电子墨水屏，SPI接口与CPU连接。屏幕的方向面朝车外，显示车检信息以及电话号码的信息，背面朝向车内部，如图4和图5所示。

CPU主控单元可以采用全志的R40处理器，采用Quad-core ARM cortexA7Processor,采用Lunix操作系统，可以运行整个802.11ac/b/g/n/c无线通讯协议。

本发明实施例还提供一种终端设备，如图6所示，包括处理器1001和存储器1002；还包括：

摄像头1003、通信模块1004；其中，

处理器1001用于，通过摄像头1003采集车辆中手语者的手势图像；通过通信模块1004将手势图像发送给车载标签或者智能后视镜，由车载标签或者智能后视镜将手语者手势表达的语义输出给车辆中的其它乘客。

进一步，该终端设备还可以包括屏幕1005和/或扬声器1006，用于输出通过通信模块1004接收的对应司机讲话的语音内容的文字和/或手语动画。

具体的，处理器1001即CPU，可以采用全志的R40处理器，采用Quad-core ARMcortex A7Processor,采用Lunix操作系统，可以运行整个802.11ac/b/g/n/c无线通讯协议。

该终端设备中还可以包括电源管理芯片，该电源管理芯片可以采用FP6101高性能DC_DC芯片，可以把12V车载电压转换成3.3V电压，供各个单元使用，电路原理图如图7所示。此电路具有很宽的电压输入范围，以及很低的消耗电流，具有过流保护作用，以及2A的负载能力。

通信模块1004可以具体为WIFI模块，可以采用博通的BCM4356，具有很好的兼容性，PHY&MAC协议运行在BCM芯片内部，上层数据链路层以及网络层协议运行在CPU端，在此设备中WIFI是作为从设备连接到车载标签或者智能后视镜的WIFI路由的，设置好后，只要开机，就会自动连接到车载标签或者智能后视镜，其它路设备也是相同的原理。

屏幕可以采用7英寸IPS高清屏幕，1024X600分辨率，采用MIPI接口与CPU相连，摄像头采用CMOS 130万像素，分辨率为1280*720的摄像头。

终端设备的外形结构图可以如图8所示，图中虚线部分是手语者启动设备后，摄像头会捕捉影像显示在屏幕上，他可以调整位置使影像在虚线部分，从而获得较好的手语识别效果。

本发明实施例还提供一种车辆中的手语通信系统，包括：

本发明实施例提供的车载标签或者智能后视镜；以及

至少一个本发明实施例提供的终端设备。

如图9所示，各个终端设备设置在乘客位置的正前方，车载标签或者智能后视镜设置在前挡风玻璃上，还可以在后座座位的正前方也设置车载标签或者智能后视镜，各终端设备、车载标签或者智能后视镜还可以进一步连接到云服务器。

当某一个终端设备被打开后，该终端自动通过WIFI连接到车载标签或者智能后视镜，如图10所示，此时，车载标签或者智能后视镜处于AP模式，各个终端设备都是slave模式，每个终端设备可以分时与AP进行通讯。

进一步，终端设备之间也可以相互通信，实现乘客之间的交互，例如，两个手语者可以通过终端设备进行视频聊天。

如图11所示，车载标签或者智能后视镜和终端设备可以使用MIMO系统进行数据传输。传输信息流s(k)经过空时编码形成2个信息子流c1、c2。这2个子流由2个天线发射出往，经空间信道后由2个接收天线接收。多天线接收机利用先进的空时编码处理能够分开并解码这些数据子流，从而实现较佳的处理，完成整个视频数据的传输。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括XX单元、YY单元以及ZZ单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，XX单元还可以被描述为“用于XX的单元”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种车辆中的手语通信方法，其特征在于，包括：

获取车辆中手语者的手势图像；

根据所述手势图像，确定手语者手势表达的语义；

将所述手语者手势表达的语义输出给车辆中的其它乘客。

2.如权利要求1所述的方法，其特征在于，所述将所述手语者手势表达的语义输出给车辆中的其它乘客，具体包括：

通过文字显示的方式，将所述手语者手势表达的语义输出给车辆中的其它乘客；和/或

通过语音播放的方式，将所述手语者手势表达的语义输出给车辆中的其它乘客。

3.如权利要求2所述的方法，其特征在于，当通过文字显示的方式，将所述手语者手势表达的语义输出给车辆中的其它乘客时，通过车载标签或者智能后视镜的屏幕，将所述手语者手势表达的语义通过文字显示给车辆中的其它乘客；

当通过语音播放的方式，将所述手语者手势表达的语义输出给车辆中的其它乘客时，通过车载标签或者智能后视镜的扬声器，将所述手语者手势表达的语义通过语音播报给车辆中的其它乘客。

4.如权利要求2所述的方法，其特征在于，所述获取车辆中手语者的手势图像，具体包括：

从车辆中多个摄像头中，分别获取对应的手语者的手势图像；

所述将所述手语者手势表达的语义输出给车辆中的其它乘客，具体包括：

通过不同的文字显示效果，分别显示各摄像头对应的手语者手势表达的语义；和/或

通过不同的声音效果，对各摄像头对应的手语者手势表达的语义分别进行语音播报。

5.如权利要求1所述的方法，其特征在于，所述将所述手语者手势表达的语义输出给车辆中的其它乘客，具体包括：

通过对应各乘客的终端设备，将所述手语者手势表达的语义通过文字或语音输出给车辆中的其它乘客。

6.如权利要求1所述的方法，其特征在于，所述车辆中的其它乘客具体为司机；

该方法还包括：

获取司机讲话的语音内容；

根据所述语音内容，确定对应的手语动画和/或文字；

将所述手语动画和/或文字显示给手语者乘客。

7.如权利要求1所述的方法，其特征在于，当手语者选择在线交流时，还包括：

当手语者的在线交流对象为手语者时，进行视频交流；

当手语者的在线交流对象为非手语者时，将所述手语者手势表达的语义发送至互动平台中手语者选择的交流对象；获取手语者的在线交流对象的语音内容，确定所述语音内容对应的手语动画和/或文字，并显示给手语者，或者，直接获取手语者的在线交流对象的语音内容对应的手语动画和/或文字并显示给手语者。

8.一种车载标签或者智能后视镜，其特征在于，包括处理器和存储器，以及屏幕和扬声器；

所述存储器包含可由所述处理器执行的指令以使得所述处理器执行如权利要求1-7任一所述的方法。

9.如权利要求8所述的车载标签或者智能后视镜，其特征在于，还包括：

通信单元，用于与终端设备连接。

10.一种终端设备，包括处理器和存储器；其特征在于，还包括：

摄像头、通信模块；其中，

所述处理器用于，通过所述摄像头采集车辆中手语者的手势图像；通过所述通信模块将所述手势图像发送给车载标签或者智能后视镜，由所述车载标签或者智能后视镜将所述手语者手势表达的语义输出给车辆中的其它乘客。

11.如权利要求10所述的终端设备，其特征在于，还包括：

屏幕和/或扬声器，用于输出通过通信模块接收的对应司机讲话的语音内容的文字和/或手语动画。

12.一种车辆中的手语通信系统，其特征在于，包括：

如权利要求8所述的车载标签或者智能后视镜；以及

至少一个如权利要求10所述的终端设备。