CN108629241A - 一种数据处理方法和数据处理设备 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法和数据处理设备，用于提高聋哑人与普通人的信息交互过程中的识别语言信息的准确度。本申请实施例方法包括：数据处理设备获取当前会话中第一数据采集设备的主数据和辅数据，所述主数据和所述辅数据为在空间和/或内容上互补的数据，所述当前会话中包括至少两个数据采集设备，所述第一数据采集设备为所述至少两个数据采集设备中的任意一个；所述数据处理设备对所述主数据和所述辅数据进行融合识别得到对应的目标数据。

Description

一种数据处理方法和数据处理设备

技术领域

本申请涉及终端领域，尤其涉及一种数据处理方法和数据处理设备。

背景技术

聋哑人与普通人交流主要通过手语，而现实中懂手语的普通人很少，这就造成了聋哑人与不懂手语的普通人之间交流存在巨大障碍。要解决这个障碍，技术上需要完成手语识别和手语合成两个处理。

目前在手语识别方面，当前业界主要通过Kinect等影像设备或者可穿戴设备来完成手语跟踪采集，通过算法/神经网络/样本库的方法完成识别，并通过平板/电脑等设备播放声音，用于解决聋哑人讲话普通人不懂的问题。在手语合成方面，也是通过Kinect等影像设备或者可穿戴设备来完成语音或文字采集，然后把语音或者文字转化为聋哑人能识别的手语，并通过卡通手语等数字化方式在平板等设备显示呈现出来，用于解决普通人讲话聋哑人听不见的问题。

即目前的技术方案中手语信息或语言信息通常仅为单一的数据或单一设备采集的数据，比如，手语信息仅由单一的摄像头进行采集，而由于单一摄像头获取的手势信息有限，进而导致手语信息的识别不够精确。

发明内容

本申请实施例提供了一种数据处理方法和数据处理设备，用于提高聋哑人与普通人的信息交互过程中的识别语言信息的准确度。

第一方面，本申请提供一种数据处理设备，应用于聋哑人与正常人的当前会话场景，该当前会话包括至少两个数据采集设备。包括：

该数据处理设备获取该当前会话中的第一数据采集设备的主数据和辅数据，该主数据和该辅数据为在空间和/或内容上互补的数据，该第一数据采集设备为该至少两个数据采集设备中的任意一个；然后该数据处理设备根据该主数据和该辅数据融合识别该主数据对应的目标数据。

本申请中该数据采集设备可以为增强现实(Augmented Reality，AR)眼镜，数据处理设备可以为AR眼镜连接的服务器。当然，本申请提供的技术方案也可以应用在别的设备上，只要具备上述功能即可，具体此处不做限定。

本申请提供的技术方案中，该数据处理设备在识别该第一数据采集设备的主数据时，将该主数据和与该主数据在空间和/或内容上互补的辅数据进行融合识别，这样增加了主数据的识别信息，提高了聋哑人与普通人的信息交互过程中的识别语言信息的准确度。

可选的，本申请中该数据处理设备根据该主数据和辅数据进行融合识别时可以采用如下几种可能实现方式：

一种可能实现方式中，若该主数据为深度摄像头采集的手势数据，该辅数据为平面摄像头采集的手势数据，则该数据处理设备首先将该主数据与该辅数据进行时间同步处理；然后该数据处理设备会根据该深度摄像头采集的手势数据识别出手势轨迹作为该第一数据，并根据该平面摄像头采集的手势数据识别出手形细节作为该第二数据；然后该数据处理设备将该手势轨迹与该手形细节进行组合识别得到手语数据；该数据处理设备通过手语识别算法识别该手语数据得到文字数据，并将该文字数据作为该目标数据。

基于此种实现方式中，在该当前会话中，若该数据处理设备确定该第一数据采集设备对应的第一会话参与者为当前讲话人，即该数据处理设备确定该聋哑会话参与者为该当前讲话人，则该数据处理设备将该文字数据发送给该当前会话中的正常会话参与者对应的数据采集设备，该正常会话参与者对应的数据采集设备将播放该文字数据给该正常会话参与者，以使得该正常会话参与者可以获取到该聋哑会话参与者的语言信息。可选的，该数据处理设备还可以将该文字数据或该手语数据发送给该当前会话中的聋哑会话参与者对应的数据采集设备，该聋哑会话参与者对应的数据采集设备将为该聋哑会话参与者播放该手语数据，该手语数据由该数据处理设备将该文字数据与用于记录文字与手语的对应关系的预置数据库进行匹配得到。

另一种可能实现方式中，若该主数据为深度摄像头采集的手势数据，该辅数据为平面摄像头采集的手势数据，即该第一数据采集设备对应的第一会话参与者为聋哑会话参与者，则该数据处理设备首先将该主数据与该辅数据进行时间同步处理；然后该数据处理设备会根据该深度摄像头采集的手势数据识别出手势轨迹作为该第一数据，并根据该平面摄像头采集的手势数据识别出手形细节作为该第二数据；然后该数据处理设备将该手势轨迹与该手形细节进行组合识别得到手语数据；该数据处理设备通过手语识别算法识别该手语数据得到文字数据；然后该数据处理设备将该文字数据通过语音合成技术合成音频数据，然后将该音频数据作为该目标数据。

基于此种实现方式中，在该当前会话中，若该数据处理设备确定该第一数据采集设备对应的第一会话参与者为当前讲话人，即该数据处理设备确定该聋哑会话参与者为该当前讲话人，则该数据处理设备将该音频数据发送给该当前会话中的正常会话参与者对应的数据采集设备，该正常会话参与者对应的数据采集设备将播放该音频数据给该正常会话参与者，以使得该正常会话参与者可以获取到该聋哑会话参与者的语言信息。可选的，该数据处理设备还可以将该文字数据或该手语数据发送给该当前会话中的聋哑会话参与者对应的数据采集设备，该聋哑会话参与者对应的数据采集设备将为该聋哑会话参与者播放该手语数据，该手语数据由该数据处理设备将该文字数据与用于记录文字与手语的对应关系的预置数据库进行匹配得到。

在实际应用中，该数据处理设备可以向该聋哑会话参与者发送手语数据也可以向该聋哑会话参与者发送文字数据也可以两者都发送，只要可以保证该当前会话中的聋哑会话参与者可以明白当前会话的语言信息即可，具体方式此处不做限定。

本申请上述两种可能实现方式中，该聋哑会话参与者为作为当前讲话人的聋哑会话参与者。在实际应用中，该数据处理设备将该手语数据发送给作为当前讲话人的聋哑会话参与者对应的数据采集设备，即本申请中的该第一数据采集设备时，该作为当前讲话人的聋哑会话参与者在该第一数据采集设备播放了该手语数据之后，该作为当前讲话人的聋哑会话参与者可以判断该手语数据与自己想表达的意思是否相同，若相同，则该作为当前讲话人的聋哑会话参与者可以向该数据处理设备发送用于指示该数据处理设备对该主数据识别正确的反馈信息；若不相同，该作为当前讲话人的聋哑会话参与者可以向该数据处理设备发送用于指示该数据处理设备对该主数据识别错误的反馈信息并重复刚才的讲话。

另一种可能实现方式中，若该主数据为音频数据，该辅数据为包含唇语信息的视频数据；则该数据处理设备首先将该主数据与该辅数据进行时间同步处理；然后该数据处理设备将根据该音频数据得到第一语音序列作为该第一数据并实时计算峰值信噪比，同时该数据处理设备将根据该唇语信息得到第二语音序列作为该第二数据；然后该数据处理设备根据该峰值信噪比，该第一语音序列和该第二语音序列确定文字信息；最后该数据处理设备将该文字信息与用于记录文字与手语的对应关系的预置数据库进行匹配得到手语数据，并将该手语数据作为目标数据。

可选的，本申请中，该数据处理设备在根据该峰值信噪比，该第一语音序列和该第二语音序列确定该文字信息时，该数据处理设备可以采用如下方案：

一种可能实现方式中，该数据处理设备对该峰值信噪比设置第三阈值，即该数据处理设备在确定该峰值信噪比大于该第三阈值时，则该数据处理设备将该第一语音序列进行语句和语义分析生成该文字信息；若该数据处理设备确定该峰值信噪比小于或等于该第三阈值，则该数据处理设备将该第二语音序列进行语句和语义分析生成该文字信息。

本申请中，在该数据处理设备对该峰值信噪比设置该第三阈值时，此处仅举例了一种情况，在实际应用中，该数据处理设备也可以采用如下判断方式，比如，若该数据处理设备确定该峰值信噪比大于或等于该第三阈值时，该数据处理设备将该第一语音序列进行语句和语义分析生成该文字信息；若该数据处理设备确定该峰值信噪比小于该第三阈值，则该数据处理设备将该第二语音序列进行语句和语义分析生成该文字信息。当然，该数据处理设备同样也可以执行如下方案：若该数据处理设备该峰值信噪比大于该第三阈值时，该数据处理设备将该第一语音序列进行语句和语义分析生成该文字信息；若该数据处理设备确定该峰值信噪比小于该第三阈值，则该数据处理设备将该第二语音序列进行语句和语义分析生成该文字信息；若该数据处理设备该峰值信噪比等于该第三阈值时，该数据处理设备将该第二语音序列和该第一语音序列进行融合进行语句和语义分析生成该文字信息。具体方式此处不做限定。

另一种可能实现方式中，该数据处理设备可以为该峰值信噪比设置一个上限和一个下限，即本申请中的第四阈值和第五阈值，该第五阈值小于该第四阈值。这时，若该数据处理设备确定该峰值信噪比大于第四阈值，则该数据处理设备将该第一语音序列进行语句和语义分析生成该文字信息；若该数据处理设备确定该峰值信噪比小于第五阈值，则该数据处理设备将该第二语音序列进行语句和语义分析生成该文字信息，该第五阈值小于该第四阈值；若该数据处理设备确定该峰值信噪比小于或等于该第四阈值，且大于或等于该第五阈值，则该数据处理设备将该第一语音序列和该第二语音序列综合进行语句和语义分析生成该文字信息。

基于上述实现方式中，在该当前会话中，若该数据处理设备确定该第一数据采集设备对应的第一会话参与者为当前讲话人，即该数据处理设备确定该正常会话参与者为该当前讲话人，则该数据处理设备将该手语数据发送给该当前会话中的普通会话参与者对应的数据采集设备，以使得该当前会话中的普通会话参与者对应的数据采集设备向该当前会话中的聋哑会话参与者展示该手语数据；或，该数据处理设备将该手语数据发送给该当前会话中的聋哑会话参与者对应的数据采集设备，以使得该当前会话中的聋哑会话参与者对应的数据采集设备播放该手语数据。

在实际应用中，该数据处理设备在确定该第一数据采集设备对应的第一会话参与者是否为当前讲话人时，该数据处理设备可以事先根据该第一数据采集设备的标识确认其主数据是否为空；若该数据处理设备确定该第一数据采集设备发送的主数据不为空，即包含有有效的语言信息，则该数据处理设备判断该第一数据采集设备发送的主数据识别出来的语言数据的识别时刻是否为当前会话中的最早时刻，若是，则确定该第一数据采集设备对应的第一会话参与者为当前讲话人。当然在实际应用中，若该数据处理设备发现当前会话中发送了不为空的主数据的数据采集设备对应的会话参与者均为正常会话参与者，则该数据处理设备也可以根据各主数据的声强确定当前讲话人，比如该数据处理设备可以选择声强最大的作为当前讲话人。

在实际应用中，该数据处理设备可以向该聋哑会话参与者发送手语数据也可以向该聋哑会话参与者发送文字数据也可以两者都发送，只要可以保证该当前会话中的聋哑会话参与者可以明白当前会话的语言信息即可，具体方式此处不做限定。

本申请提供的技术方案中，该数据处理设备针对不同的数据可以实施不同的处理方法，从而提高数据的识别准确度。同时，在聋哑会话参与者作为当前讲话人时，该数据处理设备在将该手语数据识别转化为正常会话参与者可以识别的数据之后，还可以将识别后的数据再次转化为手语数据反馈给该聋哑会话参与者，使得聋哑会话参与者反馈识别结果，从而对预置数据库进行实时训练，进而提高手语数据的识别准确度。

可选的，该数据处理设备在获取该当前会话的第一数据采集设备的主数据和辅数据包括：

该数据处理设备接收当前会话中第一数据采集设备发送的语言信息集合；然后该数据处理设备从该语言信息集合中确定该第一数据采集设备的主数据；最后该数据处理设备根据该主数据确定该辅数据。

可选的，在该数据处理设备确定该主数据的辅数据时，该数据处理设备可以采用如下规则：

该数据处理设备先确定该第一数据采集设备对应的第一会话参与者，然后该数据处理设备以该第一会话参与者的凝视视线为X轴，在与该第一会话参与者垂直的平面内构成坐标图；在该坐标图内，该数据处理设备将处于该坐标图的第一象限和第四象限的数据采集设备构成备选数据采集设备集合，然后该数据处理设备将备选数据采集设备集合中的各个数据采集设备进行逐一进行检查判断该备选数据采集设备集合中的各个数据采集设备对应的夹角内是否存在该第一数据采集设备对应的第一会话参与者，而各个数据采集设备对应的夹角是由该数据处理设备以该各个数据采集设备对应的会话参与者的凝视视线为中心，在与该各个数据采集设备对应的会话参与者垂直的平面内构成。

本实施例中，该夹角可以90度的直角也可以为其他事先设置的角度，具体的数值可以根据实际应用情况进行设置，此处不做限定。

本申请提供的技术方案中，该数据处理设备根据空间和/或内容上的互补原则选择了该主数据对应的辅数据，可以有效的提高该主数据的识别准确度。

可选的，若该数据处理设备在根据空间和/或内容上的互补原则确定了辅数据对应的数据采集设备之后，若该数据处理设备确定该辅数据对应的数据采集设备的数量超过预定阈值或者是该数据处理设备确定识别复杂度超过了预定阈值，该数据处理设备可以综合考虑识别准确度和识别复杂度从已确定的数据采集设备中再次选择提供最终的数据采集设备，然后将该最终数据采集设备发送的数据作为辅数据。本申请中，该数据处理设备在综合考虑识别准确度和识别复杂度可以根据识别准确度大于第一阈值且识别复杂度小于第二阈值的原则。当然也可以直接确定识别准确度，然后在满足识别准确度的情况下选择识别复杂度最小的原则，或者是在确定识别复杂度，然后在满足识别复杂度的情况下选择识别准确度最高的原则。本申请仅提供了部分选择原则，具体的方式，此处不做限定。

本申请提供的技术方案中，该数据处理设备可以根据实际情况调整识别过程中的数据选择，可以有效的提高处理效率。

可选的，该数据处理设备从该语言信息集合中确定该主数据可以采用如下方式，该数据处理设备会获取该第一数据采集设备的标识，该标识用于指示该第一数据采集设备对应的第一会话参与者的属性，其中该第一会话参与者的属性可以为正常会话参与者或聋哑会话参与者。然后，该数据处理设备可以根据该第一数据采集设备的标识从该语言信息集合中确定该第一数据采集设备的主数据。

可选的，该数据处理设备根据该第一数据采集设备的标识从该语言信息集合中确定该主数据包括：若该第一数据采集设备的标识指示该第一数据采集设备对应的第一会话参与者为聋哑会话参与者，则该数据处理设备确定该语言信息集合中的手语视频数据为该主数据；若该第一数据采集设备的标识指示该第一数据采集设备对应的第一会话参与者为正常会话参与者，则该数据处理设备确定该语言信息集合中的音频数据为该主数据。

本申请中该第一数据采集设备的语言信息集合包括该第一数据采集设备的第一会话参与者自己产生的语言信息以及该当前会话中其他数据采集设备的会话参与者产生的语言信息。同时该第一数据采集设备的标识也可以是由该第一数据采集设备自身发送，此处只要该数据处理设备获取到该第一数据采集设备的标识即可，具体此处不做限定。

本申请提供的技术方案中，该数据处理设备根据该第一数据采集设备对应的第一会话参与者的属性确定该第一数据采集设备的主数据，可以有效的提高数据处理效率。

可选的，该第一数据采集设备对应的第一会话参与者由该当前会话的会话创建人对应的数据采集设备根据处于自身的WIFI范围内的数据采集设备确定；或，该第一数据采集设备对应的第一会话参与者为接受该当前会话的会话创建人对应的数据采集设备发送的会话请求的数据采集设备对应的用户；或，该第一数据采集设备对应的第一会话参与者为扫描该当前会话的会话创建人对应的数据采集设备生成的二维码信息的数据采集设备对应的用户。

本申请提供的技术方案中，该第一数据采集设备对应的第一会话参与者参与到该当前会话中的方式可以多样化，提高了当前会话的组建效率。

可选的，本申请中的数据采集设备为AR眼镜。在实际应用中，也可以应用于其他可能装备中，只要可以支持本申请提供的技术方案即可。

第二方面，本申请提供一种数据处理设备，该数据处理设备具有实现上述方法中数据处理设备的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。

一种可能实现方式中，该数据处理设备包括：

处理模块，用于获取当前会话中第一数据采集设备的主数据和辅数据，所述主数据和所述辅数据为在空间和/或内容上互补的数据，所述当前会话中包括至少两个数据采集设备，所述第一数据采集设备为所述至少两个数据采集设备中的任意一个；对该主数据和该辅数据进行融合识别得到对应的目标数据。

另一种可能实现方式中，该数据处理设备包括：

收发器，处理器，总线；

该收发器与该处理器通过该总线相连；

该处理器，执行如下步骤：

获取当前会话中第一数据采集设备的主数据和辅数据，所述主数据和所述辅数据为在空间和/或内容上互补的数据，所述当前会话中包括至少两个数据采集设备，所述第一数据采集设备为所述至少两个数据采集设备中的任意一个；对该主数据和该辅数据进行融合识别得到对应的目标数据。

第三方面，本申请提供一种数据处理系统，该数据处理系统包括数据处理设备以及数据采集设备，其中该数据处理设备包括：

处理模块，用于获取当前会话中第一数据采集设备的主数据和辅数据，所述主数据和所述辅数据为在空间和/或内容上互补的数据，所述当前会话中包括至少两个数据采集设备，所述第一数据采集设备为所述至少两个数据采集设备中的任意一个；对该主数据和该辅数据进行融合识别得到对应的目标数据。

该数据采集设备，用于采集当前会话中的语言信息。

第四方面，本申请提供一种计算机可读存储介质，包括指令，当该指令在计算机上运行时，该计算机执行上述各项该的方法。

第五方面，本申请提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，该计算机执行上述各项该的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：该数据处理设备获取与该第一数据采集设备的主数据在空间和/或内容上互补的辅数据，然后对该第一数据采集设备的主数据和该辅数据进行融合识别，得到该主数据的目标数据。即该数据处理设备在识别该主数据时，增加了该主数据和语言信息，进而提高该主数据的识别准确度。

附图说明

图1为聋哑人与普通人交流的流程示意图；

图2为本申请实施例中数据处理方法的一个实施例示意图；

图3为本申请实施例中确定辅数据的一个示意图；

图4为本申请实施例中确定辅数据的另一个示意图；

图5为本申请实施例中数据处理方法的另一个实施例示意图；

图6为本申请实施例中数据处理方法的另一个实施例示意图；

图7为本申请实施例中数据处理设备的一个实施例示意图；

图8为本申请实施例中数据处理设备的另一个实施例示意图；

图9为本申请实施例中数据处理系统的一个实施例示意图。

具体实施方式

本申请实施例提供了一种数据处理方法和数据处理设备，用于提高聋哑人与普通人的信息交互过程中的识别语言信息的准确度。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

聋哑人与普通人交流主要通过手语，而现实中懂手语的普通人很少，这就造成了聋哑人与不懂手语的普通人之间交流存在巨大障碍。要解决这个障碍，技术上需要完成手语识别和手语合成两个处理。如图1所示的聋哑人与普通人的交流过程，聋哑人在影像设备或可穿戴设备前进行手语操作，然后该影像设备或可穿戴设备进行手语跟踪采集，然后通过算法/神经网络/样本库的方法完成识别，再通过平板/电脑等设备播放声音或文字，而正常人在回复该聋哑人时，也需要通过影像设备或可穿戴设备对正常人的语音或文字进行采集，然后把语音或者文字转化为聋哑人能识别的手语，并通过卡通手语等数字化方式在平板等设备显示呈现出来。但目前的技术方案中手语信息或语言信息通常仅为单一的数据或由单一的设备采集数据，比如，手语信息仅由单一的摄像头进行采集，而由于单一摄像头获取的手势信息有限，进而导致手语信息的识别不够精确。

而为了解决这一问题，本申请提供如下技术方案：该数据处理设备接收该当前会话中的第一数据采集设备发送的语言信息集合，该第一数据采集设备为该至少两个数据采集设备中的任意一个；然后该数据处理设备从该语言信息集合中确定该第一数据采集设备的主数据；再然后该数据处理设备根据该第一数据采集设备的主数据确定该主数据对应的辅数据；最后该数据处理设备根据该主数据和该辅数据融合识别该主数据对应的目标数据。

下面请参阅图2所示，本申请实施例中数据处理方法的一个实施例，包括：

201、该数据处理设备获取当前会话中该第一数据采集设备的标识。

在当前会话组建完成之后，该数据处理设备获取该第一数据采集设备的标识，该标识用于指示该第一数据采集设备对应的第一会话参与者的属性，其中该第一会话参与者的属性可以为正常会话参与者或聋哑会话参与者。

本实施例中，该第一数据采集设备对应的第一会话参与者由该当前会话的会话创建人对应的数据采集设备根据处于自身的WIFI范围内的数据采集设备确定；或，该第一数据采集设备对应的第一会话参与者为接受该当前会话的会话创建人对应的数据采集设备发送的会话请求的数据采集设备对应的用户；或，该第一数据采集设备对应的第一会话参与者为扫描该当前会话的会话创建人对应的数据采集设备生成的二维码信息的数据采集设备对应的用户。本实施例中，该第一数据采集设备对应的第一会话参与者参与到该当前会话中的方式可以多样化包含但不限于上述举例的方法，具体实施方式此处不做限定。比如，假如当前会话的会话创建人为小明，当前会话中的数据采集设备为AR眼镜，则小明可以在其自身配备的AR眼镜的WIFI范围内搜索是否存在是自身想要交流的用户使用的AR眼镜，若存在，则小明可以直接将该用户的AR眼镜直接加入当前会话。当然小明也可以直接搜索自己想交流的用户，然后向该用户的AR眼镜发送会话请求。若小明为一个老师且使用当前会话进行教学，则小明可以直接将该当前会话的二维码或者会话号码向学生进行展示，学生就可以通过扫描二维码或者是输入会话号码加入该当前会话。

本实施例中，该当前会话中包含至少两个数据采集设备，而本实施例中的第一数据采集设备是该至少两个数据采集设备中的任意一个。同时本实施例中的第一或第二并没有限定该数据采集设备的前后顺序，仅用于指示数据采集设备之间的不同。

202、该数据处理设备接收该第一数据采集设备发送的语言信息集合。

该第一数据采集设备在当前会话中采集相应的语言信息并实时将该语言信息发送给该第一数据采集设备相连的该数据处理设备生成语言信息集合。

本申请中该第一数据采集设备的语言信息集合包括该第一数据采集设备的第一会话参与者自己产生的语言信息以及该当前会话中其他数据采集设备的会话参与者产生的语言信息。比如假设小明创建的当前会话中包含了三个会话参与者为小明，小红和小刚，其中小明为聋哑会话参与者，小红与小刚为正常会话参与者。在同一时刻，小明的语言信息集合中将包括了手语视频数据，以及两个唇语视频数据；小红和小刚的语言信息集合中将各包括了一个音频数据以及两个视频数据。

203、该数据处理设备根据该第一数据采集设备的标识从该语言信息集合中确定主数据。

该数据处理设备根据该第一数据采集设备的标识从该语言信息集合中确定主数据，若该第一数据采集设备的标识指示该第一数据采集设备对应的第一会话参与者为聋哑会话参与者，则该数据处理设备确定该语言信息集合中的手语视频数据为该主数据；若该第一数据采集设备的标识指示该第一数据采集设备对应的第一会话参与者为正常会话参与者，则该数据处理设备确定该语言信息集合中的音频数据为该主数据。

比如假设小明在该AR眼镜上通过某聊天软件创建了当前会话，且小明在该聊天软件中确定自身AR眼镜的标识为聋哑会话参与者，同理，小红和小刚也别在该聊天软件中确定自身AR眼镜的标识均为正常会话参与者。则该数据处理设备根据小明的AR眼镜的标识获知小明为聋哑会话参与者，则该数据处理设备确定小明的语言信息集合中的手语视频数据为主数据。同理，该数据处理设备根据小红和小刚的AR眼镜的标识获知小红和小刚为正常会话参与者，则该数据处理设备确定小红的语言信息集合中的音频数据为小红的主数据，确定小刚的语言信息集合中的音频数据为小刚的主数据。

在本实施例中，该AR眼镜的标识是根据使用者的属性的变化进行变化的，并不代表着该AR眼镜的属性。

204、该数据处理设备根据该主数据确定辅数据。

该数据处理设备在确定了该第一数据处理设备的主数据之后，根据事先设置的规则确定该主数据的辅数据，该辅数据与该主数据为空间和/或内容上互补的数据。

在实际应用中，本实施例中的该辅数据与该主数据可以是如下关系：假设小明的主数据为AR眼镜上的深度摄像头采集到的手语数据；而同一时刻，小红的AR眼镜上的平面摄像头对小明的手语数据也会进行采集，小刚的AR眼镜上的平面摄像头对小明的手语数据也会进行采集。这时由于小红与小刚相对于小明的位置不同，采集到的手语数据也是不同角度拍摄的手语数据，但是在内容上与小明自身AR眼镜上采集到的手语数据是相似的，都是用于表示小明在当前时刻的手语信息。此处仅表示了一种空间和/或内容上的互补关系，但在实际应用中并不限于这一种关系。

本实施例中，该数据处理设备先确定该第一数据采集设备对应的第一会话参与者，然后该数据处理设备以该第一会话参与者的凝视视线为X轴，在与该第一会话参与者垂直的平面内构成坐标图，如图3所示；在该坐标图内，该数据处理设备将处于该坐标图的第一象限和第四象限的数据采集设备构成备选数据采集设备集合，然后该数据处理设备将备选数据采集设备集合中的各个数据采集设备进行逐一进行检查判断该备选数据采集设备集合中的各个数据采集设备对应的夹角内是否存在该第一数据采集设备对应的第一会话参与者，而各个数据采集设备对应的夹角是由该数据处理设备以该各个数据采集设备对应的会话参与者的凝视视线为中心，在与该各个数据采集设备对应的备选会话参与者垂直的平面内构成，如图4所示。

本实施例中，该夹角可以90度的直角也可以为其他事先设置的角度，具体的数值可以根据实际应用情况进行设置，此处不做限定。

可选的，若该数据处理设备在根据空间和/或内容上的互补原则确定了辅数据对应的数据采集设备之后，若该数据处理设备确定该辅数据对应的数据采集设备的数量超过预定阈值或者是该数据处理设备确定识别复杂度超过了预定阈值，该数据处理设备可以综合考虑识别准确度和识别复杂度从已确定的数据采集设备中再次选择提供最终的数据采集设备，然后将该最终数据采集设备发送的数据作为辅数据。本申请中，该数据处理设备在综合考虑识别准确度和识别复杂度可以根据识别准确度大于第一阈值且识别复杂度小于第二阈值的原则。当然也可以直接确定识别准确度，然后在满足识别准确度的情况下选择识别复杂度最小的原则，或者是在确定识别复杂度，然后在满足识别复杂度的情况下选择识别准确度最高的原则。本申请仅提供了部分选择原则，具体的方式，此处不做限定。

比如，在实施应用中，假设该当前会话中的会话参与者为小明，小红和小刚，且目前在识别小明的主数据。该数据处理设备则会以小明的凝视视线为中心，在垂直于小明的平面内为构成一个坐标图，这时数据处理设备可以判断小红和小刚是否存在于该坐标图的第一象限或者是第四象限内；若小红存在，则确定小红为备选的数据采集设备；然后以小红的凝视视线为中心，在垂直于小红的平面为展开一个夹角，这时该数据处理设备可以判断小明是否位于于该夹角范围内，若小明位于该夹角范围内，则该数据处理设备确定小红的AR眼镜发送的包含手语数据的视频数据为小明的手语视频数据的辅数据。

205、该数据处理设备对该主数据和该辅数据进行融合识别得到对应的目标数据。

该数据处理设备在获取到该主数据和该辅数据之后，该数据处理设备将该主数据与该辅数据进行同步处理，这里的同步处理方法可以采用唇同步方法；然后该数据处理设备分别对该主数据和该辅数据进行处理，即该数据处理设备根据该主数据得到第一数据，根据该辅数据得到第二数据；最后该数据处理设备再根据该第一数据和该第二数据得到该目标数据。

可选的，本申请中该数据处理设备根据该主数据和辅数据进行融合识别时可以采用如下几种可能实现方式：

一种可能实现方式中，若该主数据为深度摄像头采集的手势数据，该辅数据为平面摄像头采集的手势数据，即该第一数据采集设备对应的第一会话参与者为聋哑会话参与者，则该数据处理设备会根据该深度摄像头采集的手势数据识别出手势轨迹作为该第一数据，并根据该平面摄像头采集的手势数据识别出手形细节作为该第二数据；然后该数据处理设备将该手势轨迹与该手形细节进行组合识别得到手语数据；该数据处理设备通过手语识别算法识别该手语数据得到文字数据，并将该文字数据作为该目标数据。

另一种可能实现方式中，若该主数据为深度摄像头采集的手势数据，该辅数据为平面摄像头采集的手势数据，即该第一数据采集设备对应的第一会话参与者为聋哑会话参与者，则该数据处理设备会根据该深度摄像头采集的手势数据识别出手势轨迹作为该第一数据，并根据该平面摄像头采集的手势数据识别出手形细节作为该第二数据；然后该数据处理设备将该手势轨迹与该手形细节进行组合识别得到手语数据；该数据处理设备通过手语识别算法识别该手语数据得到文字数据；然后该数据处理设备将该文字数据通过语音合成技术合成音频数据，然后将该音频数据作为该目标数据。

另一种可能实现方式中，若该主数据为音频数据，该辅数据为包含唇语信息的视频数据，即该第一数据采集设备对应的第一会话参与者为正常会话参与者，即该第一数据采集设备对应的第一会话参与者为正常会话参与者；该数据处理设备将根据该音频数据得到第一语音序列作为该第一数据并实时计算峰值信噪比，同时该数据处理设备将根据该唇语信息得到第二语音序列作为该第二数据；然后该数据处理设备根据该峰值信噪比，该第一语音序列和该第二语音序列确定文字信息；最后该数据处理设备将该文字信息与用于记录文字与手语的对应关系的预置数据库进行匹配得到手语数据，并将该手语数据作为目标数据。

在该数据处理设备根据该峰值信噪比，该第一语音序列和该第二语音序列确定文字信息时，还可以采用如下方式：

一种可能实现方式中，该数据处理设备对该峰值信噪比设置第三阈值，即该数据处理设备在确定该峰值信噪比大于该第三阈值时，则该数据处理设备将该第一语音序列进行语句和语义分析生成该文字信息；若该数据处理设备确定该峰值信噪比小于或等于该第三阈值，则该数据处理设备将该第二语音序列进行语句和语义分析生成该文字信息。

本实施例中，在该数据处理设备对该峰值信噪比设置该第三阈值时，此处仅举例了一种情况，在实际应用中，该数据处理设备也可以采用如下判断方式，比如，若该数据处理设备确定该峰值信噪比大于或等于该第三阈值时，该数据处理设备将该第一语音序列进行语句和语义分析生成该文字信息；若该数据处理设备确定该峰值信噪比小于该第三阈值，则该数据处理设备将该第二语音序列进行语句和语义分析生成该文字信息。当然，该数据处理设备同样也可以执行如下方案：若该数据处理设备该峰值信噪比大于该第三阈值时，该数据处理设备将该第一语音序列进行语句和语义分析生成该文字信息；若该数据处理设备确定该峰值信噪比小于该第三阈值，则该数据处理设备将该第二语音序列进行语句和语义分析生成该文字信息；若该数据处理设备该峰值信噪比等于该第三阈值时，该数据处理设备将该第二语音序列和该第一语音序列进行融合进行语句和语义分析生成该文字信息。具体方式此处不做限定。

另一种可能实现方式中，该数据处理设备可以为该峰值信噪比设置一个上限和一个下限，即本申请中的第四阈值和第五阈值，该第五阈值小于该第四阈值。这时，若该数据处理设备确定该峰值信噪比大于第四阈值，则该数据处理设备将该第一语音序列进行语句和语义分析生成该文字信息；若该数据处理设备确定该峰值信噪比小于第五阈值，则该数据处理设备将该第二语音序列进行语句和语义分析生成该文字信息，该第五阈值小于该第四阈值；若该数据处理设备确定该峰值信噪比小于或等于该第四阈值，且大于或等于该第五阈值，则该数据处理设备将该第一语音序列和该第二语音序列综合进行语句和语义分析生成该文字信息。

本实施例中，该数据处理设备与该当前会话中的多个数据采集设备可以构成一个数据处理系统，该数据处理系统可以应用于聋哑人与正常人的交流场景中。本实施例提供的技术方案中，该数据处理设备获取与该第一数据采集设备的主数据在空间和/或内容上互补的辅数据，然后对该第一数据采集设备的主数据和该辅数据进行融合识别，得到该主数据的目标数据。即该数据处理设备在识别该主数据时，增加了该主数据和语言信息，进而提高该主数据的识别准确度。

在实际应用中，该数据处理方法可以应用于聋哑会话参与者与正常会话参与者的交流场景中。并且该数据处理设备根据该第一数据采集设备对应的第一会话参与者在该当前会话中的不同属性和不同的会话角色具有不同的操作，而该数据处理设备在判断该第一会话参与者的会话角色时，可以采用如下方式：

该数据处理设备可以事先根据该第一数据采集设备的标识确认其主数据是否为空；若该数据处理设备确定该第一数据采集设备发送的主数据不为空，即包含有有效的语言信息，则该数据处理设备判断该第一数据采集设备发送的主数据识别出来的语言数据的识别时刻是否为当前会话中的最早时刻，若是，则确定该第一数据采集设备对应的第一会话参与者为当前讲话人。当然在实际应用中，若该数据处理设备发现当前会话中发送了不为空的主数据的数据采集设备对应的会话参与者均为正常会话参与者，则该数据处理设备也可以根据各主数据的声强确定当前讲话人，比如该数据处理设备可以选择声强最大的作为当前讲话人。

下面以实际应用场景进行更详细的说明：

一、该第一数据采集设备对应的第一会话参与者为当前讲话人，且该第一会话参与者的属性为聋哑会话参与者；

501、该数据处理设备获取当前会话中该第一数据采集设备的标识。

在当前会话组建完成之后，该数据处理设备获取该第一数据采集设备的标识，该标识用于指示该第一数据采集设备对应的第一会话参与者的属性，其中该第一会话参与者的属性为聋哑会话参与者。

本实施例中，该第一数据采集设备对应的第一会话参与者由该当前会话的会话创建人对应的数据采集设备根据处于自身的WIFI范围内的数据采集设备确定；或，该第一数据采集设备对应的第一会话参与者为接受该当前会话的会话创建人对应的数据采集设备发送的会话请求的数据采集设备对应的用户；或，该第一数据采集设备对应的第一会话参与者为扫描该当前会话的会话创建人对应的数据采集设备生成的二维码信息的数据采集设备对应的用户。本实施例中，该第一数据采集设备对应的第一会话参与者参与到该当前会话中的方式可以多样化包含但不限于上述举例的方法，具体实施方式此处不做限定。比如，在本实施例中，以小明的AR眼镜为该第一数据采集设备，小明为该第一会话参与者，即小明为聋哑会话参与者。假如当前会话的会话创建人为小明，当前会话中的数据采集设备为AR眼镜，则小明可以在其自身配备的AR眼镜的WIFI范围内搜索是否存在是自身想要交流的用户使用的AR眼镜，若存在，则小明可以直接将该用户的AR眼镜直接加入当前会话。当然小明也可以直接搜索自己想交流的用户，然后向该用户的AR眼镜发送会话请求。若小明为一个老师且使用当前会话进行教学，则小明可以直接将该当前会话的二维码或者会话号码向学生进行展示，学生就可以通过扫描二维码或者是输入会话号码加入该当前会话。

本实施例中，该当前会话中包含至少两个数据采集设备，而本实施例中的第一数据采集设备是该至少两个数据采集设备中的任意一个。同时本实施例中的第一或第二并没有限定该数据采集设备的前后顺序，仅用于指示数据采集设备之间的不同。

502、该数据处理设备接收该第一数据采集设备发送的语言信息集合。

该第一数据采集设备在当前会话中采集相应的语言信息并实时将该语言信息发送给该第一数据采集设备相连的该数据处理设备生成语言信息集合。

本申请中该第一数据采集设备的语言信息集合包括该第一数据采集设备的第一会话参与者自己产生的语言信息以及该当前会话中其他数据采集设备的会话参与者产生的语言信息。比如假设小明创建的当前会话中包含了三个会话参与者为小明，小红和小刚，其中小明为聋哑会话参与者，小红与小刚为正常会话参与者。在同一时刻，小明的语言信息集合中将包括了手语视频数据，以及两个唇语视频数据；小红和小刚的语言信息集合中将各包括了一个音频数据以及两个视频数据。这里可以理解的是，小明的语言信息集合中中的两个唇语视频数据可以一份唇语视频数据但是同时包含了小红和小刚的唇语信息；同理，小红的语言信息集合中除了自身的音频数据之外包括的视频数据可以同时包括小明的手语信息和小刚的唇语信息；小刚的语言信息集合中除了自身的音频数据之外包括的视频数据可以同时包括小明的手语信息和小红的唇语信息

503、该数据处理设备根据该第一数据采集设备的标识从该语言信息集合中确定手语视频数据为主数据。

该数据处理设备根据该第一数据采集设备的标识从该语言信息集合中确定主数据，由于该第一数据采集设备的标识指示该第一数据采集设备对应的第一会话参与者为聋哑会话参与者，则该数据处理设备确定该语言信息集合中的手语视频数据为该主数据。

本实施例中，该当前会话中除了该第一数据采集设备的其他数据采集设备同样也会给该数据处理设备发送归属于各自的语言信息集合，在同一时刻该其他数据处理设备也存在各自的主数据。

比如假设小明在该AR眼镜上通过某聊天软件创建了当前会话，且小明在该聊天软件中确定自身AR眼镜的标识为聋哑会话参与者，同理，小红和小刚也别在该聊天软件中确定自身AR眼镜的标识均为正常会话参与者。则该数据处理设备根据小明的AR眼镜的标识获知小明为聋哑会话参与者，则该数据处理设备确定小明的语言信息集合中的手语视频数据为主数据。同理，该数据处理设备根据小红和小刚的AR眼镜的标识获知小红和小刚为正常会话参与者，则该数据处理设备确定小红的语言信息集合中的音频数据为小红的主数据，确定小刚的语言信息集合中的音频数据为小刚的主数据。

在本实施例中，该AR眼镜的标识是根据使用者的属性的变化进行变化的，并不代表着该AR眼镜的属性。

504、该数据处理设备根据该手语视频数据确定辅数据。

该数据处理设备在确定了该第一数据处理设备的主数据为手语视频数据之后，根据事先设置的规则确定该手语视频数据的辅数据，该辅数据与该主数据为空间和/或内容上互补的数据。

在实际应用中，本实施例中的该辅数据与该主数据可以是如下关系：假设小明的主数据为AR眼镜上的深度摄像头采集到的手语数据；而同一时刻，小红的AR眼镜上的平面摄像头对小明的手语数据也会进行采集，小刚的AR眼镜上的平面摄像头对小明的手语数据也会进行采集。这时由于小红与小刚相对于小明的位置不同，采集到的手语数据也是不同角度拍摄的手语数据，但是在内容上与小明自身AR眼镜上采集到的手语数据是相似的，都是用于表示小明在当前时刻的手语信息。此处仅表示了一种空间和/或内容上的互补关系，但在实际应用中并不限于这一种关系。

本实施例中，该数据处理设备先确定该第一数据采集设备对应的第一会话参与者，然后该数据处理设备以该第一会话参与者的凝视视线为X轴，在与该第一会话参与者垂直的平面内构成坐标图，如图3所示；在该坐标图内，该数据处理设备将处于该坐标图的第一象限和第四象限的数据采集设备构成备选数据采集设备集合，然后该数据处理设备将备选数据采集设备集合中的各个数据采集设备进行逐一进行检查判断该备选数据采集设备集合中的各个数据采集设备对应的夹角内是否存在该第一数据采集设备对应的第一会话参与者，而各个数据采集设备对应的夹角是由该数据处理设备以该各个数据采集设备对应的会话参与者的凝视视线为中心，在与该各个数据采集设备对应的会话参与者垂直的平面内构成，如图4所示。

本实施例中，该夹角可以90度的直角也可以为其他事先设置的角度，具体的数值，此处不做限定。

可选的，若该数据处理设备在根据空间和/或内容上的互补原则确定了辅数据对应的数据采集设备之后，若该数据处理设备确定该辅数据对应的数据采集设备的数量超过预定阈值或者是该数据处理设备确定识别复杂度超过了预定阈值，该数据处理设备可以综合考虑识别准确度和识别复杂度从已确定的数据采集设备中再次选择提供最终的数据采集设备，然后将该最终数据采集设备发送的数据作为辅数据。本申请中，该数据处理设备在综合考虑识别准确度和识别复杂度可以根据识别准确度大于第一阈值且识别复杂度小于第二阈值的原则。当然也可以直接确定识别准确度，然后在满足识别准确度的情况下选择识别复杂度最小的原则，或者是在确定识别复杂度，然后在满足识别复杂度的情况下选择识别准确度最高的原则。本申请仅提供了部分选择原则，具体的方式，此处不做限定。

本实施例中的辅数据的选择规则并不限于上述举例的辅数据的选择规则，具体方式此处不做限定。

比如，在实施应用中，假设该当前会话中的会话参与者为小明，小红和小刚，且目前在识别小明的主数据。该数据处理设备则会以小明的凝视视线为中心，在垂直于小明的平面内为构成一个坐标图，这时数据处理设备可以判断小红和小刚是否存在于该坐标图的第一象限或者是第四象限内；若小红存在，则确定小红为备选的数据采集设备；然后以小红的凝视视线为中心，在垂直于小红的平面为展开一个夹角，这时该数据处理设备可以判断小明是否位于于该夹角范围内，若小明位于该夹角范围内，则该数据处理设备确定小红的AR眼镜发送的包含手语数据的视频数据为小明的手语视频数据的辅数据。

505、该数据处理设备对该手语视频数据和该辅数据进行融合识别得到对应的目标数据。

该数据处理设备在获取到该手语视频数据和该辅数据之后，该数据处理设备将该手语视频数据与该辅数据进行同步处理，这里的同步处理方法可以采用唇同步方法；然后该数据处理设备分别对该手语视频数据和该辅数据进行处理，即该数据处理设备根据该手语视频数据得到第一数据，根据该辅数据得到第二数据；最后该数据处理设备再根据该第一数据和该第二数据得到该目标数据。

可选的，本申请中该数据处理设备根据该手语视频数据和辅数据进行融合识别时可以采用如下几种可能实现方式：

一种可能实现方式中，若该主数据为深度摄像头采集的手势数据，该辅数据为平面摄像头采集的手势数据，即该第一数据采集设备对应的第一会话参与者为聋哑会话参与者，则该数据处理设备会根据该尝试摄像头采集的手势数据识别出手势轨迹作为该第一数据，并根据该平面摄像头采集的手势数据识别出手形细节作为该第二数据；然后该数据处理设备将该手势轨迹与该手形细节进行组合识别得到手语数据；该数据处理设备通过手语识别算法识别该手语数据得到文字数据，并将该文字数据作为该目标数据。

另一种可能实现方式中，若该主数据为深度摄像头采集的手势数据，该辅数据为平面摄像头采集的手势数据，即该第一数据采集设备对应的第一会话参与者为聋哑会话参与者，则该数据处理设备会根据该尝试摄像头采集的手势数据识别出手势轨迹作为该第一数据，并根据该平面摄像头采集的手势数据识别出手形细节作为该第二数据；然后该数据处理设备将该手势轨迹与该手形细节进行组合识别得到手语数据；该数据处理设备通过手语识别算法识别该手语数据得到文字数据；然后该数据处理设备将该文字数据通过语音合成技术合成音频数据，然后将该音频数据作为该目标数据。

比如，小明在上午8点15分用手语表示了“我们待会去图书馆怎么样？”这一语言信息，则小明佩戴的AR眼镜的深度摄像头采集了用于表示“我们待会去图书馆怎么样？”这一语言信息的手势数据作为主数据；同一时刻，小红的AR眼镜利用自身的平面摄像头也采集了小明表示“我们待会去图书馆怎么样？”这一语言信息的手势数据作为辅数据。最后数据处理设备将小明发送的主数据和小红发送辅数据进行同步处理，即将两者之间数据的时间进行同步。比如该数据处理设备在8点16分接收到的小明的AR眼镜在8点15分发送的“我们待会去图书馆怎么样？”这一语言信息的手语数据，而该数据处理设备在8点17分接收到的小红的AR眼镜在8点15分发送了“我们待会去图书馆怎么样？”这一语言信息的手语数据，若两个数据的接收时间并未超过预置的缓存时间，则该数据处理设备可以将两者时间同步处理，确定这两个数据为小明在8点15分用手语表示了“我们待会去图书馆怎么样？”这一语言信息。这里数据处理设备对两者之间的数据进行同步处理时可以采用唇同步技术，但是此处的同步方式不做限定。然后数据处理设备根据小明的AR眼镜发送的手势数据得到手势轨迹，根据小红的AR眼镜发送的手势数据得到手形细节，最后该数据处理设备将该手势轨迹与该手形细节进行组合识别得到手语数据，并根据手语识别算法识别该手语数据得到“我们待会去图书馆怎么样？”这一语言信息的文字数据。该数据处理设备在得到该“我们待会去图书馆怎么样？”这一语言信息的文字数据之后，该数据处理设备可以直接将该文字数据作为目标数据，也可以再通过语音合成技术将该“我们待会去图书馆怎么样？”这一语言信息的文字数据合成音频数据，并将该音频数据作为该目标数据。

506、该数据处理设备将该目标数据发送至当前会话中的正常会话参与者对应的数据采集设备。

该数据处理设备获取到该第一数据采集设备的主数据对应的目标数据之后，将该目标数据发送给该当前会话中的正常会话参与者对应的数据采集设备。

本实施例中，该数据处理设备可以将该文字数据或者根据该文字数据生成的手语数据发送给该当前会话中的聋哑会话参与者对应的数据采集设备，然后该聋哑会话参与者对应的数据采集设备在获取到该文字数据或根据该文字数据生成的手语数据之后直接播放该文字数据或者根据该文字数据生成的手语数据，以使得该聋哑会话参与者对该文字数据或者根据该文字数据生成的手语数据与该第一数据采集设备对应的第一会话者表达的语言信息进行对比，判断识别出的该文字数据或者根据该文字数据生成的手语数据是否与该第一会话者表达的语言信息相符，若相符，则该聋哑会话参与者可以确认当前识别正确，若不相符，则该聋哑会话参与者可以提示当前识别错误并通知该第一数据采集设备对应的第一会话参与者重新进行手语表达。在实际应用中，这里提到的聋哑会话参与者可以是该当前会话中的全部聋哑会话参与者也可以仅是本实施例中的该第一数据采集设备对应的第一会话参与者。比如，数据处理设备可以将该“我们待会去图书馆怎么样？”这一语言信息的文字数据发送给小明的AR眼镜，则小明的AR眼镜将会将该“我们待会去图书馆怎么样？”这一语言信息的文字数据播放给小明，小明则可以将该“我们待会去图书馆怎么样？”这一语言信息的文字数据与自己想表达的意思进行比对，小明确认该“我们待会去图书馆怎么样？”这一语言信息的文字数据与自己想表达的意思相符，则小明可以通过自身的AR眼镜进行确认当前识别正确。这里若该数据处理设备将该“我们待会去图书馆怎么样？”这一语言信息的文字数据转换为了“我们待会去图书馆怎么样？”这一语言信息的手语数据，则该数据处理设备可以将该“我们待会去图书馆怎么样？”这一语言信息的手语数据发送给小明的AR眼镜，则小明的AR眼镜将会将该“我们待会去图书馆怎么样？”这一语言信息的手语数据播放给小明，小明则可以将该“我们待会去图书馆怎么样？”这一语言信息的手语数据与自己想表达的意思进行比对，小明确认该“我们待会去图书馆怎么样？”这一语言信息的手语数据与自己想表达的意思相符，则小明可以通过自身的AR眼镜进行确认当前识别正确。

507、该正常会话参与者对应的数据采集设备播放该目标数据。

该正常会话参与者的数据采集设备获取该目标数据之后，将该目标数据进行播放，以使得该正常会话参与者理解该第一数据采集设备对应的第一会话参与者表达的语言信息。

本实施例中，该目标数据可以为文字数据也可以为音频数据，具体形式此处不做限定。比如，小红和小刚的AR眼镜可以分别接收到该“我们待会去图书馆怎么样？”这一语言信息的文字数据或“我们待会去图书馆怎么样？”这一语言信息的音频数据。

本实施例中，在该第一数据采集设备对应的第一会话参与者为聋哑会话参与者且作为当前会话中的当前讲话人时，该数据处理设备可以将该第一数据采集设备发送的主数据和与该主数据在空间和/或内容上互补的辅数据进行融合识别得到目标数据，并将该目标数据以文字数据或音频数据的形式发送给该当前会话中的正常会话参与者，可以有效的提高聋哑会话参与者与正常会话参与者的交流效率。

二、该第一数据采集设备对应的第一会话参与者为当前讲话人，且该第一会话参与者的属性为正常会话参与者；

601、该数据处理设备获取当前会话中该第一数据采集设备的标识。

在当前会话组建完成之后，该数据处理设备获取该第一数据采集设备的标识，该标识用于指示该第一数据采集设备对应的第一会话参与者的属性，其中该第一会话参与者的属性为正常会话参与者。

本实施例中，该第一数据采集设备对应的第一会话参与者由该当前会话的会话创建人对应的数据采集设备根据处于自身的WIFI范围内的数据采集设备确定；或，该第一数据采集设备对应的第一会话参与者为接受该当前会话的会话创建人对应的数据采集设备发送的会话请求的数据采集设备对应的用户；或，该第一数据采集设备对应的第一会话参与者为扫描该当前会话的会话创建人对应的数据采集设备生成的二维码信息的数据采集设备对应的用户。本实施例中，该第一数据采集设备对应的第一会话参与者参与到该当前会话中的方式可以多样化包含但不限于上述举例的方法，具体实施方式此处不做限定。比如，本实施例中，以小红的AR眼镜为该第一数据采集设备，小红为该第一会话参与者，即小红为聋哑会话参与者。假如当前会话的会话创建人为小红，当前会话中的数据采集设备为AR眼镜，则小红可以在其自身配备的AR眼镜的WIFI范围内搜索是否存在是自身想要交流的用户使用的AR眼镜，若存在，则小红可以直接将该用户的AR眼镜直接加入当前会话。当然小红也可以直接搜索自己想交流的用户，然后向该用户的AR眼镜发送会话请求。若小红为一个老师且使用当前会话进行教学，则小红可以直接将该当前会话的二维码或者会话号码向学生进行展示，学生就可以通过扫描二维码或者是输入会话号码加入该当前会话。

本实施例中，该当前会话中包含至少两个数据采集设备，而本实施例中的第一数据采集设备是该至少两个数据采集设备中的任意一个。同时本实施例中的第一或第二并没有限定该数据采集设备的前后顺序，仅用于指示数据采集设备之间的不同。

602、该数据处理设备接收该第一数据采集设备发送的语言信息集合。

该第一数据采集设备在当前会话中采集相应的语言信息并实时将该语言信息发送给该第一数据采集设备相连的该数据处理设备生成语言信息集合。

本申请中该第一数据采集设备的语言信息集合包括该第一数据采集设备的第一会话参与者自己产生的语言信息以及该当前会话中其他数据采集设备的会话参与者产生的语言信息。比如假设小红创建的当前会话中包含了三个会话参与者为小明，小红和小刚，其中小明为聋哑会话参与者，小红与小刚为正常会话参与者。在同一时刻，小明的语言信息集合中将包括了手语视频数据，以及两个唇语视频数据；小红和小刚的语言信息集合中将各包括了一个音频数据以及两个视频数据。

603、该数据处理设备根据该第一数据采集设备的标识从该语言信息集合中确定音频数据为主数据。

该数据处理设备根据该第一数据采集设备的标识从该语言信息集合中确定主数据，该第一数据采集设备的标识指示该第一数据采集设备对应的第一会话参与者为正常会话参与者，则该数据处理设备确定该语言信息集合中的音频数据为该主数据。

本实施例中，该当前会话中除了该第一数据采集设备的其他数据采集设备同样也会给该数据处理设备发送归属于各自的语言信息集合，在同一时刻该其他数据处理设备也存在各自的主数据。

比如假设小红在该AR眼镜上通过某聊天软件创建了当前会话，且小红在该聊天软件中确定自身AR眼镜的标识为正常会话参与者，同理，小明和小刚也别在该聊天软件中确定自身AR眼镜的标识分别为聋哑会话参与者和正常会话参与者。则该数据处理设备根据小红的AR眼镜的标识获知小红为正常会话参与者，则该数据处理设备确定小红的语言信息集合中的音频数据为主数据。同理，该数据处理设备根据小明的AR眼镜的标识获知小明为聋哑会话参与者，根据小刚的AR眼镜的标识获知小刚为正常会话参与者，则该数据处理设备确定小明的语言信息集合中的手语视频数据为小明的主数据，确定小刚的语言信息集合中的音频数据为小刚的主数据。

在本实施例中，该AR眼镜的标识是根据使用者的属性的变化进行变化的，并不代表着该AR眼镜的属性。

604、该数据处理设备根据该音频数据确定辅数据。

该数据处理设备在确定了该第一数据处理设备的音频数据之后，根据事先设置的规则确定该音频数据的辅数据，该辅数据与该主数据为空间和/或内容上互补的数据。

在实际应用中，本实施例中的该辅数据与该主数据可以是如下关系：假设小红的主数据为AR眼镜上的麦克风采集到的音频数据；而同一时刻，小明的AR眼镜上的平面摄像头对小红的唇语数据也会进行采集；小明的AR眼镜上的麦克风对小红的音频数据也会进行采集；小刚的AR眼镜上的平面摄像头对小红的唇语数据也会进行采集；小刚的AR眼镜上的麦克风对小红的音频数据也会进行采集。这时小明与小刚采集的唇语数据在内容上与小红自身AR眼镜上采集到的音频数据是相似的，都是用于表示小明在当前时刻的语言信息。此处仅表示了一种空间和/或内容上的互补关系，但在实际应用中并不限于这一种关系。

本实施例中，聋哑会话参与者的麦克风可以不进行音频的采集，即小明的麦克风是可以对小红与小刚的音频数据不进行采集的，只要采集到包含小红与小刚的唇语信息的视频数据即可。在实际应用中，正常会话参与者的麦克风可以采集自己的音频数据也可以采集其他正常会话参与者的音频数据，但是采集到的音频数据的声强不一样，通常是自已的音频数据声强会最大，其他正常会话参与者的音频数据的声强会较小。比如，小红与小刚同时讲话，小红的麦克风就可以同时采集到小红自己的音频数据和小刚的音频数据，这时小红自己的音频数据的声强要大于小红采集到的小刚的音频数据。该数据处理设备在识别小红的音频数据之前，可以根据声强的大小确定出小红自己的音频数据。

本实施例中，该数据处理设备先确定该第一数据采集设备对应的第一会话参与者，然后该数据处理设备以该第一会话参与者的凝视视线为X轴，在与该第一会话参与者垂直的平面内构成坐标图，如图3所示；在该坐标图内，该数据处理设备将处于该坐标图的第一象限和第四象限的数据采集设备构成备选数据采集设备集合，然后该数据处理设备将备选数据采集设备集合中的各个数据采集设备进行逐一进行检查判断该备选数据采集设备集合中的各个数据采集设备对应的夹角内是否存在该第一数据采集设备对应的第一会话参与者，而各个数据采集设备对应的夹角是由该数据处理设备以该各个数据采集设备对应的会话参与者的凝视视线为中心，在与该各个数据采集设备对应的会话参与者垂直的平面内构成，如图4所示。

本实施例中，该夹角可以90度的直角也可以为其他事先设置的角度，具体的数值可以根据实际应用情况进行设置，此处不做限定。

可选的，若该数据处理设备在根据空间和/或内容上的互补原则确定了辅数据对应的数据采集设备之后，若该数据处理设备确定该辅数据对应的数据采集设备的数量超过预定阈值或者是该数据处理设备确定识别复杂度超过了预定阈值，该数据处理设备可以综合考虑识别准确度和识别复杂度从已确定的数据采集设备中再次选择提供最终的数据采集设备，然后将该最终数据采集设备发送的数据作为辅数据。本申请中，该数据处理设备在综合考虑识别准确度和识别复杂度可以根据识别准确度大于第一阈值且识别复杂度小于第二阈值的原则。当然也可以直接确定识别准确度，然后在满足识别准确度的情况下选择识别复杂度最小的原则，或者是在确定识别复杂度，然后在满足识别复杂度的情况下选择识别准确度最高的原则。本申请仅提供了部分选择原则，具体的方式，此处不做限定。

比如，在实际应用中，假设该当前会话中的会话参与者为小明，小红和小刚，且目前在识别小红的主数据。该数据处理设备则会以小红的凝视视线为中心，在垂直于小红的平面内为构成一个坐标图，这时数据处理设备可以判断小明和小刚是否存在于该坐标图的第一象限或者是第四象限内；若小明存在，则确定小明为备选的数据采集设备；然后以小明的凝视视线为中心，在垂直于小明的平面为展开一个夹角，这时该数据处理设备可以判断小红是否位于于该夹角范围内，若小红位于该夹角范围内，则该数据处理设备确定小明的AR眼镜发送的包含唇语数据的视频数据为小红的音频数据的辅数据。

605、该数据处理设备对该音频数据和该辅数据进行融合识别得到对应的目标数据。

该数据处理设备在获取到该音频数据和该辅数据之后，该数据处理设备将该音频数据与该辅数据进行同步处理，这里的同步处理方法可以采用唇同步方法；然后该数据处理设备分别对该音频数据和该辅数据进行处理，即该数据处理设备根据该音频数据得到第一数据，根据该辅数据得到第二数据；最后该数据处理设备再根据该第一数据和该第二数据得到该目标数据。

本实施例中该主数据为音频数据，该辅数据为包含唇语信息的视频数据；该数据处理设备将根据该音频数据得到第一语音序列作为该第一数据并实时计算峰值信噪比，同时该数据处理设备将根据该唇语信息得到第二语音序列作为该第二数据；然后该数据处理设备根据该峰值信噪比，该第一语音序列和该第二语音序列确定文字信息；该数据处理设备可以直接将该文字信息作为目标数据，也可以将该文字信息与用于记录文字与手语的对应关系的预置数据库进行匹配得到手语数据，并将该手语数据作为目标数据。

本实施例中，该数据处理设备在根据该峰值信噪比，该第一语音序列和该第二语音序列确定该文字信息时，该数据处理设备可以采用如下方案：

一种可能实现方式中，该数据处理设备对该峰值信噪比设置第三阈值，即该数据处理设备在确定该峰值信噪比大于该第三阈值时，则该数据处理设备将该第一语音序列进行语句和语义分析生成该文字信息；若该数据处理设备确定该峰值信噪比小于或等于该第三阈值，则该数据处理设备将该第二语音序列进行语句和语义分析生成该文字信息。

本申请中，在该数据处理设备对该峰值信噪比设置该第三阈值时，此处仅举例了一种情况，在实际应用中，该数据处理设备也可以采用如下判断方式，比如，若该数据处理设备确定该峰值信噪比大于或等于该第三阈值时，该数据处理设备将该第一语音序列进行语句和语义分析生成该文字信息；若该数据处理设备确定该峰值信噪比小于该第三阈值，则该数据处理设备将该第二语音序列进行语句和语义分析生成该文字信息。当然，该数据处理设备同样也可以执行如下方案：若该数据处理设备该峰值信噪比大于该第三阈值时，该数据处理设备将该第一语音序列进行语句和语义分析生成该文字信息；若该数据处理设备确定该峰值信噪比小于该第三阈值，则该数据处理设备将该第二语音序列进行语句和语义分析生成该文字信息；若该数据处理设备该峰值信噪比等于该第三阈值时，该数据处理设备将该第二语音序列和该第一语音序列进行融合进行语句和语义分析生成该文字信息。具体方式此处不做限定。

另一种可能实现方式中，该数据处理设备可以为该峰值信噪比设置一个上限和一个下限，即本申请中的第四阈值和第五阈值，该第五阈值小于该第四阈值。这时，若该数据处理设备确定该峰值信噪比大于第四阈值，则该数据处理设备将该第一语音序列进行语句和语义分析生成该文字信息；若该数据处理设备确定该峰值信噪比小于第五阈值，则该数据处理设备将该第二语音序列进行语句和语义分析生成该文字信息，该第五阈值小于该第四阈值；若该数据处理设备确定该峰值信噪比小于或等于该第四阈值，且大于或等于该第五阈值，则该数据处理设备将该第一语音序列和该第二语音序列综合进行语句和语义分析生成该文字信息。

比如，小红在上午8点15分时通过语音表示了“我们待会去图书馆怎么样？”这一语言信息，则小红佩戴的AR眼镜的麦克风采集了用于表示“我们待会去图书馆怎么样？”这一语言信息的音频数据作为主数据；同一时刻，小明的AR眼镜利用自身的平面摄像头也采集了小红通过语音表示了“我们待会去图书馆怎么样？”这一语言信息的唇语数据作为辅数据。最后数据处理设备将小红发送的音频数据和小明发送辅数据进行同步处理，即将两者之间数据的时间进行同步。比如该数据处理设备在8点16分接收到的小明的AR眼镜在8点15分发送的“我们待会去图书馆怎么样？”这一语言信息的唇语数据，而该数据处理设备在8点17分接收到的小红的AR眼镜在8点15分发送了“我们待会去图书馆怎么样？”这一语言信息的语音数据，若两个数据的接收时间并未超过预置的缓存时间，则该数据处理设备可以将两者时间同步处理，确定这两个数据为小红在8点15分用语音表示的“我们待会去图书馆怎么样？”这一语言信息。这里数据处理设备对两者之间的数据进行同步处理时可以采用唇同步技术，但是此处的同步方式不做限定。然后该数据处理设备根据小红的AR眼镜发送的音频数据得到第一语音序列，比如“wo men dai hui qu tu shu guan zen me yang”并计算实时峰值信噪比，根据小明的AR眼镜发送的唇语数据得到第二语音序列，比如“wo men daihui qu tu shu guan zen me yang”。最后该数据处理设备根据该峰值信噪比，该第一语音序列和该第二语音序列得到该目标数据。若该数据处理设备为该峰值信噪比设置的阈值为40分贝，而该数据处理设备根据小红的AR眼镜发送的音频数据计算实时峰值信噪比为55分贝，则该数据处理设备将该第一语音序列，比如“wo men dai hui qu tu shu guan zen meyang”进行语义和语句分析得到“我们待会去图书馆怎么样？”这一语言信息的文字数据。该数据处理设备在得到该“我们待会去图书馆怎么样？”这一语言信息的文字数据之后，该数据处理设备可以直接将该文字数据作为目标数据，也可以将该“我们待会去图书馆怎么样？”这一语言信息的文字数据转换成手语数据，并将该手语数据作为该目标数据。

606、该数据处理设备将该目标数据发送至当前会话中的聋哑会话参与者对应的数据采集设备。

该数据处理设备获取到该第一数据采集设备的音频数据对应的目标数据之后，将该目标数据发送给该当前会话中的聋哑会话参与者对应的数据采集设备。

本实施例中，该数据处理设备可以将该文字数据和/或根据该文字数据生成的手语数据发送给该当前会话中的聋哑会话参与者对应的数据采集设备。

607、该聋哑会话参与者对应的数据采集设备播放该目标数据。

该聋哑会话参与者的数据采集设备获取该目标数据之后，将该目标数据进行播放，以使得该聋哑会话参与者理解该第一数据采集设备对应的第一会话参与者表达的语言信息。

当然本实施例中该数据处理设备同样也可以将该文字数据发送给当前会话中的其他正常会话参与者，此处不做限定。

本实施例中，在该第一数据采集设备对应的第一会话参与者为正常会话参与者且作为当前会话中的当前讲话人时，该数据处理设备可以将该第一数据采集设备发送的主数据和与该主数据在空间和/或内容上互补的辅数据进行融合识别得到目标数据，并将该目标数据以文字数据或手语数据的形式发送给该当前会话中的聋哑会话参与者，可以有效的提高聋哑会话参与者与正常会话参与者的交流效率。

上面对本申请实施例中的数据处理方法进行了详细说明，下面对本申请实施例中的数据处理设备进行描述。

具体请参阅图7所示，本申请实施例中数据处理设备的一个实施例，包括：处理模块701；

该处理模块701，用于获取当前会话中第一数据采集设备的主数据和辅数据，所述主数据和所述辅数据为在空间和/或内容上互补的数据，该当前会话中包括至少两个数据采集设备，该第一数据采集设备为该至少两个数据采集设备中的任意一个；对该主数据和该辅数据进行融合识别得到对应的目标数据。

可选的，若该主数据为深度摄像头采集的手势数据，该辅数据为平面摄像头采集的手势数据；

该处理模块701，具体用于将该主数据与该辅数据进行时间同步处理；根据该深度摄像头采集的手势数据识别出手势轨迹，并根据该平面摄像头采集的手势数据识别出手形细节；701将该手势轨迹与该手形细节进行组合识别得到手语数据；通过手语识别算法识别该手语数据得到文字数据，该文字数据为该目标数据。

可选的，该数据处理设备还包括发送模块702，该发送模块702，具体用于若确定该第一数据采集设备对应的第一会话参与者为当前讲话人，则将该文字数据发送给正常会话参与者对应的数据采集设备，以使得该正常会话参与者对应的数据采集设备播放该文字数据；

或，

若确定该第一数据采集设备对应的第一会话参与者为当前讲话人，则将该文字数据发送给正常会话参与者对应的数据采集设备，以使得该正常会话参与者对应的数据采集设备播放该文字数据，并将手语数据发送给聋哑会话参与者对应的数据采集设备，以使得该聋哑会话参与者对应的数据采集设备对该手语数据进行反馈，该手语数据由该文字数据与预置数据库进行匹配得到，该预置数据库用于记录文字与手语的对应关系。

可选的，该处理模块701，具体用于将该主数据与该辅数据进行时间同步处理；根据该深度摄像头采集的手势数据识别出手势轨迹，并根据该平面摄像头采集的手势数据识别出手形细节；将该手势轨迹与该手形细节进行组合识别得到手语数据；通过手语识别算法识别该手语数据得到文字数据；通过语音合成技术将该文字数据生成音频数据，该音频数据为该目标数据。

可选的，该数据处理设备还包括发送模块702，该发送模块702，具体用于若确定该第一数据采集设备对应的第一会话参与者为当前讲话人，则将该音频数据发送给正常会话参与者对应的数据采集设备，以使得该正常会话参与者对应的数据采集设备播放该音频数据；

或，

若确定该第一数据采集设备对应的第一会话参与者为当前讲话人，则将该音频数据发送给正常会话参与者对应的数据采集设备，以使得该正常会话参与者对应的数据采集设备播放该音频数据，并将手语数据发送给聋哑会话参与者对应的数据采集设备，以使得该聋哑会话参与者对应的数据采集设备对该手语数据进行反馈，该手语数据由该文字数据与预置数据库进行匹配得到，该预置数据库用于记录文字与手语的对应关系。

可选的，若该主数据为音频数据，该辅数据为包含唇语信息的视频数据；

该处理模块701，具体用于识别该音频数据得到第一语音序列并实时计算峰值信噪比，并识别该唇语信息得到第二语音序列，该第一语音序列作为该第一数据，该第二语音序列作为该第二数据；根据该峰值信噪比，该第一语音序列以及该第二语音序列确定文字信息；将该文字信息与预置数据库进行匹配得到手语数据，该手语数据为该目标数据。

可选的，该处理模块701，具体用于若确定该峰值信噪比大于第三阈值，则将该第一语音序列进行语句和语义分析生成该文字信息；若该峰值信噪比小于或等于该第三阈值，则将该第二语音序列进行语句和语义分析生成文字信息。

可选的，该处理模块701，具体用于若确定该峰值信噪比大于第四阈值，则将该第一语音序列进行语句和语义分析生成该文字信息；

若确定该峰值信噪比小于第五阈值，则将该第二语音序列进行语句和语义分析生成该文字信息，该第五阈值小于该第四阈值；

若确定该峰值信噪比小于或等于该第四阈值，且大于或等于该第五阈值，则将该第一语音序列和该第二语音序列综合进行语句和语义分析生成该文字信息。

可选的，该数据处理设备还包括发送模块702，该发送模块702，用于若确定该第一数据采集设备对应的第一会话参与者为正常会话参与者为当前讲话人，则将该手语数据发送给该当前会话中的普通会话参与者对应的数据采集设备，以使得该当前会话中的普通会话参与者对应的数据采集设备向该当前会话中的聋哑会话参与者展示该手语数据；

或，

将该手语数据发送给该当前会话中的聋哑会话参与者对应的数据采集设备，以使得该当前会话中的聋哑会话参与者对应的数据采集设备播放该手语数据。

可选的，该数据处理设备还包括接收模块703，该接收模块703，用于接收该当前会话中第一数据采集设备发送的语言信息集合；

该处理模块701，具体用于从该语言信息集合中确定该主数据；根据该主数据确定该辅数据。

可选的，该处理模块701，具体用于确定该第一数据采集设备对应的第一会话参与者；以该第一会话参与者的凝视视线为X轴在与该第一会话参与者垂直的平面内构成坐标图；选择该坐标图内第一象限和第四象限的数据采集设备为备选数据采集设备集合；从该备选数据采集设备集合中确定第二数据采集设备，并将该第二数据采集设备发送的数据作为该辅数据，该第二数据采集设备对应的的夹角内存在该第一会话参与者，该夹角由该数据处理设备以该备选数据采集设备集合中的各个备选数据采集设备对应的会话参与者的凝视视线为中心，在与该备选数据采集设备对应的会话参与者垂直的平面内构成。

可选的，该夹角为90度的直角。

可选的，该处理模块701，具体用于若确定该第二数据采集设备的数量超过预定阈值，则根据识别准确度大于第一阈值且识别复杂度小于第二阈值的原则从该第二数据采集设备中确定第三数据采集设备，并确定该第三数据采集设备发送的数据为该辅数据。可选的，该获取模块701，具体用于获取该第一数据采集设备的标识，该标识用于指示该第一数据采集设备对应的第一会话参与者的属性，该第一会话参与者的属性为正常会话参与者或聋哑会话参与者；

该处理模块701，具体用于根据该第一数据采集设备的标识从该语言信息集合中确定该主数据。

可选的，该处理模块701，具体用于若该第一数据采集设备的标识指示该第一数据采集设备对应的第一会话参与者为聋哑会话参与者，则确定该语言信息集合中的手语视频数据为该主数据；

若该第一数据采集设备的标识指示该第一数据采集设备对应的第一会话参与者为正常会话参与者，则确定该语言信息集合中的音频数据为该主数据。

可选的，该第一数据采集设备对应的第一会话参与者由该当前会话的会话创建人对应的数据采集设备根据处于自身的WIFI范围内的数据采集设备确定；

或，

该第一数据采集设备对应的第一会话参与者为接受该当前会话的会话创建人对应的数据采集设备发送的会话请求的数据采集设备对应的用户；

或，

该第一数据采集设备对应的第一会话参与者为扫描该当前会话的会话创建人对应的数据采集设备生成的二维码信息的数据采集设备对应的用户。

可选的，该数据采集设备为AR眼镜。

本实施例中的数据处理设备还可以执行上述实施例中数据处理设备的全部功能。

本实施例中，该处理模块701获取与该第一数据采集设备的主数据在空间和/或内容上互补的辅数据，然后对该第一数据采集设备的主数据和该辅数据进行融合识别，得到该主数据的目标数据。即该数据处理设备在识别该主数据时，增加了该主数据和语言信息，进而提高该主数据的识别准确度。

具体请参阅图8所示，本申请实施例中数据处理设备的另一个实施例包括：

收发器801，处理器802，总线803；

该收发器801与该处理器802通过该总线803相连；

总线803可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器802可以是中央处理器(central processing unit，简称CPU)，网络处理器(network processor，简称NP)或者CPU和NP的组合。

处理器802还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，简称ASIC)，可编程逻辑器件(programmable logic device，简称PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，简称CPLD)，现场可编程逻辑门阵列(field-programmable gate array，简称FPGA)，通用阵列逻辑(generic array logic,简称GAL)或其任意组合。

参见图8所示，该BSU还可以包括存储器804。该存储器804可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，简称RAM)；存储器也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，简称HDD)或固态硬盘(solid-state drive，简称SSD)；存储器804还可以包括上述种类的存储器的组合。

可选地，存储器804还可以用于存储程序指令，处理器802调用该存储器804中存储的程序指令，可以执行图1至图6中所示实施例中的一个或多个步骤，或其中可选的实施方式，实现上述方法中数据处理设备行为的功能。

该处理器802，执行如下步骤：

获取当前会话中第一数据采集设备的主数据和辅数据，该主数据和该辅数据为在空间和/或内容上互补的数据，该当前会话中包括至少两个数据采集设备，该第一数据采集设备为该至少两个数据采集设备中的任意一个；对该主数据和该辅数据进行融合识别得到对应的目标数据。

该收发器801还执行上述实施例中收发数据的步骤，该处理器802执行上述实施例中处理数据的步骤。

本实施例中，该处理器802获取与该第一数据采集设备的主数据在空间和/或内容上互补的辅数据，然后对该第一数据采集设备的主数据和该辅数据进行融合识别，得到该主数据的目标数据。即该数据处理设备在识别该主数据时，增加了该主数据和语言信息，进而提高该主数据的识别准确度。

具体请参阅图9所示，本申请实施例中的数据处理系统的一个实施例，该数据处理系统包括数据处理设备和至少两个数据采集设备；

该数据处理设备具有上述实施例中数据处理设备的全部功能，该至少两个数据采集设备具有上述实施例中数据采集设备的全部功能。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (28)

1.一种数据处理方法，其特征在于，所述方法包括：

数据处理设备获取当前会话中第一数据采集设备的主数据和辅数据，所述主数据和所述辅数据为在空间和/或内容上互补的数据，所述当前会话中包括至少两个数据采集设备，所述第一数据采集设备为所述至少两个数据采集设备中的任意一个；

所述数据处理设备对所述主数据和所述辅数据进行融合识别得到对应的目标数据。

2.根据权利要求1所述的方法，其特征在于，若所述主数据为深度摄像头采集的手势数据，所述辅数据为平面摄像头采集的手势数据；

所述数据处理设备对所述主数据和所述辅数据进行融合识别得到对应的目标数据包括：

所述数据处理设备对所述主数据和所述辅数据进行时间同步处理；

所述数据处理设备根据所述深度摄像头采集的手势数据识别出手势轨迹，并根据所述平面摄像头采集的手势数据识别出手形细节；

所述数据处理设备将所述手势轨迹与所述手形细节进行组合识别得到手语数据；

所述数据处理设备通过手语识别算法识别所述手语数据得到文字数据，所述文字数据为所述目标数据。

3.根据权利要求2所述的方法，其特征在于，所述数据处理设备通过手语识别算法识别所述手语数据得到文字数据之后，所述方法还包括：

若所述数据处理设备确定所述第一数据采集设备对应的第一会话参与者为当前讲话人，则所述数据处理设备将所述文字数据发送给正常会话参与者对应的数据采集设备，以使得所述正常会话参与者对应的数据采集设备播放所述文字数据；

或，

若所述数据处理设备确定所述第一数据采集设备对应的第一会话参与者为当前讲话人，则所述数据处理设备将所述文字数据发送给正常会话参与者对应的数据采集设备，以使得所述正常会话参与者对应的数据采集设备播放所述文字数据，并将手语数据发送给聋哑会话参与者对应的数据采集设备，以使得所述聋哑会话参与者对应的数据采集设备对所述手语数据进行反馈，所述手语数据由所述文字数据与预置数据库进行匹配得到，所述预置数据库用于记录文字与手语的对应关系。

4.根据权利要求1所述的方法，其特征在于，若所述主数据为深度摄像头采集的手势数据，所述辅数据为平面摄像头采集的手势数据；

所述数据处理设备对所述主数据和所述辅数据进行融合识别得到对应的目标数据包括：

所述数据处理设备对所述主数据和所述辅数据进行时间同步处理；

所述数据处理设备根据所述深度摄像头采集的手势数据识别出手势轨迹，并根据所述平面摄像头采集的手势数据识别出手形细节；

所述数据处理设备将所述手势轨迹与所述手形细节进行组合识别得到手语数据；

所述数据处理设备通过手语识别算法识别所述手语数据得到文字数据；

所述数据处理设备通过语音合成技术将所述文字数据生成音频数据，所述音频数据为所述目标数据。

5.根据权利要求4所述的方法，其特征在于，所述数据处理设备通过语音合成技术将所述文字数据生成音频数据之后，所述方法还包括：

若所述数据处理设备确定所述第一数据采集设备对应的第一会话参与者为当前讲话人，则所述数据处理设备将所述音频数据发送给正常会话参与者对应的数据采集设备，以使得所述正常会话参与者对应的数据采集设备播放所述音频数据；

或，

若所述数据处理设备确定所述第一数据采集设备对应的第一会话参与者为当前讲话人，则所述数据处理设备将所述音频数据发送给正常会话参与者对应的数据采集设备，以使得所述正常会话参与者对应的数据采集设备播放所述音频数据，并将手语数据发送给聋哑会话参与者对应的数据采集设备，以使得所述聋哑会话参与者对应的数据采集设备对所述手语数据进行反馈，所述手语数据由所述文字数据与预置数据库进行匹配得到，所述预置数据库用于记录文字与手语的对应关系。

6.根据权利要求1所述方法，其特征在于，若所述主数据为音频数据，所述辅数据为包含唇语信息的视频数据；

所述数据处理设备对所述主数据和所述辅数据进行融合识别得到对应的目标数据包括：

所述数据处理设备对所述主数据和所述辅数据进行时间同步处理；

所述数据处理设备识别所述音频数据得到第一语音序列并实时计算峰值信噪比，并识别所述唇语信息得到第二语音序列；

所述数据处理设备根据所述峰值信噪比，所述第一语音序列以及所述第二语音序列确定文字信息；

所述数据处理设备将所述文字信息与预置数据库进行匹配得到手语数据，所述手语数据为所述目标数据。

7.根据权利要求6所述的方法，其特征在于，所述数据处理设备将所述文字信息与预置数据库进行匹配得到手语数据之后，所述方法还包括：

若所述数据处理设备确定所述第一数据采集设备对应的第一会话参与者为正常会话参与者为当前讲话人，则所述数据处理设备将所述手语数据发送给所述当前会话中的普通会话参与者对应的数据采集设备，以使得所述当前会话中的普通会话参与者对应的数据采集设备向所述当前会话中的聋哑会话参与者展示所述手语数据；

或，

所述数据处理设备将所述手语数据发送给所述当前会话中的聋哑会话参与者对应的数据采集设备，以使得所述当前会话中的聋哑会话参与者对应的数据采集设备播放所述手语数据。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述数据处理设备获取当前会话中第一数据采集设备的主数据和辅数据包括：

所述数据处理设备接收所述当前会话中第一数据采集设备发送的语言信息集合；

所述数据处理设备从所述语言信息集合中确定所述主数据；

所述数据处理设备根据所述主数据确定所述辅数据。

9.根据权利要求8所述的方法，其特征在于，所述数据处理设备根据所述主数据确定辅数据包括：

所述数据处理设备确定所述第一数据采集设备对应的第一会话参与者；

所述数据处理设备以所述第一会话参与者的凝视视线为X轴在与所述第一会话参与者垂直的平面内构成坐标图；

所述数据处理设备选择所述坐标图内第一象限和第四象限的数据采集设备构成备选数据采集设备集合；

所述数据处理设备从所述备选数据采集设备集合中确定第二数据采集设备，并将所述第二数据采集设备发送的数据作为所述辅数据，所述第二数据采集设备对应的夹角内存在所述第一会话参与者，所述夹角由所述数据处理设备以所述备选数据采集设备集合中的各个备选数据采集设备对应的会话参与者的凝视视线为中心，在与所述备选数据采集设备对应的会话参与者垂直的平面内构成。

10.根据权利要求9所述的方法，其特征在于，所述夹角为90度的直角。

11.根据权利要求9所述的方法，其特征在于，所述数据处理设备从所述备选数据采集设备集合中确定所述第二数据采集设备之后，所述方法还包括：

若所述数据处理设备确定所述第二数据采集设备的数量超过预定阈值，则所述数据处理设备根据识别准确度大于第一阈值且识别复杂度小于第二阈值的原则从所述第二数据采集设备中确定第三数据采集设备，并确定所述第三数据采集设备发送的数据为所述辅数据。

12.根据权利要求8所述的方法，其特征在于，所述数据处理设备从所述语言信息集合中确定所述主数据包括：

所述数据处理设备获取所述第一数据采集设备的标识，所述标识用于指示所述第一数据采集设备对应的第一会话参与者的属性，所述第一会话参与者的属性为正常会话参与者或聋哑会话参与者；

所述数据处理设备根据所述第一数据采集设备的标识从所述语言信息集合中确定所述主数据。

13.根据权利要求12所述的方法，其特征在于，所述数据处理设备根据所述第一数据采集设备的标识从所述语言信息集合中确定所述主数据包括：

若所述第一数据采集设备的标识指示所述第一数据采集设备对应的第一会话参与者为聋哑会话参与者，则所述数据处理设备确定所述语言信息集合中的手语视频数据为所述主数据；

若所述第一数据采集设备的标识指示所述第一数据采集设备对应的第一会话参与者为正常会话参与者，则所述数据处理设备确定所述语言信息集合中的音频数据为所述主数据。

14.根据权利要求12所述的方法，其特征在于，所述第一数据采集设备对应的第一会话参与者由所述当前会话的会话创建人对应的数据采集设备根据处于自身的WIFI范围内的数据采集设备确定；

或，

所述第一数据采集设备对应的第一会话参与者为接受所述当前会话的会话创建人对应的数据采集设备发送的会话请求的数据采集设备对应的用户；

或，

所述第一数据采集设备对应的第一会话参与者为扫描所述当前会话的会话创建人对应的数据采集设备生成的二维码信息的数据采集设备对应的用户。

15.根据权利要求1至14中任一项所述的方法，其特征在于，所述数据采集设备为增加现实AR眼镜。

16.一种数据处理设备，其特征在于，包括：

处理模块，用于获取当前会话中第一数据采集设备的主数据和辅数据，所述主数据和所述辅数据为在空间和/或内容上互补的数据，所述当前会话中包括至少两个数据采集设备，所述第一数据采集设备为所述至少两个数据采集设备中的任意一个；对所述主数据和所述辅数据进行融合识别得到对应的目标数据。

17.根据权利要求16所述的数据处理设备，其特征在于，若所述主数据为深度摄像头采集的手势数据，所述辅数据为平面摄像头采集的手势数据；

所述处理模块，具体用于对所述主数据和所述辅数据进行时间同步处理；

根据所述深度摄像头采集的手势数据识别出手势轨迹，并根据所述平面摄像头采集的手势数据识别出手形细节；

将所述手势轨迹与所述手形细节进行组合识别得到手语数据；

通过手语识别算法识别所述手语数据得到文字数据，所述文字数据为所述目标数据。

18.根据权利要求17所述的数据处理设备，其特征在于，所述数据处理设备还包括发送模块，所述发送模块，具体用于若确定所述第一数据采集设备对应的第一会话参与者为当前讲话人，则将所述文字数据发送给正常会话参与者对应的数据采集设备，以使得所述正常会话参与者对应的数据采集设备播放所述文字数据；

或，

若确定所述第一数据采集设备对应的第一会话参与者为当前讲话人，则将所述文字数据发送给正常会话参与者对应的数据采集设备，以使得所述正常会话参与者对应的数据采集设备播放所述文字数据，并将手语数据发送给聋哑会话参与者对应的数据采集设备，以使得所述聋哑会话参与者对应的数据采集设备对所述手语数据进行反馈，所述手语数据由所述文字数据与预置数据库进行匹配得到，所述预置数据库用于记录文字与手语的对应关系。

19.根据权利要求16所述的数据处理设备，其特征在于，若所述主数据为深度摄像头采集的手势数据，所述辅数据为平面摄像头采集的手势数据；

所述处理模块，具体用于对所述主数据和所述辅数据进行时间同步处理；

根据所述深度摄像头采集的手势数据识别出手势轨迹，并根据所述平面摄像头采集的手势数据识别出手形细节；

将所述手势轨迹与所述手形细节进行组合识别得到手语数据；

通过手语识别算法识别所述手语数据得到文字数据；

通过语音合成技术将所述文字数据生成音频数据，所述音频数据为所述目标数据。

20.根据权利要求19所述的数据处理设备，其特征在于，所述数据处理设备还包括发送模块，所述发送模块，具体用于若所述确定所述第一数据采集设备对应的第一会话参与者为当前讲话人，则将所述音频数据发送给正常会话参与者对应的数据采集设备，以使得所述正常会话参与者对应的数据采集设备播放所述音频数据；

或，

若确定所述第一数据采集设备对应的第一会话参与者为当前讲话人，则将所述音频数据发送给正常会话参与者对应的数据采集设备，以使得所述正常会话参与者对应的数据采集设备播放所述音频数据，并将手语数据发送给聋哑会话参与者对应的数据采集设备，以使得所述聋哑会话参与者对应的数据采集设备对所述手语数据进行反馈，所述手语数据由所述文字数据与预置数据库进行匹配得到，所述预置数据库用于记录文字与手语的对应关系。

21.根据权利要求16所述数据处理设备，其特征在于，若所述主数据为音频数据，所述辅数据为包含唇语信息的视频数据；

所述处理模块，具体用于对所述主数据和所述辅数据进行时间同步处理；

识别所述音频数据得到第一语音序列并实时计算峰值信噪比，并识别所述唇语信息得到第二语音序列；

根据所述峰值信噪比，所述第一语音序列以及所述第二语音序列确定文字信息；

所述数据处理设备将所述文字信息与预置数据库进行匹配得到手语数据，所述手语数据为所述目标数据。

22.根据权利要求21所述的数据处理设备，其特征在于，所述数据处理设备还包括发送模块，所述发送模块，具体用于若确定所述第一数据采集设备对应的第一会话参与者为正常会话参与者为当前讲话人，则将所述手语数据发送给所述当前会话中的普通会话参与者对应的数据采集设备，以使得所述当前会话中的普通会话参与者对应的数据采集设备向所述当前会话中的聋哑会话参与者展示所述手语数据；

或，

将所述手语数据发送给所述当前会话中的聋哑会话参与者对应的数据采集设备，以使得所述当前会话中的聋哑会话参与者对应的数据采集设备播放所述手语数据。

23.根据权利要求16至22中任一项所述的数据处理设备，其特征在于，所述数据处理设备还包括接收模块，所述接收模块，用于接收所述当前会话中第一数据采集设备发送的语言信息集合；

所述处理模块，具体用于从所述语言信息集合中确定所述主数据；根据所述主数据确定所述辅数据。

24.根据权利要求23所述的数据处理设备，其特征在于，所述处理模块，具体用于确定所述第一数据采集设备对应的第一会话参与者；以所述第一会话参与者的凝视视线为X轴在与所述第一会话参与者垂直的平面内构成坐标图；选择所述坐标图内第一象限和第四象限的数据采集设备构成备选数据采集设备集合；从所述备选数据采集设备集合中确定第二数据采集设备，并将所述第二数据采集设备发送的数据作为所述辅数据，所述第二数据采集设备对应的的夹角内存在所述第一会话参与者，所述夹角由所述数据处理设备以所述备选数据采集设备集合中的各个备选数据采集设备对应的会话参与者的凝视视线为中心，在与所述备选数据采集设备对应的会话参与者垂直的平面内构成。

25.根据权利要求23所述的数据处理设备，其特征在于，所述处理模块，还用于若确定所述第二数据采集设备的数量超过预定阈值，则根据识别准确度大于第一阈值且识别复杂度小于第二阈值的原则从所述第二数据采集设备中确定第三数据采集设备，并确定所述第三数据采集设备发送的数据为所述辅数据。

26.根据权利要求23所述的方法，其特征在于，所述处理模块，具体用于获取所述第一数据采集设备的标识，所述标识用于指示所述第一数据采集设备对应的第一会话参与者的属性，所述第一会话参与者的属性为正常会话参与者或聋哑会话参与者；根据所述第一数据采集设备的标识从所述语言信息集合中确定所述主数据。

27.根据权利要求26所述的数据处理设备，其特征在于，所述处理模块，具体用于若所述第一数据采集设备的标识指示所述第一数据采集设备对应的第一会话参与者为聋哑会话参与者，则确定所述语言信息集合中的手语视频数据为所述主数据；若所述第一数据采集设备的标识指示所述第一数据采集设备对应的第一会话参与者为正常会话参与者，则确定所述语言信息集合中的音频数据为所述主数据。

28.根据权利要求26所述的数据处理设备，其特征在于，所述第一数据采集设备对应的第一会话参与者由所述当前会话的会话创建人对应的数据采集设备根据处于自身的WIFI范围内的数据采集设备确定；

或，

所述第一数据采集设备对应的第一会话参与者为接受所述当前会话的会话创建人对应的数据采集设备发送的会话请求的数据采集设备对应的用户；

或，

所述第一数据采集设备对应的第一会话参与者为扫描所述当前会话的会话创建人对应的数据采集设备生成的二维码信息的数据采集设备对应的用户。