CN116095233A - 无障碍通话方法和终端设备 - Google Patents

Abstract

本申请提供了一种无障碍通信方法和终端设备，有利于使用手语沟通的人群进行无障碍通话。该方法包括：第一终端设备接收视频通话对象的视频通话请求；第一终端设备检测到用户接受视频通话请求的第一操作；响应于第一操作，当关爱模式处于打开状态时，第一终端设备显示第一视频通话界面，第一视频通话界面包括第一控件、第一终端设备采集的第一图像以及第二终端设备发送的第二图像，第二终端设备为视频通话对象使用的设备；第一终端设备检测到用户选择第一控件的第二操作；响应于第二操作，第一终端设备将第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种，视频数据包括图像数据或语音数据中的至少一项。

Description

无障碍通话方法和终端设备

技术领域

本申请涉及终端技术领域，尤其涉及一种无障碍通话方法和终端设备。

背景技术

随着科学技术的发展，终端设备越来越智能，应用范围越来越广。但是，目前的终端设备对于使用手语沟通的人群仍不太友好。例如，使用手语的人与健全人进行视频通话，健全人看不懂手语，使用手语的人听不到健全人的声音，两者只能通过文字进行沟通，会降低沟通效率。

因此，无障碍通话成为一个亟需解决的问题。

发明内容

本申请提供一种无障碍通话方法和终端设备，有利于使用手语沟通的人群进行无障碍通话，提高用户体验。

第一方面，提供了一种无障碍通话方法，包括：第一终端设备接收视频通话对象的视频通话请求；第一终端设备检测到用户接受视频通话请求的第一操作；响应于第一操作，当关爱模式处于打开状态时，第一终端设备显示第一视频通话界面，第一视频通话界面包括第一控件、第一终端设备采集的第一图像以及第二终端设备发送的第二图像，第二终端设备为视频通话对象使用的设备；第一终端设备检测到用户选择第一控件的第二操作；响应于第二操作，第一终端设备将第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种，视频数据包括图像数据或语音数据中的至少一项。

第一终端设备具有接收视频通话请求的功能，也具有发送视频通话请求的功能，本申请对此不作限定。

第一终端设备检测到用户接受视频通话请求的第一操作也可以称为第一终端设备检测到用户接听视频通话的操作，本申请对此不作限定。

关爱模式可以是用户在视频通话之前打开的，也可以是在视频通话过程中打开的，本申请对此不作限定。

第一控件也可以称为多种通话方式的选项，本申请对此不作限定。

当第一控件被选择时，第一终端设备可以将第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种。

本申请提供的无障碍通话方法，增加了关爱模式，当用户与视频通话对象视频沟通(例如用户与聋哑人视频沟通)困难时，关爱模式可以处于打开状态，在检测到用户接受视频通话请求的第一操作之后，可以显示包括第一控件的第一视频通话界面，可以根据用户的选择转换视频通话对象的语言，以顺利进行沟通，有利于聋哑人群进行无障碍通话，提高用户体验。

结合第一方面，在第一方面的某些实现方式中，上述方法还包括：当第一终端设备接收视频通话对象的视频通话请求时，第一终端设备判断关爱模式是否处于打开状态；或者，当第一终端设备检测到用户接受视频通话请求的第一操作时，第一终端设备判断关爱模式是否处于打开状态。

本申请提供的无障碍通话方法，关爱模式状态的判断节点可以在接收视频通话对象的视频通话请求时，也可以在检测到用户接受视频通话请求的第一操作时，对此不作限定，可以灵活地判断关爱模式状态，可以适应于更多的场景。

结合第一方面，在第一方面的某些实现方式中，第一控件包括语音播放按钮；响应于第二操作，第一终端设备将第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种，包括：响应于第二操作，第一终端设备将视频数据转换为语音信息。

语音播放按钮也可以称为语音播放选项，本申请对此不作限定。

本申请提供的无障碍通话方法，第一控件包括语音播放按钮，当语音播放按钮被用户选择后，可以将视频数据转换为语音信息，可以通过语音确定视频通话对象所表述的内容，有利于实现无障碍沟通。

结合第一方面，在第一方面的某些实现方式中，视频数据包括图像数据，且图像数据中包括手势数据；响应于第二操作，第一终端设备将视频数据转换为语音信息，包括：响应于第二操作，第一终端设备将手势数据转换为语音信息。

本申请提供的无障碍通话方法，可以将手势数据转换为语音信息，实现手语与语音的转换，可以通过语音确定视频通话对象的手语所表述的内容，有利于实现无障碍沟通。

结合第一方面，在第一方面的某些实现方式中，视频数据包括图像数据和语音数据，且图像数据中不包括手势数据；响应于第二操作，第一终端设备将视频数据转换为语音，包括：响应于第二操作，第一终端设备将语音数据转换为语音信息。

本申请提供的无障碍通话方法，可以将视频通话对象的语音数据转换为语音信息，有利于用户通过语音确定视频通话对象所表述的内容，可以实现无障碍沟通。

结合第一方面，在第一方面的某些实现方式中，第一终端设备播放语音信息。

本申请提供的无障碍通话方法，可以将语音信息进行播放，有利于使用户听到语音信息，便于进行无障碍沟通。

结合第一方面，在第一方面的某些实现方式中，第一控件包括文字字幕按钮；响应于第二操作，第一终端设备将第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种，包括：响应于第二操作，第一终端设备将视频数据转换为文字信息。

本申请提供的无障碍通话方法，第一控件包括文字字幕按钮，当文字字幕按钮被用户选择后，可以将视频数据转换为文字信息，可以通过文字确定视频通话对象所表述的内容，有利于实现无障碍沟通。

结合第一方面，在第一方面的某些实现方式中，上述方法还包括：第一终端设备显示第二视频通话界面，第二视频通话界面包括文字显示区域，文字显示区域包括文字信息。

本申请提供的无障碍通话方法，通过文字显示区域显示文字信息，有利于使用户看到文字字幕，便于进行无障碍沟通。

结合第一方面，在第一方面的某些实现方式中，视频数据包括图像数据，且图像数据中包括手势数据；响应于第二操作，第一终端设备将视频数据转换为文字信息，包括：响应于第二操作，第一终端设备将手势数据转换为文字信息。

本申请提供的无障碍通话方法，可以将手势数据转换为文字信息，实现手语与文字的转换，可以通过文字确定视频通话对象的手语所表述的内容，有利于实现无障碍沟通。

结合第一方面，在第一方面的某些实现方式中，视频数据包括图像数据和语音数据，且图像数据中不包括手势数据；响应于第二操作，第一终端设备将视频数据转换为文字信息，包括：响应于第二操作，第一终端设备将语音数据转换为文字信息。

本申请提供的无障碍通话方法，可以将语音数据转换为文字信息，实现语音与文字的转换，可以通过文字确定视频通话对象的手语所表述的内容，有利于实现无障碍沟通。

结合第一方面，在第一方面的某些实现方式中，第一控件包括手语展示按钮；响应于第二操作，第一终端设备将第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种，包括：响应于第二操作，第一终端设备将视频数据转换为手语信息。

本申请提供的无障碍通话方法，第一控件包括手语展示按钮，当手语展示按钮被用户选择后，可以将视频数据转换为手语信息，可以通过手语确定视频通话对象所表述的内容，有利于实现无障碍沟通。

结合第一方面，在第一方面的某些实现方式中，方法还包括：第一终端设备显示第三视频通话界面，第三视频通话界面包括手语展示区域的视频通话界面，手语展示区域包括手语信息。

本申请提供的无障碍通话方法，通过手语展示区域显示手语信息，有利于使用户看到手语图像，便于进行无障碍沟通。

结合第一方面，在第一方面的某些实现方式中，视频数据包括图像数据，且图像数据中包括手势数据；响应于第二操作，第一终端设备将视频数据转换为手语信息，包括：响应于第二操作，第一终端设备将手势数据转换为手语信息。

本申请提供的无障碍通话方法，可以将视频通话对象的手势数据转换为手语信息，有利于用户通过手语确定视频通话对象所表述的内容，可以实现无障碍沟通。

结合第一方面，在第一方面的某些实现方式中，视频数据包括图像数据和语音数据，且图像数据中不包括手势数据；响应于第二操作，第一终端设备将视频数据转换为手语信息，包括：响应于第二操作，第一终端设备将语音数据转换为手语信息。

本申请提供的无障碍通话方法，可以将语音数据转换为手语信息，实现语音与手语的转换，可以通过手语确定视频通话对象的语音所表述的内容，有利于实现无障碍沟通。

结合第一方面，在第一方面的某些实现方式中，第一控件包括以下至少两个按钮：语音播放按钮、文字字幕按钮、或者手语展示按钮。

结合第一方面，在第一方面的某些实现方式中，视频通话对象为健全人，用户为聋哑人或者听障人士；或者，视频通话对象为聋哑人或者听障人士，用户为健全人。

第二方面，提供了一种无障碍通话方法，包括：第一终端设备向第二终端设备发送视频通话请求，第二终端设备为视频通话对象使用的设备；当视频通话对象接受视频通话请求，且关爱模式处于打开状态时，第一终端设备显示第一视频通话界面，第一视频通话界面包括第一控件、第一终端设备采集的第一图像以及第二终端设备发送的第二图像；第一终端设备检测到用户选择第一控件的第二操作；响应于第二操作，第一终端设备将第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种，视频数据包括图像数据或语音数据中的至少一项。

第三方面，提供了一种无障碍通话方法，包括：当关爱模式处于打开状态，且第一终端设备接收到视频通话对象的视频通话请求时，第一终端设备显示视频通话请求界面，视频通话请求界面包括第一控件；第一终端设备检测到用户选择第一控件的第二操作；响应于第二操作，第一终端设备将第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种，视频数据包括图像数据或语音数据中的至少一项。

第四方面，提供了一种终端设备，包括：收发模块、处理模块以及显示模块。收发模块用于：接收视频通话对象的视频通话请求；处理模块用于：检测到用户接受视频通话请求的第一操作；显示模块用于：响应于第一操作，当关爱模式处于打开状态时，显示第一视频通话界面，第一视频通话界面包括第一控件、采集的第一图像以及第二终端设备发送的第二图像，第二终端设备为视频通话对象使用的设备；处理模块还用于：检测到用户选择第一控件的第二操作；收发模块还用于：响应于第二操作，将第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种，视频数据包括图像数据或语音数据中的至少一项。

结合第四方面，在第四方面的某些实现方式中，上述处理模块还用于：当接收视频通话对象的视频通话请求时，判断关爱模式是否处于打开状态；或者，当检测到用户接受视频通话请求的第一操作时，判断关爱模式是否处于打开状态。

结合第四方面，在第四方面的某些实现方式中，第一控件包括语音播放按钮；上述处理模块还用于：响应于第二操作，将视频数据转换为语音信息。

结合第四方面，在第四方面的某些实现方式中，视频数据包括图像数据，且图像数据中包括手势数据；上述处理模块还用于：响应于第二操作，将手势数据转换为语音信息。

结合第四方面，在第四方面的某些实现方式中，视频数据包括图像数据和语音数据，且图像数据中不包括手势数据；上述处理模块还用于：响应于第二操作，将语音数据转换为语音信息。

结合第四方面，在第四方面的某些实现方式中，上述终端设备还包括播放模块，播放模块用于：播放语音信息。

结合第四方面，在第四方面的某些实现方式中，第一控件包括文字字幕按钮；上述处理模块还用于：响应于第二操作，将视频数据转换为文字信息。

结合第四方面，在第四方面的某些实现方式中，上述显示模块还用于：显示第二视频通话界面，第二视频通话界面包括文字显示区域，文字显示区域包括文字信息。

结合第四方面，在第四方面的某些实现方式中，视频数据包括图像数据，且图像数据中包括手势数据；上述处理模块还用于：响应于第二操作，将手势数据转换为文字信息。

结合第四方面，在第四方面的某些实现方式中，视频数据包括图像数据和语音数据，且图像数据中不包括手势数据；上述处理模块还用于：响应于第二操作，将语音数据转换为文字信息。

结合第四方面，在第四方面的某些实现方式中，第一控件包括手语展示按钮；上述处理模块还用于：响应于第二操作，将视频数据转换为手语信息。

结合第四方面，在第四方面的某些实现方式中，上述显示模块还用于：显示第三视频通话界面，第三视频通话界面包括手语展示区域的视频通话界面，手语展示区域包括手语信息。

结合第四方面，在第四方面的某些实现方式中，视频数据包括图像数据，且图像数据中包括手势数据；上述处理模块还用于：响应于第二操作，将手势数据转换为手语信息。

结合第四方面，在第四方面的某些实现方式中，视频数据包括图像数据和语音数据，且图像数据中不包括手势数据；上述处理模块还用于：响应于第二操作，将语音数据转换为手语信息。

结合第四方面，在第四方面的某些实现方式中，第一控件包括以下至少两个按钮：语音播放按钮、文字字幕按钮、或者手语展示按钮。

结合第四方面，在第四方面的某些实现方式中，视频通话对象为健全人，用户为聋哑人或者听障人士；或者，视频通话对象为聋哑人或者听障人士，用户为健全人。

第五方面，提供了一种终端设备，包括：收发模块、处理模块以及显示模块。收发模块用于：向第二终端设备发送视频通话请求，第二终端设备为视频通话对象使用的设备；显示模块用于：当视频通话对象接受视频通话请求，且关爱模式处于打开状态时，显示第一视频通话界面，第一视频通话界面包括第一控件、采集的第一图像以及第二终端设备发送的第二图像；处理模块用于：检测到用户选择第一控件的第二操作；响应于第二操作，将第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种，视频数据包括图像数据或语音数据中的至少一项。

第六方面，提供了一种终端设备，包括：处理模块和显示模块。显示模块用于：当关爱模式处于打开状态，且接收到视频通话对象的视频通话请求时，显示视频通话请求界面，视频通话请求界面包括第一控件；处理模块用于：检测到用户选择第一控件的第二操作；响应于第二操作，将第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种，视频数据包括图像数据或语音数据中的至少一项。

第七方面，本申请提供了一种终端设备，包括处理器，该处理器与存储器耦合，可用于执行存储器中的指令，以实现上述任一方面中任一种可能实现方式中的方法。可选地，该终端设备还包括存储器。可选地，该终端设备还包括收发器，处理器与收发器耦合。

第八方面，本申请提供了一种处理器，包括：输入电路、输出电路和处理电路。处理电路用于通过输入电路接收信号，并通过输出电路发射信号，使得处理器执行上述任一方面中任一种可能实现方式中的方法。

在具体实现过程中，上述处理器可以为芯片，输入电路可以为输入管脚，输出电路可以为输出管脚，处理电路可以为晶体管、门电路、触发器和各种逻辑电路等。输入电路所接收的输入的信号可以是由例如但不限于接收器接收并输入的，输出电路所输出的信号可以是例如但不限于输出给发射器并由发射器发射的，且输入电路和输出电路可以是同一电路，该电路在不同的时刻分别用作输入电路和输出电路。本申请对处理器及各种电路的具体实现方式不做限定。

第九方面，本申请提供了一种处理装置，包括处理器和存储器。该处理器用于读取存储器中存储的指令，并可通过接收器接收信号，通过发射器发射信号，以执行上述任一方面中任一种可能实现方式中的方法。

可选地，处理器为一个或多个，存储器为一个或多个。

可选地，存储器可以与处理器集成在一起，或者存储器与处理器分离设置。

在具体实现过程中，存储器可以为非瞬时性(non-transitory)存储器，例如只读存储器(read only memory，ROM)，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本申请对存储器的类型以及存储器与处理器的设置方式不做限定。

应理解，相关的数据交互过程例如发送指示信息可以为从处理器输出指示信息的过程，接收能力信息可以为处理器接收输入能力信息的过程。具体地，处理输出的数据可以输出给发射器，处理器接收的输入数据可以来自接收器。其中，发射器和接收器可以统称为收发器。

上述第九方面中的处理装置可以是一个芯片，该处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。

第十方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序(也可以称为代码，或指令)当其在计算机上运行时，使得计算机执行上述任一方面中任一种可能实现方式中的方法。

第十一方面，本申请提供了一种计算机程序产品，计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当计算机程序被运行时，使得计算机执行上述任一方面中任一种可能实现方式中的方法。

附图说明

图1是一种视频通话的示意图；

图2是本申请实施例提供的一种终端设备的结构示意图；

图3是本申请实施例提供的一种终端设备的软件结构框图；

图4是本申请实施例提供的一种无障碍通话方法的示意性流程图；

图5是本申请实施例提供的一种开启关爱模式的示意图；

图6是本申请实施例提供的一种第一视频通话界面的示意图；

图7是本申请实施例提供的另一种第一视频通话界面的示意图；

图8是本申请实施例提供的一种视频通话界面的示意图；

图9是本申请实施例提供的另一种视频通话界面的示意图；

图10是本申请实施例提供的又一种视频通话界面的示意图；

图11是本申请实施例提供的另一种视频通话界面的示意图；

图12是本申请实施例提供的又一种视频通话界面的示意图；

图13是本申请实施例提供的一种语言转换方法的示意性流程图；

图14是本申请实施例提供的一种终端设备的示意性框图；

图15是本申请实施例提供的另一种终端设备的示意性框图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

目前，使用手语的人使用终端设备的视频通话功能与健全人进行视频通话仍然存在一定的困难。例如，聋哑人与健全人进行视频通话时，聋哑人可以使用手语进行沟通，若健全人看不懂聋哑人的手语，会不了解聋哑人表达的意思，而聋哑人又听不到健全人的声音，不能正常进行沟通，两者只能通过打字，以文字的形式进行沟通，会降低沟通效率。

示例性地，图1示出了一种视频通话的示意图。如图1所示，终端设备可以是手机，聋哑人可以通话手机的视频通话功能与健全人进行视频通话。如图1中的a界面所示，用户A向用户B发起视频通话请求，用户B的手机可以显示视频通话请求界面，视频通话请求界面中可以显示请求人(即用户A)的头像、接听控件以及挂断控件。用户B可以点击接听控件以接听用户A的视频通话，手机检测到用户触发了接听控件后，可以显示图1中的b界面。

如图1中的b界面所示，手机可以显示视频通话界面，视频通话界面可以显示一个大窗口和一个小窗口，大窗口可以用于用户B看到用户A的画面，小窗口可以用于用户B看到自己的画面。该视频通话界面还可以显示挂断控件以便于用户B结束视频通话。

手机显示视频通话界面时，用户A可以和用户B进行聊天，若用户A为聋哑人，用户B为健全人，用户A可以使用手语和用户B进行沟通，但用户B看不懂用户A的手语，不了解用户A表达的意思，用户A也听不到健全人的声音，不能正常进行沟通。用户B和用户A只能通过聊天界面进行打字，以文字的形式进行沟通，会降低沟通效率。

有鉴于此，本申请实施例提供了一种无障碍通话方法和终端设备，有利于聋哑人群进行无障碍通话，提高用户体验。

本申请实施例提供的方法适用于任意具有视频通话功能的终端设备，例如，手机、平板电脑、个人计算机(personal computer，PC)、智慧屏、人工智能(artificialintelligence，AI)音箱、车机设备以及智能手表等可穿戴终端设备，还可以是各种教学辅助工具(例如学习机、早教机)、智能玩具、便携式机器人、个人数字助理(personal digitalassistant，PDA)、增强现实技术(augmented reality，AR)设备、虚拟现实(virtualreality，VR)设备等，也可以是具有移动办公功能的设备、具有智能家居功能的设备、具有影音娱乐功能的设备、支持智能出行的设备等。应理解，本申请的实施例对终端设备所采用的具体技术和具体设备形态不做限定。

为了能够更好地理解本申请实施例，下面对本申请实施例的终端设备的硬件结构进行介绍。示例性地，图2为本申请实施例提供的一种终端设备的结构示意图。

终端设备可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，收话器170B，麦克风170C，传感器模块180，按键190，指示器192，摄像头193，以及显示屏194等。

可选地，上述传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对终端设备的具体限定。在本申请另一些实施例中，终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中还可以设置存储器，用于存储指令和数据。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为终端设备充电，也可以用于终端设备与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他终端设备，例如AR设备等。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块141用于连接充电管理模块140与处理器110。

终端设备的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端设备中的天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。

移动通信模块150可以提供应用在终端设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。

无线通信模块160可以提供应用在终端设备上的包括无线局域网(wirelesslocalarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)等无线通信的解决方案。

终端设备通过GPU，显示屏194以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，终端设备可以包括1个或N个显示屏194，N为大于1的正整数。

终端设备可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

摄像头193用于捕获静态图像或视频。在一些实施例中，终端设备可以包括1个或N个摄像头193，N为大于1的正整数。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。

终端设备可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。终端设备可以通过扬声器170A收听音乐，或收听免提通话。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当终端设备接听电话或语音信息时，可以通过将收话器170B靠近人耳接听语音。麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。陀螺仪传感器180B可以用于确定终端设备的运动姿态。气压传感器180C用于测量气压。磁传感器180D包括霍尔传感器。加速度传感器180E可检测终端设备在各个方向上(一般为三轴)加速度的大小。距离传感器180F，用于测量距离。接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。环境光传感器180L用于感知环境光亮度。指纹传感器180H用于采集指纹。温度传感器180J用于检测温度。触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。骨传导传感器180M可以获取振动信号。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备可以接收按键输入，产生与终端设备的用户设置以及功能控制有关的键信号输入。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

终端设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。分层架构可以采用安卓(Android)系统，也可以采用苹果(IOS)系统，还可以采样其他操作系统，本申请实施例对此不作限定。下面以分层架构的Android系统为例，示例性说明终端设备的软件结构。

图3为本申请实施例适用的一种终端设备的软件结构框图。分层架构将终端设备的软件系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，可以将Android系统分为四层，从上到下依次为应用程序层(applications)、应用程序框架层(application framework)、安卓运行时(Androidruntime)和系统库、以及内核层(kernel)。

应用程序层可以包括一系列应用程序包，应用程序层通过调用应用程序框架层所提供的应用程序接口(application programming interface，API)运行应用程序。如图3所示，应用程序包可以包括相机，图库，日历，备忘录，地图，导航，蓝牙，音乐，视频通话，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供API和编程框架。应用程序框架层包括一些预先定义的函数。如图3所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。电话管理器用于提供终端设备的通信功能。例如通话状态的管理(包括接通，挂断等)。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等。通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，终端设备振动，指示灯闪烁等。

安卓系统运行时包括核心库和虚拟机。安卓系统运行时负责安卓系统的调度和管理。核心库包含两部分：一部分是Java语言需要调用的功能函数，另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的Java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。系统库可以包含多个功能的模块，例如：表面管理器，媒体库、三维图形处理库以及识别算法模块等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了二维图层和三维图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：JPG，PNG等。三维图形处理库用于实现三维图形绘图，图像渲染，合成和图层处理等。识别算法模块可以用于手语识别、语音识别以及文字语义识别。其中，手语识别是指将语音或者文字识别为手语，语音识别是指将手语或者文字识别为语音，文字语义识别是指将手语或者语音识别为文字。

内核层是硬件和软件之间的层。内核层用于驱动硬件，使得硬件工作。内核层至少包含显示驱动，指纹幕驱动、摄像头驱动以及蓝牙驱动等，本申请实施例对此不做限制。

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

此外，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b和c中的至少一项(个)，可以表示：a，或b，或c，或a和b，或a和c，或b和c，或a、b和c，其中a，b，c可以是单个，也可以是多个。

图4示出了一种无障碍通话方法400的示意性流程图。该方法400可以由终端设备执行，例如，上述图1所示的手机。终端设备的硬件结构图可以如图2所示，终端设备的软件结构框图可以如图3所示，但本申请实施例并不限于此。

如图4所示，该方法400可以包括如下步骤：

S401、检测到用户接听视频通话的操作。

当用户在终端设备显示的视频通话请求界面中点击接听控件时，终端设备可以检测到用户接听视频通话的操作。例如，视频通话请求界面可以如上述图1中的a界面所示，用户点击接听控件时，手机可以检测到用户接听视频通话的操作。

需要说明的是，此终端设备可以称为第一终端设备，视频通话对象使用的设备可以称为第二终端设备。

S402、响应于用户接听视频通话的操作，判断关爱模式是否处于打开状态。

关爱模式是使聋哑人与健全人正常通信的一种模式，此名称仅仅为一个示例，本申请实施例对此不作限定。关爱模式的打开和关闭可以是预设的，也可以是用户设置的，本申请实施例对此不作限定。

终端设备在出厂时，关爱模式可以是打开的，也可以是关闭的，本申请实施例对此不作限定。终端设备出厂后，用户可以根据实际情况实时调整关爱模式的打开和关闭。例如，若用户为健全人，当用户存在与聋哑人视频通话的需求时，可以使关爱模式处于打开状态，若用户与健全人进行视频通话，可以使关爱模式处于关闭状态。若用户为聋哑人，当用户存在与健全人视频通话的需求时，可以使关爱模式处于打开状态，若用户与聋哑人进行视频通话，可以使关爱模式处于关闭状态。

当终端设备为手机时，关爱模式可以在手机的设置应用程序中，用户可以在设置应用程序中开启或者关闭关爱模式。

示例性地，图5示出了一种开启关爱模式的示意图。如图5中的a界面所示，用户点击设置应用程序的图标以打开设置应用程序，手机检测到用户打开设置应用程序的操作，可以显示设置界面。设置界面中可以包括用户设定、飞行模式、WLAN、蓝牙、移动网络、应用程序、存储以及辅助功能等选项。当手机检测到用户点击辅助功能选项的操作时，手机可以显示辅助功能界面，如图5中的b界面所示。辅助功能界面可以包括无障碍、单手模式、手势控制、智慧多窗、防误触操作、手套操作以及定时开关机等选项。当手机检测到用户点击无障碍选项的操作时，手机可以显示无障碍界面，如图5中的c界面所示。无障碍界面可以包括放大手势、开关控制、无障碍快捷方式、屏幕触控以及关爱模式等选项。此时，关爱模式处于关闭状态。当手机检测到用户点击关爱模式选项的操作时，手机打开关爱模式，如图5中的d界面所示。此时，关爱模式处于打开状态。

关爱模式也可以显示在弹窗中，用户可以在弹窗中选择打开或者关闭关爱模式。

例如，终端设备检测到用户接听视频通话或者用户拨打视频电话的操作后，可以显示弹窗，弹窗中可以包括关爱模式、打开控件以及关闭控件。例如，该弹窗可以显示在来电界面或者视频通话请求界面中。当终端设备检测到用户点击打开控件的操作时，终端设备使关爱模式处于打开状态。当终端设备检测到用户点击关闭控件的操作时，终端设备使关爱模式处于关闭状态。

又如，终端设备检测到用户接听视频通话的操作后，可以显示弹窗，弹窗中可以包括是否打开关爱模式、是控件以及否控件。当终端设备检测到用户点击是控件的操作时，终端设备使关爱模式处于打开状态。当终端设备检测到用户点击否控件的操作时，终端设备使关爱模式处于关闭状态。

需要说明的是，上述打开或者关闭关爱模式的方式仅仅为示例，本申请实施例对此不作限定。

当关爱模式处于打开状态时，终端设备可以执行S403；当关爱模式未处于打开状态(即关爱模式处于关闭状态)时，终端设备可以执行S404。

S403、当关爱模式处于打开状态时，终端设备可以显示第一视频通话界面，该第一视频通话界面包括多种通话方式的选项，该多种通话方式可以将视频通话对象的语言转换为用户可懂的语言。

多种通话方式可以包括语音通话方式、文字通话方式以及手语通话方式中的至少两个。其中，语音通话方式可以将视频通话对象的语言(例如，手语或者文字)转换为语音。文字通话方式可以将视频通话对象的语言(例如，手语或者语音)转换为文字，手语通话方式可以将视频通话对象的语言(例如，文字或者语音)转换为手语。

多种通话方式的选项可以直接显示在第一视频通话界面中，也可以间接显示在第一视频通话界面中，本申请实施例对此不作限定。

在一种可能的实现方式中，多种通话方式的选项可以直接显示在第一视频通话界面中。

示例性地，图6示出了一种第一视频通话界面的示意图。如图6所示，第一视频通话界面中包括3个选项，该3个选项分别为语音播放、文字字幕以及手语展示。这3个选项分别对应一种通话方式，语音播放对应语音通话方式，文字字幕对应文字通话方式，手语展示对应手语通话方式。用户可以根据视频通话对象的特点(聋哑人或者健全人)或者根据用户自身的特点，选择合适的通话方式，以便于进行沟通。例如，若用户为聋哑人，可以根据自身的特点，选择文字通话方式进行沟通。

需要说明的是，选项名称即语音播放、文字字幕以及手语展示仅仅是一种名称的示例，本申请实施例对此不作限定。选项名称在第一视频通话界面的位置和显示形式，本申请实施例均对此不作限定。

这种实现方式，多种通话方式的选项直接显示在第一视频通话界面中，方便用户查找，可以节省查找选项的时间，有利于提高沟通效率。

在另一种可能的实现方式中，多种通话方式的选项可以间接显示在第一视频通话界面中，即用户可以在第一视频通话界面中通过某种方式使多种通话方式的选项显示在第一视频通话界面中。

示例性地，图7示出了另一种第一视频通话界面的示意图。如图7中的a界面所示，第一视频通话界面中显示挂断控件和更多控件，用户可以点击更多控件以查看更多的选项或者控件。当手机检测到用户点击更多控件时，手机可以显示第一视频通话界面，如图7中的b界面所示。第一视频通话界面包括3个选项，该3个选项分别为语音播放、文字字幕以及手语展示，这3个选项分别对应一种通话方式，语音播放对应语音通话方式，文字字幕对应文字通话方式，手语展示对应手语通话方式。用户可以根据视频通话对象的特点(聋哑人或者健全人)，选择合适的通话方式，以便于进行沟通。

这种实现方式，多种通话方式的选项间接显示在第一视频通话界面中，可以节省第一视频通话界面的空间，界面简洁。

S404、当关爱模式未处于打开状态时，终端设备可以显示默认视频通话界面。

默认视频通话界面可以指现有终端设备可以显示的视频通话界面，例如，上述图1中b界面。关爱模式未处于打开状态，即用户与视频通话对象可以正常沟通，不需要进行语言的转换，此时，终端设备可以显示默认视频通话界面。

本申请实施例提供的无障碍通话方法，增加了关爱模式，当用户与视频通话对象视频沟通(例如用户与聋哑人视频沟通)困难时，关爱模式可以处于打开状态，在检测到用户接听视频通话的操作之后，可以显示包括多种通话方式选项的第一视频通话界面，可以根据用户选择的通话方式转换视频通话对象的语言，以顺利进行沟通，有利于聋哑人群进行无障碍通话，提高用户体验。

上面详细描述了本申请实施例的方法，下面将结合具体的应用场景对本申请实施例提供的方法进行介绍。

上述第一视频通话界面可以包括语音播放和文字字幕的选项，或者，第一视频通话界面可以包括语音播放、文字字幕以及手语展示的选项，不同的第一视频通话界面可以应用于不同的应用场景。

示例性地，第一视频通话界面包括语音播放和文字字幕的选项，可以适用于基于语音和文字通话方式的无障碍视频通话场景。例如，听障人士与健全人之间进行视频通话。

健全人当听障人士与健全人进行视频通话时，健全人可以通过语音通话方式与听障人士进行沟通，即终端设备将听障人士表达的内容以语音的形式体现；听障人士可以通过文字通话方式与健全人进行沟通，即终端设备将健全人表达的内容以文字的形式体现。应理解，听障人士是指听力存在障碍，但语言能力无问题的人。

示例性地，当听障人士与健全人进行视频通话时，健全人使用的终端设备为手机1。手机1中的关爱模式可以处于打开状态。健全人可以通过语音通话方式与听障人士进行沟通。图8示出了一种视频通话界面的示意图。如图8中的a界面所示，手机1检测到用户(即健全人)接听视频通话的操作，且关爱模式处于打开状态，手机1可以显示第一视频通话界面，该第一视频通话界面可以包括语音播放选项和文字字幕选项，用户(即健全人)可以点击语音播放选项以通过语音通话方式与听障人士进行沟通。若手机1检测到用户(即健全人)点击语音播放选项的操作，可以显示图8中的b界面。如图8中的b界面所示，手机1可以获取包括听障人士的视频数据，视频数据中包括图像数据和语音数据，手机1可以播放图像数据对应的图像信息和语音数据对应的语音信息以使用户(即健全人)可以通过图像信息看到听障人士，并通过语音信息确定听障人士表达的内容。

当听障人士与健全人进行视频通话时，听障人士使用的终端设备为手机2。手机2中的关爱模式可以处于打开状态。听障人士可以通过文字通话方式与健全人进行沟通。图9示出了另一种视频通话界面的示意图。如图9中的a界面所示，手机2检测到用户(即听障人士)接听视频通话的操作，且关爱模式处于打开状态，手机2可以显示第一视频通话界面，该第一视频通话界面可以包括语音播放选项和文字字幕选项，用户(即听障人士)可以点击文字字幕选项以通过文字通话方式与健全人进行沟通。若手机2检测到用户(即听障人士)点击文字字幕选项的操作，可以显示第二视频通话界面，即图9中的b界面。如图9中的b界面所示，第二视频通话界面中显示文字字幕区域，手机2可以获取包括健全人的视频数据，视频数据中包括图像数据和语音数据，手机2可以播放图像数据对应的图像信息，并将语音数据转换为文字信息，以及，将文字信息显示在文字字幕区域以使用户(即听障人士)可以通过文字确定健全人表达的内容。例如，健全人通过声音表述“你好，中午有时间么？”，手机2可以将“你好，中午有时间么？”的语音数据转换为文字信息，并显示在文字字幕区域。

示例性地，第一视频通话界面包括语音播放、文字字幕以及手语展示的选项，可以适用于基于语音和文字通话方式、或者，基于语音和手语通话方式的无障碍视频通话场景。例如，聋哑人与健全人之间进行视频通话。

当聋哑人与健全人进行视频通话时，健全人可以通过语音通话方式与聋哑人进行沟通，即终端设备将聋哑人表达的内容以语音的形式体现；聋哑人可以通过文字通话方式或者手语通话方式与健全人进行沟通，即终端设备将健全人表达的内容以文字或者手语的形式体现。

示例性地，当聋哑人与健全人进行视频通话时，健全人使用的终端设备为手机1，手机1中的关爱模式可以处于打开状态。健全人可以通过语音通话方式与聋哑人进行沟通。图10示出了一种视频通话界面的示意图。如图10中的a界面所示，手机1检测到用户(即健全人)接听视频通话的操作，且关爱模式处于打开状态，手机1可以显示第一视频通话界面，该第一视频通话界面可以包括语音播放选项、文字字幕选项以及手语展示选项，用户(即健全人)可以点击语音播放选项以通过语音通话方式与聋哑人进行沟通。若手机1检测到用户(即健全人)点击语音播放选项的操作，可以显示图10中的b界面。如图10中的b界面所示，手机1可以获取包括聋哑人的视频数据，视频数据中包括图像数据，手机1可以播放图像数据对应的图像信息，并识别图像数据中的手势数据，并将手势数据转换为语音信息，播放语音信息以使用户(即健全人)可以通过声音确定聋哑人表达的内容。

聋哑人可以通过文字通话方式与健全人进行沟通。图11示出了另一种视频通话界面的示意图。如图11中的a界面所示，聋哑人使用的终端设备为手机2，手机2检测到用户(即聋哑人)接听视频通话的操作，且关爱模式处于打开状态，手机2可以显示第一视频通话界面，该第一视频通话界面可以包括语音播放选项、文字字幕选项以及手语展示选项，用户(即聋哑人)可以点击文字字幕选项以通过文字通话方式与健全人进行沟通。若手机2检测到用户(即聋哑人)点击文字字幕选项的操作，手机2可以显示第二视频通话界面，即图11中的b界面。如图11中的b界面所示，第二视频通话界面中显示文字字幕区域，如图11中的b界面所示，手机2可以获取包括健全人的视频数据，视频数据中包括图像数据和语音数据，手机2可以播放图像数据对应的图像信息，并将语音数据转换为文字信息，将文字信息显示在文字字幕区域以使用户(即聋哑人)可以通过文字确定健全人表达的内容。例如，健全人通过声音表述“你好，中午有时间么？”，手机2可以将“你好，中午有时间么？”的语音数据转换为文字信息，并显示在文字字幕区域。

聋哑人可以通过手语通话方式与健全人进行沟通。图12示出了又一种视频通话界面的示意图。如图12中的a界面所示，聋哑人使用的终端设备为手机2，手机2检测到用户(即聋哑人)接听视频通话的操作，且关爱模式处于打开状态，手机2可以显示第一视频通话界面，该第一视频通话界面可以包括语音播放选项、文字字幕选项以及手语展示选项，用户(即聋哑人)可以点击手语展示选项以通过手语通话方式与健全人进行沟通。若手机2检测到用户(即聋哑人)点击手语展示选项的操作，可以显示第三视频通话界面，即图12中的b界面。如图12中的b界面所示，第三视频通话界面中显示手语展示区域，手机2可以获取包括健全人的视频数据，视频数据中包括图像数据和语音数据，手机2可以播放图像数据对应的图像信息，并将语音数据转换为手语信息，将手语信息显示在手语展示区域以使用户(即聋哑人)可以通过手语确定健全人表达的内容。

可选地，手语展示区域中还可以显示手部三维模型，手语可以通过手部三维模型进行展示，可以提高用户的沉浸感和体验感。

本申请实施例提供的无障碍通话方法，主要是提供多种通话方式使视频通话对象的语言转换为用户可懂的语言。例如，语音通话方式可以将视频通话对象的语言(例如手语)转换为语音。文字通话方式可以将视频通话对象的语言(例如，手语或者语音)转换为文字，手语通话方式可以将视频通话对象的语言(例如，语音)转换为手语。本申请实施例将详细介绍具体的语言转换方法。

图13示出了一种语言转换方法1300的示意性流程图。该方法1300可以由终端设备执行，例如，上述图1所示的手机。终端设备的硬件结构图可以如图2所示，终端设备的软件结构框图可以如图3所示，但本申请实施例并不限于此。

如图13所示，该方法1300可以包括如下步骤：

S1301、获取视频通话对象的视频数据，视频数据可以包括图像数据。

终端设备显示第一视频通话界面时，可以获取视频通话对象的视频数据，并显示其中的图像数据。

S1302、判断图像数据中是否存在手势数据。

若图像数据中存在手势数据，可以说明视频通话对象使用手语进行沟通，终端设备可以执行S1303。若图像数据中不存在手势数据，可以说明视频通话对象不使用手语进行沟通，视频通话对象可以使用语音进行沟通，终端设备可以执行S1311。

示例性地，终端设备可以通过特定接口判断图像数据中是否存在手势数据，具体地，从图像数据中识别手势数据的算法可以集成在特定接口中，终端设备获取图像数据后，可以调用该特定接口以识别图像数据中的手势数据，若识别成功，则说明图像数据中存在手势数据。若识别失败，则说明图像数据中不存在手势数据。

S1303、若图像数据中包括手势数据，将手势数据输入至第一识别模型，得到手势数据对应的第一文字信息。

第一识别模型，也可以称为第一神经网络模型，还可以称为第一文字识别模型，本申请实施例对此不作限定。第一识别模型用于对手势数据进行识别，得到手势数据对应的文字信息。

第一识别模型的训练方法可以存在多种可能的实现方式。

在一种可能的实现方式中，第一识别模型可以是对大量手势数据和手势数据对应的文字信息进行训练得到的。

在另一种可能的实现方式中，第一识别模型可以是软件开发工具包(softwaredevelopment kit，SDK)提供的，终端设备可以通过接口调用第一识别模型。

终端设备通过第一识别模型对手势数据进行识别，得到手势数据对应的第一文字信息。

S1304、判断是否处于文字字幕状态。

若用户在第一视频通话界面点击了文字字幕选项，终端设备检测到用户的操作，可以进入文字字幕状态。

若终端设备处于文字字幕状态，终端设备可以执行S1305。若终端设备未处于文字字幕状态，终端设备可以执行S1306。

S1305、在文字字幕状态下，在文字字幕区域显示第一文字信息。

在文字字幕状态下，视频通话界面可以显示文字字幕区域，如上述图11中的b界面所示。在文字字幕状态下，终端设备可以将第一文字信息显示在文字字幕区域。

这种方式，终端设备可以将手语转换为文字，有利于不懂手语的用户可以通过文字确定手语所表示的内容。

S1306、在非文字字幕状态下，判断是否处于语音播放状态。

若终端设备未处于文字字幕状态，终端设备可以判断是否处于语音播放状态。

若用户在第一视频通话界面点击了语音播放选项，终端设备检测到用户的操作，可以进入语音播放状态。

若终端设备处于语音播放状态，终端设备可以执行S1307。若终端设备未处于语音播放状态，终端设备可以执行S1309。

S1307、在语音播放状态下，将第一文字信息输入至第二识别模型，得到第一文字信息对应的第一语音信息。

第二识别模型，也可以称为第二神经网络模型，还可以称为语音识别模型，本申请实施例对此不作限定。第二识别模型用于对文字数据进行合成，得到文字数据对应的语音信息。第二识别模型可以是对大量文字数据和文字信息对应的语音信息进行训练得到的。

在语音播放状态下，终端设备可以通过第二识别模型对第一文字信息进行合成，得到第一文字数据对应的第一语音信息。

S1308、播放第一语音信息。

终端设备可以通过扬声器170A播放第一语音信息。

S1309、在语音播放状态下，判断是否处于手语展示状态。

若用户在第一视频通话界面点击了手语展示选项，终端设备检测到用户的操作，可以进入手语展示状态。

若终端设备处于手语展示状态，终端设备可以执行S1310。若终端设备未处于手语展示状态，终端设备可以结束语言转换方法。

S1310、在手语展示状态下，在手语展示区域显示手势数据对应的第一手语信息。

S1311、若图像数据中不包括手势数据，判断视频数据中是否存在语音数据。

若视频数据中存在语音数据，可以说明视频通话对象可以使用语音进行沟通，终端设备可以执行S1312。若视频数据中不存在语音数据，不存在需要转换的语言，终端设备可以结束语言转换方法。终端设备可以在视频通话界面只显示图像数据对应的图像信息。

S1312、若存在语音数据，对语音数据进行降噪处理，得到降噪后的语音数据。

降噪处理是对语音数据进行预处理的一种可能的实现方式，本申请实施例对此不作限定。

终端设备对语音数据进行降噪处理，可以减少语音数据中的噪声，以提高识别的准确性。

S1313、对降噪后的语音数据进行特征提取，得到至少一个特征信息。

特征信息可以包括长短时小波特征、梅尔倒谱特征(mel frequency cepstrumcoefficient，MFCC)、或者对数频谱特征等特征中的至少一个，本申请实施例并不限于此。

终端设备可以提取降噪后的语音数据中的至少一个特征信息，以便于后续的识别。

S1314、将至少一个特征信息输入至第三识别模型，得到至少一个特征信息对应的第二文字信息。

第三识别模型，也可以称为第三神经网络模型，还可以称为第二文字识别模型，本申请实施例对此不作限定。第三识别模型用于对至少一个特征信息进行识别，得到至少一个特征信息对应的文字信息。第三识别模型可以是对特征信息和特征信息对应的文字信息进行训练得到的。

终端设备可以通过第三识别模型对至少一个特征信息进行模板匹配，得到至少一个特征信息对应的第二文字信息。

S1315、判断是否处于文字字幕状态。

若用户在第一视频通话界面点击了文字字幕选项，终端设备检测到用户的操作，可以进入文字字幕状态。

若终端设备处于文字字幕状态，终端设备可以执行S1316。若终端设备未处于文字字幕状态，终端设备可以执行S1317。

S1316、在文字字幕状态下，在文字字幕区域显示第二文字信息。

在文字字幕状态下，视频通话界面可以显示文字字幕区域，如图11中的b界面所示。在文字字幕状态下，终端设备可以将第二文字信息显示在文字字幕区域。

这种方式，终端设备可以将语音转换为文字，有利于存在听力障碍的用户可以通过文字确定语音所表示的内容。

S1317、在非文字字幕状态下，判断是否处于手语展示状态。

若终端设备未处于文字字幕状态，终端设备可以判断是否处于手语展示状态。

若用户在第一视频通话界面点击了手语展示选项，终端设备检测到用户的操作，可以进入手语展示状态。

若终端设备处于手语展示状态，终端设备可以执行S1318。若终端设备未处于手语展示状态，终端设备可以执行S1320。

S1318、在手语展示状态下，将第二文字信息输入至第四识别模型，得到第二文字信息对应的第二手语信息。

第四识别模型，也可以称为第四神经网络模型，还可以称为手语识别模型，本申请实施例对此不作限定。第四识别模型用于对第二文字信息进行识别，得到第二文字信息对应的第二手语信息。

第四识别模型的训练方法可以存在多种可能的实现方式。

在一种可能的实现方式中，第四识别模型可以是对大量文字信息和文字信息对应的手语信息进行训练得到的。

在另一种可能的实现方式中，第四识别模型可以是SDK提供的，终端设备可以通过接口调用第四识别模型。

终端设备可以通过第四识别模型对第二文字信息进行识别，得到第二文字信息对应的第二手语信息。

S1319、在手语展示区域显示第二手语信息。

在手语展示状态下，视频通话界面可以显示手语展示区域，如图12中的b界面所示。在手语展示状态下，终端设备可以将第二手语信息显示在手语展示区域。

若手语展示区域中显示有手部三维模型，终端设备可以通过手部三维模型展示手语。

S1320、在非手语展示状态下，判断是否处于语音播放状态。

若终端设备处于语音播放状态，终端设备可以执行S1321。若终端设备处于非语音播放状态，终端设备可以结束语音转换方法，可以在视频通话界面只显示图像数据对应的图像信息。

S1321、在语音播放状态下，播放语音数据对应的第二语音信息。

本申请实施例提供的语言转换方法，若视频数据中存在手势数据，且处于文字字幕状态或者语音播放状态，可以将手势数据转换为文字信息或者语音信息，有利于使不懂手语的用户通过文字或者语音确定手语所表示的内容，若视频数据中存在语音数据，且处于文字字幕状态或者手语展示状态，可以将语音数据转换为文字信息或者手语信息，有利于使存在听力障碍的用户通过文字或者手语确定语音所表示的内容，有利于实现无障碍通话。

上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上文中结合图1至图13，详细描述了本申请实施例提供的无障碍通话方法，下面将结合图14和图15，详细描述本申请实施例提供的终端设备。

图14示出了本申请实施例提供的一种终端设备1400，该终端设备1400包括：收发模块1410、处理模块1420以及显示模块1430。

在一种可能的实现方式中，收发模块1410用于：接收视频通话对象的视频通话请求；处理模块1420用于：检测到用户接受视频通话请求的第一操作；显示模块1430用于：响应于第一操作，当关爱模式处于打开状态时，显示第一视频通话界面，第一视频通话界面包括第一控件、采集的第一图像以及第二终端设备发送的第二图像，第二终端设备为视频通话对象使用的设备；处理模块1420还用于：检测到用户选择第一控件的第二操作；收发模块1410还用于：响应于第二操作，将第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种，视频数据包括图像数据或语音数据中的至少一项。

在另一种可能的实现方式中，收发模块1410用于：向第二终端设备发送视频通话请求，第二终端设备为视频通话对象使用的设备；显示模块1430用于：当视频通话对象接受视频通话请求，且关爱模式处于打开状态时，显示第一视频通话界面，第一视频通话界面包括第一控件、采集的第一图像以及第二终端设备发送的第二图像；处理模块1420用于：检测到用户选择第一控件的第二操作；响应于第二操作，将第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种，视频数据包括图像数据或语音数据中的至少一项。

在又一种可能的实现方式中，收发模块是可选的，终端设备1400可以只包括处理模块1420和显示模块1430。显示模块1430用于：当关爱模式处于打开状态，且接收到视频通话对象的视频通话请求时，显示视频通话请求界面，视频通话请求界面包括第一控件；处理模块1420用于：检测到用户选择第一控件的第二操作；响应于第二操作，将第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种，视频数据包括图像数据或语音数据中的至少一项。

应理解，这里的终端设备1400以功能模块的形式体现。这里的术语“模块”可以指应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。在一个可选的例子中，本领域技术人员可以理解，终端设备1400可以具体为上述方法实施例中的终端设备，或者，上述方法实施例中终端设备的功能可以集成在终端设备1400中，终端设备1400可以用于执行上述方法实施例中与终端设备对应的各个流程和/或步骤，为避免重复，在此不再赘述。

上述终端设备1400具有实现上述方法实施例中终端设备执行的相应步骤的功能；上述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。

在本申请的实施例中，图14中的终端设备1400也可以是芯片或者芯片系统，例如：片上系统(system on chip，SoC)。

图15是本申请实施例提供的另一种终端设备1500的示意性框图。该终端设备1500包括处理器1510、收发器1520和存储器1530。其中，处理器1510、收发器1520和存储器1530通过内部连接通路互相通信，该存储器1530用于存储指令，该处理器1520用于执行该存储器1530存储的指令，以控制该收发器1520发送信号和/或接收信号。

应理解，终端设备1500可以具体为上述方法实施例中的终端设备，或者，上述方法实施例中终端设备的功能可以集成在终端设备1500中，终端设备1500可以用于执行上述方法实施例中与终端设备对应的各个步骤和/或流程。可选地，该存储器1530可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。该处理器1510可以用于执行存储器中存储的指令，并且该处理器执行该指令时，该处理器可以执行上述方法实施例中与终端设备对应的各个步骤和/或流程。

应理解，在本申请实施例中，该处理器1510可以是中央处理单元(centralprocessing unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器执行存储器中的指令，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，该计算机程序用于实现上述方法实施例中终端设备对应的方法。

本申请还提供了一种芯片系统，该芯片系统用于支持上述方法实施例中终端设备实现本申请实施例所示的功能。

本申请还提供了一种计算机程序产品，该计算机程序产品包括计算机程序(也可以称为代码，或指令)，当该计算机程序在计算机上运行时，该计算机可以执行上述方法实施例所示的终端设备对应的方法。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以终端硬件、或者计算机软件和终端硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应所述以权利要求的保护范围为准。

Claims (19)

1.一种无障碍通话方法，其特征在于，包括：

第一终端设备接收视频通话对象的视频通话请求；

所述第一终端设备检测到用户接受所述视频通话请求的第一操作；

响应于所述第一操作，当关爱模式处于打开状态时，所述第一终端设备显示第一视频通话界面，所述第一视频通话界面包括第一控件、所述第一终端设备采集的第一图像以及第二终端设备发送的第二图像，所述第二终端设备为所述视频通话对象使用的设备；

所述第一终端设备检测到用户选择所述第一控件的第二操作；

响应于所述第二操作，所述第一终端设备将所述第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种，所述视频数据包括图像数据或语音数据中的至少一项。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述第一终端设备接收视频通话对象的视频通话请求时，所述第一终端设备判断所述关爱模式是否处于打开状态；或者，

当所述第一终端设备检测到用户接受所述视频通话请求的第一操作时，所述第一终端设备判断所述关爱模式是否处于打开状态。

3.根据权利要求1或2所述的方法，其特征在于，所述第一控件包括语音播放按钮；

所述响应于所述第二操作，所述第一终端设备将所述第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种，包括：

响应于所述第二操作，所述第一终端设备将所述视频数据转换为所述语音信息。

4.根据权利要求3所述的方法，其特征在于，所述视频数据包括所述图像数据，且所述图像数据中包括手势数据；

所述响应于所述第二操作，所述第一终端设备将所述视频数据转换为所述语音信息，包括：

响应于所述第二操作，所述第一终端设备将所述手势数据转换为所述语音信息。

5.根据权利要求3所述的方法，其特征在于，所述视频数据包括所述图像数据和所述语音数据，且所述图像数据中不包括手势数据；

所述响应于所述第二操作，所述第一终端设备将所述视频数据转换为语音，包括：

响应于所述第二操作，所述第一终端设备将所述语音数据转换为所述语音信息。

6.根据权利要求3至5中任一项所述的方法，其特征在于，所述方法还包括：

所述第一终端设备播放所述语音信息。

7.根据权利要求1或2所述的方法，其特征在于，所述第一控件包括文字字幕按钮；

所述响应于所述第二操作，所述第一终端设备将所述第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种，包括：

响应于所述第二操作，所述第一终端设备将所述视频数据转换为所述文字信息。

8.根据权利要求7所述的方法，其特征在于，在所述第一终端设备将所述第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种之后，所述方法还包括：

所述第一终端设备显示第二视频通话界面，所述第二视频通话界面包括文字显示区域，所述文字显示区域包括所述文字信息。

9.根据权利要求7或8所述的方法，其特征在于，所述视频数据包括所述图像数据，且所述图像数据中包括手势数据；

所述响应于所述第二操作，所述第一终端设备将所述视频数据转换为所述文字信息，包括：

响应于所述第二操作，所述第一终端设备将所述手势数据转换为所述文字信息。

10.根据权利要求7或8所述的方法，其特征在于，所述视频数据包括所述图像数据和所述语音数据，且所述图像数据中不包括手势数据；

所述响应于所述第二操作，所述第一终端设备将所述视频数据转换为所述文字信息，包括：

响应于所述第二操作，所述第一终端设备将所述语音数据转换为所述文字信息。

11.根据权利要求1或2所述的方法，其特征在于，所述第一控件包括手语展示按钮；

所述响应于所述第二操作，所述第一终端设备将所述第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种，包括：

响应于所述第二操作，所述第一终端设备将所述视频数据转换为所述手语信息。

12.根据权利要求11所述的方法，其特征在于，在所述第一终端设备将所述第二终端设备发送的视频数据转换为语音信息、文字信息或手语信息中的一种或多种之后，所述方法还包括：

所述第一终端设备显示第三视频通话界面，所述第三视频通话界面包括手语展示区域的视频通话界面，所述手语展示区域包括所述手语信息。

13.根据权利要求11或12所述的方法，其特征在于，所述视频数据包括所述图像数据，且所述图像数据中包括手势数据；

所述响应于所述第二操作，所述第一终端设备将所述视频数据转换为手语信息，包括：

响应于所述第二操作，所述第一终端设备将所述手势数据转换为所述手语信息。

14.根据权利要求11或12所述的方法，其特征在于，所述视频数据包括所述图像数据和所述语音数据，且所述图像数据中不包括手势数据；

所述响应于所述第二操作，所述第一终端设备将所述视频数据转换为手语信息，包括：

响应于所述第二操作，所述第一终端设备将所述语音数据转换为所述手语信息。

15.根据权利要求1至14中任一项所述的方法，其特征在于，所述第一控件包括以下至少两个按钮：

语音播放按钮、文字字幕按钮、或者手语展示按钮。

16.根据权利要求1至15中任一项所述的方法，其特征在于，所述视频通话对象为健全人，所述用户为聋哑人或者听障人士；或者，

所述视频通话对象为聋哑人或者听障人士，所述用户为健全人。

17.一种终端设备，其特征在于，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储计算机程序，当所述处理器调用所述计算机程序时，使得所述终端设备执行如权利要求1至16中任一项所述的方法。

18.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序包括用于实现如权利要求1至16中任一项所述的方法的指令。

19.一种计算机程序产品，其特征在于，所述计算机程序产品中包括计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机实现如权利要求1至16中任一项所述的方法。

Images