一种内容显示方法及终端设备
技术领域
本发明实施例涉及通信技术领域,尤其涉及一种内容显示方法及终端设备。
背景技术
在手机、平板电脑等终端设备运行音频通话业务时,双方用户可以通过其使用的终端设备接收到的音频信息获知通话内容,即双方用户通过其使用的终端设备发出的声音获知通话内容。此时,在终端设备处于听筒模式或处于嘈杂环境等场景时,可能由于终端设备输出的音频信号的声音较小,而导致用户无法听清楚通话内容,即用户无法获知通话内容。如此,导致终端设备的通话质量较差。
发明内容
本发明实施例提供一种内容显示方法及终端设备,以解决在终端设备处于听筒模式或处于嘈杂环境等场景时,终端设备的通话质量较差的问题。
为了解决上述技术问题,本发明实施例是这样实现的:
第一方面,本发明实施例提供一种内容显示方法,应用于第一终端设备,该方法包括:在第一终端设备的第一屏幕上显示通话界面的情况下,接收用户的第一输入;响应于第一输入,建立第一终端设备和第二终端设备的通话连接;在第一终端设备的第二屏幕接收到第二输入,或者与第二屏幕同侧的摄像头检测到目标人脸图像的情况下,在第二屏幕上显示目标文本,目标文本为根据第一终端设备和第二终端设备的通话音频信号转换得到的文本。
第二方面,本发明实施例还提供了一种终端设备,该终端设备为第一终端设备,该终端设备包括:接收模块、建立模块和显示模块;接收模块,用于在第一终端设备的第一屏幕上显示通话界面的情况下,接收用户的第一输入;建立模块,用于响应于接收模块接收的第一输入,建立第一终端设备和第二终端设备的通话连接;显示模块,用于在第一终端设备的第二屏幕接收到第二输入,或者与第二屏幕同侧的摄像头检测到目标人脸图像的情况下,在第二屏幕上显示目标文本,目标文本为根据建立模块建立的第一终端设备和第二终端设备的通话音频信号转换得到的文本。
第三方面,本发明实施例提供了一种终端设备,包括处理器、存储器及存储在该存储器上并可在该处理器上运行的计算机程序,该计算机程序被该处理器执行时实现如第一方面所述的内容显示方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储计算机程序,该计算机程序被处理器执行时实现如第一方面所述的内容显示方法的步骤。
在本发明实施例中,在第一终端设备的第一屏幕上显示通话界面的情况下,接收用户的第一输入;响应于第一输入,建立第一终端设备和第二终端设备的通话连接;在第一终端设备的第二屏幕接收到第二输入,或者与第二屏幕同侧的摄像头检测到目标人脸图像的情况下,在第二屏幕上显示目标文本,目标文本为根据第一终端设备和第二终端设备的通话音频信号转换得到的文本。如此,在用户无法听清楚第一终端设备输出的通话音频信号,或者用户后续通过第一终端设备回顾通话音频信号指示的内容的情况下,使得用户可以便捷、准确地获知通话音频信号的文本,即获知通话音频信号指示的内容。从而,有利于用户便捷、准确地获知通话过程中的通话音频信号所指示的内容,进而有利于提高终端设备的通话质量。
附图说明
图1为本发明实施例提供的一种可能的安卓操作系统的架构示意图;
图2为本发明实施例提供的一种内容显示方法的流程示意图;
图3为本发明实施例提供的一种终端设备显示内容的示意图之一;
图4为本发明实施例提供的一种终端设备显示内容的示意图之二;
图5为本发明实施例提供的一种终端设备显示内容的示意图之三;
图6为本发明实施例提供的一种终端设备显示内容的示意图之四;
图7为本发明实施例提供的一种终端设备显示内容的示意图之五;
图8为本发明实施例提供的一种可能的终端设备的结构示意图;
图9为本发明实施例提供的一种终端设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本文中的“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。“多个”是指两个或多于两个。
需要说明的是,本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一输入和第二输入等是用于区别不同的输入,而不是用于描述输入的特定顺序。
本发明实施例提供的内容显示方法及终端设备,在第一终端设备的第一屏幕上显示通话界面的情况下,接收用户的第一输入;响应于第一输入,建立第一终端设备和第二终端设备的通话连接;在第一终端设备的第二屏幕接收到第二输入,或者与第二屏幕同侧的摄像头检测到目标人脸图像的情况下,在第二屏幕上显示目标文本,目标文本为根据第一终端设备和第二终端设备的通话音频信号转换得到的文本。如此,在用户无法听清楚第一终端设备输出的通话音频信号,或者用户后续通过第一终端设备回顾通话音频信号指示的内容的情况下,使得用户可以便捷、准确地获知通话音频信号的文本,即获知通话音频信号指示的内容。从而,有利于用户便捷、准确地获知通话过程中的通话音频信号所指示的内容,进而有利于提高终端设备的通话质量。
需要说明的是,本发明实施例提供的内容显示方法,执行主体可以为终端设备(如第一终端设备),或者,该终端设备的中央处理器(Central Processing Unit,CPU),或者该终端设备中的用于执行内容显示方法的控制模块。本发明实施例中以终端设备执行内容显示方法为例,说明本发明实施例提供的内容显示方法。
示例性的,以下实施例中,以第一终端设备和第二终端设备通话过程中,第一终端设备执行本发明实施例提供的内容显示方法为例说明。可以理解,针对通话过程中其他终端设备执行该内容显示方法的描述,均可以参照针对第一终端设备的相关描述。
本发明实施例中的终端设备可以为具有操作系统的终端设备。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本发明实施例不作具体限定。
下面以安卓操作系统为例,介绍一下本发明实施例提供的内容显示方法所应用的软件环境。
如图1所示,为本发明实施例提供的一种可能的安卓操作系统的架构示意图。在图1中,安卓操作系统的架构包括4层,分别为:应用程序层、应用程序框架层、系统运行库层和内核层(具体可以为Linux内核层)。
其中,应用程序层包括安卓操作系统中的各个应用程序(包括系统应用程序和第三方应用程序)。
应用程序框架层是应用程序的框架,开发人员可以在遵守应用程序的框架的开发原则的情况下,基于应用程序框架层开发一些应用程序。例如,系统设置应用、系统聊天应用和系统相机应用等应用程序。第三方设置应用、第三方相机应用和第三方聊天应用等应用程序。
系统运行库层包括库(也称为系统库)和安卓操作系统运行环境。库主要为安卓操作系统提供其所需的各类资源。安卓操作系统运行环境用于为安卓操作系统提供软件环境。
内核层是安卓操作系统的操作系统层,属于安卓操作系统软件层次的最底层。内核层基于Linux内核为安卓操作系统提供核心系统服务和与硬件相关的驱动程序。
以安卓操作系统为例,本发明实施例中,开发人员可以基于上述如图1所示的安卓操作系统的系统架构,开发实现本发明实施例提供的内容显示方法的软件程序,从而使得该内容显示方法可以基于如图1所示的安卓操作系统运行。即处理器或者终端设备可以通过在安卓操作系统中运行该软件程序实现本发明实施例提供的内容显示方法。
下面结合图2所示的内容显示方法的流程图对本发明实施例提供的内容显示方法进行详细描述。其中,虽然在方法流程图中示出了本发明实施例提供的内容显示方法的逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。例如,图2中示出的内容显示方法可以包括S201-S203:
S201、第一终端设备在第一终端设备的第一屏幕上显示通话界面的情况下,接收用户的第一输入。
可选的,本发明实施例提供的终端设备可以单屏终端设备或多屏终端设备(如双屏终端设备)。
其中,第一终端设备的第一屏幕上显示的通话界面,可以为拨出通话的界面,此时,第一输入为用户对通话界面中包括的“拨出”控件的输入。或者,第一终端设备的第一屏幕上显示的通话界面,可以为接收通话的界面,此时,第一输入为用户对通话界面中包括的“接通”控件的输入。
示例性的,如图3中(a)所示,终端设备(如第一终端设备)在屏A上显示的内容包括“接通”控件31,而屏B上不显示任何内容。随后,在用户对“接通”控件31进行输入之后,如图3中的(b)所示终端设备可以在屏A上显示交互控制信息,该交互控制信息中可以包括用于触发第一终端设备控制当前通话挂断或暂停的控件等。具体的,该交互控制信息中包括用于控制第一终端设备挂断当前通话的控件31a、静音控件、暂停通话控件等。另外,当前终端设备的屏B上仍然未显示内容。其中,屏A为第一屏幕,屏B为第二屏幕。
示例性的,本发明实施例中,第一终端设备可以包括主屏和副屏,例如上述示例中的屏A为主屏、屏B为副屏。具体的,主屏用于显示包括交互控制信息的界面,副屏用于显示包括通话音频信号转换得到的文本的界面。
其中,本发明实施例提供的第一终端设备中的主屏和副屏可以为折叠屏,该主屏和副屏之间的夹角为0到360度。如主屏和副屏之间的夹角为360度,主屏可以作为正面屏,副屏可以作为背面屏。
进一步的,由于双面屏终端设备会容易有误操作的情况,因此可以根据屏幕的状态控制屏幕的亮灭。
示例性的,用户控制第一终端设备使用听筒模式。此时,在第一终端设备的屏幕(如主屏或副屏)检测到红外传感信号的情况,控制该屏幕亮屏;在第一终端设备的屏幕检测不到红外传感信号的情况,控制该屏幕灭屏。
示例性的,用户控制第一终端设备使用非听筒模式时。此时,如果后置红外感应传感器(即背面屏的红外感应传感器)检测到障碍物(如放置在桌子上,正面朝上),则直接灭掉背面屏;接着后置红外感应检测不到障碍物时,重新打开背面屏。如果前置红外感应(即正面屏的红外感应传感器)检测到障碍物(如放置在桌子上,背面朝上),则直接灭掉正面屏;接着如果前置红外检测不到障碍物时,重新打开正面屏。
S202、第一终端设备响应于第一输入,建立第一终端设备和第二终端设备的通话连接。
通常在两方或多方通话的过程中,各方用户可以分别说话,即各方用户所使用的终端设备可以分别发起音频信号以及接收音频信号。具体的,上述第一终端设备和第二终端设备之间的通话,可以为双方通话或者多方通话。
其中,本发明实施例中,第一终端设备和第二终端设备建立通话连接的情况下,第一终端设备可以获取得到通话音频信号。
以下针对第一终端设备和第二终端设备通话过程中的一段音频信号(记为第一音频信号)进行示例说明。
示例性的,在场景1中,第一终端设备为第一音频信号的发起方,第二终端设备为第一音频信号的接收方。此时,第一音频信号为第一终端设备对其使用用户(记为用户1)输入的语音转换得到的音频信号。
示例性的,在场景2中,第一终端设备为第一音频信号的接收方,第二终端设备为第一音频信号的发起方。此时,第一音频信号为第二终端设备对其使用用户(记为用户2)输入的语音转换得到的音频信号。
可以理解的是,第一终端设备接收到通话音频信号(如第一音频信号)之后,在第一终端设备处于听筒模式或者第一终端设备处于嘈杂的环境的情况下,使用第一终端设备的用户(记为第一用户)可能无法听清楚第一终端设备输出的通话音频信号。
S203、在第一终端设备的第二屏幕接收到第二输入,或者与第二屏幕同侧的摄像头检测到目标人脸图像的情况下,第一终端设备在第二屏幕上显示目标文本,目标文本为根据第一终端设备和第二终端设备的通话音频信号转换得到的文本。
可以理解的是,上述第二输入可以为用户触发第一终端设备将当前的通话音频信号转化为文本的输入。
可选的,本发明实施例中,目标文本为第一终端设备接收第二输入之后第一终端设备和第二终端设备的通话音频信号转换得到的文本。或者,目标文本为第一终端设备和第二终端设备从建立通话连接到当前时刻的所有通话音频信号转换得到的文本。
另外,本发明实施例提供的第一终端设备可以包括摄像头,例如该摄像头可以设置在与第二屏幕同侧。
其中,上述目标人脸图像可以为与预设人脸图像匹配的人脸图像,该预设人脸图像为第一终端设备中预先设置的用于触发第一终端设备将通话音频信号转化为文本(如目标文本)。
可选的,目标人脸图像可以与预设人脸图像匹配,指的是这两个人脸图像相同,或者这两个人脸图像的相似度较高(如相似度的数值处于75%~100%之间)的人脸图像。
示例性的,通话音频信号中的第一音频信号转换得到的文本(记为文本1)可以为“我准备今天九点去图书馆”。其中,文本1为目标文本中的部分文本或全部文本。
其中,第一终端设备显示通话音频信号转化得到的文本,以使得用户可以通过查看该文本获知通话音频信号指示的通话内容。
进一步的,如果第一终端设备停留在包括目标文本的界面,直到通话结束,音频转换功能将关闭,副屏(第二屏幕)停留在此界面。
需要说明的是,本发明实施例提供的内容显示方法,由于在第一终端设备与第二终端设备通话的情况下,第一终端设备不仅可以在第一屏幕上显示显示包括交互控制信息的通话界面,还可以在第二屏幕上显示包括文本的音频转换界面;因此有利于用户便捷地通过交互控制信息控制当前通话的过程的同时,便捷、准确地获知当前通话中的音频信号指示的通话内容。
可选的,第二屏幕上还可以显示第一用户信息;其中,第一用户信息用于指示发起一段通话音频信号(如第一音频信号)的目标终端设备对应的用户,目标终端设备为第一终端设备和第二终端设备中的任意一个。例如,第一用户信息为用户的名字或头像等信息。
示例性的,在场景1中,目标终端设备为第一终端设备,第一用户信息指示的用户为上述用户1。例如,第一用户信息可以为用户1的名字“张三”。
在场景2中,目标终端设备为第二终端设备,第一用户信息指示的用户为上述用户2。例如,第一用户信息可以为用户2的名字“李四”。
其中,本发明实施例提供的内容显示方法可以在第一终端设备的通话应用中执行。
示例性的,第一终端设备可以打开语音转文字软件界面,将两方的通话内容都会记录下来,展示的形式跟即时通讯(Instant Messaging,IM)聊天软件相似。例如,结合图3,如图4所示,终端设备(即第一终端设备)的屏A上显示的内容与图3中(b)示出的屏A显示的内容相同。另外,图4出的终端设备在屏B上显示的内容可以包括文本信息41“我准备今天九点去图书馆”,以及标识42。其中,文本41可以为终端设备接收的音频信号转换得到的文本,该标识42(即第一用户信息)用于指示发起该音频信号的终端设备对应的用户(如“李四”)。
进一步的,本发明实施例提供的第一终端设备的第一界面中还可以包括一个记录标识(即一个标题),该记录标识用于指示当前第一终端设备和第二设备的通话的过程。示例性的,该记录标识可以为以下至少一项:用于指示第二终端设备对应的用户的名字的标识、用于指示当前交互音频信号的过程的开始时刻(如日期)的标识,用于指示当前通话结束时刻的标识,用于指示当前通话过程的时长的标识。
可选的,用户点击当前显示的记录标识(即标题),可以聚焦到输入框并唤起键盘;随后,用户通过键盘触发第一终端设备修改并显示新的记录标识。其中,记录标识默认是日期+具体时间+名字,如2018-11-11 11:11:11(李四)。
示例性的,如图4中示出的记录标识43可以为“李四”,即第二终端设备对应的用户的名字的标识。
本发明实施例提供的内容显示方法,在第一终端设备的第一屏幕上显示通话界面的情况下,可以接收用户的第一输入;并响应于第一输入,建立第一终端设备和第二终端设备的通话连接;在第一终端设备的第二屏幕接收到第二输入,或者与第二屏幕同侧的摄像头检测到目标人脸图像的情况下,在第二屏幕上显示目标文本,目标文本为根据第一终端设备和第二终端设备的通话音频信号转换得到的文本。如此,在用户无法听清楚第一终端设备输出的通话音频信号,或者用户后续通过第一终端设备回顾通话音频信号指示的内容的情况下,使得用户可以便捷、准确地获知通话音频信号的文本,即获知通话音频信号指示的内容。从而,有利于用户便捷、准确地获知通话过程中的通话音频信号所指示的内容,进而有利于提高终端设备的通话质量。
可选的,本发明实施例提供的内容显示方法,在上述S203之后还可以包括S204:
S204、第一终端设备保存目标文本。
可选的,在第一终端设备与第二终端设备通话的过程中,第一终端设备可以将发起或者接收每一段音频信号均转化为文本,并依次保存每一个文本。即第一终端设备可以实时地记录与第二终端设备的通话内容。
其中,由于第一终端设备可以实时地保存由通话音频信号转换得到的文本(如目标文本),因此可以方便用户后续查看保存的文本以回顾相应的通话内容。另外,即使某个时刻关机(如电池耗尽),第一终端设备与第二终端设备的通话内容也能够通过文本保存下来。
也就是说,本发明实施例中,当用户听不清的时候,由于第一终端设备可以将通话音频信号转换为文本,使得用户可以直接通过文字查看通话内容,提升了沟通效率。并且,用户在通话的过程中,可以方便的回顾查看当前通话的所有内容,省去了用户强记通话的必要性。另外,在用户通话接收之后,因为第一终端设备是直接将音频信号是转成了文本,能够支持用户在任何时候重新回顾通话,所以不必再担心忘记通话内容的问题,省去了做笔记的麻烦。
可选的,本发明实施例提供的内容显示方法,在上述S203可以通过S203a和S203b实现:
S203a、在第一终端设备的第二屏幕接收到第二输入,或者与第二屏幕同侧的摄像头检测到目标人脸图像的情况下,第一终端设备启用音频转换功能,音频转换功能用于将通话音频信号转换为文本。
S203b、第一终端设备在第二屏幕上显示目标文本。
可选的,第一终端设备可以由用户手动触发启用音频转换功能,如在第一终端设备处于嘈杂环境的情况下用户手动触发启用音频转换功能。
可选的,第一终端设备可以在满足预设条件的情况下自动启用音频转换功能。例如,该预设条件为第一终端设备在与其他终端设备通话的过程中,检测到周围环境的环境嘈杂度较高(如高于一定预设阈值),或者检测到第一终端设备处于听筒模式,或者检测到第一终端设备处于听筒模式且未插入耳机。
需要说明的是,本发明实施例提供的内容显示方法,第一终端设备是在启用音频转换功能的情况下,将获取的通话音频信号转换为文本的。如此,在用户不需求第一终端设备将获取的通话音频信号转换为文本的情况下,第一终端设备可以关闭音频转换功能,以避免在通话的过程中不必要地将通话音频信号转化为本文,从而避免浪费第一终端设备的资源。
可选的,上述第二输入为用户对第一控件的输入,该第一控件用于控制启用或关闭音频转换功能。
可选的,在第一终端设备与第二终端设备建立通话连接之后,用户对第一控件的第一次点击输入可以触发第一终端设备启用音频转换功能;随后,用户对第一控件的第二次点击输入可以触发第一终端设备关闭音频转换功能。依次类推,用户对第一控件的第三次点击输入可以触发第一终端设备启用音频转换功能,后续不再赘述。
可选的,在第一终端设备与第二终端设备建立通话连接之后,第一终端设备默认启用音频转换功能。用户对第一控件的第一次点击输入可以触发第一终端设备关闭音频转换功能;随后,用户对第一控件的第二次点击输入可以触发第一终端设备启用音频转换功能。依次类推,用户对第一控件的第三次点击输入可以触发第一终端设备关闭音频转换功能,后续不再赘述。
可选的,第一控件可以显示第一屏幕上或显示在第二屏幕上。
示例性的,结合图4,图5中(a)示出终端设备(即第一终端设备)的屏A还显示有控件51a,该控件51a(即第一控件)用于触发终端设备开启或者关闭音频转换功能。图5中(a)示出的终端设备的屏B上未显示任何内容。随后,在终端设备接收到用户对屏A上显示的控件51a的输入之后,如图5中(b)所示终端设备的屏B上显示的内容与图4中屏B上显示的内容相同(即包括文本1的内容)。
其中,由于第一终端设备可以提供第一控件,以支持用户通过对第一控件的第二输入控制第一终端设备启用或关闭音频转换功能,因此使得用户可以根据自身需求控制音频转换功能的启用和关闭,实现了音频转换功能的可控性。
可选的,本发明实施例中,第二输入用于输入目标鉴权信息,目标鉴权信息用于触发启用音频转换功能。
其中,上述目标鉴权信息可以为与预设鉴权信息匹配的鉴权信息,该预设鉴权信息为第一终端设备中预先设置的用于触发第一终端设备将通话音频信号转化为文本(如目标文本)的信息。
可选的,目标鉴权信息可以与预设鉴权信息匹配,指的是这两个鉴权信息相同,或者这两个鉴权信息相似度较高(如相似度的数值处于75%~100%之间)。
可选的,第一终端设备在接收上述第一输入之后,可以在第二屏幕上显示用于提示用户输入鉴权信息的提示消息和用于输入鉴权信息的输入框。随后,第一终端设备可以接收到用户输入鉴权信息的第二输入,并响应于第二输入,对鉴权信息进行鉴权。
可选的,上述目标鉴权信息可以为密码信息(如数字或字码等密码信息)、指纹信息等。
其中,上述输入框用于接收并显示用户输入的密码等鉴权信息。可以想到的是,在第一终端设备显示的界面中包括该输入框时,该界面中还可以包括输入键盘。此时,用户可以对该输入键盘中的字母选项或者数字选项输入,以向该密码输入框中输入密码等鉴权信息。当然,用户可以触发第一终端设备取消显示输入键盘,如在通过输入键盘向该输入框中输入鉴权信息后,触发第一终端设备取消显示输入键盘。
示例性的,本发明实施例中,第一终端设备显示的输入框中还可以包括一个确定选项和一个取消选项。其中,该确定选项用于触发第一终端设备确定当前用户输入的第一鉴权信息,如用户在当前已经输入完成第一鉴权信息的情况下对该确定选项进行输入;该取消选项用于触发第一终端设备清除当前用户输入的鉴权信息,或者取消显示该输入框,如用户在需求撤销当前输入的鉴权信息的情况下对该取消选项进行输入。
可以理解的是,用户通过第二输入向第一终端设备输入目标鉴权信息之后,第一终端设备可以确定目标鉴权信息与预设鉴权信息(可以为第一终端设备中预先设定的)相同,即确定目标鉴权信息鉴权成功。
可以理解的是,当用户在通话的时候,第一终端设备的主屏处于显示通话界面的状态,副屏处于等待接受操作的状态。例如,如果第一终端设备在副屏检测到用户输入了目标鉴权信息的情况下,第一终端设备启用音频转换功能。
需要说明的是,本发明实施例提供的内容显示方法,第一终端设备可以通过对用户输入的目标鉴权信息鉴权,确定用户是否有权限启用音频转换功能。如此,可以避免非机主用户等非法用户触发第一终端设备启用音频转换功能,从而避免泄露后续第一终端设备显示的由音频信号转换得到的文本信息中的用户隐私。
可选的,本发明实施例提供的内容显示方法,第二屏幕上还可以显示目标控件。其中,在上述S203之后还可以包括S205和S206:
S205、第一终端设备接收用户对目标控件的第三输入。
S206、第一终端设备响应于第三输入,将第二屏幕上显示的内容更新为第一目标内容。
其中,第一目标内容包括至少一个记录标识,每个记录标识为第一终端设备转换音频信号得到的一组文本的入口。具体的,目标控件为上述至少一个记录标识的入口。
其中,本发明实施例中,一个记录标识可以指示一个通话记录,如当前通话记录或者历史通话记录。
示例性的,如图6所示,为本发明实施例提供的一种终端设备显示内容的示意图。结合图4,图6中(a)示出的终端设备(即第一终端设备)的屏A上显示的内容与图5中(b)示出的屏A上显示的内容相同。参照图5中(b)示出的屏B上显示的内容,图6中(a)中屏B上显示的内容还包括控件61(即目标控件)。
其中,在用户对图6中(a)中屏B上显示的控件61进行输入之后,如图6中(b)示出终端设备在屏B上显示的内容可以包括“李四”标识61a、“2018-10-9 12:00(王一)”标识61b、“2018-10-1 11:00(李四)”标识61c和“2018-9-9 11:00(刘五)”标识61d等记录标识。其中,“李四”标识61a表示的当前终端设备与用户“李四”对应的终端设备正在进行通话,此时,该“李四”标识61a的状态指示的通话内容处于“正在记录”的状态。
其中,用户对图6中(b)示出屏B上显示的任意一个记录标识进行输入,可以触发终端设备显示该记录标识指示的通话记录,即显示该通话记录中的文本。
示例性的,用户对图6中(b)中屏B上显示的标识61a进行输入,可以触发终端设备重新显示如图6中(a)所示屏B上显示的内容,即重新显示包括如图6中(a)所示的文本41的目标文本。
其中,本发明实施例提供的内容显示方法,由于第一终端设备可以在第三输入的触发下显示至少一个记录标识,而每个记录标识为第一终端设备转换通话音频信号得到的一组文本的入口,因此有利于用户便捷地查看第一终端设备中由通话音频信号转换得到的各组文本。
可选的,本发明实施例提供的内容显示方法,在上述S206之后还可以包括S207和S208:
S207、第一终端设备接收用户对第一记录标识的第四输入,第一记录标识为至少一个记录标识中除第二记录标识之外的一个记录标识,第二记录标识为目标文本的入口。
即,用户可以从第二屏幕上显示的至少一个记录标识中选择第一记录标识进行第四输入。
S208、第一终端设备响应于第四输入,将第二屏幕上显示的内容更新为第二目标内容,第二目标内容包括第一记录标识指示的文本以及通话标识,该通话标识为目标文本的入口。
示例性的,用户对图6中(b)所示的屏B上显示的标识61b进行输入(即第三输入)之后,如图7中所示终端设备可以在屏A上显示包括标识61b指示的一组文本,以及通话标识71。其中,在用户对该通话标识71进行输入之后,可以触发终端设备将屏B上当前显示的内容更新为图4中示出的屏B上显示的内容。此时,标识61b为第一记录标识,标识61a为第二记录标识。
可以理解的是,在第一终端设备接收用户对副屏(即第二屏幕)上的目标控件的输入时,可以在副屏上显示至少一个通话记录(即历史通话列表),终端设备可以在后台继续记录当前的通话内容。即第一终端设备当前的通话不会中断。
另外,如果第一终端设备停止与第二终端设备交互音频信号,即停止通话,那么当前第一终端设备在副屏上取消显示指示当前通话的通话标识,终端设备取消显示图7中示出的屏B上的通话标识71。
其中,本发明实施例提供的内容显示方法,第一终端设备可以根据用户对至少一个记录标识中任意一个记录标识的输入,触发第一终端设备显示该任意一个记录标识指示的一组文本(即通话记录)。如此,有利于提高用户使用终端设备查看通话过程中的用户体验。
可选的,本发明实施例提供的内容显示方法,在上述S203之后还可以包括S209:
S209、第一终端设备在第一终端设备与第二终端设备停止通话的情况下,关闭音频转换功能。
类似的,对第一终端设备关闭音频转换功能的描述,可以参照上述实施例中对第一终端设备启用音频转换功能的相关描述,这里不再赘述。
其中,由于第一终端设备在不需要记录文本,如在第一终端设备与第二终端设备停止通话的情况下,可以关闭音频转换功能;因此,有利于减少第一终端设备运行过程中的资源浪费。
如图8所示,为本发明实施例提供的一种终端设备的结构示意图。图8示出的终端设备80为第一终端设备,该终端设备80包括:接收模块801、建立模块802和显示模块803;接收模块801,用于在第一终端设备的第一屏幕上显示通话界面的情况下,接收用户的第一输入;建立模块802,用于响应于接收模块801接收的第一输入,建立第一终端设备和第二终端设备的通话连接;显示模块803,用于在第一终端设备的第二屏幕接收到第二输入,或者与第二屏幕同侧的摄像头检测到目标人脸图像的情况下,在第二屏幕上显示目标文本,目标文本为根据建立模块802建立的第一终端设备和第二终端设备的通话音频信号转换得到的文本。
可选的,显示模块803,具体用于在第一终端设备的第二屏幕接收到第二输入,或者与第二屏幕同侧的摄像头检测到目标人脸图像的情况下,启用音频转换功能,音频转换功能用于将通话音频信号转换为文本;在第二屏幕上显示目标文本。
可选的,第二输入用于输入目标鉴权信息,目标鉴权信息用于触发启用音频转换功能。
可选的,第二屏幕上还显示有目标控件;接收模块801,还用于显示模块803在第二屏幕上显示目标文本之后,接收用户对目标控件的第三输入;显示模块803,还用于响应于接收模块801接收的第三输入,将第二屏幕上显示的内容更新为第一目标内容;其中,第一目标内容包括至少一个记录标识,每个记录标识为第一终端设备转换通话音频信号得到的一组文本的入口。
可选的,接收模块801,还用于接收用户对第一记录标识的第四输入,第一记录标识为至少一个记录标识中除第二记录标识之外的一个记录标识,第二记录标识为目标文本的入口;显示模块803,还用于响应于接收模块801接收的第四输入,将第二屏幕上显示的内容更新为第二目标内容;其中,第二目标内容包括第一记录标识指示的文本以及通话标识,通话标识为目标文本的入口。
本发明实施例提供的终端设备80能够实现上述方法实施例中终端设备实现的各个过程,为避免重复,这里不再赘述。
本发明实施例提供的终端设备,在第一终端设备的第一屏幕上显示通话界面的情况下,接收用户的第一输入;响应于第一输入,建立第一终端设备和第二终端设备的通话连接;在第一终端设备的第二屏幕接收到第二输入,或者与第二屏幕同侧的摄像头检测到目标人脸图像的情况下,在第二屏幕上显示目标文本,目标文本为根据第一终端设备和第二终端设备的通话音频信号转换得到的文本。如此,在用户无法听清楚第一终端设备输出的通话音频信号,或者用户后续通过第一终端设备回顾通话音频信号指示的内容的情况下,使得用户可以便捷、准确地获知通话音频信号的文本,即获知通话音频信号指示的内容。从而,有利于用户便捷、准确地获知通话过程中的通话音频信号所指示的内容,进而有利于提高终端设备的通话质量。
图9为本发明实施例提供的一种终端设备的硬件结构示意图,该终端设备100包括但不限于:射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解,图9中示出的终端设备结构并不构成对终端设备的限定,终端设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,终端设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端设备、可穿戴设备、以及计步器等。
其中,用户输入单元107,用于在第一终端设备的第一屏幕上显示通话界面的情况下,接收用户的第一输入;处理器110,用于响应于用户输入单元107接收的第一输入,建立第一终端设备和第二终端设备的通话连接;显示单元106,用于在第一终端设备的第二屏幕接收到第二输入,或者与第二屏幕同侧的摄像头检测到目标人脸图像的情况下,在第二屏幕上显示目标文本,目标文本为根据处理器110建立的第一终端设备和第二终端设备的通话音频信号转换得到的文本。
本发明实施例提供的终端设备,在第一终端设备的第一屏幕上显示通话界面的情况下,接收用户的第一输入;响应于第一输入,建立第一终端设备和第二终端设备的通话连接;在第一终端设备的第二屏幕接收到第二输入,或者与第二屏幕同侧的摄像头检测到目标人脸图像的情况下,在第二屏幕上显示目标文本,目标文本为根据第一终端设备和第二终端设备的通话音频信号转换得到的文本。如此,在用户无法听清楚第一终端设备输出的通话音频信号,或者用户后续通过第一终端设备回顾通话音频信号指示的内容的情况下,使得用户可以便捷、准确地获知通话音频信号的文本,即获知通话音频信号指示的内容。从而,有利于用户便捷、准确地获知通话过程中的通话音频信号所指示的内容,进而有利于提高终端设备的通话质量。
应理解的是,本发明实施例中,射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信系统与网络和其他设备通信。
终端设备通过网络模块102为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元103可以将射频单元101或网络模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与终端设备100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103包括扬声器、蜂鸣器以及受话器等。
输入单元104用于接收音频或视频信号。输入单元104可以包括图形处理器(GraphicsProcessing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或网络模块102进行发送。麦克风1042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。
终端设备100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在终端设备100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别终端设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器105还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(OrganicLight-Emitting Diode,OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息,以及产生与终端设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。具体地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板1071可覆盖在显示面板1061上,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图9中,触控面板1071与显示面板1061是作为两个独立的部件来实现终端设备的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现终端设备的输入和输出功能,具体此处不做限定。
接口单元108为外部装置与终端设备100连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到终端设备100内的一个或多个元件或者可以用于在终端设备100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是终端设备的控制中心,利用各种接口和线路连接整个终端设备的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行终端设备的各种功能和处理数据,从而对终端设备进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
终端设备100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,终端设备100包括一些未示出的功能模块,在此不再赘述。
优选的,本发明实施例还提供一种终端设备,包括处理器110,存储器109,存储在存储器109上并可在所述处理器110上运行的计算机程序,该计算机程序被处理器110执行时实现上述内容显示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述内容显示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。