CN109547632A - 辅助呼叫应答方法、用户终端装置和服务器 - Google Patents

辅助呼叫应答方法、用户终端装置和服务器 Download PDF

Info

Publication number
CN109547632A
CN109547632A CN201811364429.3A CN201811364429A CN109547632A CN 109547632 A CN109547632 A CN 109547632A CN 201811364429 A CN201811364429 A CN 201811364429A CN 109547632 A CN109547632 A CN 109547632A
Authority
CN
China
Prior art keywords
reply content
terminal apparatus
user terminal
display
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811364429.3A
Other languages
English (en)
Other versions
CN109547632B (zh
Inventor
焦婷婷
袁建国
方华
刘明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201811364429.3A priority Critical patent/CN109547632B/zh
Publication of CN109547632A publication Critical patent/CN109547632A/zh
Application granted granted Critical
Publication of CN109547632B publication Critical patent/CN109547632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72484User interfaces specially adapted for cordless or mobile telephones wherein functions are triggered by incoming communication events
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/42136Administration or customisation of services

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种辅助呼叫应答方法、用户终端装置和服务器。所述方法包括:将用户终端装置与对方终端装置建立通信连接;将用户终端装置从对方终端装置接收到的对方的语音转换为文本信息,并将所述文本信息显示在用户终端装置的显示器上;基于所述文本信息来产生至少一个第一回复内容,并将所述至少一个第一回复内容显示在用户终端装置的显示器上;响应于用户在所述至少一个第一回复内容中选择了第一回复内容,将选择的第一回复内容转换为语音,并将由选择的第一回复内容转换的语音发送给对方终端装置。

Description

辅助呼叫应答方法、用户终端装置和服务器
技术领域
本申请涉及一种辅助呼叫应答方法、用户终端装置和服务器,更具体地,涉及一种通过将对方的语音转换为文本信息,并基于所述文本信息回复对方的辅助呼叫应答方法、用户终端装置和服务器。
背景技术
用户可以通过用户终端装置执行对对方终端装置的呼叫或接收来自对方终端装置的呼叫(例如,视频呼叫或者诸如电话呼叫的语音呼叫),例如,对于电话呼叫,当用户接收到电话呼叫时,可能不方便接听(例如,用户正在开会),通常用户会直接拒绝所述呼叫或选择短信回复对方并拒绝所述呼叫,或者自动应答所述呼叫,其中,自动应答基于预设默认的内容或者基于人工智能对对方的语音进行智能回复。
针对上述情况,无论是拒绝所述呼叫还是自动应答,用户都无法实时获得对方的呼叫意图,并针对呼叫意图回复对方。
因此,需要一种不直接语音回复对方的呼叫应答方法,使得用户在不方便直接语音回复对方呼叫时,能够及时获知对方的呼叫意图,并针对对方的呼叫意图回复对方。
以上信息被呈现为背景信息以帮助理解本公开。针对本发明,上面的任意信息是否可应用为现有技术,没有做出确定,也未做出断言。
发明内容
本公开的各方面将至少解决上述问题和/或缺点,并至少提供以下述优点。因此,本发明的目的在于提供一种使得用户能够在不直接语音应答对方的呼叫的同时,获知对方的呼叫意图,并针对获知的呼叫意图回复对方的方法和系统。
本发明的一方面在于一种辅助呼叫应答方法,所述方法包括:将用户终端装置与对方终端装置建立通信连接;用户终端装置从对方终端装置接收到的对方的语音转换为文本信息,并将所述文本信息显示在用户终端装置的显示器上;基于所述文本信息来产生至少一个第一回复内容,并将所述至少一个第一回复内容显示在用户终端装置的显示器上;响应于用户在所述至少一个第一回复内容中选择了第一回复内容,将选择的第一回复内容转换为语音,并将由选择的第一回复内容转换的语音发送给对方终端装置。
可选地,所述方法还包括:响应于用户在在用户终端装置的显示器上显示的所述至少一个第一回复内容中选择了第一回复内容,在用户终端装置的显示器上显示与选择的第一回复内容相关的至少一个链接。
可选地,所述方法还包括:响应于用户在与选择的第一回复内容相关的所述至少一个链接中选择了一个链接,在用户终端装置的显示器上显示与选择的链接相应的信息以及至少一个第二回复内容。
可选地,所述方法还包括:响应于用户在在用户终端装置的显示器上显示的所述至少一个第一回复内容中选择了第一回复内容,在用户终端装置的显示器上显示与选择的第一回复内容相关的至少一个第二回复内容。
可选地,所述方法还包括:响应于用户在在用户终端装置的显示器上显示的所述至少一个第一回复内容中选择了第一回复内容,在用户终端装置的显示器上显示与选择的第一回复内容相关的至少一个链接以及与选择的第一回复内容相关的至少一个第二回复内容。
可选地,所述方法还包括:响应于用户在在用户终端装置的显示器上显示的所述至少一个第一回复内容中选择了第一回复内容,在用户终端装置的显示器上显示与选择的第一回复内容相关的至少一个第二回复内容、与选择的第一回复内容相关的至少一个链接以及用于辅助选择第二回复内容的信息。
可选地,所述方法还包括:响应于用户在所述至少一个第二回复内容中选择了第二回复内容,将选择的第二回复内容转换为语音,并将由选择的第二回复内容转换为的语音发送给对方终端装置。
可选地,所述方法还包括:响应于用户在所述至少一个链接中选择了一个链接,在用户终端装置的显示器上显示与选择的链接相应的信息。
可选地,所述方法还包括:当用户确认第一回复内容或第二回复内容是不合理的时,在用户终端装置的显示器上显示输入窗口,并将通过输入窗口输入的回复内容转换为语音发送给对方终端装置。
可选地,所述方法还包括:在用户终端装置与对方终端装置建立通信连接时,禁用用户终端装置的扬声器。
可选地,所述方法还包括:响应于检测到预设输入,使能用户终端装置的扬声器。
可选地,所述至少一个链接基于选择的第一回复内容以及用户终端装置的应用信息而被显示。
可选地,所述方法还包括:用户通过用户终端装置直接语音回复对方,而不选择显示的所述至少一个第一回复内容中的第一回复内容。
可选地,所述方法还包括:基于所述文本信息和对方的身份信息产生所述至少一个第一回复内容。
可选地,由用户终端装置或服务器将用户终端装置从对方终端装置接收到的对方的语音转换为文本信息,可选地,由用户终端装置或服务器基于所述文本信息或所述对方的身份信息来产生所述至少一个第一回复内容,可选地,由用户终端装置或服务器将选择的第一回复内容转换为语音。
根据本发明的另一示例性实施例,提供了一种用户终端装置,所述用户终端装置包括:通信单元,被配置为与对方终端装置建立通信连接,显示器,以及控制器,被配置为进行控制以执行以下操作:将接收到的对方的语音转换为文本信息,并将所述文本信息显示在显示器上,基于所述文本信息产生至少一个第一回复内容,并在显示器上显示所述至少一个第一回复内容,响应于用户在在显示器上显示的所述至少一个第一回复内容中选择了第一回复内容,将选择的第一回复内容转换为语音,并通过通信单元将由选择的第一回复内容转换为的语音发送给对方终端装置。
可选地,控制器还被配置为进行控制以:响应于用户在在显示器上显示的所述至少一个第一回复内容中选择了第一回复内容,在显示器上显示与选择的第一回复内容相关的至少一个链接。
可选地,控制器还被配置为进行控制以:响应于用户在与选择的第一回复内容相关的至少一个链接中选择了一个链接,在显示器上显示与选择的链接相应的信息以及至少一个第二回复内容。
可选地,控制器还被配置为进行控制以:响应于用户在在显示器上显示的所述至少一个第一回复内容中选择了第一回复内容,在显示器上显示与选择的第一回复内容相关的至少一个第二回复内容。
可选地,控制器还被配置为进行控制以:响应于用户在在显示器上显示的至少一个第一回复内容中选择了第一回复内容,在显示器上显示与选择的第一回复内容相关的至少一个链接以及与选择的第一回复内容相关的至少一个第二回复内容。
可选地,控制器还被配置为进行控制以:响应于用户在在显示器上显示的至少一个第一回复内容中选择了第一回复内容,在显示器上显示与选择的第一回复内容相关的至少一个第二回复内容、与选择的第一回复内容相关的至少一个链接以及用于辅助选择第二回复内容的应用信息。
可选地,控制器还被配置为进行控制以:响应于用户在所述至少一个第二回复内容中选择了第二回复内容,将选择的第二回复内容转换为语音,并通过通信单元将由选择的第二回复内容转换为的语音发送给对方终端装置。
可选地,控制器还被配置为进行控制以:响应于用户在在至少一个链接中选择了一个链接,在显示器上显示与选择的链接相应的信息。
可选地,控制器还被配置为进行控制以:当用户确认第一回复内容或第二回复内容是不合理的时,在显示器上显示输入窗口,并通过通信单元将通过输入窗口输入的回复内容转换为语音发送给对方终端装置。
可选地,控制器还被配置为进行控制以:在建立用户终端装置和对方终端装置之间的通信连接时,禁用用户终端装置的扬声器。
可选地,控制器还被配置为进行控制以:响应于检测到预设输入,使能用户终端装置的扬声器。
可选地,所述至少一个链接基于选择的第一回复内容以及用户终端装置的应用信息而被显示在显示器上。
可选地,控制器还被配置为进行控制以使得用户能够直接语音回复对方,而不选择显示的所述至少一个第一回复内容中的第一回复内容。
可选地,控制器还被配置为:基于所述文本信息和对方的身份信息产生所述至少一个第一回复内容。
根据本发明的另一方面,提供了一种服务器,所述服务器包括:通信单元,被配置为与用户终端装置进行通信;控制器,被配置为进行控制以执行以下操作:将从用户终端装置接收到的对方的语音转换为文本信息,并通过通信单元将所述文本信息发送给用户终端装置,基于所述文本信息来产生至少一个第一回复内容,并通过通信单元将所述至少一个第一回复内容发送给用户终端装置,将由用户选择的第一回复内容转换为语音,并通过通信单元将所述语音发送给用户终端装置。
可选地,处理器还被配置为进行控制以基于对方的身份信息产生所述至少一个第一回复内容。
根据本发明的另一方面,提供了一种记录有用于实现根据实施例的辅助呼叫应答方法的程序的计算机可读记录介质。
将在接下来的描述中部分阐述本发明总体构思另外的方面和/或优点,还有一部分通过描述将是清楚的,或者可以经过本发明总体构思的实施而得知。
附图说明
从以下结合附图进行的描述中,本公开的特定实施例的以上和其他方面、特征和优点将变得更加清楚,其中:
图1是示出根据本公开的实施例的辅助呼叫应答方法的流程图;
图2是示出根据本公开的实施例的产生回复内容的示图;
图3是示出根据本公开的另一实施例的产生回复内容的示图;
图4是示出根据本公开的另一实施例的产生回复内容的示图;
图5是示出根据本公开的实施例的用户终端装置的框图;以及
图6是根据本公开的实施例的服务器的框图。
贯穿附图,应当注意,相同的参考标号用于描述相同或相似的元件、特征和结构。
具体实施方式
现将详细参照本发明的实施例,所述实施例的示例在附图中示出,其中,相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例,以便解释本发明。
图1示出根据本发明示例性实施例的辅助呼叫应答方法的流程图。
参照图1,在步骤S10,将用户终端装置与对方终端装置建立通信连接。
作为示例,当通过用户终端装置接收到来自对方终端装置的呼叫时,可通过用户输入确定是否执行辅助呼叫应答。例如,可在用户终端装置的显示器上显示执行辅助呼叫应答的选项以及执行正常呼叫应答的选项中的至少一个,当选择执行辅助呼叫应答的选项时,则执行辅助呼叫应答,当选择执行正常呼叫应答的选项时,执行正常呼叫应答。
作为示例,在接收到对方终端装置的呼叫时,可自动执行辅助呼叫应答。
作为示例,可预先设置当接收到对方终端装置的呼叫时是通过用户输入执行辅助呼叫应答还是自动执行辅助呼叫应答。
作为示例,当用户通过用户终端装置执行对对方终端装置的呼叫时,在用户终端装置的显示器上显示执行辅助呼叫应答的选项以及执行正常呼叫应答的选项中的至少一个,当选择执行辅助呼叫应答的选项时,则执行辅助呼叫应答,当选择执行正常应答的选项时,执行正常呼叫应答。
作为示例,所述呼叫可以是语音呼叫(例如,电话呼叫)或视频呼叫。
作为示例,在建立用户终端装置和对方装置装置的通信连接时,可向对方终端装置发送提示用户正在执行辅助呼叫应答的信息。
作为示例,当建立用户终端装置和对方终端装置之间的通信连接时,可禁用用户终端装置的扬声器,或者同时禁用用户终端装置的扬声器和麦克风以防止对方的语音被输出到用户终端装置的外部或者防止环境声音被发送给对方终端装置。
在步骤S20,将用户终端装置从对方终端装置接收到的对方的语音转换为文本信息,并将所述文本信息显示在用户终端装置的显示器上。
可利用任何现有语音识别技术对接收到的对方的语音执行语音识别以将接收到的对方的语音转换为文本信息。例如,可通过语音识别软件来执行语音识别,具体地,可将接收到的对方语音输入语音识别软件,将由语音识别软件转换为的文本信息显示在用户终端装置的显示器上。
例如,可基于语音识别技术将“今天去看电影吗”的语音转换为“今天去看电影吗?”的文本信息,然后,将该文本信息显示在用户终端装置的显示器上。
作为示例,步骤S20还可包括将接收到的对方的语音存储在用户终端装置或独立于用户终端装置的服务器中的至少一个中,其中,服务器通过网络与用户终端装置进行连接。此外,还可将通过语音识别转换为的文本信息存储在用户终端装置以及独立于用户终端装置的服务器中的至少一个中。
作为示例,针对接收到的对方语音的语音识别可通过用户终端装置或者独立于用户终端装置的服务器来实现,其中,服务器可通过网络与用户终端装置进行连接。当通过服务器来完成时,将接收到的对方的语音发送到服务器,由服务器将接收到的语音转换为文本信息,并将转换为的文本信息发送到用户终端装置以显示在用户终端装置的显示器上,此外,如果在服务器中通过语音识别软件将对方的语音转换为文本信息,则可将语音识别软件下载到用户终端装置,这样在网络不好或者离线状态下,可通过下载的语音识别软件来将接收到的对方的语音转换为文本信息。作为示例,可定期更新从服务器下载到用户终端装置的语音识别软件。
作为示例,步骤S20还可包括通过用户终端装置或服务器基于对方的身份信息产生文本信息,并将产生的文本信息显示在用户终端装置的显示器上,作为示例,在电话呼叫应答的情况下,如果确定对方的电话为广告推销电话,则可以产生提示对方的电话为广告推销电话的文本信息,并将该文本信息显示在用户终端装置的显示器上以提醒用户。作为示例,可通过大数据搜索和分析技术来确定对方的身份信息。作为示例,可对对方的电话号码执行大数据搜索和分析,以确定对方电话是否是广告推销电话。作为示例,可通过用户终端装置或者独立于用户终端装置的服务器来确定对方的身份,在通过服务器确定对方的身份的情况下,例如,在电话呼叫的情况下,可将对方电话号码发送给服务器,从而通过服务器确定对方的身份信息,例如,由服务器对接收到的电话号码执行大数据搜索与分析以确定对方的身份信息。
在步骤S30,基于所述文本信息来产生至少一个第一回复内容,并将所述至少一个第一回复内容显示在用户终端装置的显示器上。
作为示例,可由用户终端装置或服务器基于由对方的语音转换为的文本信息来产生至少一个第一回复内容。
作为示例,图2示出了根据本公开的实施例的基于由对方的语音转换为的文本信息产生回复内容的示图。
参照图2,当由接收到的用户的语音转换为的文本信息为“今天要不要去看电影?”时,文本信息“今天要不要去看电影?”可被显示在用户终端装置的显示器的第一区域,针对文本信息“今天要不要去看电影?”产生例如“好啊好呀,什么电影?”、“我看下今天有没有时间”、“哈哈~我看下今天有没有合适的电影”等第一回复内容,并被显示在用户终端装置的显示器的第二区域,作为示例,第一区域和第二区域可不重叠或部分重叠,在重叠的情况下,第二区域被显示在第一区域的上方。虽然图2示出了基于转换为的文本信息产生多个第一回复内容,但是也可基于转换为的文本信息仅产生一个第一回复内容。作为示例,可通过机器学习技术来建立智能回复模型,以通过该智能模型针对对方的语音转换为的文本信息产生至少一个回复内容,例如,可通神经网络算法建立智能回复模型,具体地,可通过大量的文本形式的对话数据作为训练数据对神经网络进行训练,使得当将对方的语音转换为的文本信息输入该智能回复模型时,可输出与输入的文本信息相应的至少一个回复内容。
作为示例,步骤S30还可包括通过用户终端装置或服务器基于对方的身份信息产生至少一个第一回复内容,并将产生的至少一个第一回复内容显示在用户终端装置的显示器上,例如,在电话呼叫应答的情况下,如果确定对方的电话为广告推销电话,则可以产生“对不起,我没有时间”、“请介绍一下”等第一回复内容,并将产生的至少一个第一回复内容显示在用户终端装置的显示器上。作为示例,如果确定对方的电话为推销电话,用户也可以结束与对方的电话通信。作为示例,对方的身份信息可基于现有的大数据搜索和分析技术来确定,例如,在电话呼叫的情况下,可将对方的电话号码进行大数据搜索与分析,以确定对方的电话是否是广告推销电话。作为示例,可通过机器学习技术来建立智能回复模型,并通过建立的智能回复模型针对对方的身份信息,来产生回复内容,例如,可通过神经网络来建立该智能回复模型,具体地,通过将对方的身份信息以及与对方的身份信息相应的回复内容作为训练材料来训练神经网络,使得当将确定的用户身份智能模型时,可输出相应的回复内容以显示在用户终端装置的显示器上。
返回图1,在步骤S40,响应于用户在所述至少一个第一回复内容中选择了第一回复内容,将选择的第一回复内容转换为语音,并将由选择的第一回复内容转换的语音发送给对方终端装置。
作为示例,当基于对方的身份信息产生例如“对不起,我没有时间”、“请介绍一下”等回复内容,并且“对不起,我没有时间”、“请介绍一下”等第一回复内容被显示在用户终端装置的显示器上时,用户可根据需要选择例如“请介绍一下”,响应于所述选择,文本信息“请介绍一下”被转换为语音“请介绍一下”,并且将转换为的语音“请介绍一下”发送给对方终端装置。
再次参照图2,例如,当用户选择“我看下今天有没有合适的电影”时,将“我看下今天有没有电影”转换为语音,并将转换为的语音发送给对方终端装置,此时,“好啊好呀,什么电影?”、“我看下今天有没有时间”、“哈哈~我看下今天有没有合适的电影”等回复内容可不再被显示,并且用户选择的文本信息“我看下今天有没有合适的电影”可被显示在用户终端装置的显示器的第一区域,例如,可在第一区域将选择的文本信息“我看下今天有没有合适的电影”显示在“要不要去看电影”的下方。
作为示例,步骤S40还可包括响应于用户在在用户终端装置的显示器上显示的所述至少一个第一回复内容中选择了第一回复内容,在用户终端装置的显示器上显示与选择的第一回复内容相关的至少一个第二回复内容。
参照图2,例如,当用户选择“我看下今天有没时间”时,除了将“我看下今天有没时间”转换为语音发送给对方终端装置之外,还可基于选择的文本信息“我看下今天有没时间”产生例如“有时间”、“今天没时间”、“可以换个时间吗”的多个第二复内容,用户可以选择“有时间”、“今天没时间”、“可以换个时间吗”中的一个,例如,当用户选择“可以换个时间吗”时,将“可以换个时间吗”转换为语音发送给对方终端装置,还可以将选择的文本信息“可以换个时间吗”显示在第一区域。这样,对方可根据接收到的由用户终端装置发送来的语音来回复用户。虽然图2示出了响应于选择第一回复内容,产生了多个第二回复内容,并显示在显示器上,但这仅是示例,也可仅产生一个第二回复内容,并将其显示在显示器上。作为示例,可通过机器学习技术建立智能回复模型,通过建立的智能回复模型来针对选择的文本信息“我看下今天有没时间”产生例如“有时间”、“今天没时间”、“可以换个时间吗”的多个复内容,例如,可通过神经网络算法来建立该智能回复模型,具体地,可通过将大量的文本形式的对话数据作为训练数据来训练神经网络,以使得当将选择的文本信息输入智能模型时,由智能模型输出与输入的文本信息相应的至少一个回复内容。作为示例,至少一个第二回复内容可由用户终端装置或服务器基于选择的第一回复内容来产生。
作为示例,步骤S40还可包括响应于用户在在用户终端装置的显示器上显示的所述至少一个第一回复内容中选择了第一回复内容,在用户终端装置的显示器上显示与选择的第一回复内容相关的至少一个链接以及与选择的第一回复内容相关的至少一个第二回复内容中的至少一个。
作为示例,参照图2,当用户选择第一回复内容“我看下今天有没有时间”时,可通过用户终端装置或服务器基于选择的第一回复内容以及用户终端装置的应用应用信息产生与选择的第一回复内容“我看下今天有没有时间”有关的至少一个应用链接,并将产生的至少一个应用链接显示在用户装置装置的显示器上,当用户选择显示的应用链接时,可跳转到选择的应用,例如,响应于用户选择“我看下今天有没有时间”,可在用户终端装置的显示器上显示“todolisit跳转”链接和“calendar跳转”链接,例如,当用户选择“calendar跳转”链接时,可进入calendar应用以查看日历信息,从而能够帮助用户确定选择“有时间”、“今天没时间”、“可以换个时间吗”中的哪个回复内容。作为示例,可通过机器学习技术来建立智能模型,以通过建立的智能模型来根据选择的的回复内容产生相应的应用链接,例如,可通过神经网络算法建立该智能模型,具体地,将大量的文本信息以及与文本信息相应的应用链接作为训练材料来训练神经网络,使得当选择回复内容时,将选择的回复内容作为输入输入建立的智能模型,以产生与选择的回复内容相应的应用链接。作为示例,应用可以是用户终端装置中安装的应用。
作为示例,步骤S30还可包括响应于用户在在与选择的第一回复内容相关的所述至少一个链接中选择了一个链接,在用户终端装置的显示器上显示与选择的链接相应的信息以及至少一个第二回复内容。
作为示例,参照图2,当用户选择第一回复内容“哈哈~我看下今天有没有合适的电影”时,除了将“哈哈~我看下今天有没有合适的电影”转换为语音发送给对方终端装置之外,可将文本信息“哈哈~我看下今天有没有合适的电影”显示在第一区域,此外,还可通过服务器或用户终端装置产生与近期上映的电影相关的链接并将产生的链接显示在用户终端装置的显示器(例如,第二区域)上,例如,可在用户终端装置的显示器上显示例如“电影1链接”、“电影2链接”、“电影3”链接等,当用户选择“电影2链接时”,可显示与电影2有关的内容(关于电影2的介绍,关于电影2的附近影院以及场次信息),另外,还可通过用户终端装置或服务器产生并显示回复内容例如“电影2怎么样”、“去哪个电影院”,用户可通过显示的与电影2有关的内容选择“电影2怎么样”、“去哪个电影院”中的一个,并将选择的回复内容转换为语音发送给对方终端装置,此外,可将选择的回复内容显示在第一区域,此外,还可基于用户终端装置的应用信息显示与电影有关的应用链接(例如,用于电影购票的应用),用户可点击该链接以进入应用,用户可根据进入的应用决定选择“电影2怎么样”、“去哪个电影院”中的哪一个,此外,还可显示“返回上一层”的选项,当用户选择“返回上一层”的选项时,返回未选择“电影2链接”之前的显示器,使得用户可点击其它电影链接。作为示例,可通过机器学习技术来建立智能模型,以通过建立的智能模型来产生与选择的回复内容相应的链接或与选择的链接相应的回复内容,例如,可通过神经网络算法来建立该智能模型,可通过大量的文本信息以及与文本信息相应的操作指令来训练神经网络,以使得当将用户选择的回复内容输入智能模型时,可产生与输入的回复内容相应的指令,进而通过执行该指令执行相应的的动作,例如,当将“哈哈~我看下今天有没有合适的电影”输入智能模型时,智能模型产生搜索近期电影的指令,并将搜索到的关于电影的链接显示在用户终端装置的显示器上。作为示例,应用可以是用户终端装置中安装的应用。
图3示出了根据本公开的另一实施例的产生回复内容的示图。
参照图3,当由对方语音转换为的文本信息为“今天几点到家”时,可通过用户终端装置或服务器产生例如“我来查看下路况信息”等的内容选项,响应于用户选择“我来查看下路况信息”,通过网络API接口访问与路况相应的网络,并将访问结果(例如,路况信息或导航信息)显示在用户终端装置的显示器上,此外,还可将选择的“我来查看下路况信息”转换为语音发送给对方终端装置,当用户选择回复导航信息选项时,可将导航信息发送给对方终端装置,此外,还可将关于地图导航的应用跳转链接显示在用户终端装置的显示器上,当用户选择该链接时,可以方便地进入地图导航应用。虽然图3示出路况信息、导航信息以及应用跳转链接被显示在整个显示器上,但是也可将路况信息、导航信息以及应用跳转链接仅显示在第二区域,或者与第一区域和第二区域不同的第三区域。作为示例,可通过机器学习技术建立智能模型,通过建立的智能模型来产生与选择的回复信息相应的信息,例如,可通过神经网络算法建立智能模型,具体地,可通过文本信息以及与文本信息相应的操作指令来训练神经网络,使得当将选择的文本信息输入智能模型时,可产生与输入的文本信息相应的操作指令,通过执行产生的操作指令产生与选择的文本信息相应的信息,例如,当将“我来查看下路况信息”输入智能模型时,智能模型可输出搜索路况信息的指令,通过执行该指令来将搜索结果显示在用户终端装置的显示器上,此外,还可通过文本信息以及与文本信息相应的应用链接作为训练材料来训练神经网络,使得智能模型能够产生与选择的回复内容相应的应用链接。作为示例,应用可以是用户终端装置中安装的应用。
图4示出了根据本公开的另一实施例的产生回复内容的示图。
参照图4,当由对方语音转换为的文本信息“我刚看了chinajoy上关于**游戏的消息”被显示在第一区域时,可将“chinajoy”和“**游戏”作为关键字段与其它文本内容区分显示,当选择被区分显示的关键字段时,可以对选择的关键字段进行搜索,并将搜索结果显示在用户终端装置的显示器上。例如,可将转换为的文本信息中的名词确定为关键字段,当选择区别显示的关键字段时,自动搜索选择的关键字,并将搜索结果显示在用户终端装置的显示器上。作为示例,可在显示器上(例如,第一区域)设置有用于分别选择关键字段的控件,当用户选择控件时,即可选择相应的关键字段,控件可包括以下项中的至少一个:按钮、突出显示、选项框。
作为示例,可通过用户终端装置或服务器利用现有的任何语音合成技术来将选择的第一回复内容或第二回复内容转换为语音并将转换为的语音发送给对方终端装置。例如,可将选择的回复内容执行相应的处理以提取声学模型所需要的信息,将提取的信息输入训练好的声学模型,则可输出合成后的语音,作为示例,可将用户的语音作为训练材料来训练声学模型,这样,转换为的语音能够更真实地模仿用户的语音。
作为示例,在执行辅助呼叫应答期间,如果用户想直接语音回复对方,在扬声器和麦克风中的至少一个被禁用的情况下,可通过用户输入启用被禁用的扬声器以及麦克风,然后用户可直接语音回复对方,例如,可在用户终端装置的显示器上显示用于启用被禁用的扬声器或麦克风的选项,当用户选择该选项时,启用被禁用的麦克风和扬声器。
作为示例,当确定用户将手机放在耳边或者将耳机插入用户终端装置时,可自动启用被禁用的扬声器或麦克风以使得用户能够直接语音回复对方。
作为示例,在执行辅助呼叫应答的过程中,如果启用了被禁用的扬声器或麦克风来直接语音回复对方,可继续将接收到的对方的语音转换为文本信息并显示在显示器上。
作为示例,在执行辅助呼叫应答的过程中,可通过用户输入切换到正常呼叫应答模式,例如,可在显示器上显示用户切换到正常应答模式的选项,当选择该选项时,切换到正常呼叫应答模式。
作为示例,在执行辅助呼叫应答的过程中,如果用户想要自己输入回复内容,则可以通过用户输入产生文本输入窗口,用户可通过显示在显示器上的文本输入窗口输入回复内容,并将输入的回复内容转换为语音发送给对方终端装置。例如,可在显示器上显示用于产生文本输入窗口的选项,响应于选择该选项,文本输入窗口被显示在显示器上,此外,可将与发送给对方的语音相应的通过文本输入窗口输入的文本信息显示在第一区域。
作为示例,可将对方的语音、对方的语音转换为的文本信息、选择的回复内容、通过文本输入窗口输入的文本内容以及发送给对方的语音中的至少一个存储在用户终端装置或服务器中的至少一个中以便后续查询。
本发明的实施例可被编写为计算机程序,并可实现在使用计算机可读记录介质执行程序的通用数字计算机中,计算机程序被执行时实现根据本发明示例性实施例的方法的步骤。计算机可读记录介质的示例包括磁存储介质(例如,ROM、软盘、硬盘等)或光学记录介质(例如,CD-ROM或DVD)等。
图5示出根据本公开的实施例的用于辅助呼叫应答的用户终端装置500的框图。
参照图5用户终端装置500可包括通信单元510、显示器520和控制器530。此外,仅作为示例,控制器530可包括语音识别单元540、智能回复单元550和语音合成单元560,或者由控制器530直接完成相应的操作。作为示例,用户终端装置500可不包括上述元件中的某些元件或者可另外包括其它元件。控制器530可控制用户终端装置500的总体操作。作为示例,控制器530可控制用户终端装置500中的每个元件的操作。
具体说来,可由用户终端装置500通过通信单元510与对方终端装置建立通信连接。
作为示例,当通过用户终端装置500接收到来自对方终端装置的呼叫时,可通过用户输入确定是否执行辅助呼叫应答。例如,可在用户终端装置500的显示器520上显示执行辅助呼叫应答的选项以及执行正常呼叫应答的选项中的至少一个,当选择执行辅助呼叫应答的选项时,则执行辅助呼叫应答,当选择执行正常呼叫应答的选项时,执行正常呼叫应答。
作为示例,在接收到对方终端装置的呼叫时,可自动执行辅助呼叫应答。
作为示例,可预先设置当接收到对方终端装置的呼叫时是通过用户输入执行辅助呼叫应答还是自动执行辅助呼叫应答。
作为示例,当用户通过用户终端装置500执行对对方终端装置的呼叫时,在用户终端装置500的显示器520上显示执行辅助呼叫应答的选项以及执行正常呼叫应答的选项中的至少一个,当选择执行辅助呼叫应答的选项时,则执行辅助呼叫应答,当选择执行正常呼叫应答的选项时,执行正常呼叫应答。
作为示例,所述呼叫可以是语音呼叫(例如,电话呼叫)或视频呼叫。
作为示例,在建立用户终端装置500和对方终端装置的通信连接时,可向对方终端装置发送提示用户正在执行辅助呼叫应答的信息。
作为示例,当建立用户终端装置500和对方终端装置之间的通信连接时,可禁用用户终端装置500的扬声器,或者同时禁用用户终端装置500的扬声器和麦克风以防止对方的语音被输出到用户终端装置500的外部或者防止环境声音被发送给对方。
作为示例,可通过语音识别单元540对接收到的对方的语音执行语音识别以将对方的语音转换为文本信息,并将转换的文本信息显示在用户终端装置500的显示器520上。
语音识别单元540可利用任何现有语音识别技术对接收到的对方的语音执行语音识别。作为示例,语音识别单元540可由软件、硬件或者硬件和软件的结合来实现。具体地,可将接收到的对方语音输入语音识别单元540,语音识别单元540将接收到的语音转换为文本信息并输出该文本信息以将转换为的文本信息显示在用户终端装置500的显示器520上。
例如,可通过语音识别单元540将“今天去看电影吗”的语音转换为“今天去看电影吗?”的文本信息,然后,将该文本信息显示在用户终端装置500的显示器520上。
作为示例,还可将接收到的对方的语音存储在用户终端装置500的存储器或独立于用户终端装置500的服务器中的至少一个中,其中,服务器通过网络与用户终端装置500进行连接。此外,还可将通过语音识别单元540转换为的文本信息存储在用户终端装置500的存储器以及独立于用户终端装置500的服务器中的至少一个中。
作为示例,可将由接收到的对方的语音转换为的语音存储在用户终端装置500的存储器或独立于用户终端装置500的服务器中。
作为示例,还可通过独立于用户终端装置500的服务器来将接收到的对方的语音转换为文本信息,其中,服务器可通过网络与用户终端装置500进行连接。当通过服务器来完成时,将接收到的对方的语音发送到服务器,由服务器将接收到的语音转换为文本信息,并将转换为的文本信息发送到用户终端装置500以显示在用户终端装置500的显示器520上,作为示例,当通过服务器中的语音识别软件来将对方的语音转换为文本信息时,可将该软件下载到用户终端装置500,这样在网络不好或者离线状态下,可通过下载的语音识别软件来将接收到的对方的语音转换为文本信息。作为示例,可定期更新从服务器下载到用户终端装置500的语音识别软件。
作为示例,智能回复单元550可基于对方的身份信息产生文本信息,并将产生的文本信息显示在用户终端装置500的显示器520上,作为示例,在电话呼叫应答的情况下,如果确定对方的电话为广告推销电话,则可以产生提示对方的电话为广告推销电话的文本信息,并将该文本信息显示在用户终端装置500的显示器520上以提醒用户。作为示例,智能回复单元550可基于现有的大数据搜索和分析技术来确定对方的电话是否是广告推销电话,例如,可将对方的电话号码进行大数据搜索与分析,以确定对方的电话是否是广告推销电话。
作为示例,可将基于对方的身份信息产生的文本信息存储在用户终端装置500的存储器或独立与用户终端装置500的服务器中。
作为示例,智能回复单元550可基于对方的身份信息或由对方的语音转换为的文本信息产生回复内容,并将产生的回复内容显示在用户终端装置500的显示器520上。
作为示例,智能回复单元550可基于对方的身份信息产生至少一个第一回复内容,并将产生的至少一个第一回复内容显示在用户终端装置500的显示器520上,例如,在电话呼叫应答的情况下,如果确定对方的电话为广告推销电话,则可以产生“对不起,我没有时间”、“请介绍一下”等第一回复内容,并将产生的至少一个第一回复内容显示在用户终端装置500的显示器520上。作为示例,如果确定对方的电话为推销电话,用户也可以结束与对方的电话通信。作为示例,对方的身份信息可由智能回复单元550基于现有的大数据搜索和分析技术来确定,例如,在电话呼叫的情况下,可将对方的电话号码进行大数据搜索与分析,以确定对方的电话是否是广告推销电话。作为示例,可通过机器学习技术来实现智能回复单元550,例如,可通过神经网络算法来实现该智能回复单元550,具体地,通过将对方的身份信息以及与对方的身份信息相应的回复内容作为训练材料来训练神经网络,使得当将确定的用户身份输入智能回复单元550时,可输出相应的回复内容以显示在用户终端装置500的显示器520上。
作为示例,可将基于对方的身份信息产生的至少一个第一回复内容存储在用户终端装置500的存储器或独立于用户终端装置500的服务器中。
作为示例,智能回复单元550可基于由对方语音转换为的文本信息产生至少一个第一回复内容,并显示在用户终端装置500的显示器520上。
再次参照图2,当由接收到的用户的语音转换为的文本信息为“今天要不要去看电影?”时,文本信息“今天要不要去看电影?”可被显示在用户终端装置500的显示器520的第一区域,可通过智能回复单元550针对文本信息“今天要不要去看电影?”产生例如“好啊好呀,什么电影?”、“我看下今天有没有时间”、“哈哈~我看下今天有没有合适的电影”等第一回复内容,并将第一回复内容显示在用户终端装置500的显示器520的第二区域,作为示例,第一区域和第二区域可不重叠或部分重叠,在重叠的情况下,第二区域被显示在第一区域的上方。虽然图2示出了基于转换为的文本信息产生多个第一回复内容,但是也可基于转换为的文本信息仅产生一个第一回复内容。作为示例,可通过机器学习技术来实现智能回复单元550,以通过该智能回复单元550针对由对方的语音转换为文本信息产生至少一个回复内容,例如,可通神经网络算法实现该智能回复单元550,具体地,可通过大量的文本形式的对话数据对神经网络进行训练,使得当将对方的语音转换为的文本信息输入该智能回复单元550时,可输出与输入的文本信息相应的至少一个回复内容。
响应于用户选择显示在显示器520上的第一回复内容,可通过语音合成单元560将选择的回复内容转换为语音发送给对方终端装置。
作为示例,当通过智能回复单元550基于对方的身份信息产生例如“对不起,我没有时间”、“请介绍一下”等第一回复内容,并且“对不起,我没有时间”、“请介绍一下”等第一回复内容被显示在用户终端装置500的显示器520上时,用户可根据需要选择例如“请介绍一下”,响应于所述选择,通过语音合成单元560将文本信息“请介绍一下”转换为语音“请介绍一下”,并且将转换为的语音“请介绍一下”发送给对方终端装置。
再次参照图2,例如,当用户选择第一回复内容“我看下今天有没有合适的电影”时,通过语音合成单元560将“我看下今天有没有电影”转换为语音,并将转换为的语音发送给对方终端装置,此时,“好啊好呀,什么电影?”、“我看下今天有没有时间”、“哈哈~我看下今天有没有合适的电影”等第一回复内容可不再被显示,并且用户选择的文本信息“我看下今天有没有合适的电影”可被显示在用户终端装置500的显示器520的第一区域,例如,可在第一区域将选择的文本信息“我看下今天有没有合适的电影”显示在“要不要去看电影”的下方。
作为示例,可将选择的第一回复内容以及由第一回复内容转换为的语音存储在用户终端装置500的存储器或独立于用户终端装置500的服务器中。
参照图2,例如,当用户选择第一回复内容“我看下今天有没时间”时,除了将“我看下今天有没时间”转换为语音发送给对方终端装置之外,还可通过智能回复单元550基于选择的文本信息“我看下今天有没时间”产生例如“有时间”、“今天没时间”、“可以换个时间吗”的多个第二回复内容,用户可以选择“有时间”、“今天没时间”、“可以换个时间吗”中的一个,例如,当用户选择“可以换个时间吗”时,将“可以换个时间吗”转换为语音发送给对方终端装置,还可以将选择的文本信息“可以换个时间吗”显示在第一区域。这样,对方可根据接收到的由用户终端装置500发送来的语音来回复用户。虽然图2示出了基于选择的第一回复内容显示多个第二回复内容,但这仅是示例,可仅显示一个第二回复内容。作为示例,可通过机器学习技术实现智能回复单元550,通过智能回复单元550针对选择的文本信息“我看下今天有没时间”产生例如“有时间”、“今天没时间”、“可以换个时间吗”的多个复内容,例如,可通过神经网络算法来实现该智能回复单元550,具体地,可通过将大量的文本形式的对话数据作为训练数据来训练神经网络,以使得当将选择的文本信息输入智能回复单元550时,由智能回复单元550输出与输入的文本信息相应的至少一个回复内容。
作为示例,可将选择的第二回复内容以及转换为的语音存储在用户终端装置500的存储器或独立于用户终端装置500的服务器中。
作为示例,参照图2,当用户选择第一回复内容“我看下今天有没有时间”时,还可通过智能回复单元550在用户终端装置500的显示器520上显示与选择的回复内容“我看下今天有没有时间”有关的应用应用链接,当用户选择显示的应用链接时,可跳转到选择的应用,例如,响应于用户选择“我看下今天有没有时间”,可在用户终端装置500的显示器520上显示“todolisit跳转”链接和“calendar跳转”链接,例如,当用户选择“calendar跳转”链接时,可进入calendar应用以查看日历信息,从而能够帮助用户确定选择“有时间”、“今天没时间”、“可以换个时间吗”中的哪个回复内容。作为示例,可通过机器学习技术来实现智能回复单元550,以通过智能回复单元550来根据选择的的回复内容产生相应的应用链接,例如,可通过神经网络算法实现该智能回复单元550,具体地,可将大量的文本信息以及与文本信息相应的应用链接作为训练材料来训练神经网络,使得当选择回复内容时,将选择的回复内容作为输入输入智能回复单元550,以产生与选择的回复内容相应的应用链接。作为示例,应用可以是用户终端装置500中安装的应用。
作为示例,参照图2,当用户选择第一回复内容“哈哈~我看下今天有没有合适的电影”时,除了将“哈哈~我看下今天有没有合适的电影”转换为语音发送给对方终端装置之外,可将文本信息“哈哈~我看下今天有没有合适的电影”显示在第一区域,此外,还可通过智能回复单元550产生与近期上映的电影相关的链接以将产生的链接显示在用户终端装置500的显示器520(例如,第二区域)上,例如,可在用户终端装置500的显示器520上显示例如“电影1链接”、“电影2链接”、“电影3”链接等,当用户选择“电影2链接时”,可显示与电影2有关的内容(关于电影2的介绍,关于电影2的附近影院以及场次信息),另外,还可通过智能回复单元550产生第二回复内容例如“电影2怎么样”、“去哪个电影院”,并显示在用户终端装置500的显示器520上,用户可通过显示的与电影2有关的内容选择“电影2怎么样”、“去哪个电影院”中的一个,并将选择的第二回复内容转换为语音发送给对方终端装置,此外,可将选择的回复内容显示在第一区域,还可显示与电影有关的应用链接(例如,用于电影购票的应用),用户可点击该链接以进入应用,用户可根据进入的应用决定选择“电影2怎么样”、“去哪个电影院”中的哪一个,此外,还可显示“返回上一层”的选项,当用户选择“返回上一层”的选项时,返回未选择“电影2链接”之前的显示器520,使得用户可点击其它电影链接。作为示例,可通过机器学习技术来实现智能回复单元550,以通过智能回复单元550来产生与选择的回复内容相应的链接或与选择的链接相应的回复内容,例如,可通过神经网络算法来实现该智能回复单元550,可通过大量的文本信息以及与文本信息相应的操作指令来训练神经网络,以使得当将用户选择的回复内容输入智能回复单元550时,可产生与输入的回复内容相应的指令,进而通过执行该指令执行相应的的动作,例如,当将“哈哈~我看下今天有没有合适的电影”输入智能模型时,智能模型产生搜索近期电影的指令,并将搜索到的关于电影的链接显示在用户终端装置500的显示器520上。作为示例,应用可以是用户终端装置500中安装的应用。
再次参照图3,当由对方语音转换为的文本信息为“今天几点到家”时,可通过智能回复单元550产生例如“我来查看下路况信息”等的内容选项,响应于用户选择“我来查看下路况信息”,通过网络API接口访问与路况相应的网络,并将访问结果(例如,路况信息或导航信息)显示在用户终端装置500的显示器520上,此外,还可将选择的“我来查看下路况信息”转换为语音发送给对方终端装置,当用户选择回复导航信息选项时,可将导航信息发送给对方终端装置,此外,还可将关于地图导航的应用跳转链接显示在用户终端装置500的显示器520上,当用户选择该链接时,可以方便地进入地图导航应用。虽然图3示出路况信息、导航信息以及应用跳转链接被显示在整个显示器520上,但这这仅是示例,例如可将路况信息、导航信息以及应用跳转链接仅显示在第二区域,或者显示在与第一区域和第二区域不同的第三区域。作为示例,可通过机器学习技术实现智能回复单元550,通过智能回复单元550来产生与选择的回复信息相应的信息,例如,可通过神经网络算法实现智能回复单元550,具体地,可通过文本信息以及与文本信息相应的操作指令来训练神经网络,使得当将选择的文本信息输入智能回复单元550时,可产生与输入的文本信息相应的操作指令,通过执行产生的操作指令产生与选择的文本信息相应的信息,例如,响应于选择“我来查看下路况信息”,将“我来查看下路况信息”输入智能回复单元550,智能回复单元550可输出搜索路况信息的指令,通过执行该指令来将搜索结果显示在用户终端装置500的显示器520上,此外,还可通过文本信息以及与文本信息相应的应用链接作为训练材料来训练神经网络,使得智能回复单元550能够产生与选择的回复内容相应的应用链接。作为示例,应用可以是用户终端装置500中安装的应用。
作为示例,智能回复单元550可通过软件、硬件或者软件和硬件的结合来实现。
作为示例,用户终端装置500还可包括关键字段确定单元,再次参照图4,当由对方语音转换为的文本信息“我刚看了chinajoy上关于**游戏的消息”被显示在第一区域时,可通过关键字段确定单元将“chinajoy”和“**游戏”确定为关键字段以与其它文本内容区分显示,当选择被区分显示的关键字段时,可以对选择的关键字段进行搜索,并将搜索结果显示在用户终端装置500的显示器520上。例如,可将转换为的文本信息中的名词确定为关键字段,当选择区别显示的关键字段时,自动搜索选择的关键字,并将搜索结果显示在用户终端装置500的显示器520上。作为示例,可在显示器520上(例如,第一区域)设置有用于分别选择关键字段的控件,当用户选择控件时,即可选择相应的关键字段,控件可包括以下项中的至少一个:按钮、突出显示、选项框。
作为示例,可利用用户终端装置500的语音合成单元560基于现有的任何语音合成技术来将选择的回复内容转换为语音以将转换为的语音发送给对方终端装置。例如,在语音合成单元560中,可将选择的回复内容执行相应的处理以提取声学模型所需要的信息,将提取的信息输入训练好的声学模型,则可输出合成后的语音,作为示例,可将用户的语音作为训练材料来训练声学模型,这样,转换为的语音能够更真实地模仿用户的语音。
作为示例,在执行辅助呼叫应答期间,如果用户想直接语音回复对方,在扬声器和麦克风中的至少一个被禁用的情况下,可通过用户输入启用被禁用的扬声器以及麦克风,然后用户可直接语音回复对方,例如,可在用户终端装置500的显示器520上显示用于启用被禁用的扬声器或麦克风的选项,当用户选择该选项时,启用被禁用的麦克风和扬声器。
作为示例,当确定用户将手机放在耳边或者将耳机插入用户终端装置500时,可自动启用被禁用的扬声器或麦克风以使得用户能够直接语音回复对方。
作为示例,在执行辅助呼叫应答的过程中,如果启用了被禁用的扬声器或麦克风来直接语音回复对方,可继续将接收到的对方的语音转换为文本信息并显示在显示器520上。
作为示例,在执行辅助呼叫应答的过程中,可通过用户输入切换到正常呼叫应答模式,例如,可在显示器520上显示用户切换到正常应答模式的选项,当选择该选项时,切换到正常应答模式。
作为示例,在执行辅助呼叫应答的过程中,如果用户想要自己输入回复内容,则可以通过用户输入产生文本输入窗口,用户可通过显示在显示器520上的文本输入窗口输入回复内容,并将输入的回复内容转换为语音发送给对方终端装置。例如,可在显示器520上显示用于产生文本输入窗口的选项,响应于选择该选项,文本输入窗口被显示在显示器520上,此外,可将与发送给对方终端装置的语音相应的通过文本输入窗口输入的文本信息显示在第一区域。
作为示例,可将对方的语音、对方的语音转换为的文本信息、选择的回复内容、通过文本输入窗口输入的文本内容以及发送给对方终端装置的语音中的至少一个存储在用户终端装置500的存储器或服务器中的至少一个中以便后续查询。
图6示出了根据本公开的实施例的服务器600的框图。
参照图6,服务器600可包括通信单元610和控制器620。应当理解,服务器600可包括另外的元件。控制器620控制服务器的每个元件的操作。
具体地,通信单元610用于执行与用户终端装置500的通信。作为示例,服务器600可通过通信单元610从用户终端装置500接收用户终端装置500接收到的对方的语音,将接收到的语音转换为文本信息,并将转换为的文本信息发送给用户终端装置500。由于可采用与通过语音识别单元540将对方的语音转换为文本信息的方法类似的方法来通过服务器600将对方的语音转换为文本信息,因此,关于通过服务器600将对方的语音转换为文本信息的过程在此不再赘述。
作为示例,服务器600可基于转换为的文本信息产生至少一个第一回复内容,并将产生的第一回复内容发送给用户终端装置500以显示在用户终端装置500的显示器520上。其中,由服务器600基于转换为的文本信息产生至少一个第一回复内容的方法可与智能回复单元550基于文本信息产生至少一个回复内容的方法类似,因此,由服务器600基于转换为的文本信息产生至少一个第一回复内容的方法在此不再赘述。
作为示例,服务器600可从用户终端装置500接收用户选择的第一回复内容,并将用户选择的第一回复内容转换为语音发送给用户终端装置500以通过用户终端装置发送给对方终端装置。其中,由服务器600将选择的第一回复内容转换为语音的方法可与由语音合成单元560将选择的第一回复内容转换为语音的方法类似,因此,由服务器600将选择的第一回复内容转换为语音的方法在此不再赘述。
作为示例,服务器600可确定对方的身份信息,具体地,以电话呼叫为例,用户终端装置500可将对方的电话号码发送到服务器600,由服务器600通过大数据搜索与分析来确定用户的身份信息,并通过服务器600基于确定的用户身份信息产生至少一个第一回复内容。其中,由服务器基于确定的用户身份信息产生至少一个第一回复内容的方法可与用户终端装置500基于确定的用户身份信息产生至少一个第一回复内容的方法类似,因此,由服务器600确定对方身份信息以及基于确定的用户身份信息产生至少一个第一回复内容的方法在此不再赘述。
虽然本公开包括特定示例,但本领域的普通技术人员将理解,可在不脱离权利要求及其等同物的精神和范围的情况下,在形式和细节上做出各种改变。在此公开的示例将被视为描述性意义,而不是为了限制的目的。在每个示例中对特征或方面的描述将被视为可适用于其他示例中的相似特征或方面。如果以不同的顺序执行描述的技术,和/或如果以不同的方式组合和/或由其他部件或其等同物替代或补充描述的系统、结构、装置或电路,则可获得合适的结果。因此,公开的范围不是由详细的描述限定,而是由权利要求及其等同物体限定,权利要求及其等同物的范围内的全部改变将被视为包括在本公开内。

Claims (18)

1.一种辅助呼叫应答方法,所述方法包括:
将用户终端装置与对方终端装置建立通信连接;
将用户终端装置从对方终端装置接收到的对方的语音转换为文本信息,并将所述文本信息显示在用户终端装置的显示器上;
基于所述文本信息来产生至少一个第一回复内容,并将所述至少一个第一回复内容显示在用户终端装置的显示器上;
响应于用户在所述至少一个第一回复内容中选择了第一回复内容,将选择的第一回复内容转换为语音,并将由选择的第一回复内容转换的语音发送给对方终端装置。
2.如权利要求1所述的方法,还包括:响应于用户在在用户终端装置的显示器上显示的所述至少一个第一回复内容中选择了第一回复内容,在用户终端装置的显示器上显示与选择的第一回复内容相关的至少一个链接。
3.如权利要求2所述的方法,还包括:响应于用户在与选择的第一回复内容相关的所述至少一个链接中选择了一个链接,在用户终端装置的显示器上显示与选择的链接相应的信息以及至少一个第二回复内容。
4.如权利要求1所述的方法,还包括:响应于用户在在用户终端装置的显示器上显示的所述至少一个第一回复内容中选择了第一回复内容,在用户终端装置的显示器上显示与选择的第一回复内容相关的至少一个第二回复内容。
5.如权利要求1所述的方法,还包括:响应于用户在在用户终端装置的显示器上显示的所述至少一个第一回复内容中选择了第一回复内容,在用户终端装置的显示器上显示与选择的第一回复内容相关的至少一个链接以及与选择的第一回复内容相关的至少一个第二回复内容。
6.如权利要求1所述的方法,还包括:响应于用户在用户终端装置的显示器上显示的所述至少一个第一回复内容中选择了第一回复内容,在用户终端装置的显示器上显示与选择的第一回复内容相关的至少一个第二回复内容、与选择的第一回复内容相关的至少一个链接以及用于辅助选择第二回复内容的信息。
7.如权利要求3、4、5、6之一所述的方法,还包括:响应于用户在所述至少一个第二回复内容中选择了第二回复内容,将选择的第二回复内容转换为语音,并将由选择的第二回复内容转换为的语音发送给对方终端装置。
8.如权利要求2、5、6之一所述的方法,还包括:响应于用户在所述至少一个链接中选择了一个链接,在用户终端装置的显示器上显示与选择的链接相应的信息。
9.如权利要求1、3、4、5、6之一所述的方法,还包括:当用户确认第一回复内容或第二回复内容是不合理的时,在用户终端装置的显示器上显示输入窗口,并将通过输入窗口输入的回复内容转换为语音发送给对方终端装置。
10.如权利要求1所述的方法,还包括:在用户终端装置与对方终端装置建立通信连接时,禁用用户终端装置的扬声器。
11.如权利要求10所述的方法,还包括:响应于检测到预设输入,使能用户终端装置的扬声器。
12.如权利要求2、3、5、6之一所述的方法,其中,所述至少一个链接基于选择的第一回复内容以及用户终端装置的应用信息而被显示。
13.如权利要求1所述的方法,还包括:用户通过用户终端装置直接语音回复对方,而不选择显示的所述至少一个第一回复内容中的第一回复内容。
14.如权利要求1所述的方法,还包括:基于所述文本信息和对方的身份信息产生所述至少一个第一回复内容。
15.如权利要求1、14所述的方法,其中,由用户终端装置或服务器将用户终端装置从对方终端装置接收到的对方的语音转换为文本信息,
其中,由用户终端装置或服务器基于所述文本信息或所述对方的身份信息来产生所述至少一个第一回复内容,
其中,由用户终端装置或服务器将选择的第一回复内容转换为语音。
16.一种用户终端装置,所述用户终端装置包括:
通信单元,被配置为与对方终端装置建立通信连接,
显示器,以及
控制器,被配置为进行控制以执行以下操作:
将接收到的对方的语音转换为文本信息,并将所述文本信息显示在显示器上,
基于所述文本信息产生至少一个第一回复内容,并在显示器上显示所述至少一个第一回复内容,
响应于在显示器上显示的所述至少一个第一回复内容中选择了第一回复内容,将选择的第一回复内容转换为语音,并通过通信单元将由选择的第一回复内容转换为的语音发送给对方终端装置。
17.一种服务器,所述服务器包括:
通信单元,被配置为与用户终端装置进行通信;
控制器,被配置为进行控制以执行以下操作:
将从用户终端装置接收到的对方的语音转换为文本信息,并通过通信单元将所述文本信息发送给用户终端装置,
基于所述文本信息来产生至少一个第一回复内容,并通过通信单元将所述至少一个第一回复内容发送给用户终端装置,
将由用户选择的第一回复内容转换为语音,并通过通信单元将所述语音发送给用户终端装置。
18.一种记录有用于实现如权利要求1-15中任意一项所述方法的程序的计算机可读记录介质。
CN201811364429.3A 2018-11-16 2018-11-16 辅助呼叫应答方法、用户终端装置和服务器 Active CN109547632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811364429.3A CN109547632B (zh) 2018-11-16 2018-11-16 辅助呼叫应答方法、用户终端装置和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811364429.3A CN109547632B (zh) 2018-11-16 2018-11-16 辅助呼叫应答方法、用户终端装置和服务器

Publications (2)

Publication Number Publication Date
CN109547632A true CN109547632A (zh) 2019-03-29
CN109547632B CN109547632B (zh) 2021-05-25

Family

ID=65847612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811364429.3A Active CN109547632B (zh) 2018-11-16 2018-11-16 辅助呼叫应答方法、用户终端装置和服务器

Country Status (1)

Country Link
CN (1) CN109547632B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232919A (zh) * 2019-06-19 2019-09-13 北京智合大方科技有限公司 实时语音流提取与语音识别系统及方法
CN110825243A (zh) * 2019-11-01 2020-02-21 深圳传音控股股份有限公司 快捷短语输入方法、终端设备及计算机可读存储介质
CN113448535A (zh) * 2021-06-25 2021-09-28 亿企赢网络科技有限公司 一种终端屏幕内容的阅读方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516854A (zh) * 2012-06-15 2014-01-15 三星电子株式会社 终端装置及其控制方法
US20150201058A1 (en) * 2014-01-16 2015-07-16 Lg Electronics Inc. Mobile terminal and controlling method thereof
CN108021572A (zh) * 2016-11-02 2018-05-11 腾讯科技(深圳)有限公司 回复信息推荐方法和装置
CN108810291A (zh) * 2014-05-23 2018-11-13 三星电子株式会社 提供“语音-消息”呼叫服务的系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516854A (zh) * 2012-06-15 2014-01-15 三星电子株式会社 终端装置及其控制方法
US20150201058A1 (en) * 2014-01-16 2015-07-16 Lg Electronics Inc. Mobile terminal and controlling method thereof
CN108810291A (zh) * 2014-05-23 2018-11-13 三星电子株式会社 提供“语音-消息”呼叫服务的系统和方法
CN108021572A (zh) * 2016-11-02 2018-05-11 腾讯科技(深圳)有限公司 回复信息推荐方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232919A (zh) * 2019-06-19 2019-09-13 北京智合大方科技有限公司 实时语音流提取与语音识别系统及方法
CN110825243A (zh) * 2019-11-01 2020-02-21 深圳传音控股股份有限公司 快捷短语输入方法、终端设备及计算机可读存储介质
CN113448535A (zh) * 2021-06-25 2021-09-28 亿企赢网络科技有限公司 一种终端屏幕内容的阅读方法、装置、电子设备及介质
CN113448535B (zh) * 2021-06-25 2024-01-30 亿企赢网络科技有限公司 一种终端屏幕内容的阅读方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN109547632B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
JP6588637B2 (ja) 個別化されたエンティティ発音の学習
US9530415B2 (en) System and method of providing speech processing in user interface
CN102017585B (zh) 用于通知和电信管理的方法和系统
CN108536672A (zh) 智能机器人培训方法、装置、计算机设备及存储介质
GB2372864A (en) Spoken language interface
CN109547632A (zh) 辅助呼叫应答方法、用户终端装置和服务器
CN102263863A (zh) 交互式语音响应设计的过程集成的树视图控制
US20140028780A1 (en) Producing content to provide a conversational video experience
CN104144108B (zh) 一种消息响应方法、装置及系统
US20050080629A1 (en) Multi-mode interactive dialogue apparatus and method
KR20190031167A (ko) 전자 장치 및 이의 제어 방법
CN106340308A (zh) 语音答复方法及装置
CN107733722A (zh) 用于配置语音服务的方法和装置
CN1937002A (zh) 一种智能人机对话的系统及其实现方法
CN103026697B (zh) 业务服务器装置和业务提供方法
CN109902163B (zh) 一种智能应答方法、装置、设备及存储介质
CN1985503A (zh) 用于把ivr应用程序下载到设备、执行它并上传用户的响应的方法和系统
CN110491367A (zh) 智能电视的语音转换方法及设备
CN108874788A (zh) 语音翻译方法及装置
CN116030788B (zh) 一种智能语音交互方法及装置
CN110493461A (zh) 消息播放方法及装置、电子设备、存储介质
CN110047473A (zh) 一种人机协作交互方法及系统
CN109712622A (zh) 用于语音对话平台的语音交互异常处理的配置方法及系统
WO2013181633A1 (en) Providing a converstional video experience
CN111459836B (zh) 对话策略配置方法及对话系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant