CN110875878B - 提供“语音-消息”呼叫服务的系统和方法 - Google Patents

提供“语音-消息”呼叫服务的系统和方法 Download PDF

Info

Publication number
CN110875878B
CN110875878B CN201911159183.0A CN201911159183A CN110875878B CN 110875878 B CN110875878 B CN 110875878B CN 201911159183 A CN201911159183 A CN 201911159183A CN 110875878 B CN110875878 B CN 110875878B
Authority
CN
China
Prior art keywords
voice
call
text
user
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911159183.0A
Other languages
English (en)
Other versions
CN110875878A (zh
Inventor
金善爱
金泓澈
慎贤宰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from CN201510271220.2A external-priority patent/CN105100511B/zh
Publication of CN110875878A publication Critical patent/CN110875878A/zh
Application granted granted Critical
Publication of CN110875878B publication Critical patent/CN110875878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/56—Unified messaging, e.g. interactions between e-mail, instant messaging or converged IP messaging [CPM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/64—Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations
    • H04M1/65—Recording arrangements for recording a message from the calling party
    • H04M1/6505—Recording arrangements for recording a message from the calling party storing speech in digital form
    • H04M1/651—Recording arrangements for recording a message from the calling party storing speech in digital form with speech synthesis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42382—Text-based messaging services in telephone networks such as PSTN/ISDN, e.g. User-to-User Signalling or Short Message Service for fixed networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/53—Centralised arrangements for recording incoming messages, i.e. mailbox systems
    • H04M3/533—Voice mail systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M7/00—Arrangements for interconnection between switching centres
    • H04M7/0024—Services and arrangements where telephone services are combined with data services
    • H04M7/0042—Services and arrangements where telephone services are combined with data services where the data service is a text-based messaging service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • H04L51/066—Format adaptation, e.g. format conversion or compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/60—Medium conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2207/00—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place
    • H04M2207/18—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place wireless networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/60—Details of telephonic subscriber devices logging of communication history, e.g. outgoing or incoming calls, missed calls, messages or URLs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42391—Systems providing special services or facilities to subscribers where the subscribers are hearing-impaired persons, e.g. telephone devices for the deaf

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

提供一种提供“语音‑消息”呼叫服务的系统和方法。一种与外部移动装置执行呼叫的移动装置包括：控制单元，被配置为在移动装置与外部移动装置之间的呼叫期间获得从在移动装置与外部移动装置之间交换的语音数据转换的文本，并获得输入到移动装置的输入文本以及从外部移动装置接收到的提供的文本；显示单元，被配置为在移动装置与外部移动装置之间的呼叫期间，对所述转换的文本、所述输入的文本和所述提供的文本进行布置，并在移动装置的屏幕上显示布置后的所述转换的文本、所述输入的文本和所述提供的文本。

Description

提供“语音-消息”呼叫服务的系统和方法
本申请是申请日为2015年5月25日、申请号为201510271220.2、题为“提供“语音-消息”呼叫服务的系统和方法”的专利申请的分案申请。
本申请要求于2014年5月23日在韩国知识产权局提交的第10-2014-0062569号韩国专利申请以及在2015年5月21日在韩国知识产权局提交的第10-2015-0071231号韩国专利申请的优先权，这些申请的公开内容通过整体引用合并于此。
技术领域
示例性实施例的各方面涉及一种提供“语音-消息”呼叫服务的系统和方法，更具体地讲，涉及一种经由“语音-消息”呼叫服务来提供语音呼叫和文本服务的系统和方法。
背景技术
由于多媒体技术和网络技术的发展，用户可通过使用各种装置与另一用户进行通信。具体地，用户可通过使用语音呼叫服务和文本消息服务与另一用户进行对话。
然而，用户可通过使用装置与所述另一用户进行对话的环境(诸如嘈杂环境或汽车环境)会分别不适于语音呼叫或文本交换。
因此，存在针对以下技术的需求：该技术允许用户联合使用语音呼叫服务和文本交换服务，或有效地切换使用语音呼叫服务和文本交换服务。
发明内容
示例性实施例的各方面包括一种提供“语音-消息”呼叫服务的系统和方法，通过所述系统和方法，语音呼叫和文本服务可经由“语音-消息”呼叫服务被联合提供。
示例性实施例的各方面包括一种提供“语音-消息”呼叫服务的系统和方法，其中，所述系统和方法能够在“语音-消息”呼叫期间对指示用户之间的对话的文本之间进行区分。
示例性实施例的各方面包括一种提供“语音-消息”呼叫服务的系统和方法，其中，所述系统和方法能够在“语音-消息”呼叫期间向用户通知呼叫模式的改变。
另外的方面将部分地在随后的描述中被阐述，并且将部分地从所述描述变得清楚，或者可通过实施提供的实施例而被获知。
根据示例性实施例的一方面，提供一种与外部移动装置执行呼叫的移动装置，所述移动装置包括：控制单元，被配置为在移动装置与外部移动装置之间的呼叫期间，获得转换语音数据，并获得输入到移动装置的输入的文本以及从外部移动装置接收到的提供的文本，其中，所述转换语音数据在移动装置与外部移动装置之间交换并被转换为转换的文本；显示单元，用于在移动装置与外部移动装置之间的呼叫期间，对所述转换的文本、所述输入的文本和所述提供的文本进行布置，并在移动装置的屏幕上显示布置后的所述转换的文本、所述输入的文本和所述提供的文本。
根据示例性实施例的一方面，提供一种与外部移动装置执行呼叫的移动装置的方法，所述方法包括：在移动装置与外部移动装置之间的呼叫期间，获得转换语音数据，其中，所述转换语音数据在移动装置与外部移动装置之间交换并被转换为转换的文本；获得输入到移动装置的输入的文本；获得从外部移动装置接收到的提供的文本；在移动装置与外部移动装置之间的呼叫期间，对所述转换的文本、所述输入的文本和所述提供的文本进行布置，并在移动装置的屏幕上显示布置后的所述转换的文本、所述输入的文本和所述提供的文本。
根据示例性实施例的一方面，提供一种在第一移动装置与第二移动装置之间提供呼叫的系统，所述系统包括：服务器，包括通信单元和控制单元，其中，通信单元被配置为从第一移动装置接收第一用户的语音，控制单元被配置为将第一用户的语音转换为文本，其中，通信单元还被配置为将转换的文本发送到第二装置；第一移动装置，被配置为将第一用户的语音提供给服务器；第二移动装置，被配置为在呼叫期间将被发送到第二移动装置的转换的文本显示在第二移动装置的屏幕上所显示的聊天窗口中，其中，聊天窗口显示第一用户与第二用户之间的对话。
附图说明
从结合附图对示例性实施例进行的以下描述，以上和其它方面将变得清楚和更易于理解，其中：
图1示出根据示例性实施例的“语音-消息”呼叫服务；
图2是根据示例性实施例的显示从语音转换的文本和由用户输入的文本的方法的流程图，其中，该方法由第一装置在“语音-消息”呼叫期间执行；
图3A和图3B示出根据示例性实施例的“语音-消息”呼叫功能被激活的示例；
图4示出根据示例性实施例的在第一装置接收呼叫时第一装置的“语音-消息”呼叫功能被激活的示例；
图5示出根据示例性实施例的在语音呼叫期间第一装置的“语音-消息”呼叫功能被激活的示例；
图6是根据示例性实施例的与“语音-消息”呼叫功能未被激活的第二装置执行“语音-消息”呼叫的方法的流程图，其中，该方法由“语音-消息”呼叫功能被激活的第一装置执行；
图7是根据示例性实施例的以共同方式执行“语音-消息”呼叫的方法的流程图，其中，该方法由第一装置和第二装置执行；
图8是根据另一示例性实施例的以共同方式执行“语音-消息”呼叫的方法的流程图，其中，该方法由第一装置和第二装置执行；
图9是根据另一示例性实施例的以共同方式执行“语音-消息”呼叫的方法的流程图，其中，该方法由第一装置和第二装置执行；
图10是根据示例性实施例的在“语音-消息”呼叫期间显示聊天窗口的方法的流程图，其中，该方法由第一装置执行；
图11A和图11B示出根据示例性实施例的在“语音-消息”呼叫期间显示的聊天窗口的示例；
图12示出根据示例性实施例的第一装置和第二装置经由特定聊天应用来交换从语音转换的文本的示例；
图13是根据示例性实施例的确定将在“语音-消息”呼叫功能被激活时通过与语音呼叫进行交互操作而运行的聊天应用的方法的流程图，其中，该方法由第一装置执行；
图14是根据示例性实施例的确定将在“语音-消息”呼叫期间使用的聊天应用的方法的流程图，其中，该方法由第一装置执行；
图15是根据示例性实施例的安装将在“语音-消息”呼叫期间使用的聊天应用的方法的流程图，其中，该方法由第一装置执行；
图16A示出根据示例性实施例的在第一装置使用聊天服务的同时第一装置激活“语音-消息”呼叫功能的示例；
图16B示出根据示例性实施例的第一装置根据经由聊天应用的用户列表的屏幕进行的用户输入来发起“语音-消息”呼叫的示例；
图17是根据示例性实施例的在第一装置和第二装置使用聊天服务的同时执行“语音-消息”呼叫的方法的流程图，其中，该方法由第一装置和第二装置执行；
图18至图21示出根据示例性实施例的在“语音-消息”呼叫期间呼叫模式被改变的示例；
图22是根据示例性实施例的切换“语音-消息”呼叫的模式的方法的流程图，其中，该方法由第一装置执行；
图23是根据示例性实施例的在语音模式期间执行“语音-消息”呼叫的方法的流程图，其中，该方法由第一装置执行；
图24是根据示例性实施例的在文本模式期间执行“语音-消息”呼叫的方法的流程图，其中，该方法由第一装置执行；
图25是根据示例性实施例的识别第二装置的呼叫模式的方法的流程图，其中，该方法由第一装置执行；
图26是根据示例性实施例的执行“语音-消息”呼叫的方法的流程图，其中，该方法由在语音模式下进行操作的第一装置和在文本模式下进行操作的第二装置执行；
图27是根据示例性实施例的执行“语音-消息”呼叫的方法的流程图，其中，该方法由在语音模式下进行操作的第一装置和在文本模式下进行操作的第二装置执行；
图28是根据示例性实施例的执行“语音-消息”呼叫的方法的流程图，其中，该方法由在语音模式下进行操作的第一装置和在文本模式下进行操作的第二装置执行；
图29A、图29B和图29C示出根据示例性实施例的作为“语音-消息”呼叫的呼叫模式之一的组合模式的示例；
图30示出根据示例性实施例的执行“语音-消息”呼叫的第一装置的呼叫模式从语音模式切换到组合模式或从组合模式切换到语音模式的示例；
图31示出根据示例性实施例的执行“语音-消息”呼叫的第一装置的呼叫模式从文本模式切换到组合模式或从组合模式切换到文本模式的示例；
图32是根据示例性实施例的切换“语音-消息”呼叫的模式的方法的流程图，其中，该方法由第一装置执行；
图33是根据示例性实施例的在组合模式期间执行“语音-消息”呼叫的方法的流程图，其中，该方法由第一装置执行；
图34是根据示例性实施例的与第二装置执行“语音-消息”呼叫的方法的流程图，其中，该方法由在组合模式下进行操作的第一装置执行；
图35A是根据示例性实施例的向第一用户通知第二装置的呼叫模式的改变并向第一用户推荐改变呼叫模式的方法的流程图，其中，该方法由第一装置执行；
图35B是根据示例性实施例的在组合模式期间向第一用户通知第二装置的输入/输出功能的改变并向第一用户推荐改变呼叫模式的方法的流程图，其中，所述方法由第一装置执行；
图36示出根据示例性实施例的第一装置向第一用户推荐将呼叫模式从语音模式改变为文本模式的示例；
图37示出根据示例性实施例的第一装置向第一用户推荐将呼叫模式从文本模式改变为语音模式的示例；
图38是根据示例性实施例的产生与“语音-消息”呼叫相关的呼叫列表的方法的流程图，其中，所述方法由第一装置执行；
图39是根据示例性实施例的经由第一装置的呼叫列表来显示指示第一用户与第二用户之间的对话的文本的方法的流程图；
图40至图42示出根据示例性实施例的呼叫列表的示例；
图43示出根据示例性实施例的第一装置和第二装置经由服务器执行“语音-消息”呼叫的示例；
图44是根据示例性实施例的通过将第一用户和第二用户的语音转换为文本来支持第一装置与第二装置之间的“语音-消息”呼叫的方法的流程图，其中，该方法由服务器执行；
图45是根据示例性实施例的通过将第一用户和第二用户的文本转换为语音来支持第一装置与第二装置之间的“语音-消息”呼叫的方法的流程图，其中，该方法由服务器执行；
图46是根据示例性实施例的存储与第一装置与第二装置之间的“语音-消息”呼叫相关的语音数据和文本数据的方法的流程图，其中，该方法由服务器执行；
图47示出根据示例性实施例的第一装置、第二装置和第三装置彼此执行“语音-消息”呼叫的示例；
图48示出根据示例性实施例的第一装置、第二装置和第三装置经由服务器彼此执行“语音-消息”呼叫的示例；
图49和图50是根据示例性实施例的第一装置的框图；
图51是根据示例性实施例的服务器的框图。
具体实施方式
在下文中，将参照附图更充分地描述示例性实施例。然而，示例性实施例可以以许多不同的形式来实施，并且不应被解释为局限于在此阐述的示例性实施例；相反，提供这些实施例使得本公开将是彻底和完整的，并将充分地将示例性实施例的构思传达给本领域的普通技术人员。在以下描述中，将不会详细地描述已知功能或结构以免以不必要的细节模糊示例性实施例。此外，贯穿说明书，附图中的相同的参考标号表示相同的元件。
贯穿说明书，也应理解，当元件被称为“连接到”另一元件时，所述元件可直接连接到所述另一元件，或电连接到所述另一元件，同时也可能存在中间件。
贯穿说明书，“语音-消息”呼叫服务可指示联合提供语音呼叫服务和聊天(消息)服务的服务。用户可通过使用装置与另一装置的用户执行语音呼叫，并且也可在语音呼叫期间与所述另一装置的用户交换消息。例如，“语音-消息”呼叫服务的呼叫模式可包括从语音模式、文本模式和组合模式中选择的至少两个模式。
贯穿说明书，语音模式可指示这样的呼叫模式：在该呼叫模式期间，用户可与另一用户执行语音呼叫。
贯穿说明书，文本模式可指示这样的呼叫模式：在该呼叫模式期间，用户可经由文本消息的交换与另一用户进行通信。
贯穿说明书，组合模式可指示这样的呼叫模式：在该呼叫模式期间，用户可与另一用户执行语音呼叫，并可同时使用呼叫模式的单个呼叫连接(会话)与所述另一用户交换文本消息。
作为一个示例，在组合模式期间，用户可通过使用装置的免提电话功能与另一用户执行语音呼叫，并可同时通过经由相同的通信连接与所述另一用户交换文本消息来与所述另一用户进行通信。作为另一示例，在组合模式期间，用户可在不使用免提电话功能的情况下与另一用户执行语音呼叫，并可同时通过经由相同的通信连接与所述另一用户交换文本消息来与所述另一用户进行通信。
此外，各种技术可被用于在装置之间发送语音数据和文本数据。例如，可通过使用可在装置中使用的移动通信服务(用户是移动通信服务的成员)或无线技术(例如，WiFi或蓝牙)在装置之间发送和接收语音数据或文本数据。例如，当LTE或Wi-Fi通信技术被使用时，语音数据和文本数据两者可经由分组网络在装置之间被发送和接收。在此情况下，可通过使用VoLTE技术来发送语音数据。可选地，当WCDMA被使用时，语音数据可经由电路网络被发送，文本数据可经由分组网络被发送。语音数据和文本数据可经由单独的通信连接被发送。当分组网络被使用时，装置之间的通信连接可以是TCP/IP连接。当电路网络被使用时，装置之间的通信连接可以是呼叫连接。
如这里所使用的，术语“和/或”包括相关所列项中的一项或更多项的任意组合和全部组合。诸如“…中的至少一个”的表述在一列元件之后时，修饰整列元件，而不修饰列表中的单个元件。
在下文中，将参照附图更充分地描述示例性实施例。
图1示出根据示例性实施例的“语音-消息”呼叫服务。
参照图1，第一装置1000可与第二装置2000执行“语音-消息”呼叫。可发起“语音-消息”呼叫，作为支持语音服务和消息传送服务两者的单个通信连接或会话。第一装置1000和第二装置2000可彼此执行语音呼叫，并且在语音呼叫期间，第一装置1000可在第一装置1000的屏幕上显示指示用户之间的对话的文本。此外，在语音呼叫期间，第二装置2000也可在第二装置2000的屏幕上显示指示用户之间的对话的文本。例如，第一装置1000和第二装置2000可分别在第一装置1000和第二装置2000的屏幕上显示示出用户之间的对话的聊天窗口。聊天窗口可以是发送和接收消息的窗口。第一装置1000的第一用户和第二装置2000的第二用户可通过将消息输入到聊天窗口中而彼此进行通信。
因此，第一装置1000的用户和第二装置2000的用户可在“语音-消息”呼叫期间联合使用语音呼叫服务和聊天服务。在这一点上，可在“语音-消息”呼叫期间实现语音和消息传送之间的无缝切换。可选地，可在“语音-消息”呼叫期间同时执行语音和消息传送两者。
“语音-消息”呼叫可包括一个或更多个信道，其中，可通过所述一个或更多个信道发送语音数据和文本数据。例如，可通过语音信道发送语音数据并且可通过语音信道发送文本数据。可选地，数据信道也可被包括在“语音-消息”呼叫中以用于数据的传输。
第一装置1000和第二装置2000中的每一个可以是(但不限于)智能电话、平板个人计算机(PC)、PC、智能电视(TV)、移动电话、个人数字助理(PDA)、膝上型计算机、媒体播放器、微型服务器、全球定位系统(GPS)装置、电子书终端、用于数字广播的终端、导航装置、一体机、MP3播放器、数字相机、可穿戴设备和其它移动或非移动计算装置。此外，第一装置1000和第二装置2000中的每一个可包括可接收触摸输入的各种装置，诸如电子黑板、触摸桌面等。此外，第一装置1000和第二装置2000中的每一个可以是具有通信功能和数据处理功能的手表、眼镜、发带或戒指。
图2是根据示例性实施例的显示从语音转换的文本和用户输入的文本的方法流程图，其中，所述方法由第一装置1000在“语音-消息”呼叫期间执行。
在操作S200，第一装置1000可激活“语音-消息”呼叫功能。当第一装置1000向第二装置2000发送呼叫时，第一装置1000可激活“语音-消息”呼叫功能。可选地，当第一装置1000从第二装置2000接收到呼叫时，第一装置1000可激活“语音-消息”呼叫功能。可选地，当第一装置1000与第二装置2000执行呼叫时，第一装置1000可激活“语音-消息”呼叫功能。
此外，当“语音-消息”呼叫功能被激活时，第一装置1000可通知第二装置2000：在第一装置1000中“语音-消息”呼叫功能被激活。在这种情况下，第一装置1000可通知第二装置2000第一装置1000的“语音-消息”呼叫的呼叫模式。将在稍后描述“语音-消息”呼叫的呼叫模式。
此外，当“语音-消息”呼叫功能被激活时，可使用各种技术来发送语音数据和文本数据。例如，可通过使用用户是成员的移动通信服务或可在装置中使用的无线技术(例如，Wi-Fi或蓝牙)在第一装置1000和第二装置2000之间发送和接收语音数据或文本数据。例如，当使用LTE通信技术或Wi-Fi通信技术时，可经由分组网络在第一装置1000和第二装置2000之间发送和接收语音数据和文本数据两者。在这种情况下，可通过使用VoLTE技术发送语音数据。可选地，当使用WCDMA时，可经由电路网络发送语音数据并可经由分组网络发送文本数据。
可通过单独的通信连接发送语音数据和文本数据。当使用分组网络时，装置之间的通信连接可以是TCP/IP连接。当使用电路网络时，装置之间的通信连接可以是呼叫连接。
在操作S210，第一装置1000可获得从第一装置1000的用户的语音和第二装置2000的用户的语音转换的文本。第一装置1000可将第一装置1000的用户的语音转换为文本，从而可获得转换的文本。此外，第一装置1000可从第二装置2000接收第二装置2000的用户的语音，可将语音转换为文本，从而可获得转换的文本。然而，获得转换的文本的方法(所述方法由第一装置1000执行)不限于此。第一装置1000的用户的语音或第二装置2000的用户的语音可通过在第一装置1000和第二装置2000之间进行中间通信的各种装置或服务器被转换为文本，并且第一装置1000可从所述各种装置和服务器接收转换的文本。
在操作S220，第一装置1000可获得用户输入的文本。第一装置1000可在“语音-消息”呼叫期间获得由第一装置1000的用户输入的文本。此外，在“语音-消息”呼叫期间，第一装置1000可从第二装置2000接收被第二装置2000的用户输入到第二装置2000的文本。
在操作S230，第一装置1000可按时间顺序来顺序地布置转换的文本和输入的文本，并可在用户之间的呼叫期间在第一装置1000的屏幕上显示转换的文本和输入的文本。第一装置100可基于语音和文本的输入时间，按时间顺序来布置转换的文本和输入的文本。例如，基于第一装置1000的用户将语音输入到第一装置1000时的时间、第二装置2000的用户将语音输入到第二装置2000时的时间、第一装置1000的用户将文本输入到第一装置1000时的时间和第二装置2000的用户将文本输入到第二装置2000时的时间，第一装置1000可布置转换的文本和输入的文本。
图3A和图3B示出根据示例性实施例的“语音-消息”呼叫功能被激活的示例。
图3A示出根据示例性实施例的当第一装置1000发送呼叫时激活第一装置1000的“语音-消息”呼叫功能的示例。
参照图3A，第一装置1000的用户可输入第二装置2000的电话号码，然后可选择“‘语音-消息’呼叫”按钮30。因此，第一装置1000可激活“语音-消息”呼叫功能并可向第二装置2000发起呼叫。
图3B示出根据示例性实施例的基于选择显示在第一装置1000的屏幕上的电话薄中的按钮的用户输入来激活第一装置1000的“语音-消息”呼叫功能的示例。
参照图3B，第一装置1000可在第一装置1000的屏幕上显示电话薄，并且第一装置1000的用户可在第二装置2000的电话号码被显示的情况下选择包括在用户列表栏中的“语音-消息”呼叫按钮32，其中，用户列表包括在显示的电话薄中。因此，第一装置1000可激活“语音-消息”呼叫功能并可向第二装置2000发起呼叫。
图4示出根据示例性实施例的当第一装置1000接收呼叫时第一装置1000的“语音-消息”呼叫功能被激活的示例。
参照图4，当第一装置1000从第二装置2000接收到呼叫时，第一装置1000的用户可选择“‘语音-消息’呼叫”按钮40。因此，第一装置1000可激活“语音-消息”呼叫功能并可从第二装置2000接收呼叫。可选地，当第一装置1000发起“语音-消息”呼叫时，第二装置2000可自动接受“语音-消息”呼叫。
图5示出根据示例性实施例的在语音呼叫期间激活第一装置1000的“语音-消息”呼叫功能的示例。
参照图5，第一装置1000的用户可在与第二装置2000的用户进行语音呼叫期间选择“‘语音-消息’呼叫”按钮50。因此，第一装置1000可激活“语音-消息”呼叫功能并可与第二装置2000执行“语音-消息”呼叫。可选地，第二装置2000可在与第一装置1000的语音呼叫期间激活“语音-消息”呼叫功能。在这一点上，呼叫可被发起为语音呼叫，并且“语音-消息”呼叫可在语音呼叫期间被发起。
图6是根据示例性实施例的与“语音-消息”呼叫功能未被激活的第二装置2000执行“语音-消息”呼叫的方法，其中，所述方法由“语音-消息”呼叫功能被激活的第一装置1000执行。
参照图6，“语音-消息”呼叫功能被激活的第一装置1000可与第二装置2000执行“语音-消息”呼叫，“语音-消息”呼叫功能未被激活的第二装置2000可与第一装置1000执行语音呼叫。
在操作S600，第一装置1000与第二装置2000进行呼叫连接。第一装置1000可向第二装置2000发送对“呼叫-连接”的请求，或可从第二装置2000接收对“呼叫-连接”的请求，使得第一装置1000可与第二装置2000进行呼叫连接。
在操作S610，第一装置1000可激活“语音-消息”呼叫功能。第一装置1000可基于用户输入或自动地激活“语音-消息”呼叫功能。在操作S610，在第一装置1000与第二装置2000呼叫连接之后，第一装置1000激活“语音-消息”呼叫功能。然而，一个或更多个示例性实施例不限于此。例如，在第一装置1000发送呼叫或接收呼叫时，或者在第一装置1000执行呼叫的同时，第一装置1000可激活“语音-消息”呼叫功能。
在操作S620，第一装置1000可将第一装置1000的用户(在下文中，第一装置1000的用户被称为第一装置1000的第一用户)的语音发送到第二装置2000。第一装置1000可经由麦克风获得第一用户的语音，并可将获得的语音发送到第二装置2000。
在操作S630，第一装置1000可将第一用户的语音转换为文本。第一装置1000可通过使用各种语音转文本(STT)技术来将第一用户的语音转换为文本。
在操作S640，第一装置1000可从第二装置2000接收第二装置2000的用户(在下文中，第二装置2000的用户被称为第二装置2000的第二用户)的语音。在这种情况下，第二装置2000可通过使用第二装置2000中的麦克风来获得第二用户的语音，并可将获得的第二用户的语音发送到第一装置1000。
在操作S650，第一装置1000可将第二用户的语音转换为文本。第一装置1000可通过使用各种STT技术将第二用户的语音转换为文本。
在操作S660，第一装置1000可按时间顺序来布置转换的文本。例如，第一装置1000可根据以下时间来布置从第一用户的语音转换的文本和从第二用户的语音转换的文本：第一用户的语音被输入到第一装置1000时的时间和第二用户的语音被接收到时的时间。此外，例如，第一装置1000可根据以下时间来布置从第一用户的语音转换的文本和从第二用户的语音转换的文本：第一用户的语音被输入到第一装置1000时的时间和第二用户的语音被输入到第二装置2000时的时间。然而，一个或更多个示例性实施例不限于此。
在操作S670，第一装置1000可在第一装置1000的屏幕上显示包括布置的文本的聊天窗口。在第一装置1000执行“语音-消息”呼叫的同时，第一装置1000可在第一装置1000的屏幕上显示聊天窗口。此外，第一装置1000可依据“语音-消息”呼叫的呼叫模式，在第一装置1000的屏幕上显示聊天窗口或在第一装置1000的屏幕中隐藏聊天窗口。
图7是根据示例性实施例的以共同方式执行“语音-消息”呼叫的方法的流程图，其中，所述方法由第一装置1000和第二装置2000执行。在图7的实施例中，第一装置1000可将第一用户的语音和第二用户的语音转换为文本，第二装置2000可将第一用户的语音和第二用户的语音转换为文本。
在操作S700，第一装置1000和第二装置2000彼此进行呼叫连接。第一装置1000可通过将对于呼叫连接的请求发送到第二装置2000来与第二装置2000进行呼叫连接，或者通过从第二装置2000接收对于呼叫连接的请求来与第二装置2000进行呼叫连接。
在操作S705，第一装置1000可激活“语音-消息”呼叫功能。第一装置1000可基于用户输入来激活“语音-消息”呼叫功能。在操作S705，在第一装置与第二装置2000呼叫连接之后，第一装置1000激活“语音-消息”呼叫功能。然而，一个或更多个示例性实施例不限于此。例如，当第一装置1000发送呼叫或接收到呼叫时，或者在第一装置1000执行呼叫的同时，第一装置1000可激活“语音-消息”呼叫功能。
在操作S710，第二装置2000可激活“语音-消息”呼叫功能。第二装置2000可基于用户输入来激活“语音-消息”呼叫功能。在操作S710，在第二装置2000与第一装置1000呼叫连接之后，第二装置2000激活“语音-消息”呼叫功能。然而，一个或更多个示例性实施例不限于此。例如，当第二装置2000发送呼叫或接收到呼叫时，或者在第二装置2000执行呼叫的同时，第二装置2000可激活“语音-消息”呼叫功能。
在操作S715，第一装置1000可将第一用户的语音发送到第二装置2000。第一装置1000可经由第一装置1000中的麦克风获得第一用户的语音，并可将获得的语音发送到第二装置2000。
在操作S720，第一装置1000可将第一用户的语音转换为文本。第一装置1000可通过使用各种STT技术来将第一用户的语音转换为文本。
在操作S725，第二装置2000可将从第一装置1000接收的第一用户的语音转换为文本。第二装置2000可通过使用各种STT技术来将第一用户的语音转换为文本。
在操作S730，第二装置2000可将第二用户的语音发送到第一装置1000。第二装置2000可经由在第二装置2000中的麦克风获得第二用户的语音，并可将获得的语音发送到第一装置1000。
在操作S735，第一装置1000可将从第二装置2000接收的第二用户的语音转换为文本。第一装置1000可通过使用各种STT技术来将第二用户的语音转换为文本。
在操作S740，第二装置2000可将第二用户的语音转换为文本。第二装置2000可通过使用各种STT技术来将第二用户的语音转换为文本。
在操作S745，第一装置1000可按时间顺序布置转换的文本。例如，第一装置1000可根据第一用户的语音被输入到第一装置1000的时间和第二用户的语音被接收的时间，布置从第一用户的语音转换的文本和从第二用户的语音转换的文本。此外，例如，第一装置1000可根据第一用户的语音被输入到第一装置1000的时间和第二用户的语音被输入到第二装置2000的时间，顺序地布置从第一用户的语音转换的文本和从第二用户的语音转换的文本。然而，一个或更多个示例性实施例不限于此。
在操作S750，第二装置2000可按时间顺序布置转换的文本。例如，第二装置2000可根据第二用户的语音被输入到第二装置2000的时间和第一用户的语音被接收的时间，顺序地布置从第一用户的语音转换的文本和从第二用户的语音转换的文本。此外，例如，第二装置2000可根据第二用户的语音被输入到第二装置2000的时间和第一用户的语音被输入到第一装置1000的时间，布置从第一用户的语音转换的文本和从第二用户的语音转换的文本。然而，一个或更多个示例性实施例不限于此。
在操作S755，第一装置1000可在第一装置1000的屏幕上显示包括布置的文本的聊天窗口。在第一装置1000执行“语音-消息”呼叫的同时，第一装置1000可在第一装置1000的屏幕上显示聊天窗口。此外，第一装置1000可根据“语音-消息”呼叫的呼叫模式，可在第一装置1000的屏幕上显示聊天窗口或可在第一装置1000的屏幕中隐藏聊天窗口。
在操作S760，第二装置2000可在第二装置2000的屏幕上显示包括布置的文本的聊天窗口。在第二装置2000执行“语音-消息”呼叫的同时，第二装置2000可在第二装置2000的屏幕上显示聊天窗口。此外，第二装置2000可根据“语音-消息”呼叫的呼叫模式，可在第二装置2000的屏幕上显示聊天窗口或可在第二装置2000的屏幕中隐藏聊天窗口。
图8是根据另一示例性实施例的以共同方式执行“语音-消息”呼叫的方法的流程图，其中，所述方法由第一装置1000和第二装置2000执行。在图8的实施例中，第一装置1000可将第一用户的语音转换为文本，第二装置2000可将第二用户的语音转换为文本。
在操作S800，第一装置1000和第二装置2000彼此进行呼叫连接。
在操作S805，第一装置1000可激活“语音-消息”呼叫功能，在操作S810，第二装置2000可激活“语音-消息”呼叫功能。在图8的实施例中，在第一装置1000和第二装置2000彼此进行呼叫连接之后，第一装置1000和第二装置2000分别激活“语音-消息”呼叫功能，但一个或更多个示例性实施例不限于此，如装置1000和2000可自动发起“语音-消息”呼叫功能。
在操作S815，第一装置1000可将第一用户的语音发送到第二装置2000。第一装置1000可经由在第一装置1000中的麦克风获得第一用户的语音，并可将获得的语音发送到第二装置2000。
在操作S820，第一装置1000可将第一用户的语音转换为文本。第一装置1000可通过使用各种STT技术来将第一用户的语音转换为文本。
在操作S825，第一装置1000可将第一用户的文本发送到第二装置2000。
在操作S830，第二装置2000可将第二用户的语音发送到第一装置1000。第二装置2000可经由第二装置2000中的麦克风来获得第二用户的语音，并可将获得的语音发送到第一装置1000。
在操作S835，第二装置2000可将第二用户的语音转换为文本。第二装置2000可通过使用各种STT技术将第二用户的语音转换为文本。
在操作S840，第二装置2000可将第二用户的文本发送到第一装置1000。
在操作S845，第一装置1000可按时间顺序布置转换的文本和接收的文本。例如，第一装置1000可按时间顺序布置由第一装置1000从第一用户的语音转换的文本和从第二装置2000接收的第二用户的文本。
在操作S850，第一装置1000可在第一装置1000的屏幕上显示包括布置的文本的聊天窗口。在第一装置1000执行“语音-消息”呼叫的同时，第一装置1000可在第一装置1000的屏幕上显示聊天窗口。
在操作S855，第二装置2000可按时间顺序布置转换的文本和接收的文本。例如，第二装置2000可按时间顺序布置由第二装置2000从第二用户的语音转换的文本和从第一装置1000接收的第一用户的文本。
在操作S860，第二装置2000可在第二装置2000的屏幕上显示包括布置的文本的聊天窗口。在第二装置2000执行“语音-消息”呼叫的同时，第二装置2000可在第二装置2000的屏幕上显示聊天窗口。
图9是根据另一示例性实施例的按共同方式执行“语音-消息”呼叫的方法的流程图，其中，所述方法由第一装置1000和第二装置2000执行。在图9的实施例中，第一装置1000可将第一用户的语音和第二用户的语音转换为文本。
图9的操作S900至操作S930与图8的操作S800至操作S830相应，因此，这里省略对其的详细描述。
在操作S935，第一装置1000可将第二用户的语音转换为文本。第一装置1000可通过使用各种STT技术来将第二用户的语音转换为文本。
在操作S940，第一装置1000可将第二用户的文本发送到第二装置2000。
在操作S945，第一装置1000可按时间顺序布置转换的文本。例如，第一装置1000可按时间顺序布置由第一装置1000从第一用户的语音转换的文本和由第一装置1000从第二用户的语音转换的文本。
在操作S950，第一装置1000可在第一装置1000的屏幕上显示包括布置的文本的聊天窗口。在第一装置1000执行“语音-消息”呼叫的同时，第一装置1000可在第一装置1000的屏幕上显示聊天窗口。
在操作S955，第二装置2000可按时间顺序布置转换的文本。第二装置2000可按时间顺序布置从第一装置1000接收的第一用户的文本和第二用户的文本。
在操作S960，第二装置2000可在第二装置2000的屏幕上显示包括布置的文本的聊天窗口。在第二装置2000执行“语音-消息”呼叫的同时，第二装置2000可在第二装置2000的屏幕上显示聊天窗口。
图10是根据示例性实施例的在“语音-消息”呼叫期间显示聊天窗口的流程图，其中，该方法由第一装置1000执行。
在操作S1000，第一装置1000可激活“语音-消息”呼叫功能。当第一装置1000向第二装置2000发起呼叫时，第一装置1000可激活“语音-消息”呼叫功能。可选地，当第一装置1000从第二装置2000接收到呼叫时，第一装置1000可激活“语音-消息”呼叫功能。可选地，在第一装置1000与第二装置2000执行呼叫的同时，第一装置1000可激活“语音-消息”呼叫功能。
在操作S1010，第一装置1000可获得从第一用户的语音和第二用户的语音转换的文本。第一装置1000可将第一装置1000的用户的语音转换为文本并因此可获得转换的文本。此外，第一装置1000可从第二装置2000接收第二装置2000的用户的语音，可将接收的语音转换为文本，并因此可获得转换的文本。然而，由第一装置1000执行的获得转换的文本的方法不限于此。第一装置1000的用户的语音和第二装置2000的用户的语音可通过各种装置或服务器被转换为文本，并且第一装置1000可从各种装置和服务器接收转换的文本。例如，文本可从装置2000或服务器被接收到，其中，服务器可在第一装置1000与第二装置2000之间进行中间通信会话。
在操作S1020，第一装置可对转换的文本的原始语音数据进行备份。第一装置1000可对与从第一用户的语音转换的文本相应的第一用户的语音数据进行备份。此外，第一装置1000可对与从第二用户的语音转换的文本相应的第二用户的语音数据进行备份。
在操作S1030，第一装置1000可在第一用户和第二用户之间的呼叫期间在第一装置1000的屏幕上显示聊天窗口。第一装置1000可在第一装置1000的屏幕上显示聊天窗口以显示第一用户和第二用户之间的对话的内容。
在操作S1040，第一装置1000可经由聊天窗口获得由第一用户输入的文本。此外，第一装置1000可从第二装置2000接收在“语音-消息”呼叫期间第二用户输入的第二装置2000的文本。
在操作S1050，第一装置1000可按时间顺序布置转换的文本和输入的文本，并可将它们显示在聊天窗口中。第一装置1000可基于语音和文本的输入时间，按时间顺序布置转换的文本和输入的文本。例如，第一装置1000可基于第一用户将语音输入到第一装置1000的时间、第二用户将语音输入到第二装置2000的时间、第一用户将文本输入到第一装置1000的时间和第二用户将文本输入到第二装置2000的时间，布置转换的文本和输入的文本。
在操作S1060，第一装置1000可在转换的文本和输入的文本之间进行区分，并可显示它们。第一装置1000可将从第一用户的语音转换的文本和从第二用户的语音转换的文本与由第一用户输入的文本和由第二用户输入的文本进行区分，并可显示它们。在这点上，用户可对由用户输入的文本与由用户输入的被转换为文本形式并被显示的语音进行区分。
为了区分地显示转换的文本，第一装置1000可在转换的文本周围显示单独的图标。可选地，第一装置1000可区分地显示转换的文本的颜色、粗细或字体。然而，一个或更多个示例性实施例不限于此。
在操作S1070，当转换的文本之中的至少一个转换的文本被选择时，第一装置1000可输出选择的转换的文本的原始语音数据。当第一用户在聊天窗口中选择转换的文本时，第一装置1000可从存储器提取选择的转换的文本的原始语音数据，并可经由第一装置1000中的扬声器输出提取的原始语音数据。
在操作S1080，第一装置1000可对布置的文本之中的文本(其中，在预定事件发生之前的预设时间段内获得所述文本)进行备份。例如，预定事件可包括第一装置1000和第二装置2000之间的呼叫的结束、针对文本备份的用户输入的接收等。作为一个示例，当第一装置1000和第二装置2000之间的呼叫结束时，第一装置可对由第一装置1000在呼叫结束之前五分钟内获得的文本进行备份。作为另一个示例，当第一装置1000接收到针对文本备份的用户输入时，第一装置1000可对由第一装置1000在用户输入被接收到之前三分钟内获得的文本进行备份。然而，针对文本备份的设置的事件的类型和时间值不限于此。
第一装置1000可将所有的布置的文本备份到服务器3000中。在这种情况下，第一装置1000可将布置的文本中的一部分备份到第一装置1000中，并将所有的布置的文本备份到服务器3000中。可选地，第一装置1000可将布置的文本中的一部分和所有的布置的文本备份到服务器3000中。
参照图10，第一装置1000对布置的文本之中的文本(其中，在预定事件发生之前的预设时间段内获得所述文本)进行备份，但一个或更多个示例性实施例不限于此。第一装置1000可通过对所有的布置的文本执行各种基于自然语言的分析方法来分析用户之间的对话，并可从布置的文本之中提取指示用户之间的对话的重要内容的一部分。此外，第一装置1000可将指示提取出的那部分对话的文本备份到第一装置1000中。
图11A和图11B示出根据示例性实施例的在“语音-消息”呼叫期间显示的聊天窗口的示例。
图11A指示根据示例性实施例的从语音转换的文本被区分地显示在“语音-消息”呼叫期间显示的聊天窗口中的示例。
参照图11A，在“语音-消息”呼叫期间，聊天窗口可被显示在第一装置1000的屏幕上，并且，作为从用户的语音转换的文本的“那好吧”和“你在去什么？”可被显示在聊天窗口中。此外，为了指示“你在去什么？”是从语音转换的文本，第一装置1000可在“你在去什么？”周围显示图标110。
当第一用户触摸“你在去什么？”时，第一装置1000可经由第一装置1000的扬声器输出与触摸的文本“你在去什么？”相应的原始语音数据。第一装置1000可输出发出“你在去什么？”的用户的语音。就此而言，用户的原始语音可由第一装置1000、第二装置2000或在所述装置之间进行中间(mediate)连接的服务器进行缓存。相应地，缓存的声音可在请求时被重放。
相应地，尽管从用户的语音转换的文本中存在错字“去”，但用户可听到转换而来的文本的原始语音数据，因此可进而正确识别用户对话的内容。
此外，第一装置1000可指示与从语音转换的文本相关的转换可靠性水平。例如，当“那好吧”的可靠性高于“你在去什么？”的可靠性时，文字“那好吧”的大小和粗细可大于文字“你在去什么？”的大小和粗细。然而，一个或更多个示例性实施例不限于此，因此，可区分地显示文字“那好吧”的颜色和字体。此外，可将指示可靠性的值的特定对象显示在转换的文本周围。
图11B指示根据示例性实施例的从语音转换的文本以词语为单位被区分地显示在“语音-消息”呼叫期间显示的聊天窗口中的示例。
参照图18，第一装置1000可以词语为单位区分地显示作为从语音转换的文本的“你在去什么？”的可靠性。例如，当在文本“你在去什么？”中“什么”和“你”的可靠性高于“在”和“去”的可靠性时，可将文字“什么”和“你”的大小和粗细显示得大于文字“在”和“去”的大小和粗细。然而，一个或更多个示例性实施例不限于此，因此，可区分地显示文字“什么”和“你”的颜色和字体。
此外，当第一用户触摸“你在去什么？”中的“什么”时，第一装置1000可经由第一装置1000的扬声器输出与被触摸的词语“什么”相应的原始语音数据。第一装置1000可输出发出词语“什么”的用户的语音。相应地，用户可选择性地请求重放与部分文本消息相应的语音。
图12示出根据示例性实施例的第一装置1000和第二装置2000经由特定聊天应用来交换从语音转换的文本的示例。
参照图12，可在第一装置1000中运行聊天应用120，并且，可在第二装置2000中运行聊天应用122。聊天应用120和聊天应用122可以是相同的应用，或者可彼此兼容。
此外，第一装置1000可将由第一装置1000获得的从语音转换的文本输入聊天应用120，并可经由聊天应用120将输入的文本发送到第二装置2000的聊天应用122。
此外，第二装置2000可将由第二装置2000获得的从语音转换的文本输入聊天应用122，并可经由聊天应用122将输入的文本发送到第一装置1000的聊天应用120。
图13是根据示例性实施例的确定将在“语音-消息”呼叫功能被激活时通过与语音呼叫进行交互操作而运行的聊天应用的方法的流程图，其中，该方法由第一装置1000执行。
在操作S1300，第一装置1000可激活“语音-消息”呼叫功能。当第一装置1000将发起呼叫的请求发送到第二装置2000时，第一装置1000可激活“语音-消息”呼叫功能。可选地，当第一装置1000从第二装置2000接收到呼叫时，第一装置1000可激活“语音-消息”呼叫功能。可选地，在第一装置1000与第二装置2000执行呼叫的同时，第一装置1000可激活“语音-消息”呼叫功能。
在操作S1310，第一装置1000可确定聊天应用。第一装置1000可确定将在“语音-消息”呼叫期间使用的聊天应用。作为一个示例，第一装置1000可将能够通过与第一装置1000的“语音-消息”呼叫功能进行交互操作而运行的聊天应用确定为将在“语音-消息”呼叫期间使用的聊天应用。作为另一个示例，第一装置1000可将安装在第一装置1000和第二装置2000两者之中的聊天应用确定为将在“语音-消息”呼叫期间使用的聊天应用。然而，一个或更多个示例性实施例不限于此。可选地，如下面所讨论的那样，当呼叫被发起或者呼叫请求被接收到时，用户可从一个或更多个聊天应用之中选择将被运行的聊天应用。
在操作S1320，第一装置1000可运行确定的聊天应用，并且，在操作S1325，第一装置1000可将从语音转换的文本输入运行的聊天应用。例如，第一装置1000可在运行的聊天应用中安装用于文本自动输入的插件，并可经由安装的插件将从语音转换的文本输入聊天应用。然而，一个或更多个示例性实施例不限于此。
在操作S1330，在用户之间的呼叫期间，第一装置1000可在第一装置1000的屏幕上显示聊天窗口。用户装置1000可在聊天窗口中布置从第一用户的语音转换的文本、由第一用户输入到第一装置1000的文本、从第二用户的语音转换的文本、由第二用户输入到第二装置2000的文本。
此外，根据“语音-消息”呼叫的呼叫模式，第一装置1000可将聊天窗口显示在第一装置1000的屏幕上，或可隐藏第一装置1000的屏幕中的聊天窗口。
图14是根据示例性实施例的确定将在“语音-消息”呼叫期间使用的聊天应用的方法的流程图，其中，该方法由第一装置1000执行。
在操作S1400，第一装置1000可向第二装置2000请求安装在第二装置2000中的聊天应用的列表，并且，在操作S1410，第二装置2000可向第一装置1000提供安装在第二装置2000中的聊天应用的列表。
在操作S1420，第一装置1000可在安装在第一装置1000中的聊天应用之中选择聊天应用，其中，所述聊天应用与从第二装置2000接收到的列表中的聊天应用之中的聊天应用兼容。
作为一个示例，与聊天应用“A”兼容的聊天应用可以是与聊天应用“A”相同的聊天应用。此外，作为另一示例，与聊天应用“A”兼容的聊天应用可以是与聊天应用“A”不同但能够与聊天应用“A”交换消息的聊天应用。
参照图14，第一装置1000向第二装置2000请求聊天应用的列表，并因此从第二装置2000接收到聊天应用的列表，但是一个或更多个示例性实施例不限于此。当第一装置1000和第二装置2000为了进行“语音-消息”呼叫而被连接时，第一装置1000可从第二装置2000接收聊天应用的列表，而无需单独进行请求。
图15是根据示例性实施例的安装将在“语音-消息”呼叫期间使用的聊天应用的方法的流程图，其中，该方法由第一装置1000执行。
在操作S1500，第一装置1000可向第二装置2000请求安装在第二装置2000中的聊天应用的列表，并且，在操作S1510，第二装置2000可向第一装置1000提供安装在第二装置2000中的聊天应用的列表。
在操作S1520，第一装置1000可安装与从第二装置2000接收到的聊天应用的列表中所包括的聊天应用兼容的聊天应用。第一装置1000可选择与从第二装置2000接收到的聊天应用的列表中所包括的聊天应用兼容的聊天应用，并可从预定服务器或第二装置2000下载所选择的聊天应用。此外，第一装置1000可在第一装置1000中安装所下载的聊天应用。
参照图15，第一装置1000向第二装置2000请求聊天应用的列表，并因此从第二装置2000接收到聊天应用的列表，但是一个或更多个示例性实施例不限于此。当第一装置1000和第二装置2000为了进行“语音-消息”呼叫而被连接时，第一装置1000可从第二装置2000接收聊天应用的列表，而无需单独进行请求。
图16A示出根据示例性实施例的在第一装置1000使用聊天服务的同时第一装置1000激活“语音-消息”呼叫功能的示例。
参照图16A，第一装置1000可运行聊天应用，并可使用预定聊天服务。此外，当第一用户选择显示在聊天应用的运行屏幕上的按钮160时，第一装置1000可激活“语音-消息”呼叫功能。
图16B示出根据示例性实施例的第一装置1000根据经由聊天应用的用户列表的屏幕进行的用户输入来发起“语音-消息”呼叫的示例。
参照图16B，第一装置1000可运行聊天应用，并可显示聊天应用的用户列表。此外，第一装置1000可接收选择用于与用户列表中的“John”进行语音呼叫的按钮165的用户输入。相应地，第一装置1000可发起与John的装置的“语音-消息”呼叫。
图17是根据示例性实施例的在第一装置1000和第二装置2000使用聊天服务的同时执行“语音-消息”呼叫的方法的流程图，其中，该方法由第一装置1000和第二装置2000执行。
在操作S1700，第一装置1000和第二装置2000彼此连接以进行针对聊天服务的通信。此外，在操作S1710，第一装置1000可在第一装置1000的屏幕上显示聊天窗口，并且，在操作S1720，第二装置2000可在第二装置2000的屏幕上显示聊天窗口。此后，第一装置1000和第二装置2000可交换消息。
在操作S1730，第一装置1000可激活“语音-消息”呼叫功能，并且，在操作S1740，第二装置2000可激活“语音-消息”呼叫功能。
此外，在操作S1750，第一装置1000和第二装置2000可彼此执行“语音-消息”呼叫。
图18至图21示出根据示例性实施例的在“语音-消息”呼叫期间呼叫模式被改变的示例。
“语音-消息”呼叫的呼叫模式可包括语音模式和文本模式。语音模式可指示这样的模式：在该模式期间，用户可与另一用户执行语音呼叫；并且，文本模式可指示这样的模式：在该模式期间，用户可经由交换文本消息与另一用户进行通信。
图18示出根据示例性实施例的第一装置1000在“语音-消息”呼叫期间将呼叫模式从语音模式自动切换到文本模式的示例。
参照图18，当第一装置1000邻近用户的面部时，第一装置1000可禁用第一装置1000的屏幕，并可在语音模式下进行操作。此后，当第一装置1000远离用户的面部时，第一装置1000可将呼叫模式从语音模式切换到文本模式，并可在第一装置1000的屏幕上显示聊天窗口。第一装置1000可自动检测第一装置的方位和位置，并在必要时在语音模式与文本模式之间进行切换。
图19示出根据示例性实施例的第一装置1000在“语音-消息”呼叫期间将呼叫模式从文本模式自动切换到语音模式的示例。
参照图19，当第一装置1000远离用户的面部时，第一装置1000可在第一装置1000的屏幕上显示聊天窗口，并可在文本模式下进行操作。此外，当第一装置1000接近用户的面部时，第一装置1000可将呼叫模式从文本模式切换到语音模式，并可禁用第一装置1000的屏幕。第一装置可再次检测第一装置的方位和位置，并在必要时在语音模式与文本模式之间进行切换。
图20示出根据示例性实施例的第一装置1000在“语音-消息”呼叫期间将呼叫模式从语音模式手动切换到文本模式的示例。
参照图20，在第一装置1000在语音模式下进行操作的同时，当第一用户选择显示在第一装置1000的屏幕上的按钮200时，第一装置1000可将呼叫模式从语音模式切换到文本模式，并可在第一装置1000的屏幕上显示聊天窗口。
图21示出根据示例性实施例的第一装置1000在“语音-消息”呼叫期间将呼叫模式从文本模式手动切换到语音模式的示例。
参照图21，在第一装置1000在文本模式下进行操作的同时，当第一用户选择显示在第一装置1000的屏幕上的按钮210时，第一装置1000可将呼叫模式从文本模式切换到语音模式，并可禁用第一装置1000的屏幕。
图22是根据示例性实施例的切换“语音-消息”呼叫的模式的方法的流程图，其中，该方法由第一装置1000执行。
在操作S2200，第一装置1000可确定“语音-消息”呼叫的呼叫模式是否为语音模式。作为一个示例，第一装置1000可通过使用第一装置1000中的接近传感器来确定第一装置1000是否邻近第一用户的面部，并可因此确定呼叫模式是否为语音模式。作为另一示例，第一装置1000可确定用于切换到语音模式的按钮是否被第一用户选择，并可因此确定呼叫模式是否为语音模式。
作为操作S2200中的确定结果，当第一装置1000确定呼叫模式为语音模式时，在操作S2210，第一装置1000可激活扬声器和麦克风。相应地，第一装置1000可经由激活的麦克风获得第一用户的语音，并可经由激活的扬声器输出第二用户的语音。
在操作S2220，第一装置1000隐藏第一装置1000的屏幕中的聊天窗口。例如，第一装置1000可通过禁用第一装置1000的屏幕来隐藏第一装置1000的屏幕中的聊天窗口。尽管屏幕被禁用，但是第一装置1000仍可缓存语音对话的文本等同语，以防语音模式被切换到文本模式。文本等同语可被缓存在第一装置1000、第二装置2000或服务器。
作为操作S2200中的确定结果，如果呼叫模式不是语音模式，则在操作S2230，第一装置1000可确定“语音-消息”呼叫的呼叫模式是否为文本模式。作为一个示例，第一装置1000可通过使用第一装置1000中的接近传感器来确定第一装置1000是否远离第一用户的面部，并可因此确定呼叫模式是否为文本模式。作为另一示例，第一装置1000可确定用于切换到文本模式的按钮是否被第一用户选择，并可因此确定呼叫模式是否为文本模式。
作为操作S2230中的确定结果，当第一装置1000确定呼叫模式是文本模式时，在操作S2240，第一装置1000可禁用扬声器和麦克风。
在操作S2250，第一装置1000可在第一装置1000的屏幕上显示聊天窗口。此外，第一装置1000可在聊天窗口中显示由第一用户经由聊天窗口输入的文本。此外，第一装置1000可在聊天窗口中显示从第二用户的语音转换的文本和由第二用户输入到第二装置2000的文本。
在操作S2260，第一装置1000可确定呼叫模式是否被切换。在操作S2260，如果第一装置1000确定呼叫模式被切换，则第一装置可执行操作S2200。
图23是根据示例性实施例的由第一装置1000执行的在语音模式期间执行“语音-消息”呼叫的方法的流程图。
在操作S2300，第一装置1000可确定第一装置1000是否邻近第一用户的面部。第一装置1000可通过使用包括在第一装置1000中的接近传感器来确定第一装置1000是否邻近第一用户的面部。
在操作S2310，第一装置1000可激活扬声器和麦克风。第一装置1000可确定“语音-消息”呼叫的呼叫模式为语音模式，因而可激活第一装置1000中的扬声器和麦克风。因此，第一装置1000可经由麦克风接收第一用户的语音的输入，并可经由扬声器输出第二用户的语音。
在操作S2320，第一装置1000可将从第一用户输入的语音转换为文本。第一装置1000可通过使用各种STT技术将第一用户的语音转换为文本。
在操作S2330，第一装置1000隐藏第一装置1000的屏幕中的聊天窗口。第一装置1000可通过禁用第一装置1000的屏幕来隐藏第一装置1000的屏幕中的聊天窗口。
在操作S2340，第一装置1000可识别第二装置2000的呼叫模式。第二装置2000可将指示第二装置2000的呼叫模式的信息发送到第一装置1000，并且第一装置1000可基于从第二装置2000接收到的指示呼叫模式的信息来识别第二装置2000的呼叫模式。
在操作S2350，第一装置1000可选择性地将由第一用户输入的语音和从由第一用户输入的语音转换的文本中的至少一个发送到第二装置2000。作为一个示例，当第二装置2000的呼叫模式为语音模式时，第一装置1000可将由第一用户输入的语音发送到第二装置2000。作为另一示例，当第二装置2000的呼叫模式为文本模式时，第一装置1000可将从由第一用户输入的语音转换的文本发送到第二装置2000。然而，一个或更多个示例性实施例不限于此。
图24是根据示例性实施例的由第一装置1000执行的在文本模式期间执行“语音-消息”呼叫的方法的流程图。
在操作S2400，第一装置1000可确定第一装置1000是否远离第一用户的面部。第一装置1000可通过使用包括在第一装置1000中的接近传感器来确定第一装置1000是否远离第一用户的面部。
在操作S2410，第一装置1000可禁用扬声器和麦克风。第一装置1000可确定“语音-消息”呼叫的呼叫模式为文本模式，因此可禁用扬声器和麦克风。
在操作S2420，第一装置1000可将聊天窗口显示在第一装置1000的屏幕上。第一装置1000可将显示第一用户与第二用户之间的对话的聊天窗口显示在第一装置1000的屏幕上。
在操作S2430，第一装置1000可将由第一用户输入的文本转换为语音。第一装置1000可通过使用各种文本到语音(TTS)技术将第一用户的文本转换为语音。在这种情况下，第一装置1000可考虑第一用户的性别、年龄等来确定转换的第一用户的语音的音调。
在操作S2440，第一装置1000可识别第二装置2000的呼叫模式。第二装置2000可将指示第二装置2000的呼叫模式的信息发送到第一装置1000，并且第一装置1000可基于从第二装置2000接收到的指示呼叫模式的信息来识别第二装置2000的呼叫模式。
在操作S2450，第一装置1000可选择性地将由第一用户输入的文本和从由第一用户输入的文本转换的语音中的至少一个发送到第二装置2000。作为一个示例，当第二装置2000的呼叫模式为语音模式时，第一装置1000可将从由第一用户输入的文本转换的语音发送到第二装置2000。作为另一示例，当第二装置2000的呼叫模式为文本模式时，第一装置1000可将由第一用户输入的文本发送到第二装置2000。然而，一个或更多个示例性实施例不限于此。
图25是根据示例性实施例的由第一装置1000执行的识别第二装置2000的呼叫模式的方法的流程图。
在操作S2500，第一装置1000可向第二装置2000请求第二装置2000的呼叫模式。第一装置1000可周期性地向第二装置2000请求第二装置2000的呼叫模式，但是一个或更多个示例性实施例不限于此。可选地，第一装置1000可在呼叫的发起时自动地向第二装置2000请求呼叫模式。
另外，在操作S2510，第二装置2000可识别其呼叫模式，并且在操作S2520，第二装置2000可将关于第二装置2000的呼叫模式的信息发送到第一装置1000。
参照图25，响应于第一装置1000的请求，第二装置2000发送关于第二装置2000的呼叫模式的信息，但是一个或更多个示例性实施例不限于此。例如，虽然第二装置2000没有接收到来自第一装置1000的请求，但是当第二装置2000的呼叫模式被改变时，第二装置2000可将关于改变后的第二装置2000的呼叫模式的信息发送到第一装置1000。
在操作S2530，第一装置1000可识别第二装置2000的呼叫模式。第一装置1000可基于从第二装置2000接收到的关于第二装置2000的呼叫模式的信息，识别第二装置2000的呼叫模式是语音模式还是文本模式。
在操作S2540，第一装置1000可选择性地将第一用户的语音或第一用户的文本发送到第二装置2000。作为一个示例，当第二装置2000的呼叫模式为语音模式时，第一装置1000可将第一用户的语音发送到第二装置2000。作为另一示例，当第二装置2000的呼叫模式为文本模式时，第一装置1000可将第一用户的文本发送到第二装置2000。
图26是根据示例性实施例的执行“语音-消息”呼叫的方法的流程图，其中，所述方法由在语音模式下进行操作的第一装置1000和在文本模式下进行操作的第二装置2000执行。在图26的实施例中，第一装置1000可将第一用户的语音转换为文本，第二装置2000可将第二用户的文本转换为语音。
在操作S2600，第一装置1000和第二装置2000彼此呼叫-连接。第一装置1000可将对于“呼叫-连接”的请求发送到第二装置2000，或者可从第二装置2000接收对于“呼叫-连接”的请求，从而第一装置1000可与第二装置2000呼叫-连接。
在操作S2605，第一装置1000可激活“语音-消息”呼叫功能。第一装置1000可基于用户输入来激活语音-消息呼叫功能。在操作S2605，第一装置1000在第一装置1000与第二装置2000呼叫-连接之后激活“语音-消息”呼叫功能。然而，一个或更多个示例性实施例不限于此。例如，第一装置1000可在第一装置1000发送呼叫或接收呼叫时激活“语音-消息”呼叫功能，或者在第一装置1000执行呼叫期间激活“语音-消息”呼叫功能。
在操作S2610，第二装置2000可激活“语音-消息”呼叫功能。第二装置2000可基于用户输入来激活“语音-消息”呼叫功能。在操作S2610，第二装置2000在第二装置2000与第一装置1000呼叫-连接之后激活“语音-消息”呼叫功能。然而，一个或更多个示例性实施例不限于此。例如，第二装置2000可在第二装置2000发送呼叫或接收呼叫时激活“语音-消息”呼叫功能，或者在第二装置2000执行呼叫期间激活“语音-消息”呼叫功能。
在操作S2615，第一装置1000可在语音模式下进行操作。当第一装置1000接近第一用户的面部或接收到允许第一装置1000在语音模式下进行操作的用户输入时，第一装置1000可在语音模式下进行操作。
在操作2620，第一装置1000可激活第一装置1000中的麦克风和扬声器，并可隐藏第一装置1000的屏幕中的用于显示第一用户与第二用户之间的对话的聊天窗口。
在操作S2625，第二装置2000可在文本模式下进行操作。当第二模式2000远离第二用户的面部或接收到允许第二装置2000在文本模式下进行操作的用户输入时，第二装置2000可在文本模式下进行操作。
在操作S2630，第二装置2000可禁用第二装置2000中的扬声器和麦克风，并可在第二装置2000的屏幕上显示用于显示第一用户与第二用户之间的对话的聊天窗口。
在操作S2635，第一装置1000可接收第一用户的语音的输入，并且在操作S2640，第一装置1000可将第一用户的语音转换为文本。
在操作S2645，第一装置1000可将从第一用户的语音转换的文本发送到第二装置2000。第一装置1000可识别出第二装置2000在文本模式下进行操作，并可将从第一用户的语音转换的文本发送到第二装置2000。
在操作S2650，第二装置2000可将用于显示第一用户与第二用户之间的对话的聊天窗口显示在第二装置2000的屏幕上，并且在操作S2655，第二装置2000可接收由第二用户经由聊天窗口输入的文本。另外，第二装置2000可按照时间顺序布置从第一装置1000接收到的文本和输入到第二装置2000的文本，并可将文本显示在聊天窗口中。
在操作S2660，第二装置2000可使用文本到语音(TTS)将第二用户的文本转换为语音。第二装置2000可考虑第二用户的年龄和性别确定从第二用户的文本转换的语音的音调。
在操作S2665，第二装置2000可将从第二用户的文本转换的语音以及第二用户的文本发送到第一装置1000。
在操作S2670，第一装置1000可经由第一装置1000的扬声器输出从第二用户的文本转换的语音。
图27是根据示例性实施例的执行“语音-消息”呼叫的方法的流程图，其中，所述方法由在语音模式下进行操作的第一装置1000和在文本模式下进行操作的第二装置2000执行。在图27的实施例中，第一装置1000可将第一用户的语音转换为文本，并可将第二用户的文本转换为语音。因此，第一用户可在语音模式下进行操作，而第二用户可在文本模式下进行操作。
因为图27的操作S2700到S2755与图26的操作S2600到S2655相应，因此这里省略了关于操作S2700到S2755的描述。
在操作S2760，第二装置2000可将由第二用户输入的文本(即，第二用户的文本)发送到第一装置1000。
在操作S2765，第一装置1000可将第二用户的文本转换为语音。第一装置1000可通过使用各种TTS技术将第二用户的文本转换为第二用户的语音。另外，第一装置1000可事先获得关于第二用户的性别、年龄等的用户信息，并可考虑第二用户的性别、年龄等来确定从第二用户的文本转换的语音的音调。
在操作S2770，第一装置1000可经由第一装置1000的扬声器输出从第二用户的文本转换的语音。因此，第二用户可在文本模式下进行操作，而第一用户可在语音模式下进行操作。
图28是根据示例性实施例的执行“语音-消息”呼叫的方法的流程图，其中，所述方法由在语音模式下进行操作的第一装置1000和在文本模式下进行操作的第二装置2000执行。在图28的实施例中，第二装置2000可将第一用户的语音转换为文本，并可将第二用户的文本转换为语音。
由于图28的操作S2800到S2835与图27的操作S2700到S2735对应，因此这里省略关于操作S2700到S2735的描述。
在操作S2840，第一装置1000可将第一用户的语音发送到第二装置2000。
在操作S2845，第二装置2000可将第一用户的语音转换为文本，并且在操作S2850，第二装置2000可将指示第一用户与第二用户之间的对话的文本显示在聊天窗口中。因此，第一用户可在语音模式下进行操作，第二用户可在文本模式下进行操作。
在操作S2855，第二装置2000可接收第二用户经由聊天窗口输入的文本，并且在操作S2860，第二装置2000可将由第二用户输入的文本(即，第二用户的文本)转换为语音。例如，第二装置2000可考虑第二用户的性别和年龄来确定转换的语音的音调。
在操作S2865，第二装置2000可将从第二用户的文本转换的语音、从第一用户的语音转换的文本以及第二用户的文本发送到第一装置1000。
在操作S2870，第一装置1000可经由第一装置1000的扬声器输出从第二用户的文本转换的语音。因此，第一用户可在语音模式下进行操作，第二用户可在文本模式下进行操作。
图29A、图29B和图29C示出根据示例性实施例的作为“语音-消息”呼叫的呼叫模式之一的组合模式的示例。
在组合模式期间，当用于语音呼叫的语音输入功能和语音输出功能被激活时，用于文本交换的文本输入功能和文本输出功能可被激活。因此，在组合模式中，在用户经由第一装置1000执行语音呼叫的同时，用户可执行文本交换。
另外，在组合模式期间，在用于语音呼叫的语音输入功能和语音输出功能中的至少一个被激活时，用于文本交换的文本输入功能和文本输出功能中的至少一个可被激活。
作为一示例，在组合模式期间，在用于语音呼叫的语音输入功能被激活时，用于文本交换的文本输入功能和文本输出功能可被激活。
作为另一示例，在组合模式期间，在用于语音呼叫的语音输出功能被激活时，用于文本交换的文本输入功能和文本输出功能可被激活。
作为另一示例，在组合模式期间，在用于语音呼叫的语音输入功能和语音输出功能被激活时，用于文本交换的文本输入功能可被激活。
作为另一示例，在组合模式期间，在用于语音呼叫的语音输入功能和语音输出功能被激活时，用于文本交换的文本输出功能可被激活。
参照图29A，第一装置1000的话筒功能可被激活，经由显示在第一装置1000的屏幕上的聊天窗口的消息交换功能可被激活。
在组合模式期间，在第一装置1000与第二装置2000执行语音呼叫的同时，第一装置1000还可与第二装置2000执行消息交换。
参照图29B，在不涉及使用第一装置1000的话筒功能的语音呼叫功能被激活时，经由显示在第一装置1000的屏幕上的聊天窗口的消息交换功能可被激活。不涉及使用话筒功能的语音呼叫功能可指在第一装置1000邻近用户的面部时通过使用邻近用户的耳朵的扬声器和邻近用户的嘴的麦克风来执行的语音呼叫。
在这种情况下，在第一装置1000在语音呼叫功能被激活时执行语音输入/输出的同时，第一装置1000还可经由用于与第二装置2000交换消息的聊天窗口来执行文本输入/输出。
参照图29C，在用户穿戴着以有线或无线的方式与第一装置1000连接的可穿戴设备290时，第一装置1000可在组合模式期间执行“语音-消息”呼叫功能。在这种情况下，第一装置1000可控制可穿戴设备290在组合模式期间执行用于“语音-消息”呼叫的语音输入/输出功能和文本输入/输出功能中的至少一个。
例如，当可穿戴设备290是头戴式耳机时，在第一装置1000在组合模式期间执行“语音-消息”呼叫的同时，第一装置1000可控制来自第一装置1000的语音经由头戴式耳机被输出。
例如，当可穿戴设备290是智能眼镜时，在第一装置1000在组合模式期间执行“语音-消息”呼叫的同时，第一装置1000可控制从第一装置1000输出的聊天窗口经由智能眼镜被输出。
图30示出根据示例性实施例的执行“语音-消息”呼叫的第一装置1000的呼叫模式从语音模式切换到组合模式或者从组合模式切换到语音模式的示例。
参照图30，当在语音模式期间显示在执行“语音-消息”呼叫的第一装置1000的屏幕上的按钮300被选择时，第一装置1000的呼叫模式可从语音模式切换到组合模式。另外，当在组合模式期间显示在执行“语音-消息”呼叫的第一装置1000的屏幕上的按钮301被选择时，第一装置1000的呼叫模式可从组合模式切换到语音模式。
图31示出根据示例性实施例的执行“语音-消息”呼叫的第一装置1000的呼叫模式从文本模式切换到组合模式或者从组合模式切换到文本模式的示例。
参照图31，当在文本模式期间显示在执行“语音-消息”呼叫的第一装置1000的屏幕上的按钮310被选择时，第一装置1000的呼叫模式可从文本模式切换到组合模式。另外，当在组合模式期间显示在执行“语音-消息”呼叫的第一装置1000的屏幕上的按钮311被选择时，第一装置1000的呼叫模式可从组合模式切换到文本模式。
图32是根据示例性实施例的由第一装置1000执行的切换“语音-消息”呼叫的模式的方法的流程图。
因为图32的流程图中的操作S3200至S3220以及操作S3260至S3290与图22的操作S2200至S2220以及操作S2230至S2260相应，所以这里省略关于操作S3200至S3220以及操作S3260至S3290的描述。
作为操作S3200中的确定结果，如果呼叫模式不是语音模式，则在操作S3230，第一装置1000可确定“语音-消息”呼叫的呼叫模式是否为组合模式。例如，第一装置1000可确定用于切换到组合模式的按钮是否被第一用户选择，因此，可确定呼叫模式是否为组合模式。
作为操作S3230中的确定结果，如果确定呼叫模式为组合模式，则在操作S3240，第一装置1000可激活第一装置1000中的扬声器和麦克风。
在操作S3250，第一装置1000可将聊天窗口显示在第一装置1000的屏幕上。另外，第一装置1000可将由第一用户经由聊天窗口输入的文本显示在聊天窗口中。另外，第一装置1000可将从第二用户的语音转换的文本以及由第二用户输入到第二装置2000的文本显示在聊天窗口中。
作为操作S3230中的确定结果，如果确定呼叫模式不是组合模式，则第一装置1000可执行操作S3260。
图33是根据示例性实施例的由第一装置1000执行的在组合模式期间执行“语音-消息”呼叫的方法的流程图。
在操作S3300，第一装置1000可确定“语音-消息”呼叫的呼叫模式为组合模式。例如，第一装置1000可确定用于切换到组合模式的按钮是否被第一用户选择，因此可确定呼叫模式为组合模式。
当呼叫模式为组合模式时，在操作S3310，第一装置1000可激活扬声器和麦克风，并且在操作S3320，第一装置1000可将聊天窗口显示在第一装置1000的屏幕上。另外，第一装置1000可将由第一用户经由聊天窗口输入的文本显示在聊天窗口中。另外，第一装置1000可将从第二用户的语音转换的文本以及由第二用户输入到第二装置2000的文本显示在聊天窗口中。
在操作S3330，第一装置1000可接收由第一用户输入的语音和/或由第一用户输入的文本。第一装置1000可经由激活的麦克风接收由第一用户输入的语音，并可经由显示的聊天窗口接收由第一用户输入的文本。第一装置1000可将由第一用户输入的语音转换为文本，或者可将由第一用户输入的文本转换为语音。
在操作S3340，第一装置1000可识别第二装置2000的呼叫模式。第二装置2000可将指示第二装置2000的呼叫模式的信息发送到第一装置1000，并且第一装置1000可基于从第二装置2000接收到的指示呼叫模式的信息来识别第二装置2000的呼叫模式。
在操作S3350，第一装置1000可选择性地将第一用户的语音和文本中的至少一个发送到第二装置2000。第一装置1000可选择性地将由第一用户输入的语音、由第一用户输入的文本、从由第一用户输入的语音转换的文本以及从由第一用户输入的文本转换的语音中的至少一个发送到第二装置。
作为一个示例，当第二装置2000的呼叫模式为语音模式时，第一装置1000可将由第一用户输入的语音以及从由第一用户输入的文本转换的语音发送到第二装置2000，作为另一示例，当第二装置2000的呼叫模式为文本模式时，第一装置1000可将由第一用户输入的文本以及从由第一用户输入的语音转换的文本发送到第二装置2000。然而，一个或更多个示例性实施例不限于此。
图34是示出根据示例实施例的由在组合模式下进行操作的第一装置1000执行的与第二装置2000执行“语音-消息”呼叫的方法的流程图。
在操作S3400，第一装置1000与第二装置2000进行“呼叫-连接”。第一装置1000可将对于“呼叫-连接”的请求发送到第二装置2000，或者可从第二装置2000接收对于“呼叫-连接”的请求，使得第一装置1000可与第二装置2000进行“呼叫-连接”。
在操作S3405，第一装置1000可确定“语音-消息”呼叫的呼叫模式是否为组合模式。例如，第一装置1000可确定用于切换到组合模式的按钮是否被第一用户选择，因此可确定呼叫模式是否为组合模式。
当呼叫模式为组合模式时，在操作S3410，第一装置1000可激活扬声器和麦克风，并且在操作S3415，第一装置1000可将聊天窗口显示在第一装置1000的屏幕上。
在操作S3420，第一装置1000可接收由第一用户输入的语音。第一装置1000可接收由第一用户经由激活的麦克风输入的语音。
在操作S3425，第一装置1000可将由第一用户输入的语音发送到第二装置2000，并且在操作S3430，第一装置1000可将由第一用户输入的语音转换为文本。另外，第一装置1000可将从由第一用户输入的语音转换的文本显示在聊天窗口中。
在操作S3435，第二装置2000可将第二用户的语音发送到第一装置1000，并且在操作S3440，第一装置1000可输出第二用户的语音。第一装置1000可经由激活的扬声器输出第二用户的语音。
在操作S3445，第一装置1000可将第二用户的语音转换为文本。另外，第一装置1000可将从第二用户的语音转换的文本显示在聊天窗口中。
在操作S3450，第一装置1000可接收由第一用户输入的文本。第一装置1000可经由聊天窗口接收由第一用户输入的文本，并可将由第一用户输入的文本显示在聊天窗口中。
在操作S3455，第一装置1000可将由第一用户输入的文本转换为语音。例如，第一装置1000可考虑第一用户的性别和年龄来确定从由第一用户输入的文本转换的语音的语调。然而，一个或更多个示例性实施例不限于此，并且可预设转换的语音的语调。
在操作S3460，第一装置1000可将从由第一用户输入的文本转换的语音发送到第二装置2000。
图35A是根据示例性实施例的由第一装置1000执行的将第二装置2000的呼叫模式的改变通知给第一用户并推荐第一用户对呼叫模式进行改变的方法的流程图。
在操作S3500，第一装置1000可识别第二装置2000的呼叫模式。第二装置2000可将指示第二装置2000的呼叫模式的信息发送到第一装置1000，并且第一装置1000可基于从第二装置2000接收到的指示呼叫模式的信息来识别第二装置2000的呼叫模式。
在操作S3510，第一装置1000可确定第二装置2000的呼叫模式是否被改变。例如，第二装置2000的呼叫模式可从语音模式改变为文本模式，可从语音模式改变为组合模式，可从文本模式改变为语音模式，可从文本模式改变为组合模式，可从组合模式改变为语音模式或者可从组合模式改变为文本模式。这里，第一装置1000可轮询第二装置2000以获得模式的信息。可选地，第二装置2000可将模式的改变通知给第一装置1000。
另外，第一装置1000可确定第二装置2000的输入方法是否被改变。第一装置1000可确定第二装置2000仅接收语音输入、仅接收文本输入还是接收语音输入和文本输入以进行“语音-消息”呼叫。第一装置可再次轮询第二装置以获得关于输入方法的信息，或者第二装置2000可将输入方法通知给第一装置。
另外，第一装置1000可确定第二装置2000的输出方法是否被改变。第一装置1000可确定第二装置仅提供语音输出、仅提供文本输出还是提供语音输出和文本输出以进行“语音-消息”呼叫。第一装置可轮询第二装置以获得关于输出方法的信息，或者第二装置2000可将输出方法通知给第一装置。
作为操作S3510中的确定结果，当第一装置1000确定第二装置2000的呼叫模式被改变时，在操作S3520，第一装置1000可将第二装置2000的改变后的呼叫模式通知给用户。作为一个示例，当第一装置1000的呼叫模式为语音模式时，第一装置1000可输出用于通知第二装置2000的呼叫模式的改变的语音。作为另一示例，当第一装置1000的呼叫模式为文本模式时，第一装置1000可将用于通知第二装置2000的呼叫模式的改变的文本输出到第一装置1000的屏幕。作为另一示例，当第一装置1000的呼叫模式为组合模式时，第一装置1000可将用于通知第二装置2000的呼叫模式的改变的文本输出到第一装置1000的屏幕，同时第一装置1000输出用于通知第二装置2000的呼叫模式的改变的语音。然而，一个或更多个示例性实施例不限于此。另外，第一装置1000可将在第二装置2000的改变后的呼叫模式期间的输出方法通知给第一用户。
另外，当第二装置2000的输入方法被改变时，第一装置1000可将改变后的输入方法通知给第一用户。另外，当第二装置2000的输出方法被改变时，第一装置1000可将改变后的输出方法通知给第一用户。
在操作S3530，第一装置1000可推荐对第一装置1000的呼叫模式进行改变。作为另一示例，在在语音模式下进行操作的第一装置1000与第二装置2000执行“语音-消息”呼叫期间，当第二装置2000的呼叫模式被从语音模式改变为文本模式时，第一装置1000可推荐第一用户将第一装置1000的呼叫模式从语音模式改变为文本模式。在这种情况下，第一装置1000可经由扬声器或消息提示输出语音“你想要将呼叫模式改变为文本模式吗？”。另外，当第一装置1000将呼叫模式从语音模式改变为文本模式时，第一装置1000可暂时切断在第一装置1000与第二装置2000之间建立的语音呼叫信道。
作为另一示例，在在文本模式下进行操作的第一装置1000与第二装置2000执行“语音-消息”呼叫的同时，当第二装置2000的呼叫模式被从文本模式改变为语音模式时，第一装置1000可推荐第一用户将第一装置1000的呼叫模式从文本模式改变为语音模式。在这种情况下，第一装置可将文本“你想要将呼叫模式改变为语音模式吗？”显示在第一装置1000的屏幕上的聊天窗口中，或者输出语音提示。当第一装置1000将呼叫模式从文本模式改变为语音模式时，第一装置1000可暂时切断在第一装置1000与第二装置2000之间建立的用于文本交换的信道。
例如，当第二装置2000的呼叫模式被改变时，第一装置1000可产生振动，并可同时将指示模式改变的消息显示在第一装置1000的屏幕上。
当第二装置2000的输入方法被改变时，第一装置1000可推荐第一装置1000的用于执行“语音-消息”呼叫的输入方法。另外，当第二装置2000的输入方法被改变时，第一装置1000可推荐第一装置1000的用于执行“语音-消息”呼叫的输出方法。
另外，当第二装置2000的输出方法被改变时，第一装置1000可推荐第一装置1000的用于执行“语音-消息”呼叫的输入方法。另外，当第二装置2000的输出方法被改变时，第一装置1000可推荐第一装置1000的用于执行“语音-消息”呼叫的输出方法。
图35B是根据示例性实施例的在组合模式期间向第一用户通知第二装置2000的输入/输出功能的改变并向第一用户推荐改变呼叫模式的方法的流程图，其中，所述方法由第一装置1000执行。
在操作S3540，第一装置1000可识别出第二装置2000在组合模式期间的输入/输出功能被改变。第二装置2000可将指示第二装置2000在组合模式期间的输入/输出功能的改变的信息发送到第一装置1000，并且第一装置1000可基于从第二装置2000接收的信息来识别第二装置2000在组合模式期间的输入/输出功能的改变。
在操作S3550，第一装置1000可确定第二装置2000的在组合模式期间的输入/输出功能是否被改变。例如，第一装置1000可确定在第二装置2000的组合模式中用于语音呼叫的语音输入功能和语音输出功能中的至少一个是否被改变，或者用于文本交换的文本输入功能和文本输出功能中的至少一个是否被改变。
此外，第一装置1000可确定第二装置2000的输入方法是否被改变。第一装置1000可确定第二装置2000是仅接收语音输入，还是仅接收文本输入，还是接收用于“语音-消息”呼叫的语音和文本输入。
此外，第一装置1000可确定第二装置2000的输出方法是否被改变。第一装置1000可确定第二装置2000是仅提供语音输出，还是仅提供文本输出，还是提供用于“语音-消息”呼叫的语音和文本输出。
作为在操作S3550的确定的结果，当第一装置1000确定第二装置2000在组合模式期间的输入/输出功能被改变时，在操作S3560，第一装置1000可向第一用户通知第二装置2000的改变后的输入/输出功能。例如，第一装置1000可向第一用户通知第二装置2000的改变后的输出方法。此外，当第二装置2000的输入方法被改变时，第一装置1000可向第一用户通知第二装置2000的改变后的输入方法。当第二装置2000的输出方法被改变时，第一装置1000可向第一用户通知第二装置2000的改变后的输出方法。
在操作S3570，第一装置1000可推荐第一装置1000的呼叫模式的改变。在此情况下，第一装置1000可根据在组合模式期间的第二装置2000的输入/输出功能的改变来向第一用户推荐第一装置1000的呼叫模式。
当第二装置2000的输入方法被改变时，第一装置1000可推荐第一装置1000的用于执行“语音-消息”呼叫的输入方法。此外，当第二装置2000的输入方法被改变时，第一装置1000可推荐第一装置1000的用于执行“语音-消息”呼叫的输出方法。
此外，当第二装置2000的输出方法被改变时，第一装置1000可推荐第一装置1000的用于执行“语音-消息”呼叫的输入方法。此外，当第二装置2000的输出方法被改变时，第一装置1000可推荐第一装置1000的用于执行“语音-消息”呼叫的输出方法。
图36示出根据示例性实施例的第一装置1000向第一用户推荐将呼叫模式从语音模式改变为文本模式的示例。
参照图36，当第一装置1000在语音模式期间进行操作时，第一装置1000可执行“语音-消息”呼叫，之后当第二装置2000的呼叫模式从语音模式改变为文本模式时，第一装置1000可经由第一装置1000的扬声器输出语音“另一方的呼叫模式从语音模式改变为文本模式。你想要将你的呼叫模式改变为文本模式吗？”。
此外，第一用户可使第一装置1000远离第一用户的面部，进而第一装置1000可将呼叫模式从语音模式改变为文本模式。
图37示出根据示例性实施例的第一装置1000向第一用户推荐将呼叫模式从文本模式改变为语音模式的示例。
参照图37，在第一装置1000在文本模式期间进行操作的同时，第一装置1000可执行“语音-消息”呼叫，之后当第一装置2000的呼叫模式从文本模式改变为语音模式时，第一装置1000可经由第一装置1000的扬声器输出语音“另一方的呼叫模式从文本模式改变为语音模式。你想要将你的呼叫模式改变为语音模式吗？”。
此外，第一用户可使第一装置1000邻近第一用户的面部，进而第一装置1000可将呼叫模式从文本模式改变为语音模式。
图38是根据示例性实施例的产生与“语音-消息”呼叫相关的呼叫列表的方法的流程图，其中，所述方法由第一装置1000执行。
在操作S3800，第一装置1000可获得关于与第一装置1000执行“语音-消息”呼叫的第二装置2000的装置信息。例如，第一装置1000可获得关于第二装置2000的服务集标识符(SSID)的信息、第二装置2000的电话号码、第二装置2000的第二用户的姓名和第二装置2000的类型。
在操作S3810，第一装置1000可获得关于与第二装置2000的呼叫相关的时间的信息。例如，第一装置1000可获得与当第一装置1000和第二装置2000发起“语音-消息”呼叫的时间有关的信息、与第一装置1000和第二装置2000结束“语音-消息”呼叫的时间有关的信息、以及与第一装置1000和第二装置2000执行“语音-消息”呼叫的时间段有关的信息。
在操作S3820，第一装置1000可获得关于第一装置1000的呼叫位置的信息。第一装置1000可获得与在第一装置1000和第二装置2000执行“语音-消息”呼叫时的第一装置1000的位置相关的信息。
在操作S3830，第一装置1000可对与在“语音-消息”呼叫期间产生的聊天窗口中的文本相关的文本信息进行备份。第一装置1000可对聊天窗口中的指示第一用户和第二用户之间的对话的文本进行备份。文本可被备份在装置1000或服务器中，其中，服务器在装置1000与装置2000之间进行中间连接。
此外，第一装置1000可对在发生预定事件之前的预设时间段内所获得的文本进行备份。例如，预定事件可包括第一装置1000和第二装置2000之间的呼叫的结束、针对文本备份的用户输入的接收等。例如，当第一装置1000和第二装置2000之间的呼叫结束时，第一装置1000可对在呼叫结束之前的五分钟内由第一装置1000获得的文本进行备份。例如，当第一装置1000接收针对文本备份的用户输入时，第一装置1000可对在用户输入被接收之前的三分钟内由第一装置1000获得的文本进行备份。然而，针对文本备份而设置的事件的类型和时间值不限于此。
此外，第一装置1000可将指示第一用户和第二用户之间的对话的文本中的一部分备份在第一装置1000中，并可将指示第一用户和第二用户之间的对话的全部文本备份在服务器3000中。
在操作S3840，第一装置1000可基于在操作S3800至S3820获得的多条信息来产生呼叫列表。
在操作S3850，第一装置1000可将产生的呼叫列表与在操作S3830备份的文本信息相关联，并可存储呼叫列表。因为呼叫列表与备份的文本信息相关联并然后被存储，所以第一装置1000可根据与呼叫列表相关的用户输入向第一用户提供与呼叫列表相应的对话内容。在此情况下，当从呼叫列表选择第一按钮时，第一装置1000可首先在第一装置1000的屏幕上显示与对话列表相应的对话内容的一部分，当在显示对话内容的所述一部分的屏幕上选择第二按钮时，第一装置1000可在第一装置1000的屏幕上显示与对话列表相应的全部对话内容。
图39是根据示例性实施例的经由第一装置1000的对话列表显示指示第一用户和第二用户之间的对话的文本的方法的流程图。
在操作S3900，第一装置1000可从第一装置1000的呼叫列表选择第二装置2000。第一装置1000可基于用户输入从呼叫列表选择第二装置2000的电话号码或选择第二用户的姓名。
在操作S3910，根据对第二装置2000的选择，第一装置1000可在第一装置1000的屏幕上显示指示第一用户和第二用户之间的对话的文本。
图40至图42示出根据示例性实施例的呼叫列表的示例。
参照图40，多个第二装置2000的电话号码可被显示在第一装置1000的屏幕中所显示的呼叫列表中。此外，为了观看与特定呼叫相关的对话内容，第一用户可选择呼叫列表中的按钮350。在这点上，用户可查看与另一用户的对话历史。
当第一用户选择按钮350时，指示与选择的按钮350相应的对话内容的文本可被显示在第一装置1000的屏幕的整个部分上，如图41中所示。在此情况下，指示对话内容的文本可与对话内容的一部分相应。此外，指示对话内容的所述一部分的文本可被存储在第一装置1000中，但一个或更多个示例性实施例不限于此。
此外，参照图41，用于显示全部对话内容的按钮410可显示在包括指示对话内容的所述一部分的文本的窗口中。当第一用户按压按钮410时，第一装置1000可在第一装置1000的屏幕上显示指示全部对话内容的文本。在此情况下，指示全部对话内容的文本可被存储在服务器3000中，并且第一装置1000可从服务器3000接收指示全部对话内容的文本，并显示该文本。
当第一用户选择按钮350时，包括指示与选择的按钮350相应的对话内容的文本的弹出式窗口可被显示在第一装置1000的屏幕的一部分上，如图42中所示。
当第一用户选择按钮350时，可显示与选择的按钮350相应的全部对话内容，但一个或更多个示例性实施例不限于此。
图43示出根据示例性实施例的第一装置1000和第二装置2000经由服务器3000执行“语音-消息”呼叫的示例。
参照图43，第一装置1000可经由服务器3000与第二装置2000执行“语音-消息”呼叫。此外，服务器3000可执行用于“语音-消息”呼叫的TTS功能和STT功能。
例如，服务器3000可将经由第一装置1000输入的第一用户的语音转换为文本，并将经由第一装置1000输入的第一用户的文本转换为语音。此外，服务器3000可将经由第二装置2000输入的第二用户的语音转换为文本，并将经由第二装置2000输入的第二用户的文本转换为语音。
图44是根据示例性实施例的通过将第一用户和第二用户的语音转换为文本来支持第一装置1000和第二装置2000之间的“语音-消息”呼叫的方法的流程图，其中，所述方法由服务器3000执行。
在操作S4400，第一装置1000和第二装置2000彼此呼叫连接。第一装置1000可通过将对于呼叫连接的请求发送到第二装置2000或从第二装置2000接收对于呼叫连接的请求来与第二装置2000呼叫连接。
在操作S4405，第一装置1000可激活“语音-消息”呼叫功能。第一装置1000可基于用户输入来激活“语音-消息”呼叫功能。在操作S4405，在第一装置1000与第二装置2000呼叫连接之后，第一装置1000激活“语音-消息”呼叫功能。然而，一个或更多个示例性实施例不限于此。例如，当第一装置1000将发送呼叫或接收呼叫时，或者在第一装置1000执行呼叫的同时，第一装置1000可激活“语音-消息”呼叫功能。
在操作S4410，第二装置2000可激活“语音-消息”呼叫功能。第二装置2000可基于用户输入来激活“语音-消息”呼叫功能。在操作S4410，在第二装置2000与第一装置1000呼叫连接之后，第二装置2000激活“语音-消息”呼叫功能。然而，一个或更多个示例性实施例不限于此。例如，当第二装置发送呼叫或接收呼叫时，或在第二装置2000执行呼叫的同时，第二装置2000可激活“语音-消息”呼叫功能。
在操作S4415，第一装置1000可将第一用户的语音发送到服务器3000。第一装置1000可经由第一装置1000中的麦克风获得的第一用户的语音，并可将获得的语音发送到服务器3000。
在操作S4420，服务器3000可将第一用户的语音发送到第二装置2000。
在操作S4425，服务器3000可将第一用户的语音转换为文本。服务器3000可通过使用各种STT技术将第一用户的语音转换为文本。
在操作S4430，服务器3000可将从第一用户的语音转换的文本发送到第二装置2000，在操作S4435，服务器3000可将从第一用户的语音转换的文本发送到第一装置1000。
在操作S4440，第二装置2000可将第二用户的语音发送到服务器3000。第二装置2000可经由第二装置2000中的麦克风获得第二用户的语音，并将获得的语音发送到服务器3000。
在操作S4445，服务器3000可将第二用户的语音发送到第一装置1000。
在操作S4450，服务器3000可将第二用户的语音转换为文本。服务器3000可通过使用各种STT技术将第二用户的语音转换为文本。
在操作S4455，服务器3000可将从第二用户的语音转换的文本发送到第一装置1000，在操作S4460，服务器3000可将从第二用户的语音转换的文本发送到第二装置2000。
在操作S4465，第一装置1000可按照时间顺序来布置接收的文本。作为一个示例，根据第一用户的语音被输入到第一装置1000的时间和第二用户的语音被接收到的时间，第一装置1000可对从第一用户的语音转换的文本和从第二用户的语音转换的文本进行布置。作为另一示例，根据第一用户的语音被输入到第一装置1000的时间和第二用户的语音被输入到第二装置2000的时间，第一装置1000可对从第一用户的语音转换的文本和从第二用户的语音转换的文本进行布置。然而，一个或更多个示例性实施例不限于此。
在操作S4470，第一装置1000可在第一装置1000的屏幕上显示包括经布置的文本的聊天窗口。在第一装置1000执行“语音-消息”呼叫的同时，第一装置1000可在第一装置1000的屏幕上显示聊天窗口。此外，依据“语音-消息”呼叫的呼叫模式，第一装置1000可在第一装置1000的屏幕上显示聊天窗口，或可隐藏第一装置1000的屏幕中的聊天窗口。
在操作S4475，第二装置2000可按时间顺序来布置接收的文本。作为一个示例，根据第二用户的语音被输入到第二装置2000的时间和第一用户的语音被接收到的时间，第二装置2000可对从第一用户的语音转换的文本和从第二用户的语音转换的文本进行布置。作为另一示例，根据第二用户的语音被输入到第二装置2000的时间和第一用户的语音被输入到第二装置2000的时间，第二装置2000可对从第一用户的语音转换的文本和从第二用户的语音转换的文本进行布置。然而，一个或更多个示例性实施例不限于此。
在操作S4480，第二装置2000可在第二装置2000的屏幕上显示包括经布置的文本的聊天窗口。在第二装置2000执行“语音-消息”呼叫的同时，第二装置2000可在第二装置2000的屏幕上显示聊天窗口。此外，依据“语音-消息”呼叫的呼叫模式，第二装置2000可在第二装置2000的屏幕上显示聊天窗口，或可隐藏第二装置2000的屏幕中的聊天窗口。
如上面所讨论的，服务器3000可在装置1000与装置2000之间进行中间连接。因此，服务器3000可在必要时执行文本和语音之间的转换。另外，服务器可执行存储功能，从而在必要时存储文本和语音数据。
图45是根据示例性实施例的通过将第一用户和第二用户的文本转换为语音来支持第一装置1000与第二装置2000之间的“语音-消息”呼叫的方法的流程图，其中，该方法由服务器3000执行。
由于图45的操作S4500到S4510与图44的操作S4400到S4410相应，故这里省略其描述。
在操作S4515，第一装置1000可将由第一用户输入的文本发送到服务器3000，并且，在操作S4520，服务器3000可将由第一用户输入的文本发送到第二装置2000。
在操作S4525，服务器3000可将由第一用户输入的文本转换为语音。服务器3000可考虑关于第一用户的用户信息(例如，性别和年龄)来确定从第一用户的文本转换的语音的音调。
在操作S4530，服务器3000可将从第一用户的文本转换的语音发送到第二装置2000，并且，在操作S4535，服务器3000可将从第一用户的文本转换的语音发送到第一装置1000。
在操作S4540，第二装置2000可将由第二用户输入的文本发送到服务器3000，并且，在操作S4545，服务器3000可将由第二用户输入的文本发送到第一装置1000。
在操作S4550，服务器3000可将由第二用户输入的文本转换为语音。服务器3000可考虑关于第二用户的用户信息(例如，性别和年龄)来确定从第二用户的文本转换的语音的音调。
在操作S4555，服务器3000可将从第二用户的文本转换的语音发送到第一装置1000，并且，在操作S4560，服务器3000可将从第二用户的文本转换的语音发送到第二装置2000。
在操作S4565，根据第一装置1000的状态，第一装置1000可显示示出第一用户与第二用户之间的对话的聊天窗口。例如，当第一装置1000的呼叫模式为文本模式或组合模式时，第一装置1000可在第一装置1000的屏幕上显示示出第一用户与第二用户之间的对话的聊天窗口。
在操作S4570，根据第一装置1000的状态，第一装置1000可输出第二用户的语音。例如，当第一装置1000的呼叫模式为语音模式或组合模式时，第一装置1000可输出第二用户的语音。
在操作S4575，根据第二装置2000的状态，第二装置2000可显示示出第一用户与第二用户之间的对话的聊天窗口。例如，当第二装置2000的呼叫模式为文本模式或组合模式时，第二装置2000可在第二装置2000的屏幕上显示示出第一用户与第二用户之间的对话的聊天窗口。
在操作S4580，根据第二装置2000的状态，第二装置2000可输出第一用户的语音。例如，当第二装置2000的呼叫模式为语音模式或组合模式时，第二装置2000可输出第一用户的语音。
如上所述，服务器3000可在第一装置1000与第二装置2000之间进行中间连接。相应地，服务器3000可在必要时执行文本与语音之间的转换。此外，服务器可执行存储功能，由此在必要时存储文本和语音。
图46是根据示例性实施例的存储与第一装置1000与第二装置2000之间的“语音-消息”呼叫相关的语音数据和文本数据的方法的流程图，其中，该方法由服务器3000执行。
在操作S4600，第一装置1000可与第二装置2000执行“语音-消息”呼叫。第一装置1000和第二装置2000可经由服务器3000执行“语音-消息”呼叫，但是一个或更多个示例性实施例不限于此。第一装置1000可直接与第二装置2000执行“语音-消息”呼叫。
在操作S4610，第一装置1000可存储指示用户之间的一部分对话的文本。第一装置1000可获得从第一用户输入到第一装置1000的语音转换的文本、从第二用户输入到第二装置2000的语音转换的文本、第一用户输入到第一装置1000的文本和第二用户输入到第二装置2000的文本。
另外，第一装置1000可从第一装置1000、第二装置2000和服务器3000中的至少一个获得指示用户之间的对话的文本。另外，第一装置1000可将获得的文本中的一部分存储在第一装置1000中。
在操作S4620，第一装置1000可将指示用户之间的所有对话的文本发送到服务器3000，并且，在操作S4630，服务器3000可存储指示用户之间的所有对话的文本。在操作S4620和S4630中，服务器3000从第一装置1000接收指示用户之间的所有对话的文本并存储所述对话，但一个或更多个示例性实施例不限于此。服务器3000可从第一装置1000接收指示用户之间的一部分对话的文本，可从第二装置2000接收指示用户之间的一部分对话的文本，并可直接产生指示用户之间的一部分对话的文本。另外，服务器3000可通过组合从第一装置1000接收的文本、从第二装置2000接收的文本和由服务器3000产生的文本来获得指示用户之间的所有对话的文本。
在操作S4640，第一装置1000可存储指示用户之间的一部分对话的文本的语音数据。第一装置1000可获得从第一用户输入到第一装置1000的文本转换的语音数据、从第二用户输入到第二装置2000的文本转换的语音数据、第一用户输入到第一装置1000的语音数据和第二用户输入到第二装置2000的语音数据。
另外，第一装置1000可从第一装置1000、第二装置2000和服务器3000中的至少一个获得指示用户之间的对话的语音数据。另外，第一装置1000可将获得的语音数据中的一部分存储在第一装置1000中。
在操作S4650，第一装置1000可将指示用户之间的所有对话的语音数据发送到服务器3000，并且，在操作S4660，服务器3000可存储指示用户之间的所有对话的语音数据。在操作S4650和S4660，服务器3000从第一装置1000接收指示用户之间的所有对话的语音数据并存储所述语音数据，但是一个或更多个示例性实施例不限于此。服务器3000可从第一装置1000接收指示用户之间的一部分对话的语音数据，可从第二装置2000接收指示用户之间的一部分对话的语音数据，并可直接产生指示用户之间的一部分对话的语音数据。另外，服务器3000可通过组合从第一装置1000接收的语音数据、从第二装置2000接收的语音数据和由服务器3000产生的语音数据来获得指示用户之间的所有对话的语音数据。
图47示出根据示例性实施例的第一装置1000、第二装置2000和第三装置4000彼此执行“语音-消息”呼叫的示例。
参照图47，“语音-消息”呼叫可在第一装置1000、第二装置2000和第三装置4000之中执行。例如，在第一装置1000和第二装置2000执行“语音-消息”呼叫的同时，第三装置4000可参与第一装置1000和第二装置2000执行的“语音-消息”呼叫。可选地，例如，第一装置1000、第二装置2000和第三装置4000可一起发起“语音-消息”呼叫。虽然示出了三个装置，但是任意数量的装置可参与“语音-消息”呼叫。
当“语音-消息”呼叫在第一装置1000、第二装置2000和第三装置4000之中执行时，1)为了执行“语音-消息”呼叫在第一装置1000与第二装置2000之间的一个或更多个操作、2)为了执行“语音-消息”呼叫在第一装置1000与第三装置4000之间的一个或更多个操作以及3)为了执行“语音-消息”呼叫在第二装置2000与第三装置4000之间的一个或更多个操作可与参照图1到图42示出和描述的操作相应。
图48示出根据示例性实施例的第一装置1000、第二装置2000和第三装置4000经由服务器3000彼此执行“语音-消息”呼叫的示例。
参照图48，当第一装置1000、第二装置2000和第三装置4000经由服务器3000彼此执行“语音-消息”呼叫时，输入到第一装置1000的语音、输入到第二装置2000的语音和输入到第三装置4000的语音可由服务器3000完全或部分地转换为文本。另外，输入到第一装置1000的文本、输入到第二装置2000的文本和输入到第三装置4000的文本可由服务器3000完全或部分地转换为语音。
另外，当第一装置1000、第二装置2000和第三装置4000经由服务器3000彼此执行“语音-消息”呼叫时，1)为了执行“语音-消息”呼叫在第一装置1000、第二装置2000与服务器3000之间的一个或更多个操作、2)为了执行“语音-消息”呼叫在第一装置1000、第三装置4000与服务器3000之间的一个或更多个操作以及3)为了执行“语音-消息”呼叫在第二装置2000、第三装置4000与服务器3000之间的一个或更多个操作可与参照图43到图46示出和描述的操作相应。
图49和图50是根据本发明实施例的第一装置1000的框图。
如图49所示，第一装置1000可包括用户输入单元1100、输出单元1200、控制单元1300和通信单元1500。然而，可使用比图49中示出的元件更多或更少的元件来实现第一装置1000。
例如，如图50中所示，除了用户输入单元1100、输出单元1200、控制单元1300和通信单元1500，第一装置1000还可包括感测单元1400、音频/视频(A/V)输入单元1600和存储器1700。
用户输入单元1100可以是用户通过其输入数据以控制第一装置1000的单元。例如，用户输入单元1100可包括键盘、圆顶开关、触摸板(触摸电容型触摸板、压阻型触摸板、红外光束感测型触摸板、表面声波型触摸板、集成应变计型触摸板(integral straingauge type touch pad)、压电效应型触摸板等)、飞梭转盘、滚轮开关等，但是一个或更多个示例性实施例不限于此。
用户输入单元1100可接收用于“语音-消息”呼叫的用户输入。例如，用户输入单元1100可接收用户的语音输入、用户的文本输入和用户的触摸输入。
输出单元1200可用于输出音频信号、视频信号或振动信号，并可包括显示单元1210、声音输出单元1220、振动马达1230等。
显示单元1210可显示并输出在第一装置1000中处理的信息。例如，显示单元1210可在“语音-消息”呼叫期间显示包括指示用户之间的对话的文本的聊天窗口。
当显示单元1210和触摸板形成交互层结构并随后形成为触摸屏时，显示单元1210可被用作输出装置和输入装置两者。显示单元1210可包括以下显示器中的至少一个：液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器和电泳显示器。另外，根据第一装置1000的类型，第一装置1000可包括至少两个显示单元1210。这里，所述至少两个显示单元1210可通过使用铰链而彼此相对。
声音输出单元1220可输出从通信单元1500接收的或存储在存储器1700中的音频数据。另外，声音输出单元1220输出与由第一装置1000执行的功能相关的声音信号(例如，呼叫信号接收声音、消息接收声音、告警声音等)。声音输出单元1220可包括扬声器、蜂鸣器等。
振动马达1230可输出振动信号。例如，振动马达1230可输出与音频数据(例如，呼叫信号接收声音、消息接收声音等)或视频数据的输出相应的振动信号。另外，当触摸经由触摸屏被输入时，振动马达1230可输出振动信号。
控制单元1300可总体上控制第一装置100的所有操作。例如，控制单元1300可通过运行存储在存储器1700中的程序来控制用户输入单元1100、输出单元1200、感测单元1400、通信单元1500、A/V输入单元1600等。控制单元1300可总体上控制用户输入单元1100、输出单元1200、感测单元1400、通信单元1500、A/V输入单元1600等以执行图1到图49中的第一装置1000的操作。
更详细地，控制单元1300可激活“语音-消息”呼叫功能。当第一装置1000向第二装置2000发送呼叫时，控制单元1300可激活“语音-消息”呼叫功能。可选地，当第一装置1000从第二装置2000接收呼叫时，控制单元1300可激活“语音-消息”呼叫功能。可选地，在第一装置1000与第二装置2000执行呼叫的同时，控制单元1300可激活“语音-消息”呼叫功能。
另外，当“语音-消息”呼叫功能被激活时，控制单元1300可向第二装置2000通知“语音-消息”呼叫功能在第一装置1000中被激活。在这种情况下，控制单元1300可向第二装置2000通知第一装置1000的“语音-消息”呼叫的呼叫模式。
控制单元1300可获得从第一装置1000的用户的语音和第二装置2000的用户的语音转换的文本。控制单元1300可将第一装置1000的用户的语音转换为文本，从而可获得转换的文本。另外，控制单元1300可经由通信单元1500从第二装置2000接收第二装置2000的用户的语音，可将所述语音转换为文本，从而可获得转换的文本。然而，由第一装置1000执行的获得转换的文本的方法不限于此。第一装置1000的用户的语音和第二装置2000的用户的语音可由各种装置或服务器转换为文本，并且第一装置1000可经由通信单元1500从各种装置和服务器接收转换的文本。
控制单元1300可获得由用户输入的文本。控制单元1300可在“语音-消息”呼叫期间获得由第一装置1000的用户输入的文本。另外，在“语音-消息”呼叫期间，控制单元1300可从第二装置2000接收由第二装置2000的用户输入到第二装置2000的文本。
控制单元1300可在用户之间的呼叫期间按时间顺序来布置转换的文本和输入的文本，并可在第一装置1000的屏幕上显示转换的文本和输入的文本。控制单元1300可基于语音和文本的输入时间，按时间顺序来布置转换的文本和输入的文本。例如，基于第一装置1000的用户将语音输入到第一装置1000的时间、第二装置2000的用户将语音输入到第二装置2000的时间、第一装置1000的用户将文本输入到第一装置1000的时间以及第二装置2000的用户将文本输入到第二装置2000的时间，控制单元1300可布置转换的文本和输入的文本。
控制单元1300可在存储器1700或服务器3000中备份转换的文本的原始语音数据。控制单元1300可备份与从第一用户的语音转换的文本相应的第一用户的语音数据。另外，控制单元1300可备份与从第二用户的语音转换的文本相应的第二用户的语音数据。
在第一用户与第二用户之间的呼叫期间，控制单元1300可在第一装置1000的屏幕上显示聊天窗口。控制单元1300可在第一装置1000的屏幕上显示聊天窗口以显示第一用户与第二用户之间的对话的内容。
控制单元1300可获得由第一用户经由聊天窗口输入的文本。另外，控制单元1300可从第二装置2000接收在“语音-消息”呼叫期间第二用户输入到第二装置2000的文本。
控制单元1300可按时间顺序来布置转换的文本和输入的文本，并可在聊天窗口中显示转换的文本。控制单元1300可基于语音和文本的输入时间，按时间顺序来布置转换的文本和输入的文本。例如，基于第一用户将语音输入到第一装置1000的时间、第二用户将语音输入到第二装置2000的时间、第一用户将文本输入到第一装置1000的时间以及第二用户将文本输入到第二装置2000的时间，控制单元1300可布置转换的文本和输入的文本。
控制单元1300可在转换的文本与输入的文本之间进行区分，并可显示转换的文本和输入的文本。控制单元1300可将从第一用户的语音转换的文本和从第二用户的语音转换的文本与由第一用户输入的文本和由第二用户输入的文本进行区分，并可显示所述文本。
为了区分地显示转换的文本，控制单元1300可在转换的文本周围显示单独的图标。可选地，控制单元1300可区分地显示转换的文本的颜色、粗细或字体。然而，一个或更多个示例性实施例不限于此。
当转换的文本之中的至少一个转换的文本被选择时，控制单元1300可输出所选择的转换的文本的原始语音数据。当转换的文本在聊天窗口中被第一用户选择时，控制单元1300可从存储器提取所选择的转换的文本的原始语音数据，并可经由第一装置1000中的扬声器输出提取的原始语音数据。
控制单元1300可备份布置的文本之中的文本，其中，在发生预定事件之前的预设时间段内获得所述文本。例如，预定事件可包括第一装置1000与第二装置2000之间的呼叫的结束、用于文本备份的用户输入的接收等。作为一个示例，当第一装置1000与第二装置2000之间的呼叫结束时，第一装置1000可备份由第一装置1000在呼叫结束之前的五分钟内获得的文本。作为另一示例，当第一装置1000接收到用于文本备份的用户输入时，控制单元1300可备份由第一装置1000在用户输入被接收之前的三分钟内获得的文本。然而，针对文本备份设置的事件的类型和时间值不限于此。
控制单元1300可在服务器3000中备份所有布置的文本。在这种情况下，控制单元1300可在第一装置1000中备份一些布置的文本，并可在服务器3000中备份所有布置的文本。可选地，第一装置1000可在服务器3000中备份一些布置的文本和所有布置的文本。
控制单元1300可通过对所有布置的文本执行各种基于自然语言的分析方法来分析用户之间的对话，并可从布置的文本中提取指示用户之间的对话的重要内容的一部分布置的文本。另外，控制单元1300可在第一装置1000中备份指示提取的一部分对话的文本。
控制单元1300可激活“语音-消息”呼叫功能，并可确定将在“语音-消息”呼叫期间使用的聊天应用。作为一个示例，控制单元1300可将能够通过与第一装置1000的“语音-消息”呼叫功能进行交互操作而运行的聊天应用确定为将在“语音-消息”呼叫期间使用的聊天应用。作为另一示例，控制单元1300可将安装在第一装置1000和第二装置2000两者中的聊天应用确定为将在“语音-消息”呼叫期间使用的聊天应用。然而，一个或更多个示例性实施例不限于此。
控制单元1300可运行确定的聊天应用，并可将从语音转换的文本输入到运行的聊天应用。例如，控制单元1300可在运行的聊天应用中安装用于文本自动输入的插件，并可经由安装的插件将从语音转换的文本输入到聊天应用。然而，一个或更多个示例性实施例不限于此。
在用户之间的呼叫期间，控制单元1300可在第一装置1000的屏幕上显示聊天窗口。控制单元1300可在聊天窗口中布置从第一用户的语音转换的文本、由第一用户输入到第一装置1000的文本、从第二用户的语音转换的文本以及由第二用户输入到第二装置2000的文本。
另外，根据第一装置1000的“语音-消息”呼叫的呼叫模式，控制单元1300可在第一装置1000的屏幕上显示聊天窗口或可隐藏第一装置1000的屏幕中的聊天窗口。
在第一装置1000和第二装置2000使用聊天服务的同时，控制单元1300可发起“语音-消息”呼叫。
控制单元1300可在“语音-消息”呼叫期间识别第一装置1000的呼叫模式被改变。呼叫模式可包括语音模式、文本模式和组合模式。当呼叫模式被改变时，控制单元1300可激活或禁用第一装置1000的扬声器和麦克风中的至少一个。另外，当呼叫模式被改变时，控制单元1300可在第一装置1000的屏幕上显示或隐藏在“语音-消息”呼叫中使用的聊天窗口。另外，根据第二装置2000的呼叫模式，控制器1300可选择性地将用户的语音或文本提供给第二装置2000。
控制单元1300可向第一用户通知第二装置2000的呼叫模式的改变，并可推荐第一用户来改变第一装置1000的呼叫模式。另外，控制单元1300可在组合模式期间向第一用户通知第二装置2000的输入/输出功能的改变，并可推荐第一用户来改变第一装置1000的呼叫模式。
控制单元1300可在第一装置1000或服务器3000中备份关于聊天窗口中的文本的文本信息中的一部分或全部文本信息。控制单元1300可将聊天窗口中的文本信息与呼叫列表相关联，并可存储所述呼叫列表。
感测单元1400可感测第一装置100的状态或在第一装置100周围的环境的状态，并可将关于感测的状态的信息传送到控制单元1300。
感测单元1400可包括以下传感器中的至少一个：磁传感器1410、加速度传感器1420、温度/湿度传感器1430、红外传感器1440、陀螺仪传感器1450、位置传感器(例如，GPS)1460、气压传感器1470、接近传感器1480和RGB传感器(即，亮度传感器)1490，但本发明的一个或更多个实施例不限于此。本领域普通技术人员可通过参考传感器的名称直观地推断出传感器的功能，因此，在此省略它们的详细描述。
通信单元1500可包括允许第一装置1000执行与第二装置2000、第三装置4000和服务器3000中的至少一个的通信的一个或更多个元件。例如，通信单元1500可包括短程通信单元1510、移动通信单元1520和广播接收单元1530。
短程通信单元1510可包括，但不限于，蓝牙通信单元、BLE通信单元、NFC/RFID单元、Wi-Fi通信单元、ZigBee通信单元、IrDA通信单元、WFD通信单元、UWB通信单元或Ant+通信单元等。
移动通信单元1520在移动通信网络上与基站、外部终端和服务器中的至少一个发送并接收无线信号。根据语音呼叫信号、视频呼叫信号或文本/多媒体消息的通信，无线信号可包括各种类型的数据。
广播接收单元1530通过广播信道从外部接收广播信号和/或与广播相关的信息。广播信道可包括卫星信道和地面波信道。根据实施例，第一装置1000可不包括广播接收单元1530。
通信单元1500可允许第一装置100与第二装置2000、第三装置4000和服务器3000中的至少一个交换用于“语音-消息”呼叫的信息。
A/V输入单元1600可接收音频信号或视频信号的输入，并可包括相机1610和麦克风1620。相机1610可在视频呼叫模式或图像捕获模式期间，经由图像传感器获得图像帧(诸如，静止图像或运动画面)。经由图像传感器捕获的图像可由控制器1300或单独的图像处理单元来处理。
由相机1610处理的图像帧可被存储在存储器1700中，或经由通信单元1500被发送到外部源。根据第一装置1000的配置，可布置两个或更多个相机1610。
麦克风1620接收外部声音信号作为输入，并将接收到的声音信号处理为电子语音数据。例如，麦克风1620可从外部装置或扬声器接收声音信号。为了去除在从外部输入声音信号时产生的噪声，麦克风1620可使用各种去噪算法。
存储器1700可存储用于处理和控制控制单元1300的程序，并可存储输入到第一装置1000或从第一装置1000输出的多条数据。
存储器1700可包括以下类型中的至少一种类型的存储介质：闪速存储器、硬盘、多媒体卡式存储器、卡式存储器(诸如，SD或XD卡存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘和光盘。
存储在存储器1700中的程序可根据它们的功能被分类为多种模块，例如，用户界面(UI)模块1710、触摸屏模块1720、告警模块1730等。
UI模块1710可针对每个应用提供与第一装置1000相连的专门的UI或图形用户界面(GUI)。触摸屏模块1720可检测触摸屏上的用户触摸手势，并将与触摸手势相关的信息发送到控制单元1300。触摸屏模块1720可识别并分析触摸代码。可通过包括控制器的附加硬件来配置触摸屏模块1720。
各种传感器可被布置在触摸屏中或触摸屏附近以检测触摸传感器上的触摸或接近触摸。用于检测触摸屏上的触摸的传感器的示例可包括触觉传感器。触觉传感器至少以人可察觉的敏感度来检测特定对象的接触。触觉传感器可检测各种类型的信息(诸如，接触面的粗糙度、接触对象的硬度、接触点的温度等)。
用于检测触摸屏上的触摸的传感器的示例可包括接近传感器。
接近传感器通过使用电磁场力或红外线来检测接近预定检测表面或位于附近的对象的存在，而非检测机械接触。接近传感器的示例包括：透射型光电传感器、方向反射型光电传感器、镜反射型光电传感器、高频振荡型接近传感器、电容型接近传感器、磁接近传感器、红外型接近传感器等。用户的触摸手势(即，输入)可包括点击手势、触摸保持手势、双击手势、拖拽手势、平移(panning)手势、轻拂(flick)手势、拖放手势、轻扫(swipe)手势等。
告警模块1730可产生用于告警事件发生的信号。在第一装置1000中发生的事件的示例可包括呼叫信号接收、消息接收、键信号输入、日程通知等。告警模块1730可经由显示单元1210输出视频格式告警信号，可经由声音输出单元1220输出音频格式告警信号，或可经由振动马达1230输出振动信号。
图51是示出根据示例性实施例的服务器3000的框图。
参照图51，服务器3000可包括通信单元3100、控制单元3200和数据库(DB)3300。DB3300可包括语音DB 3310、文本DB 3320和呼叫列表DB 3330。
通信单元3100可将在第一装置1000、第二装置2000和第三装置4000中的至少两个装置之间执行“语音-消息”呼叫所需的数据发送到第一装置1000、第二装置2000和第三装置4000中的所述至少两个装置。
控制单元3200可总体上控制服务器3000的全部操作。例如，控制单元3200可通过运行存储在DB 3200中的程序来控制服务器3000的所有操作。
更详细地，控制器3200可将从第一装置1000接收的第一用户的文本和从第二装置2000接收的第二用户的文本中的至少一个文本转换为语音。控制单元3200可在考虑关于第一用户的用户信息(例如，性别和年龄)的情况下确定从第一用户的文本转换的语音的语调。此外，控制单元3200可在考虑关于第二用户的用户信息(例如，性别和年龄)的情况下确定从第二用户的文本转换的语音的语调。
此外，控制单元3200可经由通信单元3100将从第一用户的文本转换的语音发送到第一装置1000和第二装置2000中的至少一个装置。此外，控制单元3200可经由通信单元3100将从第二用户的文本转换的语音发送到第一装置1000和第二装置2000中的至少一个装置。
此外，控制单元3200可经由通信单元3100从第一装置1000接收由第一用户输入的文本，并可将接收的文本发送到第二装置2000。此外，控制单元3200可经由通信单元3100从第二装置2000接收由第二用户输入的文本，并可将接收的文本发送到第一装置1000。
控制单元3200可将从第一装置1000接收的第一用户的语音和从第二装置2000接收的第二用户的语音中的至少一个语音转换为文本。
控制单元3200可经由通信单元3100将从第一用户的语音转换的文本发送到第一装置1000和第二装置2000中的至少一个装置。此外，控制单元3200可经由通信单元3100将从第二用户的语音转换的文本发送到第一装置1000和第二装置2000中的至少一个装置。
控制单元3200可经由通信单元3100从第一装置1000接收由第一用户输入的语音，并可将接收的语音发送到第二装置2000。此外，控制单元3200可经由通信单元3100从第二装置2000接收由第二用户输入的语音，并可将接收的语音发送到第一装置1000。
控制单元3200可存储指示执行“语音-消息”呼叫的用户之间的对话的文本。控制单元3200可存储指示执行“语音-消息”呼叫的用户之间的对话的文本中的一部分和/或全部。控制单元3200可获得从第一用户输入到第一装置1000的语音转换的文本、从第二用户输入到第二装置2000的语音转换的文本、第一用户输入到第一装置1000的文本和第二用户输入到第二装置2000的文本。
控制单元3200可从第一装置1000、第二装置2000和服务器3000中的至少一个获得指示用户之间的对话的文本。此外，控制单元3200可将获得的文本中的一部分和/或全部存储在DB 3300中。
控制单元3200可存储指示执行“语音-消息”呼叫的用户之间的对话的语音数据。控制单元3200可存储指示执行“语音-消息”呼叫的用户之间的对话的语音数据中的一部分和/或全部。控制单元3200可获得从第一用户输入到第一装置1000的文本转换的语音数据、从第二用户输入到第二装置2000的文本转换的语音数据、第一用户输入到第一装置1000的语音数据和第二用户输入到第二装置2000的语音数据。
控制单元3200可从第一装置1000、第二装置2000和服务器3000中的至少一个获得指示用户之间的对话的语音数据。此外，控制单元3200可将获得的语音数据中的一部分和/或全部存储在DB 3300中。
控制单元3200可产生与在用户之间的“语音-消息”呼叫相关的呼叫列表。此外，控制单元3200可将存储的文本和存储的语音数据与在用户之间的“语音-消息”呼叫相关的呼叫列表进行匹配。
DB 3200可存储在第一装置1000、第二装置2000和第三装置4000中的至少两个装置之间的“语音-消息”呼叫的数据。
语音DB 3310可存储用户的多条语音数据。语音DB 3310可存储由用户输入的语音数据和从用户输入的文本转换的语音数据。此外，语音DB 3310可存储关于用户的多条语音数据的多条属性信息。关于语音数据的属性信息可被用于对用户输入的语音与从用户输入的文本转换的语音进行区分。然而，本发明的一个或更多个实施例不限于此。
文本DB 3320可存储用户的文本。文本DB 3320可存储由用户输入的文本和从用户输入的语音转换的文本。此外，文本DB 3320可存储关于用户的文本的多条属性信息。关于文本的属性信息可被用于对用户输入的文本与从用户输入的语音转换的文本进行区分。然而，本发明的一个或更多个实施例不限于此。
呼叫列表DB 3330可存储与在用户之间的“语音-消息”呼叫相关的呼叫列表。呼叫列表DB 3330也可存储关于呼叫列表DB 3330的各种类型的信息。存储在呼叫列表DB 3330中的数据可与存储在语音DB 3310中的数据和存储在文本DB中的数据互相匹配。
示例性实施例可被实施为记录介质上的计算机可读代码/指令，例如，将在计算机中运行的程序模块，其中，所述程序模块包括计算机可读命令。计算机存储介质可包括可由计算机访问的任何可用介质、易失性和非易失性介质以及可拆卸和非可拆卸介质。此外，计算机存储介质可包括计算机存储介质和通信介质。计算机存储介质包括技术上实现为用于存储包括计算机可读命令、数据结构、程序模块或其它数据的信息的所有易失性和非易失性介质以及可拆卸和非可拆卸介质。通信介质包括计算机可读命令、数据结构、程序模块、作为诸如载波信号的调制型数据信号其它数据或其它传输机制，并包括其它信息传输介质。
贯穿说明书，术语“单元”指示诸如处理器或电路的硬件组件和/或由诸如处理器的硬件组件运行的软件组件。
应理解，在此描述的示例性实施例应仅被理解为描述性的，而非限制的目的。在每个实施例内的特征或方面的描述应通常被理解为可用于其它实施例中的其它相似特征或方面。例如，作为单独形式的配置元件可按照分布式来运行，此外，分布式的配置元件可被组合并随后被运行。
虽然已经具体示出并描述了示例性实施例，但是本领域普通技术人员将理解：在不脱离由权利要求限定的本公开的精神和范围的情况下，可对其进行形式上和细节上的各种改变。

Claims (9)

1.一种用于提供第一电子装置与第二电子装置之间的呼叫的系统，所述系统包括：
服务器，包括：
至少一个存储器，用于存储第一指令，以及
至少一个处理器，被配置为执行第一指令以在第一电子装置与第二电子装置之间的所述呼叫期间，至少执行以下操作：
进行控制以获取从源于第一电子装置的第一语音数据产生的第一文本数据，其中，第一语音数据在第一电子装置处通过第一电子装置的应用被输入并被向第二电子装置发送，并且所述应用用于执行所述呼叫，
进行控制以向第一电子装置和第二电子装置发送获取的第一文本数据，
进行控制以获取从源于第二电子装置的第二语音数据产生的第二文本数据，其中，第二语音数据在第二电子装置处通过第二电子装置的用于执行所述呼叫的应用被输入并被向第一电子装置发送，以及
进行控制以向第一电子装置和第二电子装置发送获取的第二文本数据，其中，在所述呼叫期间，针对所述呼叫的语音-消息呼叫功能被激活；以及
第一电子装置，包括：
存储器，用于存储第二指令，以及
处理器，被配置为执行第二指令以至少执行以下操作：
进行控制以执行第一电子装置的用于执行第一电子装置与第二电子装置之间的所述呼叫的所述应用，
在第一电子装置与第二电子装置之间的所述呼叫期间：
进行控制以通过第一电子装置的用于执行所述呼叫的所述应用获取由第一电子装置的第一用户输入的第三文本数据，其中，在所述呼叫期间，第三文本数据被向第二电子装置发送，
进行控制以通过第一电子装置的用于执行所述呼叫的所述应用获取在第二电子装置处由第二电子装置的第二用户输入的第四文本数据，其中，在所述呼叫期间，在第二电子装置处通过第二电子装置的用于执行所述呼叫的应用输入的第四文本数据被向第一电子装置发送，
进行控制以通过第一电子装置的用于执行所述呼叫的所述应用获取第一文本数据、第二文本数据和第二语音数据，以及进行控制以通过第一电子装置的用于执行所述呼叫的所述应用的聊天界面提供第一文本数据、第二文本数据、第三文本数据、第四文本数据并通过第一电子装置的音频输出单元提供第二语音数据。
2.如权利要求1所述的系统，其中，所述服务器的所述至少一个处理器被配置为执行第一指令以在第一电子装置与第二电子装置之间的所述呼叫期间还执行以下操作：
基于获取到源于第一电子装置的第三文本数据，进行控制以向第二电子装置发送第三文本数据，以及
基于获取到源于第二电子装置的第四文本数据，进行控制以向第一电子装置发送第四文本数据。
3.如权利要求1所述的系统，其中，基于获取到第一语音数据和第二语音数据，第一语音数据和第二语音数据被备份在所述服务器中。
4.如权利要求1所述的系统，其中，在第一电子装置与第二电子装置之间执行的呼叫的列表被存储在所述服务器处并且与第三文本数据和第四文本数据相关联。
5.如权利要求1所述的系统，其中，第一文本数据和第二文本数据中的至少一个与第三文本数据和第四文本数据两者一起被显示在第一电子装置处。
6.一种用于执行第一电子装置与第二电子装置之间的呼叫的方法，所述方法包括：
在第一电子装置与第二电子装置之间的所述呼叫期间：
获取从源于第一电子装置的第一语音数据产生的第一文本数据，其中，第一语音数据在第一电子装置处通过第一电子装置的应用被输入并被向第二电子装置发送，所述应用用于执行所述呼叫；
向第一电子装置和第二电子装置发送获取的第一文本数据；
获取从源于第二电子装置的第二语音数据产生的第二文本数据，其中，第二语音数据在第二电子装置处通过用于执行所述呼叫的应用被输入并被向第一电子装置
发送；
向第一电子装置和第二电子装置发送获取的第二文本数据；
基于获取到源于第一电子装置的第三文本数据，向第二电子装置发送第三文本数据，其中，第三文本数据由第一电子装置的第一用户在第一电子装置处通过用于执行所述呼叫的所述应用输入；以及基于获取到源于第二电子装置的第四文本数据，向第一电子装置发送第四文本数据，其中，第四文本数据由第二电子装置的第二用户在第二电子装置处通过用于执行所述呼叫的应用输入，
其中，在第一电子装置与第二电子装置之间的所述呼叫期间，第一文本数据、第二文本数据、第三文本数据、第四文本数据通过用于执行所述呼叫的所述应用的聊天界面被提供并且第二语音数据通过第一电子装置的音频输出单元被提供，
其中，在所述呼叫期间，针对所述呼叫的语音-消息功能被激活。
7.如权利要求6所述的方法，其中，基于获取到第一语音数据和第二语音数据，第一语音数据和第二语音数据被备份在服务器中。
8.如权利要求6所述的方法，其中，在第一电子装置与第二电子装置之间执行的呼叫的列表被存储在服务器中并且与第三文本数据和第四文本数据相关联。
9.如权利要求6所述的方法，其中，第一文本数据和第二文本数据中的至少一个与第三文本数据和第四文本数据两者一起被显示在第一电子装置处。
CN201911159183.0A 2014-05-23 2015-05-25 提供“语音-消息”呼叫服务的系统和方法 Active CN110875878B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20140062569 2014-05-23
KR10-2014-0062569 2014-05-23
KR10-2015-0071231 2015-05-21
KR1020150071231A KR102225401B1 (ko) 2014-05-23 2015-05-21 음성 문자 통화 서비스를 제공하는 시스템 및 방법
CN201510271220.2A CN105100511B (zh) 2014-05-23 2015-05-25 提供“语音-消息”呼叫服务的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201510271220.2A Division CN105100511B (zh) 2014-05-23 2015-05-25 提供“语音-消息”呼叫服务的系统和方法

Publications (2)

Publication Number Publication Date
CN110875878A CN110875878A (zh) 2020-03-10
CN110875878B true CN110875878B (zh) 2021-12-14

Family

ID=54883406

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911158150.4A Active CN110933238B (zh) 2014-05-23 2015-05-25 提供“语音-消息”呼叫服务的系统和方法
CN201911159183.0A Active CN110875878B (zh) 2014-05-23 2015-05-25 提供“语音-消息”呼叫服务的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201911158150.4A Active CN110933238B (zh) 2014-05-23 2015-05-25 提供“语音-消息”呼叫服务的系统和方法

Country Status (6)

Country Link
EP (1) EP3793178B1 (zh)
JP (2) JP6688783B2 (zh)
KR (1) KR102225401B1 (zh)
CN (2) CN110933238B (zh)
MX (1) MX369624B (zh)
RU (1) RU2692763C2 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6836768B2 (ja) * 2016-07-01 2021-03-03 大都販売株式会社 通信システム
KR101968669B1 (ko) * 2017-08-22 2019-04-12 네이버 주식회사 통화 서비스 제공 방법 및 컴퓨터 프로그램
JP7037426B2 (ja) * 2018-04-25 2022-03-16 京セラ株式会社 電子機器及び処理システム
JP6832971B2 (ja) * 2019-03-19 2021-02-24 Ｌｉｎｅ株式会社 プログラム、情報処理方法、端末
JP7307228B2 (ja) * 2019-03-19 2023-07-11 Ｌｉｎｅ株式会社 プログラム、情報処理方法、端末
KR102166264B1 (ko) * 2019-05-08 2020-10-15 포인트아이 주식회사 텍스트 통화 서비스 제공 시스템
KR102597972B1 (ko) 2021-09-05 2023-11-02 박윤학 스마트폰의 문자 메시지를 노래로 만들어 송수신하는 방법 및 이를 위한 노래 문자 송수신 시스템

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1874389A (zh) * 2005-06-03 2006-12-06 乐金电子(中国)研究开发中心有限公司 广播用终端及其文字语音通话方法
CN101496096A (zh) * 2006-07-31 2009-07-29 高通股份有限公司 话音及文本通信系统、方法及设备
CN101610465A (zh) * 2008-06-18 2009-12-23 朗讯科技公司 用于将文本信息转换为语音信息的通信方法及通信系统
US8060565B1 (en) * 2007-01-31 2011-11-15 Avaya Inc. Voice and text session converter
CN102355646A (zh) * 2010-09-07 2012-02-15 微软公司 用于转录多方对话的移动通信设备
CN102447782A (zh) * 2011-10-21 2012-05-09 于梦媛 一种能够在通话中实时呈现通话内容的电话终端
JP2013009367A (ja) * 2011-05-24 2013-01-10 Ntt Docomo Inc サービスサーバ装置、サービス提供方法、サービス提供プログラム
CN103596155A (zh) * 2012-08-16 2014-02-19 三星电子株式会社 用于提供使用文本数据的语音通话的方法及其电子装置
WO2014061876A1 (ko) * 2012-10-21 2014-04-24 에스케이플래닛 주식회사 메신저 제어 방법을 위한 기록 매체, 이를 위한 장치 및 시스템

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100208634A1 (en) * 1994-10-11 2010-08-19 Arbinet Corporation System and Method For Managing Multimedia Communications Across Convergent Networks
US20030055649A1 (en) * 2001-09-17 2003-03-20 Bin Xu Methods for accessing information on personal computers using voice through landline or wireless phones
ATE423354T1 (de) * 2002-04-02 2009-03-15 Verizon Business Global Llc Nachrichtenantwortsystem
JP2004129174A (ja) * 2002-08-06 2004-04-22 Ricoh Co Ltd 情報通信装置、情報通信プログラム、及び記録媒体
JP3938033B2 (ja) * 2002-12-13 2007-06-27 株式会社日立製作所 通信端末およびそれを用いたシステム
US7158779B2 (en) * 2003-11-11 2007-01-02 Microsoft Corporation Sequential multimodal input
US7917178B2 (en) * 2005-03-22 2011-03-29 Sony Ericsson Mobile Communications Ab Wireless communications device with voice-to-text conversion
RU2324296C1 (ru) * 2007-03-26 2008-05-10 Закрытое акционерное общество "Ай-Ти Мобайл" Способ обмена сообщениями и устройства для его реализации
US8478598B2 (en) * 2007-08-17 2013-07-02 International Business Machines Corporation Apparatus, system, and method for voice chat transcription
US20090326939A1 (en) * 2008-06-25 2009-12-31 Embarq Holdings Company, Llc System and method for transcribing and displaying speech during a telephone call
JP5685702B2 (ja) * 2009-11-10 2015-03-18 株式会社アドバンスト・メディア 音声認識結果管理装置および音声認識結果表示方法
JP5755944B2 (ja) * 2011-06-10 2015-07-29 京セラ株式会社 電子機器、その制御方法及び制御プログラム
US20130055099A1 (en) * 2011-08-22 2013-02-28 Rose Yao Unified Messaging System with Integration of Call Log Data
US9014358B2 (en) 2011-09-01 2015-04-21 Blackberry Limited Conferenced voice to text transcription
US8886169B2 (en) * 2011-10-25 2014-11-11 At&T Intellectual Property I, Lp Apparatus and method for providing enhanced telephonic communications
CN102710539A (zh) * 2012-05-02 2012-10-03 中兴通讯股份有限公司 语音信息传送方法及装置
WO2018061876A1 (ja) 2016-09-29 2018-04-05 株式会社ニコン 撮像装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1874389A (zh) * 2005-06-03 2006-12-06 乐金电子(中国)研究开发中心有限公司 广播用终端及其文字语音通话方法
CN101496096A (zh) * 2006-07-31 2009-07-29 高通股份有限公司 话音及文本通信系统、方法及设备
US8060565B1 (en) * 2007-01-31 2011-11-15 Avaya Inc. Voice and text session converter
CN101610465A (zh) * 2008-06-18 2009-12-23 朗讯科技公司 用于将文本信息转换为语音信息的通信方法及通信系统
CN102355646A (zh) * 2010-09-07 2012-02-15 微软公司 用于转录多方对话的移动通信设备
JP2013009367A (ja) * 2011-05-24 2013-01-10 Ntt Docomo Inc サービスサーバ装置、サービス提供方法、サービス提供プログラム
CN102447782A (zh) * 2011-10-21 2012-05-09 于梦媛 一种能够在通话中实时呈现通话内容的电话终端
CN103596155A (zh) * 2012-08-16 2014-02-19 三星电子株式会社 用于提供使用文本数据的语音通话的方法及其电子装置
WO2014061876A1 (ko) * 2012-10-21 2014-04-24 에스케이플래닛 주식회사 메신저 제어 방법을 위한 기록 매체, 이를 위한 장치 및 시스템

Also Published As

Publication number Publication date
MX369624B (es) 2019-11-14
RU2016150546A3 (zh) 2018-12-27
KR102225401B1 (ko) 2021-03-09
RU2016150546A (ru) 2018-06-25
JP2020065293A (ja) 2020-04-23
KR20150135134A (ko) 2015-12-02
CN110933238A (zh) 2020-03-27
MX2016015285A (es) 2017-03-03
JP6925458B2 (ja) 2021-08-25
CN110875878A (zh) 2020-03-10
JP6688783B2 (ja) 2020-04-28
CN110933238B (zh) 2022-02-08
RU2692763C2 (ru) 2019-06-27
EP3793178B1 (en) 2022-06-29
EP3793178A1 (en) 2021-03-17
JP2017517228A (ja) 2017-06-22

Similar Documents

Publication Publication Date Title
CN108810291B (zh) 提供“语音-消息”呼叫服务的系统和方法
CN110875878B (zh) 提供“语音-消息”呼叫服务的系统和方法
US10587742B2 (en) Mobile terminal and control method therefor
KR102345649B1 (ko) 휴대용 장치가 웨어러블 장치를 통하여 정보를 표시하는 방법 및 그 장치
KR20180076830A (ko) 오디오 장치 및 그 제어방법
CN110493753B (zh) 可穿戴装置和在可穿戴装置中设置通知消息的接收的方法
CN105190580A (zh) 用于提供关于无线通信装置的时区的信息的方法和系统
KR20160089782A (ko) 이동 단말기 및 그 제어 방법
KR20160122502A (ko) 단말 장치 및 제어 방법
KR20160031209A (ko) 이동단말기 및 그 제어방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant