CN108353103B - 用于推荐响应消息的用户终端设备及其方法 - Google Patents

用于推荐响应消息的用户终端设备及其方法 Download PDF

Info

Publication number
CN108353103B
CN108353103B CN201680065412.0A CN201680065412A CN108353103B CN 108353103 B CN108353103 B CN 108353103B CN 201680065412 A CN201680065412 A CN 201680065412A CN 108353103 B CN108353103 B CN 108353103B
Authority
CN
China
Prior art keywords
multimedia message
user terminal
terminal device
content
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680065412.0A
Other languages
English (en)
Other versions
CN108353103A (zh
Inventor
金瑜娜
金德镐
朴奎泰
慎峻范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108353103A publication Critical patent/CN108353103A/zh
Application granted granted Critical
Publication of CN108353103B publication Critical patent/CN108353103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/42—Graphical user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了一种用户终端设备。该用户终端设备包括：通信器；显示器；以及处理器，被配置为通过通信器接收来自另一电子设备的消息，控制显示器显示接收的消息，并且通过分析接收的消息，基于作为包括图像、声音和视频中的至少一个的多媒体消息的接收的消息，来控制显示器显示与包括在多媒体消息中的内容的类型相对应的推荐响应列表。因此，改善了使用用户终端设备的用户的便利性。

Description

用于推荐响应消息的用户终端设备及其方法
技术领域
与本公开一致的装置和方法涉及用于推荐响应消息的用户终端设备及其方法，并且更具体地涉及用于接收多媒体消息并推荐响应消息的用户终端设备及其方法。
背景技术
根据电子技术的发展，各种类型的电子产品已经被开发和推广，并且消息已经在包括各种通信功能的电子设备之间发送。最近，还提供了提供与接收的消息相对应的推荐响应的功能。然而，取决于接收的消息的种类，也有可能无法提供推荐响应的情况。
图1A和图1B是用于描述相关技术的视图。
图1A示出了在接收文本消息的情况下的推荐响应。电子设备使用自然语言处理技术来提供与由另一方发送的文本消息相对应的推荐响应。自然语言处理技术意味着处理要由计算机理解的人类用于通信的语言的技术，或者以人类用于通信的语言表达由计算机处理的信息的技术。
图1B示出了接收包括图像的消息的情况。在相关领域中，只有文本分析是可能的，才使得可以不提供对包括诸如图像的多媒体的消息的推荐响应。
因此，即使在接收多媒体消息的情况下也能够提供推荐响应的方法的必要性已经增加。
技术问题
本公开提供了一种用于推荐与接收的多媒体消息相对应的响应消息的用户终端设备及其方法。
技术方案
根据本公开的一方面，用户终端设备包括：通信器，被配置为通过执行与另一电子设备的通信来接收来自另一电子设备的消息；显示器，被配置为显示接收的消息；以及处理器，被配置为当通过分析接收的消息判定所接收的消息是多媒体消息时，控制显示器显示与包括在包括图像、声音和视频中的至少一个的多媒体消息中的内容的类型相对应的推荐响应列表。
处理器可以通过分析多媒体消息来提取内容的类型的详细信息，并且显示与提取的详细信息相对应的推荐响应列表。
处理器可以在接收到多媒体消息之前基于向另一电子设备的用户发送或从另一电子设备的用户接收的消息的内容，来显示与多媒体消息相对应的推荐响应列表。
处理器可以在接收到多媒体消息的时间点处基于内容的类型和用户的情境中的至少一个，来显示与多媒体消息相对应的推荐响应列表。
处理器可以基于用户终端设备中激活的功能、由包括在用户终端设备中的至少一个传感器的感测结果、用户终端设备中注册的时间表和用户终端设备中的使用行为模式中的至少一个来确定用户的情境。
处理器可以基于用户终端设备的用户的年龄和性别中的至少一个来显示与多媒体消息的类型相对应的推荐响应列表。
在第一类型的内容和不同于第一类型的内容的第二类型的内容被包括在多媒体消息中的情况下，处理器可以显示与第一类型的内容和第二类型的内容中的至少一个相对应的推荐响应列表。
用户终端设备还可以包括储存器，该储存器被配置为存储关于内容的类型和与内容的类型相对应的推荐响应列表之间的映射的映射信息，其中当接收到多媒体消息时，处理器基于存储在储存器中的映射信息来显示与包括在多媒体消息中的内容的类型相对应的推荐响应列表。
处理器可以针对内容的类型中的每一个来存储用户对多媒体消息的响应，以更新映射信息。
处理器可以显示用于发送包括在推荐响应列表中的一个或多个响应中的每一个的第一图形用户界面(Graphic User Interface，GUI)和用于编辑一个或多个响应中的每一个的第二GUI中的至少一个。
根据本公开的另一方面，一种用于推荐用户终端设备的响应消息的方法包括：通过执行与另一电子设备的通信来接收来自另一电子设备的消息；显示接收的消息；以及当通过分析所接收的消息判定接收的消息是多媒体消息时，显示与包括在包括图像、声音和视频中的至少一个的多媒体消息中的内容的类型相对应的推荐响应列表。
推荐响应列表的显示可以包括：通过分析多媒体消息来提取内容的类型的详细信息；并显示与所提取的详细信息相对应的推荐响应列表。
在显示推荐响应列表时，可以实时生成推荐响应列表或者通过搜索映射表来生成推荐响应列表。
在显示推荐响应列表时，可以通过分析多媒体消息来提取内容的类型的详细信息，并且可以显示与提取的详细信息相对应的推荐响应列表。
在显示推荐响应列表时，可以在接收到多媒体消息之前基于向另一电子设备的用户发送或从另一电子设备的用户接收的消息的内容,来显示与多媒体消息相对应的推荐响应列表。
在显示推荐响应列表时，可以在接收到多媒体消息的时间点处基于内容的类型和用户的情境中的至少一个，来显示与多媒体消息相对应的推荐响应列表。
用于推荐响应消息的方法还可以包括：基于用户终端设备中激活的功能、包括在用户终端设备中的至少一个传感器的感测结果、用户终端设备中注册的时间表和用户终端设备中的使用行为模式中的至少一个来确定用户的情境。
在显示推荐响应列表时，可以基于用户终端设备的用户的年龄和性别中的至少一个来显示与多媒体消息的类型相对应的推荐响应列表。
在显示推荐响应列表时，在多媒体消息中包括第一类型的内容和不同于第一类型的内容的第二类型的内容的情况下，可以显示与第一类型的内容和第二类型的内容中的至少一个相对应的推荐响应列表。
在显示推荐响应列表时，当接收到多媒体消息时，可以基于关于内容的类型和与内容的类型相对应的推荐响应列表之间的映射的映射信息，来显示与包括在多媒体消息中的内容的类型相对应的推荐响应列表。
用于推荐响应消息的方法还可以包括针对内容的类型中的每一个来存储用户对多媒体消息的响应，以更新映射信息。
在显示推荐响应列表时，可以显示用于发送包括在推荐响应列表中的一个或多个响应中的每一个的第一GUI和用于编辑一个或多个响应中的每一个的第二GUI中的至少一个。
发明的有益效果
根据如上所述的本公开的各种示例性实施例，用户终端设备提供与包括在多媒体消息中的内容的类型相对应的推荐响应列表，使得即使在接收多媒体消息的情况下，用户也可以容易地发送响应消息。
附图说明
图1A和图1B是用于描述相关技术的视图；
图2A和图2B是示出根据本公开的示例性实施例的用户终端设备的组件的框图；
图3A至图3C是用于描述用于显示推荐响应列表的方法的示例的视图；
图4A和图4B是用于描述用于显示与内容的类型的详细信息相对应的推荐响应列表的方法的示例的视图；
图5是用于描述根据本公开的示例性实施例的用于在接收到多媒体消息之前考虑消息的内容来提供推荐响应列表的方法的视图；
图6A和图6B是用于描述用于基于用户的情境来显示对应的推荐响应列表的方法的示例的视图。
图7A和图7B是用于描述用于基于用户信息来显示推荐响应列表的方法的示例的视图；
图8是用于描述根据本公开的示例性实施例的接收包括多个类型的内容的多媒体消息的情况的视图；
图9是用于描述根据本公开的示例性实施例的关于内容的类型和与内容的类型相对应的推荐响应列表之间的映射的映射信息的视图；
图10A和图10B是用于描述用于显示用于发送或编辑推荐响应的图形用户界面(GUI)的方法的示例的视图；
图11是用于描述根据本公开的另一示例性实施例的用于由服务器设备分析消息并提供推荐响应列表的方法的视图；
图12是用于描述根据本公开的示例性实施例的用于推荐用户终端设备的响应消息的方法的流程图；以及
图13是用于详细描述根据本公开的示例性实施例的用于推荐用户终端设备的响应消息的方法的流程图。
具体实施方式
在下文中，将参考附图描述本公开的各种示例性实施例。应该理解的是，本公开中提及的内容不将本公开的范围限制为具体的示例性实施例，而是包括示例性实施例的所有修改、等同物和替换。在整个附图中，类似的组件将由相同或相似的附图标记表示。
另外，诸如本公开中使用的“第一”、“第二”等的表达式将用于将各种组件彼此区分开来，而不管各自的组件的顺序或重要性。因此，对应组件的顺序或重要性不受这些表达限制。例如，在不脱离本公开的范围的情况下，第一组件可以被命名为第二组件，并且第二组件也可以被类似地命名为第一组件。
另外，当提到一个组件(例如，第一组件)在操作上或通信上耦合或连接到另一组件(例如，第二组件)时，应该理解的是，一个组件是直接地耦合到另一组件或者通过另一组件(例如，第三组件)间接地耦合到另一组件。另一方面，当提到任何组件(例如，第一组件)与另一组件(例如第二组件)“直接地耦合”或“直接地连接”时，应该理解的是，任何组件和另一组件之间不存在其他组件(例如，第三组件)。
本公开中使用的术语将用于描述具体的示例性实施例，而不是限制其他示例性实施例的范围。另外，在本公开中，为了便于解释，可以使用单数形式。然而，除非在上下文中另外明确指示，否则这些单数形式旨在包括复数形式。并且，本公开中使用的术语可以具有与由本领域技术人员通常理解的相同的含义。在本公开中使用的术语当中的通用字典中定义的术语可以被解释为与相关技术的背景中的含义相同或相似的含义，并且不被解释为理想的或过于正式的含义，除非在本公开中明确定义。在一些情况下，尽管在本公开中对其进行了定义，但是术语可能不被解释为排除本公开的示例性实施例。
在下文中，将参考附图详细描述本公开的各种示例性实施例。
图2A和图2B是示出根据本公开的示例性实施例的用户终端设备100的组件的框图。用户终端设备100可以是各种电子设备。例如，用户终端设备100可以通过诸如数码相机、MP3播放器、便携式多媒体播放器(Portable Multimedia Player，PMP)、智能手机、蜂窝电话、智能眼镜、平板个人电脑(Personal Computer，PC)、智能手表等的各种设备来实施。
用户终端设备100可以接收来自另一电子设备的消息，并显示接收的消息。另外，用户终端设备100可以显示与接收的消息相对应的推荐响应列表。用户终端设备100可以将在推荐响应列表中选择的推荐响应或由用户创建的消息发送到另一电子设备。
如图2A中所示，用户终端设备100包括通信器110、显示器120和处理器130。
通信器110可以执行与另一电子设备的通信。
详细地，通信器110可以接收来自另一电子设备的消息或者向另一电子设备发送消息。从另一电子设备接收的或发送到另一电子设备的消息可以包括图像、声音和视频以及文本中的至少一个。
通信器110可以执行与另一电子设备的单向通信或双向通信。在通信器110执行单向通信的情况下，通信器110可以接收来自另一电子设备的信号。在通信器110执行双向通信的情况下，通信器110可以接收来自另一电子设备的信号，并且可以将信号发送到另一电子设备。
显示器120可以显示要通过处理器130的控制来发送的消息或所接收的消息。例如，显示器120可以显示包括在从另一电子设备接收的消息中的文本和图像。另外，显示器120可以显示与接收的消息相对应的推荐响应列表。然而，显示器120不限于此，而是还可以显示与消息无关的视频等。
另外，显示器120可以由液晶显示器(Liquid Crystal Display，LCD)面板、有机发光二极管(Organic Light Emitting Diode，OLED)等实施，但是不限于此。另外，在一些情况下，显示器120也可以由柔性显示器、透明显示器等来实施。
处理器130可以通过分析接收的消息来判定接收的消息中包括内容。例如，处理器130可以使用包括在内容中的标签信息来判定内容被包括在接收的消息中。可选地，处理器130可以基于内容的容量信息来判定接收的消息中是否包括内容。然而，用于通过处理器130判定接收的消息中是否包括内容的方法不限于此。
当判定接收的消息是包括图像、声音和视频中的至少一个的多媒体消息时，处理器130可以控制显示器120显示与包括在多媒体消息中的内容的类型相对应的推荐响应列表。例如，当照片被包括在接收的消息中时，处理器130可以通过分析照片显示诸如“照片是什么？”“你去海滩是为了娱乐吗？”“济州岛”等的推荐响应列表。
处理器130可以通过分析多媒体消息来提取内容的类型的详细信息。例如，在多媒体消息包括图像的情况下，处理器130可以比较像素之间的颜色信息、对比度信息和亮度信息中的至少一个以提取轮廓，并且基于提取的轮廓判定图像中包括哪个对象。处理器130可以基于包括在图像中的对象提取诸如人物图像、食物图像、风景图像等的详细信息。
可选地，处理器130可以通过仅分析图像中的颜色信息来提取图像的详细信息。例如，在图像中包括大量基于肉色的颜色的情况下，处理器130可以判定该图像是人物图像。可选地，在图像中包括大量基于绿色的颜色的情况下，处理器130可以判定该图像是风景图像。
在多媒体消息包括声音的情况下，处理器130可以使用包括在声音中的标签信息来提取声音的详细信息。例如，处理器130可以基于包括在声音中的标签信息来判定声音是具体歌手的声源。可选地，处理器130可以通过分析声音本身来判定声音是否是人声、动物叫声、音乐、机械声音等。
在多媒体消息包括视频的情况下，处理器130可以使用包括在视频中的标签信息来提取视频的详细信息。例如，处理器130可以基于包括在视频中的标签信息来判定视频是电影之一。
可选地，处理器130可以通过分析包括在视频中的声音来提取详细信息。例如，在包含在视频中的大多数声音是音乐的情况下，处理器130可以判定该视频是音乐视频。
可选地，处理器130可以通过分析视频的帧来提取详细信息。例如，当在视频的帧的下端处识别文本时，处理器130可以判定该视频是电影。
可选地，处理器130可以基于视频的再现时间来判定详细信息。例如，当视频的再现时间是大约五分钟时，处理器130可以判定该视频是音乐视频，当视频的再现时间是大约一小时时，判定该视频是戏剧，并且当视频的再现时间约为两个小时时，判定该视频是电影。
也就是说，如上所述，处理器130可以基于关于内容的元数据或从图像或视频识别的对象的内容来提取详细信息。处理器130可以预先从数据库建设中检测歌曲标题、歌手姓名、演员姓名等作为关于内容的元数据。可选地，处理器130可以检测动物、建筑物名称、沙滩、食物等作为从图像或视频识别的对象。
处理器130可以显示与所提取的详细信息相对应的推荐响应列表。例如，处理器130可以通过分析包括在接收的消息中的照片，来显示诸如当判定该照片是人物照片时的“在照片中是谁？”、当识别具体人物时的“Suzy真漂亮。”等的推荐响应列表。用户终端设备100可以存储推荐响应列表或接收来自服务器设备的推荐响应列表。
同时，处理器130可以在接收到多媒体消息之前基于向另一电子设备的用户发送或从另一电子设备的用户接收的消息的内容，来显示与多媒体消息相对应的推荐响应列表。然而，处理器130也可以在接收到多媒体消息之前的预定的时间内仅考虑消息的内容。
可选地，处理器130可以在接收到多媒体消息的时间点处基于内容的类型和用户的情境中的至少一个，来显示与多媒体消息相对应的推荐响应列表。
这里，处理器130可以基于用户终端设备100中激活的功能、用户终端设备100中包括的至少一个传感器的感测结果、用户终端设备100中注册的时间表和用户终端设备的使用行为模式中的至少一个来确定用户的情境。
处理器130可以通过分析用户终端设备的使用模式来生成使用行为模式。例如，当从晚上8点到晚上10点运行视频再现应用的使用行为在预定时间点内被重复时，处理器130可以生成该信息作为使用行为模式。
同时，处理器130可以基于用户终端设备100的用户的年龄和性别中的至少一个，来显示与多媒体消息的类型相对应的推荐响应列表。
另外，在多媒体消息中包括第一类型的内容和不同于第一类型的内容的第二类型的内容的情况下，处理器130可以显示与第一类型的内容和第二类型的内容中的至少一个相对应的推荐响应列表。
另外，用户终端设备100还可以包括存储关于内容的类型和与内容的类型相对应的推荐响应列表之间的映射的映射信息的储存器，并且处理器130可以在接收到多媒体消息时，基于存储在储存器中的映射信息来显示与包括在多媒体消息中的内容的类型相对应的推荐响应列表。
这里，处理器130可以针对内容的类型中的每一个来存储用户对多媒体消息的响应，以更新映射信息。
可选地，处理器130可以实时自动生成并显示与包括在多媒体消息中的内容的类型相对应的推荐响应列表，而不使用存储在储存器中的映射信息。例如，处理器130可以考虑内容的详细信息、在用户终端设备中激活的功能、传感器的感测结果、时间表信息、用户信息、对话流程、使用行为模式以及内容的类型中的至少一个来实时自动地生成与内容的类型相对应的推荐响应列表。
同时，处理器130可以显示用于发送包括在推荐响应列表中的一个或多个响应中的每一个的第一图形用户界面(GUI)和用于编辑一个或多个响应中的每一个的第二GUI中的至少一个。
图2B是示出用户终端设备100的示例性详细组件的框图。如图2B中所示，用户终端设备100包括通信器110、显示器120、处理器130、用户接口140、储存器150、音频处理器160、视频处理器170、扬声器180、按钮181、照相机182以及麦克风183。图2B中所示的组件当中针对与图2A中所示的组件有重叠的组件的详细描述被省略。
处理器130通常使用存储在储存器150中的各种程序来控制用户终端设备100的操作。
详细地，处理器130包括随机存取存储器(Random Access Memory，RAM)131、只读存储器(Read Only Memory，ROM)132、主中央处理单元(Central Processing Unit，CPU)133、图形处理器134、第一接口135-1至第n接口135-n以及总线136。
RAM 131、ROM 132、主CPU 133、图形处理器134、第一接口135-1至第n接口135-n等可以通过总线136与彼此连接。
第一接口135-1至第n接口135-n连接至上述各种组件。接口之一可以是通过网络连接到外部设备的网络接口。
主CPU 133访问储存器150以使用存储在储存器150中的操作系统(OperatingSystem，O/S)来执行启动。另外，主CPU 133使用存储在储存器150中的各种程序等来执行各种操作。
用于启动系统等的指令集被存储在ROM 132中。当开启命令被输入以向主CPU 133供电时，主CPU 133取决于存储在ROM 132中的指令将存储在储存器150中的操作系统(O/S)复制到RAM 131，并且运行O/S以启动系统。当启动完成时，主CPU 133将存储在储存器150中的各种应用程序复制到RAM 131，并且运行复制到RAM 131的应用程序以执行各种操作。
图形处理器134使用计算器(未示出)和渲染器(未示出)渲染包括诸如图标、图像、文本等各种对象的屏幕。计算器(未示出)基于接收的控制命令，取决于屏幕的布局来计算属性值(诸如各个对象将被显示的坐标值、各个对象的形式、尺寸、颜色等)。渲染器(未示出)基于在计算器(未示出)中计算的属性值来渲染包括对象的各种布局的屏幕。由渲染器(未示出)渲染的屏幕显示在显示器110的显示区域上。
同时，上述处理器130的操作可以通过存储在储存器150中的程序来执行。
储存器150存储各种数据，诸如用于驱动用户终端设备100的操作系统(O/S)软件模块、消息分析模块、图像分析模块、声音分析模块、视频分析模块、推荐响应列表生成模块等。
在这种情况下，处理器130可以基于存储在储存器150中的信息来显示与包括在接收的消息中的内容的类型相对应的推荐响应列表。
用户界面140接收各种用户交互。在用户终端设备100由基于触摸的便携式终端来实施的情况下，用户接口140也可以以与触摸板一起形成层结构的触摸屏的形式来实施。在这种情况下，用户界面140可以用作上述的显示器110。
触摸传感器(未示出)可以由电容式触摸传感器或电阻式触摸传感器来实施。电容式触摸传感器意味着使用涂覆在显示器的表面上的电介质材料在用户的身体的一部分触摸显示器的表面时使用通过感测激励到用户的身体的微电流来计算触摸坐标的方式的触摸传感器。电阻式触摸传感器意味着在用户执行触摸的情况下通过感测由于在触摸点处嵌入在用户终端设备100中的两个电极板之间的接触而流动的电流来使用计算触摸坐标的方式的触摸传感器。除了上述方式之外，可以使用红外感测方式、表面超声波传导方式、整体张力测量方式、压电效应方式等来感测触摸交互。
音频处理器160是执行音频数据的处理的组件。在音频处理器160中，可以执行音频数据的各种类型的处理，诸如解码、放大、噪声过滤等。
视频处理器170是执行视频数据的处理的组件。在视频处理器170中，可以执行视频数据的各种类型的图像处理，诸如解码、缩放、噪声过滤、帧速率转换、分辨率转换等。
扬声器180是输出各种通知声音、音频消息等以及由音频处理器160处理的各种音频数据的组件。
按钮181可以是在用户终端设备100的身体外观的任何区域(诸如前表面部分、侧表面部分、后表面部分等)中形成的各种类型的按钮(诸如机械按钮、触摸板、轮子等)。
照相机182是用于取决于用户的控制来拍摄静止图像或视频的组件。相机182可以由诸如前置照相机和后置照相机的多个照相机来实施。
麦克风183是用于接收用户的语音或其他声音并将用户的语音或其他声音转换为音频数据的组件。
在下文中，将描述用于帮助理解本公开的基本配置和各种示例性实施例。
图3A至图3C是用于描述用于显示推荐响应列表1000的方法的示例的视图。当通过分析接收的消息判定接收的消息是多媒体消息时，处理器130可以控制显示器120显示与包括在包括图像10、声音20和视频30中的至少一个的多媒体消息中的内容的类型相对应的推荐响应列表1000。
图3A示出了在接收的消息中包括的内容的类型是图像10的情况下的推荐响应列表1000。例如，处理器130可以在通过分析接收的消息判定接收的消息是包括图像10的多媒体消息时，显示与图像10相对应的推荐响应列表1000。在推荐响应列表1000中可以包括诸如“你在照片中看起来很好”“你自己拍的照片吗？”和“照片是什么？”的消息。
图3B示出了在接收的消息中包括的内容的类型是声音20的情况下的推荐响应列表1000。例如，处理器130可以在通过分析接收的消息判定接收的消息是包括声音20的多媒体消息时，显示与声音20相对应的推荐响应列表1000。在推荐响应列表1000中可以包括诸如“好歌”“有利于睡眠”和“你自己录的歌吗？”的消息。虽然在图3B中示出了指示声音20的音符，但是本公开不限于此。例如，包括在接收的消息中的声音20是mp3文件，并且可以基于包括在mp3文件中的标签信息来显示对应的图像。
在接收的消息中包括的内容的类型是声音20的情况下，处理器130可以取决于触摸图3B所示的音符的用户的输入来再现声音20。可选地，当声音20的接收完成时，即使用户的输入不存在，处理器130也可以再现声音20。
图3C示出了在接收的消息中包括的内容的类型是视频30的情况下的推荐响应列表1000。例如，处理器130可以在通过分析接收的消息判定接收的消息是包括视频30的多媒体消息时，显示与视频30相对应的推荐响应列表1000。在推荐响应列表1000中可以包括诸如“我会喜欢这个视频”“视频是什么？”和“谁拍的视频？”的消息。虽然在图3B中示出了指示视频30的代表性缩略图和用于再现的GUI，但是本公开不限于此。例如，处理器130也可以仅显示用于再现的GUI。可选地，处理器130可以从外部设备接收与视频30的标签信息相对应的图像，并显示接收的图像。
在接收的消息中包括的内容的类型是视频30的情况下，处理器130可以取决于触摸图3C所示的用于再现的GUI的用户的输入来再现视频30。可选地，当视频30的接收完成时，即使用户的输入不存在，处理器130也可以再现视频。
虽然在图3A至图3C中描述了当接收到包括图像10、声音20和视频30中的任何一个的多媒体消息时自动接收对应的内容的情况，但是本公开不限于此。例如，处理器130首先接收包括在消息中的文本，并且可以通知用户图像10、声音20和视频30中的任何一个被包括在消息中。当存在意图接收对应内容的用户输入时，处理器130可以接收对应内容并将对应内容提供给用户。
图4A和图4B是用于描述用于显示与内容的类型的详细信息相对应的推荐响应列表的方法的示例的视图。处理器130可以通过分析多媒体消息来提取内容的类型的详细信息，并且显示与所提取的详细信息相对应的推荐响应列表1000。
图4A示出了与图像10的详细信息相对应的推荐响应列表1000。例如，处理器130可以提取包括人物的信息作为图像10的详细信息。另外，处理器130可以显示与人物图像相对应的推荐响应列表1000。在推荐响应列表1000中可以包括诸如“照片中好看～”“我认识的人吗？”和“他/她是艺人A。他/她目前非常受欢迎。”的消息。与图3A相比，处理器130可以基于所提取的信息来提供更具体的推荐响应列表1000。
虽然在图4A中示出了提取人物图像作为图像10的详细信息的情况，但是本公开不限于此。例如，处理器130可以提取食物图像、风景图像、动物图像等作为图像10的详细信息。
处理器130可以使用各种方法作为用于从图像10中提取详细信息的方法。例如，处理器130可以通过分析图像本身来判定包括在图像中的目标。可选地，处理器130可以使用包括在图像文件中的标签信息等来提取详细信息。
图4B示出了与图像10自身中包括的文本信息相对应的推荐响应列表1000。例如，处理器130可以通过分析图像10来提取图像10中的诸如“生日快乐”的文本。处理器130可以显示与提取的文本信息相对应的推荐响应列表1000。可以在推荐响应列表1000中包括诸如“谢谢你～”“你怎么知道？”和“生日礼物是什么？”的消息。
可选地，处理器130可以基于内容的类型和详细属性来显示推荐响应列表1000，而不考虑文本信息。例如，处理器130可以通过分析图像10来提取蛋糕模型，并且根据提取的蛋糕模型来显示推荐响应列表1000。
可选地，处理器130可以考虑内容的类型和文本信息两者来显示推荐响应列表1000。例如，在图4B中，处理器130可以显示诸如“谢谢～多么漂亮的生日蛋糕～”的推荐响应列表1000。
虽然在图4A和图4B中仅描述了图像10，但是也可以将相同的方法应用于声音20和视频30。例如，处理器130可以提取人物声音、动物声音、音乐和机器声音等作为声音20的详细信息。可选地，处理器130可以提取音乐视频、电影、动画、预告片等作为视频30的详细信息。
处理器130可以通过分析声音20本身或视频30本身来提取详细信息，或者可以使用声音20或视频30的标签信息来提取详细信息。
处理器130可以从包括在声音20中的人的话语中提取文本，并且使用提取的文本作为详细信息。可选地，处理器130可以提取包括在视频的每个帧图像中的文本或者从包括在视频30的声音中的人的话语中提取文本，并且使用所提取的文本作为详细信息。
图5是用于描述根据本公开的示例性实施例的用于在接收到多媒体消息之前考虑消息的内容来提供推荐响应列表1000的方法的视图。
如图5所示，处理器130可以在接收到多媒体消息之前基于向另一电子设备的用户发送或从另一电子设备的用户接收的消息的内容，来显示与多媒体消息相对应的推荐响应列表1000。例如，处理器130可以在接收到多媒体消息之前考虑用户发送诸如“把你昨天拍的照片发给我”的消息的事实。当图像10被包括在接收的消息中时，处理器130可以基于由用户发送的消息显示诸如“谢谢你。”“照片中好看。”和“让我们再拍照片吧。”的推荐响应列表1000。
处理器130可以通过分析由用户发送的消息来期望来自单词“照片”的图像的接收。当声音20或视频30被包括在多媒体消息中时，处理器130可以显示诸如“它似乎被错误地发送了～”的推荐响应列表1000。
处理器130可以在接收到多媒体消息之前的预定的时间内，基于消息的内容来显示与多媒体消息相对应的推荐响应列表1000。例如，处理器130可以在接收到多媒体消息之前的一小时内，仅基于消息的内容来显示与多媒体消息相对应的推荐响应列表1000。预定的时间可以由用户设置。
图6A和图6B是用于描述用于基于用户的情境来显示对应的推荐响应列表1000的方法的示例的视图。处理器130可以在接收到多媒体消息的时间点处基于内容的类型和用户的情境中的至少一个，来显示与多媒体消息相对应的推荐响应列表1000。
处理器130可以基于用户终端设备100中激活的功能、包括在用户终端设备100中的至少一个传感器的感测结果、用户终端设备100中注册的时间表和用户终端设备的使用行为模式中的至少一个来确定用户的情境。例如，在用户终端设备100的全球定位系统(Global Positioning System，GPS)被激活的情况下，处理器130可以判定用户正在驾驶。可选地，在使用照度传感器感测到用户终端设备100的周围是黑暗的情况下，处理器130可以判定用户在电影院中。
可选地，处理器130可以基于在用户终端设备100中注册的时间表来判定用户正在开会。
可选地，处理器130可以基于用户终端设备100在正常时间的使用行为模式来确定用户的情境。例如，处理器130可以根据指示新闻应用从上午7点到上午8点运行一小时的使用行为信息来判定用户正在阅读。
用户可以直接地设置用户终端设备100中激活的功能、包括在用户终端设备100中的至少一个传感器的感测结果和用户终端设备100中注册的时间表以及用户的对应的情境中的至少一个。例如，在蓝牙功能被激活的情况下，用户可以设置用户的情境以听音乐。可选地，当感测到用户终端设备100的周围是黑暗时，用户可以将用户的情境设置为在他/她的睡眠中。
图6A示出了在驾驶期间用户接收包括图像10的多媒体消息的情况。因为在接收到多媒体消息的时间点处激活了GPS功能，所以处理器130可以判定用户正在驾驶作为用户的情境。当用户正在驾驶并且图像10被包括在多媒体消息中时，处理器130可以显示诸如“好漂亮！我现在正在开车，我想在停车时仔细看看。”和“我现在开车。我会稍后再打给你。”的推荐响应列表1000，以便不分散用户的视线。然而，本公开不限于此。当即使用户正在驾驶声音20也被包括在多媒体消息中时，处理器130可以在不考虑用户的情境的情况下显示推荐响应列表1000。原因是声音20不分散用户的视线。
图6B示出了用户在会议期间接收包括声音20的多媒体消息的情况。处理器130可以在接收到多媒体消息的时间点处，基于在用户终端设备100中注册的时间表信息来判定用户正在开会作为用户的情境。当用户正在开会并且声音20被包括在多媒体消息中时，处理器130可以显示诸如“我会在会议之后听。”和“我在开会。”的推荐响应列表1000，以便不妨碍用户的会议。然而，本公开不限于此。当即使用户正在开会时图像10也被包括在多媒体消息中时，处理器130可以在不考虑用户的情境的情况下显示推荐响应列表1000。原因是图像10不妨碍用户的会议。
可选地，处理器可以不考虑用户的情境。例如，在用户在接收到多媒体消息的时间点处正在家休息的情况下，处理器130可以仅考虑内容的类型来显示推荐响应列表1000，而不考虑用户的情境。可选地，在用户的情境未被判定的情况下，处理器130可以仅考虑内容的类型来显示推荐响应列表1000。
图7A和图7B是用于描述用于基于用户信息来显示推荐响应列表的方法的示例的视图。处理器130可以基于用户终端设备100的用户的年龄和性别中的至少一个，来显示与多媒体消息的类型相对应的推荐响应列表1000。
图7A示出了女性用户接收包括图像10的多媒体消息的情况。处理器130可以通过分析多媒体消息来提取出：内容的类型是图像10并且图像10的详细信息是人物图像。处理器130可以从存储在用户终端设备100中的用户信息中提取出用户是女性，并且可以基于用户信息来显示诸如“你的头发在哪里做的？”和“这个发夹多少钱？”的推荐响应列表1000。
处理器130可以使用存储在用户终端设备100中的用户信息，或者可以接收来自外部电子设备的用户信息。例如，处理器130可以接收来自用户终端设备100订阅的通信公司的用户信息。可选地，处理器130可以接收来自用户终端设备100中使用的诸如社交网络服务(Social Network Service，SNS)等的服务器的用户信息。
图7B示出了男性用户接收包括图像10的多媒体消息的情况。处理器130可以通过分析多媒体消息提取出：内容的类型是图像10并且图像10的详细信息是人物图像。处理器130可以根据存储在用户终端设备100中的用户信息来判定用户是男性，并且可以基于用户信息来显示诸如“把他介绍给他。”和“他结婚了吗？”的推荐响应列表1000。
虽然上文描述了处理器130将性别视为用户信息的情况，但是处理器130还可以将性别、学校、职业、身高、体重、年薪和兴趣视为用户信息。
另外，处理器130可以考虑发送和接收消息的另一电子设备的用户的信息以及用户信息来显示推荐响应列表1000。例如，在接收到包括戒指图像的消息的情况下，当另一电子设备的用户仅仅是朋友时，处理器130可以显示诸如“你会为你的妻子买它吗？”的推荐响应列表1000。可选地，当另一电子设备的用户是妻子时，处理器130可以显示诸如“我可以给你买吗？”的推荐响应列表1000，并且当另一电子设备的用户仅仅是女朋友时，显示诸如“你想买它吗？”和“叫你的丈夫买它”的推荐响应列表1000。
图8是用于描述根据本公开的示例性实施例的接收到包括多个类型的内容的多媒体消息的情况的视图。
如图8所示，在多媒体消息中包括第一类型的内容和不同于第一类型的内容的第二类型的内容的情况下，处理器130可以显示与第一类型的内容和第二类型的内容中的至少一个相对应的推荐响应列表1000。例如，在多媒体消息中包括图像10和视频30的情况下，处理器130可以显示诸如与图像10相对应的“哇！看起来如此美味”和与视频30相对应的“这个电影上映了吗？”的推荐响应列表1000。可选地，处理器130可以考虑图像10和视频30两者来显示诸如“是从电影拍摄的图像？”的推荐响应列表1000。
虽然在图8中描述了多个类型的内容彼此不同的情况，但是本公开不限于此。例如，在多媒体消息中包括的第一类型的内容的数量是多个的情况下，处理器130可以显示与第一类型的内容相对应的推荐响应列表1000。例如，在接收到包括多个图像10的多媒体消息的情况下，处理器130可以显示与图像10相对应的推荐响应列表1000。可选地，处理器130可以提取多个图像10中的每一个的详细信息，并且显示与多个详细信息中的至少一个相对应的推荐响应列表1000。
图9是用于描述根据本公开的示例性实施例的关于内容的类型和与内容的类型相对应的推荐响应列表1000之间的映射的映射信息的视图。
如图9所示，用户终端设备100还可以包括储存器150，储存器150存储关于内容的类型和与内容的类型相对应的推荐响应列表之间的映射的映射信息，并且当接收到多媒体消息时，处理器130可以基于存储在储存器150中的映射信息来显示与包括在多媒体消息中的内容的类型相对应的推荐响应列表。例如，可以将内容的类型划分为图像10、声音20和视频30的类别。另外，可以将内容的类型中的每一个划分为包括详细信息的子类别。例如，关于图像10的详细信息可以是食物图像、人物图像等。与每个详细信息相对应的推荐响应可以被包括在每个详细信息中。例如，诸如“看起来如此美味”“餐厅在哪里？”和“你自己做了食物？”的推荐响应可以被包括在食物图像中。
同时，虽然未在附图中示出，但是可以划分上述示例性实施例的具体类别。例如，可以取决于用户信息、用户的情境等来细分与食物图像相对应的推荐响应。
处理器130可以针对内容的类型中的每一个来存储用户对多媒体消息的响应，以更新映射信息。例如，在创建并发送了与推荐响应列表1000中包括的推荐响应不同的消息的情况下，处理器130可以存储对应的消息。
处理器130可以在生成推荐响应列表100等的同时，考虑划分的内容的类型来确定对应的消息要存储在储存器150中的位置，并更新所发送的消息。例如，在处理器130提取食物图像作为内容的类型和详细信息并显示与食物图像相对应的推荐响应列表的情况下，处理器130可以将由用户单独创建的消息存储为与食物图像相对应的推荐响应。
图10A和图10B是用于描述用于显示用于发送或编辑推荐响应的GUI的方法的示例的视图。处理器130可以显示用于发送包括在推荐响应列表1000中的一个或多个响应中的每一个的第一GUI和用于编辑一个或多个响应中的每一个的第二GUI中的至少一个。
图10A示出了用于发送推荐响应的第一GUI 1010-1和1010-2以及用于编辑推荐响应的第二GUI 1020-1和1020-2。例如，在存在触摸第一GUI 1010-1的用户的输入的情况下，处理器130可以发送推荐响应列表1000的“看起来美味。”。可选地，在存在触摸第二GUI1020-1的用户输入的情况下，处理器130可以显示能够编辑推荐响应列表1000的“看起来美味。”的UI。在这种情况下，处理器130可以在UI中包括并显示“看起来美味。”。
图10B示出了用于发送和编辑推荐响应的另一示例性实施例。例如，在存在触摸推荐响应列表1000的“看起来美味。”的用户的输入的情况下，处理器130可以发送“看起来美味。”。用于编辑推荐响应的方法与图10A的方法相同，并且因此省略对其的描述。
虽然在图10A和图10B中描述了触摸推荐响应本身或者触摸单独的GUI的情况，但是本公开不限于此。例如，处理器130可以在短触摸推荐响应的情况下发送推荐响应，并且在长触摸推荐响应的情况下编辑推荐响应。可选地，处理器130可以在触摸推荐响应的情况下发送推荐响应，并且在触摸并将推荐响应拖曳到消息输入窗口的情况下编辑推荐响应。
虽然上文描述了用户终端设备100分析消息并显示对应的推荐响应列表1000的情况，但是本公开不限于此。例如，用户终端设备100可以将消息发送到服务器设备，并且接收并显示由服务器设备生成的推荐响应列表1000。这将参考图11来描述。
图11是用于描述根据本公开的另一示例性实施例的用于由服务器设备200分析消息并提供推荐响应列表1000的方法的视图。
服务器设备200包括接收的消息类型分类器210、自然语言分析器220、多媒体内容分析器230、对话管理器240、响应消息生成器250、语言模型数据库(DataBase，DB)260、多媒体分类模型DB 270和多媒体元数据DB 280。
接收的消息类型分类器210可以分析接收的消息，并且可以将文本传递给自然语言分析器220并且将除文本之外的其余数据传递给多媒体内容分析器230。
自然语言分析器220与传统的文本消息分析模块是相同的，并且可以使用语言模型DB 260分析词素、句法、意义等。自然语言分析器220可以将分析结果传递到对话管理器240。
多媒体内容分析器230可以使用多媒体分类模型DB 270来提取内容的类型、内容的类型的详细信息等，并且使用多媒体元数据DB 280来提取和分析内容的附加信息。多媒体内容分析器230可以将提取和分析的结果传递到对话管理器240。
对话管理器240可以基于从自然语言分析器220或多媒体内容分析器230传递的数据来判定当前对话状态。对话管理器240可以基于当前对话状态来推断预测的响应类型。对话管理器240可以将对话状态和响应类型传递到响应消息生成器250。对话状态可以包括对话会话中的情境和所接收的多媒体内容的分析结果两者。
响应消息生成器250可以使用语言模型DB 260来生成与当前对话状态和响应类型相对应的推荐响应。响应消息生成器250可以将生成的推荐响应发送到用户终端设备100。
虽然在图11中示出了服务器设备200分析内容并生成推荐响应的情况，但是本公开不限于此。例如，服务器设备200可以被划分为分析内容的分析服务器和生成推荐响应的响应生成服务器。
图12是用于描述根据本公开的示例性实施例的用于推荐用户终端设备的响应消息的方法的流程图。
首先，用户终端设备通过执行与另一电子设备的通信来接收消息(S1210)。然后，用户终端设备显示接收的消息(S1220)。然后，当通过分析所接收的消息判定接收的消息是多媒体消息时，用户终端设备显示与包括在包括图像、声音和视频中的至少一个的多媒体消息中的内容的类型相对应的推荐响应列表(S1230)。
另外，推荐响应列表的显示(S1230)可以包括：通过分析多媒体消息来提取内容的类型的详细信息，和显示与所提取的详细信息相对应的推荐响应列表。
另外，在显示推荐响应列表(S1230)时，可以在接收到多媒体消息之前，基于向另一电子设备的用户发送或从另一电子设备的用户接收的消息的内容，来显示与多媒体消息相对应的推荐响应列表。
另外，在显示推荐响应列表(S1230)时，可以在接收到多媒体消息的时间点处基于内容的类型和用户的情境中的至少一个，来显示与多媒体消息相对应的推荐响应列表。
另外，用于推荐响应消息的方法还可以包括基于用户终端设备中激活的功能、包括在用户终端设备中的至少一个传感器的感测结果、用户终端设备中注册的时间表和用户终端设备的使用行为模式中的至少一个来确定用户的情境。
另外，在显示推荐响应列表(S1230)时，可以基于用户终端设备的用户的年龄和性别中的至少一个，来显示与多媒体消息的类型相对应的推荐响应列表。
另外，在显示推荐响应列表(S1230)时，在多媒体消息中包括第一类型的内容和不同于第一类型的内容的第二类型的内容的情况下，可以显示与第一类型的内容和第二类型的内容中的至少一个相对应的推荐响应列表。
另外，在显示推荐响应列表(S1230)时，当接收到多媒体消息时，可以基于关于内容的类型和与内容的类型相对应的推荐响应列表之间的映射的映射信息，来显示与包括在多媒体消息中的内容的类型相对应的推荐响应列表。
另外，用于推荐响应消息的方法还可以包括针对内容的类型中的每一个来存储用户对多媒体消息的响应，以更新映射信息。
另外，在显示推荐响应列表(S1230)时，可以显示用于发送包括在推荐响应列表中的一个或多个响应中的每一个的第一GUI和用于编辑一个或多个响应中的每一个的第二GUI中的至少一个。
图13是用于详细描述根据本公开的示例性实施例的用于推荐用户终端设备的响应消息的方法的流程图。
首先，用户终端设备通过执行与另一电子设备的通信来接收消息(S1310)。然后，用户终端设备分析消息的内容的类型(S1320)。用户终端设备通过分析内容的类型来判定接收的消息是否是多媒体消息(S1330)。多媒体消息可以是包括图像、声音和视频中的至少一个的消息。可选地，多媒体消息可以是图像、声音和视频之一。
当判定所接收的消息不是多媒体消息时，用户终端设备可以不执行任何操作。例如，用户终端设备在接收的消息是文本消息的情况下可以不执行任何操作。然而，用户终端设备可以为文本消息提供推荐响应列表，这是通用技术，并且因此省略对其的描述。
当判定所接收的消息是多媒体消息时，用户终端设备提取内容的类型的详细信息(S1340)。例如，当接收的消息是包括图像的消息时，用户终端设备可以将风景图像、人物图像、食物图像等确定为内容的类型的详细信息。
然后，用户终端设备可以基于内容的类型和内容的类型的详细信息来实时地生成推荐响应列表，或者通过搜索映射表来生成推荐响应列表(S1350)。具体地，用户终端设备可以基于与另一电子设备的用户的先前的对话内容或使用、用户的当前情境、要由用户终端设备中提供的传感器感测的结果、在用户终端设备中分析的使用行为模式以及诸如用户的年龄、性别等的用户信息中的至少一个来生成推荐响应列表。
然后，用户终端设备显示推荐响应列表(S1360)。
根据如上所述的本公开的各种示例性实施例，用户终端设备提供与包括在多媒体消息中的内容的类型相对应的推荐响应列表，使得用户甚至可以在接收多媒体消息的情况下容易地发送响应消息。
同时，根据上述的本公开的各种示例性实施例的用于推荐用户终端设备的响应消息的方法可以通过程序代码来实施，该程序代码可以在计算机中运行，并且可以在各个服务器或装置中被提供，在其被存储在各种非暂时性计算机可读介质中的状态中由处理器运行。
举例来说，可以提供一种非暂时性计算机可读介质，其中存储了一种程序，该程序用于顺序地执行通过执行与另一电子设备的通信来接收来自另一电子设备的消息，以及当通过分析接收的消息判定接收的消息是多媒体消息时，显示与包括在包括图像、声音和视频中的至少一个的多媒体消息中的内容的类型相对应的推荐响应列表。
非暂时性计算机可读介质不是暂时在其中存储数据的介质，诸如寄存器、缓存、存储器等，而是指半永久性地在其中存储数据并且可由装置读取的介质。详细地，上述各种应用或程序可以在非暂时性计算机可读介质中(诸如光盘(CD)、数字多功能盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等)被存储和提供。
虽然上文已经示出和描述了本公开的示例性实施例，但是本公开内容不限于上述具体的示例性实施例，而是可以由本公开所属领域的技术人员进行各种修改，而不脱离如在所附权利要求中公开的本公开的范围和精神。这些修改也应理解为落入本公开的范围内。

Claims (12)

1.一种用户终端设备，包括：
通信器；
显示器；以及
处理器，被配置为：
通过所述通信器接收来自另一电子设备的多媒体消息，
控制所述显示器显示所述多媒体消息，以及
通过分析所述多媒体消息，基于所述多媒体消息是图像，来控制所述显示器根据所述用户终端设备的用户的年龄和性别中的至少一个显示与包括在所述多媒体消息中的内容的类型相对应的推荐响应列表，
其中，所述处理器通过分析所述多媒体消息来提取包括在所述图像中的人物图像、食物图像、风景图像和动物图像中的一个作为内容的类型的详细信息，并且显示与所提取的详细信息相对应的推荐响应列表。
2.如权利要求1所述的用户终端设备，其中，在接收所述多媒体消息之前，所述处理器基于向另一电子设备的用户发送或从另一电子设备的用户接收的消息的内容来显示与所述多媒体消息相对应的推荐响应列表。
3.如权利要求1所述的用户终端设备，其中，所述处理器在接收所述多媒体消息的时间点处基于内容的类型和用户的情境中的至少一个来显示与所述多媒体消息相对应的推荐响应列表。
4.如权利要求3所述的用户终端设备，其中，所述处理器基于以下各项中的至少一项来确定用户的情境：在所述用户终端设备中激活的功能、通过包括在所述用户终端设备中的至少一个传感器的感测结果、在所述用户终端设备中注册的时间表以及在所述用户终端设备中的使用行为模式。
5.如权利要求1所述的用户终端设备，其中，在所述多媒体消息中包括第一类型的内容和不同于所述第一类型的内容的第二类型的内容的情况下，所述处理器显示与所述第一类型的内容和所述第二类型的内容中的至少一个相对应的推荐响应列表。
6.如权利要求1所述的用户终端设备，还包括：储存器，被配置为存储关于所述内容的类型与所述内容的类型相对应的推荐响应列表之间的映射的映射信息，
其中，当接收所述多媒体消息时，所述处理器基于存储在所述储存器中的所述映射信息来显示与包括在所述多媒体消息中的内容的类型相对应的推荐响应列表。
7.如权利要求6所述的用户终端设备，其中，所述处理器针对内容的类型中的每一个来存储对所述多媒体消息的用户的响应，以更新所述映射信息。
8.如权利要求1所述的用户终端设备，其中，所述处理器显示用于发送包括在所述推荐响应列表中的一个或多个响应中的每一个的第一图形用户界面GUI和用于编辑一个或多个响应中的每一个的第二GUI中的至少一个。
9.一种用于推荐用户终端设备的响应消息的方法，包括：
接收来自另一电子设备的多媒体消息；
显示所述多媒体消息；以及
通过分析所述多媒体消息，基于所述多媒体消息是图像，来根据所述用户终端设备的用户的年龄和性别中的至少一个显示与包括在所述多媒体消息中的内容的类型相对应的推荐响应列表；
其中，所述推荐响应列表的显示包括：
提取包括在所述图像中的人物图像、食物图像、风景图像和动物图像中的一个作为内容的类型的详细信息；并且
显示与所提取的详细信息相对应的推荐响应列表。
10.如权利要求9所述的用于推荐响应消息的方法，其中，在所述推荐响应列表的显示中，在接收所述多媒体消息之前，基于向另一电子设备的用户发送或从另一电子设备的用户接收的消息的内容，来显示与所述多媒体消息相对应的推荐响应列表。
11.如权利要求9所述的用于推荐响应消息的方法，其中，在所述推荐响应列表的显示中，在接收所述多媒体消息的时间点处，基于内容的类型和用户的情境中的至少一个，来显示与所述多媒体消息相对应的推荐响应列表。
12.如权利要求11所述的用于推荐响应消息的方法，还包括基于以下各项中的至少一个来确定用户的情境：在所述用户终端设备中激活的功能、通过包括在所述用户终端设备中的至少一个传感器的感测结果、在所述用户终端设备中注册的时间表以及在所述用户终端设备中的使用行为模式。
CN201680065412.0A 2015-11-10 2016-08-09 用于推荐响应消息的用户终端设备及其方法 Active CN108353103B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020150157681A KR102393928B1 (ko) 2015-11-10 2015-11-10 응답 메시지를 추천하는 사용자 단말 장치 및 그 방법
KR10-2015-0157681 2015-11-10
PCT/KR2016/008719 WO2017082519A1 (ko) 2015-11-10 2016-08-09 응답 메시지를 추천하는 사용자 단말 장치 및 그 방법

Publications (2)

Publication Number Publication Date
CN108353103A CN108353103A (zh) 2018-07-31
CN108353103B true CN108353103B (zh) 2022-04-05

Family

ID=58695630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680065412.0A Active CN108353103B (zh) 2015-11-10 2016-08-09 用于推荐响应消息的用户终端设备及其方法

Country Status (5)

Country Link
US (1) US10721194B2 (zh)
EP (1) EP3352438B1 (zh)
KR (1) KR102393928B1 (zh)
CN (1) CN108353103B (zh)
WO (1) WO2017082519A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017112796A1 (en) 2015-12-21 2017-06-29 Google Inc. Automatic suggestions and other content for messaging applications
JP6638087B2 (ja) 2015-12-21 2020-01-29 グーグル エルエルシー メッセージ交換スレッド用の自動提案
US10387461B2 (en) 2016-08-16 2019-08-20 Google Llc Techniques for suggesting electronic messages based on user activity and other context
US20180081500A1 (en) * 2016-09-19 2018-03-22 Facebook, Inc. Systems and methods for content engagement
CN109716727B (zh) 2016-09-20 2021-10-15 谷歌有限责任公司 获取访问与用户相关联的数据的许可的方法及系统
WO2018057541A1 (en) * 2016-09-20 2018-03-29 Google Llc Suggested responses based on message stickers
US10015124B2 (en) * 2016-09-20 2018-07-03 Google Llc Automatic response suggestions based on images received in messaging applications
US10416846B2 (en) 2016-11-12 2019-09-17 Google Llc Determining graphical element(s) for inclusion in an electronic communication
CN108075959B (zh) * 2016-11-14 2021-03-12 腾讯科技（深圳）有限公司 一种会话消息处理方法和装置
KR102683651B1 (ko) * 2017-01-17 2024-07-11 삼성전자주식회사 메시지 생성 방법 및 이를 지원하는 웨어러블 전자 장치
TWI754694B (zh) * 2017-03-21 2022-02-11 香港商阿里巴巴集團服務有限公司 通訊方法及裝置
WO2018212822A1 (en) 2017-05-16 2018-11-22 Google Inc. Suggested actions for images
US10348658B2 (en) 2017-06-15 2019-07-09 Google Llc Suggested items for use with embedded applications in chat conversations
US10404636B2 (en) 2017-06-15 2019-09-03 Google Llc Embedded programs and interfaces for chat conversations
US10680978B2 (en) * 2017-10-23 2020-06-09 Microsoft Technology Licensing, Llc Generating recommended responses based on historical message data
US10891526B2 (en) 2017-12-22 2021-01-12 Google Llc Functional image archiving
KR20200121064A (ko) * 2019-04-15 2020-10-23 라인플러스 주식회사 이벤트 메시지를 관리하기 위한 방법, 시스템, 및 비-일시적인 컴퓨터 판독가능한 기록 매체
KR20240129085A (ko) * 2019-05-09 2024-08-27 구글 엘엘씨 제한된 아키텍처를 사용하는 서드파티 차량 컴퓨팅 디바이스에 대한 자동화된 어시스턴트 제안
CN110929151A (zh) * 2019-11-20 2020-03-27 咪咕文化科技有限公司 用户推荐方法、电子设备和存储介质
US11924153B2 (en) * 2020-12-31 2024-03-05 Snap Inc. Messaging user interface element with reminders
WO2022232127A1 (en) * 2021-04-30 2022-11-03 Dathomir Laboratories Llc Text suggestion based on environmental context
CN114121014A (zh) * 2021-10-26 2022-03-01 云知声智能科技股份有限公司 多媒体数据的控制方法及设备
CN118435154A (zh) * 2021-11-08 2024-08-02 拓比达纳沃克斯有限公司 进行输入和与增强和替代通信(aac)装置交互的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750311A (zh) * 2011-03-31 2012-10-24 微软公司 扩充的对话理解体系结构
CN103079008A (zh) * 2013-01-07 2013-05-01 北京播思软件技术有限公司 根据短信内容自动生成回复建议的方法和系统
KR20150055448A (ko) * 2013-11-13 2015-05-21 엘지전자 주식회사 이동 단말기 및 그것의 제어방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3902271B2 (ja) * 1996-08-28 2007-04-04 カシオ計算機株式会社 移動体無線通信端末
KR20050020911A (ko) 2003-08-23 2005-03-04 엠씨오 주식회사 지능형 멀티미디어메시지 서비스 시스템 및 방법
US8121147B2 (en) * 2005-09-23 2012-02-21 Airwide Solutions, Inc. Context-sensitive multimedia message service response
KR20070059459A (ko) 2005-12-06 2007-06-12 삼성전자주식회사 멀티미디어 메시징 자동 응답 서비스 방법 및 시스템
FR2910143B1 (fr) 2006-12-19 2009-04-03 Eastman Kodak Co Procede pour predire automatiquement des mots dans un texte associe a un message multimedia
US8078978B2 (en) 2007-10-19 2011-12-13 Google Inc. Method and system for predicting text
KR100989233B1 (ko) 2008-12-30 2010-10-20 주식회사 케이티 통신 단말에서의 메시지 작성창 제공 방법 및 이를 위한 통신 단말
KR101134597B1 (ko) 2009-09-03 2012-04-09 한국과학기술원 멀티미디어 컨텐츠와 메타데이터를 분리하여 저장하는 웹스토리지 서비스 제공방법 및 장치
KR101612788B1 (ko) * 2009-11-05 2016-04-18 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20110092124A (ko) 2010-02-08 2011-08-17 (주)아이디미디어 휴대전화 단문 문자메시지 서비스 및 멀티미디어 메시지 서비스에 대한 자동응답 문자메시지 발송 서비스 및 그 방법
EP2381265B1 (en) * 2010-04-20 2013-09-11 STMicroelectronics Srl System for performing the test of digital circuits
US9317835B2 (en) * 2011-03-08 2016-04-19 Bank Of America Corporation Populating budgets and/or wish lists using real-time video image analysis
US9858343B2 (en) 2011-03-31 2018-01-02 Microsoft Technology Licensing Llc Personalization of queries, conversations, and searches
US9760566B2 (en) * 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US8589407B2 (en) 2011-06-17 2013-11-19 Google Inc. Automated generation of suggestions for personalized reactions in a social network
US8972323B2 (en) 2012-06-14 2015-03-03 Microsoft Technology Licensing, Llc String prediction
US9195645B2 (en) 2012-07-30 2015-11-24 Microsoft Technology Licensing, Llc Generating string predictions using contexts
KR20140133337A (ko) * 2013-05-10 2014-11-19 삼성전자주식회사 음식의 조리 정보를 제공하는 시스템 및 방법
US8996639B1 (en) 2013-10-15 2015-03-31 Google Inc. Predictive responses to incoming communications
KR101491843B1 (ko) * 2013-11-13 2015-02-11 네이버 주식회사 대화 기반 검색 도우미 시스템 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750311A (zh) * 2011-03-31 2012-10-24 微软公司 扩充的对话理解体系结构
CN103079008A (zh) * 2013-01-07 2013-05-01 北京播思软件技术有限公司 根据短信内容自动生成回复建议的方法和系统
KR20150055448A (ko) * 2013-11-13 2015-05-21 엘지전자 주식회사 이동 단말기 및 그것의 제어방법

Also Published As

Publication number Publication date
EP3352438A4 (en) 2018-10-24
US10721194B2 (en) 2020-07-21
WO2017082519A1 (ko) 2017-05-18
KR20170054919A (ko) 2017-05-18
EP3352438A1 (en) 2018-07-25
US20180309706A1 (en) 2018-10-25
CN108353103A (zh) 2018-07-31
KR102393928B1 (ko) 2022-05-04
EP3352438B1 (en) 2019-06-05

Similar Documents

Publication Publication Date Title
CN108353103B (zh) 用于推荐响应消息的用户终端设备及其方法
JP7037602B2 (ja) デジタルアシスタントサービスの遠距離拡張
US20240089553A1 (en) Notification of augmented reality content on an electronic device
US10097494B2 (en) Apparatus and method for providing information
CN106415431B (zh) 用于发送指令的方法、计算机可读介质和电子设备
US20190235706A1 (en) Display device providing feedback based on image classification
CN105009062B (zh) 浏览被显示为瓦块的电子消息
CN110297679A (zh) 用于提供视听反馈的设备、方法和图形用户界面
JP6253639B2 (ja) コンテンツのオートネーミング遂行方法及びその装置、並びに記録媒体
US11516550B2 (en) Generating an interactive digital video content item
US20230164296A1 (en) Systems and methods for managing captions
US12001642B2 (en) User interfaces for managing visual content in media
US20210405767A1 (en) Input Method Candidate Content Recommendation Method and Electronic Device
US20130055079A1 (en) Display device providing individualized feedback
KR20160065670A (ko) 컨텐트를 제공하는 방법 및 디바이스
AU2017330785A1 (en) Electronic apparatus and controlling method thereof
US20160259539A1 (en) User terminal device, digital signage device, and controlling methods thereof
US11670340B2 (en) Prerecorded video experience container
KR20160108103A (ko) 사용자 단말 장치, 디지털 사이니지 장치 및 그 제어 방법들
US11650867B2 (en) Providing access to related content in media presentations
WO2023091627A9 (en) Systems and methods for managing captions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant