CN103109521B

CN103109521B - 增强消息的系统和方法

Info

Publication number: CN103109521B
Application number: CN201080068687.2A
Authority: CN
Inventors: 大卫·德利昂
Original assignee: Sony Ericsson Mobile Communications AB
Current assignee: Sony Mobile Communications AB
Priority date: 2010-09-21
Filing date: 2010-09-21
Publication date: 2015-05-06
Anticipated expiration: 2030-09-21
Also published as: EP2619967B1; EP2619967A1; WO2012038771A1; US20120284659A1; CN103109521A

Abstract

电子设备(10)通过附加与文本消息有关的媒体内容，向用户提供一种能增强文本消息的系统。电子设备包括显示器(14)，其用于显示正由所述电子设备的用户编辑的消息的文本输入；和控制电路(30)。控制电路被配置为：接收来自所述用户的所述文本输入；分析来自所述用户的所述文本输入；识别具有与所述文本输入有关的内容的一项或更多项视听内容；d驱动在所述显示器上显示每一项视听内容的可选择表示；以及构建包括所述文本输入和用户选择的其中一项视听内容的消息。

Description

增强消息的系统和方法

技术领域

本发明总体上涉及通信领域，更确切地涉及一种通过附加相关媒体内容来增强文本消息的方法和系统。

背景技术

便携式无线电子设备，例如移动电话，变得愈加普及。这样的设备经常被用来编辑和发送消息，例如电子邮件消息和文本消息。存在许多障碍使电子设备用户无法发送大量的富媒体消息，例如MMS。最初，通过认知和程序创建和/或附加媒体到消息。然而使用者要学会操作一个特别的用户界面是困难的，学会定位、选择并发送连同文本的媒体内容的整个步骤也是困难的。此外还尝试通过说、表达或共享的方式。然而用户会偶尔自己想要交流或表达，但是难以知道说什么。此外，用户发送消息的意图会被错过，因为文本消息不是特别有表现力和/或不是可视的。

发明内容

为了增强所发送的消息的表现的呈现，本发明公开的方法和系统提供了一种基于被用户编辑的消息文本实时进行的自动且动态的视听内容搜索。用户可从被搜索识别为要附加到消息上的视听内容项目选项中挑选一项目，例如图像、视频或声音。

根据本公开的技术方案的一个方面，一种具备消息增强功能的电子设备包括：显示器，用来显示正由电子设备的用户编辑的消息的文本输入；和控制电路，其被配置为：接收来自所述用户的所述文本输入；分析来自所述用户的所述文本输入；识别具有与所述文本输入有关的内容的一项或更多项视听内容；驱动在所述显示器上显示每一项视听内容的可选择表示；以及构建包括所述文本输入和用户所选的其中一项视听内容的消息。

根据电子设备的一个实施方式，所述控制电路被进一步配置为添加来自所述用户的额外或修改的文本输入，以及基于所述额外或修改的文本输入来修改所识别的一项或更多项视听内容。

根据电子设备的一个实施方式，所述控制电路被进一步配置为对所述所识别的一项或更多项视听内容进行排序(rank)以显示所述可选择表示。

根据电子设备的一个实施方式，所述视听内容包括静止图像。

根据电子设备的一个实施方式，所述视听内容包括音频。

根据电子设备的一个实施方式，所述视听内容包括视频。

根据电子设备的一个实施方式，所述电子设备是移动电话。

根据本公开的技术方案的另一方面，一种消息增强的方法包括以下步骤：显示正由电子设备的用户编辑的消息的文本输入；分析来自所述用户的所述文本输入；识别具有与所述文本输入有关的内容的一项或更多项视听内容；在显示器上显示每一项视听内容的可选择表示；以及构建包括所述文本输入和用户选择的其中一项视听内容的消息。

根据一个实施方式，本方法进一步包括以下步骤：添加来自所述用户的额外或修改的文本输入，以及基于所述额外或修改的文本输入来修改所识别的一项或更多项视听内容。

根据一个实施方式，本方法进一步包括以下步骤：对所述所识别的一项或更多项视听内容进行排序以显示所述可选择的表示。

根据本方法的一个实施方式，所述视听内容包括静止图像。

根据本方法的一个实施方式，所述视听内容包括音频。

根据本方法的一个实施方式，所述视听内容包括视频。

参考以下描述和附图，本发明的这些和进一步的特征将是明显的。在该描述和附图中，本发明的特定实施方式已被详细公开为指示一些本发明的原理被使用的方法，但是可以理解的是本发明在范围上不被相应地限制。而是，本发明包括在附加的权利要求的实质和条款的范围内所有的变化、修改和等价物。

关于一个实施方式被描述和/或说明的特征可以相同方式或以相似的方式在一项或更多项其它的实施方式中和/或结合或代替其它实施方式的特征被使用。

应被强调的是在本说明书中被使用的措辞“包括”用于明确说明存在所描述的特征、要件、步骤或组件，但是不排除存在或增加一项或更多项其它特征、要件、步骤、组件或它们的组合。

附图说明

图1是适于根据本发明的方面而使用的示例性移动设备的示意性图示。

图2是图1的移动设备的组件的图示；

图3是图1的移动电话可以在其中工作的通信系统的示意图；

图4是表示使用图1的移动电话来进行消息增强的示例方法的流程图；

图5A至5D是在显示代表性文本消息和由消息增强功能生成的可选择图像时示例性移动电话的图示。

具体实施方式

下面结合附图描述实施方式，其中相同的标号指代相同的部件。

术语“电子设备”包括便携式无线电通信设备。术语“便携式无线电通信设备”在这里也被指为移动无线电终端，包括所有如移动电话、寻呼机、通信器，即，电子记事本、个人数字助理(PDA)、智能电话、便携式通信设备或诸如此类的设备。

在本申请中，本发明主要以移动电话为背景进行描述。但是，应注意本发明并不意图限于移动电话，而可以是任何类型的电子设备。

首先参照图1和图2，图中示出了电子设备10。电子设备10包括消息增强功能12，其被配置为向用户提供可附加到用户所编辑的文本的图像的选项，例如消息文本(例如，电子邮件消息或文本消息)。消息增强功能12的附加细节和操作将在下文被更详细地描述。消息增强功能12可实现为驻留在电子设备10中且被其执行的可执行指令(例如代码)。在一个实施方式中，消息增强功能12可以是存储于计算机或机器可读媒介上的一个或更多个程序。消息增强功能12可以是独立的软件应用程序也可以是执行与电子设备10有关的附加任务的软件应用程序的一部分。

以下描述消息增强的示例性技术。而且，当消息增强功能12在一个实施方式中实现为软件时，这样的功能也能通过专用硬件或固件、或硬件、固件和/或软件的某一组合来实现。

电子设备10可包括显示器14。显示器14显示消息给用户，例如运行状态、时间、电话号码、联系人信息、各种菜单等，使用户能够使用电子设备10的各种不同特征。显示器14也可被用来视觉显示由电子设备10接收的和/或从电子设备10的存储器16(图2)中取出的内容。显示器14可被用来呈现图像、视频和其它图片给用户，例如照片、移动电视内容、网页和与游戏相关的视频。

键区18提供多种用户输入操作。例如，键区18包括数字字母键用来录入数字字母消息(例如，电话号码、电话列表、联系人信息、备忘、文本等)、特殊功能键(例如，呼叫发送和应答键、多媒体播放控制键、摄像机快门按钮等)、导航和选择键或定位装置等等。键或像键一样的功能也可被具体化为与显示器14相关联的触摸屏。而且，显示器14和键区18可彼此结合用于实现软键功能。

电子设备10包括使电子设备10能够与另一设备建立通信的通信电路。通信可包括呼叫、数据传输和诸如此类。呼叫可采用任何适当的形式例如但不限于语音呼叫和视频呼叫。呼叫例如可通过蜂窝电路交换网络执行或通过网络电话(VoIP)呼叫，其通过蜂窝网络的包交换能力或通过其他可选的包交换网络建立(例如，与IEEE 802.11兼容的网络，其一般地被指为WiFi，或与IEEE 802.16兼容的网络，其一般被指为WiMAX)。数据传输可包括但不限于接收流媒体内容(例如，流音频、流视频等)，接收数据服务(例如，推数据、播客、简易消息聚合(RSS)数据服务)，下载和/或上载数据(例如，图像文件、视频文件、音频文件、手机铃声、因特网内容，等)，接收或发送消息(例如，文本消息、即时消息、电子邮件消息、多媒体消息)，等等。这个数据可被电子设备10处理，包括在存储器16中存储数据，执行应用程序以允许用户与数据相互作用，显示与数据相关联的视频和/或图像内容，输出与数据相关联的音频声音，等等。

在示例实施方式中，通信电路包括连接至无线电路22的天线20。无线电路22包括用于经由天线20发射和接收信号的射频发射机和接收机。

进一步参照图3，无线电路22可被配置在移动通信系统24中工作。与移动无线网络和/或广播网络相互作用的无线电路22类型包括但不限于全球移动通信系统(GSM)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用分组无线业务(GPRS)、WiFi、WiMAX、手持数字视频广播(DVB-H)、综合业务数字广播(ISDB)、数字多媒体广播(DMB)、中国多媒体移动广播(CMMB)、高速分组接入(HSPA)等，以及这些标准的高级版本或任何其它适当的标准。应该意识到的是电子设备10能够使用多于一个标准通信。因此，天线20和无线电路22可代表一个或多于一个无线收发机。

系统24可包括通信网络26，该通信网络包括服务器28(或服务器组)，用于管理由电子设备10发起和去往电子设备10的呼叫，传送数据到电子设备10并接收来自电子设备10的数据，以及执行任何其它支持功能。服务器28通过传输介质与电子设备10通信。传输介质可以是任何适当的设备或组件，包括，例如，通信基站(例如，蜂窝服务塔，或小区塔)、无线接入点、卫星等。网络26可支持多个电子设备10和其它类型的终端用户设备的通信活动。应该意识到，服务器28可被配置为执行服务器功能的典型计算机系统，并可包括配置用来执行软件的处理器，该软件包含实现服务器28功能的逻辑指令和存储这样的软件的存储器。在可选配置中，电子设备10可直接与另一电子设备10(例如，另一移动电话或计算机)无线通信且没有中间网络。

电子设备10可包括被配置用来执行各种功能的全面控制和电子设备10的操作的主要控制电路30。控制电路30包括处理装置32，例如中央处理器单元(CPU)、微控制器或微处理器。处理装置32执行存储于在控制电路30内的存储器(未示出)中和/或存储在单独的存储器(例如存储器16)中的代码，以执行电子设备10的操作。例如，处理装置32可执行实现消息增强功能12的代码。存储器16例如可以是一个或更多个缓冲器、闪存、硬盘、可移动媒体、易失性存储器、非易失性存储器、随机存取存储器(RAM)，或其它适当的装置。在典型的配置中，存储器16可包括用作长期数据存储的非易失性存储器和用作控制电路30的系统存储器的易失性存储器。存储器16可通过数据总线与控制电路30交换数据。附随的控制线和存储器16与控制电路30之间的地址总线也是存在的。

电子设备10还包括声音信号处理电路34，用于处理由无线电路22发射的和从无线电路22接收的音频信号。连接至声音信号处理电路34的是扬声器36和麦克风38使得用户可以通过电子设备10听和说。无线电路22和声音处理电路34都被连接至控制电路30以便执行全面的操作。音频数据从控制电路30传递至声音信号处理电路34以播放给用户。音频数据包括，例如，来自存储器16存储的和由控制电路30取出的音频文件中的音频数据，或例如以语音通信的形式接收的音频数据或来自移动无线服务的流音频数据。声音信号处理电路34可包括任何适当的缓冲器、解码器、放大器等等。

显示器14可通过视频处理电路40连接至控制电路30，视频处理电路将视频数据转换为用于驱动显示器18的视频信号。视频处理电路40包括任何适当的缓冲器、解码器、视频数据处理器等等。视频数据可由控制电路30生成、从存储于存储器16中的视频文件取出、由无线电路22接收的输入视频数据流中获取，或由任何其它适当的方法得到。

电子设备10还可以包括一个或更多个输入/输出(I/O)接口42。I/O接口42可以为典型移动电话I/O接口的形式并可包括一个或更多个电连接器。I/O接口42可形成一个或更多个数据端口用于通过电缆连接电子设备10至另一设备(例如，计算机)或附件(例如，个人免提(PHF)设备)。此外，通过I/O接口42可接收工作电力，也可接收并给电子设备10内的供电单元(PSU)44的电池充电的电力。PSU 44可在没有外部电源的情况下提供使电子设备10工作的电力。

电子设备10也可包括多种其它部件。摄像机46用于拍摄数字照片和/或电影。对应于照片和/或电影的图像和/或视频文件可被存储于存储器16中。位置数据接收器48，例如全球定位系统(GPS)接收器或诸如此类，可用于确定电子设备10的位置。本地无线接口50，例如红外线无线收发机和/或射频无线收发机(例如，蓝牙芯片集)可被用来建立与附近设备的通信，例如附件(例如PHF设备)、另一移动无线终端、计算机或另一设备。

进一步参照图4，图示了用于实现消息增强的示例方法的逻辑操作。示例方法可通过执行例如消息增强功能12的实施方式而实现。因此，图4的流程图可被认为是描述了由电子设备10执行的方法步骤。虽然图4示出了执行功能逻辑块的特定顺序，但这些块执行的顺序可与示出的顺序不同。而且接连示出的两个或多个块可同时或部分同时被执行。某些块也可被省略。

在说明的示例实施方式中，由消息增强功能12取出的视听内容项目为静止图像。但是，这里描述的消息增强功能12不局限于静止图像，还包括所有媒体，包括视频、音频和静止图像。

进一步参照图5A，消息增强功能12的逻辑流程开始于块52，其中用户录入起始文本54。该文本可以是消息文本、状态更新或电子邮件。起始文本54可以是字符(例如，字母、数字或符号)，词的一部分、完整的词、完整的词和第二个词的一部分、短语的一部分或完整的短语。起始文本54可被控制电路30接收用于由消息增强功能12处理。起始文本54可以任何适当的方式被录入，例如包括按键区18的一个或更多个键，触摸触摸屏显示器14的一个或更多个适当的区域，或通过说出起始文本并用电子设备10转换语音为文本。

如图所示，起始文本54可包括一个或更多个字符，例如一个或更多个字母、一个或更多个数字、一个或更多个符号或字符类型的组合。例如，起始文本54可对应于用户期望录入的词或短语的第一个字符(例如，字母)。在示例中，起始文本是英语字母“I”。

在块56中，对应于起始文本54的输入，显示器14可被控制用来显示用户已观看的最近的照片或图像58的缩略图的选项。这些图像可以是用户在网上已拍摄、接收、观看的或已存储在电子设备10的设备摄像机影集中的照片。换言之，图像58会与用户有一些最近的相关性。

消息增强功能12可分析起始文本54以确定起始文本54是否包括完整的词。为了消息增强功能12的目的，完整的词不需要是完整的词典类型的词，而是包括首字母的缩写词和在特定意义的文本条目中普遍使用的其它字符组合。仅举出一些例子，字符组“BFF”被文本消息用户普遍使用来代表“永远是最好的朋友”，字符组“BRB”被文本消息用户普遍使用来代表“马上回来”，字符组“IDK”被文本消息用户普遍使用来代表“我不知道”。

块56之后，逻辑流进行到块60。在块60中，可以确定用户是否已选择了一个建议图像58。可通过触摸显示器14上相应的点或使用输入装置，例如定点装置，来选择建议图像。也可通过突出显示驱动操作，例如通过摇杆键、操作杆或通过滚球来选择一个建议图像。如果在块60中确定为是，则逻辑流可进行到块62，其中所选图像或指向所选图像的链接被附加到文本54上。

如果在块60中确定为否，则逻辑流可进行到块64。在块64中，确定用户是否输入了要添加到起始文本54中的额外字符或文本。如果在块64中确定为是，则逻辑流可以进行到块66，在块66中添加该额外文本，并通过消息增强功能12的操作来修改建议图像。块66之后，逻辑流可以返回至块60。

消息增强功能12操作以执行指向更新的文本消息68的图像搜索。该图像搜索可使用例如Google图像或Flickr的服务来生成建议图像的选项。另外，可基于图像标签、日期、人名等执行本地搜索。图像搜索可以对每个写入的词进行，或者仅对有效词进行。也即不重要的词如“a”、“of”和“or”可通过与设备上的字库进行比较而过滤掉。图像搜索可对输入的完整短语进行，且可包括下一个词预测。

进一步参照图5B，用户输入了额外文本，于是更新后的文本消息68显示为“I looklike”。修改后的图像70连同更新后的文本消息68一起被显示在显示器14上。先前显示的图像58可替换为修改后的图像70，或可连同修改后的图像70一起被显示。在图5B中，下排图像是对搜索词“look like”的响应。在示例中，建议图像包括一个长得像他的狗的人的图像、一只眼睛的照片和双胞胎的照片。修改后的图像70可一起被呈现；按可能相关性在列表中列出；按可能相关性在树形图中列出，更相关的图像比不太相关的图像更大；或者作为拼贴画或系列拼贴画，其中图像被智能地组合和自动拼合。关于图5B说明的实施方式，用户不挑选任何建议图像70，而是继续录入额外文本。因此，在块60中确定为否，且逻辑流再次进行到块64。

进一步参照图5C，用户录入额外文本，于是完整的文本消息72显示为“I look likea clown today”。消息增强功能12基于完整的文本消息72进行进一步的搜索并生成进一步修改后的建议图像74的选项。在说明的实施方式中，修改后的建议图像74的选项替代了之前的建议图像70的选项。修改后的建议图像选项包括小丑面孔的各种图像和小丑鱼的图像。

如果用户没有选择其中一个修改后的建议图像74，但是也不输入额外文本，则可以断定建议图像中没有该用户偏好的图像。在这个例子中，参照图4，在块64中确定为否，且逻辑流进行到块76，其中建议图像可自动修改(例如，经过预定时间后)或基于用户输入被修改。例如，用户可以使用“Next”按钮78来显示一组不同的建议图像。可选的是，滚动条图标可被显示用来为用户提供不同组的建议图像。块76之后，逻辑流返回至块60。

如果在块60中确定为是，则逻辑流进行至块62，其中所选择的图像被附加到文本消息上。进一步参照图5D，用户可选择一个建议图像74作为所选图像80。用户可以选择所选图像80，例如，通过触摸该图像或通过把它拖到一个指定区域(未显示)。然后所选图像80被自动附加到文本消息上。图像本身可被附加到文本消息上，或者，在使用了例如Google图像、Flickr或Facebook的服务的情况下，该图像的链接可被附加到文本消息上。然后用户可发送图像增强的消息、保存它、删除它，或根据任何电子设备10的可获得的特征处理图像增强的消息。

此外，虽然各种不同的图形显示执行功能逻辑块的特定顺序，块执行的顺序可相对于显示的顺序被更改。而且，被接连显示的两个或多个块可被同时或部分同时执行。某些块也可被忽略。另外，任何数量的命令、状态变量、信号量或消息可被添加到逻辑流，以达到增强效应、计费、性能、测量、检修和诸如此类的目的。被理解的是所有这些变动都在本发明的范围内。

虽然已经示出并针对某些示例性实施方式描述了本发明，但是应该理解的是，其他本领域技术人员在阅读和理解了说明书后会想到等效物和变型例。本发明包括所有这样的等效物和变型例，并仅由以下权利要求的范围来限制。

Claims

1.一种具备消息增强功能的电子设备(10)，所述电子设备(10)包括：

显示器(14)，其用于显示正由所述电子设备的用户编辑的消息的文本输入；和

控制电路(30)，其被配置为：

接收来自所述用户的用于由消息增强功能处理的起始文本的输入；

由所述消息增强功能分析来自所述用户的所述起始文本的所述输入；

对应于所述起始文本的所述输入，显示用户已观看的最近的一项或更多项视听内容的第一可选择表示；

如果所述用户没有从所述第一可选择表示选择视听内容，则确定所述用户是否录入了添加到所述起始文本中的额外字符或文本；

如果所述用户没有录入添加到所述起始文本的所述额外字符或文本，则呈现所述用户已观看的最近的一项或更多项视听内容的其他的第一可选择表示；

如果所述用户录入了添加到所述起始文本的所述额外字符或文本，则识别与所录入的额外字符或文本有关的一项或更多项视听内容以在所述显示器上额外地显示第二可选择表示；

如果用户没有从所述第二可选择表示选择一项视听内容，则在所述显示器上呈现与所录入的所述额外字符或文本有关的其他的第二可选择表示；

构建包括所述文本输入和用户从所呈现的所述一项或更多项视听内容中选择的视听内容的消息。

2.根据权利要求1所述的电子设备(10)，其中，所述控制电路(30)被进一步配置为对所述所识别的一项或更多项视听内容进行排序以显示所述可选择的表示。

3.根据权利要求1或2所述的电子设备(10)，其中，所述视听内容包括静止图像。

4.根据权利要求1或2所述的电子设备(10)，其中，所述电子设备还包括扬声器(36)，并且所述视听内容包括音频。

5.根据权利要求1或2所述的电子设备(10)，其中，所述视听内容包括视频。

6.根据权利要求1或2中任一项所述的电子设备(10)，其中，所述电子设备是移动电话。

7.一种消息增强的方法，所述方法包括以下步骤：

在电子设备(10)的显示器(14)上显示正由所述电子设备的用户编辑的消息的起始文本的输入；

分析来自所述用户的所述起始文本的所述输入；

如果所述用户录入了添加到所述起始文本的所述额外字符或文本，则识别与所录入额外字符或文本有关的一项或更多项视听内容以在所述显示器上额外地显示第二可选择表示；

如果用户没有从所述第二可选择表示选择一项视听内容，则在所述显示器上呈现与所录入的额外字符或文本有关的其他的第二可选择表示；

8.根据权利要求7所述的方法，所述方法还包括以下步骤：对所述所识别的一项或更多项视听内容进行排序以显示所述可选择表示。

9.根据权利要求7或8所述的方法，其中，所述视听内容包括静止图像。

10.根据权利要求7或8所述的方法，其中，所述电子设备(10)还包括扬声器(36)，并且所述视听内容包括音频。

11.根据权利要求7或8所述的方法，其中，所述视听内容包括视频。

12.根据权利要求7或8中任一项所述的方法，其中，所述电子设备(10)是移动电话。