CN110908525A - 一种输入法及其客户端和提供候选图片/视频的方法 - Google Patents

Abstract

本发明涉及一种输入法及其客户端和提供候选图片/视频的方法，其中用于输入法提供候选图片/视频的方法包括：基于用户的图片/视频请求生成搜索请求；将搜索请求发送到一个或多个图片/视频搜索引擎；从一个或多个图片/视频搜索引擎接收一个或多个候选图片/视频；以及向输入法客户端提供一个或多个候选图片/视频。所述输入法客户端包括界面模块、上屏文字生成模块、通信模块以及图文合成模块，所述通信模块从服务器端接收一个或多个来自第三方图片/视频搜索引擎的候选图片/视频。本发明提供的输入法表达更加丰富、娱乐性更强；充分利用了现有搜索引擎的强大能功，获取到更多、更丰富的图片/视频。

Description

一种输入法及其客户端和提供候选图片/视频的方法

技术领域

本发明涉及应用技术领域，特别地涉及一种输入法及其客户端和提供候选图片/视频的方法。

背景技术

无论是在PC端还是在移动端，输入法都是人们日常生活中高频使用的应用程序。现有输入法的发展具有两个明显的趋势。一个趋势是易用性方向的发展，输入更方便，更准确，更高效。无论是人工智能在输入法匹配中的应用，还是基于语音识别的输入法都是这一方向的代表。另一个趋势是娱乐性方向的发展，输入内容更丰富、更多样、更直观。颜文字、表情、表情包等输入功能的不断加入反映出输入法在这一方向上的发展。然而，随着人们在表达上要求的不断提高，现有的输入功能仍无法满足需求。

发明内容

针对现有技术中存在的技术问题，本发明提出了一种输入法及其客户端和提供候选图片/视频的方法，将用户输入的字符合并到图片/视频中，从而提供一种表达更为丰富的输入方式。

根据本发明的一个方面，本发明提供了一种用于输入法提供候选图片/视频的方法，包括：基于用户的图片/视频请求生成搜索请求；将搜索请求发送到一个或多个图片/视频搜索引擎；从一个或多个图片/视频搜索引擎接收一个或多个候选图片/视频；以及向输入法客户端提供一个或多个候选图片/视频。

可选地，在所述的方法中，所述搜索请求包括用户输入的字符串或上屏文字。

可选地，在所述的方法中，当图片/视频请求包括用户输入的字符串时，所述方法进一步包括基于用户输入的字符串预测上屏文字。

可选地，所述方法还进一步包括：接收用户对于候选词的选择，更新上屏文字。

可选地，所述方法还进一步包括：分析上屏文字，从中提取出一个或多个特征参数，并将所述特征参数添加到搜索请求中；其中，所述的特征参数为关键字、属性特征、用户历史或用户偏好。

可选地，在所述的方法中，进一步包括：在图片/视频中定义能够容纳一个或多个文字的文字区域。

可选地，所述方法还进一步包括：识别候选图片/视频中的空白区域；确定容纳一个或多个文字的文字区域的位置；以及确定文字区域容纳的文字数量和字号。

可选地，所述方法还进一步包括：为所述文字区域设置动态属性。

可选地，所述方法还进一步包括：采取以下步骤中的一者或多者的操作：改变候选图片的背景、亮度、色度和/或对比度；增加滤镜、增加美颜处理、增加道具和/或增加框边；以及改变候选图片的风格、表现手法和/或表达方式。

可选地，所述方法还进一步包括：生成一个或多个候选图片/视频的缩略图；以及向输入法客户端发送一个或多个候选图片/视频的缩略图。

可选地，所述方法还进一步包括：响应于来自一个或多个第一图片/视频搜索引擎的一个或多个候选图片/视频数量不足和/或匹配度不高，生成补充搜索请求；将补充搜索请求发送到一个或多个第二图片/视频搜索引擎；以及从第二图片/视频搜索引擎接收一个或多个候选图片/视频。

可选地，在所述方法中，所述补充搜索请求中包括以下搜索条件的一个或多个：随机搜索；用户图片和/或用户偏好；用户属性信息；图片的流行度；以及图片的类别。

根据本发明的另一个方面，还提供了一种输入法，包括：接收用户输入的字符串；向服务器端发送图片/视频请求，所述图片/视频请求包括用户输入字符串或基于用户输入字符串的上屏文字；从服务器端接收根据所述图片/视频请求返回的一个或多个候选图片/视频；以及基于一个或多个候选图片/视频生成包含上屏文字的一个或多个图文合成图片/视频；其中，所述一个或多个候选图片/视频来自第三方图片/视频搜索引擎。

可选地，在所述的方法中，至少部分候选图片/视频与用户输入的字符串或上屏文字的关键字、属性特征、用户历史、用户偏好中的一者或多者相关联。

可选地，所述方法进一步包括：从服务器接收的候选图片/视频为候选图片/视频的原图/原视频，或候选图片/视频的缩略图。

可选地，在所述的方法中，在从服务器接收的候选图片/视频为原图/原视频时，在生成图文合成图片/视频后，生成对应的缩略图。

可选地，在所述的方法中，在从服务器接收的候选图片/视频的缩略图时，响应于用户的选择的图文合成图片/视频的缩略图，从服务器端获取对应缩略图的原图/原视频；基于所述原图/原视频生成图文合成图片/视频。

可选地，所述方法进一步包括：响应于用户选择的图文合成图片/视频的缩略图，输出对应的图文合成图片/视频。

根据本发明的另一个方面，本发明还提供了一种输入法客户端，包括：界面模块，其经配置以接收用户输入的字符串；上屏文字生成模块，其经配置以用户输入的字符串生成上屏文字；通信模块，其经配置以向服务器端发送图片/视频请求，其中，所述图片/视频请求包括用户输入的字符串或者上屏文字；以及从服务器端接收一个或多个候选图片/视频；以及图文合成模块，其经配置以基于一个或多个候选图片/视频生成包含上屏文字的图文合成图片/视频；其中，一个或多个候选图片/视频来自第三方图片/视频搜索引擎。

可选地，所述输入法客户端进一步包括：词库模块，其经配置以根据用户输入的字符串提供一个或多个候选词；所述上屏文字生成模块基于用户选择的候选词更新所述上屏文字。

可选地，在所述输入法客户端中，所述通信模块经进一步配置以从服务器接收一个或多个候选图片/视频的缩略图，并向服务器发送请求用户选择的缩略图的原图/原视频的原图请求；所述图文合成模块经配置以基于所述候选图片/视频的缩略图生成包含上屏文字的侯选图文合成图片/视频的缩略图，并基于原图请求返回的图片/视频生成图文合成图片/视频。

可选地，在所述输入法客户端中，所述图文合成模块经配置以基于所述侯选图文合成图片/视频生成对应的缩略图。

可选地，所述输入法客户端进一步包括输出模块，其经配置以响应于用户选择的侯选图文合成图片/视频或其对应的缩略图，输出对应的图文合成图片/视频。

可选地，在所述输入法客户端中，所述图文合成模块经配置生成的图文合成图片/视频或其缩略图的数量大于界面模块能够展示的数量。

本发明将用户要表达一定含义的文字合成到与之匹配的图片/视频中，更加突出了用户的表达意图；由于用户可以确定其要输出内容的图片和文字，因而输出内容更加灵活多变，输入法的表达更加丰富、娱乐性更强；由于本发明中的图片/视频来自于第三方搜索引擎，既不占用输入法系统的资源，还充分利用了现有搜索引擎强大的功能，从而可以获取到更多、更丰富的图片/视频，从而使得合成图片/视频的内容、效果更加丰富、生动、多样，从而满足更多用户不断变化的需求。

附图说明

下面，将结合附图对本发明的优选实施方式进行进一步详细的说明，其中：

图1是根据本发明一个实施例的系统网络连接示意图；

图2是根据本发明一个实施例的输入法系统的简要交互示意图

图3根据本发明一个实施例的输入法客户端的原理框图；

图4是根据本发明一个实施例的输入界面的示意图；

图5是根据本发明另一个实施例的输入法的流程示意图；

图6是根据本发明一个实施例的服务器端获取图片/视频的流程图；

图7是根据本发明一个实施例提供的另一种输入法客户端的原理框图；以及

图8是根据本发明另一个实施例的输入界面的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在以下的详细描述中，可以参看作为本申请一部分用来说明本申请的特定实施例的各个说明书附图。在附图中，相似的附图标记在不同图式中描述大体上类似的组件。本申请的各个特定实施例在以下进行了足够详细的描述，使得具备本领域相关知识和技术的普通技术人员能够实施本申请的技术方案。应当理解，还可以利用其它实施例或者对本申请的实施例进行结构、逻辑或者电性的改变。

现有技术中输入法的一些功能，例如表情包功能，使得输入法能够输入图片。然而，在使用表情包时，用户需要预先下载表情包。输入法中能够输入的图片也仅限于表情包中提供的图片。特别是，表情包图片中的文字是无法修改的。这使得用户的使用受到了很大的限制。

本发明的一些实施例中提出了一种更具娱乐性的输入法：基于用户输入的内容与图片/视频结合形成包含用户输入内容的图片/视频。以下通过图片的实施例来详细说明本发明的技术方案。本领域技术人员应当理解，本发明的方案也能够以类似的方式应用于视频，例如时间小于5秒、10秒或15秒的小视频。

图1是根据本发明一个实施例的系统网络连接示意图。在本发明中，输入法客户端设置在用户终端100A中，通过网络200B与服务器200A相通信。服务器200A通过不同的网络与多个不同的图片/视频搜索引擎相连接。例如，通过网络300B与位于服务器300A中的图片/视频搜索引擎相通信，通过与网络301B与位于服务器301A中的图片/视频搜索引擎相通信。服务器200A在接收到用户终端100A中的输入法客户端的图片/视频搜索请求时，与其中的一个或多个图片/视频搜索引擎相通信，由图片/视频搜索引擎搜索与图片/视频请求相匹配的图片/视频，服务器200A将其进行一定的处理，例如，定义文字区域及其相关属性、修改图片的背景等，然后发送给输入法客户端，由输入法客户端生成图文合成图片/视频。

图2是根据本发明一个实施例的输入法系统的简要交互示意图。所述输入法系统包括输入法客户端100和服务器端200。输入法客户端100接收用户的输入，并基于用户输入的字符或字符串生成上屏文字，并向服务器端200发送图片/视频请求。服务器端200接收输入法客户端100的图片/视频请求，生成搜索请求，与一个或多个第三方图片/视频搜索引擎300相通信，将所述搜索请求提交到所述第三方图片/视频搜索引擎300。第三方图片/视频搜索引擎300根据搜索请求中的用户输入，如用户输入的字符串或上屏文字，查询图库，得到一个或多个图片，并将其发送给服务器端200。服务器端200对所述图片进行处理，如定义文字区域等，然后将处理完成的图片作为候选图片发送给输入法客户端100。输入法客户端100接收到候选图片后，将上屏文字合成到候选图片中，从而生成候选图文合成图片。输入法客户端100根据用户的选择，输出对应的图文合成图片。

如图3所示，为根据本发明一个实施例的输入法客户端的原理框图。所述输入法客户端100包括界面模块102、上屏文字生成模块104、通信模块106和图文合成模块108，其中，界面模块102提供用户输入界面。在用户输入界面上，用户可以输入一个字符或者多个字符的字符串。所述的输入界面如图4所示，用户输入界面包括字符显示区202、候选图片区204和输入区206。其中，字符显示区202用于显示用户输入的字符或字符串，用户输入的方式可以为文字输入、语音输入等。在一个较佳实施例中，候选图片区204展示的是图文合成后的候选图片，此后简称候选合成图，或者展示候选合成图的缩略图。在候选图片区204，用户可以选择候选合成图。例如，用户可以直接点击候选图片区204中一个候选合成图；或者，用户可以点击空格，而选择候选合成图中的第一个候选合成图。在一些实施例中，候选图片区204能够扩展以显示更多的候选合成图。例如，候选图片区204的候选合成图能够左右滑动，以呈现其他候选合成图。或者，候选图片区204能够扩大到输入区206，以呈现其他更多的候选合成图。

输入区206可以提供用户使用的键盘或语音输入界面。所述键盘包括但不限于：拼音9键、拼音26键、手写键盘、中文笔画键盘、中文五笔等一种或多种。

此外，输入界面的候选图片区204还具有显示服务器端200提供的候选图片的操作区，即显示服务器端可以提供的候选图片，用以提供由用户选择候选图片的机会。举例而言，在候选图片区204中设置云标记按钮(图中未示出)。用户可以点击云标记按钮，则可以在候选图片区204显示服务器端200发送的图片索引及图片缩略图，通过点击缩略图，可以查询完整的原图。

用户通过界面模块102的输入区206输入字符，输入的字符显示在字符显示区202。上屏文字生成模块104根据字符显示区202中的字符或字符串生成上屏文字，并提供给图文合成模块108。界面模块102将字符显示区202中的字符或字符串合并到图片/视频请求中，通过通信模块106发送给服务器端200。

上屏文字生成模块104根据用户输入的字符串生成上屏文字。在生成上屏文字之后、用户选择一个候选合成图之前，在用户进行输入时，根据用户新的输入更新上屏文字。

通信模块106与服务器端200通信，向服务器端200发送图片/视频请求或用户的操作请求，并接收服务器端200发回的候选图片或其缩略图，并将其提供给图文合成模块108。

图文合成模块108利用一个或多个候选图片/视频和上屏文字生成一个或多个包含上屏文字的候选图文合成图片/视频。当从服务器端200接收的是候选图片时，生成候选合成图，并显示在候选图片区204。在一些实施例中，为了能在候选图片区204显示更多的图片，在生成合成图后，图文合成模块108还生成其缩略图，在候选图片区204显示候选合成图的缩略图。

当从服务器端200接收的是候选图片的缩略图时，在一种实施方式中，图文合成模块108将上屏文字合成在缩略图中，并显示在候选图片区204。如果用户选择了其中的一个，则通过通信模块106向服务器端200请求该缩略图的原图，接收到返回的原图后，图文合成模块108制成合成图输出到当前的应用中。在另一种实施方式中，图文合成模块108只在用户选择了某一个缩略图并得到其原图后，将上屏文字合成在原图中，并输出到当前的应用中，在这种情况下，用户看到的缩略图是合成前的图片。在一个实施例中，虽然用户看到的是合成前的候选图片，但是候选图片中的文字区域通过边框、闪烁的边缘等方式向用户展示该文字区域，便于用户估计添加了上屏文字后的图片效果。

如图5所示，是根据本发明一个实施例的输入法的流程示意图。所述输入法具体包括：

步骤S500，接收用户输入的字符串。当用户在输入界面的输入区输入字符时，获取到用户输入的字符串。在另一个实施例中，输入法客户端100存储有历史输入的字符串，当用户输入字符时，输入法客户端100根据用户当前输入的字符，向用户提供历史输入的包括了所述字符的字符串，从而可以加快用户输入字符的速度。

步骤S510，向服务器端发送图片/视频请求，其中，所述图片/视频请求包括用户输入的字符串或者基于用户输入字符串的上屏文字。当获得了用户输入的字符串时，在一些实施例中，向服务器端200发送图片/视频请求，并在图片/视频请求中包括所述字符串。在另一些实施例中，先根据用户输入的字符生成上屏文字，再将上屏文字合并在图片/视频请求，并发送给服务器端200。

步骤S520，从服务器端接收一个或多个候选图片/视频。在一些实施例中，从服务器端200接收的是图片的原图或原视频，在另一些实施例中接收的是候选图片/视频缩略图。

其中，所述候选图片可以是线条图、灰度图、彩色图、照片等中的一者或多者。候选图片的背景可以为白色、灰色、浅蓝色、绿色、蓝色、黑色等颜色。所述候选图片/视频中包括文字区域，用于容纳一个或多个文字，文字的大小、字体、排版、颜色中的一者或多者是经过预先定义的。所述的文字包括汉字、外文字、数字、标点符号等中的一者或多者。在一些实施例中，文字区域中的文字具有动态属性。例如，文字可以变大或变小、旋转、变色、边缘闪光等。在一些实施例中，候选图片可以是动图。举例而言，候选图片包括多个子图片的动图。每个子图片包括文各自的文字区域。各个子图片的文字区域可以不相同。在一些实施例中，每个子图片的文字区域中添加的文字是一致的。由此，虽然子图片变换而形成动图，但是整个动图向用户呈现的文字是一致的。在其他一些实施例中，每个子图片的文字区域中添加的文字是不一致的。各个子图片的文字区域组合起来是添加的文字。例如，动图包括3个子图片，需要添加的文字是“我爱你”；那么3个子图片的文字区域分别添加“我”、“爱”和“你”。由此，候选图片向用户动态呈现添加的文字“我爱你”。在一些实施例中，候选图片的各个子图片中添加文字的切换可以具有特效。这些特效包括但不限于：淡入淡出、从小到大或从大到小然后消失、从左到右或从右到左然后消失、从上到下或从下到上然后消失等。本领域技术人员应当理解，对于候选视频也可以采用类似方式处理。在一些例子中，候选视频能够播放上屏文字。

步骤S530，基于一个或多个候选图片/视频生成包含上屏文字的一个或多个图文合成图片/视频。如果从服务器端200接收的是图片的原图或原视频，则将上屏文字添加在候选图片/视频的原图、原视频的文字区域，进一步地，为了能显示尽可能多的候选图片/视频，在一个实施例中，还基于候选合成图生成对应的缩略图。如果接收的是候选图片/视频缩略图，将上屏文字添加在缩略图的文字区域，可在用户选择了缩略图后生成该缩略图对应的合成图原图，也可以在生成缩略图之后、用户选择之前生成所有缩略图的合成图原图。合成后的候选合成图缩略图显示在候选图片区204。一般而言，文字区域能够容纳的文字数量有限制。如果添加的文字数量超过文字区域所能容纳的文字数量，则文字区域可以仅显示所能容纳的最多数量的文字，其余文字以例如省略号等符号代替。在一些实施例中，图文合成模块108生成的候选合成图的数量多于候选图片区204能够呈现数量。由此，当用户希望查看更多候选合成图时能够更为迅速地向用户呈现添加了上屏的候选词的其他候选合成图。可选地，候选合成图中的文字区域具有可编辑属性，即允许用户调整文字区域的位置和/或大小以及上屏文字的字号、字体、版式、颜色等。

步骤S540，响应于用户的确认操作，输出添加了上屏文字的候选合成图。在一些实施例中，在候选图片区204显示多个候选合成图时，根据用户的选择，向相应的应用输出用户选择的合成图。在另一些实施例中，在既生成了候选合成图，也生成了其缩略图时，根据用户选择的候选合成图缩略图，输出对应的原图。在另一些实施例中，如果仅从服务器接收到候选合成图缩略图，根据用户选择的合成图缩略图，向服务器端发送要求图片原图的原图请求，如图1中的虚线所示交互流程，并在请求中包括该缩略图的标识。在服务器端接收到该原图请求时，根据缩略图的标识查找其原图，并返回图缩略图原图。输入法客户端接收到原图后，将上屏文字合成到原图中并输出到对应的应用中。从用户角度，当用户选择了某个候选合成图缩略图，则输出了合成图原图。

图6是根据本发明一个实施例的服务器端获取图片/视频的流程图。如图1所示，服务器端200在接收到输入法客户端发送的图片/视频请求后，通过第三方图片/视频引擎检索与用户输入匹配的图片/视频，简要过程如下：

在步骤610，基于用户的图片/视频请求生成搜索请求。当接收到来自于输入法客户端的图片/视频请求时，在一个实施例中，将从输入法客户接收的图片/视频请求的内容，如用户输入的字符串或上屏文字等，直接添加到搜索请求，以其作为搜索关键字。在另一个实施例中，对图片/视频请求中的内容进行分析。例如，当用户输入为字符串，根据所述字符串预测上屏文字。然后对上屏文字进行分析，从中提取出特征参数，如关键字、属性特征、用户历史或用户偏好等，所述的属性特征，例如为褒义、贬义、中性、赞扬、讽刺等。将分析得到的这些特征参数添加到搜索请求中，用以帮助第三方图片/视频引擎300快速匹配到合适的图片/视频，从而提高查询效率和匹配率。

在步骤620，将搜索请求发送给一个或多个第一图片/视频引擎。其中，可以将搜索请求发送给一个第三方图片/视频引擎300，也可以发送给多个，以便于提高搜索成功率，提高匹配度。

在步骤630，响应于没有匹配的图片或者图片数量不足，向一个或多个第二图片/视频引擎发送补充搜索请求。其中，所述图片的数量由输入法客户端输入界面能够展示的图片数量以及为了方便用户快速浏览更多图片而提供的额外的图片的数量决定。因此，候选图片的数量一般大于或等于输入界面能够展示的图片数量。如果没有匹配的图片或者图片数量不足时，需进行补充搜索。在一些实施例中，为了保证搜索的成功率，在补充搜索请求中添加的搜索条件可以是以下各个条件的各种组合：随机搜索、基于用户历史搜索、基于用户偏好搜索、基于图片的流行程度搜索、基于图片的类别搜索。

可选地，在步骤640，对从第三方图片/视频搜索引擎接收图片/视频进行处理。对图片/视频进行的处理包括以下几个方面：

1、在一些实施例中，在图片/视频中定义能够容纳一个或多个文字的文字区域。例如，首先通过图像分析识别出候选图片/视频中的空白区域。然后在所述空白区域内确定容纳文字的文字区域的位置，例如，根据空白域与图片中其他图像的比例关系确定出可以添加文字的文字区域，例如文字区域与人物图像的面积比例为1:2至1:1，而不超过1，从而可以使整个图片的图文比例协调，保证图片的美观；然后根据文字区域的位置，确定文字区域容纳的文字数量和字号。

2、为所述文字区域或其中的文字设置边框、边框的闪光等动态属性。

3、在另一些实施例，还可以对图片/视频进行以下操作：

(1)改变候选图片的背景、亮度、色度和/或对比度；

(2)为图片增加滤镜、增加美颜处理、增加道具和/或增加框边；

(3)改变候选图片的风格、表现手法和/或表达方式等；

(4)将几个子图片合成一组动图，具体如前所述，在此不再赘述。

4/将进行完上述处理后的图片/视频作为候选图片/视频并进行存储。在一个实施例中，在将其发送给输入法客户端之前还包括为候选图片创建图片描述、进行图片分类并将候选图片按照图片描述、图片分类或图片中的文字分别存储到临时图库中。其中，图片描述可以是一个或多个词语(例如关键字)、一段文字、或者一个或多个词语或文字与语气的组合。在一些实施例中，图片描述说明了与候选图片匹配的台词或潜台词，例如“你真是太美了”、“我不扶墙就服你”等。在一些实施例中，图片描述说明了候选图片适合描述的场景，例如“忙”、“倒”、“晕”等。在一些实施例中，图片描述说明了候选图片的内容、气氛、声音、气味、味道等，例如，“黄河”、“真香”、“太甜了”等。在一些实施例中，图片的图片描述是以上类型的图片描述中一者或多者。以上仅仅是示例性地说明候选图片的图片描述。候选图片的还可以包括其他类型的图片描述以与用户的需求匹配。图片分类描述了图片所归属的类别。举例而言，用户的偏好为可爱的小动物。在提供候选图片时，同时满足“动物”和“萌”的候选图片在排序时权重就会提高。由此，在提供候选图片时能够更加让用户满意。同样地，在一些实施例中，图片分类也有利于获取用户偏好，单独或结合其他用户信息为用户精准画像。

以下表1是一个临时图库中候选图片的示例：

表1：临时图库表

	图片名称	图片中的文字	图片分类	图片描述
					1	皮卡丘0028	无	通用、儿童	谁？…
2	大章鱼0012	无	搞笑、动物	我是谁？…
					3	小红帽0010	别问我是谁？	萌、儿童	勇敢、智慧…
4	…	…	…	…

另外，利用图片描述、图片分类以及图片中的文字中的一者或多者建立的索引，便于在处理过程中检索当前的多个候选图片。

5、对待发送的候选图片进行排序的处理过程。例如，候选图片根据匹配的属性以及匹配度等诸多因素不同具有不同的权重。当从第三方搜索引擎300收到图片后，在一些实施例中，基于以下因素中的一者或多者对多个图片进行排名：(1)字符或其关键字与图片描述和/或图片中的文字的匹配度；(2)字符或其关键字与图片类别的匹配度；(3)用户选择候选图片的历史记录；(4)用户偏好与候选图片类别的匹配度；(5)用户属性与候选图片类别的匹配度(6)候选图片在其图片分类中的流行程度；(7)候选图片的通用程度；(8)候选图片类别在检索结果中的比例；等等。如本领域技术人员所理解的，以上仅仅是示例性的说明可能应用于候选图片排序的一些因素，并非涵盖可能的所有因素。其他有利于提供用户希望的或者更佳图文效果的因素也可以成为候选图片排序参考的指标。

在一些实施例中，以上候选图片的排序因素通过候选图片的排序体现出来。举例而言，匹配度越高，权重也越高。在一些实施例中，上屏文字或其关键字与图片中文字完全一致的权重高于上屏文字或其关键字被包含在图片中文字中的权重。但是，不同的因素具有不同的最高权重。例如，字符或其关键字与候选图片中文字匹配度的最高权重大于字符或其关键字与候选图片中图片描述匹配度的最高权重。换言之，如果字符与第一候选图片中的文字完全一致；同样地，也与第二候选图片的图片描述完全一致，那么第一候选图片比第二候选图片排序更靠前。如本领域技术人员所理解的，其他排序因素也能够通过权重的调整而在排序中体现。在一些实施例中，通过动态地调整候选图片的权重而形成个性化的搜索结果，从而更好地匹配用户的需求。现有技术中其他关于权重调整的方式也可以应用于此，从而更好地提高本发明的技术效果。

在步骤650，将定义了文字区域的图片作为候选图片发送给输入法客户端。其中，发送给输入法客户端的可以是候选图片/视频的原图/原视频，也可以是其缩略图，还可以是原图及其缩略图。如果仅发送缩略图，还会收到输入法客户端发送的原图请求，在收到原图请求时，查找到该原图，并将其发送给输入法客户端。

用户在使用输入法的过程中，可以使用服务器端200发送来的候选图片，也可以随时浏览服务器端200的图片，如前所述，用户可以通过候选图片区204中设置云标记按钮向服务器端200发送第二文件请求，所述第二文件请求中包括浏览所有候选图片的信息。服务器端200接收到所述第二文件请求后，向输入法客户端100发送临时图库索引及图片缩略图。用户可以浏览临时图库中的缩略图，如遇到感兴趣的图，可以点击该缩略图以获取原图。当用户选择(即点击)了某个缩略图时，输入法客户端100向服务器端200发送第三文件请求，其中包括了选择的缩略图或其标识。向服务器端200基于所述缩略图或缩略图的标识，从临时图库中获取对应的原图，并发送给输入法客户端100。

图7是根据本发明一个实施例提供的另一种输入法客户端的原理框图，与图1所示的实施例相比，本实施例所述的输入法系统增加了词库模块103，其根据用户输入的字符串提供一个或多个候选词，在用户选择了一个候选词时，将所述候选词发送给所述上屏文字生成模块104，或发送给服务器端。当发送给上屏文字生成模块104时，上屏文字生成模块104将一个或多个候选词合并为上屏文字，并基于当前的上屏文字更新之前生成的上屏文字，其中的上屏文字为多个候选词的集合。上屏文字生成模块104通过通信模块106将上屏文字发送给服务器端200。当然，候选词也可以直接通过通信模块106发送给服务器端200，由服务器端200更新上屏文字。

其中，如本领域技术人员所理解的，现有技术中用于提供候选词的实施方式都可以应用于此以提供与用户输入的字符或字符串最为匹配的候选词。在一些实施例中，词库位于服务器端，词库模块103将用户输入的字符或字符串发送到服务器端，服务器端根据用户输入的字符或字符串检索词库，获得与之匹配的返回一个或多个匹配的候选词。对应的，在图8所示的输入界面中，还包括候选词区208，用户可以选择上屏的候选词。例如，用户可以直接点击候选词区208中一个候选词。当用户选择了一个候选词，上屏文字生成模块104将其作为一个上屏候选词。当用户操作完成，上屏文字生成模块104将所有的上屏候选词合成上屏文字。其中，在合并为上屏文字时，可以按照用户选择的时间顺序对多个候选词进行排序以生成上屏文字，或者是按照候选词之间的语义、语法进行排序以生成上屏文字。用户在选择候选词时，用户还可以点击空格，从而选中候选词中的第一个候选词。在一些实施例中，候选词区208能够扩展以显示更多的候选词。例如，候选词区208的候选词能够左右滑动，以呈现其他候选词。或者，候选词区208能够扩大到输入区206，以呈现其他候选词。在一些实施例中，候选词区208包括用来显示来自云端服务器的候选词的单独区域。如本领域技术人员所理解的，现有技术中用于呈现候选词并选择上屏候选词的实施方式都可以应用于此以选定上屏候选词。其他模块与参见图1，在此不再赘述。

上述实施例仅供说明本发明之用，而并非是对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明范围的情况下，还可以做出各种变化和变型，因此，所有等同的技术方案也应属于本发明公开的范畴。

Claims (24)

1.一种用于输入法提供候选图片/视频的方法，其中，包括：

基于用户的图片/视频请求生成搜索请求；

将搜索请求发送到一个或多个图片/视频搜索引擎；

从一个或多个图片/视频搜索引擎接收一个或多个候选图片/视频；以及

向输入法客户端提供一个或多个候选图片/视频。

2.根据权利要求1所述的方法，其中，所述搜索请求包括用户输入的字符串或上屏文字。

3.根据权利要求1所述的方法，其中，当图片/视频请求包括用户输入的字符串时，所述方法进一步包括基于用户输入的字符串预测上屏文字。

4.根据权利要求3所述的方法，其中，进一步包括：接收用户对于候选词的选择，更新上屏文字。

5.根据权利要求2-4任一所述的方法，其中，进一步包括：分析上屏文字，从中提取出一个或多个特征参数，并将所述特征参数添加到搜索请求中；其中，所述的特征参数为关键字、属性特征、用户历史或用户偏好。

6.根据权利要求1所述的方法，其中，进一步包括：在候选图片/视频中定义能够容纳一个或多个文字的文字区域。

7.根据权利要求6所述的方法，其中，进一步包括：

识别候选图片/视频中的空白区域；

确定容纳一个或多个文字的文字区域的位置；以及

确定文字区域容纳的文字数量和字号。

8.根据权利要求6所述的方法，其中，进一步包括：为所述文字区域设置动态属性。

9.根据权利要求6所述的方法，其中，进一步包括：采取以下步骤中的一者或多者的操作：

改变候选图片的背景、亮度、色度和/或对比度；

增加滤镜、增加美颜处理、增加道具和/或增加框边；以及

改变候选图片的风格、表现手法和/或表达方式。

10.根据权利要求1所述的方法，其中，进一步包括：生成一个或多个候选图片/视频的缩略图；以及向输入法客户端发送一个或多个候选图片/视频的缩略图。

11.根据权利要求1所述的方法，其中，进一步包括：

响应于来自一个或多个第一图片/视频搜索引擎的一个或多个候选图片/视频数量不足和/或匹配度不高，生成补充搜索请求；

将补充搜索请求发送到一个或多个第二图片/视频搜索引擎；以及

从第二图片/视频搜索引擎接收一个或多个候选图片/视频。

12.根据权利要求11所述的方法，其中，所述补充搜索请求中包括以下搜索条件的一个或多个：

随机搜索；

用户图片和/或用户偏好；

用户属性信息；

图片的流行度；以及

图片的类别。

13.一种输入法，其中，包括：

接收用户输入的字符串；

向服务器端发送图片/视频请求，所述图片/视频请求包括用户输入字符串或基于用户输入字符串的上屏文字；

从服务器端接收根据所述图片/视频请求返回的一个或多个候选图片/视频；以及

基于一个或多个候选图片/视频生成包含上屏文字的一个或多个图文合成图片/视频；

其中，所述一个或多个候选图片/视频来自第三方图片/视频搜索引擎。

14.根据权利要求13所述的方法，其中，至少部分候选图片/视频与用户输入的字符串或上屏文字的关键字、属性特征、用户历史、用户偏好中的一者或多者相关联。

15.根据权利要求13所述的方法，其中，进一步包括：从服务器接收的候选图片/视频为候选图片/视频的原图/原视频，或候选图片/视频的缩略图。

16.根据权利要求15所述的方法，其中，在从服务器接收的候选图片/视频为原图/原视频时，在生成图文合成图片/视频后，生成对应的缩略图。

17.根据权利要求13所述的方法，其中，在从服务器接收候选图片/视频的缩略图时，响应于用户的选择的图文合成图片/视频的缩略图，从服务器端获取对应缩略图的原图/原视频；基于所述原图/原视频生成图文合成图片/视频。

18.根据权利要求15或16所述的方法，其中，进一步包括：响应于用户选择的图文合成图片/视频的缩略图，输出对应的图文合成图片/视频。

19.一种输入法客户端，其中，包括：

界面模块，其经配置以接收用户输入的字符串；

上屏文字生成模块，其经配置以用户输入的字符串生成上屏文字；

通信模块，其经配置以向服务器端发送图片/视频请求，其中，所述图片/视频请求包括用户输入的字符串或者上屏文字；以及从服务器端接收一个或多个候选图片/视频；以及

图文合成模块，其经配置以基于一个或多个候选图片/视频生成包含上屏文字的图文合成图片/视频；

其中，一个或多个候选图片/视频来自第三方图片/视频搜索引擎。

20.根据权利要求19所述的输入法客户端，其中，进一步包括：词库模块，其经配置以根据用户输入的字符串提供一个或多个候选词；所述上屏文字生成模块基于用户选择的候选词更新所述上屏文字。

21.根据权利要求19所述的输入法客户端，其中，所述通信模块经进一步配置以从服务器接收一个或多个候选图片/视频的缩略图，并向服务器发送请求用户选择的缩略图的原图/原视频的原图请求；所述图文合成模块经配置以基于所述候选图片/视频的缩略图生成包含上屏文字的侯选图文合成图片/视频的缩略图，并基于原图请求返回的图片/视频生成图文合成图片/视频。

22.根据权利要求19所述的输入法客户端，其中，所述图文合成模块经配置以基于所述侯选图文合成图片/视频生成对应的缩略图。

23.根据权利要求19所述的输入法客户端，其中，进一步包括输出模块，其经配置以响应于用户选择的侯选图文合成图片/视频或其对应的缩略图，输出对应的图文合成图片/视频。

24.根据权利要求19所述的输入法客户端，其中，所述图文合成模块经配置生成的图文合成图片/视频或其缩略图的数量大于界面模块能够展示的数量。

Images