CN115033658A - 信息搜索方法、装置、设备及存储介质 - Google Patents

Abstract

本公开是关于一种信息搜索方法、装置、设备及存储介质，所述方法包括：响应于在电子设备的用户界面上检测到指关节滑动操作，基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域；确定所述目标区域中的目标显示内容；搜索所述目标显示内容的相关信息。本公开由于无需使用单指长按的触发方式，因而可以避免相关技术方案中所存在的信息搜索功能经常被误调用的问题以及用户想搜索的图像经常无法识别的问题，并且可以提高定位文字等待搜索对象的准确性，满足用户的需求。

Description

信息搜索方法、装置、设备及存储介质

技术领域

本公开涉及终端技术领域，尤其涉及一种信息搜索方法、装置、设备及存储介质。

背景技术

相关技术中，用户可以对用户界面中的文字或图像进行单指长按，以触发终端系统对该文字或图像进行搜索，进而可以得到该文字或图像的相关搜索信息。然而，当前方案存在信息搜索功能经常被误调用、用户单指长按的图像经常无法识别以及无法准确定位用户单指长按的文字等不足，无法满足用户的需求。

发明内容

为克服相关技术中存在的问题，本公开实施例提供一种信息搜索方法、装置、设备及存储介质，用以解决相关技术中的缺陷。

根据本公开实施例的第一方面，提供一种信息搜索方法，所述方法包括：

响应于在电子设备的用户界面上检测到指关节滑动操作，基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域；

确定所述目标区域中的目标显示内容；

搜索所述目标显示内容的相关信息。

在一实施例中，所述基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域，包括：

基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标封闭图形；

将所述封闭图形内部的区域确定为所述用户界面上的目标区域。

在一实施例中，所述基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域，包括：

确定所述指关节滑动操作的滑动轨迹在所述用户界面上的覆盖位置；

基于所述覆盖位置的预设关联区域确定所述用户界面上的目标区域。

在一实施例中，所述确定所述目标区域中的目标显示内容，包括：

检测当前选择的目标图像形状；

基于所述目标图像形状将所述目标区域中的当前显示内容截取为目标图像；

将所述目标图像的内容确定为所述目标区域中的目标显示内容。

在一实施例中，所述方法还包括：

接收基于所述用户界面上的预设控件触发的信息搜索指令；

基于所述信息搜索指令执行所述搜索所述目标显示内容的相关信息的操作。

在一实施例中，所述搜索所述目标显示内容的相关信息，包括：

对所述目标显示内容进行识别，得到识别结果；

基于互联网搜索所述识别结果的相关信息。

根据本公开实施例的第二方面，提供一种信息搜索装置，所述装置包括：

区域确定模块，用于响应于在电子设备的用户界面上检测到指关节滑动操作，基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域；

内容确定模块，用于确定所述目标区域中的目标显示内容；

信息搜索模块，用于搜索所述目标显示内容的相关信息。

在一实施例中，所述区域确定模块，包括：

封闭图形确定单元，用于基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标封闭图形；

第一区域确定单元，用于将所述封闭图形内部的区域确定为所述用户界面上的目标区域。

在一实施例中，所述区域确定模块，包括：

覆盖位置确定单元，用于确定所述指关节滑动操作的滑动轨迹在所述用户界面上的覆盖位置；

第二区域确定单元，用于基于所述覆盖位置的预设关联区域确定所述用户界面上的目标区域。

在一实施例中，所述内容确定模块，包括：

形状检测单元，用于检测当前选择的目标图像形状；

图像截取单元，用于基于所述目标图像形状将所述目标区域中的当前显示内容截取为目标图像；

内容确定单元，用于将所述目标图像的内容确定为所述目标区域中的目标显示内容。

在一实施例中，所述装置还包括：

搜索指令接收模块，用于接收基于所述用户界面上的预设控件触发的信息搜索指令；

所述信息搜索模块还用于基于所述信息搜索指令执行所述搜索所述目标显示内容的相关信息的操作。

在一实施例中，所述信息搜索模块，包括：

结果获取单元，用于对所述目标显示内容进行识别，得到识别结果；

信息搜索单元，用于基于互联网搜索所述识别结果的相关信息。

根据本公开实施例的第三方面，提供一种电子设备，所述设备包括：

处理器以及用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

响应于在电子设备的用户界面上检测到指关节滑动操作，基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域；

确定所述目标区域中的目标显示内容；

搜索所述目标显示内容的相关信息。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现：

响应于在电子设备的用户界面上检测到指关节滑动操作，基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域；

确定所述目标区域中的目标显示内容；

搜索所述目标显示内容的相关信息。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开通过响应于在电子设备的用户界面上检测到指关节滑动操作，基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域，并确定所述目标区域中的目标显示内容，进而搜索所述目标显示内容的相关信息，可以实现准确的搜索用户基于指关节滑动操作所确定的目标显示内容的相关信息，由于无需使用单指长按的触发方式，因而可以避免相关技术方案中所存在的信息搜索功能经常被误调用的问题；由于是基于用户的指关节滑动操作的滑动轨迹确定目标区域，并直接将该目标区域中的目标显示内容确定为搜索对象，而无需调用用户界面的布局信息(layout)来确定图像的视图，因而可以避免用户想搜索的图像经常无法识别的问题；并且，由于基于用户的指关节触发的方式直接确定待搜索的目标显示内容，因而可以提高定位文字等待搜索对象的准确性，满足用户的需求。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1A是根据一示例性实施例示出的一种信息搜索方法的流程图；

图1B是根据一示例性实施例示出的支持指关节滑动操作的电子设备示意图；

图2是根据又一示例性实施例示出的如何基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域的流程图；

图3是根据一示例性实施例示出的如何基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域的流程图；

图4A是根据一示例性实施例示出的如何确定所述目标区域中的目标显示内容的流程图；

图4B是根据一示例性实施例示出的确定所述目标区域中的目标显示内容的应用场景示意图；

图5是根据又一示例性实施例示出的一种信息搜索方法的流程图；

图6是根据一示例性实施例示出的如何搜索所述目标显示内容的相关信息的流程图；

图7是根据一示例性实施例示出的一种信息搜索方法的应用场景示意图；

图8是根据一示例性实施例示出的一种信息搜索装置的框图；

图9是根据又一示例性实施例示出的一种信息搜索装置的框图；

图10是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本公开相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

为了方便用户在使用电子设备过程中快速的搜索用户界面中的内容，相关技术中提出了“传送门”方案。应用该方案，用户可以对用户界面中的文字或图像进行“单指长按”的操作，以触发终端系统对该文字或图像进行搜索，进而可以得到该文字或图像的相关搜索信息。然而，由于“单指长按”操作在用户电子设备比较常用且容易触发，因而导致“传送门”方案经常被误调用，而此时用户并没有搜索用户界面中的内容的需求；当用户对用户界面中的图像进行“单指长按”操作后，操作系统需要调用用户界面的布局信息(layout)来获取该图像的视图(View)，然后在实施方案过程中由于程序开发等问题导致图像的View经常获取失败，进而导致用户想要搜索的图像经常无法识别；另外，由于“单指长按”操作只能针对页面中的一个位置，无法准确定位用户当前所需搜索的文字内容，因而目前相关技术中的方案通常是将当前页面中的各种关键字全部进行搜索，然后为用户提供全部的搜索结果，导致为用户提供了大量冗余信息，影响用户体验。有鉴于此，本公开实施例提供以下信息搜索方法、装置、设备及存储介质，以解决相关技术中存在的上述缺陷。

图1A是根据一示例性实施例示出的一种信息搜索方法的流程图；本实施例的方法可以应用于支持指关节滑动操作的电子设备(如，智能手机、平板电脑、笔记本电脑或可穿戴设备等)。图1B是根据一示例性实施例示出的支持指关节滑动操作的电子设备示意图。

如图1A所示，该方法包括以下步骤S101-S103：

在步骤S101中，响应于在电子设备的用户界面上检测到指关节滑动操作，基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域。

本实施例中，当用户在电子设备的用户界面上执行指关节滑动操作时，电子设备可以响应于检测到该指关节滑动操作，确定指关节滑动操作的滑动轨迹，进而基于该滑动轨迹确定用户界面上的目标区域。例如，将该滑动轨迹所圈中的区域确定为目标区域，或者基于该滑动轨迹覆盖的位置确定目标区域等。

其中，上述指关节滑动操作可以为用户基于一个或多个指关节(例如食指和中指的两个指关节等)在电子设备的用户界面上进行滑动的操作。可以理解的是，相关技术中用户通常是基于手指的指腹执行触摸、按压或点击等操作与电子设备进行交互，而本实施例中是基于用户的指关节滑动操作确定用户界面上的目标区域，不但操作方式简洁方便，而且可以避免与相关技术中以指腹进行交互的方式发生冲突，并且可以避免误操作。

举例来说，如图1B所示，当电子设备为支持指关节滑动操作的电子设备，且该电子设备的区域选取方式被设置为指关节滑动方式，例如指关节滑动功能按钮100被触发至“打开”状态的情况下，如果用户在电子设备的用户界面上看到想要搜索的对象(如，图片或文字等)时，可以在该用户界面上针对该对象执行指关节滑动操作，以根据滑动操作的滑动轨迹选中该对象，进而电子设备可以通过检测该指关节滑动操作的滑动轨迹来确定包含上述待搜索的对象的目标区域。

在另一实施例中，上述目标区域的确定方式还可以参见下述图2或图3所示实施例，在此先不进行详述。

在步骤S102中，确定所述目标区域中的目标显示内容。

本实施例中，当确定上述指关节滑动操作对应于所述用户界面上的目标区域后，可以确定所述目标区域中的目标显示内容。

其中，目标显示内容为用户在目标区域中可以看到并想要搜索的内容(如，图片或文字等)。

举例来说，当电子设备基于上述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域后，可以获取该目标区域中的目标显示内容。

在一实施例中，上述目标显示内容的确定方式还可以参见下述图4A所示实施例，在此先不进行详述。

在步骤S103中，搜索所述目标显示内容的相关信息。

本实施例中，当确定所述目标区域中的目标显示内容后，可以对该目标显示内容进行搜索，以获取该目标显示内容的相关信息。

其中，上述目标显示内容的相关信息的类型可以基于实际需要进行设置，如设置为目标显示内容的科普、百科、地图、图像、分词搜索结果中的一种或多种，本实施例对此不进行限定。

由上述描述可知，本实施例的方法通过响应于在电子设备的用户界面上检测到指关节滑动操作，基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域，并确定所述目标区域中的目标显示内容，进而搜索所述目标显示内容的相关信息，可以实现准确的搜索用户基于指关节滑动操作所确定的目标显示内容的相关信息，由于无需使用单指长按的触发方式，因而可以避免相关技术方案中所存在的信息搜索功能经常被误调用的问题；由于是基于用户的指关节滑动操作的滑动轨迹确定目标区域，并直接将该目标区域中的目标显示内容确定为搜索对象，而无需调用用户界面的布局信息(layout)来确定图像的视图，因而可以避免用户想搜索的图像经常无法识别的问题；并且，由于基于用户的指关节触发的方式直接确定待搜索的目标显示内容，因而可以提高定位文字等待搜索对象的准确性，满足用户的需求。

图2是根据又一示例性实施例示出的如何基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域的流程图；本实施例在上述实施例的基础上以如何基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域为例进行示例性说明。如图2所示，上述步骤S101中所述基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域，可以包括以下步骤S201-S202：

在步骤S201中，基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标封闭图形。

本实施例中，当电子设备检测到用户通过指关节在用户界面上执行的指关节滑动操作后，可以确定指关节滑动操作的滑动轨迹，进而可以基于该滑动轨迹确定用户界面上的目标封闭图形。

在一实施例中，电子设备可以基于用户的指关节在用户界面上划过的位置确定滑动轨迹，进而可以将该滑动轨迹的起始点和终端相连得到目标封闭图形。

举例来说，当用户在电子设备的用户界面上看到想要搜索的对象(如，图片或文字等)时，可以利用指关节在想要搜索的对象周围划过一道封闭轨迹，进而电子设备可以基于该封闭轨迹确定目标封闭图形。其中，该封闭轨迹的形状可以为圆形、矩形或其他自定义形状，本实施例对此不进行限定。

在步骤S202中，将所述封闭图形内部的区域确定为所述用户界面上的目标区域。

本实施例中，当基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标封闭图形后，可以将所述封闭图形内部的区域确定为所述用户界面上的目标区域。

在另一实施例中，还可以响应于检测到用户的截图操作对用户界面进行截图操作，得到截取的图像，然后在截取的图像上检测用户触发的指关节滑动操作，并基于所述指关节滑动操作的滑动轨迹确定截取的图像上的目标区域，从而实现后续确定该目标区域中的目标显示内容以及搜索所述目标显示内容的相关信息。

由上述描述可知，本实施例通过基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标封闭图形，并将所述封闭图形内部的区域确定为所述用户界面上的目标区域，可以实现基于用户执行的指关节滑动操作的滑动轨迹确定用户界面上的目标区域，从而可以实现后续基于目标区域准确的确定目标显示内容以及搜索目标显示内容的相关信息，可以确保所确定的待搜索内容的准确性，从而可以提高对其相关信息的搜索的准确性。

图3是根据一示例性实施例示出的如何基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域的流程图；本实施例在上述实施例的基础上以如何基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域为例进行示例性说明。如图3所示，上述步骤S101中所述基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域，可以包括以下步骤S301-S302：

在步骤S301中，确定所述指关节滑动操作的滑动轨迹在所述用户界面上的覆盖位置。

本实施例中，当电子设备检测到用户通过指关节在用户界面上执行的指关节滑动操作后，可以确定所述指关节滑动操作的滑动轨迹在所述用户界面上的覆盖位置。

在一实施例中，电子设备可以基于用户的指关节在用户界面上划过的位置确定上述覆盖位置。

举例来说，当用户在电子设备的用户界面上看到想要搜索的文字时，可以利用指关节在想要搜索的文字上或者在文字下方等位置进行划动操作，进而电子设备可以基于该指关节滑动操作的轨迹确定上述覆盖位置。其中，该滑动操作轨迹的形状可以为直线、波浪线或其他自定义曲线等，本实施例对此不进行限定。

由上述描述可知，本实施例确定所述指关节滑动操作的滑动轨迹在所述用户界面上的覆盖位置，并基于所述覆盖位置的预设关联区域确定所述用户界面上的目标区域，可以实现基于用户执行的指关节滑动操作的滑动轨迹确定用户界面上的目标区域，从而可以实现后续基于目标区域准确的确定目标显示内容以及搜索目标显示内容的相关信息，可以确保所确定的待搜索内容的准确性，从而可以提高对其相关信息的搜索的准确性。

图4A是根据一示例性实施例示出的如何确定所述目标区域中的目标显示内容的流程图；图4B是根据一示例性实施例示出的确定所述目标区域中的目标显示内容的应用场景示意图。

本实施例在上述实施例的基础上以如何确定所述目标区域中的目标显示内容为例进行示例性说明。如图4A所示，上述步骤S102中所述确定所述目标区域中的目标显示内容，可以包括以下步骤S401-S402：

在步骤S401中，检测当前选择的目标图像形状。

本实施例中，当电子设备基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域后，可以检测用户当前选择的目标图像形状。

其中，上述目标图像形状可以用于规定后续截取的目标图像的形状。

举例来说，如图4B所示，当用户针对用户界面上想要搜索的对象执行指关节滑动操作后，可以基于实际需求触发用户界面中预设的多个图像形状选项(如，圆形401、矩形402以及自定义形状403等)中的任一个。例如，当前用户所触发的图像形状选项为自定义形状403。进而，电子设备可以通过检测用户触发的图像形状选项来确定用户当前选择的目标图像形状为自定义形状，如用户基于指关节滑动出来的实际形状。

在步骤S402中，基于所述目标图像形状将所述目标区域中的当前显示内容截取为目标图像。

本实施例中，当电子设备检测当前选择的目标图像形状后，可以基于所述目标图像形状将所述目标区域中的当前显示内容截取为目标图像。

在一实施例中，当电子设备检测当前选择的目标图像形状后，可以将所述目标区域中的目标显示内容按照所述目标图像形状进行截取，从而得到目标图像形状的目标图像。

如图4B所示，当电子设备检测当前选择的目标图像形状为自定义形状后，可以确定该自定义形状就是用户基于指关节滑动出来的实际形状，也即该自定义形状与目标区域相同，从而可以将该目标区域中的目标显示内容按照目标图像形状进行截取，从而得到目标图像形状的目标图像404(即图4B中类似于“水滴”的不规则形状，该形状是由用户基于指关节滑动操作所确定的)。

在步骤S403中，将所述目标图像的内容确定为所述目标区域中的目标显示内容。

本实施例中，当基于所述目标图像形状将所述目标区域中的当前显示内容截取为目标图像后，可以获取该目标图像的内容，进而可以将该目标图像的内容确定为目标区域中的目标显示内容。

由上述描述可知，本实施例通过检测当前选择的目标图像形状，并基于所述目标图像形状将所述目标区域中的当前显示内容截取为目标图像，进而将所述目标图像的内容确定为所述目标区域中的目标显示内容，可以实现基于用户选择的目标图像形状截取目标图像，并确定目标显示内容，可以丰富确定目标显示内容的形式，使得确定的待搜索的目标显示内容更加满足用户的需求，进而可以提高后续搜索目标显示内容的相关信息的准确性。

图5是根据又一示例性实施例示出的一种信息搜索方法的流程图；本实施例的方法可以应用于支持指关节滑动操作的电子设备(如，智能手机、平板电脑、笔记本电脑或可穿戴设备等)。

如图5所示，该方法包括以下步骤S501-S504：

在步骤S501中，响应于在电子设备的用户界面上检测到指关节滑动操作，基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域。

在步骤S502中，确定所述目标区域中的目标显示内容。

在步骤S503中，接收基于所述用户界面上的预设控件触发的信息搜索指令。

本实施例中，当电子设备确定所述目标区域中的目标显示内容后，可以接收基于所述用户界面上的预设控件触发的信息搜索指令，进而可以实现后续基于该指令搜索所述目标显示内容的相关信息。

举例来说，当电子设备确定所述目标区域中的目标显示内容后，可以在当前的用户界面中为用户展示当前确定的目标显示内容，从而用户可以判断该目标显示内容是否符合实际需求，进而在确定符合实际需求的情况下，基于用户界面上的预设控件触发上述信息搜索指令。

可以理解的是，通过接收基于所述用户界面上的预设控件触发的信息搜索指令，再基于该信息搜索指令执行后续搜索目标显示内容的相关信息的操作，可以确保当前确定的目标显示内容符合用户的实际需求，进而可以提高搜索后续搜索该目标显示内容的相关信息的准确性。

在步骤S504中，基于所述信息搜索指令搜索所述目标显示内容的相关信息。

其中，步骤S501-S502、S504的相关解释和说明可以参见上述图1A所示实施例中的步骤S101-S103，在此不进行赘述。

图6是根据一示例性实施例示出的如何搜索所述目标显示内容的相关信息的流程图；本实施例在上述实施例的基础上以如何搜索所述目标显示内容的相关信息为例进行示例性说明。如图6所示，上述步骤S103中所述搜索所述目标显示内容的相关信息，可以包括以下步骤S601-S602：

在步骤S601中，对所述目标显示内容进行识别，得到识别结果。

本实施例中，当确定所述目标区域中的目标显示内容后，可以基于预设的信息识别方法对目标显示内容进行识别，得到识别结果。其中，预设的信息识别方法可以基于实际需要进行设置，如设置为图像识别方法、文字识别方法等，本实施例对此不进行限定。

其中，上述识别结果可以包括目标显示内容中物体的类型、名称、数量以及颜色等信息中的一项或多项；或者，可以包括目标显示内容中的文本信息等，本实施例对此不进行限定。

在步骤S602中，基于互联网搜索所述识别结果的相关信息。

本实施例中，当对所述目标显示内容进行识别，得到识别结果后，可以基于互联网搜索所述识别结果的相关信息。

举例来说，当得到上述目标图像的识别结果后，可以基于该识别结果生成查询请求，并将该查询请求发送给信息搜索服务端，以通过信息搜索服务端从互联网上搜索上述识别结果的相关信息。进而电子设备可以接收该信息搜索服务端返回的信息搜索结果。

由上述描述可知，本实施例通过对所述目标显示内容进行识别，得到识别结果，并基于互联网搜索所述识别结果的相关信息，可以实现对目标显示内容的内容进行信息搜索，可以提高对目标信息内容进行搜索的准确性，丰富为用户所提供相关信息的种类，满足用户对于信息搜索质量的需求。

图7是根据一示例性实施例示出的一种信息搜索方法的应用场景示意图；如图7所示，当用户在支持指关节滑动操作的电子设备的用户界面上看到想要搜索的对象(如，图中所示的小汽车701)时，可以基于指关节702在该用户界面上针对图中的小汽车执行指关节滑动操作，以根据滑动操作的滑动轨迹选中想要搜索的对象(即，滑动轨迹中包含该小汽车701)，进而电子设备可以通过检测该滑动轨迹来确定包含上述待搜索的对象的目标区域，即指关节所划出的圆圈区域703。进一步地，电子设备可以识别该目标区域中的目标显示内容(如小汽车701、文字部分“unwire.hk提供”704等)。在此基础上，当确定所述目标区域中的目标显示内容后，可以对该目标显示内容进行搜索，以获取该目标显示内容的相关信息。其中，上述目标显示内容的相关信息的类型可以基于实际需要进行设置，如设置为目标显示内容的科普、百科、地图、图像、分词搜索结果中的一种或多种，本实施例对此不进行限定。

图8是根据一示例性实施例示出的一种信息搜索装置的框图；本实施例的装置可以应用于支持指关节滑动操作的电子设备(如，智能手机、平板电脑、笔记本电脑或可穿戴设备等)。如图8所示，该装置包括：区域确定模块110、内容确定模块120以及信息搜索模块130，其中：

区域确定模块110，用于响应于在电子设备的用户界面上检测到指关节滑动操作，基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域；

内容确定模块120，用于确定所述目标区域中的目标显示内容；

信息搜索模块130，用于搜索所述目标显示内容的相关信息。

由上述描述可知，本实施例的装置通过响应于在电子设备的用户界面上检测到指关节滑动操作，基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域，并确定所述目标区域中的目标显示内容，进而搜索所述目标显示内容的相关信息，可以实现准确的搜索用户基于指关节滑动操作所确定的目标显示内容的相关信息，由于无需使用单指长按的触发方式，因而可以避免相关技术方案中所存在的信息搜索功能经常被误调用的问题；由于是基于用户的指关节滑动操作的滑动轨迹确定目标区域，并直接将该目标区域中的目标显示内容确定为搜索对象，而无需调用用户界面的布局信息(layout)来确定图像的视图，因而可以避免用户想搜索的图像经常无法识别的问题；并且，由于基于用户的指关节触发的方式直接确定待搜索的目标显示内容，因而可以提高定位文字等待搜索对象的准确性，满足用户的需求。

图9是根据又一示例性实施例示出的一种信息搜索装置的框图；本实施例的装置可以应用于支持指关节滑动操作的电子设备(如，智能手机、平板电脑、笔记本电脑或可穿戴设备等)。其中，区域确定模块210、内容确定模块220以及信息搜索模块230与前述图8所示实施例中的区域确定模块110、内容确定模块120以及信息搜索模块130的功能相同，在此不进行赘述。

如图9所示，区域确定模块210，可以包括：

封闭图形确定单元211，用于基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标封闭图形；

第一区域确定单元212，用于将所述封闭图形内部的区域确定为所述用户界面上的目标区域。

在另一实施例中，区域确定模块210，可以包括：

覆盖位置确定单元213，用于确定所述指关节滑动操作的滑动轨迹在所述用户界面上的覆盖位置；

第二区域确定单元214，用于基于所述覆盖位置的预设关联区域确定所述用户界面上的目标区域。

在一实施例中，内容确定模块220，可以包括：

形状检测单元221，用于检测当前选择的目标图像形状；

图像截取单元222，用于基于所述目标图像形状将所述目标区域中的当前显示内容截取为目标图像；

内容确定单元223，用于将所述目标图像的内容确定为所述目标区域中的目标显示内容。

在一实施例中，上述装置还可以包括：

搜索指令接收模块240，用于接收基于所述用户界面上的预设控件触发的信息搜索指令；

信息搜索模块230还用于基于所述信息搜索指令执行所述搜索所述目标显示内容的相关信息的操作。

在一实施例中，信息搜索模块230，可以包括：

结果获取单元231，用于对所述目标显示内容进行识别，得到识别结果；

信息搜索单元232，用于基于互联网搜索所述识别结果的相关信息。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图10是根据一示例性实施例示出的一种电子设备的框图。例如，设备900可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图10，设备900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。

处理组件902通常控制设备900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。

存储器904被配置为存储各种类型的数据以支持在设备900的操作。这些数据的示例包括用于在设备900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件906为设备900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为设备900生成、管理和分配电力相关联的组件。

多媒体组件908包括在所述设备900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。

I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件914包括一个或多个传感器，用于为设备900提供各个方面的状态评估。例如，传感器组件914可以检测到设备900的打开/关闭状态，组件的相对定位，例如所述组件为设备900的显示器和小键盘，传感器组件914还可以检测设备900或设备900一个组件的位置改变，用户与设备900接触的存在或不存在，设备900方位或加速/减速和设备900的温度变化。传感器组件914还可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件916被配置为便于设备900和其他设备之间有线或无线方式的通信。设备900可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G或5G或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由设备900的处理器920执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种信息搜索方法，其特征在于，所述方法包括：

响应于在电子设备的用户界面上检测到指关节滑动操作，基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域；

确定所述目标区域中的目标显示内容；

搜索所述目标显示内容的相关信息。

2.根据权利要求1所述的方法，其特征在于，所述基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域，包括：

基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标封闭图形；

将所述封闭图形内部的区域确定为所述用户界面上的目标区域。

3.根据权利要求1所述的方法，其特征在于，所述基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域，包括：

确定所述指关节滑动操作的滑动轨迹在所述用户界面上的覆盖位置；

基于所述覆盖位置的预设关联区域确定所述用户界面上的目标区域。

4.根据权利要求1所述的方法，其特征在于，所述确定所述目标区域中的目标显示内容，包括：

检测当前选择的目标图像形状；

基于所述目标图像形状将所述目标区域中的当前显示内容截取为目标图像；

将所述目标图像的内容确定为所述目标区域中的目标显示内容。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收基于所述用户界面上的预设控件触发的信息搜索指令；

基于所述信息搜索指令执行所述搜索所述目标显示内容的相关信息的操作。

6.根据权利要求1所述的方法，其特征在于，所述搜索所述目标显示内容的相关信息，包括：

对所述目标显示内容进行识别，得到识别结果；

基于互联网搜索所述识别结果的相关信息。

7.一种信息搜索装置，其特征在于，所述装置包括：

区域确定模块，用于响应于在电子设备的用户界面上检测到指关节滑动操作，基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域；

内容确定模块，用于确定所述目标区域中的目标显示内容；

信息搜索模块，用于搜索所述目标显示内容的相关信息。

8.根据权利要求7所述的装置，其特征在于，所述区域确定模块，包括：

封闭图形确定单元，用于基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标封闭图形；

第一区域确定单元，用于将所述封闭图形内部的区域确定为所述用户界面上的目标区域。

9.根据权利要求7所述的装置，其特征在于，所述区域确定模块，包括：

覆盖位置确定单元，用于确定所述指关节滑动操作的滑动轨迹在所述用户界面上的覆盖位置；

第二区域确定单元，用于基于所述覆盖位置的预设关联区域确定所述用户界面上的目标区域。

10.根据权利要求7所述的装置，其特征在于，所述内容确定模块，包括：

形状检测单元，用于检测当前选择的目标图像形状；

图像截取单元，用于基于所述目标图像形状将所述目标区域中的当前显示内容截取为目标图像；

内容确定单元，用于将所述目标图像的内容确定为所述目标区域中的目标显示内容。

11.根据权利要求7所述的装置，其特征在于，所述装置还包括：

搜索指令接收模块，用于接收基于所述用户界面上的预设控件触发的信息搜索指令；

所述信息搜索模块还用于基于所述信息搜索指令执行所述搜索所述目标显示内容的相关信息的操作。

12.根据权利要求7所述的装置，其特征在于，所述信息搜索模块，包括：

结果获取单元，用于对所述目标显示内容进行识别，得到识别结果；

信息搜索单元，用于基于互联网搜索所述识别结果的相关信息。

13.一种电子设备，其特征在于，所述设备包括：

处理器以及用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

响应于在电子设备的用户界面上检测到指关节滑动操作，基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域；

确定所述目标区域中的目标显示内容；

搜索所述目标显示内容的相关信息。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现：

响应于在电子设备的用户界面上检测到指关节滑动操作，基于所述指关节滑动操作的滑动轨迹确定所述用户界面上的目标区域；

确定所述目标区域中的目标显示内容；

搜索所述目标显示内容的相关信息。

Images