CN106897291B - 基于截屏操作的搜索方法及装置 - Google Patents

Abstract

本发明提供一种基于截屏操作的搜索方法及装置，该搜索方法包括：根据用户的截屏操作获取当前显示区域的截屏图片，并获取当前显示区域的特征信息；根据截屏图片生成操作输入界面；接收用户在操作输入界面中进行的触摸操作；根据触摸操作确定搜索内容；根据特征信息及搜索内容进行搜索。通过实施本发明，能够简化搜索操作，方便快捷。并且，配合截图的触摸操作也更方便用户在操作输入界面选择要进行搜索的内容，从而也提高了选取待搜索内容的精确度。

Description

基于截屏操作的搜索方法及装置

技术领域

本发明是关于信息搜索技术，具体地，是关于一种基于截屏操作的搜索方法及装置。

背景技术

目前，搜索服务已经应用到移动终端上，用户可通过在智能手机等移动终端上安装的搜索应用程序(app)进行相关搜索，或是通过移动终端的浏览器进入搜索网页进行相关搜索。

现有的移动终端上的搜索服务，都是根据用户在搜索栏输入的关键词或短语进行搜索。由于智能手机等移动终端的触摸屏在搜索栏进行输入时并不十分便捷，导致搜索体验非常差，效率非常低。而且，用户在使用智能手机时，当对于屏幕上的词语、字符、图像等有各种即时的搜索需求时，常规的搜索方式需要打开搜索应用程序或进入搜索网页，在搜索栏中进行输入。并且，也无法在搜索栏中输入字符、图像等进行搜索，非常不便捷，也无法给搜索到用户想要的搜索结果。

发明内容

本发明实施例的主要目的在于提供一种基于截屏操作的搜索方法及装置，以提供更加便捷、准确的搜索过程。

为了实现上述目的，本发明实施例提供一种基于截屏操作的搜索方法，该搜索方法包括：根据用户的截屏操作获取显示区域中当前视图的截屏图片，并获取显示区域中当前视图的特征信息；根据截屏图片生成操作输入界面；接收用户在操作输入界面中进行的触摸操作；根据触摸操作确定搜索内容；根据特征信息及搜索内容进行搜索。

在一实施例中，获取显示区域中当前视图的特征信息，具体包括：根据显示区域中当前视图的来源获取显示区域中当前视图的特征信息；其中，来源为应用程序或浏览器。

具体地，当来源为应用程序时，特征信息为应用程序的程序标识；当来源为浏览器时，特征信息为浏览器当前浏览页面所属的类别信息。

在一实施例中，根据触摸操作确定搜索内容，具体包括：根据触摸操作在操作输入界面中的位置确定识别区域；在识别区域中识别搜索信息，根据搜索信息确定搜索内容。

在一实施例中，上述的根据触摸操作确定搜索内容，具体包括：根据触摸操作在操作输入界面中的位置确定识别区域；在识别区域中识别搜索信息，并在一可编辑页面显示搜索信息；接收用户输入的修改操作，根据修改操作修改搜索信息，确定修改后的搜索信息；根据修改后的搜索信息确定搜索内容。

具体地，上述的搜索信息至少包括：文字信息、图片信息、字符信息及表情信息中的一项或多项。

在一实施例中，上述的在根据特征信息及搜索内容进行搜索之后，搜索方法还包括：在当前显示区域中撤销操作输入界面，将搜索内容及搜索结果显示于显示区域中。

本发明实施例还提供一种基于截屏操作的搜索装置，该搜索装置包括：截屏图片与特征信息获取单元，用于根据用户的截屏操作获取显示区域中当前视图的截屏图片，并获取显示区域中当前视图的特征信息；操作输入界面生成单元，用于根据截屏图片生成操作输入界面；触摸操作接收单元，用于接收用户在操作输入界面中进行的触摸操作；搜索内容确定单元，用于根据触摸操作确定搜索内容；搜索单元，用于根据特征信息及搜索内容进行搜索。

在一实施例中，上述的截屏图片与特征信息获取单元具体用于：接收用户的截屏操作，根据截屏操作获取显示区域中当前视图的截屏图片，并根据显示区域中当前视图的来源获取显示区域中当前视图的特征信息；其中，来源为应用程序或浏览器。

具体地，当来源为应用程序时，特征信息为应用程序的程序标识；当来源为浏览器时，特征信息为浏览器当前浏览页面所属的类别信息。

在一实施例中，上述的搜索内容确定单元包括：识别区域确定模块，用于根据触摸操作在操作输入界面中的位置确定识别区域；搜索内容确定模块，用于在识别区域中识别搜索信息，根据搜索信息确定搜索内容。

在一实施例中，上述的搜索内容确定单元包括：识别区域确定模块，用于根据触摸操作在操作输入界面中的位置确定识别区域；编辑页面显示模块，用于在识别区域中识别搜索信息，并在一可编辑页面显示搜索信息；搜索信息修改模块，用于接收用户输入的修改操作，根据修改操作修改搜索信息，确定修改后的搜索信息；搜索内容确定模块，用于根据修改后的搜索信息确定搜索内容。

具体地，上述的搜索信息至少包括：文字信息、图片信息、字符信息及表情信息中的一项或多项。

在一实施例中，上述的搜索装置还包括：显示单元，用于在显示区域中撤销操作输入界面，将搜索内容及搜索结果显示于显示区域中。

本发明实施例的有益效果在于，通过实施本发明，用户在进行搜索时并不需要进行打开搜索app、在搜索栏中输入要进行搜索的文字、将要进行搜索的文字粘贴到搜索栏中、触发搜索等繁琐操作。而是通过监控用户的截屏操作，针对用户的截屏操作生成操作输入界面，并通过稿输入操作界面接收用户的触摸操作，以识别和获取用户想要进行搜索的内容并进行搜索，从而省去了上述的繁琐操作，方便快捷。并且，在操作输入界面中保留了截图的内容，方便用户在操作输入界面选择要进行搜索的内容，解决了现有的搜索app或搜索页面中只能复制争端内容而不能精确搜索单个词或某几个不同的词汇的弊端，快捷而准确，从而也提高了选取待搜索内容的精确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的基于截屏操作的搜索方法的流程图；

图2为根据本发明一实施例的步骤S104的具体流程图；

图3A至图3H为根据本发明实施例的应用示意图；

图4为根据本发明实施例的基于截屏操作的搜索装置的结构示意图；

图5A为根据本发明一实施例的搜索内容确定单元400的结构示意图；

图5B为根据本发明另一实施例的搜索内容确定单元400的结构示意图；

图6为根据本发明另一实施例的基于截屏操作的搜索装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种基于截屏操作的搜索方法及装置。以下结合附图对本发明进行详细说明。

本发明实施例提供一种基于截屏操作的搜索方法，如图1所示，该搜索方法主要包括以下各步骤：

步骤S101：根据用户的截屏操作获取显示区域中当前视图的截屏图片，并获取显示区域中当前视图的特征信息；

步骤S102：根据截屏图片生成操作输入界面；

步骤S103：接收用户在操作输入界面中进行的触摸操作；

步骤S104：根据触摸操作确定搜索内容；

步骤S105：根据特征信息及搜索内容进行搜索。

通过上述的步骤S101至步骤S105，本发明实施例的基于截屏操作的搜索方法，一方面，获取用户要进行搜索的显示内容的特征信息，一方面，根据用户的触摸操作来识别具体的搜索内容，不仅能够更加快捷、方便地获取用户所要搜索的信息，并且，基于特征信息对搜索内容做进一步限定，能够更加高效、准确地向用户提供想要搜索的内容。

以下结合上述各步骤的具体内容对本发明实施例的基于截屏操作的搜索方法作详细说明。

步骤S101，根据用户的截屏操作获取显示区域中当前视图的截屏图片，并获取显示区域中当前视图的特征信息。

在本发明实施例中，对于不同的应用系统，检测截屏的方式也有所不同。例如，对于安卓(Android)系统，可以直接通过安卓系统的File0bserver服务监听系统中的截屏操作，但本发明并不限于在安卓系统中应用。

用户的截屏操作有可能是针对不同的视图。例如，用户在通过移动终端上的应用程序(app)浏览信息时，对所要搜索的内容进行截屏；或者，用户在通过移动终端中安装的浏览器浏览网页时，对当前页面中所要搜索的内容进行截屏等。

当监测到用户的截屏操作时，获取用户截屏时在显示区域中的当前视图，该显示区域可为移动终端的显示屏所显示的整个区域，也可为其他电子设备的显示屏所显示的区域，本发明并不以此为限。

并且，针对用户截屏时的当前视图，可根据当前视图的内容获取其特征信息。就上文所指的不同视图而言，用户在通过移动终端上的应用程序浏览信息时，该特征信息即为该应用程序的程序标识，该程序标识可以是包名(Package Name)，包名作为应用的唯一标识。即：包名必须唯一，一个包名代表一个应用，包名主要用于系统识别应用。通过获取应用程序的包名可识别用户当前在使用的是什么应用程序，例如可识别用户在使用微博、微信等社交类app，或是今日头条、腾讯新闻等新闻类app等。用户在通过移动终端中安装的浏览器浏览网页时，该特征信息即为浏览器当前浏览页面所属的类别信息。例如，当用户在浏览360官方网站时，具体浏览的类别为“首页—>360商城—>奇酷手机新品活动”，对应“奇酷手机新品活动”页面的URL为：“http://mall.360.com/activity/qikuyuyue？activity/qikushouji&utm_source＝jdt_02_pcbann er&utm_medium＝inside”，可见，根据URL中的“mall”及“/qikuyuyue？activity/qikushouji”可以获知，用户当前浏览的页面是“奇酷手机新品活动”页面，对应该页面的类别信息即为“mall”及“/qikuyuyue？activity/qikushouji”。

步骤S102，根据截屏图片生成操作输入界面。

在通过步骤S101获取了用户所要截屏的当前视图的截屏图片及其对应的特征信息后，根据该截屏图片来生成对应的操作输入界面。具体实施时，该操作输入界面可通过生成或弹出一新的图层或浮窗的形式在显示区域中进行显示，并用以接收用户后续在该操作输入界面中的操作。并且，该操作输入界面与用户截屏所得的截屏图片具有相同的内容。

步骤S103，接收用户在操作输入界面中进行的触摸操作。

用户的操作输入界面中进行的触摸操作可至少包括：点选或滑动操作，操作输入界面可以基于用户的触摸操作进行响应，例如，通过以不同颜色、不同线框、高亮等显示方式表示出用户的触摸操作所限定的选择范围。

步骤S104，根据触摸操作确定搜索内容。

在具体实施时，是基于用户的触摸操作所限定的选择范围生成选择范围图片，并对该选择范围图片进行文字/图形等元素的识别，获取搜索信息。具体地，该搜索信息可包括：文字信息、图片信息、字符信息及表情信息中的一项或多项。在本发明实施例中，可以是通过图片OCR(Optical Character Recognition，光学字符识别)技术来进行识别，即，后台通过OCR识别从该选择范围图片中提取文字信息。或者，也可是通过页面布局文字截取技术(如UiAutomator自动化测试技术)来从该选择范围图片中提取文字信息。UiAutomator是Android自带自动化测试工具，可以用来提取当前页面文本信息，这种技术可以获取100％正确文字。各识别技术具有不同的适用场景，其中，UiAutomator与OCR如果识别出相同的内容，则代表该内容准确性很高，因此，还可通过计算UiAutomator与OCR识别结果的交集确定用户的触摸操作所限定的具体的搜索内容，能够提高识别准确度。同时，上述的识别技术仅是用以举例说明，而并非用以限制本发明。

步骤S105，根据特征信息及搜索内容进行搜索。

在通过步骤S101获取了用户截屏的当前视图的特征信息，并通过步骤S104确定了用户的触摸操作所限定的搜索内容后，即可通过步骤S105，结合该特征信息以及搜索内容进行搜索。

在实际应用中，在对用户的触摸操作所选定的内容进行识别的基础上，还加入了用户所浏览内容的特征信息，使得在结合特征信息与搜索内容的搜索过程更加准确、有效，从而使搜索结果能够更加贴合用户的需求。

通过实施本发明实施例的基于截屏操作的搜索方法，用户在进行搜索时并不需要进行打开搜索app、在搜索栏中输入要进行搜索的文字、将要进行搜索的文字粘贴到搜索栏中、触发搜索等繁琐操作。而是通过监控用户的截屏操作，针对用户的截屏操作生成操作输入界面，并通过稿输入操作界面接收用户的触摸操作，以识别和获取用户想要进行搜索的内容并进行搜索，从而省去了上述的繁琐操作，方便快捷。并且，在操作输入界面中保留了截图的内容，方便用户在操作输入界面选择要进行搜索的内容，解决了现有的搜索app或搜索页面中只能复制争端内容而不能精确搜索单个词或某几个不同的词汇的弊端，快捷而准确，从而也提高了选取待搜索内容的精确度。

在另一实施例中，如图2所示，上述的步骤S104，根据触摸操作确定搜索内容的过程，还可通过以下各步骤实现：

步骤S1041：根据触摸操作在操作输入界面中的位置确定识别区域。

根据用户的触摸操作所限定的选择范围确定识别区域(例如，可如上文所述，生成相应的选择范围图片)。

步骤S1042：在识别区域中识别搜索信息，并在一可编辑页面显示搜索信息。

针对用户触摸操作所确定的识别区域中的内容进行文字/图形等元素的识别。在本发明实施例中，可以是通过图片OCR(Optical Character Recognition，光学字符识别)技术或是页面布局文字截取技术进行识别，获得搜索信息。具体地，该搜索信息可包括：文字信息、图片信息、字符信息及表情信息中的一项或多项。

识别出搜索信息后，可单独生成一新的视图(例如可编辑页面或图层或浮窗等)，在该可编辑页面中将搜索信息显示出来。

步骤S1043：接收用户输入的修改操作，根据修改操作修改搜索信息，确定修改后的搜索信息。

在此实施例中，上述步骤S1042中生成的可编辑页面可用以接收用户输入的修改操作，以对步骤S1042中识别的搜索信息进行修改。例如，用户通过触摸操作选中的内容为“360随身WIFI”，但经过OCR识别后生成的搜索内容为“360随身W1F1”，很显然，1字识别有误，此时，用户即可通过在该可编辑页面中进行修改来改正搜索内容。

步骤S1044：根据修改后的搜索信息确定搜索内容。

在用户在可编辑页面中对搜索内容进行修改后，可通过点选一确定按钮来确定要进行搜索的内容。

在一实施例中，本发明实施例的基于截屏操作的搜索方法，在执行上述步骤S105之后，还可包括一显示搜索结果的步骤。具体地，是在移动终端的显示区域中撤销上述的操作输入界面(当有可编辑页面时，则将可编辑页面一同撤销)，将搜索内容及搜索结果显示于在显示区域中生成的搜索结果界面中。具体实施时，实际的显示界面效果可根据用户所使用的环境的不同而不同。例如，当用户使用应用程序时，则直接在该应用程序中触发搜索结果界面，在该搜索结果界面的输入栏中显示搜索内容，并在其下方的区域中显示搜索结果；当用户使用浏览器进行网页浏览时，则触发浏览器中默认的搜索引擎进行搜索，在输入栏中显示该搜索内容，在输入栏下方的区域中显示搜索结果。实际的搜索结果显示根据特征信息及应用环境的不同而有所不同，本发明并不以此为限。

以下结合具体示例对本发明实施例的基于截屏操作的搜索方法进行详细说明。

实施例一

在此实施例中，是假定用户在使用360商城app浏览商品。当用户查看到当前页面中推送的某一产品(例如是360随身WIFI3)时，用户想在360商城中搜索与该产品相关的信息，则触发截屏操作，截取当前视图，生成截屏图片，如图3A所示，同时，获取当前视图的特征信息(在此实施例中，是用户使用的应用程序的程序标识，即360商城app的包名)(步骤一)。步骤二：根据截屏所得的截屏图片，生成与该截屏图片具有相同内容的操作输入界面。步骤三：通过该操作输入界面接收用户的触摸操作，以选定其所要进行搜索的内容的识别区域。进一步地，执行步骤四：识别该识别区域中的搜索信息，从而确定搜索内容。然后，执行步骤五：结合上述的特征信息以及搜索内容进行搜索。在此实施例中，则是根据特征信息确定通过360商城app进行搜索，并获得与“360随身WIFI3”相关的搜索结果。

实施例二

在此实施例中，仍是假定用户在使用360商城app浏览商品。此实施例中的步骤一至步骤三与上述实施例一的步骤一至步骤三相同，在此不再赘述。不同之处在于，步骤四：在识别该识别区域中的搜索信息后，在一可编辑页面中显示该搜索信息，如图3B所示，以供用户对搜索信息进行修改和确认，且该可编辑页面可部分或全部覆盖当前的显示区域。此步骤的主要目的在于，如果识别出的搜索信息有误，则可通过此步骤进行修改正。如图3C所示，针对用户所要进行搜索的内容“360随身WIFI3”，识别出的搜索信息为“360随身W1F13”，可见，搜索信息是有误的。此搜索信息显示于一可编辑页面的输入栏中，用户可通过编辑将误识别的“1”改为“I”，即如图3B所示的内容，并通过点击“确定”按钮(或“搜索”按钮等，本发明并不以此为限)，确定搜索信息。然后，执行步骤五：结合上述的特征信息以及搜索内容进行搜索。在此实施例中，则是根据特征信息确定通过360商城app进行搜索，并获得与“360随身WIFI3”相关的搜索结果。并且，还可加入一步骤六：在移动终端的显示区域中撤销上述的操作输入界面(当有可编辑页面时，则将可编辑页面一同撤销)，将搜索内容及搜索结果显示于在显示区域中生成的搜索结果界面中，在此实施例中，则是直接在该应用程序中触发搜索结果界面，在该搜索结果界面的输入栏中显示搜索内容，并在其下方的区域中显示搜索结果，如图3D所示。

实施例三

在此实施例中，是假定用户在使用浏览器在360商城的网站中浏览商品。当用户查看到当前页面中推送的某一产品(例如是360随身WIFI3)时，用户想在360商城中搜索与该产品相关的信息，则触发截屏操作，截取当前视图，生成截屏图片，如图3E所示，同时，获取当前视图的特征信息(在此实施例中，是用户浏览的360商城网站的类别信息，即360商城网站的URL中包含的信息)(步骤一)。步骤二：根据截屏所得的截屏图片，生成与该截屏图片具有相同内容的操作输入界面。步骤三：通过该操作输入界面接收用户的触摸操作，以选定其所要进行搜索的内容的识别区域。进一步地，执行步骤四：识别该识别区域中的搜索信息，从而确定搜索内容。然后，执行步骤五：结合上述的特征信息以及搜索内容进行搜索。在此实施例中，则是根据特征信息确定通过浏览器默认的搜索引擎(例如是360搜索引擎)结合特征信息及搜索内容进行搜索，并获得与“360随身WIFI3”相关的搜索结果。

实施例四

在此实施例中，仍是假定用户在使用浏览器在360商城的网站中浏览商品。此实施例中的步骤一至步骤三与上述实施例三的步骤一至步骤三相同，在此不再赘述。不同之处在于，步骤四：在识别该识别区域中的搜索信息后，在一可编辑页面中显示该搜索信息，如图3F所示，以供用户对搜索信息进行修改和确认，且该可编辑页面可部分或全部覆盖当前的显示区域。此步骤的主要目的在于，如果识别出的搜索信息有误，则可通过此步骤进行修改正。如图3G所示，针对用户所要进行搜索的内容“360随身WIFI3”，识别出的搜索信息为“360随身W1F13”，可见，搜索信息是有误的。此搜索信息显示于一可编辑页面的输入栏中，用户可通过编辑将误识别的“1”改为“I”，即如图3F所示的内容，并通过点击“确定”按钮(或“搜索”按钮等，本发明并不以此为限)，确定搜索信息。然后，执行步骤五：结合上述的特征信息以及搜索内容进行搜索。在此实施例中，则是根据特征信息确定通过360商城app进行搜索，并获得与“360随身WIFI3”相关的搜索结果。并且，还可加入一步骤六：在移动终端的显示区域中撤销上述的操作输入界面(当有可编辑页面时，则将可编辑页面一同撤销)，将搜索内容及搜索结果显示于在显示区域中生成的搜索结果界面中，在此实施例中，则是触发浏览器中默认的搜索引擎进行搜索，在输入栏中显示该搜索内容，在输入栏下方的区域中显示搜索结果，如图3H所示。

以上所述实施例，仅是用以举例说明本发明实施例的基于截屏操作的搜索方法的应用实例，并没有穷举，本发明的基于截屏操作的搜索方法并不限于上述的实施例所描述的情景及内容。

本发明实施例还提供一种基于截屏操作的搜索装置，如图4所示，该搜索装置主要包括：截屏图片与特征信息获取单元100、操作输入界面生成单元200、触摸操作接收单元300、搜索内容确定单元400及搜索单元500等。

其中，截屏图片与特征信息获取单元100，用于根据用户的截屏操作获取显示区域中当前视图的截屏图片，并获取显示区域中当前视图的特征信息；操作输入界面生成单元200，用于根据截屏图片生成操作输入界面；触摸操作接收单元300，用于接收用户在操作输入界面中进行的触摸操作；搜索内容确定单元400，用于根据触摸操作确定搜索内容；搜索单元500，用于根据特征信息及搜索内容进行搜索。

通过本发明实施例的基于截屏操作的搜索装置，一方面，获取用户要进行搜索的显示内容的特征信息，一方面，根据用户的触摸操作来识别具体的搜索内容，不仅能够更加快捷、方便地获取用户所要搜索的信息，并且，基于特征信息对搜索内容做进一步限定，能够更加高效、准确地向用户提供想要搜索的内容。

以下结合上述各组成部分的具体内容对本发明实施例的基于截屏操作的搜索装置作详细说明。

截屏图片与特征信息获取单元100，用于根据用户的截屏操作获取显示区域中当前视图的截屏图片，并获取显示区域中当前视图的特征信息。

在本发明实施例中，对于不同的应用系统，检测截屏的方式也有所不同。例如，对于安卓(Android)系统，可以直接通过安卓系统的File0bserver服务监听系统中的截屏操作，但本发明并不限于在安卓系统中应用。

用户的截屏操作有可能是针对不同的视图。例如，用户在通过移动终端上的应用程序(app)浏览信息时，对所要搜索的内容进行截屏；或者，用户在通过移动终端中安装的浏览器浏览网页时，对当前页面中所要搜索的内容进行截屏等。

当监测到用户的截屏操作时，获取用户截屏时在显示区域中的当前视图，该显示区域可为移动终端的显示屏所显示的整个区域，也可为其他电子设备的显示屏所显示的区域，本发明并不以此为限。

并且，针对用户截屏时的当前视图，可根据当前视图的内容获取其特征信息。就上文所指的不同视图而言，用户在通过移动终端上的应用程序浏览信息时，该特征信息即为该应用程序的程序标识，该程序标识可以是包名(Package Name)，包名作为应用的唯一标识。即：包名必须唯一，一个包名代表一个应用，包名主要用于系统识别应用。通过获取应用程序的包名可识别用户当前在使用的是什么应用程序，例如可识别用户在使用微博、微信等社交类app，或是今日头条、腾讯新闻等新闻类app等。用户在通过移动终端中安装的浏览器浏览网页时，该特征信息即为浏览器当前浏览页面所属的类别信息。例如，当用户在浏览360官方网站时，具体浏览的类别为“首页—>360商城—>奇酷手机新品活动”，对应“奇酷手机新品活动”页面的URL为：“http://mall.360.com/activity/qikuyuyue？activity/qikushouji&utm_source＝jdt_02_pcbanner&utm_medium＝inside”，可见，根据URL中的“mall”及“/qikuyuyue？activity/qikushouji”可以获知，用户当前浏览的页面是“奇酷手机新品活动”页面，对应该页面的类别信息即为“mall”及“/qikuyuyue？activity/qikushouji”。

操作输入界面生成单元200，用于根据截屏图片生成操作输入界面。

在通过截屏图片与特征信息获取单元100获取了用户所要截屏的当前视图的截屏图片及其对应的特征信息后，根据该截屏图片来生成对应的操作输入界面。具体实施时，该操作输入界面可通过生成或弹出一新的图层或浮窗的形式在显示区域中进行显示，并用以接收用户后续在该操作输入界面中的操作。并且，该操作输入界面与用户截屏所得的截屏图片具有相同的内容。

触摸操作接收单元300，用于接收用户在操作输入界面中进行的触摸操作。

用户的操作输入界面中进行的触摸操作可至少包括：点选或滑动操作，操作输入界面可以基于用户的触摸操作进行响应，例如，通过以不同颜色、不同线框、高亮等显示方式表示出用户的触摸操作所限定的选择范围。

搜索内容确定单元400，用于根据触摸操作确定搜索内容。

在具体实施时，是基于用户的触摸操作所限定的选择范围生成选择范围图片，并对该选择范围图片进行文字/图形等元素的识别，获取搜索信息。具体地，如图5A所示，该搜索内容确定单元400包括：识别区域确定模块410及搜索内容确定模块420。

该识别区域确定模块410，用于根据触摸操作在所述操作输入界面中的位置确定识别区域；搜索内容确定模块420，用于在识别区域中识别搜索信息，根据该搜索信息确定搜索内容。

其中，上述的搜索信息可包括：文字信息、图片信息、字符信息及表情信息中的一项或多项。在本发明实施例中，可以是通过图片OCR(Optical Character Recognition，光学字符识别)技术来进行识别，即，后台通过OCR识别从该选择范围图片中提取文字信息。或者，也可是通过页面布局文字截取技术(如UiAutomator自动化测试技术)来从该选择范围图片中提取文字信息。UiAutomator是Android自带自动化测试工具，可以用来提取当前页面文本信息，这种技术可以获取100％正确文字。各识别技术具有不同的适用场景，其中，UiAutomator与OCR如果识别出相同的内容，则代表该内容准确性很高，因此，还可通过计算UiAutomator与OCR识别结果的交集确定用户的触摸操作所限定的具体的搜索内容，能够提高识别准确度。同时，上述的识别技术仅是用以举例说明，而并非用以限制本发明。

搜索单元500，用于根据特征信息及搜索内容进行搜索。

在通过截屏图片与特征信息获取单元100获取了用户截屏的当前视图的特征信息，并通过搜索内容确定单元400确定了用户的触摸操作所限定的搜索内容后，即可通过搜索单元500，结合该特征信息以及搜索内容进行搜索。

在实际应用中，在对用户的触摸操作所选定的内容进行识别的基础上，还加入了用户所浏览内容的特征信息，使得在结合特征信息与搜索内容的搜索过程更加准确、有效，从而使搜索结果能够更加贴合用户的需求。

通过实施本发明实施例的基于截屏操作的搜索装置，用户在进行搜索时并不需要进行打开搜索app、在搜索栏中输入要进行搜索的文字、将要进行搜索的文字粘贴到搜索栏中、触发搜索等繁琐操作。而是通过监控用户的截屏操作，针对用户的截屏操作生成操作输入界面，并通过稿输入操作界面接收用户的触摸操作，以识别和获取用户想要进行搜索的内容并进行搜索，从而省去了上述的繁琐操作，方便快捷。并且，在操作输入界面中保留了截图的内容，方便用户在操作输入界面选择要进行搜索的内容，解决了现有的搜索app或搜索页面中只能复制争端内容而不能精确搜索单个词或某几个不同的词汇的弊端，快捷而准确，从而也提高了选取待搜索内容的精确度。

在另一实施例中，如图5B所示，上述的搜索内容确定单元400包括：识别区域确定模块410a、编辑页面显示模块420a、搜索信息修改模块430a及搜索内容确定模块440a。

其中，识别区域确定模块410a，用于根据触摸操作在操作输入界面中的位置确定识别区域。

根据用户的触摸操作所限定的选择范围确定识别区域(例如，可如上文所述，生成相应的选择范围图片)。

编辑页面显示模块420a，用于在识别区域中识别搜索信息，并在一可编辑页面显示搜索信息。

针对用户触摸操作所确定的识别区域中的内容进行文字/图形等元素的识别。在本发明实施例中，可以是通过图片OCR(Optical Character Recognition，光学字符识别)技术或是页面布局文字截取技术进行识别，获得搜索信息。具体地，该搜索信息可包括：文字信息、图片信息、字符信息及表情信息中的一项或多项。

识别出搜索信息后，可单独生成一新的视图(例如可编辑页面或图层或浮窗等)，在该可编辑页面中将搜索信息显示出来。

搜索信息修改模块430a，用于接收用户输入的修改操作，根据修改操作修改搜索信息，确定修改后的搜索信息。

在此实施例中，上述编辑页面显示模块420a生成的可编辑页面可用以接收用户输入的修改操作，以对编辑页面显示模块420a中识别的搜索信息进行修改。例如，用户通过触摸操作选中的内容为“360随身WIFI”，但经过OCR识别后生成的搜索内容为“360随身W1F1”，很显然，1字识别有误，此时，用户即可通过在该可编辑页面中进行修改来改正搜索内容。

搜索内容确定模块440a，用于根据修改后的搜索信息确定搜索内容。

在用户在可编辑页面中对搜索内容进行修改后，可通过点选一确定按钮来确定要进行搜索的内容。

在一实施例中，如图6所示，本发明实施例的基于截屏操作的搜索装置还可包括一显示搜索结果的显示单元600。具体地，该显示单元600是在移动终端的显示区域中撤销上述的操作输入界面(当有可编辑页面时，则将可编辑页面一同撤销)，将搜索内容及搜索结果显示于在显示区域中生成的搜索结果界面中。具体实施时，实际的显示界面效果可根据用户所使用的环境的不同而不同。例如，当用户使用应用程序时，则直接在该应用程序中触发搜索结果界面，在该搜索结果界面的输入栏中显示搜索内容，并在其下方的区域中显示搜索结果；当用户使用浏览器进行网页浏览时，则触发浏览器中默认的搜索引擎进行搜索，在输入栏中显示该搜索内容，在输入栏下方的区域中显示搜索结果。实际的搜索结果显示根据特征信息及应用环境的不同而有所不同，本发明并不以此为限。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读取存储介质中，比如ROM/RAM、磁碟、光盘等。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于截屏操作的搜索方法，其特征在于，所述的搜索方法包括：

根据用户的截屏操作获取显示区域中当前视图的截屏图片，并获取所述显示区域中当前视图的特征信息；

根据所述截屏图片生成操作输入界面；

接收用户在所述操作输入界面中进行的触摸操作；

根据所述触摸操作确定搜索内容；

根据所述特征信息及搜索内容进行搜索；

其中，获取所述显示区域中当前视图的特征信息，具体包括：

根据所述显示区域中当前视图的来源获取所述显示区域中当前视图的特征信息；

其中，所述的来源为应用程序或浏览器；当所述来源为应用程序时，所述特征信息为所述应用程序的程序标识；当所述来源为浏览器时，所述特征信息为所述浏览器当前浏览页面所属的类别信息。

2.根据权利要求1所述的基于截屏操作的搜索方法，其特征在于，根据所述触摸操作确定搜索内容，具体包括：

根据所述触摸操作在所述操作输入界面中的位置确定识别区域；

在所述识别区域中识别搜索信息，根据所述搜索信息确定所述搜索内容。

3.根据权利要求1所述的基于截屏操作的搜索方法，其特征在于，根据所述触摸操作确定搜索内容，具体包括：

根据所述触摸操作在所述操作输入界面中的位置确定识别区域；

在所述识别区域中识别搜索信息，并在一可编辑页面显示所述搜索信息；

接收用户输入的修改操作，根据所述修改操作修改所述搜索信息，确定修改后的搜索信息；

根据所述修改后的搜索信息确定所述搜索内容。

4.根据权利要求2或3所述的基于截屏操作的搜索方法，其特征在于，所述的搜索信息至少包括：文字信息、图片信息、字符信息及表情信息中的一项或多项。

5.根据权利要求1所述的基于截屏操作的搜索方法，其特征在于，在根据所述特征信息及搜索内容进行搜索之后，所述的搜索方法还包括：

在所述显示区域中撤销所述操作输入界面，将所述搜索内容及搜索结果显示于所述显示区域中。

6.一种基于截屏操作的搜索装置，其特征在于，所述的搜索装置包括：

截屏图片与特征信息获取单元，用于根据用户的截屏操作获取显示区域中当前视图的截屏图片，并获取所述显示区域中当前视图的特征信息；

操作输入界面生成单元，用于根据所述截屏图片生成操作输入界面；

触摸操作接收单元，用于接收用户在所述操作输入界面中进行的触摸操作；

搜索内容确定单元，用于根据所述触摸操作确定搜索内容；

搜索单元，用于根据所述特征信息及搜索内容进行搜索；

其中，所述的截屏图片与特征信息获取单元具体用于：

接收用户的截屏操作，根据所述截屏操作获取显示区域中当前视图的截屏图片，并根据所述显示区域中当前视图的来源获取所述显示区域中当前视图的特征信息；

其中，所述的来源为应用程序或浏览器；当所述来源为应用程序时，所述特征信息为所述应用程序的程序标识；当所述来源为浏览器时，所述特征信息为所述浏览器当前浏览页面所属的类别信息。

7.根据权利要求6所述的基于截屏操作的搜索装置，其特征在于，所述的搜索内容确定单元包括：

识别区域确定模块，用于根据所述触摸操作在所述操作输入界面中的位置确定识别区域；

搜索内容确定模块，用于在所述识别区域中识别搜索信息，根据所述搜索信息确定所述搜索内容。

8.根据权利要求6所述的基于截屏操作的搜索装置，其特征在于，所述的搜索内容确定单元包括：

识别区域确定模块，用于根据所述触摸操作在所述操作输入界面中的位置确定识别区域；

编辑页面显示模块，用于在所述识别区域中识别搜索信息，并在一可编辑页面显示所述搜索信息；

搜索信息修改模块，用于接收用户输入的修改操作，根据所述修改操作修改所述搜索信息，确定修改后的搜索信息；

搜索内容确定模块，用于根据所述修改后的搜索信息确定所述搜索内容。

9.根据权利要求7或8所述的基于截屏操作的搜索装置，其特征在于，所述的搜索信息至少包括：文字信息、图片信息、字符信息及表情信息中的一项或多项。

10.根据权利要求6所述的基于截屏操作的搜索装置，其特征在于，所述的搜索装置还包括：

显示单元，用于在所述显示区域中撤销所述操作输入界面，将所述搜索内容及搜索结果显示于所述显示区域中。

Images