CN104239313B - 基于移动终端的屏幕中显示文字的搜索方法与移动终端 - Google Patents

基于移动终端的屏幕中显示文字的搜索方法与移动终端 Download PDF

Info

Publication number
CN104239313B
CN104239313B CN201310231443.7A CN201310231443A CN104239313B CN 104239313 B CN104239313 B CN 104239313B CN 201310231443 A CN201310231443 A CN 201310231443A CN 104239313 B CN104239313 B CN 104239313B
Authority
CN
China
Prior art keywords
mobile terminal
image
text
user
pictorial information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310231443.7A
Other languages
English (en)
Other versions
CN104239313A (zh
Inventor
朱振宇
秦银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201310231443.7A priority Critical patent/CN104239313B/zh
Publication of CN104239313A publication Critical patent/CN104239313A/zh
Application granted granted Critical
Publication of CN104239313B publication Critical patent/CN104239313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/168Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques

Abstract

本发明提出了一种基于移动终端的屏幕中显示文字的搜索方法,包括:设置取词工具,其中,取词工具的窗口层级高于移动终端的应用程序的层级;当检测到用户的触发指令时,取词工具根据用户的手势截取屏幕上的图片信息;对图片信息进行图像转文字识别操作以得到多个文字,并将多个文字进行分词以获得多个词组;根据每个词组中的文字在屏幕上的位置和取词工具截取图片信息时在屏幕上的位置获取关键词列表,并显示关键词列表;以及接收用户的搜索词,并根据关键词列表中的关键词进行搜索,并向用户显示搜索结果。本方法提升用户体验,增加搜索的页面浏览量,且具有快捷性、高效性与易用性。本发明还公开了一种移动终端。

Description

基于移动终端的屏幕中显示文字的搜索方法与移动终端
技术领域
本发明涉及信息搜索技术领域,特别涉及一种基于移动终端的屏幕中显示文字的搜索方法与移动终端。
背景技术
目前,现有技术,对于用户在阅读时,碰到感兴趣的关键词,通常是用浏览器打开搜索引擎网站,手动输入搜索的关键词,进行搜索,并从搜索结果列表中选取搜索结果获取其期望的信息,后者具有搜索功能的应用程序,以输入框的形式,浮于移动终端屏幕之上,用户在框内输入文字后,点击搜索的按钮发起搜索,搜索结果通过调用浏览器网页的形式展现。
进一步地,现有技术存在以下缺点:
(1)会严重打断用户的阅读体验,用户在阅读时碰到感兴趣的文字,首先需要切换至带有搜索功能的应用程序中,手动的输入搜索关键词,然后才能获取搜索结果;
(2)在碰到有些用户不会读/写的汉字或者长串的英文或者汉字词组时,切换至外部搜索应用,并将其输入至搜索框内,对于用户有难度;
(3)虽然有的阅读器自带文字的粘贴,复制功能,用户可以将其拷贝到剪切板以后,复制到搜索应用或者搜索框内发起搜索,但是更多的阅读器,例如:pdf,或者微博或者网页的内容,无法提供粘贴,复制的功能。综上所述,要在移动设备端阅读/浏览的时候发起一次搜索,需要用户进行非常重要的交互操作,非常不方便。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此,本发明的第一个目的在于提出一种基于移动终端的屏幕中显示文字的搜索方法,该方法提升用户体验,增加搜索的页面浏览量,且具有快捷性、高效性与易用性。本发明的第二个目的在于提出一种移动终端。
为了实现上述目的,本发明第一方面的实施例提供一种基于移动终端的屏幕中显示文字的搜索方法,包括以下步骤:设置取词工具,其中,所述取词工具的窗口层级高于所述移动终端的应用程序的层级;当检测到用户的触发指令时,所述取词工具根据所述用户的手势截取屏幕上的图片信息;对所述图片信心进行图像转文字识别操作以得到多个汉字,并将所述多个文字进行分词以获得多个词组;根据每个词组中的文字在屏幕上的位置和所述取词工具截取图片信息时在所述屏幕上的位置获取关键词列表,并显示所述关键词列表,以及接收所述用户的搜索词,并根据所述关键词列表中的关键词进行搜索,并向所述用户显示搜索结果。
根据本发明实施例的基于移动终端的屏幕中显示文字的搜索方法,在手机或者移动设备屏幕上添加一个可以被拖拽到屏幕任何位置的取词工具,来定位用户所感兴趣的文字或词组在屏幕中出现的大致位置,然后通过直接抓取屏幕上取词工具周围的图片信息,调用图像转文字识别模块进行识别,将截取的图片上的文字提取出来,并通过远程调用分词模块,并根据解析的内容,即截取图片上所有文字合并在一起以后进行分词操作,将若干个分词以后的单词词组,结合图像转文字识别模块识别出来的文字位置信息和取词工具在屏幕上的位置信息,判断用户感兴趣的搜索关键字,提供一个备选列表给用户进行选择,在用户选择后,将所对应的关键字作为搜索关键词发起一次搜索,并将搜索结果以一个浮层窗口的形式展现给用户。该方法能够方便用户在移动终端,例如,手机或者平板电脑上阅读图书,微博或者浏览网页时,将页面所带的有意义的文字信息以词组的形式快捷的进行提取,识别,并以此为搜索的请求关键词发起请求,并将搜索结果展现给用户,且具有快捷性、高效性与易用性。
在本发明的一个实施例中,所述设置取词工具包括如下步骤:开启一个后台服务,所述后台服务向窗口管理器申请窗口,并设置窗口层级高于所述移动终端的应用程序的层级,则所述窗口内设置视图以得到所述取词工具。由此,提高了获取取词工具的准确性与易用性。
在本发明的一个实施例中,对所述图片信息进行图像转文字识别操作,包括如下步骤:根据所述移动终端内的图像转文字识别库对所述图片信息进行图像转文字识别操作。由此,提高了识别图片信息的准确性与高效性。
在本发明的一个实施例中,对所述图片信息进行图像转换文字识别操作,包括如下步骤:将所述图片信息上传至图像转文字服务器,所述图像转文字服务器根据内部的图像转文字识别库所述图片信息进行图像转文字识别操作,并对识别结果发送至所述移动终端。由此,提高了获得文字识别结果的实时性与易用性。
在本发明的一个实施例中,对所述关键词进行搜索,包括如下步骤:调用具有搜索功能的程序提供的外部接口或者浏览器对所述关键词进行搜索。由此,提高了搜索的多样性与高效性。
在本发明的一个实施例中,所述搜索结果以浮动窗口的形式显示。由此,提高了显示的多样性与易用性。
本发明第二方面的实施例提出了一种移动终端,包括:设置模块,用于设置取词工具,其中,所述取词工具的窗口层级高于所述移动终端的应用程序的层级;所述取词工具,用于在检测到用户的触发指令时,根据所述用户的手势截取屏幕上的图片信息;图像转文字模块,用于对所述图片信息进行图像文字识别操作以得到多个文字;分词模块,用于将所述多个文字进行分词以获得多个词组;获取模块,用于根据每个词组中的文字在屏幕上的位置和所述取词工具截取图片信息时在所述屏幕上的位置获取关键词列表,并显示所述关键词列表;搜索模块,用于对接收所述用户的搜索词根据所述关键词列表中的关键词进行搜索,以及显示模块,用于向所述用户显示搜索结果。
根据本发明实施例的一种移动终端,在手机或者移动设备屏幕上添加一个可以被拖拽到屏幕任何位置的取词工具,来定位用户所感兴趣的文字或词组在屏幕中出现的大致位置,然后通过直接抓取屏幕上取词工具周围的图片信息,调用图像转文字识别模块进行识别,将截取的图片上的文字提取出来,并通过远程调用分词模块,并根据解析的内容,即截取图片上所有文字合并在一起以后进行分词操作,将若干个分词以后的单词词组,结合图像转文字识别模块识别出来的文字位置信息和取词工具在屏幕上的位置信息,判断用户感兴趣的搜索关键字,提供一个备选列表给用户进行选择,在用户选择后,将所对应的关键字作为搜索关键词发起一次搜索,并将搜索结果以一个浮层窗口的形式展现给用户。该移动终端能够方便用户在移动终端,例如,手机或者平板电脑上阅读图书,微博或者浏览网页时,将页面所带的有意义的文字信息以词组的形式快捷的进行提取,识别,并以此为搜索的请求关键词发起请求,并将搜索结果展现给用户,且具有快捷性、高效性与易用性。
在本发明的一个实施例中,所述设置模块还用于,开启一个后台服务,所述后台服务向窗口管理器申请窗口,并设置窗口层级高于所述移动终端的应用程序的层级,则所述窗口内设置视图以得到所述取词工具。由此,提高了获取取词工具的准确性与易用性。
在本发明的一个实施例中,所述图像转文字模块包括,识别单元:根据所述移动终端内的图像转文字识别库对所述图片信息进行图像转文字识别操作。由此,提高了识别图片信息的准确性与高效性。
在本发明的一个实施例中,所述图像转文字模块还包括,发送单元:将所述图片信息上传至图像转文字服务器,所述图像转文字服务器根据内部的图像转文字识别库所述图片信息进行图像转文字识别操作,并将识别结果发送至所述移动终端。由此,提高了获得文字识别结果的实时性与易用性。
在本发明的一个实施例中,所述搜索模块包括,调用单元:调用具有搜索功能的程序提供的外部接口或者浏览器对所述关键词进行搜索。由此,提高了搜索的多样性与高效性。
在本发明的一个实施例中,所述搜索结果以浮动窗口的形式显示。由此,提高了显示的多样性与易用性。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是根据本发明一个实施例的基于移动终端的屏幕中显示文字的搜索方法的流程图;
图2是根据本发明一个实施例的基于移动终端的屏幕中显示文字的搜索方法的状态示例图;
图3是根据本发明一个实施例的移动终端的结构示意图;以及
图4是根据本发明另一个实施例的移动终端的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度小于第二特征。
图1是根据本发明一个实施例的基于移动终端的屏幕中显示文字的搜索方法的流程图。
如图1所示,基于移动终端的屏幕中显示文字的搜索方法,包括以下步骤:
步骤S101,设置取词工具,其中,取词工具的窗口层级高于移动终端的应用程序的层级。
具体地,设置取词工具包括如下步骤:开启一个后台服务,后台服务向窗口管理器申请窗口,并设置窗口层级高于移动终端的应用程序的层级,则窗口内设置视图以得到取词工具。
步骤S102,当检测到用户的触发指令时,取词工具根据用户的手势截取屏幕上的图片信息。
具体地,用户的手势为用户在屏幕上的执行动作,例如:用户可以通过拖动的方式作为手势来实现屏幕上的图片信息的截取。
可以理解的是,上述截取屏幕上的图片信息的方式仅是截取屏幕上的图片信息的方式的一种示例,本发明实施例中的根据用户手势截取屏幕上的图片信息的方式不限于上述举例,还可以为其他方式。
步骤S103,对图片信息进行图像转文字识别操作以得到多个文字,并将多个文字进行分词以获得多个词组。
具体地,拖动取词工具,当用户松手后,取词工具变为搜索按键状态,且后台调用图像转文字识别OCR(Optical Character Recognition,光学字符识别)模块进行识别。其中,图像转文字识别模块为利用图像转文字识别技术,可以采取离线,即将图像转文字的识别库移植到移动设备终端的方式。具体地,根据移动终端内的图像转文字识别库对图片信息进行图像转文字识别操作;也可以通过在线的方式,即将图像传给远程图像转文字服务器进行识别。将图片信息上传至图像转文字服务器,图像转文字服务器根据内部的图像转文字识别库图片信息进行图像转文字识别操作,并将识别结果发送至移动终端。图像转文字除了识别返回图像中的文字信息以外,还将附带每个文字的x,y坐标以及宽度和高度的文字位置信息,此项技术已非常成熟,不再赘述。
进一步地,将图像转文字返回的结果,即分行返回若干行文字合并在一起,作为一个长串的待分词请求输入给分词模块,由分词模块将其预先存储的字库与分词请求的若干个字串进行匹配,如果匹配成功则输入一个分词的字串。例如:“中国人民解放军”可以被分解为:中国/中国人民/中国人/解放军/中国人民解放军等,其中,每个分词的单个结果均有语意。
步骤S104,根据每个词组中的文字在屏幕上的位置和取词工具截取图片信息时在屏幕上的位置获取关键词列表,并显示关键词列表。
具体地,例如:通过拖动取词工具,依据取词工具显示的浮动窗口的位置,可以截取以移动终端屏幕宽度为宽的正方形图片,也可以截取以移动终端屏幕高度1/4的长度,以移动终端屏幕宽度为宽的矩形图片,其中,截取屏幕图片的方式可以依据不同的操作系统平台调用不同接口实现。
进一步地,通过将截取的图片的图像信息转文字技术,实现图像转文字识别的操作,继而将图像转文字返回的结果,即分行返回若干行文字合并在一起,作为一个长串的待分词请求输入给分词模块,由分词模块将其预先存储的字库与分词请求的若干个字串进行匹配,如果匹配成功则输入一个分词的字串。例如:“中国人民解放军”可以被分解为:中国/中国人民/中国人/解放军/中国人民解放军等,其中,中国/中国人民/中国人/解放军/中国人民解放军为“中国人民解放军”字串的关键词组合,且以列表的形式在移动终端上显示给用户。
步骤S105,接收用户的搜索词,并根据关键词列表中的关键词进行搜索,并向用户显示搜索结果。
例如:用户的搜索词为“中国人民解放军”,根据已在关键词列表中的对“中国人民解放军”的分词,即关键词:中国/中国人民/中国人/解放军/中国人民解放军等进行搜索,即可得到搜索结果,最终向用户显示搜索结果。
具体地,调用具有搜索功能的程序提供的外部接口或者浏览器对关键词进行搜索,且搜索结果以浮动窗口的形式显示。
根据本发明实施例的一种基于移动终端的屏幕中显示文字的搜索方法,在手机或者移动设备屏幕上添加一个可以被拖拽到屏幕任何位置的取词工具,来定位用户所感兴趣的文字或词组在屏幕中出现的大致位置,然后通过直接抓取屏幕上取词工具周围的图片信息,调用图像转文字识别模块进行识别,将截取的图片上的文字提取出来,并通过远程调用分词模块,并根据解析的内容,即截取图片上所有文字合并在一起以后进行分词操作,将若干个分词以后的单词词组,结合图像转文字识别模块识别出来的文字位置信息和取词工具在屏幕上的位置信息,判断用户感兴趣的搜索关键字,提供一个备选列表给用户进行选择,在用户选择后,将所对应的关键字作为搜索关键词发起一次搜索,并将搜索结果以一个浮层窗口的形式展现给用户。该方法能够方便用户在移动终端,例如,手机或者平板电脑上阅读图书,微博或者浏览网页时,将页面所带的有意义的文字信息以词组的形式快捷的进行提取,识别,并以此为搜索的请求关键词发起请求,并将搜索结果展现给用户,且具有快捷性、高效性与易用性。
为了更好的理解与运用基于移动终端的屏幕中显示文字的搜索方法,进行以下示例说明。
图2是本发明实施例的一种基于移动终端的屏幕中显示文字搜索状态的示例图。
如图2所示,基于移动终端的屏幕中显示文字搜索状态的示例,其中,(a)、(b)、(c)、(d)以及(e)为进行基于移动终端的屏幕中显示文字的搜索在不同操作步骤下的状态显示,具体描述如下:
状态(a)为在移动终端的屏幕中的任意界面上存在的取词搜索工具的状态显示。其中,取词搜索工具为本发明的取词工具,且为可移动的取词工具,具体地,取词工具可以根据不同的操作系统平台调用不同的接口实现,且取词工具以半透浮层窗口的形式,一直出现在屏幕上,其中,取词工具显示的形式还可以通过其他预先设定的方式进行显示,也可以在不进行屏幕文字搜索时隐藏。本发明采用取词工具以半透浮层窗口的形式显示,提高了用户在移动终端上进行屏幕文字搜索的取词工具的可见性与易用性。
进一步地,例如:以android(安卓)系统为列,需要开启一个后台的服务向窗口管理器申请一块窗口,并将其窗口层级设置为高于普通的应用程序层级,在分配的窗口内设置自定义的视图,即可实现取词工具以半透浮动窗口。
状态(b)为在移动终端的屏幕中的任意界面上拖动取词工具的状态显示。其中,对移动终端的响应触屏的按下、移动,即根据拖动的距离重新设置半透浮动窗口在整个屏幕中的位置可以实现移动的效果,以及抬起的操作完成了拖动取词工具的全过程。
具体地,拖动取词工具,当用户松手后,取词工具变为搜索按键状态,且后台调用图像转文字识别OCR(Optical Character Recognition,光学字符识别)模块进行识别。进一步地,图像转文字技术,可以采取离线,即将图像转文字的识别库移植到移动设备终端的方式,具体地,根据移动终端内的图像转文字识别库对图片信息进行图像转文字识别操作。也可以通过在线的方式,即将图像传给远程图像转文字服务器进行识别。将图片信息上传至图像转文字服务器,图像转文字服务器根据内部的图像转文字识别库图片信息进行图像转文字识别操作,并将识别结果发送至移动终端。图像转文字除了识别返回图像中的文字信息以外,还将附带每个文字的x,y坐标以及宽度和高度的文字位置信息,此项技术已非常成熟,不再赘述。
当拖动取词工具后静置2秒,取词工具渐变回起始状态的半透动态效果,且记录取词工具的新位置,若继续拖动取词工具,之前的图像转文字取消,重新发起新的图像转文字操作。具体地,取“取词工具”箭头尖点与下边线中心点的最近距离的字进行分词。
进一步地,通过拖动取词工具截取屏幕图片,依据浮动窗口的位置,可以截取以屏幕宽度为宽的正方形图片,屏幕高度1/4的长度为高度的矩形图片。截取屏幕图片的方式可以依据不同的操作系统平台调用不同接口实现。
例如:以android系统最新版本4.0为例,可以通过添加系统签名的方式直接调用系统提供的接口将手机屏幕上的图片保存下来,并根据浮动窗口的位置进行截取。如果在其它系统上,也可以有根权限的手机上直接抓取系统抽象出来的显存的原始数据获取图片。
进一步地,将图像转文字返回的结果,即分行返回若干行文字合并在一起,作为一个长串的待分词请求输入给分词模块,由分词模块将其预先存储的字库与分词请求的若干个字串进行匹配,如果匹配成功则输入一个分词的字串。例如:“中国人民解放军”可以被分解为:中国/中国人民/中国人/解放军/中国人民解放军等,其中,每个分词的单个结果均有语意。
状态(c)为在移动终端的屏幕中的任意界面上点击搜索按键,即处于截取屏幕上的图片信息下载状态的显示。其中,取词工具可以拖动,且在拖动时不终止截取到的屏幕上的图片信息的下载。
状态(d)为在移动终端的屏幕中的任意界面上的反馈分词列表的状态显示。其中,分词列表罗列分词的结果,且列表的位置采用跟随取词工具进行自适应调整。
具体地,将图像转文字输出的文字位置信息和取词工具的位置信息结合,判断出取词工具所指向的最近的文字,然后使用Sunday算法,选出所有分词结果中包括最近这个文字的词组,通过列表的形式提供给用户备选。例如:“中国人民解放军”被分解为:中国/中国人民/中国人/解放军/中国人民解放军等,用户指向“解”字,则提供解放军和中国人民解放军作为备选词。
进一步地,用户点击备选关键字后,可以调用带有搜索功能程序提供的外部接口或者调用浏览器来进行实际的搜索操作。
状态(e)为在移动终端的屏幕中的任意界面上以半屏呈现搜索结果的状态显示。其中,采用一个半屏的窗口显示加载的搜索结果。即以搜索关键词作为参数去访问搜索页面,并将搜索结果呈现给用户。
本方法提升用户体验,增加搜索的页面浏览量,解决用户在使用手机操作时,无法快捷的输入搜索关键字发起搜索的困难。现在只需要把移动取词工具拖拽到感兴趣的文字上,点击一下便可以出来备选文字列表,点击列表项,即可发起搜素,且搜索的展示页以半屏的形式呈现,不会打断用户原来的操作或者阅读体验。
为了达到上述目的,本发明还提出了一种移动终端。
图3是根据本发明一个实施例的移动终端的结构示意图。
如图3所示,移动终端300,包括:设置模块310、取词工具320、图像转文字模块330、分词模块340、获取模块350、搜索模块360以及显示模块370。
设置模块310设置取词工具,其中,取词工具的窗口层级高于移动终端的应用程序的层级,进一步地,设置模块还用于开启一个后台服务,后台服务向窗口管理器申请窗口,并设置窗口层级高于移动终端的应用程序的层级,则窗口内设置视图以得到取词工具,再通过取词工具320,在检测到用户的触发指令时,根据用户的手势截取屏幕上的图片信息,继而通过图像转文字模块330对图片信息进行图像文字识别操作以得到多个文字,进一步地,分词模块340将多个文字进行分词以获得多个词组,获取模块350根据每个词组中的文字在屏幕上的位置和取词工具截取图片信息时在屏幕上的位置获取关键词列表,并显示关键词列表,最后通过搜索模块360对接收用户的搜索词根据关键词列表中的关键词进行搜索,显示模块370向用户显示搜索结果,其中,搜索结果以浮动窗口的形式显示。
图4是根据本发明另一个实施例的移动终端的结构示意图。
如图4所示,移动终端300,图像转文字模块330包括:识别单元331,发送单元332。
识别单元331,根据移动终端内的图像转文字识别库对图片信息进行图像转文字识别操作,以及发送单元332,将图片信息上传至图像转文字服务器,图像转文字服务器根据内部的图像转文字识别库图片信息进行图像转文字识别操作,并将识别结果发送至移动终端。
进一步地,搜索模块360包括调用单元361,调用具有搜索功能的程序提供的外部接口或者浏览器对关键词进行搜索。
根据本发明实施例的一种移动终端,在手机或者移动设备屏幕上添加一个可以被拖拽到屏幕任何位置的取词工具,来定位用户所感兴趣的文字或词组在屏幕中出现的大致位置,然后通过直接抓取屏幕上取词工具周围的图片信息,调用图像转文字识别模块进行识别,将截取的图片上的文字提取出来,并通过远程调用分词模块,并根据解析的内容,即截取图片上所有文字合并在一起以后进行分词操作,将若干个分词以后的单词词组,结合图像转文字识别模块识别出来的文字位置信息和取词工具在屏幕上的位置信息,判断用户感兴趣的搜索关键字,提供一个备选列表给用户进行选择,在用户选择后,将所对应的关键字作为搜索关键词发起一次搜索,并将搜索结果以一个浮层窗口的形式展现给用户。该移动终端能够方便用户在移动终端,例如,手机或者平板电脑上阅读图书,微博或者浏览网页时,将页面所带的有意义的文字信息以词组的形式快捷的进行提取,识别,并以此为搜索的请求关键词发起请求,并将搜索结果展现给用户,且具有快捷性、高效性与易用性。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于移动终端的屏幕中显示文字的搜索方法,其特征在于,包括如下步骤:
设置取词工具,其中,所述取词工具的窗口层级高于所述移动终端的应用程序的层级;
当检测到用户的触发指令时,所述取词工具根据所述用户的手势截取屏幕上的图片信息;
对所述图片信息进行图像转文字识别操作以得到多个文字,并将所述多个文字进行分词以获得多个词组;
根据每个词组中的文字在屏幕上的位置和所述取词工具截取图片信息时在所述屏幕上的位置获取关键词列表,并显示所述关键词列表;以及
接收所述用户的搜索词,并根据所述关键词列表中的关键词进行搜索,并向所述用户显示搜索结果;所述取词工具截取图片信息时的界面、显示所述关键词列表的界面、以及显示搜索结果的界面为同一界面;
对所述关键词进行搜索,包括如下步骤:调用具有搜索功能的程序提供的外部接口或者浏览器对所述关键词进行搜索。
2.如权利要求1所述的方法,其特征在于,所述设置取词工具包括如下步骤:
开启一个后台服务,所述后台服务向窗口管理器申请窗口,并设置窗口层级高于所述移动终端的应用程序的层级,则所述窗口内设置视图以得到所述取词工具。
3.如权利要求1所述的方法,其特征在于,对所述图片信息进行图像转文字识别操作,包括如下步骤:
根据所述移动终端内的图像转文字识别库对所述图片信息进行图像转文字识别操作。
4.如权利要求1所述的方法,其特征在于,对所述图片信息进行图像转文字识别操作,包括如下步骤:
将所述图片信息上传至图像转文字服务器,所述图像转文字服务器根据内部的图像转文字识别库所述图片信息进行图像转文字识别操作,并将识别结果发送至所述移动终端。
5.如权利要求1所述的方法,其特征在于,所述搜索结果以浮动窗口的形式显示。
6.一种移动终端,其特征在于,包括:
设置模块,用于设置取词工具,其中,所述取词工具的窗口层级高于所述移动终端的应用程序的层级;
所述取词工具,用于在检测到用户的触发指令时,根据所述用户的手势截取屏幕上的图片信息;
图像转文字模块,用于对所述图片信息进行图像文字识别操作以得到多个文字;
分词模块,用于将所述多个文字进行分词以获得多个词组;
获取模块,用于根据每个词组中的文字在屏幕上的位置和所述取词工具截取图片信息时在所述屏幕上的位置获取关键词列表,并显示所述关键词列表;
搜索模块,用于对接收所述用户的搜索词根据所述关键词列表中的关键词进行搜索;以及
显示模块,用于向所述用户显示搜索结果;所述取词工具截取图片信息时的界面、显示所述关键词列表的界面、以及显示搜索结果的界面为同一界面;
所述搜索模块包括,调用单元,用于调用具有搜索功能的程序提供的外部接口或者浏览器对所述关键词进行搜索。
7.如权利要求6所述的移动终端,其特征在于,所述设置模块用于开启一个后台服务,所述后台服务向窗口管理器申请窗口,并设置窗口层级高于所述移动终端的应用程序的层级,则所述窗口内设置视图以得到所述取词工具。
8.如权利要求6所述的移动终端,其特征在于,所述图像转文字模块包括,识别单元:
根据所述移动终端内的图像转文字识别库对所述图片信息进行图像转文字识别操作。
9.如权利要求6所述的移动终端,其特征在于,所述图像转文字模块还包括,发送单元:
将所述图片信息上传至图像转文字服务器,所述图像转文字服务器根据内部的图像转文字识别库所述图片信息进行图像转文字识别操作,并将识别结果发送至所述移动终端。
10.如权利要求6所述的移动终端,其特征在于,所述搜索结果以浮动窗口的形式显示。
CN201310231443.7A 2013-06-09 2013-06-09 基于移动终端的屏幕中显示文字的搜索方法与移动终端 Active CN104239313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310231443.7A CN104239313B (zh) 2013-06-09 2013-06-09 基于移动终端的屏幕中显示文字的搜索方法与移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310231443.7A CN104239313B (zh) 2013-06-09 2013-06-09 基于移动终端的屏幕中显示文字的搜索方法与移动终端

Publications (2)

Publication Number Publication Date
CN104239313A CN104239313A (zh) 2014-12-24
CN104239313B true CN104239313B (zh) 2019-07-30

Family

ID=52227404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310231443.7A Active CN104239313B (zh) 2013-06-09 2013-06-09 基于移动终端的屏幕中显示文字的搜索方法与移动终端

Country Status (1)

Country Link
CN (1) CN104239313B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778195A (zh) * 2014-12-26 2015-07-15 北京奇虎科技有限公司 终端和基于触摸操作的搜索方法
CN104778194A (zh) * 2014-12-26 2015-07-15 北京奇虎科技有限公司 基于触摸操作的搜索方法和装置
CN104765472B (zh) * 2015-04-20 2018-06-05 百度在线网络技术(北京)有限公司 输入信息的展示方法和装置
CN104850608A (zh) * 2015-05-07 2015-08-19 深圳市世强先进科技有限公司 在信息展示页面上检索关键字的方法
CN104866545B (zh) * 2015-05-07 2018-08-10 深圳市世强元件网络有限公司 在信息展示页面上检索关键字的方法
CN104899269B (zh) * 2015-05-26 2019-01-22 北京金山安全软件有限公司 一种访问网址链接的方法及装置
CN105005551A (zh) * 2015-06-29 2015-10-28 东南(福建)汽车工业有限公司 一种在文档修订中实现快速获取图片文字的方法
CN105824552B (zh) * 2015-07-29 2019-05-17 维沃移动通信有限公司 一种文本信息的识别方法和装置
CN106897291B (zh) * 2015-12-18 2020-10-02 北京奇虎科技有限公司 基于截屏操作的搜索方法及装置
CN105607807A (zh) * 2015-12-22 2016-05-25 惠州Tcl移动通信有限公司 一种基于移动终端的文字处理方法及系统
CN106227398A (zh) * 2016-06-29 2016-12-14 宇龙计算机通信科技(深圳)有限公司 一种相机图像文字显示方法及装置
CN106250374B (zh) * 2016-08-05 2021-05-18 Tcl科技集团股份有限公司 一种取词翻译方法及系统
CN106570502A (zh) * 2016-11-14 2017-04-19 南京邮电大学 基于安卓平台图像文字识别及播放方法
CN106611065B (zh) * 2017-01-03 2020-06-30 北京百度网讯科技有限公司 搜索方法和装置
CN106844302B (zh) * 2017-03-30 2020-07-28 掌阅科技股份有限公司 电子书页面显示方法、装置和终端设备
CN107256109B (zh) * 2017-05-27 2021-03-16 北京小米移动软件有限公司 信息显示方法、装置及终端
CN108268585A (zh) * 2017-08-29 2018-07-10 广州市动景计算机科技有限公司 新闻内容关联检索方法、装置及终端
CN107807784A (zh) * 2017-10-30 2018-03-16 四川长虹电器股份有限公司 基于内嵌文本阅读器的显示方法
CN110020140B (zh) * 2017-11-15 2023-02-21 腾讯科技(深圳)有限公司 推荐内容显示方法、装置及系统
CN108268601A (zh) * 2017-12-20 2018-07-10 优视科技(中国)有限公司 图片搜索方法、装置及计算机设备
CN108470041B (zh) * 2018-02-12 2021-01-08 维沃移动通信有限公司 一种信息搜索方法及移动终端
CN108810265A (zh) * 2018-05-30 2018-11-13 珠海格力电器股份有限公司 一种终端的文本标记方法及装置
CN109063076B (zh) * 2018-07-24 2021-07-13 维沃移动通信有限公司 一种图片生成方法及移动终端
BR112021007104A2 (pt) 2018-10-15 2021-07-20 Huawei Technologies Co., Ltd método e dispositivos para apresentação de informações
CN110333923B (zh) * 2019-05-29 2023-06-06 努比亚技术有限公司 一种识屏实现方法、终端及计算机可读存储介质
CN111159386A (zh) * 2019-11-26 2020-05-15 深圳壹账通智能科技有限公司 一种数据生成方法、装置、电子设备及存储介质
CN112001380B (zh) * 2020-07-13 2024-03-26 上海翎腾智能科技有限公司 基于人工智能现实场景下的中文意义词组的识别方法和系统
CN112417826B (zh) * 2020-11-24 2021-07-02 济南智学承远信息技术有限公司 Pdf在线编辑方法、装置、电子设备和可读存储介质
CN113361518A (zh) * 2021-06-29 2021-09-07 读书郎教育科技有限公司 一种快速取词搜索的方法和装置
CN113613041A (zh) * 2021-08-06 2021-11-05 北京奇艺世纪科技有限公司 页面识别方法、装置、系统、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266608A (zh) * 2008-05-09 2008-09-17 魏新成 对电脑屏幕上显示的文本字符串进行在线搜索的方法
CN102158732A (zh) * 2011-04-22 2011-08-17 深圳创维-Rgb电子有限公司 基于电视画面的信息搜索方法及系统
CN102930263A (zh) * 2012-09-27 2013-02-13 百度国际科技(深圳)有限公司 一种信息处理方法及装置
CN103020184A (zh) * 2012-11-29 2013-04-03 北京百度网讯科技有限公司 使用拍摄图像获取搜索结果的方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590386B1 (ko) * 2011-09-07 2016-02-01 네이버 주식회사 검색 서비스 제공 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266608A (zh) * 2008-05-09 2008-09-17 魏新成 对电脑屏幕上显示的文本字符串进行在线搜索的方法
CN102158732A (zh) * 2011-04-22 2011-08-17 深圳创维-Rgb电子有限公司 基于电视画面的信息搜索方法及系统
CN102930263A (zh) * 2012-09-27 2013-02-13 百度国际科技(深圳)有限公司 一种信息处理方法及装置
CN103020184A (zh) * 2012-11-29 2013-04-03 北京百度网讯科技有限公司 使用拍摄图像获取搜索结果的方法和系统

Also Published As

Publication number Publication date
CN104239313A (zh) 2014-12-24

Similar Documents

Publication Publication Date Title
CN104239313B (zh) 基于移动终端的屏幕中显示文字的搜索方法与移动终端
CN104090762B (zh) 一种截图处理装置和方法
CN104090761B (zh) 一种截图应用装置和方法
CN103294363B (zh) 一种搜索方法和终端
CN106484266A (zh) 一种文本处理方法及装置
CN104090648B (zh) 数据录入方法及终端
CN102945243B (zh) 一种基于浏览内容的联系信息识别方法
CN105786930B (zh) 基于触摸交互的搜索方法及装置
CN110225387A (zh) 一种信息搜索方法、装置及电子设备
US20120232987A1 (en) Image-based search interface
DE102012202558A1 (de) Erzeugung einer Abfrage aus dargestellten Textdokumenten unter Anwendung virtueller Magnete
CN103324674B (zh) 网页内容选取方法及装置
CN106250040A (zh) 应用程序的启动方法及装置
CN104572853B (zh) 搜索方法和搜索装置
CN102857629A (zh) 一种手机桌面搜索框的呼出方法
CN107577505A (zh) 应用程序的操作、生成、启动的方法及其装置
CN108351880A (zh) 图片处理方法、装置、电子设备及图形用户界面
CN111857508B (zh) 任务管理方法、装置及电子设备
CN107423296A (zh) 搜索方法、装置以及用于搜索的装置
CN111343467A (zh) 一种直播数据处理方法、装置、电子设备及存储介质
CN106096010A (zh) 自带搜索引擎功能的输入控制方法与装置
CN112954046B (zh) 信息发送方法、信息发送装置和电子设备
WO2021179904A1 (zh) 标记数据处理方法、设备及存储介质
CN107832311A (zh) 一种翻译方法、装置、终端及可读存储设备
CN107291797B (zh) 一种基于页面内容的信息搜索方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant