CN104021174A - 根据片段图像获取完整资源的方法、系统与应用 - Google Patents

Abstract

本发明涉及移动互联网技术，公开了一种根据片段图像获取完整资源的方法、系统与应用。本发明中用图像替代传统的获取网络资源的媒介，例如URI和文字，根据从片段图像中提取的粗略片段信息来获取最终的完整资源，使用户能够更便捷地记录和获取网络资源，提供了良好的用户体验。运用该方法和系统，发明了一款以截屏为同一收藏方式的收藏阅读应用。由于截屏操作是被所有主流设备和平台支持的操作，不受前端应用的限制，省去了用户在不同的应用里找各自不同位置的收藏按钮的学习成本；可以通过读取系统维护的存储空间中的所有截屏图像，将不同前端应用中的收藏集中到该收藏阅读应用中；同时可以连续截屏，不需要在应用间来回切换。

Description

根据片段图像获取完整资源的方法、系统与应用

技术领域

本发明涉及移动互联网技术，特别涉及根据片段图像获取完整资源的方法、系统与应用。 

背景技术

智能移动设备的用户往往在使用各种不同的前端应用时，比如使用手机浏览器、微博、微信、新闻客户端阅读到好文章，想要收藏，目前常见的两种收藏阅读的实现方式包括：使用各前端应用提供的收藏功能；或者将URI以复制粘贴或者应用间调用的方式从前端应用传递给某个收藏阅读应用。 

其中，URI(Uniform Resource Indentifier)包括URL和URN两类，网页资源主要以URL来识别和定位。前端应用是指用户正在通过图形界面与之交互的应用软件。 

但是这两种实现方式都有明显缺点： 

1、使用各前端应用提供的收藏功能，主要缺点有： 

需要前端应用提供收藏功能； 

无法满足集中收藏到一处的要求； 

功能细节和体验各不相同，包括收藏按钮位置，增加了用户的学习成本。 

2、将URI以复制粘贴或者应用间调用的方式从前端应用传递给某个收藏阅读应用，主要缺点有： 

复制粘贴在这个使用场景下体验差； 

iOS系统不支持应用间调用，所以绝大多数情况得使用复制粘贴URI 的方式； 

Android系统上除复制粘贴URI之外，如果前端应用支持，用户可以通过“分享”按钮，调用收藏阅读应用并传递URI，但是仍然存在一些问题，例如功能细节和体验各不相同需要学习，以及应用间来回切换的欠佳体验； 

无法实现进阶功能，比如记录用户在前端应用中阅读到的位置，或者用户在前端应用中做的高亮笔记。 

基于上述缺点，在移动互联网时代，图像成为了比URI或文字更友好的记录和传播的媒介，原因体现在以下几个方面的优势： 

1)可以连续截屏或拍照，再打开目标应用一次性读取；URI或文字却不能连续复制，只能每次复制之后立刻打开目标应用粘贴一次，在应用间来回切换，很不方便。 

2)用截屏或者拍照记录，比选中、复制、粘贴一长串URI或文字要便捷很多。 

3)截屏或拍照是被所有主流设备和平台支持的操作，不需要前端应用支持。比如，无论用户在用手机浏览器还是新闻客户端看一篇新闻，用户都可以截屏记录自己阅读的部分，而不需要手机浏览器或者新闻客户端提供一个按钮支持。而且统一的截屏操作也比在不同的App(智能移动设备上的应用软件)里找各自不同位置的该按钮省去了用户的学习成本。 

4)截屏或拍照所记录的图像，是保存在系统维护的存储空间中，所有应用软件在得到用户授权后都可读取，不受前端应用限制。比如，如果用户使用新闻客户端阅读一篇新闻时使用了该新闻客户端内建的收藏功能，用户无法在其他应用软件中读取该收藏信息。 

5)传播到社交网络中，图像比一长串URI或文字对更吸引阅读者。并且比如微博无法容纳超过140个字符的URI或文字。 

但是，图像所包含的信息往往只是某个完整资源的一部分，也就是 “片段信息”，所以用图像记录和传播完整资源还需要实现一定的前提。 

发明内容

本发明的目的在于提供一种根据片段图像获取完整资源及移动终端收藏阅读的方法与系统，用图像替代传统的获取网络资源的媒介，从片段图像中提取的粗略片段信息来获取最终的完整资源，使用户能够更便捷地记录和获取网络资源，提供了良好的用户体验。将上述根据片段图像获取完整资源的方法应用到移动终端收藏阅读中，以截屏图像为统一收藏阅读的方式，不受前端应用的限制，省去用户在不同的应用里找各自不同位置的收藏按钮的学习成本，可集中看到所有的阅读资源，同时不需要在应用间来回切换，使用方便。 

为解决上述技术问题，本发明的实施方式公开了一种根据片段图像获取最终的完整资源的方法，包括步骤： 

获取片段图像，该片段图像是以图像形式展示的最终的完整资源的至少一部分； 

通过图像识别从片段图像中提取得到粗略片段信息，该粗略片段信息包括从片段图像中被识别出的至少两个字或单词； 

根据粗略片段信息查找片段图像所对应的候选完整资源； 

根据候选完整资源确定最终的完整资源，其中，如果候选完整资源的数量多于1个，则从各候选完整资源中选择一个最接近的作为最终的完整资源。 

本发明的实施方式还公开了一种智能移动终端上收藏阅读的方法，包括以下步骤： 

自动扫描图像库，从中筛选出片段图像，并通过图像识别从筛选出的片段图像中提取得到粗略片段信息，该粗略片段信息包括从片段图像中被识 别出的至少两个字或单词； 

根据粗略片段信息查找片段图像所对应的阅读资源作为候选完整资源； 

根据候选完整资源确定最终的完整资源，其中，如果候选完整资源的数量多于1个，则从各候选完整资源中选择一个最接近的作为最终的完整资源。 

本发明的实施方式还公开了一种根据片段图像获取最终的完整资源的系统，包括： 

片段图像获取模块，用于获取片段图像，片段图像是以图像形式展示的最终的完整资源的至少一部分； 

提取模块，用于通过图像识别从片段图像中提取得到粗略片段信息，该粗略片段信息包括从片段图像中被识别出的至少两个字或单词； 

查找模块，用于根据粗略片段信息查找片段图像所对应的候选完整资源； 

最终完整资源确定模块，用于根据候选完整资源确定最终的完整资源，其中，如果候选完整资源的数量多于1个，则从各候选完整资源中选择一个最接近的作为最终的完整资源。 

本发明的实施方式还公开了一种智能移动终端上收藏阅读的系统，包括： 

提取模块，用于在自动扫描图像库并从中筛选出片段图像后，通过图像识别从筛选出的片段图像中提取得到粗略片段信息，该粗略片段信息包括从片段图像中被识别出的至少两个字或单词； 

查找模块，用于根据粗略片段信息查找片段图像所对应的阅读资源作为候选完整资源； 

最终完整资源确定模块，用于根据候选完整资源确定最终的完整资源，其中，如果候选完整资源的数量多于1个，则从各候选完整资源中选择一个最接近的作为最终的完整资源。 

本发明实施方式与现有技术相比，主要区别及其效果在于： 

本发明中用图像替代传统的获取网络资源的媒介，例如URI和文字，根据从片段图像中提取的粗略片段信息来获取最终的完整资源，使用户能够更便捷地记录和获取网络资源，提供了良好的用户体验。 

由于截屏操作是被所有主流设备和平台支持的操作，不受前端应用的限制，省去了用户在不同的应用里找各自不同位置的收藏按钮的学习成本；可以通过读取系统维护的存储空间中的所有截屏图像，将不同前端应用中的收藏集中到该收藏阅读应用中；同时可以连续截屏，不需要在应用间来回切换。 

进一步地，查找候选完整资源时首先在自建的搜索引擎和资源库中进行查找，对于存在于自建搜索引擎和资源库中的完整资源，可提高查找的速度。 

进一步地，去除粗略片段信息中随机的或者词频低于预定值的字或单词，可避免某个词被识别错误导致找不到结果的情况。 

进一步地，迭代地比对粗略片段信息和候选完整资源，并根据比对结果对粗略片段信息进行修正，能够使搜索到的完整资源更精确。 

进一步地，对于服务器端最终的完整资源可能会丢失的情况，存储最终的完整资源保证了完整资源长时间的可用性。 

进一步地，根据客户端反馈的表示对最终的完整资源判断结果的信息，对提取粗略片段信息的方法和/或查找候选完整资源的方法做相应修正，可提高准确率。 

进一步地，片段图像在客户端进行预处理后上传到服务器，可有效降低上传的数据量和服务器的运算负担。 

进一步地，还原和记录片段信息与最终的完整资源之间的关系并将最终的完整资源以友好的格式呈现给用户，提供了更好的用户体验。 

附图说明

图1是本发明第一实施方式中一种根据片段图像获取最终的完整资源的方法的流程示意图； 

图2是本发明第三实施方式中一种智能移动终端上收藏阅读的方法的流程示意图； 

图3是本发明第六实施方式中一种根据片段图像获取最终的完整资源的系统的结构示意图； 

图4是本发明第八实施方式中一种智能移动终端上收藏阅读的系统的结构示意图； 

图5是本发明第八实施方式中一种智能移动终端上收藏阅读应用的界面示意图。 

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。 

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。 

首先，本发明中涉及到的专业术语有： 

完整资源：完整的可以用URI识别的网页资源。 

文字资源：以文字为主体的完整资源，主要类别有文章、论坛帖子、社交网络帖子、或文章的引言。 

片段图像(blob image)：完整资源的一部分或者全部，被以图像的方式展现出来。具体形式包括用户在手机浏览器里看一篇文章时的截屏、由文章自动生成的被分享到微博中的图像、看书时某一页的拍照记录。 

粗略片段信息(rough blob information)：片段图像所包含的，经过分析抽取得到的信息。可包含正文、标题、图标、网址等。 

片段信息(blob information)：粗略片段信息经过与完整资源比对而修正或确认后的信息。 

移动应用/App：智能移动设备上的应用软件。 

前端应用(被摄应用)：用户正在通过图形界面与之交互的应用软件。在智能移动设备上，往往同时只有一个前端应用，它占据了绝大部分屏幕面积。所以对该设备的拍照或者截屏，会将该前端应用的界面记录在图像中，此时该前端应用又称为被摄应用。 

图像元数据：不需要解码像素信息即可读出的图像文件基本属性，比如像素分辨率、创建时间、文件尺寸等。 

标识、记录、传播、获取网络资源是互联网应用的基础。在桌面设备上，最普遍的使用资源的媒介是URI；而在移动设备上的许多场景中，图像成为了比URI或文字对用户更友好的记录和传播的媒介。 

但是图像所包含的信息往往只是某个完整资源的一部分，也就是“片段信息”。所以用图像记录和传播完整资源的前提是： 

1)通过分析图像得到片段信息； 

2)通过片段信息查找到完整资源； 

3)还原片段信息与完整资源之间的关系。 

本发明提出了一套方法和系统实现上述前提，并创造研发了一款主要以截屏图像为媒介收藏阅读的移动应用。这款应用引导用户(无论在使用任何一款前端应用阅读时)以截屏为统一收藏方式，之后打开该应用即可集中看到所有自己收藏的文字资源，并且看到片段信息被突出显示，解决了现有收藏阅读的实现方式所存在的缺点。 

本发明第一实施方式涉及一种根据片段图像获取最终的完整资源的方法，图1是该根据片段图像获取最终的完整资源的方法的流程示意图。 

具体地说，该根据片段图像获取最终的完整资源的方法包括以下步骤： 

在步骤101中，获取片段图像，该片段图像是以图像形式展示的最终的完整资源的至少一部分。 

片段图像的具体形式可以为用户在手机浏览器里看一篇文章时的截屏、由文章自动生成的被分享到微博中的图像、看书时某一页的拍照记录或者选择的已有图像。 

此外，可以理解，获取片段图像的方式可以包括拍照，截图等。 

拍照(往往只内建于移动设备)和截屏功能是由操作系统和设备默认提供的功能，不依赖于第三方应用软件。而拍照或截屏所得到的图像被存放于操作系统指定的位置，所有应用软件在得到用户授权之后都可以访问。但是有些操作系统将拍照和截屏所得的图像分开(比如存放于不同位置)，而有些操作系统需要应用软件自己检查一些属性来区分。 

此后进入步骤102，通过图像识别从片段图像中提取得到粗略片段信息，该粗略片段信息包括从片段图像中被识别出的至少两个字或单词。 

粗略片段信息的具体形式可以包括正文、标题、图标和网址等。 

此后进入步骤103，根据粗略片段信息查找片段图像所对应的候选完整 资源。 

此后进入步骤104，根据候选完整资源确定最终的完整资源，其中，如果候选完整资源的数量多于1个，则从各候选完整资源中选择一个最接近的作为最终的完整资源。 

最终的完整资源为完整的可以用URI识别的web资源。 

此后结束此流程。 

优选地，在根据粗略片段信息查找片段图像所对应的候选完整资源的步骤103中，根据查找的位置可以包括以下子步骤： 

根据粗略片段信息在自建的搜索引擎和资源库中搜索候选完整资源； 

如果在自建的搜索引擎和资源库中搜索不到候选完整资源，则调用第三方搜索的接口。 

当查找完整资源时，可以通过URI或者API调用第三方搜索，也可基于开源软件自建搜索引擎。本实施方式中的实现是通过自建一个规模较小搜索引擎(包括资源库)，在自建的搜索引擎查不到结果时，再调用第三方搜索的接口。在本实施方式中第三方搜索包括Google和Twitter站内搜索等，可以理解，在本发明的其他实施方式中，也可以包括其他第三方搜索。 

在根据粗略片段信息查找片段图像所对应的候选完整资源的子步骤中，首先在自建的搜索引擎和资源库中搜索候选完整资源，对于存在于自建搜索引擎和资源库中的候选完整资源，可提高查找的速度。 

优选地，在根据粗略片段信息查找片段图像所对应的候选完整资源的步骤103中，根据查找的条件可以包括以下子步骤： 

判断粗略片段信息中字或单词的词频是否低于预定值； 

去除粗略片段信息中随机的或者词频低于预定值的字或单词。 

查找候选完整资源时，将粗略片段信息中随机的或者词频低于预定值的字或单词去除，可避免某个词被识别错误导致找不到结果的情况。 

优选地，在根据粗略片段信息查找片段图像所对应的候选完整资源的步骤103中，根据查找是否需要登录或者授权，可以包括以下子步骤： 

对候选的完整资源直接进行查找； 

对于需要登录或者授权的候选完整资源，尝试以用户设置的账户访问并进行查找。可以理解，以上三种查找候选完整资源子步骤的方法可以任意组合或者单独进行实施，也就是说，服务器可以根据查找的位置，查找的条件，或者查找是否需要登录或者授权来探索式地执行一次或多次查找，得到一个或多个候选完整资源。此外，查找的位置，查找的条件，或者查找是否需要登录或者授权的顺序并不固定，可以根据具体需要来安排。 

本发明中用图像替代传统的获取网络资源的媒介，例如URI和文字，根据从片段图像中提取的粗略片段信息来获取最终的完整资源，使用户能够更便捷地记录和获取网络资源，提供了良好的用户体验。 

本发明第二实施方式涉及一种根据片段图像获取最终的完整资源的方法。 

第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于： 

首先，在根据粗略片段信息查找片段图像所对应的候选完整资源的步骤103之后，还包括步骤： 

迭代地比对粗略片段信息和候选完整资源，并根据比对结果利用候选完整资源对粗略片段信息进行修正，根据修正后得到的片段信息查找更小范围的候选完整资源。 

迭代地比对粗略片段信息和候选完整资源，并根据比对结果对粗略片 段信息进行修正，能够使搜索到的完整资源更精确。 

其次，在根据候选完整资源确定最终的完整资源的步骤104之后，还包括步骤： 

在服务器中存储最终的完整资源。 

可以理解，对于服务器端最终的完整资源可能会丢失的情况，存储最终的完整资源保证了完整资源长时间的可用性。 

此外，可以理解，在本发明的其他实施方式中，此步骤并不是必须的，例如对于自建资源库中的资源，则可以只存储相关信息，而不是最终的完整资源。也可以将最终的完整资源发送到客户端中存储。 

最后，在根据候选完整资源确定最终的完整资源的步骤104之后，还包括以下步骤： 

在客户端的显示屏上显示最终的完整资源； 

从客户端的输入装置接收表示对最终的完整资源判断结果的输入，并根据该输入修改提取粗略片段信息的方法和/或查找候选完整资源的方法。 

根据客户端反馈的表示对最终的完整资源判断结果的信息，对提取粗略片段信息的方法和/或查找候选完整资源的方法做相应修正，可提高准确率。 

本发明第三实施方式涉及一种智能移动终端上收藏阅读的方法，图2是该智能移动终端上收藏阅读的方法的流程示意图。 

具体地说，该智能移动终端上收藏阅读的方法包括以下步骤： 

在步骤201中，自动扫描图像库，从中筛选出片段图像，并通过图像识别从筛选出的片段图像中提取得到粗略片段信息，该粗略片段信息包括从片段图像中被识别出的至少两个字或单词。 

此后进入步骤202，根据粗略片段信息查找片段图像所对应的阅读资源作为候选完整资源。 

此后进入步骤203，根据候选完整资源确定最终的完整资源，其中，如果候选完整资源的数量多于1个，则从各候选完整资源中选择一个最接近的作为最终的完整资源。 

此后结束此流程。 

优选地，在上文所述的自动扫描图像库，从中筛选出片段图像的步骤201中，所述图像库中的片段图像以截屏图像为主要来源； 

相应地，在所述自动扫描图像库，从中筛选出片段图像的步骤201之前，还包括以下步骤： 

智能移动终端检测到截屏信号时，获取显示屏上当前显示的阅读内容的截屏图像作为片段图像，该片段图像是以图像形式展示的最终的完整资源的至少一部分； 

将截屏所得到的片段图像存储在智能移动终端的操作系统指定的图像库中。由于截屏操作是被所有主流设备和平台支持的操作，不受前端应用的限制，省去了用户在不同的应用里找各自不同位置的收藏按钮的学习成本；可以通过读取系统维护的存储空间中的所有截屏图像，将不同前端应用中的收藏集中到该收藏阅读应用中；同时可以连续截屏，不需要在应用间来回切换。 

可以理解，上述两个优选的步骤是由操作系统完成，而不是由收藏阅读的应用完成。此外，在本发明智能移动终端上收藏阅读的方法中，上述两个步骤并不是必要的。在本发明的其他实施方式中，图像库中片段图像除了以截屏图像作为来源外，该收藏阅读应用的输入也可以是拍照所得的照片。 

优选地，在从片段图像中提取得到粗略片段信息的步骤201中，粗略片 段信息包括以下之一或其任一组合： 

前端应用名称和类型，前端应用界面是否匹配已知模式，文字，链接，文字资源的来源网站，标题，时间戳，作者。 

优选地，在从片段图像中提取得到粗略片段信息的步骤201之后，还包括以下步骤： 

判断粗略片段信息的类别，类别包括文章的部分，论坛帖子的部分，社交网络帖子的全部或部分，文章引言； 

确定查找和获取候选完整资源的方式。 

此外，可以理解，针对片段资源类别是文章引言的，还需判断是否需要进一步跟进某个链接才能获取最终的完整资源。 

查找和获取文字资源的方式包括如第一实施方式中所阐述的查找位置，查找条件，是否需要登录或授权等。 

优选地，在上文所述的智能移动终端检测到截屏信号时，获取显示屏上当前显示的阅读内容的截屏图像作为片段图像的步骤之前，还包括步骤： 

收藏阅读的应用请求读取图像库的权限； 

在上文所述的自动扫描图像库的步骤201中，在用户打开所述收藏阅读应用之前，该收藏阅读应用在后台自动检测是否有新的截屏。 

在本实施方式中，在得到读取图像库的权限的条件下，阅读收藏应用获取片段图像就可以实现自动检测和筛选，不需要等待用户打开该阅读收藏应用，它争取合适的时机自动检测到新的截屏图像，初筛出有足够信息的，进行分析查找完整资源。 

此外，可以理解，在本发明的其他实施方式中，除了自动检测和筛选片段图像，也支持手动选择片段图像。 

核心的用户体验主要包括以下四个步骤： 

1.在第一次启动App时请求读取本地照片的权限； 

2.用户在使用任何前端应用时截屏； 

3.不用等用户打开该阅读收藏应用，它争取合适的时机自动检测到新的截屏，初筛出有足够信息的，进行分析并获取完整资源(Web文章)； 

4.用户打开该阅读收藏应用时，获取的文章已经都在列表里，点击即可阅读。在该步骤中，用户可以看到之前收藏阅读应用获取的比如100张片段图像所对应的完整资源的结果，而不用每输入一张片段图像，就得等待分析查找该张片段图像所对应的结果，也就是说收藏阅读应用对片段图像进行分析查找，以及用户对最终的完整资源进行查询这两个过程是异步的。且列表中每一个片段图像所对应的最终的完整资源是明确的，不需要用户进行选择。 

本发明第四实施方式涉及一种智能移动终端上收藏阅读的方法，第四实施方式在第三实施方式的基础上进行了改进，主要改进之处在于： 

首先，在自动扫描图像库，从中筛选出片段图像，并通过图像识别从筛选出的片段图像中提取得到粗略片段信息的步骤201中，根据以下任一项或其任一组合筛选出片段图像：图像元数据，小部分区域特征，图像整体特征。 

其中，图像元数据不需要解码像素信息即可读出的图像文件基本属性，图像文件基本属性包括像素分辨率、创建时间、文件尺寸等。 

小部分区域特征主要是通过识别图像顶部是否有状态栏以及电池图标来判断是否可能是手机截屏。 

图像整体特征则通过图像分辨率尺寸判断是否可能是手机截屏。通过查看图像整体的颜色直方图判断是否有大段文字。 

其次，在自动扫描图像库，从中筛选出片段图像，并通过图像识别从筛选出的片段图像中提取得到粗略片段信息的步骤201中，在提取得到粗略片段信息的步骤之前，还包括步骤： 

对片段图像进行预处理，预处理包括识别和提取包含有效信息的区域，对文字区域做黑白二值化处理，以及进行压缩。 

片段图像在客户端进行预处理后上传到服务器，有效降低上传的数据量和服务器的运算负担。 

最后，在自动扫描图像库，从中筛选出片段图像，并通过图像识别从筛选出的片段图像中提取得到粗略片段信息的步骤201中，图像识别采用OCR文字识别。 

文字识别(Optical Character Recognition，简称“OCR”)。OCR是本发明中图像分析的重要组成部分。本领域有相对成熟的OCR方案，比如以英文OCR为主的Tesseract和汉王科技的中文OCR方案。本发明的OCR实现基于业界相对成熟的方案。 

本发明第五实施方式涉及一种智能移动终端上收藏阅读的方法，第五实施方式在第四实施方式的基础上进行了改进，主要改进之处在于： 

在根据候选完整资源确定最终的完整资源的步骤203之后，还包括以下步骤： 

还原和记录片段信息与最终的完整资源之间的关系，关系包括位置关系； 

将最终的完整资源以友好的格式呈现给用户，并且突出显示片段信息。 

可以理解，友好的格式包括自动滑动到片段信息的位置使用户能接着上次的位置继续阅读，和/或选中片段信息。 

还原和记录片段信息与最终的完整资源之间的关系并将最终的完整资源以友好的格式呈现给用户，提供了更好的用户体验。 

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable Array Logic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。 

本发明第六实施方式涉及一种根据片段图像获取最终的完整资源的系统，图3是该根据片段图像获取最终的完整资源的系统的结构示意图。 

具体地说，该根据片段图像获取最终的完整资源的系统包括： 

片段图像获取模块，用于获取片段图像，片段图像是以图像形式展示的最终的完整资源的至少一部分。片段图像的具体形式可以为用户在手机浏览器里看一篇文章时的截屏、由文章自动生成的被分享到微博中的图像、看书时某一页的拍照记录或者选择的已有图像。 

可以理解，获取片段图像的方式包括拍照，截图等。 

提取模块，用于通过图像识别从片段图像中提取得到粗略片段信息，该粗略片段信息包括从片段图像中被识别出的至少两个字或单词。粗略片段信息的具体形式可以包括正文、标题、图标和网址等。 

查找模块，用于根据粗略片段信息查找片段图像所对应的候选完整资 源。 

最终完整资源确定模块，用于根据候选完整资源确定最终的完整资源，其中，如果候选完整资源的数量多于1个，则从各候选完整资源中选择一个最接近的作为最终的完整资源。 

最终的完整资源可以为完整的可以用URI识别的web资源。 

优选地，查找模块包括以下子模块： 

自建查找子模块，用于根据粗略片段信息在自建的搜索引擎和资源库中搜索候选完整资源； 

第三方查找子模块，用于如果在自建的搜索引擎和资源库中搜索不到候选完整资源时，调用第三方搜索的接口。 

此外，可以理解，第三方搜索包括Google和Twitter站内搜索等。 

对于存在于自建搜索引擎和资源库中的最终的完整资源，可提高查找的速度。可避免某个词被识别错误导致找不到结果的情况。 

优选地，查找模块包括以下子模块： 

词频判断子模块，用于判断粗略片段信息中字或单词的词频是否低于预定值； 

删减子模块，用于去除粗略片段信息中随机的或者词频低于预定值的字或单词。 

优选地，查找模块包括以下子模块： 

直接查找子模块，用于对候选的完整资源直接进行查找； 

登陆查找子模块，用于对需要登录或者授权的候选完整资源，尝试以用户设置的账户访问并进行查找。 

本发明中用图像替代传统的获取网络资源的媒介，例如URI和文字，根 据从片段图像中提取的粗略片段信息来获取最终的完整资源，使用户能够更便捷地记录和获取网络资源，提供了良好的用户体验。 

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。 

本发明第七实施方式涉及一种根据片段图像获取最终的完整资源的系统，第七实施方式在第六实施方式的基础上进行了改进，主要改进之处在于： 

首先，还包括迭代比对修正模块，用于在查找模块查找到片段图像所对应的候选完整资源之后，迭代地比对粗略片段信息和候选完整资源，并根据比对结果利用候选完整资源对粗略片段信息进行修正，根据修正后得到的片段信息查找更小范围的候选完整资源。 

迭代地比对粗略片段信息和候选完整资源，并根据比对结果对粗略片段信息进行修正，能够使搜索到的完整资源更精确。 

其次，还包括存储模块，用于在确定最终的完整资源之后，在服务器中存储最终的完整资源。 

对于服务器端最终的完整资源可能会丢失的情况，存储最终的完整资源保证了资源长时间的可用性。 

此外，可以理解，在本发明的其他实施方式中，此模块并不是必须的，例如对于自建资源库中的资源，则可以只存储相关信息，而不是最终的完整资源。 

最后，还包括以下模块： 

显示模块，用于在客户端的显示屏上显示最终的完整资源。 

修正模块，用于从客户端的输入装置接收表示对最终的完整资源判断结果的输入，并根据该输入修改提取粗略片段信息的方法和/或查找候选完整资源的方法。 

根据客户端反馈的表示对最终的完整资源判断结果的信息，对提取粗略片段信息的方法和/或查找候选完整资源的方法做相应修正，可提高准确率。 

第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。 

本发明第八实施方式涉及一种智能移动终端上收藏阅读的系统，图4是该智能移动终端上收藏阅读的系统的结构示意图。 

具体地说，该智能移动终端上收藏阅读的系统包括： 

提取模块，用于在自动扫描图像库并从中筛选出片段图像后，通过图像识别从筛选出的片段图像中提取得到粗略片段信息，该粗略片段信息包括从片段图像中被识别出的至少两个字或单词。 

查找模块，用于根据粗略片段信息查找片段图像所对应的阅读资源作为候选完整资源。 

最终完整资源确定模块，用于根据候选完整资源确定最终的完整资源，其中，如果候选完整资源的数量多于1个，则从各候选完整资源中选择一个最接近的作为最终的完整资源。 

优选地，上文所述的图像库中的片段图像以截屏图像为主要来源，该收藏阅读的系统还包括： 

截屏图像获取模块，用于在智能移动终端检测到截屏信号时，获取显 示屏上当前显示的阅读内容的截屏图像作为片段图像，该片段图像是以图像形式展示的最终的完整资源的至少一部分； 

图像存储模块，用于将截屏所得到的片段图像存储在智能移动终端的操作系统指定的图像库中。 

由于截屏操作是被所有主流设备和平台支持的操作，不受前端应用的限制，省去了用户在不同的应用里找各自不同位置的收藏按钮的学习成本；可以通过读取系统维护的存储空间中的所有截屏图像，将不同前端应用中的收藏集中到该收藏阅读应用中；同时可以连续截屏，不需要在应用间来回切换。 

可以理解，上述两个优选的步骤是由操作系统完成，而不是由收藏阅读的应用完成。此外，在本发明智能移动终端上收藏阅读的方法中，上述两个步骤并不是必要的。此外，可以理解，在本发明的其他实施方式中，图像库中片段图像除了以截屏图像作为来源外，该收藏阅读应用的输入也可以是拍照所得的照片。优选地，该智能移动终端上收藏阅读的系统还包括预处理模块，用于对片段图像进行预处理，预处理包括识别和提取包含有效信息的区域，对文字区域做黑白二值化处理，以及进行压缩。 

片段图像在客户端进行预处理后上传到服务器，有效降低上传的数据量和服务器的运算负担。 

优选地，该智能移动终端上收藏阅读的系统还包括以下模块： 

关系还原记录模块，用于还原和记录片段信息与最终的完整资源之间的关系，关系包括位置关系； 

呈现模块，用于将最终的完整资源以友好的格式呈现给用户，并且突出显示片段信息。 

友好的格式包括自动滑动到片段信息的位置使用户能接着上次的位置 继续阅读，和/或选中片段信息 

还原和记录片段信息与最终的完整资源之间的关系并将最终的完整资源以友好的格式呈现给用户，提供了更好的用户体验。 

作为优选例，如图5所示为智能移动终端上收藏阅读应用的界面，为用户提供了友好的格式。具体地说，如图5所示，在使用该收藏阅读应用的不同阶段，分别会出现如图所示的界面a，界面b，界面c，界面d。 

其中，界面a中可以设置是否打开自动分析新截屏这一功能，如果设置为打开，则阅读收藏应用获取片段图像就可以实现自动检测和筛选，不需要等待用户打开该阅读收藏应用，它争取合适的时机自动检测到新的截屏图像，初筛出有足够信息的，进行分析查找完整资源。当然，除了自动检测和筛选片段图像，也支持手动导入截屏图像。如果点击界面a中的手动导入键，则会跳转到界面b。 

界面b提供多个截屏图像的缩略图，供用户选择。优选地，用户可选中多个截屏图像。此后点击导入键，则会回到界面a并提示用户正在分析截屏。分析截屏完毕后，选中的截屏所找到的文章以列表形式列出，并配有文章配图。此时点击找到的文章，则进入界面c。 

界面c打开查找到的文章，并优化移动设备阅读体验。此外，在界面c中可以设置字体或者分享该文章，也可以截屏跳转到界面d。 

在界面d中，用户可以反馈文章是否找错了。 

从界面c和d均可以后退到界面a，以阅读其它通过自动分析或手动导入的截屏图像所找到的文章。 

第三、四、五实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第三、四、五实施方式互相配合实施。第三、四、五实施方式中 提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第三、四、五实施方式中。 

需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。 

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。 

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。 

Claims (26)

1.一种根据片段图像获取最终的完整资源的方法，其特征在于，包括步骤：

获取片段图像，该片段图像是以图像形式展示的最终的完整资源的至少一部分；

通过图像识别从所述片段图像中提取得到粗略片段信息，该粗略片段信息包括从片段图像中被识别出的至少两个字或单词；

根据所述粗略片段信息查找所述片段图像所对应的候选完整资源；

根据候选完整资源确定最终的完整资源，其中，如果候选完整资源的数量多于1个，则从各候选完整资源中选择一个最接近的作为最终的完整资源。

2.根据权利要求1所述的根据片段图像获取最终的完整资源的方法，其特征在于，在所述根据粗略片段信息查找所述片段图像所对应的候选完整资源的步骤中，包括以下子步骤：

根据所述粗略片段信息在自建的搜索引擎和资源库中搜索候选完整资源；

如果在自建的搜索引擎和资源库中搜索不到候选完整资源，则调用第三方搜索的接口。

3.根据权利要求1所述的根据片段图像获取最终的完整资源的方法，其特征在于，在所述根据粗略片段信息查找所述片段图像所对应的候选完整资源的步骤中，包括以下子步骤：

判断粗略片段信息中字或单词的词频是否低于预定值；

去除粗略片段信息中随机的或者词频低于预定值的字或单词。

4.根据权利要求1所述的根据片段图像获取最终的完整资源的方法，其特征在于，在所述根据粗略片段信息查找所述片段图像所对应的候选完整资源的步骤中，包括以下子步骤：

对候选的完整资源直接进行查找；

对于需要登录或者授权的候选完整资源，尝试以用户设置的账户访问并进行查找。

5.根据权利要求1所述的根据片段图像获取最终的完整资源的方法，其特征在于，在所述根据所述粗略片段信息查找到所述片段图像所对应的候选完整资源的步骤之后，还包括步骤：

迭代地比对所述粗略片段信息和所述候选完整资源，并根据比对结果利用候选完整资源对粗略片段信息进行修正，根据修正后得到的片段信息查找更小范围的候选完整资源。

6.根据权利要求1所述的根据片段图像获取最终的完整资源的方法，其特征在于，在所述根据候选完整资源确定最终的完整资源的步骤之后，还包括步骤：

在服务器中存储最终的完整资源。

7.根据权利要求1所述的根据片段图像获取最终的完整资源的方法，其特征在于，在所述根据候选完整资源确定最终的完整资源的步骤之后，还包括步骤：

在客户端的显示屏上显示最终的完整资源；

从客户端的输入装置接收表示对最终的完整资源判断结果的输入，并根据该输入修改所述提取粗略片段信息的方法和/或查找候选完整资源的方法。

8.一种智能移动终端上收藏阅读的方法，其特征在于，包括以下步骤：

自动扫描图像库，从中筛选出片段图像，并通过图像识别从所述筛选出的片段图像中提取得到粗略片段信息，该粗略片段信息包括从片段图像中被识别出的至少两个字或单词；

根据所述粗略片段信息查找所述片段图像所对应的阅读资源作为候选完整资源；

根据候选完整资源确定最终的完整资源，其中，如果候选完整资源的数量多于1个，则从各候选完整资源中选择一个最接近的作为最终的完整资源。

9.根据权利要求8所述的智能移动终端上收藏阅读的方法，其特征在于，在所述自动扫描图像库，从中筛选出片段图像的步骤中，所述图像库中的片段图像以截屏图像为主要来源；

在所述自动扫描图像库，从中筛选出片段图像的步骤之前，还包括以下步骤：智能移动终端检测到截屏信号时，获取显示屏上当前显示的阅读内容的截屏图像作为片段图像，该片段图像是以图像形式展示的最终的完整资源的至少一部分；

将截屏所得到的片段图像存储在智能移动终端的操作系统指定的图像库中。

10.根据权利要求8所述的智能移动终端上收藏阅读的方法，其特征在于，在所述从片段图像中提取得到粗略片段信息的步骤中，所述粗略片段信息包括以下之一或其任一组合：

前端应用名称和类型，前端应用界面是否匹配已知模式，文字，链接，文字资源的来源网站，标题，时间戳，作者；

在所述从片段图像中提取得到粗略片段信息的步骤之后，还包括以下步骤：

判断粗略片段信息的类别，所述类别包括文章的部分，论坛帖子的部分，社交网络帖子的全部或部分，文章引言；

确定查找和获取候选完整资源的方式。

11.根据权利要求8所述的智能移动终端上收藏阅读的方法，其特征在于，在所述自动扫描图像库，从中筛选出片段图像的步骤中，根据以下任一项或其任一组合筛选出片段图像：

图像元数据，所述图像元数据不需要解码像素信息即可读出的图像文件基本属性；

小部分区域特征；

图像整体特征。

12.根据权利要求9所述的智能移动终端上收藏阅读的方法，其特征在于，在所述智能移动终端检测到截屏信号时，获取显示屏上当前显示的阅读内容的截屏图像作为片段图像的步骤之前，还包括步骤：收藏阅读的应用请求读取所述图像库的权限；

在所述自动扫描图像库的步骤中，在用户打开所述收藏阅读的应用之前，该收藏阅读的应用在后台自动检测是否有新的截屏。

13.根据权利要求8所述的智能移动终端上收藏阅读的方法，其特征在于，在所述通过图像识别从所述片段图像中提取得到粗略片段信息的步骤之前，还包括步骤：

对所述片段图像进行预处理，所述预处理包括识别和提取包含有效信息的区域，对文字区域做黑白二值化处理，以及进行压缩。

14.根据权利要求8所述的智能移动终端上收藏阅读的方法，其特征在于，在所述根据候选完整资源确定最终的完整资源的步骤之后，还包括以下步骤：

还原和记录片段信息与最终的完整资源之间的关系，所述关系包括位置关系；

将最终的完整资源以友好的格式呈现给用户，并且突出显示片段信息；

所述友好的格式包括自动滑动到片段信息的位置使用户能接着上次的位置继续阅读，和/或选中所述片段信息。

15.根据权利要求8至14中任一项所述的智能移动终端上收藏阅读的方法，其特征在于，在所述通过图像识别从所述片段图像中提取得到粗略片段信息的步骤中，所述图像识别为OCR文字识别。

16.一种根据片段图像获取最终的完整资源的系统，其特征在于，包括：

片段图像获取模块，用于获取片段图像，所述片段图像是以图像形式展示的最终的完整资源的至少一部分；

提取模块，用于通过图像识别从所述片段图像中提取得到粗略片段信息，该粗略片段信息包括从片段图像中被识别出的至少两个字或单词；

查找模块，用于根据所述粗略片段信息查找所述片段图像所对应的候选完整资源；

最终完整资源确定模块，用于根据候选完整资源确定最终的完整资源，其中，如果候选完整资源的数量多于1个，则从各候选完整资源中选择一个最接近的作为最终的完整资源。

17.根据权利要求16所述的根据片段图像获取最终的完整资源的系统，其特征在于，所述查找模块包括以下子模块：

自建查找子模块，用于根据所述粗略片段信息在自建的搜索引擎和资源库中搜索候选完整资源；

第三方查找子模块，用于如果在自建的搜索引擎和资源库中搜索不到候选完整资源时，调用第三方搜索的接口。

18.根据权利要求16所述的根据片段图像获取最终的完整资源的系统，其特征在于，所述查找模块包括以下子模块：

词频判断子模块，用于判断粗略片段信息中字或单词的词频是否低于预定值；

删减子模块，用于去除粗略片段信息中随机的或者词频低于预定值的字或单词。

19.根据权利要求16所述的根据片段图像获取最终的完整资源的系统，其特征在于，所述查找模块包括以下子模块：

直接查找子模块，用于对候选的完整资源直接进行查找；

登陆查找子模块，对于需要登录或者授权的候选完整资源，尝试以用户设置的账户访问并进行查找。

20.根据权利要求16所述的根据片段图像获取最终的完整资源的系统，其特征在于，还包括迭代比对修正模块，用于在所述查找模块查找到所述片段图像所对应的候选完整资源之后，迭代地比对所述粗略片段信息和所述候选完整资源，并根据比对结果利用候选完整资源对粗略片段信息进行修正，根据修正后得到的片段信息查找更小范围的候选完整资源。

21.根据权利要求16所述的根据片段图像获取最终的完整资源的系统，其特征在于，还包括存储模块，用于在确定最终的完整资源之后，在服务器中存储最终的完整资源。

22.根据权利要求16所述的根据片段图像获取最终的完整资源的系统，其特征在于，还包括以下模块：

显示模块，用于在客户端的显示屏上显示最终的完整资源；

修正模块，用于从客户端的输入装置接收表示对最终的完整资源判断结果的输入，并根据该输入修改所述提取粗略片段信息的方法和/或查找候选完整资源的方法。

23.一种智能移动终端上收藏阅读的系统，其特征在于，包括：

提取模块，用于在自动扫描图像库并从中筛选出片段图像后，通过图像识别从所述筛选出的片段图像中提取得到粗略片段信息，该粗略片段信息包括从片段图像中被识别出的至少两个字或单词；

查找模块，用于根据所述粗略片段信息查找所述片段图像所对应的阅读资源作为候选完整资源；

最终完整资源确定模块，用于根据候选完整资源确定最终的完整资源，其中，如果候选完整资源的数量多于1个，则从各候选完整资源中选择一个最接近的作为最终的完整资源。

24.根据权利要求23所述的智能移动终端上收藏阅读的系统，其特征在于，在所述提取模块中，所述图像库中的片段图像以截屏图像为主要来源，所述收藏阅读的系统还包括：

截屏图像获取模块，用于在智能移动终端检测到截屏信号时，获取显示屏上当前显示的阅读内容的截屏图像作为片段图像，该片段图像是以图像形式展示的最终的完整资源的至少一部分；

图像存储模块，用于将截屏所得到的片段图像存储在智能移动终端的操作系统指定的图像库中。

25.根据权利要求23所述的智能移动终端上收藏阅读的系统，其特征在于，还包括：

预处理模块，用于对所述片段图像进行预处理，所述预处理包括识别和提取包含有效信息的区域，对文字区域做黑白二值化处理，以及进行压缩。

26.根据权利要求23所述的智能移动终端上收藏阅读的系统，其特征在于，还包括以下模块：

关系还原记录模块，用于还原和记录片段信息与最终的完整资源之间的关系，所述关系包括位置关系；

呈现模块，用于将最终的完整资源以友好的格式呈现给用户，并且突出显示片段信息；

所述友好的格式包括自动滑动到片段信息的位置使用户能接着上次的位置继续阅读，和/或选中所述片段信息。