CN105630780A - 网页信息处理方法及装置 - Google Patents
网页信息处理方法及装置 Download PDFInfo
- Publication number
- CN105630780A CN105630780A CN201410582341.4A CN201410582341A CN105630780A CN 105630780 A CN105630780 A CN 105630780A CN 201410582341 A CN201410582341 A CN 201410582341A CN 105630780 A CN105630780 A CN 105630780A
- Authority
- CN
- China
- Prior art keywords
- picture
- content information
- webpage
- information
- chained address
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本公开是关于一种网页信息处理方法及装置,包括:检测待检测网页的网页内容中是否包含有图片信息;当所述网页内容中包含有图片信息时,获取与所述图片信息对应的图片;对所述图片进行识别,得到所述图片内包含的内容信息;判断所述内容信息是否为链接地址;当所述内容信息不为链接地址时,将所述内容信息作为所述待检测网页的文本内容进行存储;当所述内容信息为链接地址时,将与所述内容信息对应的链接地址存储到预设地址库中。该方法可以对网页内容中图片中携带的信息进行进一步的分析,所以在对网页进行抓取和分析时,可以获取到待检测网页更加全面和完整的网页信息,提高对网页进行抓取和分析的效果。
Description
技术领域
本公开涉及网络技术领域,尤其涉及一种网页信息处理方法及装置。
背景技术
目前随着智能终端,例如手机或平板电脑,的普及,用户在向终端输入信息时,不再全部依赖手动输入,而是可以通过语音输入、图像识别输入等多种方式,例如:用户可以通过智能终端上的摄像头扫描二维码图片或银行卡卡号等方式向终端输入对应的信息,这些不依赖手动输入的方式,操作简单、快捷,用户使用非常方便。
为此,网络上许多网页中都加入了二维码图片来代替普通的文字超链接,从而让用户使用手机扫描二维码就可以得到网址并访问。但对于传统网页爬虫系统,在对网页中的信息进行抓取和分析时,一旦碰到网页中包含有图片,通常都不会再做进一步处理,从而无法对采用二维码图片代表的链接进行爬取和分析,导致对于这些加入二维码图片的网页的信息进行抓取和分析时,会出网页信息遗漏、不完整的问题。
发明内容
为克服相关技术中存在的问题,本公开提供一种网页信息处理方法及装置。
根据本公开实施例的第一方面,提供一种网页信息处理方法,包括:
检测待检测网页的网页内容中是否包含有图片信息;
当所述网页内容中包含有图片信息时,获取与所述图片信息对应的图片;
对所述图片进行识别,得到所述图片内包含的内容信息;
判断所述内容信息是否为链接地址;
当所述内容信息不为链接地址时,将所述内容信息作为所述待检测网页的文本内容进行存储;
当所述内容信息为链接地址时,将与所述内容信息对应的链接地址存储到预设地址库中。
结合第一方面,在第一方面第一种可能的实现方式中,所述方法还包括:
判断所述图片是否为预设图片类型;
当所述图片为预设图片类型时,确定与所述预设图片类型对应的识别方式,并将所述识别方式作为对所述图片进行识别所采用的识别方式。
结合第一方面第一种可能的实现方式,在第一方面第二种可能的实现方式中,所述判断所述图片是否为预设图片类型,包括:
判断所述图片内是否包含有预设图片特征;当所述图片内包含有预设图片特征时,确定所述图片为预设图片类型;
或者,
判断所述图片的名称中是否包含预设字符特征;当所述图片的名称中包含有预设字符特征时,确定所述图片为预设图片类型。
结合第一方面第一种可能的实现方式,在第一方面第三种可能的实现方式中,所述对所述图片进行识别,得到所述图片内包含的内容信息,包括:
调用与所述预设识别方式对应的识别程序;
利用所述识别程序对所述图片进行识别,得到所述图片内包含的内容信息。
结合第一方面,在第一方面第四种可能的实现方式中,所述检测待检测网页的网页内容中是否包含有图片信息,包括:
从预设地址库获取待检测网页的链接地址;
利用所述链接地址,获取所述待检测网页所有的网页内容;
判断所述网页内容中是否包含有图片链接地址;
当所述网页内容中包含有图片链接地址时,确定所述网页内容中包含有图片信息。
根据本公开实施例的第二方面,提供一种网页信息处理装置,包括:
图片信息检测模块,用于检测待检测网页的网页内容中是否包含有图片信息;
图片获取模块,用于当所述网页内容中包含有图片信息时,获取与所述图片信息对应的图片;
图片识别模块,用于对所述图片进行识别,得到所述图片内包含的内容信息;
内容信息判断模块,用于判断所述内容信息是否为链接地址;
第一存储模块,用于当所述内容信息不为链接地址时,将所述内容信息作为所述待检测网页的文本内容进行存储;
第二存储模块,用于当所述内容信息为链接地址时,将与所述内容信息对应的链接地址存储到预设地址库中。
结合第二方面,在第二方面第一种可能的实现方式中,所述装置还包括:
图片类型判断模块,用于判断所述图片是否为预设图片类型;
识别方式确定模块,用于当所述图片为预设图片类型时,确定与所述预设图片类型对应的识别方式,并将所述识别方式作为对所述图片进行识别所采用的识别方式。
结合第二方面第一种可能的实现方式,在第二方面第二种可能的实现方式中,所述图片类型判断模块,包括:
图片特征判断子模块,用于判断所述图片内是否包含有预设图片特征;第一确定子模块,用于当所述图片内包含有预设图片特征时,确定所述图片为预设图片类型;
或者,
字符特征判断子模块,用于判断所述图片的名称中是否包含预设字符特征;第二确定子模块,用于当所述图片的名称中包含有预设字符特征时,确定所述图片为预设图片类型。
结合第二方面第一种可能的实现方式,在第二方面第三种可能的实现方式中,所述图片识别模块,包括:
调用子模块,用于调用与所述预设识别方式对应的识别程序;
识别子模块,用于利用所述识别程序对所述图片进行识别,得到所述图片内包含的内容信息。
结合第二方面,在第二方面第四种可能的实现方式中,所述图片信息检测模块,包括:
链接地址获取子模块,用于从预设地址库获取待检测网页的链接地址;
网页内容获取子模块,用于利用所述链接地址,获取所述待检测网页所有的网页内容;
链接地址判断子模块,用于判断所述网页内容中是否包含有图片链接地址;
图片信息确定子模块,用于当所述网页内容中包含有图片链接地址时,确定所述网页内容中包含有图片信息。
根据本公开实施例的第三方面,提供一种终端,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
检测待检测网页的网页内容中是否包含有图片信息;
当所述网页内容中包含有图片信息时,获取与所述图片信息对应的图片;
对所述图片进行识别,得到所述图片内包含的内容信息;
判断所述内容信息是否为链接地址;
当所述内容信息不为链接地址时,将所述内容信息作为所述待检测网页的文本内容进行存储;
当所述内容信息为链接地址时,将与所述内容信息对应的链接地址存储到预设地址库中。
根据本公开实施例的第四方面,提供一种服务器,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
检测待检测网页的网页内容中是否包含有图片信息;
当所述网页内容中包含有图片信息时,获取与所述图片信息对应的图片;
对所述图片进行识别,得到所述图片内包含的内容信息;
判断所述内容信息是否为链接地址;
当所述内容信息不为链接地址时,将所述内容信息作为所述待检测网页的文本内容进行存储;
当所述内容信息为链接地址时,将与所述内容信息对应的链接地址存储到预设地址库中。
本公开的实施例提供的技术方案可以包括以下有益效果:
该网页信息处理方法,在对网页进行抓取和分析时,不再局限于网页中包含的字符内容,而是可以对网页中包含的图片中携带的信息进行分析,当网页内包含的图片中携带有链接地址时,可以提取该链接地址,以便后续可以对该链接地址对应的网页进行进一步的抓取和分析。
与相关技术相比,该方法不仅可以得到抓取和分析到网页内容中表面的字符内容,而且可以对网页内容中图片中携带的信息进行进一步的分析,所以在对网页进行抓取和分析时,可以获取到待检测网页更加全面和完整的网页信息,提高对网页进行抓取和分析的效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种网页信息处理方法的流程图。
图2是图1中步骤S101的流程示意图。
图3为本公开实施例提供的一种场景示意图。
图4为本公开实施例提供的一种网页实例图。
图5是根据一示例性实施例示出的一种网页信息处理方法的流程图。
图6是根据一示例性实施例示出的一种网页信息处理装置框图。
图7是根据一示例性实施例示出的另一种网页信息处理装置框图。
图8是根据一示例性实施例示出的一种终端的框图。
图9是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种网页信息处理方法的流程图,如图1所示,该网页信息处理方法可以用于计算机或服务器中,包括以下步骤。
在步骤S101中,检测待检测网页的网页内容中是否包含有图片信息。
在网页爬虫系统对网页进行抓取和分析时,通常会建立一个预设地址库,用于存储从网页上得到的链接地址,进而当对某一个网页上的文本内容分析完成后,还会继续对预设地址库中、与该网页上的链接地址所对应的网页进行进一步抓取,从而可以使得网页爬虫系统抓取到更多、更完整的网页地址和内容,提高爬虫抓取的深度。
在本公开实施例提供,如图2所示,该步骤S101可以包括以下步骤:
在步骤S1011中,从预设地址库获取待检测网页的链接地址。
对于网页爬虫系统而言,所有需要检测的网页的链接地址,都存储在该预设地址库中。在对预设地址库中的链接地址对应的网页进行抓取个分析时,可以逐一将预设地址库中的链接地址对应的网页作为待检测网页,也可以根据链接地址之间的关系,有选择地将预设地址库中的某一链接地址对应的网页作为待检测网页。
在步骤S1012中,利用所述链接地址,获取所述待检测网页所有的网页内容。
图3为本公开实施例提供的一种场景示意图。图中包括:终端1、本地服务器2和多个网络服务器3,其中,终端1可以为计算机,网页爬虫系统可以运行在终端1或本地服务器2上,终端1和本地服务器2可以通过互联网与任意一个网络服务器3之间进行数据交互。
下面以网页爬虫系统运行在本地服务器2上为例,相应地预设地址库可以存在本地服务器2上。当本地服务器2上的网页爬虫系统需要对网页A进行抓取和分析时,首先根据网页A的链接地址从一个或多个网络服务器3中将网页A的网页内容下载到本地服务器2中。
在步骤S1013中,判断所述网页内容中是否包含有图片链接地址。
检测图片信息的方式有很多,在该步骤中,采用判断是否有图片链接地址的方式来进行判断,图片链接具有其特定的格式,例如:
http://ecma.bdimg.com/lego-mat/616c40b6bb30ff5541e7f790140706ce_259_194.jpg,或者,http://www.baidu.com/img/bdlogo.png,
其中,最后的“.jpg”或“.png”就可以确定该网页内容中有图片链接地址。
当然,在本公开其它实施例中,还可以通过对网页内容源代码中的样式进行分析,判断源代码中是否有占有面积较大的元素,同样可以判断网页内容中是否包含有图片信息。另外,通过源代码的方式判断有图片信息后,还需要进一步确定图片信息对应的链接地址。所以,上述采用链接地址以及源代码中元素等方式还可以结合起来,一起来检测网页内容中是否包含有图片信息。
当所述网页内容中包含有图片链接地址时,在步骤S1014中,确定所述网页内容中包含有图片信息。否则,结束。
当所述网页内容中包含有图片信息时,在步骤S102中,获取与所述图片信息对应的图片。否则,结束流程。
参见上述步骤S1013中的描述,当确定网页内容中有图片信息时,在该步骤中,可以先获取与图片信息对应的链接地址,进而本地服务器2可以通过图片信息对应的链接地址,从一个或多个网络服务器3中下载与图片信息对应的图片。
在步骤S103中,对所述图片进行识别,得到所述图片内包含的内容信息。
在本公开实施例中,图片可以为二维码图片,也可以为其它带有信息的图片,例如:条形码等。在识别时,可以根据不同的图片选择不同的识别方式,对于二维码图片,可以采用二维码识别程序,对于其它图片,也可以采用相应的识别程序。在具体应用中,可以预先根据可能遇到的图片种类,集中设置与不同图片种类对应的识别程序。
识别到的图片内包含的内容信息,可能是文字,也可能是链接地址。例如:当图片为包含某人名字或某些宣传信息的二维码图片,相应地,内容信息为人名或宣传信息,当图片为包含有软件下载地址的二维码图片,相应地,内容信息为软件下载地址。
在一个具体实施方式中,该步骤可以包括以下步骤:
01)、调用与所述预设识别方式对应的识别程序;
识别程序可以为二维码识别程序,也可以为其它图像识别程序。
02)、利用所述识别程序对所述图片进行识别,得到所述图片内包含的内容信息。
在步骤S104中,判断所述内容信息是否为链接地址。
当所述内容信息不为链接地址时,在步骤S105中,将所述内容信息作为所述待检测网页的文本内容进行存储。
由于图片内包含的内容信息不为链接地址,所以对图片的抓取和分析就可以直接结束,并且将获取到的内容信息作为待检测网页的文本内容直接存储。如图4所示,图中网页的左侧和右侧包含有两个图片,对于左侧图片,识别到的内容信息应为“中新網”、“chinanews.com”和“梳理天下新闻”。这样对于左侧图片中识别的“中新網”、“chinanews.com”和“梳理天下新闻”,可以直接作为网页的文本内容进行存储。
当所述内容信息为链接地址时,在步骤S106中,将与所述内容信息对应的链接地址存储到预设地址库中。
当所述内容信息为链接地址时,说明网页爬虫系统还可以继续对该链接地址对应的网页进行抓取和分析,所以可以直接将内容信息对应的链接地址存储到预设地址库中,以便于后续可以对该链接地址对应的网页进行抓取和分析。
以图4中右侧图片为例,识别到的内容信息应为“中新網”、“中国新闻网新闻客户端”,以及与二维码图片对应的下载地址,那么与该二维码图片对应的下载地址就可以存储到预设地址库中,以便下次可以对该下载地址对应的下载网页进行抓取和分析。
本公开实施例提供的该网页信息处理方法,在对网页进行抓取和分析时,不再局限于网页中包含的字符内容,而是可以对网页中包含的图片中携带的信息进行分析,当网页内包含的图片中携带有链接地址时,可以提取该链接地址,以便后续可以对该链接地址对应的网页进行进一步的抓取和分析。
与相关技术相比,该方法不仅可以得到抓取和分析到网页内容中表面的字符内容,而且可以对网页内容中图片中携带的信息进行进一步的分析,所以在对网页进行抓取和分析时,可以获取到待检测网页更加全面和完整的网页信息,提高对网页进行抓取和分析的效果。
在图1所述实施例中,无论什么图片都会进行识别,这种对于网页中的图片全部是二维码图片的网页,不会有什么影响,但在实际应用中,如图4的网页,链接地址通常隐藏设置在二维码图片中,而不会单独设置在一个图片中以明文形式存在,并且,在网页中通常会存在大量的新闻图片,那么在利用图1所示实施例提供的方法对网页进行抓取和分析时,会出现大量对新闻图片进行识别的无用工作,导致网页爬虫系统的工作效率降低。
为此,如图5所示,在本公开实施例中,该网页信息处理方法可以包括以下步骤。
在步骤S201中,检测待检测网页的网页内容中是否包含有图片信息。
当所述网页内容中包含有图片信息时,在步骤S202中,获取与所述图片信息对应的图片。否则,结束流程。
在步骤S203中,判断所述图片是否为预设图片类型。
在本公开实施例中,预设图片类型可以包括:二维码图片。在具体判断时,一种方式中,该步骤S203可以包括以下步骤:
11)、判断所述图片内是否包含有预设图片特征。
可以利用识别程序对图片进行识别,例如:二维码识别程序,提取图片中的识别特征,然后再将识别特征与预设特征库进行比较,当识别特征位于预设特征库中时,就可以确定图片内是否包含有预设图片特征。
12)、当所述图片内包含有预设图片特征时,确定所述图片为预设图片类型。
另一种方式中,该步骤S203可以包括以下步骤:
21)、判断所述图片的名称中是否包含预设字符特征。
22)、当所述图片的名称中包含有预设字符特征时,确定所述图片为预设图片类型。
在一种场景中,可以将网页中不同类型的图片进行不同的编号或命名,例如:针对二维码图片,单独采用一套新的的编号或命名,这样,就可以通过图片的名称中是否包含预设字符特征,来确定图片是否为预设图片类型。
当所述图片为预设图片类型时,在步骤S204中,确定与所述预设图片类型对应的识别方式,并将该识别方式作为对所述图片进行识别所采用的识别方式。否则,结束流程。
在步骤S205中,利用所述识别方式对所述图片进行识别,得到所述图片内包含的内容信息。
在步骤S206中,判断所述内容信息是否为链接地址;
当所述内容信息不为链接地址时,在步骤S207中,将所述内容信息作为所述待检测网页的文本内容进行存储;
当所述内容信息为链接地址时,在步骤S208中,将与所述内容信息对应的链接地址存储到预设地址库中。
图6是根据一示例性实施例示出的一种网页信息处理装置框图。参照图6,该装置包括图片信息检测模块11、图片获取模块12、图片识别模块13、内容信息判断模块14、第一存储模块15和第二存储模块16。
该图片信息检测模块11被配置为检测待检测网页的网页内容中是否包含有图片信息;
该图片获取模块12被配置为当所述网页内容中包含有图片信息时,获取与所述图片信息对应的图片;
该图片识别模块13被配置为对所述图片进行识别,得到所述图片内包含的内容信息;
该内容信息判断模块14被配置为判断所述内容信息是否为链接地址;
该第一存储模块15被配置为当所述内容信息不为链接地址时,将所述内容信息作为所述待检测网页的文本内容进行存储;
该第二存储模块16被配置为当所述内容信息为链接地址时,将与所述内容信息对应的链接地址存储到预设地址库中。
本公开实施例提供的该网页信息处理装置,在对网页进行抓取和分析时,不再局限于网页中包含的字符内容,而是可以对网页中包含的图片中携带的信息进行分析,当网页内包含的图片中携带有链接地址时,可以提取该链接地址,以便后续可以对该链接地址对应的网页进行进一步的抓取和分析。
与相关技术相比,该装置不仅可以得到抓取和分析到网页内容中表面的字符内容,而且可以对网页内容中图片中携带的信息进行进一步的分析,所以在对网页进行抓取和分析时,可以获取到待检测网页更加全面和完整的网页信息,提高对网页进行抓取和分析的效果。
如图7所示,在上述图6所示实施例的基础上,该装置还可以包括:图片类型判断模块17和识别方式确定模块18。
该图片类型判断模块17被配置为判断所述图片是否为预设图片类型;
该识别方式确定模块18被配置为当所述图片为预设图片类型时,确定与所述预设图片类型对应的识别方式,并将所述识别方式作为对所述图片进行识别所采用的识别方式。
在本公开一个实施例中,图片类型判断模块17可以包括:图片特征判断子模块和第一确定子模块,其中,
该图片特征判断子模块被配置为判断所述图片内是否包含有预设图片特征;该第一确定子模块被配置为当所述图片内包含有预设图片特征时,确定所述图片为预设图片类型。
在本公开另一个实施例中,图片类型判断模块17可以包括:字符特征判断子模块和第二确定子模块,其中,
该字符特征判断子模块被配置为判断所述图片的名称中是否包含预设字符特征;该第二确定子模块被配置为当所述图片的名称中包含有预设字符特征时,确定所述图片为预设图片类型。
在本公开一个实施例中,上述图6所述实施例中的图片识别模块可以包括:调用子模块和识别子模块,其中,
该调用子模块被配置为调用与所述预设识别方式对应的识别程序;
该识别子模块被配置为利用所述识别程序对所述图片进行识别,得到所述图片内包含的内容信息。
在本公开一个实施例中,上述图6所述实施例中的图片信息检测模块可以包括:链接地址获取子模块、网页内容获取子模块、链接地址判断子模块和图片信息确定子模块,其中,
该链接地址获取子模块被配置为从预设地址库获取待检测网页的链接地址;
该网页内容获取子模块被配置为利用所述链接地址,获取所述待检测网页所有的网页内容;
该链接地址判断子模块被配置为判断所述网页内容中是否包含有图片链接地址;
该图片信息确定子模块被配置为当所述网页内容中包含有图片链接地址时,确定所述网页内容中包含有图片信息。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种用于网页信息处理的装置800的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到装置800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端的处理器执行时,使得终端能够执行一种网页信息处理方法,所述方法包括:
检测待检测网页的网页内容中是否包含有图片信息;
当所述网页内容中包含有图片信息时,获取与所述图片信息对应的图片;
对所述图片进行识别,得到所述图片内包含的内容信息;
判断所述内容信息是否为链接地址;
当所述内容信息不为链接地址时,将所述内容信息作为所述待检测网页的文本内容进行存储;
当所述内容信息为链接地址时,将与所述内容信息对应的链接地址存储到预设地址库中。
图9是根据一示例性实施例示出的一种用于网页信息处理的装置1900的框图。例如,装置1900可以被提供为一服务器。参照图9,装置1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行一种网页信息处理方法,所述方法包括:
检测待检测网页的网页内容中是否包含有图片信息;
当所述网页内容中包含有图片信息时,获取与所述图片信息对应的图片;
对所述图片进行识别,得到所述图片内包含的内容信息;
判断所述内容信息是否为链接地址;
当所述内容信息不为链接地址时,将所述内容信息作为所述待检测网页的文本内容进行存储;
当所述内容信息为链接地址时,将与所述内容信息对应的链接地址存储到预设地址库中。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理,一个有线或无线网络接口1950被配置为将装置1900连接到网络,和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统,例如WindowsServerTM,MacOSXTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (12)
1.一种网页信息处理方法,其特征在于,包括:
检测待检测网页的网页内容中是否包含有图片信息;
当所述网页内容中包含有图片信息时,获取与所述图片信息对应的图片;
对所述图片进行识别,得到所述图片内包含的内容信息;
判断所述内容信息是否为链接地址;
当所述内容信息不为链接地址时,将所述内容信息作为所述待检测网页的文本内容进行存储;
当所述内容信息为链接地址时,将与所述内容信息对应的链接地址存储到预设地址库中。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
判断所述图片是否为预设图片类型;
当所述图片为预设图片类型时,确定与所述预设图片类型对应的识别方式,并将所述识别方式作为对所述图片进行识别所采用的识别方式。
3.根据权利要求2所述的方法,其特征在于,所述判断所述图片是否为预设图片类型,包括:
判断所述图片内是否包含有预设图片特征;当所述图片内包含有预设图片特征时,确定所述图片为预设图片类型;
或者,
判断所述图片的名称中是否包含预设字符特征;当所述图片的名称中包含有预设字符特征时,确定所述图片为预设图片类型。
4.根据权利要求2所述的方法,其特征在于,所述对所述图片进行识别,得到所述图片内包含的内容信息,包括:
调用与所述预设识别方式对应的识别程序;
利用所述识别程序对所述图片进行识别,得到所述图片内包含的内容信息。
5.根据权利要求1所述的方法,其特征在于,所述检测待检测网页的网页内容中是否包含有图片信息,包括:
从预设地址库获取待检测网页的链接地址;
利用所述链接地址,获取所述待检测网页所有的网页内容;
判断所述网页内容中是否包含有图片链接地址;
当所述网页内容中包含有图片链接地址时,确定所述网页内容中包含有图片信息。
6.一种网页信息处理装置,其特征在于,包括:
图片信息检测模块,用于检测待检测网页的网页内容中是否包含有图片信息;
图片获取模块,用于当所述网页内容中包含有图片信息时,获取与所述图片信息对应的图片;
图片识别模块,用于对所述图片进行识别,得到所述图片内包含的内容信息;
内容信息判断模块,用于判断所述内容信息是否为链接地址;
第一存储模块,用于当所述内容信息不为链接地址时,将所述内容信息作为所述待检测网页的文本内容进行存储;
第二存储模块,用于当所述内容信息为链接地址时,将与所述内容信息对应的链接地址存储到预设地址库中。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
图片类型判断模块,用于判断所述图片是否为预设图片类型;
识别方式确定模块,用于当所述图片为预设图片类型时,确定与所述预设图片类型对应的识别方式,并将所述识别方式作为对所述图片进行识别所采用的识别方式。
8.根据权利要求7所述的装置,其特征在于,所述图片类型判断模块,包括:
图片特征判断子模块,用于判断所述图片内是否包含有预设图片特征;第一确定子模块,用于当所述图片内包含有预设图片特征时,确定所述图片为预设图片类型;
或者,
字符特征判断子模块,用于判断所述图片的名称中是否包含预设字符特征;第二确定子模块,用于当所述图片的名称中包含有预设字符特征时,确定所述图片为预设图片类型。
9.根据权利要求7所述的装置,其特征在于,所述图片识别模块,包括:
调用子模块,用于调用与所述预设识别方式对应的识别程序;
识别子模块,用于利用所述识别程序对所述图片进行识别,得到所述图片内包含的内容信息。
10.根据权利要求6所述的装置,其特征在于,所述图片信息检测模块,包括:
链接地址获取子模块,用于从预设地址库获取待检测网页的链接地址;
网页内容获取子模块,用于利用所述链接地址,获取所述待检测网页所有的网页内容;
链接地址判断子模块,用于判断所述网页内容中是否包含有图片链接地址;
图片信息确定子模块,用于当所述网页内容中包含有图片链接地址时,确定所述网页内容中包含有图片信息。
11.一种终端,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
检测待检测网页的网页内容中是否包含有图片信息;
当所述网页内容中包含有图片信息时,获取与所述图片信息对应的图片;
对所述图片进行识别,得到所述图片内包含的内容信息;
判断所述内容信息是否为链接地址;
当所述内容信息不为链接地址时,将所述内容信息作为所述待检测网页的文本内容进行存储;
当所述内容信息为链接地址时,将与所述内容信息对应的链接地址存储到预设地址库中。
12.一种服务器,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
检测待检测网页的网页内容中是否包含有图片信息;
当所述网页内容中包含有图片信息时,获取与所述图片信息对应的图片;
对所述图片进行识别,得到所述图片内包含的内容信息;
判断所述内容信息是否为链接地址;
当所述内容信息不为链接地址时,将所述内容信息作为所述待检测网页的文本内容进行存储;
当所述内容信息为链接地址时,将与所述内容信息对应的链接地址存储到预设地址库中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410582341.4A CN105630780A (zh) | 2014-10-27 | 2014-10-27 | 网页信息处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410582341.4A CN105630780A (zh) | 2014-10-27 | 2014-10-27 | 网页信息处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105630780A true CN105630780A (zh) | 2016-06-01 |
Family
ID=56045734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410582341.4A Pending CN105630780A (zh) | 2014-10-27 | 2014-10-27 | 网页信息处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105630780A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106874515A (zh) * | 2017-03-14 | 2017-06-20 | 深圳市博信诺达经贸咨询有限公司 | 网上信息抓取方法及系统 |
CN107180099A (zh) * | 2017-05-17 | 2017-09-19 | 上海爱优威软件开发有限公司 | 一种信息处理方法 |
CN108268488A (zh) * | 2016-12-30 | 2018-07-10 | 百度在线网络技术(北京)有限公司 | 网页主图识别方法和装置 |
CN108595583A (zh) * | 2018-04-18 | 2018-09-28 | 平安科技(深圳)有限公司 | 动态图表类页面数据爬取方法、装置、终端及存储介质 |
CN109523304A (zh) * | 2018-10-22 | 2019-03-26 | 北京奇虎科技有限公司 | 一种广告的预览方法及装置 |
CN109558123A (zh) * | 2018-12-03 | 2019-04-02 | 掌阅科技股份有限公司 | 网页转化电子书的方法、电子设备、存储介质 |
CN109947967A (zh) * | 2017-10-10 | 2019-06-28 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、存储介质和计算机设备 |
CN110413866A (zh) * | 2018-04-27 | 2019-11-05 | 北京搜狗科技发展有限公司 | 数据处理方法和装置、用于数据处理的装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722522A (zh) * | 2012-05-09 | 2012-10-10 | 深圳Tcl新技术有限公司 | 浏览器的导航方法及装置 |
US20120278692A1 (en) * | 2009-12-30 | 2012-11-01 | Huawei Technologies Co., Ltd. | Method, apparatus, and communication system for transmitting graphic information |
CN103218595A (zh) * | 2013-03-29 | 2013-07-24 | 深圳市金立通信设备有限公司 | 一种终端及二维码的识别方法 |
CN103279503A (zh) * | 2013-05-09 | 2013-09-04 | 北京小米科技有限责任公司 | 一种从网页中获取二维码信息的方法及系统 |
CN103678600A (zh) * | 2013-12-13 | 2014-03-26 | 北京奇虎科技有限公司 | 网页数据的处理方法及设备 |
-
2014
- 2014-10-27 CN CN201410582341.4A patent/CN105630780A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120278692A1 (en) * | 2009-12-30 | 2012-11-01 | Huawei Technologies Co., Ltd. | Method, apparatus, and communication system for transmitting graphic information |
CN102722522A (zh) * | 2012-05-09 | 2012-10-10 | 深圳Tcl新技术有限公司 | 浏览器的导航方法及装置 |
CN103218595A (zh) * | 2013-03-29 | 2013-07-24 | 深圳市金立通信设备有限公司 | 一种终端及二维码的识别方法 |
CN103279503A (zh) * | 2013-05-09 | 2013-09-04 | 北京小米科技有限责任公司 | 一种从网页中获取二维码信息的方法及系统 |
CN103678600A (zh) * | 2013-12-13 | 2014-03-26 | 北京奇虎科技有限公司 | 网页数据的处理方法及设备 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108268488A (zh) * | 2016-12-30 | 2018-07-10 | 百度在线网络技术(北京)有限公司 | 网页主图识别方法和装置 |
CN106874515A (zh) * | 2017-03-14 | 2017-06-20 | 深圳市博信诺达经贸咨询有限公司 | 网上信息抓取方法及系统 |
CN107180099A (zh) * | 2017-05-17 | 2017-09-19 | 上海爱优威软件开发有限公司 | 一种信息处理方法 |
CN109947967A (zh) * | 2017-10-10 | 2019-06-28 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、存储介质和计算机设备 |
CN109947967B (zh) * | 2017-10-10 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、存储介质和计算机设备 |
CN108595583A (zh) * | 2018-04-18 | 2018-09-28 | 平安科技(深圳)有限公司 | 动态图表类页面数据爬取方法、装置、终端及存储介质 |
CN110413866A (zh) * | 2018-04-27 | 2019-11-05 | 北京搜狗科技发展有限公司 | 数据处理方法和装置、用于数据处理的装置 |
CN110413866B (zh) * | 2018-04-27 | 2024-02-02 | 北京搜狗科技发展有限公司 | 数据处理方法和装置、用于数据处理的装置 |
CN109523304A (zh) * | 2018-10-22 | 2019-03-26 | 北京奇虎科技有限公司 | 一种广告的预览方法及装置 |
CN109523304B (zh) * | 2018-10-22 | 2024-03-05 | 北京奇虎科技有限公司 | 一种广告的预览方法及装置 |
CN109558123A (zh) * | 2018-12-03 | 2019-04-02 | 掌阅科技股份有限公司 | 网页转化电子书的方法、电子设备、存储介质 |
CN109558123B (zh) * | 2018-12-03 | 2022-09-16 | 掌阅科技股份有限公司 | 网页转化电子书的方法、电子设备、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105630780A (zh) | 网页信息处理方法及装置 | |
CN104021350B (zh) | 隐私信息隐藏方法及装置 | |
CN104159275B (zh) | 网络连接方法及装置 | |
CN106951884A (zh) | 采集指纹的方法、装置及电子设备 | |
CN105528606A (zh) | 区域识别方法及装置 | |
CN105225096A (zh) | 通知提醒消息的处理方法、装置及终端 | |
CN103914523A (zh) | 页面回退控制方法及装置 | |
CN105653276A (zh) | 用于语言设置的方法及装置 | |
CN105912693A (zh) | 网络请求处理方法、网络数据获取方法、装置及服务器 | |
CN104933170A (zh) | 信息展示方法及装置 | |
CN103916829A (zh) | 一种消息的桌面通知方法及装置 | |
CN105809174A (zh) | 识别图像的方法及装置 | |
CN103997567A (zh) | 图形码信息获取方法及装置 | |
CN105487680A (zh) | 用于终端截屏的方法、装置及终端 | |
CN105354017A (zh) | 信息处理方法及装置 | |
CN105630337A (zh) | 控件控制方法及装置 | |
CN104391878A (zh) | 图书检索方法和装置 | |
CN104281703A (zh) | 统一资源定位符url间相似度计算的方法及装置 | |
CN105786944A (zh) | 浏览器自动翻页的处理方法和装置 | |
CN107239207A (zh) | 照片显示方法及装置 | |
CN106130873A (zh) | 信息处理方法及装置 | |
CN105550213A (zh) | 图片浏览方法和装置 | |
CN104216969A (zh) | 阅读标记方法及装置 | |
CN106326260A (zh) | 网页访问方法及装置 | |
CN105320768A (zh) | 搜索方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160601 |
|
RJ01 | Rejection of invention patent application after publication |