CN105302884A - 基于深度学习的网页模式识别方法及视觉结构学习方法 - Google Patents

基于深度学习的网页模式识别方法及视觉结构学习方法 Download PDF

Info

Publication number
CN105302884A
CN105302884A CN201510670711.4A CN201510670711A CN105302884A CN 105302884 A CN105302884 A CN 105302884A CN 201510670711 A CN201510670711 A CN 201510670711A CN 105302884 A CN105302884 A CN 105302884A
Authority
CN
China
Prior art keywords
webpage
source code
text source
degree
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510670711.4A
Other languages
English (en)
Other versions
CN105302884B (zh
Inventor
李志杰
刘丽丽
张作职
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hylanda Information Technology Inc ltd
Original Assignee
Hylanda Information Technology Inc ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hylanda Information Technology Inc ltd filed Critical Hylanda Information Technology Inc ltd
Priority to CN201510670711.4A priority Critical patent/CN105302884B/zh
Publication of CN105302884A publication Critical patent/CN105302884A/zh
Application granted granted Critical
Publication of CN105302884B publication Critical patent/CN105302884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

一种基于深度学习的网页模式识别方法，包括以下步骤：以非格式化文本，网页的超文本标记语言的Text源码作为算法输入；将上述源码进行分词；设计堆叠降噪自动编码器，作为网页的特征学习算法；采用神经网络语言模型对SDAE的输入进行初始化；采用分类算法对通过SDAE学习到的文本特征向量进行分类；将上述分类结果进行输出。一种网页视觉结构学习方法，用机器学习的方法学习HTML的Text源码的结构，并以此学习网页的视觉结构。本发明用自然语言处理的方法处理人工语言，用深度学习的方法及神经网络语言模型对HTML的Text源码进行特征学习，通过本发明可对各类型网站，如博客、论坛、资讯等的网页模式进行精确识别。

Description

基于深度学习的网页模式识别方法及视觉结构学习方法
　　技术领域
本发明涉及互联网的技术领域，具体说是一种基于深度学习的网页模式识别方法及视觉结构学习方法。
背景技术
网页识别是数据采集系统及搜索引擎中的关键步骤。目前，对网页识别大多采取如下方法：人工设定识别规则对网页进行识别或者基于其他非深度学习的机器学习方法对网页进行识别。
但出于自然语言具有高度抽象性，机器对纯文本的模式识别难以获得理想的识别效果。
　　发明内容
本发明要解决的技术问题是提供一种基于深度学习的网页模式识别方法及视觉结构学习方法。
本发明为解决公知技术中存在的技术问题所采取的技术方案是:
本发明的基于深度学习的网页模式识别方法，包括以下步骤：
A、非格式化文本，以网页HTML的Text源码作为算法输入；
B、将上述网页HTML的Text源码进行预处理；
C、设计堆叠降噪自动编码器SDAE，作为网页特征的深度学习算法；采用神经网络语言模型对堆叠降噪自动编码器SDAE的输入进行初始化，上一步骤中得到的输出作为本步骤中神经网络语言模型的输入，得到Text源码的初始特征向量输出，并将此初始特征向量作为堆叠降噪自动编码器SDAE的输入，得到相应网页的特征向量；
D、采用Softmax回归对通过堆叠降噪自动编码器SDAE学习到的文本特征向量进行分类，特征向量的分类结果即为相应网页的识别结果；
E、将上述分类结果进行输出。
本发明还可以采用以下技术措施：
步骤B中，使用Text源码中的HTML语言标签作为原始文本进行机器学习。
步骤B中，使用包含所有自然语言内容及HTML语言标签的Text源码作为原始文本进行机器学习时，对Text源码进行分词处理。
步骤B中，使用包含自然语言内容及部分HTML语言标签的Text源码作为原始文本进行机器学习时，对Text源码进行分词处理。
步骤B中，使用Text源码的自然语言内容作为原始文本进行机器学习时，对Text源码进行分词处理。
采用海量分词算法对网页HTML的Text源码进行分词。
采用结巴分词算法对网页HTML的Text源码进行分词。
步骤C中，采用神经网络语言模型的文段转向量算法Paragraph2Vec对堆叠降噪自动编码器SDAE的输入向量进行初始化。
步骤D中采用L2正则随机梯度下降逻辑回归分类器对通过堆叠降噪自动编码器SDAE学习到的特征向量进行分类。
本发明的基于深度学习的网页视觉结构学习方法，用机器学习的方法学习HTML的Text源码的结构，并以此学习网页的视觉结构。
本发明具有的优点和积极效果是:
本发明的基于深度学习的网页模式识别方法及视觉结构学习方法中，用自然语言处理的方法处理Text源码，更为关注网页HTML的Text源码的结构而非内容，用深度学习的方法进行文本特征学习，对深度算法SDAE初始化方法的改进：使用Paragraph2Vec算法作为SDAE输入向量的初始化算法，从而取代SDAE惯用的随机初始化方法。从而可以最大化保留文本特征，减少特征丢失，有利于避免SDAE进入局部最优解，有效地保证SDAE的收敛。
本发明用自然语言处理（NaturalLanguageProcessing，简称NLP）的方法处理人工语言（ArtificialLanguage，简称AL），用深度学习（DeepLearning，DL）的方法及神经网络语言模型对HTML的Text源码进行特征学习，通过本发明的方法可对各类型网站，如博客、论坛、资讯等的网页模式进行精确识别，识别准确率达99.99%-100%，识别率达全球顶尖水平。
具体实施方式
以下对本技术方案进行详细说明：
本发明的基于深度学习的网页模式识别方法，包括以下步骤：
A、非格式化文本，以网页超文本语言（HypertextMarkupLanguage）即HTML的Text源码作为算法输入；
B、将上述网页HTML的Text源码进行预处理；
C、设计堆叠降噪自动编码器（StackingDenoisingAutoencoders）,简称SDAE，作为网页特征的深度学习算法；采用神经网络语言模型(NeuralNetworkLanguageModel)，简称NNLM，对堆叠降噪自动编码器SDAE的输入进行初始化，上一步骤中得到的输出作为神经网络语言模型NNLM的输入，得到Text源码的初始特征向量输出，并将此初始特征向量作为堆叠降噪自动编码器SDAE的输入，得到相应网页的特征向量；
D、采用Softmax回归对通过堆叠降噪自动编码器SDAE学习到的文本特征向量进行分类，特征向量的分类结果即为相应网页的识别结果；
E、将上述分类结果进行输出。
在保留自然语言内容的预处理步骤中，需要使用分词，而在仅保留HTML语言标签时，无需分词。
步骤B中，使用Text源码中的HTML语言标签作为原始文本进行机器学习，此时无需分词，无需使用分词算法。
步骤B中，使用包含所有自然语言内容及HTML语言标签的Text源码作为原始文本进行机器学习时，对Text源码进行分词处理。
步骤B中，使用包含自然语言内容及部分HTML语言标签的Text源码作为原始文本进行机器学习时，对Text源码进行分词处理。
步骤B中，使用Text源码的自然语言内容作为原始文本进行机器学习时，对Text源码进行分词处理。
采用海量分词算法对网页HTML的Text源码进行分词。
采用结巴分词算法对网页HTML的Text源码进行分词。
选用海量分词算法或结巴分词算法对最终结果影响不大。
步骤C中，采用神经网络语言模型NNLM的文段转向量算法Paragraph2Vec对堆叠降噪自动编码器SDAE的输入向量进行初始化。
步骤D中采用L2正则随机梯度下降逻辑回归分类器（L2-StochasticGradientDescentLogisticRegression）对通过堆叠降噪自动编码器SDAE学习到的特征向量进行分类。上述逻辑回归分类器是Softmax回归（n分类）分类中当n=2时的特殊形式。
步骤D中设置为二分类模式，两种类别分别对应于网页是导航页或非导航页。如果是多分类模式，如论坛页面/资讯页面/微博页面等等，则采用Softmax回归进行多类别分类。
本发明的基于深度学习的网页视觉结构学习方法，用机器学习的方法学习HTML的Text源码的结构，并以此学习网页的视觉结构。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例公开如上，然而，并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当然会利用揭示的技术内容作出些许更动或修饰，成为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明技术方案的范围内。

Claims (10)

1.一种基于深度学习的网页模式识别方法，包括以下步骤：
A、非格式化文本，以网页HTML的Text源码作为算法输入；
B、将上述网页HTML的Text源码进行预处理；
C、设计堆叠降噪自动编码器SDAE作为网页特征的深度学习算法；采用神经网络语言模型对堆叠降噪自动编码器SDAE的输入进行初始化，上一步骤中得到的输出作为本步骤中神经网络语言模型的输入，得到Text源码的初始特征向量输出，并将此初始特征向量作为堆叠降噪自动编码器SDAE的输入，得到相应网页的特征向量；
D、采用Softmax回归对通过堆叠降噪自动编码器SDAE学习到的文本特征向量进行分类，特征向量的分类结果即为相应网页的识别结果；
E、将上述分类结果进行输出。
2.根据权利要求1所述的基于深度学习的网页模式识别方法，其特征在于：步骤B中，使用Text源码中的HTML语言标签作为原始文本进行机器学习。
3.根据权利要求1所述的基于深度学习的网页模式识别方法，其特征在于：步骤B中，使用包含所有自然语言内容及HTML语言标签的Text源码作为原始文本进行机器学习时，对Text源码进行分词处理。
4.根据权利要求1所述的基于深度学习的网页模式识别方法，其特征在于：步骤B中，使用包含自然语言内容及部分HTML语言标签的Text源码作为原始文本进行机器学习时，对Text源码进行分词处理。
5.根据权利要求1所述的基于深度学习的网页模式识别方法，其特征在于：步骤B中，使用Text源码的自然语言内容作为原始文本进行机器学习时，对Text源码进行分词处理。
6.根据权利要求3、4或5所述的基于深度学习的网页模式识别方法，其特征在于：采用海量分词算法对网页HTML的Text源码进行分词。
7.根据权利要求3、4或5所述的基于深度学习的网页模式识别方法，其特征在于：采用结巴分词算法对网页HTML的Text源码进行分词。
8.根据权利要求1、2、3、4或5所述的基于深度学习的网页模式识别方法，其特征在于：步骤C中，采用神经网络语言模型的文段转向量算法Paragraph2Vec对堆叠降噪自动编码器SDAE的输入向量进行初始化。
9.根据权利要求1所述的基于深度学习的网页模式识别方法，其特征在于：步骤D中采用L2正则随机梯度下降逻辑回归分类器对通过堆叠降噪自动编码器SDAE学习到的特征向量进行分类。
10.一种基于权利要求1所述的基于深度学习的网页模式识别方法的网页视觉结构学习方法，其特征在于：用机器学习的方法学习HTML的Text源码的结构，并以此学习网页的视觉结构。
CN201510670711.4A 2015-10-19 2015-10-19 基于深度学习的网页模式识别方法及视觉结构学习方法 Active CN105302884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510670711.4A CN105302884B (zh) 2015-10-19 2015-10-19 基于深度学习的网页模式识别方法及视觉结构学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510670711.4A CN105302884B (zh) 2015-10-19 2015-10-19 基于深度学习的网页模式识别方法及视觉结构学习方法

Publications (2)

Publication Number Publication Date
CN105302884A true CN105302884A (zh) 2016-02-03
CN105302884B CN105302884B (zh) 2019-02-19

Family

ID=55200154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510670711.4A Active CN105302884B (zh) 2015-10-19 2015-10-19 基于深度学习的网页模式识别方法及视觉结构学习方法

Country Status (1)

Country Link
CN (1) CN105302884B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106161209A (zh) * 2016-07-21 2016-11-23 康佳集团股份有限公司 一种基于深度自学习的垃圾短信过滤方法及系统
CN106503066A (zh) * 2016-09-29 2017-03-15 北京百度网讯科技有限公司 基于人工智能的处理搜索结果方法和装置
CN107665248A (zh) * 2017-09-22 2018-02-06 齐鲁工业大学 基于深度学习混合模型的文本分类方法和装置
WO2018158626A1 (en) * 2017-02-28 2018-09-07 International Business Machines Corporation Adaptable processing components
CN108984694A (zh) * 2018-07-04 2018-12-11 龙马智芯（珠海横琴）科技有限公司 网页的处理方法及装置、存储介质、电子装置
CN109241383A (zh) * 2018-07-20 2019-01-18 北京开普云信息科技有限公司 一种基于深度学习的网页类型智能识别方法及系统
CN110275958A (zh) * 2019-06-26 2019-09-24 北京市博汇科技股份有限公司 网站信息识别方法、装置和电子设备
US10824794B2 (en) 2019-04-08 2020-11-03 Paypal, Inc. Process for creating a fixed length representation of a variable length input
CN112966263A (zh) * 2021-02-25 2021-06-15 中国银联股份有限公司 目标信息获取方法、装置及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567337A (zh) * 2010-12-15 2012-07-11 盛乐信息技术（上海）有限公司 一种通过链接快速识别网页类型的方法及系统
CN103309862A (zh) * 2012-03-07 2013-09-18 腾讯科技（深圳）有限公司 一种网页类型识别方法和系统
CN103544210A (zh) * 2013-09-02 2014-01-29 烟台中科网络技术研究所 一种识别网页类型的系统和方法
US20150278390A1 (en) * 2012-12-13 2015-10-01 Tencent Technology (Shenzhen) Company Limited Method and apparatus for processing a webpage

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567337A (zh) * 2010-12-15 2012-07-11 盛乐信息技术（上海）有限公司 一种通过链接快速识别网页类型的方法及系统
CN103309862A (zh) * 2012-03-07 2013-09-18 腾讯科技（深圳）有限公司 一种网页类型识别方法和系统
US20150278390A1 (en) * 2012-12-13 2015-10-01 Tencent Technology (Shenzhen) Company Limited Method and apparatus for processing a webpage
CN103544210A (zh) * 2013-09-02 2014-01-29 烟台中科网络技术研究所 一种识别网页类型的系统和方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106161209B (zh) * 2016-07-21 2019-09-20 康佳集团股份有限公司 一种基于深度自学习的垃圾短信过滤方法及系统
CN106161209A (zh) * 2016-07-21 2016-11-23 康佳集团股份有限公司 一种基于深度自学习的垃圾短信过滤方法及系统
CN106503066A (zh) * 2016-09-29 2017-03-15 北京百度网讯科技有限公司 基于人工智能的处理搜索结果方法和装置
CN106503066B (zh) * 2016-09-29 2019-10-15 北京百度网讯科技有限公司 基于人工智能的处理搜索结果方法和装置
WO2018158626A1 (en) * 2017-02-28 2018-09-07 International Business Machines Corporation Adaptable processing components
US11144718B2 (en) 2017-02-28 2021-10-12 International Business Machines Corporation Adaptable processing components
GB2574555A (en) * 2017-02-28 2019-12-11 Ibm Adaptable processing components
CN107665248A (zh) * 2017-09-22 2018-02-06 齐鲁工业大学 基于深度学习混合模型的文本分类方法和装置
CN108984694A (zh) * 2018-07-04 2018-12-11 龙马智芯（珠海横琴）科技有限公司 网页的处理方法及装置、存储介质、电子装置
CN109241383A (zh) * 2018-07-20 2019-01-18 北京开普云信息科技有限公司 一种基于深度学习的网页类型智能识别方法及系统
CN109241383B (zh) * 2018-07-20 2019-06-21 北京开普云信息科技有限公司 一种基于深度学习的网页类型智能识别方法及系统
US10824794B2 (en) 2019-04-08 2020-11-03 Paypal, Inc. Process for creating a fixed length representation of a variable length input
US11347931B2 (en) 2019-04-08 2022-05-31 Paypal, Inc. Process for creating a fixed length representation of a variable length input
CN110275958A (zh) * 2019-06-26 2019-09-24 北京市博汇科技股份有限公司 网站信息识别方法、装置和电子设备
CN110275958B (zh) * 2019-06-26 2021-07-27 北京市博汇科技股份有限公司 网站信息识别方法、装置和电子设备
CN112966263A (zh) * 2021-02-25 2021-06-15 中国银联股份有限公司 目标信息获取方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN105302884B (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
CN105302884A (zh) 基于深度学习的网页模式识别方法及视觉结构学习方法
TWI735543B (zh) 網頁文本分類的方法和裝置，網頁文本識別的方法和裝置
CN106951422B (zh) 网页训练的方法和装置、搜索意图识别的方法和装置
CN104933152B (zh) 命名实体识别方法及装置
Saba et al. Effects of artificially intelligent tools on pattern recognition
CN110223675B (zh) 用于语音识别的训练文本数据的筛选方法及系统
CN107705066A (zh) 一种商品入库时信息录入方法及电子设备
CN106874410A (zh) 基于卷积神经网络的中文微博文本情绪分类方法及其系统
CN103324700B (zh) 一种基于Web信息的本体概念属性学习方法
CN113392209B (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN103034726B (zh) 文本过滤系统及方法
CN107832458A (zh) 一种字符级的基于嵌套深度网络的文本分类方法
CN106126502A (zh) 一种基于支持向量机的情感分类系统及方法
CN108984706A (zh) 一种基于深度学习融合文本和结构特征的网页分类方法
CN107341143A (zh) 一种句子连贯性判断方法及装置和电子设备
CN111859983A (zh) 基于人工智能的自然语言标注方法及相关设备
US20240078384A1 (en) Method of training sentiment preference recognition model for comment information, recognition method, and device thereof
CN112364166A (zh) 关系抽取模型的建立方法以及关系抽取方法
CN104794209A (zh) 基于马尔科夫逻辑网络的中文微博情绪分类方法及系统
CN114443842A (zh) 战略性新兴产业分类方法及装置、存储介质和电子设备
CN103177126B (zh) 用于搜索引擎的色情用户查询识别方法及设备
CN112395407A (zh) 企业实体关系的抽取方法、装置及存储介质
CN114254622B (zh) 一种意图识别方法和装置
Sun Research on product attribute extraction and classification method for online review
CN114003708B (zh) 基于人工智能的自动问答方法、装置、存储介质及服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 300020 Tianjin Heping District, South Road, No. 11 International Building 23 purchase of Wheat

Applicant after: Tianjin mass information technology Limited by Share Ltd

Address before: 300020 Tianjin Heping District, South Road, No. 11 International Building 23 purchase of Wheat

Applicant before: Tianjin Hylanda Information Technology Co.,Ltd.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant