CN117093260B - 一种基于决策树分类算法的融合模型网站结构解析方法 - Google Patents
一种基于决策树分类算法的融合模型网站结构解析方法 Download PDFInfo
- Publication number
- CN117093260B CN117093260B CN202311333041.8A CN202311333041A CN117093260B CN 117093260 B CN117093260 B CN 117093260B CN 202311333041 A CN202311333041 A CN 202311333041A CN 117093260 B CN117093260 B CN 117093260B
- Authority
- CN
- China
- Prior art keywords
- website
- analyzed
- decision
- historical
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003066 decision tree Methods 0.000 title claims abstract description 54
- 238000007635 classification algorithm Methods 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 title claims abstract description 20
- 238000003696 structure analysis method Methods 0.000 title abstract description 7
- 238000004458 analytical method Methods 0.000 claims abstract description 48
- 238000012916 structural analysis Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000013145 classification model Methods 0.000 claims description 77
- 238000013507 mapping Methods 0.000 claims description 39
- 230000001915 proofreading effect Effects 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 21
- 238000012795 verification Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000013138 pruning Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 3
- 238000010224 classification analysis Methods 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012216 screening Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008676 import Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/74—Reverse engineering; Extracting design information from source code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
- G06F16/986—Document structures and storage, e.g. HTML extensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及网站结构分类解析领域，尤其涉及一种基于决策树分类算法的融合模型网站结构解析方法，包括：S1、基于DOM提取技术获取待解析网站的HTML代码；S2、根据所述待解析网站的HTML代码获取对应解析元素特征；S3、利用所述解析元素特征基于决策树分类算法得到待解析网站的结构解析结果，通过常见分类算法，实现对网站结构的自动解析，减少人工干预，减少数据采集程序编写中技术人员对于页面结构解析的人工精力，做到降本增效。
Description
技术领域
本发明涉及网站结构分类解析领域，具体涉及一种基于决策树分类算法的融合模型网站结构解析方法。
背景技术
针对数据采集需求，通过数据爬虫方式，可以通过自动化的方式从互联网上收集和提取数据。帮助技术人员获取大量的数据，并且可以在短时间内完成这个过程。传统的数据采集工作，依靠技术人员前期针对每个数据采集网站，分析页面结构，然后编写爬虫代码的方式，但随着大数据技术、人工智能技术的发展对数据支撑需求不断扩大，已无法低成本、高效率支撑。因此，通过一种智能化手段，实现对网站结构的智能分析方法来代替人工分析，同时依靠逐渐提高算力的高速计算设备，可将先前单独训练的模型合并训练，进而将不同训练集、不同模型输出融合到单一模型中获取，从而将分析结果及要素直接反馈给技术人员后，技术人员直接编写数据采集程序将大大提升人工采集升本，从而降低数据采集成本，提升技术人员开发效率，进而支撑大数据、人工智能技术的发展意义重大。
发明内容
针对现有技术的不足，本发明提供了一种基于决策树分类算法的融合模型网站结构解析方法，通过快速建立二分类模型，并在实施各阶段进行模型提升与结果验证，能够快速准确地提取目标数据。
为实现上述目的，本发明提供了一种基于决策树分类算法的融合模型网站结构解析方法，包括：
S1、基于DOM提取技术获取待解析网站的HTML代码；
S2、根据所述待解析网站的HTML代码获取对应解析元素特征；
S3、利用所述解析元素特征基于决策树分类算法得到待解析网站的结构解析结果。
优选的，所述基于DOM提取技术获取待解析网站的HTML代码包括：
基于DOM提取技术获取待解析网站的初始HTML代码；
判断所述初始HTML代码是否存在对应历史HTML代码，若是，则利用所述待解析网站的初始HTML代码与初始HTML代码对应历史HTML代码作为待解析网站的HTML代码，否则，直接输出待解析网站的初始HTML代码作为待解析网站的HTML代码。
进一步的，根据所述待解析网站的HTML代码获取对应解析元素特征包括：
根据所述待解析网站的HTML代码获取待解析网站的文本数据；
根据所述待解析网站的文本数据进行页面解析得到待解析网站的标签属性数据；
利用所述待解析网站的文本数据与标签属性数据作为解析元素特征。
进一步的，根据所述待解析网站的文本数据进行页面解析得到待解析网站的标签属性数据包括：
获取待解析网站的网站标签；
根据所述待解析网站的文本数据获取对应文本数据属性；
利用所述待解析网站的网站标签与文本数据属性作为待解析网站的标签属性数据；
其中，所述网站标签包括页面标题、页面描述与关键词。
进一步的，利用所述解析元素特征基于决策树分类算法得到待解析网站的结构解析结果包括：
S3-1、利用所述解析元素特征基于决策树分类算法建立决策分类模型；
S3-2、利用所述解析元素特征根据决策分类模型得到待解析网站的特征决策分类结果；
S3-3、利用所述待解析网站的特征决策分类结果得到待解析网站的结构解析结果。
进一步的，利用所述解析元素特征基于决策树分类算法建立决策分类模型包括：
S3-1-1、利用所述解析元素特征中待解析网站的文本数据与对应文本数据属性划分为一级数据集；
S3-1-2、利用所述解析元素特征中标签属性数据的待解析网站的网站标签划分为二级数据集；
S3-1-3、利用所述一级数据集与二级数据集基于决策树分类算法建立决策分类模型。
进一步的，利用所述一级数据集与二级数据集基于决策树分类算法建立决策分类模型包括：
S3-1-3-1、利用所述一级数据集作为第一训练集，基于决策树分类算法进行根节点训练得到第一初始决策分类模型；
S3-1-3-2、利用所述二级数据集作为第二训练集，基于决策树分类算法进行决策树剪枝处理得到第二初始决策分类模型；
S3-1-3-3、判断当前一级数据集与二级数据集对应待解析网站的HTML代码是否存在历史HTML代码，若是，则根据所述历史HTML代码获取历史决策分类模型，对第二初始决策分类模型进行校对处理得到决策分类模型，否则，直接输出第二初始决策分类模型作为决策分类模型。
进一步的，根据所述历史HTML代码获取历史决策分类模型，对第二初始决策分类模型进行校对处理得到决策分类模型包括：
S3-1-3-3-1、根据所述历史HTML代码获取历史决策分类模型；
S3-1-3-3-2、获取所述历史决策分类模型对应历史第一数据集与历史第二数据集；
S3-1-3-3-3、获取所述历史第一数据集与当前第一数据集的相似度作为第一校对相似度；
S3-1-3-3-4、获取所述历史第二数据集与当前第二数据集的相似度作为第二校对相似度；
S3-1-3-3-5、判断所述第一校对相似度与第二校对相似度是否相同，若是，则执行S3-1-3-3-6，否则，输出所述第二初始决策分类模型作为决策分类模型；
S3-1-3-3-6、判断所述第二初始决策分类模型与历史决策分类模型的模型结构是否相同，若是，则利用第二初始决策分类模型作为决策分类模型，否则，获取所述第二初始决策分类模型与历史决策分类模型的模型结构相似度，并执行S3-1-3-3-7；
S3-1-3-3-7、判断所述模型结构相似度与第一校对相似度是否相同，若是，则利用第二初始决策分类模型作为决策分类模型，否则，利用所述历史第一数据集与历史第二数据集作为当前第一训练集与第二训练集，并返回S3-1-3-1；
其中，所述模型结构相似度为决策树分类模型中各节点与路径的相似度。
进一步的，利用所述待解析网站的特征决策分类结果得到待解析网站的结构解析结果包括：
S3-3-1、获取所述待解析网站的特征决策分类结果对应待解析网站的HTML代码；
S3-3-2、利用所述待解析网站的特征决策分类结果作为映射基准；
S3-3-3、利用所述映射基准与待解析网站的HTML代码建立当前待解析网站的特征决策分类结果对应校对映射；
S3-3-4、利用所述校对映射建立前置验证库；
S3-3-5、利用所述前置验证库输出待解析网站的结构解析结果。
进一步的，利用所述前置验证库输出待解析网站的结构解析结果包括：
S3-3-5-1、判断当前校对映射在前置验证库中是否存在对应历史校对映射，若是，则执行S3-3-5-2，否则，直接输出当前校对映射对应特征决策分类结果作为待解析网站的结构解析结果；
S3-3-5-2、判断当前校对映射对应HTML代码与历史校对映射对应HTML代码是否相同，若是，则输出当前校对映射对应特征决策分类结果作为待解析网站的结构解析结果，否则，执行S3-3-5-3；
S3-3-5-3、判断当前校对映射对应HTML代码与历史校对映射对应HTML代码相互是否存在父子关系，若是，则输出当前校对映射对应特征决策分类结果作为待解析网站的结构解析结果，否则，返回S3-3-5-1。
与最接近的现有技术相比，本发明具有的有益效果：
通过常见分类算法，实现对网站结构的自动解析，减少人工干预，减少数据采集程序编写中技术人员对于页面结构解析的人工精力，做到降本增效，同时能够快速准确地提取目标数据，支持非专业人员进一步的数据分析和应用，提高数据利用效率。
附图说明
图1是本发明提供的一种基于决策树分类算法的融合模型网站结构解析方法的流程图；
图2是本发明提供的一种基于决策树分类算法的融合模型网站结构解析方法的实际应用流程图；
图3是本发明提供的一种基于决策树分类算法的融合模型网站结构解析方法的决策树分叉流程图；
图4是本发明提供的一种基于决策树分类算法的融合模型网站结构解析方法的决策树剪枝流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：本发明提供了一种基于决策树分类算法的融合模型网站结构解析方法，如图1所示，包括：
S1、基于DOM提取技术获取待解析网站的HTML代码；
S2、根据所述待解析网站的HTML代码获取对应解析元素特征；
S3、利用所述解析元素特征基于决策树分类算法得到待解析网站的结构解析结果。
S1具体包括：
S1-1、基于DOM提取技术获取待解析网站的初始HTML代码；
S1-2、判断所述初始HTML代码是否存在对应历史HTML代码，若是，则利用所述待解析网站的初始HTML代码与初始HTML代码对应历史HTML代码作为待解析网站的HTML代码，否则，直接输出待解析网站的初始HTML代码作为待解析网站的HTML代码。
S2具体包括：
S2-1、根据所述待解析网站的HTML代码获取待解析网站的文本数据；
S2-2、根据所述待解析网站的文本数据进行页面解析得到待解析网站的标签属性数据；
S2-3、利用所述待解析网站的文本数据与标签属性数据作为解析元素特征。
S2-2具体包括：
S2-2-1、获取待解析网站的网站标签；
S2-2-2、根据所述待解析网站的文本数据获取对应文本数据属性；
S2-2-3、利用所述待解析网站的网站标签与文本数据属性作为待解析网站的标签属性数据；
其中，所述网站标签包括页面标题、页面描述与关键词。
本实施例中，一种基于决策树分类算法的融合模型网站结构解析方法，选取页面标题、页面描述与关键词作为网站标签，基于通用TDK对网站进行评价并优化SEO效果，即网站标签指的是HTML文档中的元数据，主要包括页面标题（Tile)、页面描述（Description)、关键词(Keywords)等等，这些标签可以为搜索引擎Q提供关于网站内容的重要信息，有助于提高网站的SEO效果。
S3具体包括：
S3-1、利用所述解析元素特征基于决策树分类算法建立决策分类模型；
S3-2、利用所述解析元素特征根据决策分类模型得到待解析网站的特征决策分类结果；
S3-3、利用所述待解析网站的特征决策分类结果得到待解析网站的结构解析结果。
S3-1具体包括：
S3-1-1、利用所述解析元素特征中待解析网站的文本数据与对应文本数据属性划分为一级数据集；
S3-1-2、利用所述解析元素特征中标签属性数据的待解析网站的网站标签划分为二级数据集；
S3-1-3、利用所述一级数据集与二级数据集基于决策树分类算法建立决策分类模型。
S3-1-3具体包括：
S3-1-3-1、利用所述一级数据集作为第一训练集，基于决策树分类算法进行根节点训练得到第一初始决策分类模型；
S3-1-3-2、利用所述二级数据集作为第二训练集，基于决策树分类算法进行决策树剪枝处理得到第二初始决策分类模型；
S3-1-3-3、判断当前一级数据集与二级数据集对应待解析网站的HTML代码是否存在历史HTML代码，若是，则根据所述历史HTML代码获取历史决策分类模型，对第二初始决策分类模型进行校对处理得到决策分类模型，否则，直接输出第二初始决策分类模型作为决策分类模型。
S3-1-3-3具体包括：
S3-1-3-3-1、根据所述历史HTML代码获取历史决策分类模型；
S3-1-3-3-2、获取所述历史决策分类模型对应历史第一数据集与历史第二数据集；
S3-1-3-3-3、获取所述历史第一数据集与当前第一数据集的相似度作为第一校对相似度；
S3-1-3-3-4、获取所述历史第二数据集与当前第二数据集的相似度作为第二校对相似度；
S3-1-3-3-5、判断所述第一校对相似度与第二校对相似度是否相同，若是，则执行S3-1-3-3-6，否则，输出所述第二初始决策分类模型作为决策分类模型；
S3-1-3-3-6、判断所述第二初始决策分类模型与历史决策分类模型的模型结构是否相同，若是，则利用第二初始决策分类模型作为决策分类模型，否则，获取所述第二初始决策分类模型与历史决策分类模型的模型结构相似度，并执行S3-1-3-3-7；
S3-1-3-3-7、判断所述模型结构相似度与第一校对相似度是否相同，若是，则利用第二初始决策分类模型作为决策分类模型，否则，利用所述历史第一数据集与历史第二数据集作为当前第一训练集与第二训练集，并返回S3-1-3-1；
其中，所述模型结构相似度为决策树分类模型中各节点与路径的相似度。
本实施例中，一种基于决策树分类算法的融合模型网站结构解析方法，所述模型结构相似度，将模型具象化拆解，考虑到模型中根节点、叶结点与各节点间连接路径，通过节点的分类情况与路径中传递数据，最终基于欧式距离公式计算获取模型结构相似度。
S3-3具体包括：
S3-3-1、获取所述待解析网站的特征决策分类结果对应待解析网站的HTML代码；
S3-3-2、利用所述待解析网站的特征决策分类结果作为映射基准；
S3-3-3、利用所述映射基准与待解析网站的HTML代码建立当前待解析网站的特征决策分类结果对应校对映射；
S3-3-4、利用所述校对映射建立前置验证库；
S3-3-5、利用所述前置验证库输出待解析网站的结构解析结果。
S3-3-5具体包括：
S3-3-5-1、判断当前校对映射在前置验证库中是否存在对应历史校对映射，若是，则执行S3-3-5-2，否则，直接输出当前校对映射对应特征决策分类结果作为待解析网站的结构解析结果；
S3-3-5-2、判断当前校对映射对应HTML代码与历史校对映射对应HTML代码是否相同，若是，则输出当前校对映射对应特征决策分类结果作为待解析网站的结构解析结果，否则，执行S3-3-5-3；
S3-3-5-3、判断当前校对映射对应HTML代码与历史校对映射对应HTML代码相互是否存在父子关系，若是，则输出当前校对映射对应特征决策分类结果作为待解析网站的结构解析结果，否则，返回S3-3-5-1。
本实施例中，一种基于决策树分类算法的融合模型网站结构解析方法，所述当前映射与历史映射的对应状态判定可选取网站标签对应情况、网站文本属性对应情况等作为依据。
本实施例中，一种基于决策树分类算法的融合模型网站结构解析方法，在S3-3-5-3中判断相对应两个网站的HTML代码的前后级关系后，可得出校对映射对应、代码不一致且无前后顺序的两个网站存在不合理，在实际应用中存在算法执行报错，因此需要进行返回前序步骤再次筛选。
本实施例中，一种基于决策树分类算法的融合模型网站结构解析方法，如图2所示，在实际应用中由于代码容量问题，可将单一决策树分类模型根据其功能进行分别处理，例如，将文本数据与标签属性对应单独建立模型后，再进行融合也可达到目的，具体应用如下：
1.数据采集：通过DOM提取技术获取主流新闻站、社交站、论坛站HTML代码；
2.元素提取：从HTML代码中提取元素特征，具体如下：
（1）标签、属性：提取页面中的标签、属性内容；
（2）文本：页面中出现的文本内容；
3.数据标注：
（1）文本类型标注：将文本类型进行元素按照“标题”、“正文”、 “发布人”、“发布时间”、“评论”进行标注；
（2）将每个标签和属性与其对应的内容进行关联标注；
4.模型训练：
（1）将文本标注数据，单独进行文本分类算法模型训练，构建文本分类识别模型；
（2）利用决策树算法，对包含标签属性文本的关联标注内容进行训练，构建结构解析模型；
5、模型融合：将文本分类识别模型以及结构解析模型预测结果通过加权平均法进行模型融合；
6.模型解析：通过融合模型对目标网站进行解析，识别提取网站的结构信息；
7.数据提取和应用：根据解析得到的网站结构信息，快速准确地定位提取，帮助技术人员进行采集程序开发。
本实施例中，一种基于决策树分类算法的融合模型网站结构解析方法，如图3所示，上述方案中涉及决策树分叉过程，在网站结构解析应用中，以特征维度作为判断条件，然后构建其树形结构，最后一层一层地进行判断，可简化为二分叉流程：
1、在一级数据集中，文本数据可作为特征A进行第一次二分类筛选，推进到文本数据属性作为特征B进行第二次二分类筛选，最后到达标签属性数据作为特征C进行最后一次二分类筛选，在实际操作中通过放弃各次筛选中的负类结果提升了模型训练速度；
2、同时在标签属性中，又存在子一级筛选，如上述过程一致，逐级建立特征并去除负类因素。
本实施例中，一种基于决策树分类算法的融合模型网站结构解析方法，如图4所示，在所述决策分类模型初期建立完成后，需要对决策树进行剪枝处理，建立各独立特征与其后续步骤特征的二分类连续性关系，以提升各节点对于模型乃至最终分类结果的信息增益，实施代码如下：
## 从sklearn中导入决策树模型
from sklearn.tree import DecisionTreeClassifier
from sklearn import tree
## 定义 决策树模型
clf = DecisionTreeClassifier(criterion='entropy')
# 在训练集上训练决策树模型
clf.fit(x_train, y_train)
#%% 可视化决策树
import pydotplus
dot_data = tree.export_graphviz(clf, out_file=None)
graph = pydotplus.graph_from_dot_data(dot_data)
graph.write_png("D:\Python\ML\DTpraTree.png")
#%% 在训练集和测试集上利用训练好的模型进行预测
train_predict = clf.predict(x_train)
test_predict = clf.predict(x_test)
from sklearn import metrics
由此进行可视化二分类剪枝训练，通过多层次训练集进一步提升模型效果，以达到最终精确的网站结构解析分类目的。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (3)
1.一种基于决策树分类算法的融合模型网站结构解析方法，其特征在于，包括：
S1、基于DOM提取技术获取待解析网站的HTML代码；
S1-1、基于DOM提取技术获取待解析网站的初始HTML代码；
S1-2、判断所述初始HTML代码是否存在对应历史HTML代码，若是，则利用所述待解析网站的初始HTML代码与初始HTML代码对应历史HTML代码作为待解析网站的HTML代码，否则，直接输出待解析网站的初始HTML代码作为待解析网站的HTML代码；
S2、根据所述待解析网站的HTML代码获取对应解析元素特征；
S2-1、根据所述待解析网站的HTML代码获取待解析网站的文本数据；
S2-2、根据所述待解析网站的文本数据进行页面解析得到待解析网站的标签属性数据；
S2-2-1、获取待解析网站的网站标签；
S2-2-2、根据所述待解析网站的文本数据获取对应文本数据属性；
S2-2-3、利用所述待解析网站的网站标签与文本数据属性作为待解析网站的标签属性数据；
其中，所述网站标签包括页面标题、页面描述与关键词；
S2-3、利用所述待解析网站的文本数据与标签属性数据作为解析元素特征；
S3、利用所述解析元素特征基于决策树分类算法得到待解析网站的结构解析结果；
S3-1、利用所述解析元素特征基于决策树分类算法建立决策分类模型；
S3-1-1、利用所述解析元素特征中待解析网站的文本数据与对应文本数据属性划分为一级数据集；
S3-1-2、利用所述解析元素特征中标签属性数据的待解析网站的网站标签划分为二级数据集；
S3-1-3、利用所述一级数据集与二级数据集基于决策树分类算法建立决策分类模型；
S3-1-3-1、利用所述一级数据集作为第一训练集，基于决策树分类算法进行根节点训练得到第一初始决策分类模型；
S3-1-3-2、利用所述二级数据集作为第二训练集，基于决策树分类算法进行决策树剪枝处理得到第二初始决策分类模型；
S3-1-3-3、判断当前一级数据集与二级数据集对应待解析网站的HTML代码是否存在历史HTML代码，若是，则根据所述历史HTML代码获取历史决策分类模型，对第二初始决策分类模型进行校对处理得到决策分类模型，否则，直接输出第二初始决策分类模型作为决策分类模型；
S3-1-3-3-1、根据所述历史HTML代码获取历史决策分类模型；
S3-1-3-3-2、获取所述历史决策分类模型对应历史第一数据集与历史第二数据集；
S3-1-3-3-3、获取所述历史第一数据集与当前第一数据集的相似度作为第一校对相似度；
S3-1-3-3-4、获取所述历史第二数据集与当前第二数据集的相似度作为第二校对相似度；
S3-1-3-3-5、判断所述第一校对相似度与第二校对相似度是否相同，若是，则执行S3-1-3-3-6，否则，输出所述第二初始决策分类模型作为决策分类模型；
S3-1-3-3-6、判断所述第二初始决策分类模型与历史决策分类模型的模型结构是否相同，若是，则利用第二初始决策分类模型作为决策分类模型，否则，获取所述第二初始决策分类模型与历史决策分类模型的模型结构相似度，并执行S3-1-3-3-7；
S3-1-3-3-7、判断所述模型结构相似度与第一校对相似度是否相同，若是，则利用第二初始决策分类模型作为决策分类模型，否则，利用所述历史第一数据集与历史第二数据集作为当前第一训练集与第二训练集，并返回S3-1-3-1；
其中，所述模型结构相似度为决策树分类模型中各节点与路径的相似度；
S3-2、利用所述解析元素特征带入决策分类模型得到待解析网站的特征决策分类结果；
S3-3、利用所述待解析网站的特征决策分类结果得到待解析网站的结构解析结果。
2.如权利要求1所述的一种基于决策树分类算法的融合模型网站结构解析方法，其特征在于，利用所述待解析网站的特征决策分类结果得到待解析网站的结构解析结果包括：
S3-3-1、获取所述待解析网站的特征决策分类结果对应待解析网站的HTML代码；
S3-3-2、利用所述待解析网站的特征决策分类结果作为映射基准；
S3-3-3、利用所述映射基准与待解析网站的HTML代码建立当前待解析网站的特征决策分类结果对应校对映射；
S3-3-4、利用所述校对映射建立前置验证库；
S3-3-5、利用所述前置验证库输出待解析网站的结构解析结果。
3.如权利要求2所述的一种基于决策树分类算法的融合模型网站结构解析方法，其特征在于，利用所述前置验证库输出待解析网站的结构解析结果包括：
S3-3-5-1、判断当前校对映射在前置验证库中是否存在对应历史校对映射，若是，则执行S3-3-5-2，否则，直接输出当前校对映射对应特征决策分类结果作为待解析网站的结构解析结果；
S3-3-5-2、判断当前校对映射对应HTML代码与历史校对映射对应HTML代码是否相同，若是，则输出当前校对映射对应特征决策分类结果作为待解析网站的结构解析结果，否则，执行S3-3-5-3；
S3-3-5-3、判断当前校对映射对应HTML代码与历史校对映射对应HTML代码相互是否存在父子关系，若是，则输出当前校对映射对应特征决策分类结果作为待解析网站的结构解析结果，否则，返回S3-3-5-1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311333041.8A CN117093260B (zh) | 2023-10-16 | 2023-10-16 | 一种基于决策树分类算法的融合模型网站结构解析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311333041.8A CN117093260B (zh) | 2023-10-16 | 2023-10-16 | 一种基于决策树分类算法的融合模型网站结构解析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117093260A CN117093260A (zh) | 2023-11-21 |
| CN117093260B true CN117093260B (zh) | 2024-01-12 |
Family
ID=88781415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311333041.8A Active CN117093260B (zh) | 2023-10-16 | 2023-10-16 | 一种基于决策树分类算法的融合模型网站结构解析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117093260B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117454881B (zh) * | 2023-12-19 | 2024-03-08 | 戎行技术有限公司 | 一种基于静态页面的网站动态标签解析方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663022A (zh) * | 2012-03-21 | 2012-09-12 | 浙江盘石信息技术有限公司 | 一种基于url的分类识别方法 |
| CN104965905A (zh) * | 2015-06-30 | 2015-10-07 | 北京奇虎科技有限公司 | 一种网页分类的方法和装置 |
| CN107577783A (zh) * | 2017-09-15 | 2018-01-12 | 电子科技大学 | 基于Web结构特征挖掘的网页类型自动识别方法 |
| CN109684584A (zh) * | 2018-11-15 | 2019-04-26 | 北京海泰方圆科技股份有限公司 | 一种浏览器内核的智能切换方法、装置、终端及存储介质 |
| CN110110075A (zh) * | 2017-12-25 | 2019-08-09 | 中国电信股份有限公司 | 网页分类方法、装置以及计算机可读存储介质 |
| CN111030941A (zh) * | 2019-10-29 | 2020-04-17 | 武汉瑞盈通网络技术有限公司 | 一种基于决策树的https加密流量分类方法 |
| CN112765601A (zh) * | 2021-01-18 | 2021-05-07 | 西安博达软件股份有限公司 | 基于云端的网站首页结构监测方法 |
| CN114579832A (zh) * | 2020-11-30 | 2022-06-03 | 厦门美亚商鼎信息科技有限公司 | 一种基于决策树的网站数字证书识别方法和系统 |
| CN116109874A (zh) * | 2023-02-28 | 2023-05-12 | 重庆星环人工智能科技研究院有限公司 | 一种检测方法、装置、电子设备和存储介质 |
| CN116204692A (zh) * | 2022-12-23 | 2023-06-02 | 珠海格力电器股份有限公司 | 网页数据提取方法、装置、电子设备及存储介质 |
| CN116578980A (zh) * | 2023-06-29 | 2023-08-11 | 中国工商银行股份有限公司 | 基于神经网络的代码分析方法及其装置、电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7117208B2 (en) * | 2000-09-28 | 2006-10-03 | Oracle Corporation | Enterprise web mining system and method |
-
2023
- 2023-10-16 CN CN202311333041.8A patent/CN117093260B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663022A (zh) * | 2012-03-21 | 2012-09-12 | 浙江盘石信息技术有限公司 | 一种基于url的分类识别方法 |
| CN104965905A (zh) * | 2015-06-30 | 2015-10-07 | 北京奇虎科技有限公司 | 一种网页分类的方法和装置 |
| CN107577783A (zh) * | 2017-09-15 | 2018-01-12 | 电子科技大学 | 基于Web结构特征挖掘的网页类型自动识别方法 |
| CN110110075A (zh) * | 2017-12-25 | 2019-08-09 | 中国电信股份有限公司 | 网页分类方法、装置以及计算机可读存储介质 |
| CN109684584A (zh) * | 2018-11-15 | 2019-04-26 | 北京海泰方圆科技股份有限公司 | 一种浏览器内核的智能切换方法、装置、终端及存储介质 |
| CN111030941A (zh) * | 2019-10-29 | 2020-04-17 | 武汉瑞盈通网络技术有限公司 | 一种基于决策树的https加密流量分类方法 |
| CN114579832A (zh) * | 2020-11-30 | 2022-06-03 | 厦门美亚商鼎信息科技有限公司 | 一种基于决策树的网站数字证书识别方法和系统 |
| CN112765601A (zh) * | 2021-01-18 | 2021-05-07 | 西安博达软件股份有限公司 | 基于云端的网站首页结构监测方法 |
| CN116204692A (zh) * | 2022-12-23 | 2023-06-02 | 珠海格力电器股份有限公司 | 网页数据提取方法、装置、电子设备及存储介质 |
| CN116109874A (zh) * | 2023-02-28 | 2023-05-12 | 重庆星环人工智能科技研究院有限公司 | 一种检测方法、装置、电子设备和存储介质 |
| CN116578980A (zh) * | 2023-06-29 | 2023-08-11 | 中国工商银行股份有限公司 | 基于神经网络的代码分析方法及其装置、电子设备 |
Non-Patent Citations (4)
| Title |
|---|
| web 存储与用户行为分析研究;廖一鸣;中国优秀硕士学位论文全文数据库信息科技辑;全文 * |
| Web使用挖掘关键技术研究;李超锋;中国博士学位论文全文数据库 信息科技辑;全文 * |
| 互联网舆情事件影响分析与动态演化研究;王 磊;中国博士学位论文全文数据库 信息科技辑;全文 * |
| 基于决策树的网络流量分类系统的设计与实现;王海忠;中国优秀硕士学位论文全文数据库信息科技辑;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117093260A (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108710704B (zh) | 对话状态的确定方法、装置、电子设备及存储介质 | |
| CN117093260B (zh) | 一种基于决策树分类算法的融合模型网站结构解析方法 | |
| CN106339455B (zh) | 基于文本标签特征挖掘的网页正文提取方法 | |
| CN111709244B (zh) | 一种用于矛盾纠纷事件因果关系识别的深度学习方法 | |
| CN112307153B (zh) | 一种产业知识库自动构建方法、装置及存储介质 | |
| CN111309910A (zh) | 文本信息挖掘方法及装置 | |
| CN112463424A (zh) | 一种基于图的端到端程序修复方法 | |
| CN112148602B (zh) | 一种基于历史优化特征智能学习的源代码安全分析方法 | |
| CN108628964A (zh) | 一种智能场景化企业大数据系统 | |
| CN114647713A (zh) | 基于虚拟对抗的知识图谱问答方法、设备及存储介质 | |
| CN116521898A (zh) | 一种电厂发电设备故障知识图谱的构建方法 | |
| CN111241153A (zh) | 企业自然人实体综合判断对齐方法及系统 | |
| CN111831792A (zh) | 一种电力知识库构建方法及系统 | |
| CN116701665A (zh) | 基于深度学习的中医古籍知识图谱构建方法 | |
| CN115995092A (zh) | 图纸文字信息提取方法、装置、设备 | |
| CN114417828A (zh) | 一种服务器告警日志描述文本的实体关系抽取方法及系统 | |
| CN113377962B (zh) | 一种基于图像识别和自然语言处理的智能过程模拟方法 | |
| CN111460160B (zh) | 一种基于强化学习的流式文本数据的事件聚类方法 | |
| CN114297408A (zh) | 一种基于级联二进制标注框架的关系三元组抽取方法 | |
| CN115204179A (zh) | 基于电网公共数据模型的实体关系预测的方法及装置 | |
| CN109344254B (zh) | 一种地址信息分类方法及装置 | |
| CN112115362A (zh) | 一种基于相似代码识别的编程信息推荐方法及装置 | |
| CN110727695A (zh) | 面向新型供电城轨列车数据运维的自然语言查询解析方法 | |
| CN117608545B (zh) | 一种基于知识图谱的标准作业程序生成方法 | |
| Qu et al. | Illation of video visual relation detection based on graph neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |