CN106886577B - 一种多维度网页浏览行为评估方法 - Google Patents
一种多维度网页浏览行为评估方法 Download PDFInfo
- Publication number
- CN106886577B CN106886577B CN201710054675.8A CN201710054675A CN106886577B CN 106886577 B CN106886577 B CN 106886577B CN 201710054675 A CN201710054675 A CN 201710054675A CN 106886577 B CN106886577 B CN 106886577B
- Authority
- CN
- China
- Prior art keywords
- webpage
- browsing
- text
- browsed
- title
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 72
- 238000012549 training Methods 0.000 claims abstract description 34
- 230000009193 crawling Effects 0.000 claims abstract description 17
- 238000012795 verification Methods 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims description 24
- 238000009499 grossing Methods 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 23
- 238000004458 analytical method Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 241001274197 Scatophagus argus Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种多维度网页浏览行为评估方法，首先对搜狗语料库中的文本分词，以TF‑IDF作为文本特征，采用朴素贝叶斯方法对语料库进行训练得到文本训练集，将搜狗语料库中的文本折半切分，得到验证测试集，通过遍历得到最优拉普拉斯平滑参数Alpha，再爬取已浏览网页的指定文本内容，得到已浏览网页标题集，接着采用Alpha的朴素贝叶斯方法对已浏览网页标题集进行分类，得到已浏览网页分类集，并将大于阈值的网页信息加入文本训练集中，利用浏览网页时的停留时间、浏览终端等多维度数据，采用终端‑时间‑分类判别方法对网页浏览数据进行评估，得到评估结果。本发明方法有效分析了网页浏览信息，提高了网页浏览行为评估的准确度。
Description
技术领域
本发明属于网页浏览行为分析技术领域，特别涉及一种基于TF-IDF和朴素贝叶斯多维度的网页浏览行为评估方法。
背景技术
浏览网页行为评估方法对实现人员的行为习惯分析有着重要的作用和意义。传统的网页浏览分析由问卷调查的方法已经不能满足社会信息化发展的需求。近年来针对不同种类人群的网络行为分析，研究者提出了相应的分析方法，如神经网络、支持向量机、决策树、KNN方法、遗传方法等。
朱全银、贾笑颖等人已有的研究基础包括：朱全银，严云洋，周培，谷天峰.一种基于线性插补与自适应滑动窗口的商品价格预测模型.山东大学学报.2012,Vol.42(5):53-58；朱全银,潘禄,刘文儒,等.Web科技新闻分类抽取方法[J].淮阴工学院学报,2015,24(5):18-24；李翔,朱全银.联合聚类和评分矩阵共享的协同过滤推荐[J].计算机科学与探索,2014,8(6):751-759；Quanyin Zhu,Sunqun Cao.A Novel Classifier-independentFeature Selection Algorithm for Imbalanced Datasets.2009,p:77-82；Quanyin Zhu,Yunyang Yan,Jin Ding,Jin Qian.The Case Study for Price Extracting of MobilePhone Sell Online.2011,p:282-285；Quanyin Zhu,Suqun Cao,Pei Zhou,Yunyang Yan,Hong Zhou.Integrated Price Forecast based on Dichotomy Backfilling andDisturbance Factor Algorithm.International Review on Computers and Software,2011,Vol.6(6):1089-1093；Zhu Quan-yin,Yin Yonghua,Yan Yun-yang,Gu Tian-feng.ANovel Efficient AdaptiveSliding Window Model for Week-ahead Price Forecasting.TELKOMNIKAIndonesian Journal of Electrical Engineering.2014.Vol.12(3):2219-2226；Zhu Quanyin,Pan Lu,Yin Yonghua LiXiang.Influence on Normalizationand Magnitude Normalization for PriceForecasting of AgriculturalProducts.Information Technology Journal(ITJ).2013.Vol.12(15):3046-3057；Quanyin Zhu,Jin Ding,Yonghua Yin,Pei Zhou.A Hybrid Approach for New ProductsDiscovery of Cell Phone Based on Web Mining.Journal of Information andComputational Science(JICS).2012,Vol.9(16):5039-5046。朱全银、贾笑颖等人申请、公开与授权的相关专利：朱全银，尹永华，严云杨，曹苏群等，一种基于神经网络的多品种商品价格预测的数据预处理方法.中国专利：ZL 201210325368.6,2016.06.08；朱全银，胡蓉静，何苏群，周培等.一种基于线性插补与自适应滑动窗口的商品价格预测方法.中国专利:ZL201110423015.5,2015.07.01；朱全银，曹苏群，严云洋，胡蓉静等，一种基于二分数据修补与扰乱因子的商品价格预测方法.中国专利:ZL201110422274.6,2015.07.01；朱全银，辛诚，李翔，潘舒新等，一种基于K-means和LDA双向验证的网络行为习惯聚类方法.中国专利公开号：CN106202480A,2016.12.07；朱全银，辛诚，刘斌，潘舒新等，一种基于分类语料库-关键词词频-记录关联的网络行为习惯量化方法.中国专利公开号CN106202498A,2016.12.07；李翔，朱全银，胡荣林，周泓.一种基于谱聚类的冷链物流配载智能推荐方法.中国专利公开号:CN105654267A,2016.06.08。
TF-IDF：
TF-IDF(Term Frequency–Inverse Document Frequency)是一种用于资讯检索与文本挖掘的常用加权技术。在一份给定的文件里，词频(Term Frequency，TF)指的是某一个给定的词语在该文件中出现的次数；逆向文件频率(Inverse Document Frequency，IDF)是一个词语普遍重要性的度量，某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。
朴素贝叶斯方法：
朴素贝叶斯方法是文本分类的一种热门方法，文本分类是以词频为特征判断文件所属类别或其他的问题。朴素贝叶斯分类器是一系列以假设特征之间强独立下运用贝叶斯定理为基础的简单概率分类器。朴素贝叶斯分类器是高度可扩展的，因此需要数量与学习问题中的变量(特征/预测器)成线性关系的参数。最大似然训练可以通过评估一个封闭形式的表达式来完成，只需花费线性时间，而不需要其他很多类型的分类器所使用的费时的迭代逼近。
拉普拉斯平滑参数：
拉普拉斯平滑(Lamplace Smoothing)是一种比较常用的平滑方法，用于解决零概率问题。所谓的零概率问题，就是在计算新实例的概率时，如果某个分量在训练集中从没出现过，会导致整个实例的概率计算结果为0。针对这种情况，使用拉普拉斯平滑值后，在计算数据的最大似然估计时，会在计算公式中加上取值范围的大小，从而修正朴素贝叶斯算法，避免了零概率的出现。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供一种减少网页浏览数据量，节约时间；能够准确反映人员的网页浏览行为的多维度网页浏览行为评估方法。
技术方案：为解决上述技术问题，本发明提供的一种多维度网页浏览行为评估方法，包括如下步骤：
步骤一：对搜狗语料库中的文本分词，计算词语的词频TF和逆向文件概率IDF作为文本特征，采用朴素贝叶斯方法对语料库进行文本分类训练，得到文本训练集，对搜狗语料库中的文本折半切分，得到验证测试集，通过遍历，得到最优拉普拉斯平滑参数Alpha；
步骤二：通过一种改进型的自适应网页爬取方法，对待处理的网页浏览数据进行标题数据的爬取，得到处理后的已浏览网页标题集；
步骤三：对步骤二中处理后的已浏览网页标题集进行分词，得到网页分词集，使用步骤一中的拉普拉斯平滑参数Alpha的朴素贝叶斯方法对网页分词集进行分类，得到已浏览网页分类集，设置网页类型判断阈值，将大于阈值的网页分词集加入文本训练集中；
步骤四：对处理后的网页分类、浏览时间、浏览终端等网页浏览数据进行预处理，采用终端-时间-分类判别方法对处理后的网页浏览数据进行评估，得到网页浏览行为评估结果。
进一步的，所述步骤一中得到最优拉普拉斯平滑参数Alpha的具体方法为：
步骤1.1：定义网页分类类型、搜狗语料库文本类型和停用词；
步骤1.2：对搜狗语料库中的文本进行分词并且剔除停用词；
步骤1.3：计算分词后文本词语的词频TF和逆向文件概率IDF；
步骤1.4：以TF-IDF作为文本特征，使用朴素贝叶斯方法训练搜狗语料库中的文本，得到文本训练集；
步骤1.5：将搜狗语料库中的文本折半拆分，作为验证测试集，通过遍历，得到使用朴素贝叶斯方法时的最优拉普拉斯平滑参数Alpha。
进一步的，所述步骤二中得到处理后的已浏览网页标题集的具体方法为：
步骤2.1：定义已浏览网页地址集、网页停用词集和已浏览网页标题集；
步骤2.2：将已浏览网页地址集中的URL按照目录分隔符“/”进行切割，得到处理后的URL，使用网页爬取程序按照从右至左依次爬取URL，获取网页中的title、description和keywords，并且剔除网页停用词；
步骤2.3：当爬取到最后一个URL时，将URL按照域名分隔符“.”进行切割，得到处理后的URL，使用网页爬取程序按照从左至右依次爬取URL，获取网页中的title、description和keywords，并且剔除网页停用词；
步骤2.4：将步骤2.2和步骤2.3中得到的网页数据加入到网页标题集中，得到处理后的已浏览网页标题集。
进一步的，所述步骤三中得到已浏览网页分类集，并通过阈值判断重新对文本训练集进行训练的具体方法为：
步骤3.1：定义网页类型判断阈值为0.82；
步骤3.2：对处理好的已浏览网页标题集进行分词，得到网页标题分词集，使用拉普拉斯平滑参数为Alpha的朴素贝叶斯方法对网页进行分类，得到已浏览网页分类集和对应的网页类型召回率集；
步骤3.3：将召回率大于网页类型判断阈值的网页分词集加入到文本训练集中，重新对文本训练集进行训练。
进一步的，所述步骤四中得到网页浏览行为评估结果的具体方法为：
步骤4.1：定义浏览网页时的停留时间集、浏览终端集、网页有效浏览集、网页无效浏览集和网页数据信息集；
步骤4.2：对不同终端浏览不同类型的网站的停留时间设置有效阈值，得到网页浏览有效阈值集；
步骤4.3：判断网页数据信息是否大于对应的有效阈值，如果大于阈值，将对应的网页分类信息加入到网页有效浏览集中；否则加入到网页无效浏览集中；
步骤4.4：统计网页有效浏览集中每种网页类型的数量，得到数量最多的前三种网页类型，即为网页浏览行为评估结果。
与现有技术相比，本发明的优点在于：
本发明方法利用网页浏览数据，有效的分析了网页浏览行为，增加了网页浏览行为评估的准确性，具体的：本发明利用网页浏览数据进行数据挖掘，首先使用朴素贝叶斯方法对搜狗语料库中的文本进行训练，得到文本训练集并通过遍历得到最优拉普拉斯平滑参数Alpha，然后使用脚本爬取网页浏览数据集中的URL，获取网页中的指定内容，并将其进行分词，使用拉普拉斯平滑参数为Alpha的朴素贝叶斯方法对网页进行分类，得到已浏览网页分类集，引入浏览网页时的停留时间、浏览终端数据，针对不同终端浏览不同类型的网页设定有效停留时间阈值，对网页浏览数据进行判断，得到网页有效浏览集，统计有效浏览网页类型数量最多的前三项即为网页浏览行为的评估结果。本发明有效的分析了网页浏览数据，增加了网页浏览行为评估的准确性。此外，本发明创造性地提出了一种自适应性网页爬取方法用于获取网页的标题内容，提高了网页爬取的抓全率。
附图说明
图1为本发明的总体流程图；
图2为图1中文本分词和遍历搜索最优平滑参数方法的流程图；
图3为图1中使用自适应性网页爬取方法获取网页标题的流程图；
图4为图1中网页分类的流程图；
图5为图1中采用多维度数据对网页浏览信息进行分析的流程图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
本发明包括如下步骤：
步骤一：对搜狗语料库中的文本分词，计算词语的词频TF和逆向文件概率IDF并作为文本特征，采用朴素贝叶斯方法对语料库进行文本分类训练，得到文本训练集，对搜狗语料库中的文本折半切分，得到验证测试集，通过遍历，得到最优拉普拉斯平滑参数Alpha，具体的如图2所示：
步骤1.1：定义CATE1,CATE2,CATE3,CATE4,CATE5,CATE6,CATE7,CATE8,CATE9分别为财经、互联网、健康、教育、军事、旅游、体育、文化和其他类别文本集，定义SougouC为搜狗语料库集，SougouC＝{CATE1，CATE2,…,CATE9}，CATEi＝{txti1,txti2,…,txtin}，其中，txtin为CATEi文本集中的第n篇文本，i∈[1,9]，n∈[1,1990]；
步骤1.2：定义文本停用词集SWORD＝{sword1,sword2,…,wordsw}；
步骤1.3：对步骤1.1得到的CATEi中的文本进行分词，得到文本分类词语集PCATE＝{PCA1,PCA2,…PCA9}，其中，PCAi＝{wrod1,word2,…,wordk}，i∈[1,9]；
步骤1.4：从PCATE中剔除步骤1.2中定义的SOWRD，得到新的文本分类词语集NPCATE＝PCATE-SOWRD；
步骤1.5：计算NPCATE的词语频数和逆向文件概率，分别得到词语频数集TF和逆向文件概率集IDF；
步骤1.6：将TF-IDF作为数据分类的文本特征，使用朴素贝叶斯方法对步骤1.4得到的NPCATE进行训练，得到文本训练集CLF；
步骤1.7：将步骤1.1中的CATEi文本折半切分，得到验证测试集NTESTe＝{txte1,txte2,…,txtew}，其中，txtew为NTESTe文本集中的第w篇文本，e∈[1,9]，w∈[1,995]；
步骤1.8：定义拉普拉斯平滑参数Alpha和判断变量SD，均赋初值为0；
步骤1.9：当Alpha<＝1时，执行步骤1.10；否则执行步骤1.13；
步骤1.10：使用朴素贝叶斯方法对步骤1.7中得到的NTEST进行分类，得到待测文本召回率Recall；
步骤1.11：将分类结果与CATE中的文本比较，得到分类召回率PER，如果Recall>PER，则SD＝Alpha；
步骤1.12：Alpha＝Alpha+0.1；
步骤1.13：得到最优拉普拉斯平滑参数Alpha＝SD。
步骤二：通过一种改进型的自适应网页爬取方法，对待处理的网页浏览数据进行标题数据的爬取，得到处理后的已浏览网页标题集，具体的如图3所示：
步骤2.1：定义已浏览网页地址集WE＝{web1,web2,…,webdr}，定义网页停用词集WR＝{wword1,wword2,…,wwordro}，定义已浏览网页标题集WT＝{webt1,webt2,…,webtdr}；
步骤2.2：定义循环变量n，用于遍历步骤2.1中的WE，webn为WE中第n个网页，其中，n赋初值为1；
步骤2.3：当循环变量n<＝dr时，执行步骤2.4；否则执行步骤2.15；
步骤2.4：去除URL中webn的前缀’http://’和’www.’，定义URL中的目录分隔符’/’的数量为NUM，将URL按照目录分隔符’/’切分为WS＝{webs1,webs2,…,websws}，其中，ws＝LNUM+1，定义采用本步骤处理后的URL为NWSws＝webs1+webs2+…+websws；
步骤2.5：定义循环变量wn，用来遍历步骤2.4中的NWS，其中NWSwn为NWS中第wn个网页，其中，wn赋初值为ws；
步骤2.6：当循环变量wn>1时，执行步骤2.7；否则执行步骤2.9；
步骤2.7：使用脚本爬取URL NWSwn中title、description、keywords的字符串，得到网页标题集webt＝{title,description,keywords}-WR；
步骤2.8：wn＝wn-1；
步骤2.9：定义URL中NWSwn中域名分隔符’.’的数量为DNUM，根据域名分隔符‘.’将URL切分为OWS＝{owebs1，owebs2,…,owebsso},其中，so＝DNUM+1，定义采用本步骤处理后得到的URL为OWSso＝owebs1+owebs2+…+owebsso；
步骤2.10：定义循环变量ws用来遍历步骤2.9中的OWS，其中OWSws为OWS中第ws个网页，其中，ws赋初值so；
步骤2.11：当循环变量ws>2时，执行步骤2.12；否则执行步:2.14；
步骤2.12：使用脚本爬取URL OWSwf中title、description、keywords的字符串，得到网页标题集webt＝{title,description,keywords}-WR；
步骤2.13：ws＝ws-1；
步骤2.14：n＝n+1；
步骤2.15：得到处理后的已浏览网页标题集WT＝{webt1,webt2,…,webtdr}；
步骤三：对处理后的已浏览网页标题集进行分词，得到网页分词集，使用拉普拉斯平滑参数为Alpha的朴素贝叶斯方法对网页分词集进行分类，得到已浏览网页分类集，设置网页类型判断阈值，将大于阈值的网页分词集加入文本训练集中，具体的如图4所示：
步骤3.1：定义网页类型判断阈值Beta＝0.82；
步骤3.2：将步骤2.15得到的已浏览网页标题集WT进行分词，得到网页标题分词集WPT＝{webword1,webword2,…,webworddr}，其中，webworddr＝{eword1,eword2,…,ewords}；
步骤3.3：使用拉普拉斯平滑参数为Alpha的朴素贝叶斯方法对步骤3.2中得到的WPT进行分类，得到已浏览网页分类集WC＝{wc1,wc2,…,wcdr}，以及对应的网页类型召回率WP＝{wp1,wp2,…,wpdr}；
步骤3.4：定义循环变量k用于遍历步骤3.3中的WP，WPk为WP中第k的网页的准确率，其中，k赋初值为1；
步骤3.5：当循环变量k<dr时，执行步骤3.6；否则执行步骤3.9；
步骤3.6：当循环变量wpk>Beta时，执行步骤3.7；否则执行步骤3.8；
步骤3.7：将对应的webwordk加入步骤1.6得到的文本训练集CLF中，重新对文本训练集进行训练；
步骤3.8：k＝k+1；
步骤3.9：得到处理后的已浏览网页分类集WC＝{webc1,webc2,…,webcdr}；
步骤四：对处理后的网页分类、浏览时间、浏览终端等网页浏览数据进行预处理，采用终端-时间-分类判别方法对处理后的网页浏览数据进行评估，得到网页浏览行为评估结果，具体的如图5所示：
步骤4.1：定义浏览网页时的停留时间集和浏览终端集分别为WM＝{webme1,webme2,…,webmedr}，WD＝{webd1,webd2,…,webddr}，其中，webmedr为浏览网页webdr所用的时间，webddr为浏览网页webdr时所使用的终端设备；
步骤4.2：定义网页数据信息集IWF＝WM+WD+WC；
步骤4.3：定义网页有效浏览集和网页无效浏览集分别为TSU和NTSU；
步骤4.4：定义网页浏览有效阈值集JUA＝{jua1,1,1,jua1,1,2,…,juaj,u,a}，其中，juaj,u,a表示使用j终端浏览u类型网页时停留时间为a秒；
步骤4.5：定义循环变量f用于遍历步骤4.2中得到的IWF，IWFf为IWF第f网页使用终端浏览页面的停留时间，其中，f赋初值为1；
步骤4.6：当循环变量f<dr时，执行步骤4.7；否则执行步骤4.11；
步骤4.7：当循环变量IWFf<JUA时，执行步骤4.8；否则执行步骤4.9；
步骤4.8：将IWFf加入到NTSU，即，NTSU＝NTSU∪IWFf；
步骤4.9：将IWFf加入到TSU，即，TSU＝TSU∪IWFf；
步骤4.10：f＝f+1；
步骤4.11：统计TSU中不同网页类型的数量SUMCAT＝{scat1,scat2,…,scat9}，scatst代表st类的网页数量，其中，st∈[1，9]；
步骤4.12：得到网页浏览行为评估集REC＝{re1,re2,re3}，其中，re1，re2，re3为步骤4.11得到的SUMCAT中网页数量最大的前3种网页类型；
其中，步骤一中通过遍历得到的最优拉普拉斯平滑参数Alpha取值为0.8，步骤四中的网页有效阈值集的取值为：使用PC端浏览财经、互联网、健康、教育、军事、旅游、体育、文化的有效时间阈值分别为5秒、5秒、3秒、3秒、2秒、6秒、4秒和9秒；使用移动设备浏览财经、互联网、健康、教育、军事、旅游、体育、文化的有效时间阈值分别为2秒、2.5秒、3秒、2秒、2.5秒、2秒和5秒。
为了更好的说明本方法的有效性，抽取1000名人员的1023156条网页浏览数据进行分析。首先通过朴素贝叶斯方法对搜狗语料库的17910篇文本进行训练，得到文本分类训练集。爬取URL的网页标题并采用平滑参数为0.86的朴素贝叶斯方法对网页进行分类，根据对应的阈值得到有效浏览网页集和网页浏览行为评估结果。采用直接访问网页的方式获取网页标题，能够获取到223042个网页的网页标题，占总数的21.7％，能够评估623名人员的网页浏览行为，占总数的62.3％；采用本发明方法的步骤，能够获取到664028个有效的网页标题，占总数的64.9％，相比于直接访问页面提高了43.2％；最终能够评估729名人员的网页浏览行为，占总数的72.9％，相比于人工提高了10.6％。
以上所述仅为本发明的实施例子而已，并不用于限制本发明。凡在本发明的原则之内，所作的等同替换，均应包含在本发明的保护范围之内。本发明未作详细阐述的内容属于本专业领域技术人员公知的已有技术。
Claims (4)
1.一种多维度网页浏览行为评估方法，其特征在于，包括如下步骤：
步骤一：对搜狗语料库中的文本分词，计算词语的词频TF和逆向文件概率IDF作为文本特征，采用朴素贝叶斯方法对语料库进行文本分类训练，得到文本训练集，对搜狗语料库中的文本折半切分，得到验证测试集，通过遍历，得到最优拉普拉斯平滑参数Alpha；
步骤二：通过一种改进型的自适应网页爬取方法，对待处理的网页浏览数据进行标题数据的爬取，得到处理后的已浏览网页标题集；
步骤三：对步骤二中处理后的已浏览网页标题集进行分词，得到网页标题分词集，使用步骤一中的拉普拉斯平滑参数Alpha的朴素贝叶斯方法对网页标题分词集进行分类，得到已浏览网页分类集，设置网页类型判断阈值，将大于阈值的网页标题分词集加入文本训练集中；
步骤四：对处理后的网页分类、浏览时间、浏览终端的网页浏览数据进行预处理，采用终端-时间-分类判别方法对处理后的网页浏览数据进行评估，得到网页浏览行为评估结果；
所述步骤二中得到处理后的已浏览网页标题集的具体方法为：
步骤2.1：定义已浏览网页地址集、网页停用词集和已浏览网页标题集；
步骤2.2：将已浏览网页地址集中的URL按照目录分隔符“/”进行切割，得到处理后的URL，使用网页爬取程序按照从右至左依次爬取URL，获取网页中的title、description和keywords，并且剔除网页停用词；
步骤2.3：当爬取到最后一个URL时，将URL按照域名分隔符“.”进行切割，得到处理后的URL，使用网页爬取程序按照从左至右依次爬取URL，获取网页中的title、description和keywords，并且剔除网页停用词；
步骤2.4：将步骤2.2和步骤2.3中得到的网页数据加入到网页标题集中，得到处理后的已浏览网页标题集。
2.根据权利要求1所述的一种多维度网页浏览行为评估方法，其特征在于，所述步骤一中得到最优拉普拉斯平滑参数Alpha的具体方法为：
步骤1.1：定义网页分类类型、搜狗语料库文本类型和停用词；
步骤1.2：对搜狗语料库中的文本进行分词并且剔除停用词；
步骤1.3：计算分词后文本词语的词频TF和逆向文件概率IDF；
步骤1.4：以TF-IDF作为文本特征，使用朴素贝叶斯方法训练搜狗语料库中的文本，得到文本训练集；
步骤1.5：将搜狗语料库中的文本折半拆分，作为验证测试集，通过遍历，得到使用朴素贝叶斯方法时的最优拉普拉斯平滑参数Alpha。
3.根据权利要求1所述的一种多维度网页浏览行为评估方法，其特征在于，所述步骤三中得到已浏览网页分类集，并通过阈值判断重新对文本训练集进行训练的具体方法为：
步骤3.1：定义网页类型判断阈值为0.82；
步骤3.2：对处理好的已浏览网页标题集进行分词，得到网页标题分词集，使用拉普拉斯平滑参数为Alpha的朴素贝叶斯方法对网页标题分词集进行分类，得到已浏览网页分类集和对应的网页类型召回率集；
步骤3.3：将召回率大于网页类型判断阈值的网页标题分词集加入到文本训练集中，重新对文本训练集进行训练。
4.根据权利要求1所述的一种多维度网页浏览行为评估方法，其特征在于，所述步骤四中得到网页浏览行为评估结果的具体方法为：
步骤4.1：定义浏览网页时的停留时间集、浏览终端集、网页有效浏览集、网页无效浏览集和网页数据信息集；
步骤4.2：对不同终端浏览不同类型的网站的停留时间设置有效阈值，得到网页浏览有效阈值集；
步骤4.3：判断网页数据信息是否大于对应的有效阈值，如果大于阈值，将对应的网页分类信息加入到网页有效浏览集中；否则加入到网页无效浏览集中；
步骤4.4：统计网页有效浏览集中每种网页类型的数量，得到数量最多的前三种网页类型，即为网页浏览行为评估结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710054675.8A CN106886577B (zh) | 2017-01-24 | 2017-01-24 | 一种多维度网页浏览行为评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710054675.8A CN106886577B (zh) | 2017-01-24 | 2017-01-24 | 一种多维度网页浏览行为评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106886577A CN106886577A (zh) | 2017-06-23 |
| CN106886577B true CN106886577B (zh) | 2020-02-07 |
Family
ID=59176581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710054675.8A Active CN106886577B (zh) | 2017-01-24 | 2017-01-24 | 一种多维度网页浏览行为评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106886577B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280114B (zh) * | 2017-07-28 | 2022-01-28 | 淮阴工学院 | 一种基于深度学习的用户文献阅读兴趣分析方法 |
| CN109710825A (zh) * | 2018-11-02 | 2019-05-03 | 成都三零凯天通信实业有限公司 | 一种基于机器学习的网页有害信息识别方法 |
| CN110209883B (zh) * | 2019-06-06 | 2020-02-07 | 王慧斌 | 一种用户历史数据有效性判断的方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101477557A (zh) * | 2009-01-13 | 2009-07-08 | 苏州智讯科技有限公司 | 一种理解用户互联网浏览行为的媒体展现平台 |
| CN101770520A (zh) * | 2010-03-05 | 2010-07-07 | 南京邮电大学 | 基于用户浏览行为的用户兴趣建模方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8205166B2 (en) * | 2007-07-20 | 2012-06-19 | International Business Machines Corporation | Methods for organizing information accessed through a web browser |
-
2017
- 2017-01-24 CN CN201710054675.8A patent/CN106886577B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101477557A (zh) * | 2009-01-13 | 2009-07-08 | 苏州智讯科技有限公司 | 一种理解用户互联网浏览行为的媒体展现平台 |
| CN101770520A (zh) * | 2010-03-05 | 2010-07-07 | 南京邮电大学 | 基于用户浏览行为的用户兴趣建模方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106886577A (zh) | 2017-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717047B (zh) | 一种基于图卷积神经网络的Web服务分类方法 | |
| CN107577759B (zh) | 用户评论自动推荐方法 | |
| Suresh | An unsupervised fuzzy clustering method for twitter sentiment analysis | |
| WO2017097231A1 (zh) | 话题处理方法及装置 | |
| CN107766323B (zh) | 一种基于互信息和关联规则的文本特征提取方法 | |
| CN107506472B (zh) | 一种学生浏览网页分类方法 | |
| JP2005302043A (ja) | 検索語提案のためのマルチ型データオブジェクトの強化されたクラスタリング | |
| CN101814083A (zh) | 网页自动分类方法和系统 | |
| WO2020233344A1 (zh) | 一种搜索方法、装置及存储介质 | |
| Hensinger et al. | Modelling and predicting news popularity | |
| CN106886577B (zh) | 一种多维度网页浏览行为评估方法 | |
| Yang et al. | A topic model for co-occurring normal documents and short texts | |
| CN112199508A (zh) | 一种基于远程监督的参数自适应农业知识图谱推荐方法 | |
| Yang et al. | Web image search re-ranking with click-based similarity and typicality | |
| CN116362811A (zh) | 一种基于大数据的广告自动化投放管理系统 | |
| Dong et al. | An adult image detection algorithm based on Bag-of-Visual-Words and text information | |
| CN107766419B (zh) | 一种基于阈值去噪的TextRank文档摘要方法及装置 | |
| CN106294295B (zh) | 基于词频的文章相似度识别方法 | |
| TW201243627A (en) | Multi-label text categorization based on fuzzy similarity and k nearest neighbors | |
| CN108647263B (zh) | 一种基于网页切分爬取的网络地址置信度评估方法 | |
| Li et al. | A discriminative approach to sentiment classification | |
| Chen | A study of optimizing search engine results through user interaction | |
| Özyirmidokuz | Mining unstructured Turkish economy news articles | |
| Mao et al. | A novel fast framework for topic labeling based on similarity-preserved hashing | |
| CN114329206A (zh) | 标题生成方法和装置、电子设备、计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20170623 Assignee: Fanyun software (Nanjing) Co.,Ltd. Assignor: HUAIYIN INSTITUTE OF TECHNOLOGY Contract record no.: X2021980010526 Denomination of invention: A multi-dimensional web browsing behavior evaluation method Granted publication date: 20200207 License type: Common License Record date: 20211011 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231208 Address after: Room 308, Building 1, No. 9 Haikou Road, Huai'an Economic and Technological Development Zone, Huai'an City, Jiangsu Province, 223005 Patentee after: Huai'an Jinyun Network Technology Co.,Ltd. Address before: 223005 Jiangsu Huaian economic and Technological Development Zone, 1 East Road. Patentee before: HUAIYIN INSTITUTE OF TECHNOLOGY |
|
| TR01 | Transfer of patent right | ||
| EC01 | Cancellation of recordation of patent licensing contract |
Assignee: Fanyun software (Nanjing) Co.,Ltd. Assignor: HUAIYIN INSTITUTE OF TECHNOLOGY Contract record no.: X2021980010526 Date of cancellation: 20240516 |
|
| EC01 | Cancellation of recordation of patent licensing contract |