CN106776678A - 新的关键词优化实现搜索引擎优化技术 - Google Patents

新的关键词优化实现搜索引擎优化技术 Download PDF

Info

Publication number
CN106776678A
CN106776678A CN201610948679.6A CN201610948679A CN106776678A CN 106776678 A CN106776678 A CN 106776678A CN 201610948679 A CN201610948679 A CN 201610948679A CN 106776678 A CN106776678 A CN 106776678A
Authority
CN
China
Prior art keywords
keyword
word
above formula
text
optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610948679.6A
Other languages
English (en)
Inventor
金平艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yonglian Information Technology Co Ltd
Original Assignee
Sichuan Yonglian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yonglian Information Technology Co Ltd filed Critical Sichuan Yonglian Information Technology Co Ltd
Priority to CN201610948679.6A priority Critical patent/CN106776678A/zh
Publication of CN106776678A publication Critical patent/CN106776678A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

新的关键词优化实现搜索引擎优化技术，先网页主题内容抓取，再进行词语切分，应用改进的目标函数计算词语贡献值，设定阈值消除关键词冗余性，设定的阈值解决覆盖性，设定条件实现关键词的连贯性，验证词语的相关性、是否有意义、是否具有信息量的不足，根据每个词语贡献值对词语进行相关排序，关键词插入位置分析，最后达到优化的效果，本发明为后续的长尾关键词优化提供技术支持，得到更高效率的关键词，能帮助网站在短时间内快速提升关键词的排名，即考虑了主题关键词的覆盖性，又考虑了其连贯性和简洁性，考虑的因素更全面，得到的关键词准确度更高，同时评价了关键词的相关性、是否有意义、是否具有信息量，从而达到网站优化目标。

Description

新的关键词优化实现搜索引擎优化技术
技术领域
本发明涉及语义网络技术领域，具体涉及新的关键词优化实现搜索引擎优化技术。
背景技术
目前，基于统计的关键词抽取方法得到了广泛发展，主要包括词频，共现频率，得分，首次出现位置等统计信息。一些较常用的机器学习方法，包括遗传算法，支持向量机，最大熵模型，条件随机场等也渐渐的应用到关键词抽取领域中。一些研宄证明语言学的知识可以帮助关键词抽取任务，因此它们将语言学信息加入关键词抽取的研宄中，包括词性，语法，句法，依存关系等。近年来，基于图模型的关键词抽取算法发展较为迅速，这类算法一般将词语或句子抽象成图的结点，再根据节点的共现信息构建网络。我们发现已有方法大都是对每个候选关键词按照重要性进行打分并排序，然后选择排名较高的若干关键词作为最终关键词。而若干个高质量关键词的组合并不一定是高质量的。所以，除了优化关键词的个体质量，对关键词整体质量的优化也是很有必要的。另外评价关键词的相关性、是否有意义、是否具有信息量也是有必要的。基于上述需求，本发明提供了一种新的关键词优化实现搜索引擎优化技术。
发明内容
针对网页中提取关键词的准确度不足问题、关键词的整体质量优化不足问题以及评价关键词的相关性、是否有意义、是否具有信息量的不足，本发明提供了新的关键词优化实现搜索引擎优化技术。
为了解决上述问题，本发明是通过以下技术方案实现的：
步骤1：网页主题内容抓取；
步骤2：对上述文档进行词语切分；
步骤3：计算词语贡献值；
步骤4：验证词语的相关性、是否有意义、是否具有信息量的不足。
步骤5：关键词抓取，即根据每个词语贡献值对词语进行相关排序；
步骤6：关键词插入位置分析；
步骤7：将关键词按顺序插入网页中，达到优化的效果；
本发明有益效果是：
1、提取的关键词排序顺序更符合经验值
2、为后续的长尾关键词优化提供技术支持
3、在网站优化方面，提供更高效率的关键词
4、能帮助网站在短时间内快速提升其关键词的排名。
5、即考虑了主题关键词的覆盖性，又考虑了其连贯性和简洁性。
6、此算法考虑的因素更全面，得到的关键词准确度更高。
7、评价了关键词的相关性、是否有意义、是否具有信息量
附图说明
图1新的关键词优化实现搜索引擎优化技术结构流程图
图2 n元语法分词算法图解
图3中文文本预处理过程流程图
图4词汇语义网络模型图
具体实施方式
为了解决网页中提取关键词的准确度不足问题、关键词的整体质量优化不足问题以及评价关键词的相关性、是否有意义、是否具有信息量的问题，结合图1-图4对本发明进行了详细说明，其具体实施步骤如下：
步骤1：网页主题内容抓取，其具体描述过程如下：
一般将要抓取的网页分为两部分内容：一部分是网页的主题内容；另一部分则是与主题无关的“网页噪音”，例如广告、推广链接等。实际上，网页的主题内容才是需要抓取的。可以使用“Firefox”的附加组件“Data Scraper”和“Meta Studio”对网页进行抓取，保留网页的主题内容，去除“网页噪音”，并将抓取到的网页的主题内容转换为“Word”格式的文档，以方便后续操作。
步骤2：对上述文档进行词语切分，其具体切分技术如下：
步骤2.1：根据《分词词典》找到待分词句子中与词典中匹配的词，把待分词的汉字串完整的扫描一遍，在系统的词典里进行查找匹配，遇到字典里有的词就标识出来；如果词典中不存在相关匹配，就简单地分割出单字作为词；直到汉字串为空。
步骤2.2：依据概率统计学，将待分词句子拆分为网状结构，即得n个可能组合的句子结构，把此结构每条顺序节点依次规定为SM1M2M3M4M5E，其结构图如图2所示。
步骤2.3：基于信息论方法，给上述网状结构每条边赋予一定的权值，其具体计算过程如下：
根据《分词词典》匹配出的字典词与未匹配的单个词，第i条路径包含词的个数为ni。即n条路径词的个数集合为(n1，n2，…，nn)。
得min()＝min(n1，n2，…，nn)
在上述留下的剩下的(n-m)路径中，求解每条相邻路径的权重大小。
在统计语料库中，计算每个词的信息量X(Ci)，再求解路径相邻词的共现信息量X(Ci，Ci+1)。既有下式：
X(Ci)＝|x(Ci)1-x(Ci)2|
上式x(Ci)1为文本语料库中词Ci的信息量，x(Ci)2为含词Ci的文本信息量。
x(Ci)1＝-p(Ci)1lnp(Ci)1
上式p(Ci)1为Ci在文本语料库中的概率，n为含词Ci的文本语料库的个数。
x(Ci)2＝-p(Ci)2lnp(Ci)2
上式p(Ci)2为含词Ci的文本数概率值，N为统计语料库中文本总数。
同理X(Ci，Ci+1)＝|x(Ci，Ci+1)1-x(Ci，Ci+1)2|
x(Ci，Ci+1)1为在文本语料库中词(Ci，Ci+1)的共现信息量，x(Ci，Ci+1)2为相邻词(Ci，Ci+1)共现的文本信息量。
同理x(Ci，Ci+1)1＝-p(Ci，Ci+1)1lnp(Ci，Ci+1)1
上式p(Ci，Ci+1)1为在文本语料库中词(Ci，Ci+1)的共现概率，m为在文本库中词(Ci，Ci+1)共现的文本数量。
x(Ci，Ci+1)2＝-p(Ci，Ci+1)2lnp(Ci，Ci+1)2
p(Ci，Ci+1)2为文本库中相邻词(Ci，Ci+1)共现的文本数概率。
综上可得每条相邻路径的权值为
w(Ci，Ci+1)＝X(Ci)+X(Ci+1)-2X(Ci，Ci+1)
步骤2.4：找到权值最大的一条路径，即为待分词句子的分词结果，其具体计算过程如下：
有n条路径，每条路径长度不一样，假设路径长度集合为(L1，L2，…，Ln)。
假设经过取路径中词的数量最少操作，排除了m条路径，m<n。即剩下(n-m)路径，设其路径长度集合为
则每条路径权重为:
上式分别为第1,2到路径边的权重值，根据步骤1.4可以一一计算得出，为剩下(n-m)路径中第Sj条路径的长度。
权值最大的一条路径:
步骤2.5：根据停用表对文本词汇进行去停用词处理，其具体描述如下：
停用词是指在文本中出现频率高，但对于文本标识却没有太大作用的单词。去停用词的过程就是将特征项与停用词表中的词进行比较，如果匹配就将该特征项删除。
综合分词和删除停用词技术,中文文本预处理过程流程图如图3。
步骤3：计算词语贡献值，其具体计算过程如下：
目标函数
上式Si为关键词Ci在文档主题库中的方差，用于区分主题库中的文档，上式p(Ci/Tm)为关键词Ci属于话题Tm的概率，为关键词Ci在话题库中属于话题Tm的话题数，k为属于话题Tm的关键词个数，ε为一平滑因子，Wi为关键词Ci在主题文档中的权重，n为主题库中文档的个数，α为关键词Ci在主题网页中第一次出现的位置权重，β为关键词Ci的词性权重，pi关键词Ci在主题文档中出现的概率。
为了消除关键字的冗余性，合并关键字，用下式约束条件：
上式A、B分别为深度D(ICN)和密度M(ICN)的影响系数，A+B＝1；
设定sim(Ci/Cj)＞σ
当满足上式合并关键词，关键词权重变化为之和；
为了使得提取的关键词具有覆盖性，应用下式约束条件：
设定p(Ci/Tm)＞δ
上式p(Ci/Tm)为关键词Ci属于话题Tm的概率，为关键词Ci在话题库中属于话题Tm的话题数，k为属于话题Tm的关键词个数，ε为一平滑因子，δ为阈值，当满足上式则提取关键词。
为了实现关键词的连贯性，应用下式约束条件：
设定条件
上式n(Ci，Cj)为关键词(Ci，Cj)在文档中共现的次数，n(Ci)为关键词Ci在文档中共现的次数，n(Cj)关键词Cj在文档中共现的次数，τ为实验的平滑因子，γ为阈值，当满足上式条件，则这两关键词都提取。
最后得到的关键词按从大到小顺序排序，既得关键词集合J1
步骤4：验证词语的相关性、是否有意义、是否具有信息量的不足，需其具体计算过程如下：
综合根据步骤3得到的关键词顺序与主题文档构造语义网络模型图，如图4 所示；
赋予上述语义网络模型图边的权重，边权重公式如下：
平均两点间的权重公式为：
上式l为两点间经过的路径，N为两点间路径的总数，
剔除关键词Ci，平均两点间的距离为：
上式N′为剔除关键词Ci后两点间路径总数。
综上所述，得
根据import(Ci)的值对上述关键词集合J1重新进行排序得到J2，进而利用下面准确率和召回率公式判定步骤4的结果准确率，即
综合准确率和召回率判定步骤4的结果准确率，即
上式J1∩J2为集合J1与集合J2中关键词正确排序的个数。
步骤5：关键词抓取，即根据每个词语贡献值对词语进行相关排序；
步骤6：关键词插入位置分析；
步骤7：将关键词按顺序插入网页中，达到优化的效果。

Claims (3)

1.新的关键词优化实现搜索引擎优化技术，本发明涉及语义网络技术领域，具体涉及新的关键词优化实现搜索引擎优化技术，其特征是，包括如下步骤：
步骤1：网页主题内容抓取，其具体描述过程如下：
一般将要抓取的网页分为两部分内容：一部分是网页的主题内容；另一部分则是与主题无关的“网页噪音”，例如广告、推广链接等，实际上，网页的主题内容才是需要抓取的，可以使用“Firefox”的附加组件“Data Scraper”和“Meta Studio”对网页进行抓取，保留网页的主题内容，去除“网页噪音”，并将抓取到的网页的主题内容转换为“Word”格式的文档，以方便后续操作
步骤2：对上述文档进行词语切分，其具体切分技术如下：
步骤2.1：根据《分词词典》找到待分词句子中与词典中匹配的词，把待分词的汉字串完整的扫描一遍，在系统的词典里进行查找匹配，遇到字典里有的词就标识出来；如果词典中不存在相关匹配，就简单地分割出单字作为词；直到汉字串为空
步骤2.2：依据概率统计学，将待分词句子拆分为网状结构，即得n个可能组合的句子结构，把此结构每条顺序节点依次规定为，其结构图如图2所示
步骤2.3：基于信息论方法，给上述网状结构每条边赋予一定的权值，其具体计算过程如下：
根据《分词词典》匹配出的字典词与未匹配的单个词，第i条路径包含词的个数为，即n条路径词的个数集合为
得
在上述留下的剩下的(n-m)路径中，求解每条相邻路径的权重大小，
在统计语料库中，计算每个词的信息量，再求解路径相邻词的共现信息量，既有下式：
上式为文本语料库中词的信息量，为含词的文本信息量
上式为在文本语料库中的概率，n为含词的文本语料库的个数
上式为含词的文本数概率值，N为统计语料库中文本总数
同理
为在文本语料库中词的共现信息量，为相邻词共现的文本信息量
同理
上式为在文本语料库中词的共现概率，m为在文本库中词共现的文本数量
为文本库中相邻词共现的文本数概率
综上可得每条相邻路径的权值为
步骤2.4：找到权值最大的一条路径，即为待分词句子的分词结果，其具体计算过程如下：
有n条路径，每条路径长度不一样，假设路径长度集合为
假设经过取路径中词的数量最少操作，排除了m条路径，m<n，即剩下(n-m)路径，设其路径长度集合为
则每条路径权重为:
上式分别为第1,2到 路径边的权重值，根据步骤1.4可以一一计算得出，为剩下(n-m)路径中第条路径的长度
权值最大的一条路径:
步骤2.5：根据停用表对文本词汇进行去停用词处理，其具体描述如下：
停用词是指在文本中出现频率高，但对于文本标识却没有太大作用的单词，去停用词的过程就是将特征项与停用词表中的词进行比较，如果匹配就将该特
征项删除
综合分词和删除停用词技术,中文文本预处理过程流程图如图3
步骤3：计算词语贡献值；
步骤4：验证词语的相关性、是否有意义、是否具有信息量的不足
步骤5：关键词抓取，即根据每个词语贡献值对词语进行相关排序；
步骤6：关键词插入位置分析；
步骤7：将关键词按顺序插入网页中，达到优化的效果。
2.根据权利要求1中所述的新的关键词优化实现搜索引擎优化技术，其特征是，以上所述步骤3中的具体计算过程如下：
步骤3：计算词语贡献值，其具体计算过程如下：
目标函数
上式为关键词在文档主题库中的方差，用于区分主题库中的文档，上式为关键词属于话题的概率，为关键词在话题库中属于话题的话题数，k为属于话题的关键词个数，为一平滑因子，为关键词在主题文档中的权重，n为主题库中文档的个数，为关键词在主题网页中第一次出现的位置权重，为关键词的词性权重，关键词在主题文档中出现的概率
为了消除关键字的冗余性，合并关键字，用下式约束条件：
上式A、B分别为深度和密度的影响系数，A+B=1；
设定
当满足上式合并关键词，关键词权重变化为之和；
为了使得提取的关键词具有覆盖性，应用下式约束条件：
设定
上式为关键词属于话题的概率，为关键词在话题库中属于话题的话题数，k为属于话题的关键词个数，为一平滑因子，为阈值，当满足上式则提取关键词
为了实现关键词的连贯性，应用下式约束条件：
设定条件
上式为关键词在文档中共现的次数，为关键词在文档中共现的次数，关键词在文档中共现的次数，为实验的平滑因子，为阈值，当满足上式条件，则这两关键词都提取
最后得到的关键词按从大到小顺序排序，既得关键词集合。
3.根据权利要求1中所述的新的关键词优化实现搜索引擎优化技术，其特征是，以上所述步骤4中的具体计算过程如下：
步骤4：验证词语的相关性、是否有意义、是否具有信息量的不足，需其具体计算过程如下：
综合根据步骤3得到的关键词顺序与主题文档构造语义网络模型图，如图4所示；
赋予上述语义网络模型图边的权重，边权重公式如下：
平均两点间的权重公式为：
上式l为两点间经过的路径，N为两点间路径的总数，
剔除关键词，平均两点间的距离为：
上式为剔除关键词后两点间路径总数
综上所述，得
根据的值对上述关键词集合重新进行排序得到，进而利用下面准确率和召回率公式判定步骤4的结果准确率，即
综合准确率和召回率判定步骤4的结果准确率，即
上式为集合与集合中关键词正确排序的个数。
CN201610948679.6A 2016-11-02 2016-11-02 新的关键词优化实现搜索引擎优化技术 Pending CN106776678A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610948679.6A CN106776678A (zh) 2016-11-02 2016-11-02 新的关键词优化实现搜索引擎优化技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610948679.6A CN106776678A (zh) 2016-11-02 2016-11-02 新的关键词优化实现搜索引擎优化技术

Publications (1)

Publication Number Publication Date
CN106776678A true CN106776678A (zh) 2017-05-31

Family

ID=58972767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610948679.6A Pending CN106776678A (zh) 2016-11-02 2016-11-02 新的关键词优化实现搜索引擎优化技术

Country Status (1)

Country Link
CN (1) CN106776678A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107908706A (zh) * 2017-11-08 2018-04-13 施少杰 覆盖式优化设置关键字的方法
CN108062406A (zh) * 2017-12-28 2018-05-22 中国联合网络通信集团有限公司 索引文件的构建方法及装置、检索方法和服务器
CN108804585A (zh) * 2018-05-25 2018-11-13 网宿科技股份有限公司 一种cdn系统中的数据处理方法和装置
CN109739953A (zh) * 2018-12-30 2019-05-10 广西财经学院 基于卡方分析-置信度框架和后件扩展的文本检索方法
CN113688209A (zh) * 2021-09-01 2021-11-23 江苏省城市规划设计研究院有限公司 一种通过调节关键词依存关系的文本语义网络构建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281645A (zh) * 2014-08-27 2015-01-14 北京理工大学 一种基于词汇语义和句法依存的情感关键句识别方法
CN104298746A (zh) * 2014-10-10 2015-01-21 北京大学 一种基于短语网络图排序的领域文献关键词提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281645A (zh) * 2014-08-27 2015-01-14 北京理工大学 一种基于词汇语义和句法依存的情感关键句识别方法
CN104298746A (zh) * 2014-10-10 2015-01-21 北京大学 一种基于短语网络图排序的领域文献关键词提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
冯波: "企业网站实施搜索引擎优化的基本策略研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
段利国等: "限定语义距离的关键词同义扩展及精简", 《计算机工程与应用》 *
王磊: "基于信息熵的中文文本分类算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107908706A (zh) * 2017-11-08 2018-04-13 施少杰 覆盖式优化设置关键字的方法
CN108062406A (zh) * 2017-12-28 2018-05-22 中国联合网络通信集团有限公司 索引文件的构建方法及装置、检索方法和服务器
CN108804585A (zh) * 2018-05-25 2018-11-13 网宿科技股份有限公司 一种cdn系统中的数据处理方法和装置
CN108804585B (zh) * 2018-05-25 2021-11-02 网宿科技股份有限公司 一种cdn系统中的数据处理方法和装置
CN109739953A (zh) * 2018-12-30 2019-05-10 广西财经学院 基于卡方分析-置信度框架和后件扩展的文本检索方法
CN113688209A (zh) * 2021-09-01 2021-11-23 江苏省城市规划设计研究院有限公司 一种通过调节关键词依存关系的文本语义网络构建方法
CN113688209B (zh) * 2021-09-01 2023-08-25 江苏省城市规划设计研究院有限公司 一种通过调节关键词依存关系的文本语义网络构建方法

Similar Documents

Publication Publication Date Title
CN111950273B (zh) 基于情感信息抽取分析的网络舆情突发事件自动识别方法
CN109446404B (zh) 一种网络舆情的情感极性分析方法和装置
CN103778243B (zh) 一种领域术语抽取方法
CN106776678A (zh) 新的关键词优化实现搜索引擎优化技术
CN106598940A (zh) 基于全局优化关键词质量的文本相似度求解算法
US20170091318A1 (en) Apparatus and method for extracting keywords from a single document
CN106570120A (zh) 一种改进的关键词优化实现搜索引擎优化技术
CN106095749A (zh) 一种基于深度学习的文本关键词提取方法
CN103955453B (zh) 一种从文档集中自动发现新词的方法及装置
CN112131863A (zh) 一种评论观点主题抽取方法、电子设备及存储介质
CN106611041A (zh) 一种新的文本相似度求解方法
CN107895024B (zh) 用于网页新闻分类推荐的用户模型构建方法及推荐方法
CN106570112A (zh) 基于改进的蚁群算法实现文本聚类
CN106528726A (zh) 基于关键词优化实现搜索引擎优化技术
CN106528621A (zh) 一种改进的密度文本聚类算法
CN110929022A (zh) 一种文本摘要生成方法及系统
CN107102985A (zh) 改进的文档中多主题的关键词提取技术
CN106610952A (zh) 一种混合的文本特征词汇提取方法
CN106610949A (zh) 一种基于语义分析的文本特征提取方法
CN107577713B (zh) 基于电力词典的文本处理方法
CN111985212A (zh) 文本关键字识别方法、装置、计算机设备及可读存储介质
Jia et al. A Chinese unknown word recognition method for micro-blog short text based on improved FP-growth
CN106126495B (zh) 一种基于大规模语料提词方法和装置
CN102722526B (zh) 基于词性分类统计的重复网页和近似网页的识别方法
CN107038155A (zh) 基于改进的小世界网络模型实现文本特征的提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170531