CN106570120A - 一种改进的关键词优化实现搜索引擎优化技术 - Google Patents

一种改进的关键词优化实现搜索引擎优化技术 Download PDF

Info

Publication number
CN106570120A
CN106570120A CN201610949009.6A CN201610949009A CN106570120A CN 106570120 A CN106570120 A CN 106570120A CN 201610949009 A CN201610949009 A CN 201610949009A CN 106570120 A CN106570120 A CN 106570120A
Authority
CN
China
Prior art keywords
word
key word
optimization
text
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610949009.6A
Other languages
English (en)
Inventor
金平艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yonglian Information Technology Co Ltd
Original Assignee
Sichuan Yonglian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yonglian Information Technology Co Ltd filed Critical Sichuan Yonglian Information Technology Co Ltd
Priority to CN201610949009.6A priority Critical patent/CN106570120A/zh
Publication of CN106570120A publication Critical patent/CN106570120A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种改进的关键词优化实现搜索引擎优化技术，先网页主题内容抓取，再进行词语切分，应用目标函数计算词语贡献值，设定阈值消除关键词冗余性，设定的阈值解决覆盖性，设定条件实现关键词的连贯性，根据每个词语贡献值对词语进行相关排序，关键词插入位置分析，最后达到优化的效果，本发明为后续的长尾关键词优化提供技术支持，得到更高效率的关键词，能帮助网站在短时间内快速提升其关键词的排名，即考虑了主题关键词的覆盖性，又考虑了其连贯性和简洁性，从而达到网站优化目标。

Description

一种改进的关键词优化实现搜索引擎优化技术
技术领域
本发明涉及语义网络技术领域，具体涉及一种改进的关键词优化实现搜索引擎优化技术。
背景技术
目前，基于统计的关键词抽取方法得到了广泛发展，主要包括词频，共现频率，得分，首次出现位置等统计信息。一些较常用的机器学习方法，包括遗传算法，支持向量机，最大熵模型，条件随机场等也渐渐的应用到关键词抽取领域中。一些研宄证明语言学的知识可以帮助关键词抽取任务，因此它们将语言学信息加入关键词抽取的研宄中，包括词性，语法，句法，依存关系等。近年来，基于图模型的关键词抽取算法发展较为迅速，这类算法一般将词语或句子抽象成图的结点，再根据节点的共现信息构建网络。我们发现已有方法大都是对每个候选关键词按照重要性进行打分并排序，然后选择排名较高的若干关键词作为最终关键词。而若干个高质量关键词的组合并不一定是高质量的。所以，除了优化关键词的个体质量，对关键词整体质量的优化也是很有必要的。基于上述需求，本发明提供了一种改进的关键词优化实现搜索引擎优化技术。
发明内容
针对网页中提取关键词的准确度不足问题与关键词的整体质量优化不足问题，本发明提供了一种改进的关键词优化实现搜索引擎优化技术。
为了解决上述问题，本发明是通过以下技术方案实现的：
步骤1：网页主题内容抓取；
步骤2：对上述文档进行词语切分；
步骤3：计算词语贡献值；
步骤4：关键词抓取，即根据每个词语贡献值对词语进行相关排序；
步骤5：关键词插入位置分析；
步骤6：将关键词按顺序插入网页中，达到优化的效果；
本发明有益效果是：
1、提取的关键词排序顺序更符合经验值
2、为后续的长尾关键词优化提供技术支持
3、在网站优化方面，提供更高效率的关键词
4、能帮助网站在短时间内快速提升其关键词的排名。
5、即考虑了主题关键词的覆盖性，又考虑了其连贯性和简洁性。
附图说明
图1 一种改进的关键词优化实现搜索引擎优化技术结构流程图
图2 n元语法分词算法图解
图3 中文文本预处理过程流程图
具体实施方式
为了解决网页中提取关键词的准确度不足问题与关键词的整体质量优化不足问题，结合图1对本发明进行了详细说明，其具体实施步骤如下：
步骤1：网页主题内容抓取，其具体描述过程如下：
一般将要抓取的网页分为两部分内容：一部分是网页的主题内容；另一部分则是与主题无关的“网页噪音”，例如广告、推广链接等。实际上，网页的主题内容才是需要抓取的。可以使用“Firefox”的附加组件“Data Scraper”和“Meta Studio”对网页进行抓取，保留网页的主题内容，去除“网页噪音”，并将抓取到的网页的主题内容转换为“Word”格式的文档，以方便后续操作。
步骤2：对上述文档进行词语切分，其具体切分技术如下：
步骤2.1：根据《分词词典》找到待分词句子中与词典中匹配的词，把待分词的汉字串完整的扫描一遍，在系统的词典里进行查找匹配，遇到字典里有的词就标识出来；如果词典中不存在相关匹配，就简单地分割出单字作为词；直到汉字串为空。
步骤2.2：依据概率统计学，将待分词句子拆分为网状结构，即得n个可能组合的句子结构，把此结构每条顺序节点依次规定为SM1M2M3M4M5E，其结构图如图2所示。
步骤2.3：基于信息论方法，给上述网状结构每条边赋予一定的权值，其具体计算过程如下：
根据《分词词典》匹配出的字典词与未匹配的单个词，第i条路径包含词的个数为ni。即n条路径词的个数集合为(n1，n2，…，nn)。
得min()＝min(n1，n2，…，nn)
在上述留下的剩下的(n-m)路径中，求解每条相邻路径的权重大小。
在统计语料库中，计算每个词的信息量X(Ci)，再求解路径相邻词的共现信息量X(Ci，Ci+1)。既有下式：
X(Ci)＝|x(Ci)1-x(Ci)2|
上式x(Ci)1为文本语料库中词Ci的信息量，x(Ci)2为含词Ci的文本信息量。
x(Ci)1＝-p(Ci)1lnp(Ci)1
上式p(Ci)1为Ci在文本语料库中的概率，n为含词Ci的文本语料库的个数。
x(Ci)2＝-p(Ci)2lnp(Ci)2
上式p(Ci)2为含词Ci的文本数概率值，N为统计语料库中文本总数。
同理X(Ci，Ci+1)＝|x(Ci，Ci+1)1-x(Ci，Ci+1)2|
x(Ci，Ci+1)1为在文本语料库中词(Ci，Ci+1)的共现信息量，x(Ci，Ci+1)2为相邻词(Ci，Ci+1)共现的文本信息量。
同理x(Ci，Ci+1)1＝-p(Ci，Ci+1)1lnp(Ci，Ci+1)1
上式p(Ci，Ci+1)1为在文本语料库中词(Ci，Ci+1)的共现概率，m为在文本库中词(Ci，Ci+1)共现的文本数量。
x(Ci，Ci+1)2＝-P(Ci，Ci+1)2lnp(Ci，Ci+1)2
p(Ci，Ci+1)2为文本库中相邻词(Ci，Ci+1)共现的文本数概率。
综上可得每条相邻路径的权值为
w(Ci，Ci+1)＝X(Ci)+X(Ci+1)-2X(Ci，Ci+1)
步骤2.4：找到权值最大的一条路径，即为待分词句子的分词结果，其具体计算过程如下：
有n条路径，每条路径长度不一样，假设路径长度集合为(L1，L2，…，Ln)。
假设经过取路径中词的数量最少操作，排除了m条路径，m＜n。即剩下(n-m) 路径，设其路径长度集合为
则每条路径权重为:
上式分别为第1,2到路径边的权重值，根据步骤1.4可以一一计算得出，为剩下(n-m)路径中第Sj条路径的长度。
权值最大的一条路径:
步骤2.5：根据停用表对文本词汇进行去停用词处理，其具体描述如下：
停用词是指在文本中出现频率高，但对于文本标识却没有太大作用的单词。去停用词的过程就是将特征项与停用词表中的词进行比较，如果匹配就将该特征项删除。
综合分词和删除停用词技术,中文文本预处理过程流程图如图3。
步骤3：计算词语贡献值，其具体计算过程如下：
目标函数：
上式Si为关键词Ci在文档主题库中的方差，用于区分主题库中的文档，Wi为关键词Ci在主题文档中的权重，n为主题库中文档的个数，α为关键词Ci在主题网页中第一次出现的位置权重，β为关键词Ci的词性权重，pi关键词Ci在主题文档中出现的概率。
为了消除关键字的冗余性，合并关键字，用下式约束条件：
上式A、B分别为深度D(ICN)和密度M(ICN)的影响系数，A+B＝1；
设定sim(Ci，Cj)＞σ
当满足上式合并关键词，关键词权重变化为之和；
为了使得提取的关键词具有覆盖性，应用下式约束条件：
设定p(Ci/Tm)＞δ
上式p(Ci/Tm)为关键词Ci属于话题Tm的概率，为关键词Ci在话题库中属于话题Tm的话题数，k为属于话题Tm的关键词个数，ε为一平滑因子，δ为阈值，当满足上式则提取关键词。
为了实现关键词的连贯性，应用下式约束条件：
设定条件
上式n(Ci，Cj)为关键词(Ci，Cj)在文档中共现的次数，n(Ci)为关键词Ci在文档中共现的次数，n(Cj)关键词Cj在文档中共现的次数，τ为实验的平滑因子，γ为阈值，当满足上式条件，则这两关键词都提取。
步骤4：关键词抓取，即根据每个词语贡献值对词语进行相关排序；
步骤5：关键词插入位置分析；
步骤6：将关键词按顺序插入网页中，达到优化的效果。

Claims (2)

1.一种改进的关键词优化实现搜索引擎优化技术，本发明涉及语义网络技术领域，具体涉及一种改进的关键词优化实现搜索引擎优化技术，其特征是，包括如下步骤：
步骤1：网页主题内容抓取，其具体描述过程如下：
一般将要抓取的网页分为两部分内容：一部分是网页的主题内容；另一部分则是与主题无关的“网页噪音”，例如广告、推广链接等，实际上，网页的主题内容才是需要抓取的，可以使用“Firefox”的附加组件“Data Scraper”和“Meta Studio”对网页进行抓取，保留网页的主题内容，去除“网页噪音”，并将抓取到的网页的主题内容转换为“Word”格式的文档，以方便后续操作
步骤2：对上述文档进行词语切分，其具体切分技术如下：
步骤2.1：根据《分词词典》找到待分词句子中与词典中匹配的词，把待分词的汉字串完整的扫描一遍，在系统的词典里进行查找匹配，遇到字典里有的词就标识出来；如果词典中不存在相关匹配，就简单地分割出单字作为词；直到汉字串为空
步骤2.2：依据概率统计学，将待分词句子拆分为网状结构，即得n个可能组合的句子结构，把此结构每条顺序节点依次规定为，其结构图如图2所示
步骤2.3：基于信息论方法，给上述网状结构每条边赋予一定的权值，其具体计算过程如下：
根据《分词词典》匹配出的字典词与未匹配的单个词，第i条路径包含词的个数为，即n条路径词的个数集合为
得
在上述留下的剩下的(n-m)路径中，求解每条相邻路径的权重大小，
在统计语料库中，计算每个词的信息量，再求解路径相邻词的共现信息量，既有下式：
上式为文本语料库中词的信息量，为含词的文本信息量
上式为在文本语料库中的概率，n为含词的文本语料库的个数
上式为含词的文本数概率值，N为统计语料库中文本总数
同理
为在文本语料库中词的共现信息量，为相邻词共现的文本信息量
同理
上式为在文本语料库中词的共现概率，m为在文本库中词共现的文本数量
为文本库中相邻词共现的文本数概率
综上可得每条相邻路径的权值为
步骤2.4：找到权值最大的一条路径，即为待分词句子的分词结果，其具体计算过程如下：
有n条路径，每条路径长度不一样，假设路径长度集合为
假设经过取路径中词的数量最少操作，排除了m条路径，m<n，即剩下(n-m)路径，设其路径长度集合为
则每条路径权重为:
上式分别为第1,2到 路径边的权重值，根据步骤1.4可以一一计算得出，为剩下(n-m)路径中第条路径的长度
权值最大的一条路径:
步骤2.5：根据停用表对文本词汇进行去停用词处理，其具体描述如下：
停用词是指在文本中出现频率高，但对于文本标识却没有太大作用的单词，去停用词的过程就是将特征项与停用词表中的词进行比较，如果匹配就将该特
征项删除
综合分词和删除停用词技术,中文文本预处理过程流程图如图3
步骤3：计算词语贡献值；
步骤4：关键词抓取，即根据每个词语贡献值对词语进行相关排序；
步骤5：关键词插入位置分析；
步骤6：将关键词按顺序插入网页中，达到优化的效果。
2.根据权利要求1中所述的一种改进的关键词优化实现搜索引擎优化技术
，其特征是，以上所述步骤3中的具体计算过程如下：
步骤3：计算词语贡献值，其具体计算过程如下：
目标函数：
上式为关键词在文档主题库中的方差，用于区分主题库中的文档，为关键词在主题文档中的权重，n为主题库中文档的个数，为关键词在主题网页中第一次出现的位置权重，为关键词的词性权重，关键词在主题文档中出现的概率
为了消除关键字的冗余性，合并关键字，用下式约束条件：
上式A、B分别为深度和密度的影响系数，A+B=1；
设定
当满足上式合并关键词，关键词权重变化为之和；
为了使得提取的关键词具有覆盖性，应用下式约束条件：
设定
上式为关键词属于话题的概率，为关键词在话题库中属于话题的话题数，k为属于话题的关键词个数，为一平滑因子，为阈值，当满足上式则提取关键词
为了实现关键词的连贯性，应用下式约束条件：
设定条件
上式为关键词在文档中共现的次数，为关键词在文档中共现的次数，关键词在文档中共现的次数，为实验的平滑因子，为阈值，当满足上式条件，则这两关键词都提取。
CN201610949009.6A 2016-11-02 2016-11-02 一种改进的关键词优化实现搜索引擎优化技术 Pending CN106570120A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610949009.6A CN106570120A (zh) 2016-11-02 2016-11-02 一种改进的关键词优化实现搜索引擎优化技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610949009.6A CN106570120A (zh) 2016-11-02 2016-11-02 一种改进的关键词优化实现搜索引擎优化技术

Publications (1)

Publication Number Publication Date
CN106570120A true CN106570120A (zh) 2017-04-19

Family

ID=58536594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610949009.6A Pending CN106570120A (zh) 2016-11-02 2016-11-02 一种改进的关键词优化实现搜索引擎优化技术

Country Status (1)

Country Link
CN (1) CN106570120A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092595A (zh) * 2017-04-23 2017-08-25 四川用联信息技术有限公司 新的关键词提取技术
CN107102985A (zh) * 2017-04-23 2017-08-29 四川用联信息技术有限公司 改进的文档中多主题的关键词提取技术
CN107102986A (zh) * 2017-04-23 2017-08-29 四川用联信息技术有限公司 文档中多主题的关键词提取技术
CN107908706A (zh) * 2017-11-08 2018-04-13 施少杰 覆盖式优化设置关键字的方法
CN111506790A (zh) * 2020-04-09 2020-08-07 携程计算机技术（上海）有限公司 抽取对象确定及数据刷新方法、系统、设备和存储介质
WO2020258662A1 (zh) * 2019-06-25 2020-12-30 平安科技（深圳）有限公司 关键词确定方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354184A (zh) * 2015-10-28 2016-02-24 甘肃智呈网络科技有限公司 一种使用优化的向量空间模型实现文档自动分类的方法
CN105893410A (zh) * 2015-11-18 2016-08-24 乐视网信息技术（北京）股份有限公司 一种关键词提取方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354184A (zh) * 2015-10-28 2016-02-24 甘肃智呈网络科技有限公司 一种使用优化的向量空间模型实现文档自动分类的方法
CN105893410A (zh) * 2015-11-18 2016-08-24 乐视网信息技术（北京）股份有限公司 一种关键词提取方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冯波: "企业网站实施搜索引擎优化的基本策略研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
王磊: "基于信息熵的中文文本分类算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092595A (zh) * 2017-04-23 2017-08-25 四川用联信息技术有限公司 新的关键词提取技术
CN107102985A (zh) * 2017-04-23 2017-08-29 四川用联信息技术有限公司 改进的文档中多主题的关键词提取技术
CN107102986A (zh) * 2017-04-23 2017-08-29 四川用联信息技术有限公司 文档中多主题的关键词提取技术
CN107908706A (zh) * 2017-11-08 2018-04-13 施少杰 覆盖式优化设置关键字的方法
WO2020258662A1 (zh) * 2019-06-25 2020-12-30 平安科技（深圳）有限公司 关键词确定方法、装置、电子设备及存储介质
CN111506790A (zh) * 2020-04-09 2020-08-07 携程计算机技术（上海）有限公司 抽取对象确定及数据刷新方法、系统、设备和存储介质
CN111506790B (zh) * 2020-04-09 2024-03-22 携程计算机技术（上海）有限公司 抽取对象确定及数据刷新方法、系统、设备和存储介质

Similar Documents

Publication Publication Date Title
CN109255118B (zh) 一种关键词提取方法及装置
CN106570120A (zh) 一种改进的关键词优化实现搜索引擎优化技术
CN112131863B (zh) 一种评论观点主题抽取方法、电子设备及存储介质
CN106598940A (zh) 基于全局优化关键词质量的文本相似度求解算法
CN106095749A (zh) 一种基于深度学习的文本关键词提取方法
CN108052593A (zh) 一种基于主题词向量和网络结构的主题关键词提取方法
CN105893410A (zh) 一种关键词提取方法和装置
CN114065758B (zh) 一种基于超图随机游走的文档关键词抽取方法
CN106610951A (zh) 改进的基于语义分析的文本相似度求解算法
CN108681574A (zh) 一种基于文本摘要的非事实类问答答案选择方法及系统
CN106611041A (zh) 一种新的文本相似度求解方法
CN106776678A (zh) 新的关键词优化实现搜索引擎优化技术
Landthaler et al. Extending full text search for legal document collections using word embeddings
CN106598941A (zh) 一种全局优化文本关键词质量的算法
CN106528726A (zh) 基于关键词优化实现搜索引擎优化技术
CN106570112A (zh) 基于改进的蚁群算法实现文本聚类
CN107102985A (zh) 改进的文档中多主题的关键词提取技术
CN106610952A (zh) 一种混合的文本特征词汇提取方法
CN111625621A (zh) 一种文档检索方法、装置、电子设备及存储介质
CN111488429A (zh) 一种基于搜索引擎的短文本聚类系统及其短文本聚类方法
CN107577713B (zh) 基于电力词典的文本处理方法
CN106610949A (zh) 一种基于语义分析的文本特征提取方法
Jia et al. A Chinese unknown word recognition method for micro-blog short text based on improved FP-growth
Alhanini et al. The enhancement of arabic stemming by using light stemming and dictionary-based stemming
CN110929518A (zh) 一种使用重叠拆分规则的文本序列标注算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170419