CN106528726A - 基于关键词优化实现搜索引擎优化技术 - Google Patents

基于关键词优化实现搜索引擎优化技术 Download PDF

Info

Publication number
CN106528726A
CN106528726A CN201610957521.5A CN201610957521A CN106528726A CN 106528726 A CN106528726 A CN 106528726A CN 201610957521 A CN201610957521 A CN 201610957521A CN 106528726 A CN106528726 A CN 106528726A
Authority
CN
China
Prior art keywords
word
webpage
text
optimization
key word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610957521.5A
Other languages
English (en)
Inventor
金平艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yonglian Information Technology Co Ltd
Original Assignee
Sichuan Yonglian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yonglian Information Technology Co Ltd filed Critical Sichuan Yonglian Information Technology Co Ltd
Priority to CN201610957521.5A priority Critical patent/CN106528726A/zh
Publication of CN106528726A publication Critical patent/CN106528726A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

基于关键词优化实现搜索引擎优化技术，先网页主题内容抓取，再进行词语切分，应用此算法计算词语贡献值，根据每个词语贡献值对词语进行相关排序，关键词插入位置分析，最后达到优化的效果，本发明为后续的长尾关键词优化提供技术支持，得到更高效率的关键词，能帮助网站在短时间内快速提升其关键词的排名，从而达到网站优化目标。

Description

基于关键词优化实现搜索引擎优化技术
技术领域
本发明涉及语义网络技术领域，具体涉及基于关键词优化实现搜索引擎优化技术。
背景技术
由于关键词优化策略是公认的搜索引擎优化策略，也是整个搜索引擎优化的核心内容。用户在搜索引擎中输入信息后总是希望找到切和输入信息的相关信息，这里我们把用户输入的信息可以称为“关键词(Keywords)”。关键词也是搜索引擎建立索引表时使用的词语。目前许多学者已经对提取关键词做了深入研究，并发现了很多成熟的提取方法，比如利用TFIDF法进行关键词提取的方法，它是通过计算某个词语在网页中出现的频率高低来实现提取的，这对网页中存在的极其重要的而出现频率又不高的关键词时很不利的；以信息熵为核心技术从数学角度提取关键词也并不十分准确。为了满足上述需求，本发明提供基于关键词优化实现搜索引擎优化技术。
发明内容
针对于网页中提取关键词的准确度不足问题，本发明提供了一种基于关键词优化实现搜索引擎优化技术。
为了解决上述问题，本发明是通过以下技术方案实现的：
步骤1：网页主题内容抓取；
步骤2：对上述文档进行词语切分；
步骤3：计算词语贡献值；
步骤4：关键词抓取，即根据每个词语贡献值对词语进行相关排序；
步骤5：关键词插入位置分析；
步骤6：将关键词按顺序插入网页中，达到优化的效果；
本发明有益效果是：
1、提取的关键词排序顺序更符合经验值
2、为后续的长尾关键词优化提供技术支持
3、在网站优化方面，提供更高效率的关键词
4、能帮助网站在短时间内快速提升其关键词的排名。
附图说明
图1基于关键词优化实现搜索引擎优化技术的结构流程图
图2 n元语法分词算法图解
图3中文文本预处理过程流程图
具体实施方式
为了解决网页中提取关键词的准确度不足问题，结合图1对本发明进行了详细说明，其具体实施步骤如下：
步骤1：网页主题内容抓取，其具体描述过程如下：
一般将要抓取的网页分为两部分内容：一部分是网页的主题内容；另一部分则是与主题无关的“网页噪音”，例如广告、推广链接等。实际上，网页的主题内容才是需要抓取的。可以使用“Firefox”的附加组件“Data Scraper”和“Meta Studio”对网页进行抓取，保留网页的主题内容，去除“网页噪音”，并将抓取到的网页的主题内容转换为“Word”格式的文档，以方便后续操作。
步骤2：对上述文档进行词语切分，其具体切分技术如下：
步骤2.1：根据《分词词典》找到待分词句子中与词典中匹配的词，把待分词的汉字串完整的扫描一遍，在系统的词典里进行查找匹配，遇到字典里有的词就标识出来；如果词典中不存在相关匹配，就简单地分割出单字作为词；直到汉字串为空。
步骤2.2：依据概率统计学，将待分词句子拆分为网状结构，即得n个可能组合的句子结构，把此结构每条顺序节点依次规定为SM1M2M3M4M5E，其结构图如图2所示。
步骤2.3：基于信息论方法，给上述网状结构每条边赋予一定的权值，其具体计算过程如下：
根据《分词词典》匹配出的字典词与未匹配的单个词，第i条路径包含词的个数为ni。即n条路径词的个数集合为(n1，n2，…，nn)。
得min()＝min(n1，n2，…，nn)
在上述留下的剩下的(n-m)路径中，求解每条相邻路径的权重大小。
在统计语料库中，计算每个词的信息量X(Ci)，再求解路径相邻词的共现信
息量X(Ci，Ci+1)。既有下式：
X(Ci)＝|x(Ci)1-x(Ci)2|
上式x(Ci)1为文本语料库中词Ci的信息量，x(Ci)2为含词Ci的文本信息量。
x(Ci)1＝-p(Ci)1lnp(Ci)1
上式p(Ci)1为Ci在文本语料库中的概率，n为含词Ci的文本语料库的个数。
x(Ci)2＝-p(Gi)2lnp(Ci)2
上式p(Ci)2为含词Ci的文本数概率值，N为统计语料库中文本总数。
同理X(Ci，Ci+1)＝|x(Ci，Ci+1)1-x(Ci，Ci+1)2|
x(Ci，Ci+1)1为在文本语料库中词(Ci，Ci+1)的共现信息量，x(Ci，Ci+1)2为相邻词(Ci，Ci+1)共现的文本信息量。
同理x(Ci，Ci+1)1＝-p(Ci，Ci+1)1lnp(Ci，Ci+1)1
上式p(Ci，Ci+1)1为在文本语料库中词(Ci，Ci+1)的共现概率，m为在文本库中词(Ci，Ci+1)共现的文本数量。
x(Ci，Ci+1)2＝-P(Ci，Ci+1)2lnp(Ci，Ci+1)2
p(Ci，Ci+1)2为文本库中相邻词(Ci，Ci+1)共现的文本数概率。
综上可得每条相邻路径的权值为
w(Ci，Ci+1)＝X(Ci)+X(Ci+1)-2X(Ci，Ci+1)
步骤2.4：找到权值最大的一条路径，即为待分词句子的分词结果，其具体计算过程如下：
有n条路径，每条路径长度不一样，假设路径长度集合为(L1，L2，…，Ln)。
假设经过取路径中词的数量最少操作，排除了m条路径，m＜n。即剩下(n-m)路径，设其路径长度集合为
则每条路径权重为：
上式分别为第1,2到路径边的权重值，根据步骤1.4可以一一计算得出，为剩下(n-m)路径中第Sj条路径的长度。
权值最大的一条路径:
步骤2.5：根据停用表对文本词汇进行去停用词处理，其具体描述如下：
停用词是指在文本中出现频率高，但对于文本标识却没有太大作用的单词。去停用词的过程就是将特征项与停用词表中的词进行比较，如果匹配就将该特征项删除。
综合分词和删除停用词技术,中文文本预处理过程流程图如图3。
步骤3：计算词语贡献值，其具体计算过程如下：
步骤3.1)先找出网页的核心关键词，根据下列公式即可找出：
A＝1代表关键词出现在title中
上式A＝0或1，A＝0代表关键词不出现在title中，k为title中的关键词出现在网页中的段落数，αi为每个段落赋予一定的权重，ni为title中的关键词在第i段中出现的次数。
选上述公式值最大所对应的title中的关键词为网页核心关键词Cmain；
步骤3.2)计算其他关键词的网页权重系数，根据下式即可得到每个词语对网页的重要程度，即有下式：
上式h为词汇出现的段落数，Pi为词汇出现在第i段的权重系数，即：
Pi＝αini
为网页核心关键词的期望值，即：
上式x2越小，关键词与网页核心关键词Cmain的相关度越高，反之相关度越低。
步骤3.3)再根据语义相似度合并上述关键词，有下式：
上式s1为Ci与Cj共同祖先的深度比率，m1为Ci与Cj共同祖先的密度比率，n(Ci，C)为词Ci与词C的共现次数，n(Cj，C)为词Cj与词C的共现次数，这里
设定上述阈值sim(Ci，Cj)＞β，β∈(0，1)
满足阈值条件，则合并关键词，权重为两关键词权重的和。
步骤4：关键词抓取，即根据每个词语贡献值对词语进行相关排序；
步骤5：关键词插入位置分析；
步骤6：将关键词按顺序插入网页中，达到优化的效果。

Claims (2)

1.基于关键词优化实现搜索引擎优化技术，本发明涉及语义网络技术领域，具体涉及基于关键词优化实现搜索引擎优化技术，其特征是，包括如下步骤：
步骤1：网页主题内容抓取，其具体描述过程如下：
一般将要抓取的网页分为两部分内容：一部分是网页的主题内容；另一部分则是与主题无关的“网页噪音”，例如广告、推广链接等，实际上，网页的主题内容才是需要抓取的，可以使用“Firefox”的附加组件“Data Scraper”和“Meta Studio”对网页进行抓取，保留网页的主题内容，去除“网页噪音”，并将抓取到的网页的主题内容转换为“Word”格式的文档，以方便后续操作
步骤2：对上述文档进行词语切分，其具体切分技术如下：
步骤2.1：根据《分词词典》找到待分词句子中与词典中匹配的词，把待分词的汉字串完整的扫描一遍，在系统的词典里进行查找匹配，遇到字典里有的词就标识出来；如果词典中不存在相关匹配，就简单地分割出单字作为词；直到汉字串为空
步骤2.2：依据概率统计学，将待分词句子拆分为网状结构，即得n个可能组合的句子结构，把此结构每条顺序节点依次规定为，其结构图如图2所示
步骤2.3：基于信息论方法，给上述网状结构每条边赋予一定的权值，其具体计算过程如下：
根据《分词词典》匹配出的字典词与未匹配的单个词，第i条路径包含词的个数为，即n条路径词的个数集合为
得
在上述留下的剩下的(n-m)路径中，求解每条相邻路径的权重大小，
在统计语料库中，计算每个词的信息量，再求解路径相邻词的共现信息量，既有下式：
上式为文本语料库中词的信息量，为含词的文本信息量
上式为在文本语料库中的概率，n为含词的文本语料库的个数
上式为含词的文本数概率值，N为统计语料库中文本总数
同理
为在文本语料库中词的共现信息量，为相邻词共现的文本信息量
同理
上式为在文本语料库中词的共现概率，m为在文本库中词共现的文本数量
为文本库中相邻词共现的文本数概率
综上可得每条相邻路径的权值为
步骤2.4：找到权值最大的一条路径，即为待分词句子的分词结果，其具体计算过程如下：
有n条路径，每条路径长度不一样，假设路径长度集合为
假设经过取路径中词的数量最少操作，排除了m条路径，m<n，即剩下(n-m)路径，设其路径长度集合为
则每条路径权重为:
上式分别为第1,2到 路径边的权重值，根据步骤1.4可以一一计算得出，为剩下(n-m)路径中第条路径的长度
权值最大的一条路径:
步骤2.5：根据停用表对文本词汇进行去停用词处理，其具体描述如下：
停用词是指在文本中出现频率高，但对于文本标识却没有太大作用的单词，去停用词的过程就是将特征项与停用词表中的词进行比较，如果匹配就将该特
征项删除
综合分词和删除停用词技术,中文文本预处理过程流程图如图3
步骤3：计算词语贡献值；
步骤4：关键词抓取，即根据每个词语贡献值对词语进行相关排序；
步骤5：关键词插入位置分析；
步骤6：将关键词按顺序插入网页中，达到优化的效果。
2.根据权利要求1中所述的基于关键词优化实现搜索引擎优化技术，其特征是，以上所述步骤3中的具体计算过程如下：
步骤3：计算词语贡献值，其具体计算过程如下：
步骤3.1）先找出网页的核心关键词，根据下列公式即可找出：
上式A=0或1，A=0代表关键词不出现在title中，为title中的关键词出现在网页中的段落数，为每个段落赋予一定的权重，为title中的关键词在第i段中出现的次数
选上述公式值最大所对应的title中的关键词为网页核心关键词；
步骤3.2）计算其他关键词的网页权重系数，根据下式即可得到每个词语对网页的重要程度，即有下式：
上式h为词汇出现的段落数，为词汇出现在第i段的权重系数，即：
为网页核心关键词的期望值，即：
上式越小，关键词与网页核心关键词的相关度越高，反之相关度越低
步骤3.3）再根据语义相似度合并上述关键词，有下式：
上式为与共同祖先的深度比率，为与共同祖先的密度比率，为词与词C的共现次数，为词与词C的共现次数，这里
设定上述阈值
满足阈值条件，则合并关键词，权重为两关键词权重的和。
CN201610957521.5A 2016-11-02 2016-11-02 基于关键词优化实现搜索引擎优化技术 Pending CN106528726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610957521.5A CN106528726A (zh) 2016-11-02 2016-11-02 基于关键词优化实现搜索引擎优化技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610957521.5A CN106528726A (zh) 2016-11-02 2016-11-02 基于关键词优化实现搜索引擎优化技术

Publications (1)

Publication Number Publication Date
CN106528726A true CN106528726A (zh) 2017-03-22

Family

ID=58325433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610957521.5A Pending CN106528726A (zh) 2016-11-02 2016-11-02 基于关键词优化实现搜索引擎优化技术

Country Status (1)

Country Link
CN (1) CN106528726A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991181A (zh) * 2017-04-07 2017-07-28 广州视源电子科技股份有限公司 口语化语句提取的方法及装置
CN107423281A (zh) * 2017-04-23 2017-12-01 四川用联信息技术有限公司 改进的小世界模型提取文本特征的算法
CN112364626A (zh) * 2020-11-25 2021-02-12 广东电网有限责任公司佛山供电局 一种安全措施智能管理方法及系统
CN113282847A (zh) * 2021-07-22 2021-08-20 深圳市华球通网络有限公司 网站排名优化方法、装置及存储介质
CN115391495A (zh) * 2022-10-28 2022-11-25 强企宝典(山东)信息科技有限公司 在中文语境中检索关键词的方法、装置及设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
冯波: "企业网站实施搜索引擎优化的基本策略研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
吕雅娟 等: "统计和词典方法相结合的双语语料库词对齐", 《自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集》 *
王磊: "基于信息熵的中文文本分类算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
蒋健洪 等: "词典与统计方法结合的中文分词模型研究及应用", 《计算机工程与设计》 *
马力 等: "基于小世界模型的复合关键词提取方法研究", 《中文信息学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991181A (zh) * 2017-04-07 2017-07-28 广州视源电子科技股份有限公司 口语化语句提取的方法及装置
CN106991181B (zh) * 2017-04-07 2020-04-21 广州视源电子科技股份有限公司 口语化语句提取的方法及装置
CN107423281A (zh) * 2017-04-23 2017-12-01 四川用联信息技术有限公司 改进的小世界模型提取文本特征的算法
CN112364626A (zh) * 2020-11-25 2021-02-12 广东电网有限责任公司佛山供电局 一种安全措施智能管理方法及系统
CN112364626B (zh) * 2020-11-25 2023-09-01 广东电网有限责任公司佛山供电局 一种安全措施智能管理方法及系统
CN113282847A (zh) * 2021-07-22 2021-08-20 深圳市华球通网络有限公司 网站排名优化方法、装置及存储介质
CN115391495A (zh) * 2022-10-28 2022-11-25 强企宝典(山东)信息科技有限公司 在中文语境中检索关键词的方法、装置及设备

Similar Documents

Publication Publication Date Title
CN106598940A (zh) 基于全局优化关键词质量的文本相似度求解算法
CN102360383B (zh) 一种面向文本的领域术语与术语关系抽取方法
CN106528726A (zh) 基于关键词优化实现搜索引擎优化技术
CN103778243B (zh) 一种领域术语抽取方法
CN104598577B (zh) 一种网页正文的提取方法
WO2015149533A1 (zh) 一种基于网页内容分类进行分词处理的方法和装置
CN106610951A (zh) 改进的基于语义分析的文本相似度求解算法
CN106570120A (zh) 一种改进的关键词优化实现搜索引擎优化技术
CN107577663B (zh) 一种关键短语抽取方法和装置
WO2007143914A1 (fr) Procédé, dispositif et système de saisie pour la création d&#39;une base de données de fréquence de mots basée sur des informations issues du web
CN106611041A (zh) 一种新的文本相似度求解方法
CN103150382A (zh) 基于开放知识库的短文本语义概念自动化扩展方法及系统
CN106776678A (zh) 新的关键词优化实现搜索引擎优化技术
CN107102985A (zh) 改进的文档中多主题的关键词提取技术
CN106570112A (zh) 基于改进的蚁群算法实现文本聚类
CN106610952A (zh) 一种混合的文本特征词汇提取方法
Gupta et al. Automatic keywords extraction for Punjabi language
CN106569989A (zh) 一种用于短文本的去重方法及装置
CN110717042A (zh) 一种构建文档-关键词异构网络模型方法
CN106610949A (zh) 一种基于语义分析的文本特征提取方法
Jia et al. A Chinese unknown word recognition method for micro-blog short text based on improved FP-growth
CN110929022A (zh) 一种文本摘要生成方法及系统
Elrajubi An improved Arabic light stemmer
Lin et al. Combining a segmentation-like approach and a density-based approach in content extraction
Shrawankar et al. Construction of news headline from detailed news article

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170322

WD01 Invention patent application deemed withdrawn after publication