CN110362731A

CN110362731A - 提升网站搜索排名的方法、装置、计算机设备和存储介质

Info

Publication number: CN110362731A
Application number: CN201910636424.XA
Authority: CN
Inventors: 王宽
Original assignee: Zhejiang Dasou Vehicle Software Technology Co Ltd
Current assignee: Zhejiang Dasou Vehicle Software Technology Co Ltd
Priority date: 2019-07-15
Filing date: 2019-07-15
Publication date: 2019-10-22

Abstract

本申请涉及一种提升网站搜索排名的方法、装置、计算机设备和存储介质。所述方法包括：配置SPA网站的项目中的搜索引擎优化配置文件；根据所述搜索引擎优化配置文件对SPA网站的网页内容进行预渲染，生成渲染文件；在利用搜索引擎进行爬取时，爬取所述渲染文件中的网页内容，并根据爬取的所述网页内容提升SPA网站在搜索引擎中的排名。采用本方法不仅能够减少对服务器负载压力，提升网页内容的爬取速度；而且能够提升SPA网站在搜索引擎中的排名，从而扩大SPA网站在网络上的传播范围。

Description

提升网站搜索排名的方法、装置、计算机设备和存储介质

技术领域

本申请涉及互联网技术领域，特别是涉及一种提升网站搜索排名的方法、装置、计算机设备和存储介质。

背景技术

随着互联网的不断发展，互联网上的信息也在爆炸式的增长，搜索引擎已经成为用户访问互联网的入口。用户获取网站信息通常习惯于通过搜索引擎如百度、谷歌以及必应等搜索关键词，然后基于搜索引擎呈现出的搜索结果，从中再去挑选关注的内容。因此，是否能在搜索引擎的搜索结果中获取一个好的排名对于网站本身内容在网络上的传播具有重要的意义。

目前，企业级的大多数网站是基于web开发框架，通常使用SPA模式。这种SPA网站的网页，对于搜索引擎优化非常不友好，搜索引擎在爬取SPA网站的网页内容时，获取到的是个空页面，导致SPA网站在搜索引擎中的排名非常靠后。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升SPA网站在搜索引擎中排名的提升网站搜索排名的方法、装置、计算机设备和存储介质。

一种提升网站搜索排名的方法，所述方法包括：

配置SPA网站的项目中的搜索引擎优化配置文件；

根据所述搜索引擎优化配置文件对SPA网站的网页内容进行预渲染，生成渲染文件；

在利用搜索引擎进行爬取时，爬取所述渲染文件中的网页内容，并根据爬取的所述网页内容提升SPA网站在搜索引擎中的排名。

在本实施例中，不仅能够减少对服务器负载压力，提升网页内容的爬取速度；而且能够提升SPA网站在搜索引擎中的排名，从而扩大SPA网站在网络上的传播范围。

在其中一个实施例中，所述配置SPA网站的项目中的搜索引擎优化配置文件包括：

获取SPA网站的域名、路径黑名单以及忽略参数，将所述域名、路径黑名单以及忽略参数配置成搜索引擎优化配置文件，将搜索引擎优化配置文件添加进项目。

在本实施例中，在不动项目原始代码的情况下，能够将搜索引擎优化配置文件添加进项目中，具有良好的兼容性。

在其中一个实施例中，所述根据所述搜索引擎优化配置文件对SPA网站的网页内容进行预渲染，生成渲染文件，包括：

根据所述搜索引擎优化配置文件中的域名加载对应的SPA网站，通过执行所述搜索引擎优化配置文件中js代码对SPA网站中的网页内容进行预渲染，生成渲染文件。

在本实施例中，利用搜索引擎优化配置文件即可完成预渲染，减少许多兼容性的逻辑处理；并且对服务器的负载有压力小。

在其中一个实施例中，所述根据所述搜索引擎优化配置文件中的域名加载对应的SPA网站，通过执行所述搜索引擎优化配置文件中js代码对SPA网站中的网页内容进行预渲染，生成渲染文件，包括：

在js代码执行过程中，发出请求数据的网络请求，来动态渲染SPA网站中的网页内容；所有的网络请求结果返回后，网页内容渲染完成；

在网页内容渲染完成后，解析SPA网站页面中的所有的A链接标签，对于同域名的链接进行递归爬取，对爬取的内容进行存储生成渲染文件。

在本实施例中，使得预渲染更加简单，且能够快速完成预渲染，存储生成渲染文件。

在其中一个实施例中，所述方法还包括：

根据所述搜索引擎优化配置文件对SPA网站的网页内容进行预渲染的过程中，对项目进行搜索引擎优化检测。

在本实施例中，可以对网站进行搜索引擎优化和检测，降低成本。

相应的，本发明还提供一种提升网站搜索排名的装置，所述装置包括配置模块、预渲染模块以及爬取模块：

所述配置模块，用于配置SPA网站的项目中的搜索引擎优化配置文件；

所述预渲染模块，用于根据所述搜索引擎优化配置文件对SPA网站的网页内容进行预渲染，生成渲染文件；

所述爬取模块，用于在利用搜索引擎进行爬取时，爬取所述渲染文件中的网页内容，并根据爬取的所述网页内容提升SPA网站在搜索引擎中的排名。

在其中一个实施例中，所述配置模块还用于：

在其中一个实施例中，所述预渲染模块包括执行渲染单元：

所述执行渲染单元，用于根据所述搜索引擎优化配置文件中的域名加载对应的SPA网站，通过执行所述搜索引擎优化配置文件中js代码对SPA网站中的网页内容进行预渲染，生成渲染文件。

在其中一个实施例中，所述执行渲染单元还用于：

在其中一个实施例中，所述装置还包括检测模块：

所述检测模块，用于根据所述搜索引擎优化配置文件对SPA网站的网页内容进行预渲染的过程中，对项目进行搜索引擎优化检测。

相应的，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

配置SPA网站的项目中的搜索引擎优化配置文件；

相应的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

配置SPA网站的项目中的搜索引擎优化配置文件；

上述提升网站搜索排名的方法、装置、计算机设备和存储介质，预先配置SPA网站的项目中的搜索引擎优化配置文件；通过预渲染服务根据搜索引擎优化配置文件中的完成SPA网站的网页内容的渲染，生成渲染文件；再在搜索引擎来爬取时，直接爬取渲染文件中的网页内容即可，使得搜索引擎能够爬取到SPA网站所有的网页内容，而不是空白页面；通过预渲染服务，能够减少对服务器负载压力，提升网页内容的爬取速度；最后根据爬取的网页内容提升SPA网站在搜索引擎中的排名，以扩大SPA网站在网络上的传播范围。

附图说明

图1为一个实施例中提升网站搜索排名的方法的流程示意图；

图2为另一个实施例中提升网站搜索排名的方法的流程示意图；

图3为一个实施例中提升网站搜索排名的装置的结构框图；

图4为一个实施例中计算机设备的内部结构图。

图中：100、配置模块；200、预渲染模块；300、爬取模块。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种提升网站搜索排名的方法，包括以下步骤：

S100、配置SPA网站的项目中的搜索引擎优化配置文件。

具体的，SPA网站指的是基于web开发框架，使用SPA模式的网站。一个SPA网站的开发可以看成一个项目，即项目指的是实现SPA网站的开发的一系列相关的文件。在项目中添加SPA网站的域名、路径黑名单以及忽略参数等配置项，即配置搜索引擎优化配置文件。

S200、根据搜索引擎优化配置文件对SPA网站的网页内容进行预渲染，生成渲染文件。

在一个实施例中，步骤S200是在web服务器中进行，实现的是服务端预渲染。服务端预渲染是无需使用web服务器实时动态编译HTML，而是使用预渲染方式，在构建时简单地生成针对特定路由的静态HTML文件，使得设置预渲染更简单。也就是说渲染文件包括域名和对应的网页内容，其中的网页内容为静态HTML文件，通过域名能够查找到对应的网页内容。

S300、在利用搜索引擎进行爬取时，爬取渲染文件中的网页内容，并根据爬取的网页内容提升SPA网站在搜索引擎中的排名。

搜索引擎为自动从因特网搜集信息，经过一定整理以后，提供给用户进行查询的系统。搜索引擎可以为百度、谷歌以及必应等。在利用搜索引擎进行爬取时，通过渲染文件中的域名可以直接爬取到对应的网页内容能够得到整个渲染文件中所有的网页内容。因为渲染文件中的网页内容是已经渲染好的，也就是说通过域名能够直接返回对应的网页内容而不需要再进行预渲染，能够减少对服务器负载压力，提升网页内容的爬取速度；在用户访问量大时，也不会造成服务器的崩溃。

在本实施例中，利用搜索引擎能够爬取到SPA网站所有的网页内容，而不是空白页面。基于不同搜索引擎自身的优化工具对爬取到SPA网站所有的网页内容进行排名优化，从而提升SPA网站在搜索引擎的排名。

上述提升网站搜索排名的方法、装置、计算机设备和存储介质，预先配置SPA网站的项目中的搜索引擎优化配置文件；通过预渲染服务提前根据搜索引擎优化配置文件中的完成SPA网站的网页内容的渲染，生成渲染文件；再在搜索引擎来爬取时，直接爬取渲染文件中的网页内容即可，使得搜索引擎能够爬取到SPA网站所有的网页内容，而不是空白页面；通过预渲染服务，能够减少对服务器负载压力，提升网页内容的爬取速度；最后根据爬取的网页内容提升SPA网站在搜索引擎中的排名，以扩大SPA网站在网络上的传播范围。

在一个实施例中，步骤S100具体包括以下步骤；

获取SPA网站的域名、路径黑名单以及忽略参数，将域名、路径黑名单以及忽略参数配置成搜索引擎优化配置文件，可以根据搜索引擎网页抓取规则、索引规则、搜索关键词规则等来配置与搜索引擎对应的搜索引擎优化配置文件，将搜索引擎优化配置文件添加进项目中。

具体的，域名为SPA网站中涉及的各个链接标签。路径黑名单为不爬取的部分网页内容对应的域名。忽略参数为一些可忽略的参数。将域名、路径黑名单以及忽略参数作为配置项配置成搜索引擎优化配置文件添加在项目中。在配置完成后，将带有搜索引擎优化配置文件的项目推送到远程利用Jenkins进行持续集成打包操作。在不动项目原始代码的情况下，能够将搜索引擎优化配置文件添加进项目中，具有良好的兼容性。

在一个实施例中，如图2所示，在配置SPA网站的项目中的搜索引擎优化配置文件后，将带有所述搜索引擎优化配置文件的项目存储至服务器，能够自动触发预渲染服务。

自动触发预渲染服务的具体过程为，对带有搜索引擎优化配置文件的项目进行持续集成打包操作。在持续集成打包操作完成后，将带有搜索引擎优化配置文件的项目存储至web服务器；且将带有搜索引擎优化配置文件的项目提交到gitlab；同时根据持续集成打包操作和搜索引擎优化配置文件触发预渲染服务。只需要在项目中配置搜索引擎优化配置文件，即可实现在不动项目基本代码的基本条件下，在服务器中自动触发预渲染，不需要额外代码支撑功能实现，提高效率。

在一个实施例中，搜索引擎优化配置文件可以为seo.config.js的js结构的文件。因为SPA网站是基于web开发框架，项目存储的服务器也为web服务器；即在web服务器中会触发预渲染服务。带有搜索引擎优化配置文件的项目会分别传输至web服务器和gitlab中存储。gitlab是利用Ruby on Rails一个开源的版本管理系统，实现一个自托管的Git项目仓库，可通过Web界面进行访问公开的或者私人项目。将带有搜索引擎优化配置文件的项目提交到gitlab后，会触发gitlab提供的hooks(钩子)，检测到如果是持续集成打包操作的，且项目中包含搜索引擎优化配置文件的，会触发预渲染服务。gitlab提供的hooks就是那些在Git执行特定事件(如commit、push、receive等)后触发运行的脚本。

在一个实施例中，S200根据搜索引擎优化配置文件对SPA网站的网页内容进行预渲染，生成渲染文件，包括以下步骤；

根据搜索引擎优化配置文件中的域名加载对应的SPA网站，通过执行搜索引擎优化配置文件中js代码对SPA网站中的网页内容进行预渲染，生成渲染文件。在生成渲染文件后，将渲染文件的文件名称与域名的映射关系存储至数据库。

具体的，因为是SPA网站，直接打开的网页内容为空，所有的网页内容都是通过执行搜索引擎优化配置文件中的js代码来渲染。在js代码执行过程中，会发出一些网络请求，来动态渲染网页内容。每次渲染会一直等待网络请求的结果返回，直到网络请求结果返回；那么在所有的网络请求结果返回后，此时网页内容已经渲染完成，预渲染服务会将网页内容和对应域名存储下来。利用搜索引擎优化配置文件即可完成预渲染，减少许多兼容性的逻辑处理；并且对服务器的负载有压力小。

在一个实施例中，在预渲染服务时，会根据项目配置的域名，打开一个无头浏览器，爬取网页中的内容。但因为项目是SPA的应用，网页中的内容为空，所有的页面内容都是通过js代码来渲染完成的。在js代码执行过程中，会发出一些请求数的据网络请求，来动态渲染页面内容。每次渲染会一直等待网络请求的结果返回，直到网络请求结果返回；那么在所有的网络请求结构返回后，此时网页内容已经渲染完成，预渲染服务会将网页内容和对应域名存储下来。渲染完成后，解析页面中的所有的A链接标签，对于同域名的链接进行递归爬取，然后存储，一直到爬无可爬为止，递归结束，此时得到的所有页面内容就是整个网站的内容，将所有页面内容和域名进行存储生成渲染文件，渲染文件的文件名称是唯一的，并将渲染文件的文件名称与域名的映射关系存储至数据库。渲染文件的文件名称具有唯一性，其与域名有一一对应的关系，那么只要根据映射关系通过域名就能查询到对应的渲染文件，从而得到所有的网页内容。

在一个实施例中，步骤S300包括以下步骤：

在利用搜索引擎进行爬取时，搜索引擎根据数据库中渲染文件的文件名称与需要爬取的网页的域名之间的映射关系，访问对应的渲染文件，爬取对应的网页内容，根据爬取的网页内容提升SPA网站在搜索引擎中的排名。

具体的，利用搜索引擎的爬虫进行爬取，也可以是使用Scrapy爬取SPA网站的网页内容。于本实施例中，利用爬虫通过域名从数据库中查询到对应的渲染文件，从而得到所有的网页内容。网页内容是经过预渲染得到的，通过域名可以直接返回对应的网页内容，以降低服务负载压力，爬虫大量请求服务器时，不会对服务器造成任何压力。并且提前准备好网页内容，在爬取时直接返回给爬虫，速度更快。搜索引擎能够爬取到网页的内容，而不再是空白页面，并且该网页内容符合搜索引擎的搜索规则，搜索引擎更易接受本网站，提升了SPA网站在搜索引擎中的排名。

搜索引擎优化配置文件对SPA网站的网页内容进行预渲染的过程中，对项目进行搜索引擎优化检测。搜索引擎优化检测可以利用搜索引擎优化检测工具来实现，搜索引擎优化检测工具可以为Keywords密度检查、Link Popularity Checker链接流行度以及网站流量排名(Alexa)等工具，对此并不进行限制。检测的内容可以包括域名的链接超过三层进行警告，检测titlt标签等等；在检测完成后，生成检测报告，检测报告可以督促完善开发者完善网站和提升网站排名。

本发明只需要在项目中配置搜索引擎优化配置文件，即可实现在不动项目基本代码的基本条件下，对网站进行搜索引擎优化和检测，降低成本。

应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图3所示，一种提升网站搜索排名的装置，装置包括配置模块100、预渲染模块200以及爬取模块300：配置模块100，用于配置SPA网站的项目中的搜索引擎优化配置文件；预渲染模块200，用于根据搜索引擎优化配置文件对SPA网站的网页内容进行预渲染，生成渲染文件；爬取模块300，用于在利用搜索引擎进行爬取时，爬取渲染文件中的网页内容，并根据爬取的网页内容提升SPA网站在搜索引擎中的排名。

本发明提供的提升网站搜索排名的装置，不仅能够减少对服务器负载压力，提升网页内容的爬取速度；而且能够提升SPA网站在搜索引擎中的排名，从而扩大SPA网站在网络上的传播范围。

在一个实施例中，配置模块100，还用于获取SPA网站的域名、路径黑名单以及忽略参数，将域名、路径黑名单以及忽略参数配置成搜索引擎优化配置文件。

在一个实施例中，还包括触发模块；触发模块用于在配置SPA网站的项目中的搜索引擎优化配置文件后，将带有所述搜索引擎优化配置文件的项目存储至服务器，同时自动触发预渲染服务。

在一个实施例中，预渲染模块200包括执行渲染单元：执行渲染单元，用于根据搜索引擎优化配置文件中的域名加载对应的SPA网站，通过执行搜索引擎优化配置文件中js代码对SPA网站中的网页内容进行预渲染，生成渲染文件。

在一个实施例中，执行渲染单元还用于：

在一个实施例中，爬取模块300，还用于在利用搜索引擎进行爬取时利用搜索引擎根据渲染文件中域名爬取对应的网页内容，根据爬取的网页内容提升SPA网站在搜索引擎中的排名。

在一个实施例中，在图3的实施例中基础上，还包括检测模块：检测模块，用于在利用搜索引擎进行爬取的过程中，对项目进行搜索引擎优化检测。

关于提升网站搜索排名的装置的具体限定可以参见上文中对于提升网站搜索排名的方法的限定，在此不再赘述。上述提升网站搜索排名的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储项目数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种提升网站搜索排名的方法。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

配置SPA网站的项目中的搜索引擎优化配置文件；

根据搜索引擎优化配置文件对SPA网站的网页内容进行预渲染，生成渲染文件；

在利用搜索引擎进行爬取时，爬取渲染文件中的网页内容，并根据爬取的网页内容提升SPA网站在搜索引擎中的排名。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

配置SPA网站的项目中的搜索引擎优化配置文件；

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种提升网站搜索排名的方法，其特征在于，所述方法包括：

配置SPA网站的项目中的搜索引擎优化配置文件；

2.根据权利要求1所述的方法，其特征在于，所述配置SPA网站的项目中的搜索引擎优化配置文件包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述搜索引擎优化配置文件对SPA网站的网页内容进行预渲染，生成渲染文件，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述搜索引擎优化配置文件中的域名加载对应的SPA网站，通过执行所述搜索引擎优化配置文件中js代码对SPA网站中的网页内容进行预渲染，生成渲染文件，包括：

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：

6.一种提升网站搜索排名的装置，其特征在于，所述装置包括配置模块、预渲染模块以及爬取模块：

7.根据权利要求6所述的装置，其特征在于，所述配置模块还用于：

8.根据权利要求6所述的装置，其特征在于，所述预渲染模块包括执行渲染单元：

9.根据权利要求8所述的装置，其特征在于，所述执行渲染单元还用于：

10.根据权利要求6至9任意一项所述的装置，其特征在于，所述装置还包括检测模块：

11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。