CN107729358A - 基于浏览器的页面访问方法和装置 - Google Patents

基于浏览器的页面访问方法和装置 Download PDF

Info

Publication number
CN107729358A
CN107729358A CN201710780242.0A CN201710780242A CN107729358A CN 107729358 A CN107729358 A CN 107729358A CN 201710780242 A CN201710780242 A CN 201710780242A CN 107729358 A CN107729358 A CN 107729358A
Authority
CN
China
Prior art keywords
browser
page
proxy server
page access
access request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710780242.0A
Other languages
English (en)
Inventor
吴越
秦锋剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Green Bay Network Technology Co., Ltd.
Original Assignee
Grass Count Language (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Grass Count Language (beijing) Technology Co Ltd filed Critical Grass Count Language (beijing) Technology Co Ltd
Priority to CN201710780242.0A priority Critical patent/CN107729358A/zh
Publication of CN107729358A publication Critical patent/CN107729358A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0853—Network architectures or network communication protocols for network security for authentication of entities using an additional device, e.g. smartcard, SIM or a different communication terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/562—Brokering proxy services

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提出一种基于浏览器的页面访问方法和装置，方法包括：插件通过浏览器访问所需页面，生成第一页面访问请求，插件在第一页面访问请求的头部添加代理服务器的身份验证信息，得到第二页面访问请求，代理服务器对身份验证信息认证通过时，对页面进行访问并向浏览器返回页面内容。通过插件在页面访问请求的头部添加代理服务器的身份验证信息，使得浏览器可以访问需要身份验证的代理服务器，此种代理服务器一般不对页面的访问次数进行限制，从而使得本实施例中的浏览器在获取页面时访问次数不受限制且稳定性好，解决了现有技术中，无法使用需身份验证的代理服务器，稳定性差，致使需要频繁设置代理服务器，导致耗费较多时间，用户体验差的问题。

Description

基于浏览器的页面访问方法和装置
技术领域
本发明涉及互联网技术领域，尤其涉及一种基于浏览器的页面访问方法和装置。
背景技术
万维网(World Wide Web，Web)的页面中包含大量的数据信息，通过浏览器可以访问页面，得到所需的数据信息。
但是，目前很多数据源站点对单网络之间互连的协议(Internet Protocol，IP)的访问次数有限制，需要设置浏览器的代理IP，通过代理IP,绕开数据源站点对IP访问的限制。代理IP服务商提供的IP分为两种，一种是不需要用户验证的，另一种是需要用户验证的。
一般情况下，均使用不需要用户验证的代理IP，但是不需要用户验证的代理IP，在用户访问浏览器一段时间后，就无法打开新的页面，即代理IP失效，需要重新设置新的代理IP，才能打开浏览器继续访问，浏览器频繁的关闭和开启过程中，会耗费不少时间，客户体验度差。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种基于浏览器的页面访问方法，以实现通过插件在第一页面访问请求的头部添加代理服务器的身份验证信息，使得浏览器可以访问需要身份验证的代理服务器。由于需要身份验证的代理服务器一般不会对访问次数进行限制，从而使得本实施例中的浏览器在获取页面时访问次数不受限制且稳定性好，解决了现有技术中，无法使用需身份验证的代理服务器，稳定性差，致使需要频繁的设置代理服务器，导致耗费较多时间，用户体验度差的问题。
本发明的第二个目的在于提出另一种基于浏览器的页面访问方法。
本发明的第三个目的在于提出一种基于浏览器的页面访问装置。
本发明的第四个目的在于提出另一种基于浏览器的页面访问装置。
本发明的第五个目的在于提出一种计算机设备。
本发明的第六个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种基于浏览器的页面访问方法，包括：
浏览器启动后，插件采用模拟用户操作的方式，通过所述浏览器访问所需页面，以使所述浏览器生成第一页面访问请求；所述浏览器已预先设置代理服务器；
当侦听到所述第一页面访问请求时，所述插件在所述第一页面访问请求的头部添加所述代理服务器的身份验证信息，得到第二页面访问请求；
所述插件向所述代理服务器发送所述第二页面访问请求，以使所述代理服务器根据所述第二页面访问请求携带的所述身份验证信息认证通过时，对所述页面进行访问并向所述浏览器返回页面内容。
本实施例的基于浏览器的页面访问方法中，浏览器启动后，插件模拟用户操作，通过浏览器访问所需页面，生成第一页面访问请求，插件在第一页面访问请求的头部添加代理服务器的身份验证信息，得到第二页面访问请求，代理服务器根据第二页面访问请求携带的身份验证信息认证通过时，对页面进行访问并向浏览器返回页面内容。通过插件在第一页面访问请求的头部添加代理服务器的身份验证信息，使得浏览器可以访问需要身份验证的代理服务器。由于需要身份验证的代理服务器一般不会对访问次数进行限制，从而使得本实施例中的浏览器在获取页面时访问次数不受限制且稳定性好，解决了现有技术中，无法使用需身份验证的代理服务器，稳定性差，致使需要频繁的设置代理服务器，导致耗费较多时间，用户体验度差的问题。
为达上述目的，本发明第二方面实施例提出了另一种基于浏览器的页面访问方法，包括：
代理服务器接收插件在第一页面访问请求的头部添加身份验证信息得到的第二页面访问请求；所述第一页面访问请求，是浏览器启动后，所述插件采用模拟用户操作的方式，通过所述浏览器访问所需页面使所述浏览器生成的；
若所述代理服务器对所述身份验证信息通过时，访问所述第二页面访问请求所指示的页面，得到页面内容；
所述代理服务器向所述浏览器返回所述页面内容。
本实施例的基于浏览器的页面访问方法中，代理服务器接收插件在第一页面访问请求的头部添加身份验证信息得到的第二页面访问请求，若代理服务器对身份验证信息通过时，访问第二页面访问请求所指示的页面，得到页面内容，代理服务器向浏览器返回页面内容。通过插件在第一页面访问请求的头部添加代理服务器的身份验证信息，使得浏览器可以访问需要身份验证的代理服务器。由于需要身份验证的代理服务器一般不会对访问次数进行限制，从而使得本实施例中的浏览器在获取页面时访问次数不受限制且稳定性好，解决了现有技术中，无法使用需身份验证的代理服务器，稳定性差，致使需要频繁的设置代理服务器，导致耗费较多时间，用户体验度差的问题。
为达上述目的，本发明第三方面实施例提出了一种基于浏览器的页面访问装置，包括：
访问模块，用于浏览器启动后，采用模拟用户操作的方式，基于所述浏览器访问所需页面，以使所述浏览器生成第一页面访问请求；所述浏览器已预先设置代理服务器；
侦听模块，用于当侦听到所述第一页面访问请求时，在所述第一页面访问请求的头部添加所述代理服务器的身份验证信息，得到第二页面访问请求；
发送模块，用于向所述代理服务器发送所述第二页面访问请求，以使所述代理服务器根据所述第二页面访问请求携带的所述身份验证信息认证通过时，对所述页面进行访问并向所述浏览器返回访问结果。
本实施例的基于浏览器的页面访问装置中，访问模块用于浏览器启动后，采用模拟用户操作的方式，基于浏览器访问所需页面，以使浏览器生成第一页面访问请求，侦听模块用于当侦听到第一页面访问请求时，在第一页面访问请求的头部添加代理服务器的身份验证信息，得到第二页面访问请求，发送模块用于向代理服务器发送第二页面访问请求，以使代理服务器根据第二页面访问请求携带的身份验证信息认证通过时，对页面进行访问并向浏览器返回访问结果。通过插件在第一页面访问请求的头部添加代理服务器的身份验证信息，使得浏览器可以访问需要身份验证的代理服务器。由于需要身份验证的代理服务器一般不会对访问次数进行限制，从而使得本实施例中的浏览器在获取页面时访问次数不受限制且稳定性好，解决了现有技术中，无法使用需身份验证的代理服务器，稳定性差，致使需要频繁的设置代理服务器，导致耗费较多时间，用户体验度差的问题。
为达上述目的，本发明第四方面实施例提出了另一种基于浏览器的页面访问装置，包括：
接收模块，用于接收插件在第一页面访问请求的头部添加身份验证信息得到的第二页面访问请求；所述第一页面访问请求，是浏览器启动后，所述插件采用模拟用户操作的方式，通过所述浏览器访问所需页面使所述浏览器生成的；
第二访问模块，用于若所述代理服务器对所述身份验证信息通过时，访问所述第二页面访问请求所指示的页面，得到页面内容；
返回模块，用于向所述浏览器返回所述页面内容。
本实施例的基于浏览器的页面访问装置中，接收模块，用于接收插件在第一页面访问请求的头部添加身份验证信息得到的第二页面访问请求，第二访问模块用于若代理服务器对身份验证信息通过时，访问第二页面访问请求所指示的页面，得到页面内容，返回模块用于向浏览器返回页面内容。通过插件在第一页面访问请求的头部添加代理服务器的身份验证信息，使得浏览器可以访问需要身份验证的代理服务器。由于需要身份验证的代理服务器一般不会对访问次数进行限制，从而使得本实施例中的浏览器在获取页面时访问次数不受限制且稳定性好，解决了现有技术中，无法使用需身份验证的代理服务器，稳定性差，致使需要频繁的设置代理服务器，导致耗费较多时间，用户体验度差的问题。
为达上述目的，本发明第五方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如第一方面实施例所述的基于浏览器的页面访问方法，或者，实现如第二方面实施例所述的基于浏览器的页面访问方法。
为了实现上述目的，本发明第六方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现如第一方面实施例所述的基于浏览器的页面访问方法，或者，实现如第二方面实施例所述的基于浏览器的页面访问方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种基于浏览器的页面访问方法的流程示意图；
图2为本发明实施例所提供的另一种基于浏览器的页面访问方法的流程示意图；
图3为本发明实施例所提供的又一种基于浏览器的页面访问方法的流程示意图；
图4为本发明实施例所提供的一种基于浏览器的页面访问装置的结构示意图；
图5为本发明实施例所提供的另一种基于浏览器的页面访问装置的结构示意图；以及
图6为本发明实施例所提供的又一种基于浏览器的页面访问装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于浏览器的页面访问方法和装置。
实际应用中，用于web应用程序测试的工具还可以用于驱动浏览器进行数据的爬取，测试工具驱动浏览器访问网站上的页面，而有些网站上的页面对同一IP的访问次数有限制，此时，则需要设置浏览器的代理IP。
或者，当测试工具需要对web的应用程序进行测试时，需要不同地域的IP地址，且需要速度稳定，此时，也需要设置浏览器的不同的代理IP。
目前，代理IP服务商提供的IP，分为2种，一种是不需要用户验证的代理IP，一种是需要用户验证的代理IP，其中，不需要用户验证的代理IP，是共享的，速度不稳定；需要用户验证的代理IP，是独享的，速度较稳定。
目前，默认设置浏览器的代理IP时，不支持用户名和密码验证的代理IP，使得浏览器无法使用需要用户验证的代理IP，目前主要采用的解决方法主要有2种：
方法一：使用不需要验证的代理IP，但是由于代理IP的不稳定性，导致数据抓取效果很不稳定。
方法二：采用IP地址绑定认证的方法，但由于国内网络环境，大多数用户都采用的ADSL形式的网络接入，IP是动态变化的，无法通过绑定IP来认证。
为了解决上述问题，本实施例提出了一种基于浏览器的页面访问方法，通过插件对浏览器设置需要用户身份验证的代理IP，提高了效率。
图1为本发明实施例所提供的一种基于浏览器的页面访问方法的流程示意图。
如图1所示，该方法包括：
步骤S101，浏览器启动后，插件采用模拟用户操作的方式，通过浏览器访问所需页面，以使浏览器生成第一页面访问请求。
浏览器启动以前，需要先设置代理服务器，具体地，可通过设置参数-proxy-server＝http：//IP:Port，来完成代理服务器的设置，其中，IP是代理服务器的IP地址，Port是代理服务器的端口。
浏览器启动后，插件调用浏览器的应用程序编程接口(Application ProgrammingInterface，API)，驱动浏览器执行不同的页面请求，使得浏览器生成第一页面访问请求，其中，第一页面访问请求，是没有通过用户验证的页面访问请求。
步骤S102，当侦听到第一页面访问请求时，插件在第一页面访问请求的头部添加代理服务器的身份验证信息，得到第二页面访问请求。
具体地，通过函数addlistener()来增加侦听事件，当插件侦听到第一页面的访问请求时，在第一页面的访问请求的头部添加代理服务器的身份验证信息，得到第二页面访问请求，其中，第二页面是指在访问请求的头部添加了代理服务器身份认证信息的页面访问请求，其中，身份验证信息包括用户名和密码。
步骤S103，插件向代理服务器发送第二页面访问请求，以使代理服务器根据第二页面访问请求携带的身份验证信息认证通过时，对页面进行访问并向浏览器返回页面内容。
具体地，插件将头部添加了代理服务器身份认证信息的页面访问请求发送给代理服务器，代理服务器根据第二页面访问请求携带的身份验证信息，对第二页面访问请求进行用户名和密码的认证，认证通过，则对页面进行访问并将页面内容返回给浏览器。
本实施例的基于浏览器的页面访问方法中，浏览器启动后，插件模拟用户操作，通过浏览器访问所需页面，生成第一页面访问请求，插件在第一页面访问请求的头部添加代理服务器的身份验证信息，得到第二页面访问请求，代理服务器根据第二页面访问请求携带的身份验证信息认证通过时，对页面进行访问并向浏览器返回页面内容。通过插件在第一页面访问请求的头部添加代理服务器的身份验证信息，使得浏览器可以访问需要身份验证的代理服务器。由于需要身份验证的代理服务器一般不会对访问次数进行限制，从而使得本实施例中的浏览器在获取页面时访问次数不受限制且稳定性好，解决了现有技术中，无法使用需身份验证的代理服务器，稳定性差，致使需要频繁的设置代理服务器，导致耗费较多时间，用户体验度差的问题。
在上述实施例基础上，在浏览器启动之前，还需要预先设置代理服务器，为此，图2为本发明实施例所提供的另一种基于浏览器的页面访问方法的流程示意图，在图1实施例基础上，步骤S101之前还可以包括：
步骤S201，插件设置浏览器的代理服务器。
具体地，插件调用浏览器提供的开放的API，并根据已经获取的需要验证的代理服务器的IP地址和端口的相关信息，设置浏览器的单一代理Single Proxy值，其中，SingleProxy值可通过浏览器的设置参数-proxy-server来设置，例如，根据已知该代理服务器的IP和端口，可设置参数为：-proxy-server＝202.116.0.188:3128，其中，202.116.0.188是代理服务器的IP地址，3128是代理服务器的端口。
需要说明的是，该代理服务器的IP和端口是独享的，设置完成后仅由该浏览器使用。
本实施例的基于浏览器的页面访问方法中，浏览器启动后，插件模拟用户操作，通过浏览器访问所需页面，生成第一页面访问请求，插件在第一页面访问请求的头部添加代理服务器的身份验证信息，得到第二页面访问请求，代理服务器根据第二页面访问请求携带的身份验证信息认证通过时，对页面进行访问并向浏览器返回页面内容。通过插件在第一页面访问请求的头部添加代理服务器的身份验证信息，使得浏览器可以访问需要身份验证的代理服务器。由于需要身份验证的代理服务器一般不会对访问次数进行限制，从而使得本实施例中的浏览器在获取页面时访问次数不受限制且稳定性好，解决了现有技术中，无法使用需身份验证的代理服务器，稳定性差，致使需要频繁的设置代理服务器，导致耗费较多时间，用户体验度差的问题。
在上述实施例基础上，下面以浏览器为谷歌公司的Chrome浏览器为例，对上述方法进行进一步说明。
对上述实施例中的方法，是基于插件来完成的，该插件具体可以是对manifest.json文件和background.js文件打包生成的，其中，manifest.json文件用于配置插件，background.js文件用于指示身份验证信息。
具体地，在Chrome浏览器启动以前，插件通过调用Chrome浏览器的开放的API，对Chrome浏览器设置单一代理Single Proxy值，实现代理服务器设置，同时添加addlistener侦听事件，用于对浏览器请求访问的页面的头部添加身份认证信息，身份认证信息包括用户名和密码。
浏览器启动后，模拟用户的操作，访问不同的网页，当侦听到页面的访问请求时，则在页面的请求头部添加身份验证信息，并将该页面提交给代理服务器，代理服务器对页面的访问请求中携带的用户名和密码进行验证，验证通过后，访问页面并返回页面的内容。
需要说明的是，打包后插件的文件的路径赋值给selenium.webdriver的chromeOptions参数，以便于在实际应用中，当需要使用selenium的web测试工具，对页面进行数据爬取，或者实现不同地域对web应用程序进行测试时，浏览器通过调用插件访问需要进行身份验证的代理服务器。
本实施例的基于浏览器的页面访问方法中，浏览器启动后，插件模拟用户操作，通过浏览器访问所需页面，生成第一页面访问请求，插件在第一页面访问请求的头部添加代理服务器的身份验证信息，得到第二页面访问请求，代理服务器根据第二页面访问请求携带的身份验证信息认证通过时，对页面进行访问并向浏览器返回页面内容。通过插件在第一页面访问请求的头部添加代理服务器的身份验证信息，使得浏览器可以访问需要身份验证的代理服务器。由于需要身份验证的代理服务器一般不会对访问次数进行限制，从而使得本实施例中的浏览器在获取页面时访问次数不受限制且稳定性好，解决了现有技术中，无法使用需身份验证的代理服务器，稳定性差，致使需要频繁的设置代理服务器，导致耗费较多时间，用户体验度差的问题。
在上述实施例基础上，本发明还提出了一种基于浏览器的页面访问方法，该方法从代理服务器的角度对该方法进行说明，图3为本发明实施例所提供的又一种基于浏览器的页面访问方法的流程示意图，如图3所示，该方法包括：
步骤S301，代理服务器接收插件在第一页面访问请求的头部添加身份验证信息得到的第二页面访问请求。
具体地，代理服务器需要预先在浏览器中设置，其中，第一页面访问请求，是浏览器启动后，插件采用模拟用户操作的方式，通过浏览器访问所需页面使浏览器生成的。当插件侦听到第一页面访问请求时，在第一页面访问请求的头部添加身份验证信息，得到第二页面访问请求，其中，身份验证信息包括用户名和密码。
步骤S302，若代理服务器对身份验证信息通过时，访问第二页面访问请求所指示的页面，得到页面内容。
具体地，代理服务器接收插件发送的第二页面访问请求，并对第二页面访问请求头部携带的身份验证信息进行验证，验证通过，则对页面进行访问，得到页面的内容。
步骤S303，代理服务器向浏览器返回页面内容。
具体地，代理服务器将得到的页面的内容返回给浏览器，实现了浏览器对页面的访问需求。
本实施例的基于浏览器的页面访问方法中，代理服务器接收插件在第一页面访问请求的头部添加身份验证信息得到的第二页面访问请求，若代理服务器对身份验证信息通过时，访问第二页面访问请求所指示的页面，得到页面内容，代理服务器向浏览器返回页面内容。通过插件在第一页面访问请求的头部添加代理服务器的身份验证信息，使得浏览器可以访问需要身份验证的代理服务器。由于需要身份验证的代理服务器一般不会对访问次数进行限制，从而使得本实施例中的浏览器在获取页面时访问次数不受限制且稳定性好，解决了现有技术中，无法使用需身份验证的代理服务器，稳定性差，致使需要频繁的设置代理服务器，导致耗费较多时间，用户体验度差的问题。
为了实现上述实施例，本发明还提出一种基于浏览器的页面访问装置。
图4为本发明实施例所提供的一种基于浏览器的页面访问装置的结构示意图。
如图4所示，该装置包括：访问模块41、侦听模块42和发送模块43。
访问模块41，用于浏览器启动后，采用模拟用户操作的方式，基于浏览器访问所需页面，以使浏览器生成第一页面访问请求，其中，浏览器已预先设置代理服务器。
侦听模块42，用于当侦听到第一页面访问请求时，在第一页面访问请求的头部添加代理服务器的身份验证信息，得到第二页面访问请求。
发送模块43，用于向代理服务器发送第二页面访问请求，以使代理服务器根据第二页面访问请求携带的身份验证信息认证通过时，对页面进行访问并向浏览器返回访问结果。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
本实施例的基于浏览器的页面访问装置中，访问模块用于浏览器启动后，采用模拟用户操作的方式，基于浏览器访问所需页面，以使浏览器生成第一页面访问请求，侦听模块用于当侦听到第一页面访问请求时，在第一页面访问请求的头部添加代理服务器的身份验证信息，得到第二页面访问请求，发送模块用于向代理服务器发送第二页面访问请求，以使代理服务器根据第二页面访问请求携带的身份验证信息认证通过时，对页面进行访问并向浏览器返回访问结果。通过插件在第一页面访问请求的头部添加代理服务器的身份验证信息，使得浏览器可以访问需要身份验证的代理服务器。由于需要身份验证的代理服务器一般不会对访问次数进行限制，从而使得本实施例中的浏览器在获取页面时访问次数不受限制且稳定性好，解决了现有技术中，无法使用需身份验证的代理服务器，稳定性差，致使需要频繁的设置代理服务器，导致耗费较多时间，用户体验度差的问题。
基于上述实施例，本发明实施例还提供了一种基于浏览器的页面访问装置的可能的实现方式，图5为本发明实施例所提供的另一种基于浏览器的页面访问装置的结构示意图，在上一实施例的基础上，该装置还包括：设置模块44。
设置模块44，用于利用插件调用浏览器提供的应用程序接口，根据代理服务器的相关信息，设置单一代理Single Proxy值。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
本实施例的基于浏览器的页面访问装置中，访问模块用于浏览器启动后，采用模拟用户操作的方式，基于浏览器访问所需页面，以使浏览器生成第一页面访问请求，侦听模块用于当侦听到第一页面访问请求时，在第一页面访问请求的头部添加代理服务器的身份验证信息，得到第二页面访问请求，发送模块用于向代理服务器发送第二页面访问请求，以使代理服务器根据第二页面访问请求携带的身份验证信息认证通过时，对页面进行访问并向浏览器返回访问结果。通过插件在第一页面访问请求的头部添加代理服务器的身份验证信息，使得浏览器可以访问需要身份验证的代理服务器。由于需要身份验证的代理服务器一般不会对访问次数进行限制，从而使得本实施例中的浏览器在获取页面时访问次数不受限制且稳定性好，解决了现有技术中，无法使用需身份验证的代理服务器，稳定性差，致使需要频繁的设置代理服务器，导致耗费较多时间，用户体验度差的问题。
为了实现上述实施例，本发明还提出一种基于浏览器的页面访问装置，图6为本发明实施例所提供的又一种基于浏览器的页面访问装置的结构示意图，如图6所示，该装置包括：接收模块61、第二访问模块62和返回模块63。
接收模块61，用于接收插件在第一页面访问请求的头部添加身份验证信息得到的第二页面访问请求，其中，第一页面访问请求，是浏览器启动后，插件采用模拟用户操作的方式，通过浏览器访问所需页面使浏览器生成的。
第二访问模块62，用于若代理服务器对身份验证信息通过时，访问第二页面访问请求所指示的页面，得到页面内容。
返回模块63，用于向浏览器返回页面内容。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
本实施例的基于浏览器的页面访问装置中，接收模块，用于接收插件在第一页面访问请求的头部添加身份验证信息得到的第二页面访问请求，第二访问模块用于若代理服务器对身份验证信息通过时，访问第二页面访问请求所指示的页面，得到页面内容，返回模块用于向浏览器返回页面内容。通过插件在第一页面访问请求的头部添加代理服务器的身份验证信息，使得浏览器可以访问需要身份验证的代理服务器。由于需要身份验证的代理服务器一般不会对访问次数进行限制，从而使得本实施例中的浏览器在获取页面时访问次数不受限制且稳定性好，解决了现有技术中，无法使用需身份验证的代理服务器，稳定性差，致使需要频繁的设置代理服务器，导致耗费较多时间，用户体验度差的问题。
为了实现上述实施例，本发明还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现前述方法实施例所述的基于浏览器的页面访问方法。
为了实现上述实施例，本发明第六方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现前述方法实施例所述的基于浏览器的页面访问方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于浏览器的页面访问方法，其特征在于，包括以下步骤：
浏览器启动后，插件采用模拟用户操作的方式，通过所述浏览器访问所需页面，以使所述浏览器生成第一页面访问请求；所述浏览器已预先设置代理服务器；
当侦听到所述第一页面访问请求时，所述插件在所述第一页面访问请求的头部添加所述代理服务器的身份验证信息，得到第二页面访问请求；
所述插件向所述代理服务器发送所述第二页面访问请求，以使所述代理服务器根据所述第二页面访问请求携带的所述身份验证信息认证通过时，对所述页面进行访问并向所述浏览器返回页面内容。
2.根据权利要求1所述的基于浏览器的页面访问方法，其特征在于，所述浏览器启动之前，还包括：
所述插件调用浏览器提供的应用程序接口，根据代理服务器的相关信息，设置单一代理Single Proxy值。
3.根据权利要求1所述的基于浏览器的页面访问方法，其特征在于，所述插件是对manifest.json文件和background.js文件打包生成的；所述manifest.json文件用于配置所述插件；所述background.js文件用于指示所述身份验证信息。
4.根据权利要求1所述的基于浏览器的页面访问方法，其特征在于，所述浏览器中，selenium.webdriver的chromeOptions参数取值为所述插件的文件路径。
5.根据权利要求1-4任一项所述的基于浏览器的页面访问方法，其特征在于，所述身份验证信息包括用户名和密码。
6.一种基于浏览器的页面访问装置，其特征在于，包括：
访问模块，用于浏览器启动后，采用模拟用户操作的方式，基于所述浏览器访问所需页面，以使所述浏览器生成第一页面访问请求；所述浏览器已预先设置代理服务器；
侦听模块，用于当侦听到所述第一页面访问请求时，在所述第一页面访问请求的头部添加所述代理服务器的身份验证信息，得到第二页面访问请求；
发送模块，用于向所述代理服务器发送所述第二页面访问请求，以使所述代理服务器根据所述第二页面访问请求携带的所述身份验证信息认证通过时，对所述页面进行访问并向所述浏览器返回访问结果。
7.一种基于浏览器的页面访问方法，其特征在于，包括：
代理服务器接收插件在第一页面访问请求的头部添加身份验证信息得到的第二页面访问请求；所述第一页面访问请求，是浏览器启动后，所述插件采用模拟用户操作的方式，通过所述浏览器访问所需页面使所述浏览器生成的；
若所述代理服务器对所述身份验证信息通过时，访问所述第二页面访问请求所指示的页面，得到页面内容；
所述代理服务器向所述浏览器返回所述页面内容。
8.一种基于浏览器的页面访问装置，其特征在于，包括：
接收模块，用于接收插件在第一页面访问请求的头部添加身份验证信息得到的第二页面访问请求；所述第一页面访问请求，是浏览器启动后，所述插件采用模拟用户操作的方式，通过所述浏览器访问所需页面使所述浏览器生成的；
第二访问模块，用于若所述代理服务器对所述身份验证信息通过时，访问所述第二页面访问请求所指示的页面，得到页面内容；
返回模块，用于向所述浏览器返回所述页面内容。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-5中任一所述的基于浏览器的页面访问方法，或者，实现如权利要求7所述的基于浏览器的页面访问方法。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现如权利要求1-5中任一所述的基于浏览器的页面访问方法，或者，实现如权利要求7所述的基于浏览器的页面访问方法。
CN201710780242.0A 2017-09-01 2017-09-01 基于浏览器的页面访问方法和装置 Pending CN107729358A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710780242.0A CN107729358A (zh) 2017-09-01 2017-09-01 基于浏览器的页面访问方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710780242.0A CN107729358A (zh) 2017-09-01 2017-09-01 基于浏览器的页面访问方法和装置

Publications (1)

Publication Number Publication Date
CN107729358A true CN107729358A (zh) 2018-02-23

Family

ID=61205437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710780242.0A Pending CN107729358A (zh) 2017-09-01 2017-09-01 基于浏览器的页面访问方法和装置

Country Status (1)

Country Link
CN (1) CN107729358A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885792A (zh) * 2019-01-04 2019-06-14 石化盈科信息技术有限责任公司 一种基于webdriver技术的APP桥接方法
CN110377813A (zh) * 2019-07-30 2019-10-25 广州吉信网络科技开发有限公司 一种selenium支持自定义请求头的方法、电子设备和介质
CN111885006A (zh) * 2020-06-29 2020-11-03 上海巧房信息科技有限公司 页面访问、授权访问方法和装置
WO2020224108A1 (zh) * 2019-05-05 2020-11-12 平安科技（深圳）有限公司 Url拦截转换方法、装置以及计算机设备
CN112148953A (zh) * 2020-09-30 2020-12-29 北京金堤征信服务有限公司 差异数据的访问方法以及装置
CN112328988A (zh) * 2020-11-27 2021-02-05 四川长虹电器股份有限公司 身份验证信息的接口数据处理方法
CN113190737A (zh) * 2021-05-06 2021-07-30 上海慧洲信息技术有限公司 一种基于云平台的网站信息采集系统
CN113391851A (zh) * 2021-06-03 2021-09-14 网宿科技股份有限公司 一种代理控制方法、客户端设备及代理服务设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102171984A (zh) * 2008-10-06 2011-08-31 诺基亚西门子通信公司 服务提供者访问
CN102594877A (zh) * 2012-01-19 2012-07-18 网宿科技股份有限公司 结合重定向下载请求和代理服务加速网络服务的方法、系统
US20140344332A1 (en) * 2013-05-20 2014-11-20 Citrix Systems, Inc. Multimedia Redirection in a Virtualized Environment Using a Proxy Server
CN106165371A (zh) * 2014-04-07 2016-11-23 谷歌公司 在受控网络环境中提供安全连接的中继代理

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102171984A (zh) * 2008-10-06 2011-08-31 诺基亚西门子通信公司 服务提供者访问
CN102594877A (zh) * 2012-01-19 2012-07-18 网宿科技股份有限公司 结合重定向下载请求和代理服务加速网络服务的方法、系统
US20140344332A1 (en) * 2013-05-20 2014-11-20 Citrix Systems, Inc. Multimedia Redirection in a Virtualized Environment Using a Proxy Server
CN106165371A (zh) * 2014-04-07 2016-11-23 谷歌公司 在受控网络环境中提供安全连接的中继代理

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885792A (zh) * 2019-01-04 2019-06-14 石化盈科信息技术有限责任公司 一种基于webdriver技术的APP桥接方法
CN109885792B (zh) * 2019-01-04 2021-03-26 石化盈科信息技术有限责任公司 一种基于webdriver技术的APP桥接方法
WO2020224108A1 (zh) * 2019-05-05 2020-11-12 平安科技（深圳）有限公司 Url拦截转换方法、装置以及计算机设备
CN110377813A (zh) * 2019-07-30 2019-10-25 广州吉信网络科技开发有限公司 一种selenium支持自定义请求头的方法、电子设备和介质
CN111885006A (zh) * 2020-06-29 2020-11-03 上海巧房信息科技有限公司 页面访问、授权访问方法和装置
CN112148953A (zh) * 2020-09-30 2020-12-29 北京金堤征信服务有限公司 差异数据的访问方法以及装置
CN112148953B (zh) * 2020-09-30 2024-06-07 北京金堤征信服务有限公司 差异数据的访问方法以及装置
CN112328988A (zh) * 2020-11-27 2021-02-05 四川长虹电器股份有限公司 身份验证信息的接口数据处理方法
CN113190737A (zh) * 2021-05-06 2021-07-30 上海慧洲信息技术有限公司 一种基于云平台的网站信息采集系统
CN113190737B (zh) * 2021-05-06 2024-04-16 上海慧洲信息技术有限公司 一种基于云平台的网站信息采集系统
CN113391851A (zh) * 2021-06-03 2021-09-14 网宿科技股份有限公司 一种代理控制方法、客户端设备及代理服务设备

Similar Documents

Publication Publication Date Title
CN107729358A (zh) 基于浏览器的页面访问方法和装置
CN104519050B (zh) 登录方法和登录系统
CN104348777B (zh) 一种移动终端对第三方服务器的访问控制方法及系统
CN104158836B (zh) 一种通过数据渲染移动应用界面的方法
US9424551B2 (en) Secure inter-module communication mechanism
CN104468592B (zh) 登录方法和登录系统
CN104335523B (zh) 一种权限控制方法、客户端及服务器
CN106156133B (zh) 控制表单重复提交的方法、装置及系统
CN104268082B (zh) 浏览器的压力测试方法和装置
CN105072123B (zh) 一种集群环境下的单点登陆退出方法及系统
CN102307220B (zh) 一种跨域网页信息交互方法
CN109218368A (zh) 实现Http反向代理的方法、装置、电子设备和可读介质
CN105100263A (zh) 一种反向代理方法及装置
CN105991518B (zh) 网络接入认证方法及装置
CN109819033A (zh) 一种资源文件加载方法及系统
CN104580380B (zh) 登录状态的同步方法和系统
CN103634111B (zh) 单点登录方法和系统及单点登录客户端
CN105095220B (zh) 一种浏览器实现方法、终端和虚拟化代理装置
CN110445615A (zh) 网络请求安全性验证方法、装置、介质及电子设备
CN110430084A (zh) 节点状态监控方法及装置
CN104376056B (zh) 一种数据处理的方法和装置
CN108021564A (zh) 一种页面重定向的方法和设备
CN107979577A (zh) 一种终端认证的方法及设备
CN105959278A (zh) 一种调用vpn的方法、设备和系统
CN107769929A (zh) 验证码复杂程度调整方法和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190903

Address after: 100192 Dongsheng Science Park, Zhongguancun, 66 Xixiaokou Road, Haidian District, Beijing

Applicant after: Green Bay Network Technology Co., Ltd.

Address before: 100089 Beijing Haidian District Xixiaokou Road 66 Zhongguancun Dongsheng Science Park B-6 Building B 5 floors

Applicant before: Grass count language (Beijing) Technology Co., Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180223