CN110909229A - 一种基于模拟浏览器访问的网页数据获取和存储的系统 - Google Patents
一种基于模拟浏览器访问的网页数据获取和存储的系统 Download PDFInfo
- Publication number
- CN110909229A CN110909229A CN201911180527.6A CN201911180527A CN110909229A CN 110909229 A CN110909229 A CN 110909229A CN 201911180527 A CN201911180527 A CN 201911180527A CN 110909229 A CN110909229 A CN 110909229A
- Authority
- CN
- China
- Prior art keywords
- data
- browser
- webpage
- acquiring
- access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000004088 simulation Methods 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 238000009434 installation Methods 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000009193 crawling Effects 0.000 abstract description 11
- 230000008901 benefit Effects 0.000 abstract description 4
- 231100000252 nontoxic Toxicity 0.000 abstract description 3
- 230000003000 nontoxic effect Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 abstract description 2
- 230000007306 turnover Effects 0.000 abstract 1
- 230000006399 behavior Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- SPBWHPXCWJLQRU-FITJORAGSA-N 4-amino-8-[(2r,3r,4s,5r)-3,4-dihydroxy-5-(hydroxymethyl)oxolan-2-yl]-5-oxopyrido[2,3-d]pyrimidine-6-carboxamide Chemical compound C12=NC=NC(N)=C2C(=O)C(C(=O)N)=CN1[C@@H]1O[C@H](CO)[C@@H](O)[C@H]1O SPBWHPXCWJLQRU-FITJORAGSA-N 0.000 description 2
- 102100021677 Baculoviral IAP repeat-containing protein 2 Human genes 0.000 description 2
- 102100021662 Baculoviral IAP repeat-containing protein 3 Human genes 0.000 description 2
- 102100037024 E3 ubiquitin-protein ligase XIAP Human genes 0.000 description 2
- 101000896157 Homo sapiens Baculoviral IAP repeat-containing protein 2 Proteins 0.000 description 2
- 101000896224 Homo sapiens Baculoviral IAP repeat-containing protein 3 Proteins 0.000 description 2
- 101000804865 Homo sapiens E3 ubiquitin-protein ligase XIAP Proteins 0.000 description 2
- 235000014510 cooky Nutrition 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
- G06F9/45529—Embedded in an application, e.g. JavaScript in a Web browser
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供了一种基于模拟浏览器访问的网页数据获取和存储的系统,通过安装浏览器插件、修改环境变量、爬取数据、将处理后的数据进行储存。本发明的基于模拟浏览器插件的网页数据获取和存储的系统绿色无毒且内存占比小；且通过模仿用户正常访问网站的方式获取网站数据，降低被网站识别为爬虫的概率；不仅可以自动翻页，自动采集数据，还可以通过可视化界面，进行人工拖动滑块或扫码登录，通过滑块验证码的检测等新型反爬机制，具有良好的推广应用价值。另外，能自动对数据进行清洗，提取用户所需的数据，促进数据获取的效率，且通过模拟清洗后的数据，能自动存于与模型相连接的数据库中，具有方便存取的优点。
Description
技术领域
本发明涉及计算机和通信领域，具体而言，涉及一种基于模拟浏览器访问的网页数据获取和存储的系统。
背景技术
目前想从海量数据中获取自己需要的数据就需要借助于网络爬虫，但是互联网数据的实际拥有者(网站管理人员)又会想办法甄别网络爬虫，保护自己的数据。因为这些网站有严格的反爬策略，部分数据必须要用户登录才可见，持续访问还会出现滑块验证码，扫码登录等手段，普通的数据爬取方式已经很难获取到想要的数据，需要有针对性的定制化的数据获取方法。还会存在以下问题：①使用requests库访问页面多次会出现限制IP的问题，此时可才用IP代理池解决，但大多数好的IP代理池价格昂贵。②可伪装成浏览器，通过切换user agent和保存cookies实现页面登录，但毕竟requests库爬虫框架运用较为广泛，对于反爬较为强硬的网站，工作人员已经开发出可自动识别requests的反爬系统，故该方式无法生效。③对于一些简单的验证码或者滑动块验证方式，requests库目前还没有高效的解决方法。另外，基于scrapy库异步网络爬取的爬虫框架，是封装起来的框架，它包含了下载器，解析器，日志及异常处理，基于多线程，twisted的方式处理，对于单个网站的爬取有优势，但是对于多网站的爬取，并发及分布式方面，不够灵活，不便调整及扩展，且不支持分布式部署。原生不支持抓取JavaScript的页面，全命令行操作，对用户不友好。如专利号为CN107885777A公开了一种基于协作式爬虫的抓取网页数据的控制方法及系统，解决从网页层次结构较深或详情页面较多的网站抓取数据花费时间过多，抓取效率低的问题。又如专利号为CN106775611A公开一种基于机器学习的自适应动态网页爬虫系统的实现方法，得到抓取网页范围列表，但依然存在爬取不够灵活的缺点。
综合上，在计算机领域，其实际应用中的亟待处理的实际问题还有很多未提出具体的解决方案。
发明内容
本发明提出了一种基于模拟浏览器访问的网页数据获取和存储的系统以解决所述问题。
为了实现上述目的，本发明采用如下技术方案：
一种基于模拟浏览器访问的网页数据获取和存储的系统，包括如下步骤：
(1)安装浏览器插件；
(2)将安装成功后的浏览器插件中可执行文件复制到编程软件安装文件夹中的脚本文件夹中；
(3)修改环境变量，将所述浏览器插件添加至系统环境变量的路径名称下；
(4)将所需爬取的数据的网页链接添加至系统模型中；
(5)所述浏览器插件自动获取所述网页链接，并模仿人的行为打开新的浏览器界面；
(6)判断并获取网页数据；
(7)在JS中获取网页元素，模拟点击翻页按钮执行翻页操作；若出现拖滑块操作或验证登录,浏览器出现可视化界面，方便用户进行手动操作,进入网页；若无出现拖滑块操作或验证登录，则直接进入网页；
(8)判断是否为列表页，若是则直接获取数据，若否则刷新页面，获取得到原生数据经过函数处理，得到所需数据；
(9)将处理后的数据存储进据库。
可选地，所述浏览器插件应用于指定浏览器。
可选地，所述安装浏览器插件包括根据所述浏览器插件的数字签名信息和所述指定浏览器的浏览器信息，根据所述浏览器信息验证所述浏览器插件的数字签名信息，当所述浏览器信息与数字签名信息匹配，则所述浏览器插件合法，完成安装。
可选地，所述修改环境变量包括识别至少一个应用程序的默认环境变量，通过生成模块将默认环境变量生成包含有修改后的环境变量的文件，且获取修改后的环境变量时，加载所述修改后的环境变量对应的配置文件，根据所述加载配置文件记录配置信息，根据所述配置信息运行对应项目进程。
可选地，所述模仿人的行为指的是模拟用户行为的方式对网页的访问操作并发送网页访问请求后，打开新的浏览器界面。
可选地，判断并获取网页数据包括获取所述网页链接信息并识别出所述网页链接信息中的内容，从识别的所述网页链接信息中通过数据源服务器获取与所述目标数据，并基于预设判断规则判断所述目标数据是否为所述爬取的数据，并将结果反馈至环境变量路径，并更新所述环境变量路径列表。
可选地，所述网页能进行实时排序，输出爬取数据的列表并将其储存进数据库中。
可选地，所述模拟用户行为通过浏览器模式发送网页访问请求。
与现有技术相比，本发明所取得的有益技术效果是：
1、本发明的基于模拟浏览器插件的网页数据获取和存储的系统绿色无毒且内存占比小；且通过模仿用户正常访问网站的方式获取网站数据，降低被网站识别为爬虫的概率。
2、本发明的基于模拟浏览器插件的网页数据获取和存储的系统不仅可以自动翻页，自动采集数据，登录网站后基本不需要太多的人工参与即可完成数据获取，还可以通过可视化界面，进行人工拖动滑块或扫码登录，通过滑块验证码的检测等新型反爬机制，具有良好的推广应用价值。
3、本发明的基于模拟浏览器插件的网页数据获取和存储的系统能自动对数据进行清洗，提取用户所需的数据，促进数据获取的效率，且通过模拟清洗后的数据，能自动存于与模型相连接的数据库中，具有方便存取的优点。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。
图1是本发明实施例之一中一种基于模拟浏览器访问的网页数据获取和存储的系统的示意图。
具体实施方式
为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内、包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。且实施例仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明为一种基于模拟浏览器访问的网页数据获取和存储的系统，根据图所示讲述以下实施例：
实施例一：
一种基于模拟浏览器访问的网页数据获取和存储的系统，包括如下：
(1)安装浏览器插件，且所述浏览器插件应用于指定浏览器；其中，所述安装浏览器插件包括根据所述浏览器插件的数字签名信息和所述指定浏览器的浏览器信息，根据所述浏览器信息验证所述浏览器插件的数字签名信息，当所述浏览器信息与数字签名信息匹配，则所述浏览器插件合法，完成安装。
(2)将安装成功后的浏览器插件中可执行文件复制到编程软件安装文件夹中的脚本文件夹中；
(3)修改环境变量，将所述浏览器插件添加至系统环境变量的路径名称下，且所述修改环境变量包括识别至少一个应用程序的默认环境变量，通过生成模块将默认环境变量生成包含有修改后的环境变量的文件，且获取修改后的环境变量时，加载所述修改后的环境变量对应的配置文件，根据所述加载配置文件记录配置信息，根据所述配置信息运行对应项目进程；
(4)将所需爬取的数据的网页链接添加至系统模型中；
(5)所述浏览器插件自动获取所述网页链接，并模仿人的行为打开新的浏览器界面；
(6)判断并获取网页数据；具体包括获取所述网页链接信息并识别出所述网页链接信息中的内容，从识别的所述网页链接信息中通过数据源服务器获取与所述目标数据，并基于预设判断规则判断所述目标数据是否为所述爬取的数据，并将结果反馈至环境变量路径，并更新所述环境变量路径列表；
(7)在JS中获取网页元素，模拟点击翻页按钮执行翻页操作；若出现拖滑块操作或验证登录,浏览器出现可视化界面，方便用户进行手动操作,进入网页；若无出现拖滑块操作或验证登录，则直接进入网页；
(8)判断是否为列表页，若是则直接获取数据，若否则刷新页面，获取得到原生数据经过函数处理，得到所需数据；
(9)所述网页能进行实时排序，输出爬取数据的列表并将其储存进数据库中。
其中，所述模仿人的行为指的是模拟用户行为的方式对网页的访问操作并发送网页访问请求后，打开新的浏览器界面；所述模拟用户行为通过浏览器模式发送网页访问请求。
实施例二：
一种基于模拟浏览器访问的网页数据获取和存储的系统，包括如下：
在本实施例中，首先需要安装浏览器插件，且所述浏览器插件应用于指定浏览器；其中，所述安装浏览器插件包括根据所述浏览器插件的数字签名信息和所述指定浏览器的浏览器信息，根据所述浏览器信息验证所述浏览器插件的数字签名信息，当所述浏览器信息与数字签名信息匹配，则所述浏览器插件合法，通过谷歌浏览器插件的安装指令完成安装，在本实施例中所述浏览器为谷歌浏览器，对于谷歌浏览器插件来说，每个谷歌浏览器插件均包括插件声明，所述插件声明包括所述浏览器插件所要调用的API名称，且所述插件声明可以为列表形式，如，浏览器插件A的声明中包括API1、API2和API3，则可以理解为该浏览器插件A在运行时需调用API1、API2和API3。
然后，将安装成功后的浏览器插件中可执行文件复制到编程软件安装文件夹中的脚本文件夹中；具体为：将安装成功后的谷歌插件中.exe可执行文件copy到Python安装文件夹的script文件夹中；
进一步修改环境变量，将所述谷歌浏览器插件添加至系统环境变量的路径名称下，且所述修改环境变量包括识别至少一个应用程序的默认环境变量，通过生成模块将默认环境变量生成包含有修改后的环境变量的文件，且获取修改后的环境变量时，加载所述修改后的环境变量对应的配置文件，根据所述加载配置文件记录配置信息，根据所述配置信息运行对应项目进程；具体为将放好至script文件中的谷歌浏览器插件添加进系统环境变量中的path名称下；
将所需爬取的数据的网页链接添加至系统模型中，在本实施例中的系统模型为根据特征提取结构进行训练的系统模型。
在本例中所述浏览器插件自动获取所述网页链接，并模仿人的行为打开新的浏览器界面，且所述模仿人的行为指的是模拟用户行为的方式通过浏览器模式发送网页的访问操作并发送网页访问请求后，打开新的浏览器界面；所述模拟用户行为；进一步判断并获取网页数据；具体包括获取所述网页链接信息并识别出所述网页链接信息中的内容，从识别的所述网页链接信息中通过数据源服务器获取与所述目标数据，并基于预设判断规则判断所述目标数据是否为所述爬取的数据，并将结果反馈至环境变量路径，并更新所述环境变量路径列表；具体地，本实施例中获取网页数据包括对数据的过滤处理，包括行既过滤和列级过滤，行级过滤中将数据中不需要的行剔除掉，列级过滤中保留所需列对应的字段，
在JS中获取网页元素，模拟点击翻页按钮执行翻页操作；若出现拖滑块操作或验证登录,浏览器出现可视化界面，方便用户进行手动操作,进入网页；若无出现拖滑块操作或验证登录，则直接进入网页；但需要读取网页的完整内容，具体可以包含异步加载的内容，如完整地呈现到浏览器窗口的内容，例如，针对不同用户端(如手机或者计算机设备)的网速、流量、设备速度、屏幕大小等原因，而导致获取到的网页内容不完整，如只有网页的骨架而无内容，需要等待JS异步加载内容。此时，本申请可以使用带JS执行引擎的浏览器驱动来执行网页内的异步加载JS，解决异步加载问题，此外，还可以配合无界面浏览器的方式使用。且在本实施例中，在数据获取的过程中，还包括任务去重，以防止网页的重复抓取，比如A中包含了B的地址，B中又包含了返回A的地址，避免造成爬虫在A和B间死循环的问题。进一步判断是否为列表页，若是则直接获取数据，若否则刷新页面，获取得到原生数据经过函数处理，整合得到不同数据源的相同实体之间的链接关系具体可以包括下述处理过程：输入目标实体名和第一上下文参数，根据所述目标实体名从所述知识数据库中进行查找，获取与所述目标实体名相同的个数，如果所述个数为第一数量，则判断所述目标实体名是否为原始实体名词，如果所述个数为第二数量，则输出与所述目标实体名相同的第一实体名，如果所述个数为第三数量，则将多个第二实体名进行消歧处理；且在本实施例中如果所述目标实体名为所述原始实体名词，则将所述原始实体名词进行分割得到多个实体名词，根据所述多个实体名词分别从所述知识数据库中进行查找，获取与所述目标实体名相同的实体名。另外，本实施例所述将多个第二实体名进行消歧处理可以包括如下处理过程：将所述目标实体名的上下文参数和所述多个第二实体名的上下文参数分别进行自然语言处理得到词袋和词袋集，将所述词袋和所述词袋集分别进行相似度计算，获取相似度最大的词频，输出所述相似度最大的词频，能够提高数据的安全性。
在本例中，最后将所述网页能进行实时排序，输出爬取数据的列表并将其储存进数据库中。
综合上，本发明的基于模拟浏览器插件的网页数据获取和存储的系统绿色无毒且内存占比小；且通过模仿用户正常访问网站的方式获取网站数据，降低被网站识别为爬虫的概率，能自动对数据进行清洗，提取用户所需的数据，促进数据获取的效率。
虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统和设备是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种部件。而且，关于某些配置描述的特征可以以各种其他配置组合，如可以以类似的方式组合配置的不同方面和元素。此外，随着技术发展其中的元素可以更新，即许多元素是示例，并不限制本公开或权利要求的范围。
在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置,例如，已经示出了众所周知的电路，过程，算法，结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。
综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以下权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (8)
1.一种基于模拟浏览器访问的网页数据获取和存储的系统，其特征在于，包括如下步骤：
(1)安装浏览器插件；
(2)将安装成功后的浏览器插件中可执行文件复制到编程软件安装文件夹中的脚本文件夹中；
(3)修改环境变量，将所述浏览器插件添加至系统环境变量的路径名称下；
(4)将所需爬取的数据的网页链接添加至系统模型中；
(5)所述浏览器插件自动获取所述网页链接，并模仿人的行为打开新的浏览器界面；
(6)判断并获取网页数据；
(7)获取网页元素，模拟点击翻页按钮执行翻页操作；若出现拖滑块操作或验证登录,浏览器出现可视化界面，方便用户进行手动操作,进入网页；若无出现拖滑块操作或验证登录，则直接进入网页；
(8)判断是否为列表页，若是则直接获取数据，若否则刷新页面，获取得到原生数据经过函数处理，得到所需数据；
(9)将处理后的数据存储进据库。
2.根据权利要求1所述的基于模拟浏览器访问的网页数据获取和存储的系统，其特征在于，所述浏览器插件应用于指定浏览器。
3.根据权利要求2所述的基于模拟浏览器访问的网页数据获取和存储的系统，其特征在于，所述安装浏览器插件包括根据所述浏览器插件的数字签名信息和所述指定浏览器的浏览器信息，根据所述浏览器信息验证所述浏览器插件的数字签名信息，当所述浏览器信息与数字签名信息匹配，则所述浏览器插件合法，完成安装。
4.根据权利要求1所述的基于模拟浏览器访问的网页数据获取和存储的系统，其特征在于，所述修改环境变量包括识别至少一个应用程序的默认环境变量，通过生成模块将默认环境变量生成包含有修改后的环境变量的文件，且获取修改后的环境变量时，加载所述修改后的环境变量对应的配置文件，根据所述加载配置文件记录配置信息，根据所述配置信息运行对应项目进程。
5.根据权利要求1所述的基于模拟浏览器访问的网页数据获取和存储的系统，其特征在于，所述模仿人的行为指的是模拟用户行为的方式对网页的访问操作并发送网页访问请求后，打开新的浏览器界面。
6.根据权利要求1所述的基于模拟浏览器访问的网页数据获取和存储的系统，其特征在于，判断并获取网页数据包括获取所述网页链接信息并识别出所述网页链接信息中的内容，从识别的所述网页链接信息中通过数据源服务器获取目标数据，并基于预设判断规则判断所述目标数据是否为所述爬取的数据，并将结果反馈至环境变量路径，并更新所述环境变量路径列表。
7.根据权利要求1所述的基于模拟浏览器访问的网页数据获取和存储的系统，其特征在于，所述网页能进行实时排序，输出爬取数据的列表并将其储存进数据库中。
8.根据权利要求5所述的基于模拟浏览器访问的网页数据获取和存储的系统，其特征在于，所述模拟用户行为通过浏览器模式发送网页访问请求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911180527.6A CN110909229A (zh) | 2019-11-27 | 2019-11-27 | 一种基于模拟浏览器访问的网页数据获取和存储的系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911180527.6A CN110909229A (zh) | 2019-11-27 | 2019-11-27 | 一种基于模拟浏览器访问的网页数据获取和存储的系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110909229A true CN110909229A (zh) | 2020-03-24 |
Family
ID=69818654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911180527.6A Pending CN110909229A (zh) | 2019-11-27 | 2019-11-27 | 一种基于模拟浏览器访问的网页数据获取和存储的系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110909229A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111523074A (zh) * | 2020-04-26 | 2020-08-11 | 成都思维世纪科技有限责任公司 | 一种前端渲染网站的动态页面敏感数据的采集系统 |
| CN111767450A (zh) * | 2020-07-27 | 2020-10-13 | 深圳快学教育科技有限公司 | 浏览器数据采集系统及方法 |
| CN112347326A (zh) * | 2020-09-29 | 2021-02-09 | 武汉虹旭信息技术有限责任公司 | 基于浏览器端的爬虫检测方法及装置 |
| CN112800311A (zh) * | 2021-02-05 | 2021-05-14 | 厦门市美亚柏科信息股份有限公司 | 一种浏览器页面数据采集方法、终端设备及存储介质 |
| CN113495764A (zh) * | 2021-09-06 | 2021-10-12 | 广州市高奈特网络科技有限公司 | 自动化数据提取方法、装置、计算机设备和存储介质 |
| CN113704590A (zh) * | 2021-09-06 | 2021-11-26 | 挂号网（杭州）科技有限公司 | 网页数据获取方法、装置、电子设备及存储介质 |
| CN114254219A (zh) * | 2021-12-17 | 2022-03-29 | 北京金堤科技有限公司 | 数据获取方法及其装置、计算机存储介质、电子设备 |
| CN115277451A (zh) * | 2022-07-28 | 2022-11-01 | 中译语通科技股份有限公司 | 一种基于自动化模拟器的账号登入信息初始化方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105631030A (zh) * | 2015-12-30 | 2016-06-01 | 福建亿榕信息技术有限公司 | 一种通用的网络爬虫模拟登录方法及系统 |
| CN110276041A (zh) * | 2019-07-01 | 2019-09-24 | 浪潮卓数大数据产业发展有限公司 | 一种基于谷歌浏览器插件的网页数据获取方法及系统 |
-
2019
- 2019-11-27 CN CN201911180527.6A patent/CN110909229A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105631030A (zh) * | 2015-12-30 | 2016-06-01 | 福建亿榕信息技术有限公司 | 一种通用的网络爬虫模拟登录方法及系统 |
| CN110276041A (zh) * | 2019-07-01 | 2019-09-24 | 浪潮卓数大数据产业发展有限公司 | 一种基于谷歌浏览器插件的网页数据获取方法及系统 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111523074A (zh) * | 2020-04-26 | 2020-08-11 | 成都思维世纪科技有限责任公司 | 一种前端渲染网站的动态页面敏感数据的采集系统 |
| CN111767450A (zh) * | 2020-07-27 | 2020-10-13 | 深圳快学教育科技有限公司 | 浏览器数据采集系统及方法 |
| CN112347326A (zh) * | 2020-09-29 | 2021-02-09 | 武汉虹旭信息技术有限责任公司 | 基于浏览器端的爬虫检测方法及装置 |
| CN112347326B (zh) * | 2020-09-29 | 2022-07-15 | 武汉虹旭信息技术有限责任公司 | 基于浏览器端的爬虫检测方法及装置 |
| CN112800311A (zh) * | 2021-02-05 | 2021-05-14 | 厦门市美亚柏科信息股份有限公司 | 一种浏览器页面数据采集方法、终端设备及存储介质 |
| CN113495764A (zh) * | 2021-09-06 | 2021-10-12 | 广州市高奈特网络科技有限公司 | 自动化数据提取方法、装置、计算机设备和存储介质 |
| CN113704590A (zh) * | 2021-09-06 | 2021-11-26 | 挂号网（杭州）科技有限公司 | 网页数据获取方法、装置、电子设备及存储介质 |
| CN114254219A (zh) * | 2021-12-17 | 2022-03-29 | 北京金堤科技有限公司 | 数据获取方法及其装置、计算机存储介质、电子设备 |
| CN115277451A (zh) * | 2022-07-28 | 2022-11-01 | 中译语通科技股份有限公司 | 一种基于自动化模拟器的账号登入信息初始化方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110909229A (zh) | 一种基于模拟浏览器访问的网页数据获取和存储的系统 | |
| CN108595583B (zh) | 动态图表类页面数据爬取方法、装置、终端及存储介质 | |
| CN104766014B (zh) | 用于检测恶意网址的方法和系统 | |
| US7860971B2 (en) | Anti-spam tool for browser | |
| US8869286B1 (en) | Systems and methods for analyzing client-side storage security for internet applications | |
| CN109376291B (zh) | 一种基于网络爬虫的网站指纹信息扫描的方法及装置 | |
| US20090287641A1 (en) | Method and system for crawling the world wide web | |
| CN103678487A (zh) | 一种网页快照的生成方法和装置 | |
| CN107590236B (zh) | 一种面向建筑施工企业的大数据采集方法和系统 | |
| CN112118225A (zh) | 一种基于RNN的Webshell检测方法及装置 | |
| CN110347573B (zh) | 应用程序分析方法、装置、电子设备及计算机可读介质 | |
| CN108494728B (zh) | 防止流量劫持的黑名单库创建方法、装置、设备及介质 | |
| CN111753302A (zh) | 检测代码漏洞的方法、装置、计算机可读介质及电子设备 | |
| CN113469866A (zh) | 数据处理方法、装置和服务器 | |
| CN113392303A (zh) | 后台爆破方法、装置、设备和计算机可读存储介质 | |
| CN113869789A (zh) | 一种风险监控的方法、装置、计算机设备及存储介质 | |
| US9436669B1 (en) | Systems and methods for interfacing with dynamic web forms | |
| CN109284590A (zh) | 访问行为安全防护的方法、设备、存储介质及装置 | |
| Aggarwal et al. | A targeted data extraction system for mobile devices | |
| WO2017092355A1 (zh) | 一种数据服务系统 | |
| US20130230248A1 (en) | Ensuring validity of the bookmark reference in a collaborative bookmarking system | |
| CN108038233B (zh) | 一种采集文章的方法、装置、电子设备及存储介质 | |
| CN114553555B (zh) | 恶意网址识别方法、装置、存储介质及电子设备 | |
| CN110825976B (zh) | 网站页面的检测方法、装置、电子设备及介质 | |
| RU2762241C2 (ru) | Система и способ выявления мошеннических активностей при взаимодействии пользователя с банковскими сервисами |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200324 |