CN112989159A - 数据获取方法、装置、计算机设备和存储介质 - Google Patents
数据获取方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112989159A CN112989159A CN201911324188.4A CN201911324188A CN112989159A CN 112989159 A CN112989159 A CN 112989159A CN 201911324188 A CN201911324188 A CN 201911324188A CN 112989159 A CN112989159 A CN 112989159A
- Authority
- CN
- China
- Prior art keywords
- login
- internet platform
- target internet
- information
- clue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004590 computer program Methods 0.000 claims description 25
- 238000004088 simulation Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种数据获取方法、装置、计算机设备和存储介质。所述方法包括：服务器接收终端发送的登录信息和线索收集的配置信息，该登录信息用于登录目标互联网平台，该配置信息用于指示线索收集的条件；服务器在接收到对该目标互联网平台中的线索的收集指令时，根据该登录信息登录该目标互联网平台，并基于该配置信息对该目标互联网平台中的线索进行收集，其中，收集到的线索满足该配置信息所指示的条件。也即是，服务器根据配置信息进行线索的收集，无需一直刷新互联网平台的后台页面，可以有针对性地收集线索，且，所收集的线索用户更容易继续跟进，从而，提高了用户获取有用线索的效率。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种数据获取方法、装置、计算机设备和存储介质。
背景技术
当前，随着互联网技术的发展，用户可以通过互联网平台收集信息，例如，用户可以通过互联网进行公共线索的收集，其中，公共线索指的是没有归属于任何用户的信息，该信息是公共的，任何用户都可以收集，并且这些信息都被放入线索池中，线索池中的公共线索是随机出现的，因此，对于在随机出现的公共线索中收集更多的线索是十分重要的。
相关技术中，需要通过互联网平台收集信息的商家可以通过采用该爬虫系统一直刷新互联网平台的后台页面，如果在刷新的后台页面中发现有公共线索，立即采用爬虫系统模拟用户点击的动作，将该公共线索抢到该商家的门店。
然而，爬虫系统尽管一直刷新互联网平台的后台页面，但抢到的公共线索大多是难以继续跟进的，降低了商家获取其有用的公共线索的效率。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高商家获取有用的公共线索效率的数据获取方法、装置、计算机设备和存储介质。
第一方面，提供了一种数据获取方法，该方法包括：
接收终端发送的登录信息和线索收集的配置信息，该登录信息用于登录目标互联网平台，该配置信息用于指示线索收集的条件；
在接收到对该目标互联网平台中的线索的收集指令时，根据该登录信息登录该目标互联网平台，并基于该配置信息对该目标互联网平台中的线索进行收集，其中，收集到的线索满足该配置信息所指示的条件。
本实施例提供了一种数据获取方法，服务器接收终端发送的登录信息和线索收集的配置信息，该登录信息用于登录目标互联网平台，该配置信息用于指示线索收集的条件；服务器在接收到对该目标互联网平台中的线索的收集指令时，根据该登录信息登录该目标互联网平台，并基于该配置信息对该目标互联网平台中的线索进行收集，其中，收集到的线索满足该配置信息所指示的条件。也即是，线索收集系统后台服务器根据配置信息进行线索的收集，无需一直刷新互联网平台的后台页面，可以有针对性地收集线索，且，所收集的线索用户更容易继续跟进，从而，提高了用户获取有用线索的效率。
在其中一个实施例中，该登录信息包括账户名和登录密码，该接收终端发送的登录信息之后，该方法还包括：
利用该登录信息尝试登录该目标互联网平台；
当对该目标互联网平台登录成功后，将该登录信息包括的账户名和登录密码进行绑定；
对应地，该根据该登录信息登录该目标互联网平台，包括：
根据绑定存储的账户名和登录密码登录该目标互联网平台。
本实施例提供了一种数据获取方法，服务器利用账户名和登录密码尝试登录目标互联网平台，当成功登录目标互联网平台，则将账户名和登录密码进行绑定，从而，服务器根据绑定的账户名和登录密码即可登录目标互联网平台。
在其中一个实施例中，该方法还包括：
当对该目标互联网平台登录失败后，向该终端发送绑定失败信息，该绑定失败信息用于指示该终端再次发送该登录信息；
当对该目标互联网平台登录超时后，向该终端发送登录超时信息，该登录超时信息用于指示该终端再次发送该登录信息。
本实施例提供了一种数据获取方法，当对该目标互联网平台登录失败后，服务器向该终端发送绑定失败信息，该绑定失败信息用于指示该终端再次发送该登录信息。根据该绑定失败信息，服务器可以排查该账户名和登录密码是否正确，进一步地，服务器可以再次尝试登录目标互联网平台；当对该目标互联网平台登录超时后，服务器向该终端发送登录超时信息，该登录超时信息用于指示该终端再次发送该登录信息。根据该登录超时信息，服务器可以排查网络是否出现故障，进一步地，服务器可以再次尝试登录目标互联网平台。
在其中一个实施例中，在接收到该终端发送的解绑请求后，退出登录该目标互联网平台，并且解除对该账户名和登录密码的绑定。
本实施例提供了一种数据获取方法，服务器在接收到该终端发送的解绑请求后，退出登录该目标互联网平台，并且解除对该账户名和登录密码的绑定，有利于保证该账户名和登录密码对应的账户的安全性。
在其中一个实施例中，该方法还包括：
对收集的线索进行机器模拟用户点击操作，并将该线索发送至对应的线索库中，该线索库用于存储收集的该线索。
本实施例提供了一种数据获取方法，服务器基于配置信息对目标互联网平台中的线索进行收集，对收集的线索进行机器模拟用户点击操作，并将线索发送至对应的线索库中，由于服务器就进行机器模拟用户点击的操作，无需人工手动点击，提高了线索收集的效率，同时，采用线索库存放收集到的线索，只需查看线索库即可了解到是否收集到线索，若没有收集到线索，则继续收集线索；若收集到线索，则用户可以进一步跟进该线索。
在其中一个实施例中，该线索收集条件包括收集的该线索中目标物品所处的地域条件与该目标物品的基础属性条件。
本实施例提供了一种数据获取方法，服务器可以为用户提供线索收集条件的选择，更有针对性地收集线索，进而，提高了收集有用线索的效率。
在其中一个实施例中，该方法还包括：
当达到预设条件时，根据该线索收集配置信息自动触发收集线索操作；
根据该收集线索操作，对线索进行收集；
将收集的该线索同步至收集线索单元。
本实施例提供了一种数据获取方法，当达到预设条件时，服务器根据该线索收集配置信息自动触发收集线索操作；服务器根据该收集线索操作，对线索进行收集；服务器将收集的该线索同步至收集线索单元，从而，在线索收集单元中也可以了解到收集线索的情况。
第二方面，提供了一种数据处理装置，该装置包括：
接收模块，用于接收终端发送的登录信息和线索收集的配置信息，该登录信息用于登录目标互联网平台，该配置信息用于指示线索收集的条件；
登录模块，用于在接收到对该目标互联网平台中的线索的收集指令时，根据该登录信息登录该目标互联网平台，并基于该配置信息对该目标互联网平台中的线索进行收集，其中，收集到的线索满足该配置信息所指示的条件。
在其中一个实施例中，该装置还包括绑定模块，该绑定模块用于：
利用该登录信息尝试登录该目标互联网平台；
当对该目标互联网平台登录成功后，将该登录信息包括的账户名和登录密码进行绑定；
对应地，该登录模块具体用于根据绑定的账户名和登录密码登录该目标互联网平台。
在其中一个实施例中，该装置还包括第一发送模块，该第一发送模块用于：
当对该目标互联网平台登录失败后，向该终端发送绑定失败信息，该绑定失败信息用于指示该终端再次发送该登录信息。
该装置还包括第二发送模块，该第二发送模块用于：
当对该目标互联网平台登录超时后，向该终端发送登录超时信息，该登录超时信息用于指示该终端再次发送该登录信息。
在其中一个实施例中，该装置还包括解绑模块，该解绑模块用于：
在接收到该终端发送的解绑请求后，退出登录该目标互联网平台，并且解除对该账户名和登录密码的绑定。
在其中一个实施例中，该装置还包括点击模块，该点击模块用于：
对收集的线索进行机器模拟用户点击操作，并将该线索发送至对应的线索库中，该线索库用于存储收集的该线索。
在其中一个实施例中，该线索收集条件包括收集的该线索中目标物品所处的地域条件与该目标物品的基础属性条件。
在其中一个实施例中，该装置还包括触发模块，该触发模块用于：
当达到预设条件时，根据该线索收集配置信息自动触发收集线索操作；
该装置还包括收集模块，该收集模块用于：
根据该收集线索操作，对线索进行收集；
该装置还包括同步模块，该同步模块用于：
将收集的该线索同步至收集线索单元。
第三方面，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该计算机程序被该处理器执行时实现上述第一方面任一的数据获取方法。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面任一的数据获取方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例提供了一种数据获取方法，可以解决相关技术存在的问题。在该数据获取方法中，服务器接收终端发送的登录信息和线索收集的配置信息，该登录信息用于登录目标互联网平台，该配置信息用于指示线索收集的条件；服务器在接收到对该目标互联网平台中的线索的收集指令时，根据该登录信息登录该目标互联网平台，并基于该配置信息对该目标互联网平台中的线索进行收集，其中，收集到的线索满足该配置信息所指示的条件。也即是，线索收集系统后台服务器根据配置信息进行线索的收集，无需一直刷新互联网平台的后台页面，可以有针对性地收集线索，且，所收集的线索用户更容易继续跟进，从而，提高了用户获取有用线索的效率。
附图说明
图1为一个实施例中数据获取方法的应用环境图；
图2为一个实施例中数据获取方法的流程示意图；
图3为另一个实施例中数据获取步骤的流程示意图；
图4为另一个实施例中数据获取方法的流程示意图；
图5为另一个实施例中数据获取方法的流程示意图；
图6为一个实施例中数据获取装置的结构框图；
图7为另一个实施例中数据获取装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的数据获取方法，可以应用于如图1所示的应用环境中。该应用环境可以包括终端101、服务器102和服务器103，终端101和服务器101中可以部署有线索收集系统；服务器103中可以部署有目标互联网平台的后台部分，该目标互联网平台上有多个线索，线索收集系统可以从该目标互联网平台收集线索。其中，终端101通过有线或者无线的方式与服务器102建立通信连接；服务器102通过有线或者无线的方式与服务器103建立通信连接。
其中，终端101可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器102和服务器103可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种数据获取方法，以该方法应用于图1中的服务器102为例进行说明，包括以下步骤：
步骤201，服务器接收终端发送的登录信息和线索收集的配置信息，该登录信息用于登录目标互联网平台，该配置信息用于指示线索收集的条件。
其中，登录信息指的是目标互联网平台为每个终端所持有的用户配置的一套独特的账户名和登录密码，用户可以使用各自的这套账户名和登录密码登录该目标互联网平台，以便目标互联网平台能够识别该用户的身份；配置信息是在用户在登录目标互联网平台之后，可以对需要收集的线索的条件进行设置的信息。
服务器接收到终端发送的账户名和登录密码，根据该账户名和登录密码登录目标互联网平台，这时，服务器可以为用户提供一些线索收集的条件选项，用户根据这些选项可以设置符合自身需求的线索收集的条件，从而，服务器可以定向地、有针对性地从目标互联网平台中收集线索，所收集的线索用户更容易跟进。
步骤202，服务器在接收到对该目标互联网平台中的线索的收集指令时，根据该登录信息登录该目标互联网平台，并基于该配置信息对该目标互联网平台中的线索进行收集，其中，收集到的线索满足该配置信息所指示的条件。
其中，收集指令用于指示服务器收集目标互联网平台中的线索。
该服务器接收终端发送的登录信息和线索收集的配置信息之后，可以对目标互联网平台中的线索进行收集，因此，终端向服务器发送对目标互联网平台中的线索的收集指令，服务器在接收到该收集指令并解析，发现该收集指令是针对收集线索的，服务器根据该收集指令，利用账户名和密码登录目标互联网平台，在登录目标互联网平台之后，可以按照线索收集的条件对该目标互联网平台中的线索进行收集。
示例性地，终端向服务器发送的账户名为“abcd”，登录密码为“1234”，服务器接收该账户名和登录密码之后登陆目标互联网平台，服务器可以提供一些线索收集的条件选项，用户在设置了线索收集的条件之后，服务器可以对目标互联网平台中的线索进行收集，因此，终端向服务器发送对目标互联网平台中的线索的收集指令，服务器在接收到该收集指令并解析，解析出该收集指令是针对收集线索的，服务器根据该收集指令，利用账户名和登录密码登录目标互联网平台，并根据用户已经设置的线索收集的条件对目标互联网平台中的线索进行收集。
在本实施例提供的数据获取方法中，服务器接收终端发送的登录信息和线索收集的配置信息，该登录信息用于登录目标互联网平台，该配置信息用于指示线索收集的条件；服务器在接收到对该目标互联网平台中的线索的收集指令时，根据该登录信息登录该目标互联网平台，并基于该配置信息对该目标互联网平台中的线索进行收集，其中，收集到的线索满足该配置信息所指示的条件。也即是，服务器根据配置信息进行线索的收集，无需一直刷新互联网平台的后台页面，可以有针对性地收集线索，且，所收集的线索用户更容易继续跟进，从而，提高了用户获取有用线索的效率。
在其中一个实施例中，请参考图3，该登录信息包括账户名和登录密码，在该接收终端发送的登录信息之后，该方法还包括以下步骤：
步骤301，服务器利用该登录信息尝试登录该目标互联网平台。
登录信息包括账户名和登录密码，服务器根据该账户名和登录密码尝试着登录目标互联网平台，之所以是尝试登录目标互联网平台的原因是根据该账户名和登录密码进行登录的时候有可能可以直接登录目标互联网平台，也有可能登录不了目标互联网平台，因此，需要尝试登录目标互联网平台。
步骤302，当对该目标互联网平台登录成功后，服务器将该登录信息包括的账户名和登录密码进行绑定。
若服务器根据账户名和登录密码成功登录了目标互联网平台，则将账户名和登录密码进行绑定。
步骤303，服务器根据绑定存储的账户名和登录密码登录该目标互联网平台。
在将账户名和登录密码进行绑定之后，服务器可以根据该绑定存储的账户名和登录密码登录目标互联网平台。
在本实施提供的数据获取方法中，服务器利用账户名和登录密码尝试登录目标互联网平台，当成功登录目标互联网平台，则将账户名和登录密码进行绑定，从而，服务器根据绑定的账户名和登录密码即可登录目标互联网平台。
在其中一个实施例中，请参考图4，在图3提供的实施例的基础上，提供另外几种可能出现的登录情况，该情况可以是登录目标互联网平台失败的情况、登录目标互联网平台超时的情况以及退出登录目标互联网平台的情况，包括：
步骤401，当对该目标互联网平台登录失败后，服务器向该终端发送绑定失败信息，该绑定失败信息用于指示该终端再次发送该登录信息。
若根据账户名和登录密码登录目标互联网平台失败之后，服务器向终端发送绑定失败信息，终端接收该绑定失败信息之后，终端再次向服务器发送登录信息，也即是，终端再次向服务器发送账户名和登录密码，服务器接收该账户名和登录密码，并再次尝试登录目标互联网平台。
步骤402，当对该目标互联网平台登录超时后，服务器向该终端发送登录超时信息，该登录超时信息用于指示该终端再次发送该登录信息。
若根据账户名和登录密码登录目标互联网平台超时之后，服务器向终端发送登录超时信息，终端接收该登录超时信息之后，终端再次向服务器发送登录信息，服务器接收该登录信息，也即是，终端再次向服务器发送账户名和登录密码，服务接收该账户名和登录密码，并再次尝试登录目标互联网平台。
在本实施例提供的数据获取方法中，当对该目标互联网平台登录失败后，服务器向该终端发送绑定失败信息，该绑定失败信息用于指示该终端再次发送该登录信息。根据该绑定失败信息，服务器可以排查该账户名和登录密码是否正确，进一步地，服务器可以再次尝试登录目标互联网平台。
当对该目标互联网平台登录超时后，服务器向该终端发送登录超时信息，该登录超时信息用于指示该终端再次发送该登录信息。根据该登录超时信息，服务器可以排查网络是否出现故障，进一步地，服务器可以再次尝试登录目标互联网平台。
在其中一个实施例中，在图3提供的实施例的基础上，提供一种退出登录目标互联网平台的情况，包括：
服务器在接收到该终端发送的解绑请求后，退出登录该目标互联网平台，并且解除对该账户名和登录密码的绑定。
终端向服务器发送解绑请求，服务器接收该解绑请求之后，退出登录目标互联网平台，也就是说，若服务器再次需要登录目标互联网平台，则需要再次绑定账户名和登录密码。
在本实施例提供的数据获取方法中，服务器在接收到该终端发送的解绑请求后，退出登录该目标互联网平台，并且解除对该账户名和登录密码的绑定，有利于保证该账户名和登录密码对应的账户的安全性。
在其中一个实施例中，提出了一种在服务器基于配置信息对目标互联网平台中的线索进行收集，对收集线索进行操作的方法，包括：
对收集的线索进行机器模拟用户点击操作，并将该线索发送至对应的线索库中，该线索库用于存储收集的该线索。
服务器对收集的线索进行机器模拟用户点击的操作，每点击一次就代表收集一次线索，但并不是每次点击都会获取到线索，若获取到线索，则将该线索存储于线索库。
本实施例提供了一种数据获取方法，服务器基于配置信息对目标互联网平台中的线索进行收集，对收集的线索进行机器模拟用户点击操作，并将线索发送至对应的线索库中，由于服务器就进行机器模拟用户点击的操作，无需人工手动点击，提高了线索收集的效率，同时，采用线索库存放收集到的线索，只需查看线索库即可了解到是否收集到线索，若没有收集到线索，则继续收集线索；若收集到线索，则用户可以进一步跟进该线索。
在其中一个实施例中，该线索收集条件包括收集的该线索中目标物品所处的地域条件与该目标物品的基础属性条件。
其中，目标物品可以是用户需要收集的线索中所涉及的物品，例如，可以是车辆；地域条件指的是地理条件信息；基础属性条件指的是目标物品的基本特征信息，可以是车的型号、系列等。示例性地，该基础属性条件可以是“奥迪A6L”，地域条件可以是“北京市”。
在本实施例提供的数据获取方法中，服务器可以为用户提供线索收集条件的选择，更有针对性地收集线索，进而，提高了收集有用线索的效率。
在其中一个实施例中，请参考图5，提出一种触发收集线索的方法，包括：
步骤501，服务器当达到预设条件时，根据该线索收集配置信息自动触发收集线索操作。
其中，预设条件可以是采用定时器进行定时，定时的时间是自定义的，当达到预定时间时，就会自动触发收集线索操作，收集线索的过程中，是按照配置信息进行收集的，以实现最终收集的线索是满足线索收集的条件的。
步骤502，服务器根据该收集线索操作，对线索进行收集。
采用步骤501该的收集线索操作，对线索进行收集。
步骤503，服务器将收集的该线索同步至收集线索单元。
线索收集之后，服务器将收集的线索同步至收集线索单元。
本实施例提供了一种数据获取方法，当达到预设条件时，服务器根据该线索收集配置信息自动触发收集线索操作；服务器根据该收集线索操作，对线索进行收集；服务器将收集的该线索同步至收集线索单元，从而，在线索收集单元中也可以了解到收集线索的情况。
应该理解的是，虽然图2-5流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种数据获取装置600，包括：接收模块601和登录模块602，其中：
接收模块601，用于接收终端发送的登录信息和线索收集的配置信息，该登录信息用于登录目标互联网平台，该配置信息用于指示线索收集的条件；
登录模块602，用于在接收到对该目标互联网平台中的线索的收集指令时，根据该登录信息登录该目标互联网平台，并基于该配置信息对该目标互联网平台中的线索进行收集，其中，收集到的线索满足该配置信息所指示的条件。
请参考图7，本申请实施例还提供了另一种数据获取装置700，该数据获取装置700除了包括数据获取装置600的各模块外，可选的，该数据获取装置700还包括绑定模块603、第一发送模块604、第二发送模块605、解绑模块606、点击模块607、触发模块608、收集模块609和同步模块610。
在其中一个实施例中，该绑定模块603用于：
利用该登录信息尝试登录该目标互联网平台；
当对该目标互联网平台登录成功后，将该登录信息包括的账户名和登录密码进行绑定；
对应地，该登录模块602具体用于根据绑定的账户名和登录密码登录该目标互联网平台。
在其中一个实施例中，该第一发送模块604用于：
当对该目标互联网平台登录失败后，向该终端发送绑定失败信息，该绑定失败信息用于指示该终端再次发送该登录信息。
该装置还包括第二发送模块605，该第二发送模块605用于：
当对该目标互联网平台登录超时后，向该终端发送登录超时信息，该登录超时信息用于指示该终端再次发送该登录信息。
在其中一个实施例中，该解绑模块606用于：
在接收到该终端发送的解绑请求后，退出登录该目标互联网平台，并且解除对该账户名和登录密码的绑定。
在其中一个实施例中，该装置还包括点击模块607，该点击模块607用于：对收集的线索进行机器模拟用户点击操作，并将该线索发送至对应的线索库中，该线索库用于存储收集的该线索。
在其中一个实施例中，该线索收集条件包括收集的该线索中目标物品所处的地域条件与该目标物品的基础属性条件。
在其中一个实施例中，该触发模块608用于当达到预设条件时，根据该线索收集配置信息自动触发收集线索操作。
该收集模块609用于根据该收集线索操作，对线索进行收集。
该同步模块610用于将收集的该线索同步至收集线索单元。
关于数据获取装置的具体限定可以参见上文中对于数据获取方法的限定，在此不再赘述。上述数据获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据获取数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据获取方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
接收终端发送的登录信息和线索收集的配置信息，该登录信息用于登录目标互联网平台，该配置信息用于指示线索收集的条件；
在接收到对该目标互联网平台中的线索的收集指令时，根据该登录信息登录该目标互联网平台，并基于该配置信息对该目标互联网平台中的线索进行收集，其中，收集到的线索满足该配置信息所指示的条件。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
利用该登录信息尝试登录该目标互联网平台；
当对该目标互联网平台登录成功后，将该登录信息包括的账户名和登录密码进行绑定；
对应地，根据该登录信息登录该目标互联网平台，包括：
根据绑定存储的账户名和登录密码登录该目标互联网平台。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
当对该目标互联网平台登录失败后，向该终端发送绑定失败信息，该绑定失败信息用于指示该终端再次发送该登录信息；
当对该目标互联网平台登录超时后，向该终端发送登录超时信息，该登录超时信息用于指示该终端再次发送该登录信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在接收到该终端发送的解绑请求后，退出登录该目标互联网平台，并且解除对该账户名和登录密码的绑定。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对收集的线索进行机器模拟用户点击操作，并将该线索发送至对应的线索库中，该线索库用于存储收集的该线索。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
该线索收集条件包括收集的该线索中目标物品所处的地域条件与该目标物品的基础属性条件。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
当达到预设条件时，根据该线索收集配置信息自动触发收集线索操作；
根据该收集线索操作，对线索进行收集；
将收集的该线索同步至收集线索单元。
在一个实施例中，提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
接收终端发送的登录信息和线索收集的配置信息，该登录信息用于登录目标互联网平台，该配置信息用于指示线索收集的条件；
在接收到对该目标互联网平台中的线索的收集指令时，根据该登录信息登录该目标互联网平台，并基于该配置信息对该目标互联网平台中的线索进行收集，其中，收集到的线索满足该配置信息所指示的条件。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
利用该登录信息尝试登录该目标互联网平台；
当对该目标互联网平台登录成功后，将该登录信息包括的账户名和登录密码进行绑定；
对应地，根据该登录信息登录该目标互联网平台，包括：
根据绑定存储的账户名和登录密码登录该目标互联网平台。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
当对该目标互联网平台登录失败后，向该终端发送绑定失败信息，该绑定失败信息用于指示该终端再次发送该登录信息；
当对该目标互联网平台登录超时后，向该终端发送登录超时信息，该登录超时信息用于指示该终端再次发送该登录信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在接收到该终端发送的解绑请求后，退出登录该目标互联网平台，并且解除对该账户名和登录密码的绑定。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对收集的线索进行机器模拟用户点击操作，并将该线索发送至对应的线索库中，该线索库用于存储收集的该线索。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
该线索收集条件包括收集的该线索中目标物品所处的地域条件与该目标物品的基础属性条件。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
当达到预设条件时，根据该线索收集配置信息自动触发收集线索操作；
根据该收集线索操作，对线索进行收集；
将收集的该线索同步至收集线索单元。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据获取方法，其特征在于，所述方法包括：
接收终端发送的登录信息和线索收集的配置信息，所述登录信息用于登录目标互联网平台，所述配置信息用于指示线索收集的条件；
在接收到对所述目标互联网平台中的线索的收集指令时，根据所述登录信息登录所述目标互联网平台，并基于所述配置信息对所述目标互联网平台中的线索进行收集，其中，收集到的线索满足所述配置信息所指示的条件。
2.根据权利要求1所述的方法，其特征在于，所述登录信息包括账户名和登录密码，所述接收终端发送的登录信息之后，所述方法还包括：
利用所述登录信息尝试登录所述目标互联网平台；
当对所述目标互联网平台登录成功后，将所述登录信息包括的账户名和登录密码进行绑定；
对应地，所述根据所述登录信息登录所述目标互联网平台，包括：
根据绑定存储的账户名和登录密码登录所述目标互联网平台。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当对所述目标互联网平台登录失败后，向所述终端发送绑定失败信息，所述绑定失败信息用于指示所述终端再次发送所述登录信息；
当对所述目标互联网平台登录超时后，向所述终端发送登录超时信息，所述登录超时信息用于指示所述终端再次发送所述登录信息。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在接收到所述终端发送的解绑请求后，退出登录所述目标互联网平台，并且解除对所述账户名和登录密码的绑定。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对收集的线索进行机器模拟用户点击操作，并将所述线索发送至对应的线索库中，所述线索库用于存储收集的所述线索。
6.根据权利要求1所述的方法，其特征在于，所述线索收集条件包括收集的所述线索中目标物品所处的地域条件与所述目标物品的基础属性条件。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当达到预设条件时，根据所述线索收集配置信息自动触发收集线索操作；
根据所述收集线索操作，对线索进行收集；
将收集的所述线索同步至收集线索单元。
8.一种数据获取装置，其特征在于，所述装置包括：
接收模块，用于接收终端发送的登录信息和线索收集的配置信息，所述登录信息用于登录目标互联网平台，所述配置信息用于指示线索收集的条件；
登录模块，用于在接收到对所述目标互联网平台中的线索的收集指令时，根据所述登录信息登录所述目标互联网平台，并基于所述配置信息对所述目标互联网平台中的线索进行收集，其中，收集到的线索满足所述配置信息所指示的条件。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911324188.4A CN112989159A (zh) | 2019-12-16 | 2019-12-16 | 数据获取方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911324188.4A CN112989159A (zh) | 2019-12-16 | 2019-12-16 | 数据获取方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112989159A true CN112989159A (zh) | 2021-06-18 |
Family
ID=76344101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911324188.4A Pending CN112989159A (zh) | 2019-12-16 | 2019-12-16 | 数据获取方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112989159A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040117376A1 (en) * | 2002-07-12 | 2004-06-17 | Optimalhome, Inc. | Method for distributed acquisition of data from computer-based network data sources |
| CN106897357A (zh) * | 2017-01-04 | 2017-06-27 | 北京京拍档科技股份有限公司 | 一种用于带验证分布式智能爬取网络信息的方法 |
| CN107689951A (zh) * | 2017-07-26 | 2018-02-13 | 上海壹账通金融科技有限公司 | 网页数据爬取方法、装置、用户终端及可读存储介质 |
| CN108090091A (zh) * | 2016-11-23 | 2018-05-29 | 北京国双科技有限公司 | 网页爬取方法和装置 |
| CN110351259A (zh) * | 2019-06-28 | 2019-10-18 | 深圳数位传媒科技有限公司 | 一种基于网络抓包获取app认证信息的方法及装置 |
-
2019
- 2019-12-16 CN CN201911324188.4A patent/CN112989159A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040117376A1 (en) * | 2002-07-12 | 2004-06-17 | Optimalhome, Inc. | Method for distributed acquisition of data from computer-based network data sources |
| CN108090091A (zh) * | 2016-11-23 | 2018-05-29 | 北京国双科技有限公司 | 网页爬取方法和装置 |
| CN106897357A (zh) * | 2017-01-04 | 2017-06-27 | 北京京拍档科技股份有限公司 | 一种用于带验证分布式智能爬取网络信息的方法 |
| CN107689951A (zh) * | 2017-07-26 | 2018-02-13 | 上海壹账通金融科技有限公司 | 网页数据爬取方法、装置、用户终端及可读存储介质 |
| CN110351259A (zh) * | 2019-06-28 | 2019-10-18 | 深圳数位传媒科技有限公司 | 一种基于网络抓包获取app认证信息的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11683330B2 (en) | Network anomaly data detection method and device as well as computer equipment and storage medium | |
| CN109743390B (zh) | 任务调度方法、装置、计算机设备和存储介质 | |
| CN110620812B (zh) | 交互信息的推送方法、装置、计算机设备和存储介质 | |
| CN110602169B (zh) | 服务调用方法、装置、计算机设备和存储介质 | |
| CN108365958B (zh) | 账号登录的验证方法、装置、计算机设备和存储介质 | |
| CN109635187A (zh) | 消息推送方法、装置、计算机设备及存储介质 | |
| CN105100032A (zh) | 一种防止资源盗取的方法及装置 | |
| CN109413153B (zh) | 数据爬取方法、装置、计算机设备和存储介质 | |
| CN110213392B (zh) | 数据分发方法、装置、计算机设备和存储介质 | |
| CN108924258B (zh) | 后台信息推送方法、装置、计算机设备和存储介质 | |
| ES2818588T3 (es) | Método y dispositivo para evitar que el servidor sea atacado | |
| CN110109737B (zh) | 应用程序的启动方法、装置、计算机设备及存储介质 | |
| CN111182065A (zh) | 基于mqtt协议的消息处理方法、装置和计算机设备 | |
| TWI669624B (zh) | 網頁內容自我保護方法以及伺服器 | |
| CN108595280B (zh) | 接口适配方法、装置、计算机设备和存储介质 | |
| CN111683083B (zh) | 一种区块链用户身份验证方法、装置、设备及介质 | |
| CN109981739A (zh) | 基于区块链的会话数据处理方法、装置、设备及介质 | |
| CN112016122A (zh) | 网页数据处理方法、装置、计算机设备及存储介质 | |
| CN111209061A (zh) | 用户信息的填写方法、装置、计算机设备和存储介质 | |
| CN113259429B (zh) | 会话保持管控方法、装置、计算机设备及介质 | |
| CN113438264B (zh) | 可穿戴按摩仪连接方法、装置、计算机设备和存储介质 | |
| CN111966530A (zh) | 应用系统灾备切换方法、装置、计算机设备和存储介质 | |
| CN112989159A (zh) | 数据获取方法、装置、计算机设备和存储介质 | |
| CN109857344B (zh) | 基于共享内存的心跳状态判断方法、装置和计算机设备 | |
| CN111752975A (zh) | 基于Redis的数据加载方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210618 |
|
| RJ01 | Rejection of invention patent application after publication |