CN105701175A - 一种数据获取方法及装置 - Google Patents

Abstract

本发明实施例提供了一种数据获取方法及装置。一方面，本发明实施例通过接收网站发送的访问日志，所述访问日志为所述网站根据用户针对所述网站提供的沟通工具所执行的操作生成的；从而，根据所述访问日志，获得候选沟通转化数据；进而，从所述候选沟通转化数据中获取真实沟通转化数据。因此，本发明实施例提供的技术方案能够解决互联网运营商无法获取沟通工具上的真实沟通转化数据的问题。

Description

一种数据获取方法及装置

【技术领域】

本发明涉及互联网应用技术领域，尤其涉及一种数据获取方法及装置。

【背景技术】

目前，互联网运营商可以提供一个平台，该平台中可以包括若干第三方网站的入口，这样，用户通过该平台可以直接获取到第三方网站的入口，进而可以跳转到第三方网站，或者，用户也可以在该平台上使用第三方网站提供的沟通工具，与第三方网站的客户服务端进行在线沟通。

互联网运营商为了追踪用户的线上沟通行为，需要获取用户的真实沟通转化数据。然而，现有技术中，只有提供沟通工具的第三方网站才能获得真是沟通转化数据，因此，互联网运行商无法获取沟通工具上的真实沟通转化数据。

【发明内容】

有鉴于此，本发明实施例提供了一种数据获取方法及装置，用以解决互联网运营商无法获取沟通工具上的真实沟通转化数据的问题。

本发明实施例的一方面，提供一种数据获取方法，包括：

接收网站发送的访问日志，所述访问日志为所述网站根据用户针对所述网站提供的沟通工具所执行的操作生成的；

根据所述访问日志，获得候选沟通转化数据；

从所述候选沟通转化数据中获取真实沟通转化数据。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，用户针对所述网站提供的沟通工具所执行的操作包括：所述用户在浏览器中针对所述网站提供的沟通工具的点击操作；

所述访问日志包括：用户访问所述网站的统一资源定位符URL和用户所点击的页面元素。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，从所述候选沟通转化数据中获取真实沟通转化数据，包括：

根据所述访问日志，模拟用户针对所述网站提供的沟通工具所执行的操作，以及在模拟完毕后，获得所述网站返回的超文本传输协议HTTP请求；

根据所述HTTP请求，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，根据所述HTTP请求，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据，包括：

将所述HTTP请求与预设的所述沟通工具的相关请求进行匹配，以获得匹配结果；

根据所述匹配结果，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，根据所述匹配结果，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据，包括：

若所述HTTP请求与所述沟通工具的相关请求不匹配，确定所述访问日志获得的候选沟通转化数据不是真实沟通转化数据；或者，

若所述HTTP请求与所述沟通工具的相关请求匹配，确定所述访问日志获得的候选沟通转化数据是真实沟通转化数据。

本发明实施例的一方面，提供一种数据获取装置，包括：

接收模块，用于接收网站发送的访问日志，所述访问日志为所述网站根据用户针对所述网站提供的沟通工具所执行的操作生成的；

处理模块，用于根据所述访问日志，获得候选沟通转化数据；

获取模块，用于从所述候选沟通转化数据中获取真实沟通转化数据。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，用户针对所述网站提供的沟通工具所执行的操作包括：所述用户在浏览器中针对所述网站提供的沟通工具的点击操作；

所述访问日志包括：用户访问所述网站的统一资源定位符URL和用户所点击的页面元素。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取模块，具体用于：

根据所述访问日志，模拟用户针对所述网站提供的沟通工具所执行的操作，以及在模拟完毕后，获得所述网站返回的超文本传输协议HTTP请求；

根据所述HTTP请求，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取模块用于根据所述HTTP请求，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据时，具体用于：

将所述HTTP请求与预设的所述沟通工具的相关请求进行匹配，以获得匹配结果；

根据所述匹配结果，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取模块用于根据所述匹配结果，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据时，具体用于：

若所述HTTP请求与所述沟通工具的相关请求不匹配，确定所述访问日志获得的候选沟通转化数据不是真实沟通转化数据；或者，

若所述HTTP请求与所述沟通工具的相关请求匹配，确定所述访问日志获得的候选沟通转化数据是真实沟通转化数据。

由以上技术方案可以看出，本发明实施例具有以下有益效果：

根据本发明实施例提供的技术方案，能够根据提供沟通工具的网站发送的访问日志，获得沟通工具上的真实沟通转化数据，因此解决了互联网运营商无法获取沟通工具上的真实沟通转化数据的问题，高效、简单的实现了真实沟通转化数据的获取，进而可以根据真实沟通转化数据进行资源投放的决策。另外，在获取真实沟通转化数据时，可以对候选真实沟通转化数据进行筛选，从中确定真实沟通转化数据，提高了真实沟通转化数据的准确率。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例所提供的数据获取方法的流程示意图；

图2是本发明实施例所提供的数据获取装置的功能方块图。

【具体实施方式】

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

本发明实施例给出一种数据获取方法，请参考图1，其为本发明实施例所提供的数据获取方法的流程示意图，如图所示，该方法包括以下步骤：

S101，接收网站发送的访问日志，所述访问日志为所述网站根据用户针对所述网站提供的沟通工具所执行的操作生成。

具体的，本发明实施例的技术方案可以应用于包括网站、站点和站点所在服务器的系统，该网站对于站点及服务器而言，属于第三方网站，网站提供的沟通工具在站点上有对应的入口，该网站的用户可以在站点上执行针对该沟通工具的操作，用户可以通过在站点上执行针对该沟通工具的操作来实现问题咨询，以获取所需要的信息。

例如，沟通工具可以包括商务通、53客服、51talk、QQ或者乐语等浏览器上页面形式的沟通工具。

在一个具体的实现过程中，可以在所述网站中预先安装一个监控模块，该监控模块可以自动监控该网站的用户在站点上执行针对该沟通工具的操作。

本发明实施例中，所述监控模块可以利用脚本(JavaScript，JS)代码实现。例如，该JS代码可以是用于统计网站数据的代码。

在一个具体的实现过程中，若用户在站点上针对沟通工具执行了操作，监控模块可以根据用户针对该网站提供的沟通工具所执行的操作，生成一条访问日志。例如，用户在浏览器中点击了网站提供的打开沟通工具的按钮，这样，监控模块可以监控到用户在浏览器中针对网站提供的沟通工具执行了点击操作，然后根据用户访问网站的统一资源定位符(UniformResourceLocator，URL)和用户所点击的页面元素，生成一条访问日志。

进一步的，监控模块在生成一条访问日志后，可以将该访问日志发送给所述站点所在服务器，这样服务器就可以接收到网站发送的访问日志。或者，监控模块也可以将生成的访问日志进行本地存储，然后每间隔一段时间就将这一段时间内所有的访问日志发送给服务器。其中，每条访问日志可以包含用户访问网站的URL和用户所点击的页面元素。

例如，用户所点击的页面元素可以为用户在浏览器中点击的网站提供的打开沟通工具的按钮。相应的，用户针对所述网站提供的沟通工具所执行的操作可以为：所述用户在浏览器中针对所述网站提供的沟通工具的点击操作。

S102，根据所述访问日志，获得候选沟通转化数据。

具体的，服务器在收到网站发送的访问日志后，对该访问日志进行存储，并将该访问日志作为一个候选沟通转化数据。如此，服务器可以从各第三方网站的监控模块发送的访问日志，从而获得大量的访问日志。

S103，从所述候选沟通转化数据中获取真实沟通转化数据。

具体的，可以理解的是，本发明实施例中，可以通过监控模块去监控并抓取用户访问网站的URL和用户所点击的页面元素，进而生成候选沟通转化数据，然而这些根据抓取的信息生成的候选沟通转化数据，并不是由沟通工具所在网站提供的官方数据，而且由于会存在某URL所对应的页面中有按钮是用于被点击后可以打开沟通工具，但是由于URL和按钮的设置是由第三方网站控制的，该URL和按钮可能会变成其他页面，而不是提供沟通工具入口的页面，按钮也有可能变成被点击后打开其他工具，所以导致候选沟通转化数据并不一定都是真实沟通转化数据，只有当用户访问网站的URL对应的页面是提供沟通工具入口的页面，且用户所点击的页面元素是用于在被点击后可以打开沟通工具的按钮时，生成的候选沟通转化数据才是真实沟通转化数据。因此，本发明实施例中，在获得所述候选沟通转化数据之后，需要进一步从所述候选沟通转化数据中获取真实沟通转化数据。

在一个具体的实现过程中，所述服务器可以根据预设周期，周期性的从候选沟通转化数据中获取真实沟通转化数据。

举例说明，本发明实施例中，所述服务器从所述候选沟通转化数据中获取真实沟通转化数据的方法可以包括：

首先，所述服务器根据所述访问日志，模拟用户针对所述网站提供的沟通工具所执行的操作，以及在模拟完毕后，获得所述网站返回的超文本传输协议(HyperTextTransferProtocol，HTTP)请求。然后，所述服务器根据所述HTTP请求，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据。

在一个具体的实现过程中，由于所述访问日志包含用户访问网站的URL和用户所点击的页面元素，因此，服务器可以使用爬虫工具打开用户访问网站的URL，然后利用模拟工具在打开的URL对应的页面中模拟用户行为，点击访问日志中包含的页面元素，从而实现模拟用户针对网站提供的沟通工具所执行的操作。

可以理解的是，当模拟用户针对网站提供的沟通工具所执行的操作之后，可以对该网站返回的HTTP请求进行监听，从而可以获得所述网站返回的HTTP请求。

举例说明，所述服务器根据所述HTTP请求，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据的方法可以包括但不限于：

首先，所述服务器将所述HTTP请求与预设的所述沟通工具的相关请求进行匹配，以获得匹配结果。然后，所述服务器根据所述匹配结果，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据。

进一步的，若所述匹配结果为所述HTTP请求与所述沟通工具的相关请求不匹配，所述服务器确定所述访问日志获得的候选沟通转化数据不是真实沟通转化数据。或者，若所述匹配结果为所述HTTP请求与所述沟通工具的相关请求匹配，所述服务器确定所述访问日志获得的候选沟通转化数据是真实沟通转化数据。

在一个具体的实现过程中，所述服务器中可以预先设置好沟通工具的相关请求，然后当获得提供该沟通工具的网站返回的HTTP请求后，将HTTP请求与预设的沟通工具的相关请求进行匹配，如进行HTTP请求的格式匹配，如果该HTTP请求的格式与预设的沟通工具的相关请求的格式相符，则认为获取该HTTP请求之前打开的URL以及点击的页面元素是用户真实的访问了提供沟通工具的页面，并打开了沟通工具，从而可以确定本次模拟操作所依据的候选沟通转化数据是真实沟通转化数据，从而实现从候选沟通转化数据中获取真实沟通转化数据。

反之，如果该HTTP请求的格式与预设的沟通工具的相关请求的格式不相符，则认为获取该HTTP请求之前打开的URL以及点击的页面元素，不是用户访问了提供沟通工具的页面，并打开了沟通工具，从而可以确定本次模拟操作所依据的候选沟通转化数据不是真实沟通转化数据，从而实现从候选沟通转化数据中获取非真实沟通转化数据，通过对每个候选沟通转化数据的匹配操作，可以从候选沟通转化数据中获取真实沟通转化数据以及非真实沟通转化数据。

本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。

请参考图2，其为是本发明实施例所提供的数据获取装置的功能方块图。如图所示，该装置包括：

接收模块21，用于接收网站发送的访问日志，所述访问日志为所述网站根据用户针对所述网站提供的沟通工具所执行的操作生成的；

处理模块22，用于根据所述访问日志，获得候选沟通转化数据；

获取模块23，用于从所述候选沟通转化数据中获取真实沟通转化数据。

在一个具体的实现过程中，用户针对所述网站提供的沟通工具所执行的操作包括：所述用户在浏览器中针对所述网站提供的沟通工具的点击操作。

在一个具体的实现过程中，所述访问日志包括：用户访问所述网站的统一资源定位符URL和用户所点击的页面元素。

在一个具体的实现过程中，所述获取模块23，具体用于：

根据所述访问日志，模拟用户针对所述网站提供的沟通工具所执行的操作，以及在模拟完毕后，获得所述网站返回的超文本传输协议HTTP请求；

根据所述HTTP请求，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据。

在一个具体的实现过程中，所述获取模块23用于根据所述HTTP请求，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据时，具体用于：

将所述HTTP请求与预设的所述沟通工具的相关请求进行匹配，以获得匹配结果；

根据所述匹配结果，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据。

在一个具体的实现过程中，所述获取模块23用于根据所述匹配结果，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据时，具体用于：

若所述HTTP请求与所述沟通工具的相关请求不匹配，确定所述访问日志获得的候选沟通转化数据不是真实沟通转化数据；或者，

若所述HTTP请求与所述沟通工具的相关请求匹配，确定所述访问日志获得的候选沟通转化数据是真实沟通转化数据。

由于本实施例中的各单元能够执行图1所示的方法，本实施例未详细描述的部分，可参考对图1的相关说明。

本发明实施例的技术方案具有以下有益效果：

本发明实施例中，通过服务器接收网站发送的访问日志，所述访问日志为所述网站根据用户针对所述网站提供的沟通工具所执行的操作生成的；从而，所述服务器根据所述访问日志，获得候选沟通转化数据；进而，所述服务器从所述候选沟通转化数据中获取真实沟通转化数据。

根据本发明实施例提供的技术方案，能够根据提供沟通工具的网站发送的访问日志，获得沟通工具上的真实沟通转化数据，因此解决了互联网运营商无法获取沟通工具上的真实沟通转化数据的问题，高效、简单的实现了真实沟通转化数据的获取，进而可以根据真实沟通转化数据进行资源投放的决策。

另外，在获取真实沟通转化数据时，可以对候选真实沟通转化数据进行筛选，从中确定真实沟通转化数据，提高了真实沟通转化数据的准确率。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种数据获取方法，其特征在于，所述方法包括：

接收网站发送的访问日志，所述访问日志为所述网站根据用户针对所述网站提供的沟通工具所执行的操作生成的；

根据所述访问日志，获得候选沟通转化数据；

从所述候选沟通转化数据中获取真实沟通转化数据。

2.根据权利要求1所述的方法，其特征在于，

用户针对所述网站提供的沟通工具所执行的操作包括：所述用户在浏览器中针对所述网站提供的沟通工具的点击操作；

所述访问日志包括：用户访问所述网站的统一资源定位符URL和用户所点击的页面元素。

3.根据权利要求1所述的方法，其特征在于，从所述候选沟通转化数据中获取真实沟通转化数据，包括：

根据所述访问日志，模拟用户针对所述网站提供的沟通工具所执行的操作，以及在模拟完毕后，获得所述网站返回的超文本传输协议HTTP请求；

根据所述HTTP请求，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据。

4.根据权利要求3所述的方法，其特征在于，根据所述HTTP请求，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据，包括：

将所述HTTP请求与预设的所述沟通工具的相关请求进行匹配，以获得匹配结果；

根据所述匹配结果，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据。

5.根据权利要求4所述的方法，其特征在于，根据所述匹配结果，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据，包括：

若所述HTTP请求与所述沟通工具的相关请求不匹配，确定所述访问日志获得的候选沟通转化数据不是真实沟通转化数据；或者，

若所述HTTP请求与所述沟通工具的相关请求匹配，确定所述访问日志获得的候选沟通转化数据是真实沟通转化数据。

6.一种数据获取装置，其特征在于，所述装置包括：

接收模块，用于接收网站发送的访问日志，所述访问日志为所述网站根据用户针对所述网站提供的沟通工具所执行的操作生成的；

处理模块，用于根据所述访问日志，获得候选沟通转化数据；

获取模块，用于从所述候选沟通转化数据中获取真实沟通转化数据。

7.根据权利要求6所述的装置，其特征在于，

用户针对所述网站提供的沟通工具所执行的操作包括：所述用户在浏览器中针对所述网站提供的沟通工具的点击操作；

所述访问日志包括：用户访问所述网站的统一资源定位符URL和用户所点击的页面元素。

8.根据权利要求6所述的装置，其特征在于，所述获取模块，具体用于：

根据所述访问日志，模拟用户针对所述网站提供的沟通工具所执行的操作，以及在模拟完毕后，获得所述网站返回的超文本传输协议HTTP请求；

根据所述HTTP请求，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据。

9.根据权利要求8所述的装置，其特征在于，所述获取模块用于根据所述HTTP请求，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据时，具体用于：

将所述HTTP请求与预设的所述沟通工具的相关请求进行匹配，以获得匹配结果；

根据所述匹配结果，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据。

10.根据权利要求9所述的装置，其特征在于，所述获取模块用于根据所述匹配结果，判断根据所述访问日志获得的候选沟通转化数据是否为真实沟通转化数据时，具体用于：

若所述HTTP请求与所述沟通工具的相关请求不匹配，确定所述访问日志获得的候选沟通转化数据不是真实沟通转化数据；或者，

若所述HTTP请求与所述沟通工具的相关请求匹配，确定所述访问日志获得的候选沟通转化数据是真实沟通转化数据。