CN108228421B - 数据监测方法、装置、计算机及存储介质 - Google Patents

Abstract

本公开涉及一种数据监测方法、装置、计算机及存储介质，用于解决无埋点技术中，数据传输量大的技术问题。所述方法包括：获取终端发送的截屏图像；对所述截屏图像进行图像处理，以识别所述截屏图像中包含的控件图像；基于识别的控件图像，向所述终端发送监测指令，以监测所述终端对所述截屏图像对应页面中的控件的操作情况。

Description

数据监测方法、装置、计算机及存储介质

技术领域

本公开涉及计算机技术领域，具体地，涉及一种数据监测方法、装置、计算机及存储介质。

背景技术

如今的数据平台，在数据处理方面，数据采集已经成为最核心的问题，采集的数据信息是否准确、丰富，是否具有时效性，都会对数据平台的应用产生直接的影响。数据埋点是指在应用中特定的流程收集一些信息，用来跟踪应用使用的状况，后续用来进一步优化产品或是提供运营的数据支撑，包括访问、访客、停留时间、页面查看等信息。

现如今市场上有很多做用户行为分析的产品，核心就是做数据采集的工作。无埋点是解决数据采集应用较为广泛的技术，它通过上传本地用户客户端的当前屏幕截图以及控件树信息来进行控件的匹配以及部署下发工作。无埋点技术的弊端是需要人工干预，尤其是在对不同类型的控件部署时。而且它的数据传输量很大，给服务器和网络带来了较大的负担。

发明内容

本公开的目的是提供一种数据监测方法、装置、计算机及存储介质，用于解决无埋点技术中，数据传输量大的技术问题。

根据本公开实施例的第一方面，提供一种数据监测方法，包括：

获取终端发送的截屏图像；

对所述截屏图像进行图像处理，以识别所述截屏图像中包含的控件图像；

基于识别的控件图像，向所述终端发送监测指令，以监测所述终端对所述截屏图像对应页面中的控件的操作情况。

可选的，对所述截屏图像进行图像处理，以识别所述截屏图像中包含的控件图像，包括：

对所述截屏图像进行边缘特征提取，以将所述截屏图像划分为多个子图像；

根据预设的控件特征，从所述多个子图像中确定所述控件图像。

可选的，对所述截屏图像进行边缘特征提取，包括：

按照以下形态学边缘检测算子，对所述截屏图像进行边缘特征提取：

其中，f为所述截屏图像，S₁为第一结构元素，S₂为第二结构元素，S₃，_j为由第三结构元素分解得到的第j个方向的结构元素，j为正整数，·为形态学闭运算，

为形态学开运算，

为形态学膨胀操作，

为形态学腐蚀操作。

可选的，根据预设的控件特征，从所述多个子图像确定所述控件图像，包括：

根据预设的不同控件的控件特征，从所述多个子图像中确定不同类别的控件对应的控件图像；

基于识别的控件图像，向所述终端发送监测指令，包括：

针对不同类别的控件对应的控件图像，向所述终端发送对应的监测指令。

可选的，在对所述截屏图像进行图像处理，以识别所述截屏图像中包含的控件图像之后，还包括：

根据识别的控件图像在所述截屏图像中的位置，确定所述控件图像的路径信息；

基于识别的控件图像，向所述终端发送监测指令，包括：

基于识别的控件图像的路径信息，向所述终端发送用于监测对应控件的监测指令。

根据本公开实施例的第二方面，提供一种数据监测装置，包括：

图像获取模块，用于获取终端发送的截屏图像；

图像处理模块，用于对所述截屏图像进行图像处理，以识别所述截屏图像中包含的控件图像；

指令发送模块，用于基于识别的控件图像，向所述终端发送监测指令，以监测所述终端对所述截屏图像对应页面中的控件的操作情况。

可选的，所述图像处理模块包括：

特征提取模块，用于对所述截屏图像进行边缘特征提取，以将所述截屏图像划分为多个子图像；

第一确定模块，用于根据预设的控件特征，从所述多个子图像中确定所述控件图像。

可选的，所述特征提取模块，包括：

特征提取子模块，用于按照以下形态学边缘检测算子，对所述截屏图像进行边缘特征提取：

其中，f为所述截屏图像，S₁为第一结构元素，S₂为第二结构元素，S₃，_j为由第三结构元素分解得到的第j个方向的结构元素，j为正整数，·为形态学闭运算，

为形态学开运算，

为形态学膨胀操作，

为形态学腐蚀操作。

可选的，所述第一确定模块包括：

确定子模块，用于根据预设的不同控件的控件特征，从所述多个子图像中确定不同类别的控件对应的控件图像；

所述指令发送模块包括：

第一指令发送子模块，用于针对不同类别的控件对应的控件图像，向所述终端发送对应的监测指令。

可选的，所述装置还包括：

第二确定模块，用于在对所述截屏图像进行图像处理，以识别所述截屏图像中包含的控件图像之后，根据识别的控件图像在所述截屏图像中的位置，确定所述控件图像的路径信息；

所述指令发送模块包括：

第二指令发送子模块，用于基于识别的控件图像的路径信息，向所述终端发送用于监测对应控件的监测指令。

根据本公开实施例的第三方面，提供一种计算机，包括：

非临时性计算机可读存储介质；以及一个或者多个处理器，用于执行所述非临时性计算机可读存储介质中的程序；所述非临时性计算机可读存储介质中存储有用于执行如第一方面中任一项所述的方法的指令。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，所述非临时性计算机可读存储介质中包括一个或多个程序，所述一个或多个程序用于执行第一方面中任一项所述的方法。

本公开实施例中，计算机可以获取终端的截屏图像，然后进行图像处理，识别出截屏图像包含的控件图像，再基于识别的控件图像，向终端发送监测指令，进而监测终端对控件的操作情况。通过这样的方式，终端只需发送数据量较小的截屏图像就能实现无埋点的数据采集，无需发送数据量较大的控件树信息，减小了网络传输的负载，提高了数据传输效率，对于要监测终端的计算机而言，节省了存储空间，同时，无需人为地根据控件树信息进行数据采集的工作部署，减小了工作量。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种数据监测方法的流程图；

图2是根据一示例性实施例示出的一种结构元素的示意图；

图3是根据一示例性实施例示出的一种截屏图像的示意图；

图4是根据一示例性实施例示出的一种数据监测装置的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

首先，对本公开的应用场景进行说明。埋点是指在应用中特定的流程收集一些信息，用来跟踪用户对应用的使用情况，以便后续进一步优化产品或者提供运营的数据支持。比如，针对某应用中名为“下载”的按钮控件进行埋点，从而监测用户是否对“下载”这一按钮控件进行了点击操作，进而可以实现数据统计等后续任务。

传统意义上的埋点为代码埋点，也就是在应用开发过程中，在代码中找到要监测的对象所对应的部位，然后植入相应的代码，从而追踪用户的行为，收集需要的数据。在这样的埋点部署方式中，每一个埋点都需要写代码，效率较低，人工成本较高，且一旦埋点出现问题，重新埋点的代价较高。

无埋点技术的出现解决了代码埋点的一些弊端，对于开发人员而言，只需正常进行开发，无需在开发过程中通过代码的植入来进行埋点。所谓无埋点技术并非完全不用埋点，只是与代码埋点的方式不同，不需要开发人员进行代码的部署，而是通过接收用户的截屏图像以及控件树信息来确定操作页面中有哪些控件以及这些控件分布的位置，进而可视化地远程部署要监测的控件。

本公开在无埋点技术的基础上提出了一种数据监测方法，既能达到无埋点地对用户操作控件的情况进行监测的目的，又能够减小无埋点技术中的数据传输量。以下将对本公开技术方案进行说明。

图1是根据一示例性实施例示出的一种数据监测方法的流程图，如图1所示，该数据监测方法可以应用于计算机(比如需要跟踪终端用户对某个应用的使用情况的服务器)中，该方法包括以下步骤。

步骤S11：获取终端发送的截屏图像。

终端例如可以是手机、PAD(Personal Digital Assistant，平板电脑)、PC(Personal Computer，个人计算机)等等不同的设备，本公开实施例对此不作限定。

由于终端用户在使用终端过程中，页面是在不断变化的，那么终端可以按照一定周期(比如设定为3s、5s，等等)给计算机发送终端的截屏图像，每个截屏图像可以携带有标记信息，针对同一显示页面的截屏图像具有相同的标记信息。计算机会持续地获取终端按照设定的周期发送的截屏图像，然后对截屏图像进行处理，进而识别出截屏图像包含的控件图像。当然，针对获取的具有相同标记信息的截屏图像，计算机可以只进行一次控件图像的识别即可。

步骤S12：对截屏图像进行图像处理，以识别截屏图像中包含的控件图像。

计算机接收到终端发送的截屏图像后，可以对截屏图像进行图像处理，从而识别控件图像，本公开实施例中，对于识别控件图像的方式不作限定，以下对可能的方式进行说明。

在一个实施例中，对截屏图像进行图像处理，以识别截屏图像中包含的控件图像，可以先对截屏图像进行边缘特征提取，以将截屏图像划分为多个子图像，然后根据预设的控件特征，从多个子图像确定控件图像。

边缘特征提取即为将图像中的边缘提取出来，从而基于提取出的边缘可以将图像分割为多个子图像。对于边缘特征提取方式，本公开实施例不作限定，只要能实现边缘提取，将截屏图像按照提取的边缘信息分割成多个子图像即可。

分割得到的多个子图像中既包含有控件对应的图像，也包含其他的一些页面元素的图像，比如文字的图像，标识图像，等等，那么可以根据预设的控件特征，将控件图像从得到的多个子图像中识别出来。

例如，可以通过机器学习的方式来识别控件图像。那么预设的控件特征可以是预先输入的大量的控件的图像，计算机可以将截屏图像分割出的多个子图像分别与学习过的控件的图像进行比对，进而识别出各子图像是不是控件图像。

或者例如，一些控件具有特定的特征，比如，对于按钮控件，其几何特征通常较为明显，那么可以设定将长、宽等几何特征满足按钮控件几何特征的子图像确定为按钮控件的图像，等等。

通过以上方式，可以直接通过图像处理便能得到截屏图像包含的控件图像，无需终端上传控件树信息，便能够达到识别控件在页面中位置的目的，有利于进一步对终端用户的操作进行采集。

在一个实施例中，对截屏图像进行边缘特征提取，可以采用形态学的边缘提取方法。原理是把结构元素作为探针，随着探针在图像中的移动，采集图像的结构特征。形态学的边缘提取结果比较依赖于边缘检测算子和结构元素的选择，本公开通过对不同控件边缘特征的研究实验分析，控件的边缘所体现的方向性较强(例如按钮控件的边框通常为横向或竖向的)，同时鉴于单一的结构元素应用于检测边缘的不足，从结构元素多方位、多尺度的角度出发考虑，提出了一种改进的形态学边缘检测算子：

其中，f为截屏图像，S₁为第一结构元素，S₂为第二结构元素，S_3，j为由第三结构元素分解得到的第j个方向的结构元素，j为正整数，·为形态学闭运算，

为形态学开运算，

为形态学膨胀操作，

为形态学腐蚀操作。

请参见图2，S₁、S₂、及S_3，j的构造分别如图2所示，其中S₁为小尺度的结构元素，S₂和S_3，j为大尺度的结构元素，利用大小不同的结构元素提取图像边缘特征，小尺度的结构元素去噪能力弱，但是能更好的检测边缘细节；大尺度的去噪能力强，但是检测到边缘较粗。利用大尺度下的抗噪性和小尺度下的定位特性，由粗到细跟踪边缘，得到边缘的位置。

结构元素是有方向的，因为图像可能包含多个方向的信息，将结构元素的不同方向与每个方向图像信息匹配，这样检测出的边缘信息是包含各个方向的，再经过组合处理，边缘信息得以更好的保留。结构元素中的“1”代表不同的方向，有水平、垂直等多个方向，这样会使图像在多方向的信息得到更好的保留。为了使图像中的所有线条走向被尽可能的覆盖，结构元素设计为多个方向，更好的去采集图像的边缘。

本公开提出的改进的形态学边缘检测算子，首先用S₁和S₂对截屏图像f进行交替的开闭滤波，平滑图像，运用分解得到的8个方向的结构元素，分别进行边缘检测，将的到8个边缘提取结果，可以根据需要对8个方向分别设定权值，那么最终边缘检测的结果为这些方向边缘的加权和。传统的边缘检测算子存在一些误提取以及过提取现象，本公开改进的算子因为是依赖于对控件图像边缘方向性较强的特征做出的改进，可以更好的提取控件图像的边缘，更好保留原始图像信息，提取的效果更好。

例如，如图3所示，图3为终端发送的某个音乐应用的截屏图像，对该截屏图像进行边缘提取后，会将图像分割为多个子图像，包括编号1-5的子图像、“黄河大合唱”等文字的子图像(比如一个文字即为一个子图像)、图标的子图像(比如音乐图标的子图像，以及右上角声音图标的子图像)。

步骤S13：基于识别的控件图像，向终端发送监测指令，以监测终端对截屏图像对应页面中的控件的操作情况。

在识别出截屏图像包含的控件图像后，便可以根据开发的需求，向终端发送监测指令，比如，针对按钮控件，向终端发送监测该按钮控件的点击次数，点击时间，等等。

在一个实施例中，根据预设的控件特征，从多个子图像确定控件图像，可以根据预设的不同控件的控件特征，从多个子图像中确定不同类别的控件对应的控件图像；那么可以针对不同类别的控件对应的控件图像，向终端发送对应的监测指令。

按照控件的类别的不同，可以对控件图像进行聚类处理，比如同样可以通过机器学习的方式，来识别不同类别的控件图像。

例如，请继续参见图3，在对截屏图像进行边缘提取得到多个子图像后，需要识别这些子图像中哪些是控件图像，以及控件图像对应的控件的类别。通过机器学习的方式得出编号1-5这五个子图像为控件图像，其中1为开关控件的图像，2为文本框控件的图像，3-5为按钮控件的图像，其余的子图像不是控件图像。

在实际应用中，针对不同的控件，要监测的数据可能不同，比如，对于按钮控件，需要监测点击操作，对于开关控件，需要监测滑动手势操作，等等。那么在识别出不同种类的控件图像后，可以按照预先设定的监测方式，针对不同的控件给终端发送对应的监测指令，这样，无需开发人员手动地去分别部署数据监测策略，减小了开发人员的工作量，也降低了开发成本。

在一个实施例中，在对截屏图像进行图像处理，以识别截屏图像中包含的控件图像之后，还可以根据识别的控件图像在截屏图像中的位置，确定控件图像的路径信息；那么可以基于识别的控件图像的路径信息，向终端发送用于监测对应控件的监测指令。

路径信息可以用来指示控件图像位于哪个截屏图像中的哪个位置。

即，计算机需要确定识别出的控件图像在截屏图像中的位置，那么在给终端下发指令时，终端才能获知要监测的是那个控件。比如计算机可以通过JSON(JavaScriptObject Notation，JS对象标记)格式下发指令到终端，终端的SDK(Software DevelopmentKit，软件开发工具包)会进行识别，进而确定是哪个控件。通过这样的方式，可以较好地实现监测终端用户对控件操作的行为。

本公开实施例中，计算机可以获取终端的截屏图像，然后进行图像处理，识别出截屏图像包含的控件图像，再基于识别的控件图像，向终端发送监测指令，进而监测终端对控件的操作情况。通过这样的方式，终端只需发送数据量较小的截屏图像就能实现无埋点的数据采集，无需发送数据量较大的控件树信息，减小了网络传输的负载，提高了数据传输效率，对于要监测终端的计算机而言，节省了存储空间，同时，无需人为地根据控件树信息进行数据采集的工作部署，减小了工作量。

请参见图3，基于同一发明构思，本公开实施例提供一种数据监测装置200，该装置200可以包括：

图像获取模块201，用于获取终端发送的截屏图像；

图像处理模块202，用于对所述截屏图像进行图像处理，以识别所述截屏图像中包含的控件图像；

指令发送模块203，用于基于识别的控件图像，向所述终端发送监测指令，以监测所述终端对所述截屏图像对应页面中的控件的操作情况。

图像获取模块201可以是周期性地获取终端发送的截屏图像，图像处理模块202对截屏图像进行处理，识别出截屏图像包含的控件图像后，可以通过指令发送模块203基于识别的控件图像，向终端发送监测指令，进而监测终端对控件的操作情况。通过这样的方式，终端只需发送数据量较小的截屏图像就能实现无埋点的数据采集，无需发送数据量较大的控件树信息，减小了网络传输的负载，提高了数据传输效率，对于要监测终端的计算机而言，节省了存储空间，同时，无需人为地根据控件树信息进行数据采集的工作部署，减小了工作量。

在一个实施例中，所述图像处理模块202包括：

特征提取模块，用于对所述截屏图像进行边缘特征提取，以将所述截屏图像划分为多个子图像；

第一确定模块，用于根据预设的控件特征，从所述多个子图像中确定所述控件图像。

在一个实施例中，所述特征提取模块，包括：

特征提取子模块，用于按照以下形态学边缘检测算子，对所述截屏图像进行边缘特征提取：

其中，f为所述截屏图像，S₁为第一结构元素，S₂为第二结构元素，S₃，_j为由所述第三结构元素分解得到的第j个方向的结构元素，j为正整数，·为形态学闭运算，

为形态学开运算，

为形态学膨胀操作，

为形态学腐蚀操作。

在一个实施例中，所述第一确定模块包括：

确定子模块，用于根据预设的不同控件的控件特征，从所述多个子图像中确定不同类别的控件对应的控件图像；

所述指令发送模块203包括：

第一指令发送子模块，用于针对不同类别的控件对应的控件图像，向所述终端发送对应的监测指令。

在一个实施例中，所述装置200还包括：

第二确定模块，用于在对所述截屏图像进行图像处理，以识别所述截屏图像中包含的控件图像之后，根据识别的控件图像在所述截屏图像中的位置，确定所述控件图像的路径信息；

所述指令发送模块203包括：

第二指令发送子模块，用于基于识别的控件图像的路径信息，向所述终端发送用于监测对应控件的监测指令。

基于同一发明构思，本公开实施例还提供一种计算机，包括：

非临时性计算机可读存储介质；以及一个或者多个处理器，用于执行所述非临时性计算机可读存储介质中的程序；所述非临时性计算机可读存储介质中存储有用于执行上述数据监测方法的指令。

在本公开所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非临时性计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以对本公开的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本公开的方法及其核心思想，不应理解为对本公开的限制。本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。

Claims (9)

1.一种数据监测方法，其特征在于，包括：

获取终端发送的截屏图像；

对所述截屏图像进行图像处理，以识别所述截屏图像中包含的控件图像；

基于识别的控件图像，向所述终端发送监测指令，以监测所述终端对所述截屏图像对应页面中的控件的操作情况；

在对所述截屏图像进行图像处理，以识别所述截屏图像中包含的控件图像之后，还包括：

根据识别的控件图像在所述截屏图像中的位置，确定所述控件图像的路径信息；

基于识别的控件图像，向所述终端发送监测指令，包括：

基于识别的控件图像的路径信息，向所述终端发送用于监测对应控件的监测指令。

2.根据权利要求1所述的方法，其特征在于，对所述截屏图像进行图像处理，以识别所述截屏图像中包含的控件图像，包括：

对所述截屏图像进行边缘特征提取，以将所述截屏图像划分为多个子图像；

根据预设的控件特征，从所述多个子图像中确定所述控件图像。

3.根据权利要求2所述的方法，其特征在于，对所述截屏图像进行边缘特征提取，包括：

按照以下形态学边缘检测算子，对所述截屏图像进行边缘特征提取：

其中，f为所述截屏图像，S₁为第一结构元素，S₂为第二结构元素，S_3，j为由第三结构元素分解得到的第j个方向的结构元素，j为正整数，·为形态学闭运算，

为形态学开运算，

为形态学膨胀操作，⊙为形态学腐蚀操作。

4.根据权利要求2所述的方法，其特征在于，根据预设的控件特征，从所述多个子图像确定所述控件图像，包括：

根据预设的不同控件的控件特征，从所述多个子图像中确定不同类别的控件对应的控件图像；

基于识别的控件图像，向所述终端发送监测指令，包括：

针对不同类别的控件对应的控件图像，向所述终端发送对应的监测指令。

5.一种数据监测装置，其特征在于，包括：

图像获取模块，用于获取终端发送的截屏图像；

图像处理模块，用于对所述截屏图像进行图像处理，以识别所述截屏图像中包含的控件图像；

指令发送模块，用于基于识别的控件图像，向所述终端发送监测指令，以监测所述终端对所述截屏图像对应页面中的控件的操作情况；

还包括：

第二确定模块，用于在对所述截屏图像进行图像处理，以识别所述截屏图像中包含的控件图像之后，根据识别的控件图像在所述截屏图像中的位置，确定所述控件图像的路径信息；

所述指令发送模块包括：

第二指令发送子模块，用于基于识别的控件图像的路径信息，向所述终端发送用于监测对应控件的监测指令。

6.根据权利要求5所述的装置，其特征在于，所述图像处理模块包括：

特征提取模块，用于对所述截屏图像进行边缘特征提取，以将所述截屏图像划分为多个子图像；

第一确定模块，用于根据预设的控件特征，从所述多个子图像中确定所述控件图像。

7.根据权利要求6所述的装置，其特征在于，所述特征提取模块，包括：

特征提取子模块，用于按照以下形态学边缘检测算子，对所述截屏图像进行边缘特征提取：

其中，f为所述截屏图像，S₁为第一结构元素，S₂为第二结构元素，S_3，j为由第三结构元素分解得到的第j个方向的结构元素，j为正整数，·为形态学闭运算，

为形态学开运算，

为形态学膨胀操作，

为形态学腐蚀操作。

8.一种计算机，其特征在于，包括：

非临时性计算机可读存储介质；以及

一个或者多个处理器，用于执行所述非临时性计算机可读存储介质中的程序；所述非临时性计算机可读存储介质中存储有用于执行如权利要求1-4中任一项所述的方法的指令。

9.一种非临时性计算机可读存储介质，其特征在于，所述非临时性计算机可读存储介质中包括一个或多个程序，所述一个或多个程序用于执行权利要求1-4中任一项所述的方法。

Images