CN109213515A - 多平台下埋点归一方法及装置和电子设备 - Google Patents

多平台下埋点归一方法及装置和电子设备 Download PDF

Info

Publication number
CN109213515A
CN109213515A CN201810764988.7A CN201810764988A CN109213515A CN 109213515 A CN109213515 A CN 109213515A CN 201810764988 A CN201810764988 A CN 201810764988A CN 109213515 A CN109213515 A CN 109213515A
Authority
CN
China
Prior art keywords
control
platform
picture
control picture
target pages
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810764988.7A
Other languages
English (en)
Other versions
CN109213515B (zh
Inventor
黄涤
高峰
庞磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810764988.7A priority Critical patent/CN109213515B/zh
Publication of CN109213515A publication Critical patent/CN109213515A/zh
Application granted granted Critical
Publication of CN109213515B publication Critical patent/CN109213515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供一种多平台下埋点归一方法及装置和电子设备,所述方法包括:接收至少两种平台上传的同一目标页面的归一信息;所述归一信息包括对应平台上目标页面中可埋点的控件的唯一标识,以及所述控件位于目标页面中的控件位置;根据所述控件位置,获取每一个控件在对应平台的目标页面所在区域的控件图片;比较不同平台的控件图片之间的相似度,匹配不同平台中的相同控件;将不同平台中的相同控件的唯一标识进行绑定。

Description

多平台下埋点归一方法及装置和电子设备
技术领域
本说明书实施例涉及互联网技术领域,尤其涉及一种多平台下埋点归一方法及装置和电子设备。
背景技术
可视化埋点是自定义埋点技术的一种。所述可视化埋点可以直接对目标页面可埋点的地方进行埋点操作,并且可以即时下发生效,跳过代码部署和版本更新过程,极大提升了运营效率,因此,可视化埋点逐渐成为主流。
所述可视化埋点一般需要移动客户端连接服务器,由服务器完成埋点。然而,由于当前市场中移动终端存在多种类型的平台,例如安卓平台、IOS平台等。不同平台涉及到的可视化埋点代码、接口等均不相同。因此,现有的可视化埋点方式中,服务器需要分别对不同平台的相同控件进行绑定,才可以实现不同平台的相同控件的归一化。然而,这种重复绑定严重影响可视化埋点效率,增加了埋点成本。
发明内容
本说明书实施例提供的一种多平台下埋点归一方法及装置和电子设备,以及埋点分析方法及装置和电子设备:
根据本说明书实施例的第一方面,提供一种多平台下埋点归一方法,所述方法包括:
接收至少两种平台上传的同一目标页面的归一信息;所述归一信息包括对应平台上目标页面中可埋点的控件的唯一标识,以及所述控件位于目标页面中的控件位置;
根据所述控件位置,获取每一个控件在对应平台的目标页面所在区域的控件图片;
比较不同平台的控件图片之间的相似度,匹配出不同平台中的相同控件;
将不同平台中的相同控件的唯一标识进行绑定。
根据本说明书实施例的第二方面,提供一种埋点分析方法,所述方法包括:
拉取日志网关采集到的埋点数据;所述日志网格基于前述任一项所述多平台下埋点归一方法后采集埋点数据;
将埋点数据的明细数据写入分析型数据库;
根据所述分析型数据库中的分布式查询算法,将配置的指标维度自动转换为所述指标维度的查询SQL
基于所述查询SQL返回的明细数据,进行指标计算;其中,所述指标维度为自定义的维度。
根据本说明书实施例的第三方面,提供一种多平台下埋点归一装置,所述装置包括:
接收单元,接收至少两种平台上传的同一目标页面的归一信息;所述归一信息包括对应平台上目标页面中可埋点的控件的唯一标识,以及所述控件位于目标页面中的控件位置;
获取单元,根据所述控件位置,获取每一个控件在对应平台的目标页面所在区域的控件图片;
匹配单元,比较不同平台的控件图片之间的相似度,匹配出不同平台中的相同控件;
归一单元,将不同平台中的相同控件的唯一标识进行绑定。
根据本说明书实施例的第四方面,提供一种埋点分析装置,数据分析装置,所述装置包括:
拉取单元,拉取日志网关采集到的埋点数据;所述日志网格基于前述任一项所述多平台下埋点归一方法后采集埋点数据;
写入单元,将埋点数据的明细数据写入分析型数据库;
查询单元,根据所述分析型数据库中的分布式查询算法,将配置的指标维度自动转换为所述指标维度的查询SQL
分析单元,基于所述查询SQL返回的明细数据,进行指标计算;其中,所述指标维度为自定义的维度。
根据本说明书实施例的第五方面,提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为上述任一项多平台下埋点归一方法。
根据本说明书实施例的第六方面,提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为上述任一项埋点数据分析方法。
本说明书实施例,提供了一种多平台下埋点归一方案,通过比对不同平台上相同页面中可埋点的控件的相似度,找出不同平台的相同控件,并通过将不同平台中的相同控件的唯一标识进行绑定,只需绑定一次即可以完成不同平台的相同控件的归一,大大提升了埋点效率,降低了埋点成本。
附图说明
图1是本说明书一实施例提供的多平台下埋点归一方法的流程图;
图2是本说明书一实施例提供的两种平台显示的同一目标页面的示意图;
图3是本说明书一实施例提供的埋点数据分析方法的流程图;
图4是本说明书一实施例提供的多平台下埋点归一装置的硬件结构图;
图5是本说明书一实施例提供的多平台下埋点归一装置的模块示意图;
图6是本说明书一实施例提供的埋点数据分析装置的硬件结构图;
图7是本说明书一实施例提供的埋点数据分析装置的模块示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在移动分析自定义分析方案中,通常可以包括自定义埋点以及自定义埋点分析两个部分。
可视化埋点是自定义埋点技术的一种。所述可视化埋点可以直接对目标页面可埋点的地方进行埋点操作,并且可以即时下发生效,跳过代码部署和版本更新过程,极大提升了运营效率,因此,可视化埋点逐渐成为主流。所述可视化埋点一般需要移动客户端连接服务器(例如web服务器),由服务器完成埋点。然而,由于当前市场中移动终端存在多种类型的平台,例如安卓平台、IOS平台等。不同平台涉及到的可视化埋点代码、接口等均不相同。因此,现有的可视化埋点方式中,需要开发人员人工将不同平台上同一目标页面中的相同控件进行绑定。
例如,分别就安卓和IOS这两种不同的平台为例,假设开发人员获知在安卓和IOS平台上同一目标页面中存在一个相同的控件A,那么开发人员需要分别针对安卓和IOS平台对该控件A做两次重复的绑定,从而实现不同平台的相同控件的归一化,便于进行后续自定义埋点分析。由于需要对不同平台的相同控件做重复绑定,影响了可视化埋点的效率,增加了埋点成本。
为了解决上述问题,本说明书提供了一种多平台可视化埋点归一方法,以下可以参考图1所示的例子介绍,该方法可以应用于可视化埋点的服务器,所述方法可以包括以下步骤:
步骤110:接收至少两种平台上传的同一目标页面的归一信息;所述归一信息包括对应平台上目标页面中可埋点的控件的唯一标识,以及所述控件位于目标页面中的控件位置。
以下先以平台侧进行描述:
首先,不同平台的客户端(例如安卓Android手机以及苹果IOS手机)可以在本地对待埋点的目标页面进行扫描,确定该目标页面中可埋点的控件。然而,客户端可以将该控件的唯一标识,以及该控件位于目标页面中的控件位置一起上传给服务器。
在相关技术中,页面中的控件在创建时统一都会配置一个唯一标识。客户端本地对目标页面中的控件进行扫描,可以获取所述目标页面中众多控件的控件属性;然后,将空间属性为交互事件的控件作为待埋点的控件。一般的,可以将交互事件的控件称为交互控件。所述交互控件是指用于与用户进行交互的控件。例如,点击控件可以供用户进行点击操作。相对的,非交互控件例如用于进行显示的控件,如显示图片的控件,这样的非交互控件对于客户端来说就不是待埋点的控件。
以下以服务器测进行描述:
服务器可以接受来自不同平台的客户端上传的相同目标页面的归一信息。服务器可以根据这些归一信息,做后续处理。
步骤120:根据所述控件位置,获取每一个控件在对应平台的目标页面所在区域的控件图片。
如图2所示的两种平台显示的同一目标页面的示意图。其中,左图是一种IOS平台上显示的目标页面,右图是一种安卓平台上显示的目标页面。所述目标页面中有许多可以点击的图标,如前所述可以点击的图标即可以是可埋点的控件。以目标页面中的“淘宝电影”为例,服务器可以基于“淘宝电影”控件的位置,获取“淘宝电影”控件分别在安卓平台以及IOS平台的目标页面所在区域的控件图片,即如图2c所示。其它控件处理方式也与“淘宝电影”类似。
在一实施例中,步骤120,具体可以包括:
根据所述控件位置在对应平台的目标页面中进行切图处理,得到每一个控件在对应平台的目标页面所在区域的控件图片。
该实施例中,服务器在接收到不同平台上传的针对相同目标页面的归一信息之后,可以根据每个平台上传的控件位置分别对目标页面进行切图处理,从而得到每个平台中所述控件所在区域的控件图片。
所述切图处理可以是指按照预设范围,以控件位置为中心,从目标页面中剪裁出预设范围的区域作为控件图片。
所述预设范围可以根据业务需求设定的一个经验值。例如,页面中控件的形状通常表现为矩形,那么所述预设范围可以表示为矩形的长和宽。当然,实际应用中所述预设范围可以是任意形式的,例如圆形的半径,本说明书中并不对其进行限定。
以矩形为例,假设预设范围为50*40;那么根据控件位置,可以以该控件位置位于目标页面的点为中心,确定的一个50*40的区域;然后,将该确定的区域对应在目标页面的图片作为控件图片。
在一实施例中,服务器可以将空间图片按照“平台-页面-控件”的形式进行存储,便于后续分析使用。
步骤130:比较不同平台的控件图片之间的相似度,匹配出不同平台中的相同控件。
一般的,不同平台针对相同页面的页面布局是一致的,相同控件位于目标页面的位置也是一致的;因此,通过比较不同平台的控件图片之间的相似度,可以匹配出不同平台中的相同控件。
具体地,所述步骤130,可以包括:
步骤A1:提取每个控件图片的物体特征;
步骤A2:根据控件图片的物体特征,计算该控件图片的欧式距离;
步骤A3:计算不同平台的控件图片的欧式距离的差值;
步骤A4:在所述差值小于阈值时,确定所述控件图片对应不同平台中的控件为相同控件。
在一实施例中,所述物体特征为HOG(Histogram of Oriented Gradient,,方向梯度直方图)特征;
所述提取每个控件图片的物体特征,具体包括:
提取每个控件图片的HOG特征。
HOG特征是一种在计算机视觉和图像处理中用于进行物体检测的特征。HOG特征可以通过计算和统计图像局部区域的梯度方向直方图构成特征。具体地,HOG特征提取方法可以采用业内常用的方法,本说明书中就不再进行赘述。
在相关技术中,欧式距离(Euclidean Metric)在数字图像处理领域中应用较为广泛,例如基于欧式距离可以判定两张图像是否为同一图像。所述欧式距离可以是指在m维空间中两个点之间的真实距离,或者向量的自然长度(即该点到原点的距离)。一般的,在二维和三维空间中的欧氏距离可以是指两点之间的实际距离。
在本说明书中,控件图片属于二维空间,二维空间中计算欧式距离的公示如下所示:
其中,ρ可以表示点(x1,y1)和点(x2,y2)之间的欧式距离,x表示二位空间中点的横坐标,y表示二维空间中点的纵坐标。
通过该实施例,通过比较不同平台的控件图片的欧式距离,从而可以识别出不同平台中存在哪些相同控件。
在一实施例中,在所述步骤A1提取每个控件图片的物体特征之前,所述方法还可以包括:
对每个控件图片进行二值化处理;
相应地,步骤A1,具体包括:
提取每个二值化控件图片的物体特征。
在实际应用中,一般应用在不同平台上的页面配色都是一致的,为了减少控件图片对比时由于颜色差异导致的误差,可以预先对切图后的控件图片进行二值化处理,从而转换为黑白图片;这样,再进行相似度比对时,仅需要对比控件图片中的控件形状,可以忽略控件图片中的色彩因素。如此,可以提升相似度对比的准确性。
对于二值化图像,可以对欧式距离进行变换。所谓欧氏距离变换,是指对于一张二值化图像(假定白色为前景色,黑色为背景色。当然也可以相反),将前景中的像素值转化为该点到达最近的背景点的距离,该距离即为欧式距离。
在一实施例中,在所述步骤A1提取每个控件图片的物体特征之前,所述方法还可以包括:
对每个控件图片的边缘进行剪裁处理,去除每个控件图片预设长度的边缘部分;
相应地,步骤A1,具体包括:
提取每个剪裁处理后的控件图片的物体特征。
在实际应用中,切图后的控件图片的边缘可能会有一些背景噪音,例如其它控件。这些背景噪音往往会影响相似度对比的准确性。通过对每个控件图片的边缘进行剪裁处理,去除控件图片的边缘部分,可以消除上述背景噪音,进而可以提升相似度对比的准确性。
值得一提的是,所述剪裁可以基于预设长度进行,即将控件图片的边缘剪裁预设长度。例如,假设原本切图后的控件图片大小为50*50,预设长度为5;则可以将该空间图片的上下左右各剪裁5,即剪裁后的控件图片大小为40*40。
在实际应用中,所述阈值可以通过如下方式计算得到:
采集大量相同页面的打标数据,所述打标数据为人为标记的不同平台的相同控件;
通过聚类算法对所述打标数据进行聚类;
计算各个聚类簇的平均半径;
将所述平均半径确定为阈值。
该实施例中,对于阈值可以采用聚类算法例如kmeans聚类算法进行学习得到。
步骤140:将不同平台中的相同控件的唯一标识进行绑定。
本说明书中,对于纳西不同平台中的相同控件,可以将这些相同控件的唯一标识进行绑定,从而实现不同平台的相同控件的归一化,便于进行后续自定义埋点分析。
本说明书提供的多平台下埋点归一方案,通过比对不同平台上相同页面中可埋点的控件的相似度,找出不同平台的相同控件,并通过将不同平台中的相同控件的唯一标识进行绑定,只需绑定一次即可以完成不同平台的相同控件的归一,大大提升了埋点效率,降低了埋点成本。
如前所述,在移动分析自定义分析方案中,通常可以包括自定义埋点以及自定义埋点分析两个部分。
现有自定义埋点分析中,一般是预先确定需要进行埋点分析的维度,并人工写入这一维度下的查询SQL;后续进行埋点分析时,只需要根据所述查询SQL查询明细数据,并根据这些明细数据标进行具体的指标计算即可。然而,这种方式下查询SQL是固定写死的,如果分析需求改变,那么需要重新确定维度,并重新改写查询SQL。因此,急需一种更为灵活的埋点分析方案。
为此,本说明书提供了一种埋点分析方案,以下可以参考图3所示的例子介绍,所述方法可以包括以下步骤:
步骤210:拉取日志网关采集到的埋点数据;所述日志网格基于前述任一项所述的多平台下埋点归一方法采集埋点数据;
步骤220:将埋点数据的明细数据写入分析型数据库;
步骤230:根据所述分析型数据库中的分布式查询算法,将配置的指标维度自动转换为所述指标维度的查询SQL;
步骤240:基于所述查询SQL返回的明细数据,进行指标计算;其中,所述指标维度为自定义的维度。
该实施例中,所述分析数据库是一种面向分析应用的数据库。分析型数据库可以对明细数据进行在线统计、在线分析、即时查询等处理,从而发掘出这些明细数据中隐含的有价值的信息。具体地,分析型数据可以采用MMP这类的分布式查询算法,自动将用户指定的指标维度动态转化为查询SQL,并将查询到的明细数据计算出需要的指标。
具体地,可以通过kafka拉取日志网关采集到的明细埋点数据。所述kafka是一种高吞吐量的分布式发布订阅消息系统;采用kafka可以快速处理日志类信息,从而提升系统整体运行效率。之后通过即时计算引擎例如jstorm对采集到的埋点数据进行过滤、根据写入规则,将明细数据写入到分析型数据库例如explorer中。
其中,所述过滤以及写入等过程,具体包括:
通过过滤规则,将埋点数据进行过滤;
在过滤不需要的埋点字段后,将剩余明显数据基于写入规则写入到分析型数据库。
值得一提的是,这里的过滤规则、写入规则等均可以灵活根据业务需求自定义配置。这样,可以提高系统整体的灵活性,适用于不同业务需要,进一步提升系统的通用性。例如,当埋点数据分析的对象变换时,可以通过修改配置的过滤规则、写入规则快速完成改造。
该实施例中,所述过滤以及写入规则主要是过滤不需要的埋点及字段,减少写入分析型数据库中的数据量,进而来提高查询效率。
需要说明的是,所述指标维度为自定义维度。因此,对于用户自定义维度,可以使用特殊字段进行格式化存储。例如有两个自定义维度ext1、ext2,假设埋点数据上报格式为ext1=value1^ext2=value2。在Jstorm过滤时将自定义维度拆分成具体的列并存入explorer中,explorer的scheme可以在定义自定义维度时动态生成,如此保证了用户配置完自定义维度后埋点数据就可以进行查询,无需等到指标创建以后。另一方面,为了提高查询效率,可以使用应用客户端appId+自定义维度的名称来唯一标示分析型数据库中的一列,避免多种应用的相互影响。
本说明书汇总,在进行埋点数据分析时,因为不需要固定查询SQL,指标维度的配置将可以变得非常灵活。用户不仅可以自定义指标维度,而且可以配置多种指标维度,从而丰富多种分析需求。服务器可以根据配置的指标维度动态转化为查询SQL,并基于explorer中的分布式查询算法(如MPP)加快查询速度,基于所述查询SQL返回的明细数据,进行指标计算。
与前述多平台下埋点归一方法实施例相对应,本说明书还提供了多平台下埋点归一装置的实施例。所述装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在设备的处理器将非易失性存储器中对应的计算机业务程序指令读取到内存中运行形成的。从硬件层面而言,如图4所示,为本说明书多平台下埋点归一装置所在设备的一种硬件结构图,除了图4所示的处理器、网络接口、内存以及非易失性存储器之外,实施例中装置所在的设备通常根据多平台下埋点归一实际功能,还可以包括其他硬件,对此不再赘述。
请参见图5,为本说明书一实施例提供的多平台下埋点归一装置的模块图,所述装置对应了图1所示实施例,所述装置包括:
接收单元310,接收至少两种平台上传的同一目标页面的归一信息;所述归一信息包括对应平台上目标页面中可埋点的控件的唯一标识,以及所述控件位于目标页面中的控件位置;
获取单元320,根据所述控件位置,获取每一个控件在对应平台的目标页面所在区域的控件图片;
匹配单元330,比较不同平台的控件图片之间的相似度,匹配出不同平台中的相同控件;
归一单元340,将不同平台中的相同控件的唯一标识进行绑定。
在一可选的实施例中:
获取单元320,具体包括:
根据所述控件位置在对应平台的目标页面中进行切图处理,得到每一个控件在对应平台的目标页面所在区域的控件图片。
在一可选的实施例中:
所述匹配单元330,具体包括:
特征提取子单元,提取每个控件图片的物体特征;
距离计算子单元,根据控件图片的物体特征,计算该控件图片的欧式距离;
差值计算子单元,计算不同平台的控件图片的欧式距离的差值;
判定子单元,在所述差值小于阈值时,确定所述控件图片对应不同平台中的控件为相同控件。
在一可选的实施例中:
在所述特征提取子单元之前,所述装置还包括:
二值化处理子单元,对每个控件图片进行二值化处理;
所述特征提取子单元,具体包括:
提取每个二值化控件图片的物体特征。
在一可选的实施例中:
在所述特征提取子单元之前,所述装置还包括:
剪裁子单元,对每个控件图片的边缘进行剪裁处理,去除每个控件图片预设长度的边缘部分;
所述特征提取子单元,具体包括:
提取每个剪裁处理后的控件图片的物体特征。
在一可选的实施例中:
所述物体特征为方向梯度直方图特征;
所述特征提取子单元,具体包括:
提取所述切图后控件图片的hoc特征。
在一可选的实施例中:
所述阈值通过如下方式计算得到:
采集大量相同页面的打标数据,所述打标数据为人为标记的不同平台的相同控件;
通过聚类算法对所述打标数据进行聚类;
计算各个聚类簇的平均半径;
将所述平均半径确定为阈值。
与前述埋点数据分析方法实施例相对应,本说明书还提供了埋点数据分析装置的实施例。所述装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在设备的处理器将非易失性存储器中对应的计算机业务程序指令读取到内存中运行形成的。从硬件层面而言,如图6所示,为本说明书埋点数据分析装置所在设备的一种硬件结构图,除了图6所示的处理器、网络接口、内存以及非易失性存储器之外,实施例中装置所在的设备通常根据埋点数据分析实际功能,还可以包括其他硬件,对此不再赘述。
请参见图7,为本说明书一实施例提供的埋点数据分析装置的模块图,所述装置对应了图3所示实施例,所述装置包括:
拉取单元410,拉取日志网关采集到的埋点数据;所述日志网格基于前述任一项所述多平台下埋点归一方法后采集埋点数据;
写入单元420,将埋点数据的明细数据写入分析型数据库;
查询单元430,根据所述分析型数据库中的分布式查询算法,将配置的指标维度自动转换为所述指标维度的查询SQL
分析单元440,基于所述查询SQL返回的明细数据,进行指标计算;其中,所述指标维度为自定义维度。
在一可选的实施例中:
所述写入单元420,具体包括:
过滤子单元,通过过滤规则,将埋点数据进行过滤;
写入子单元,在过滤不需要的埋点字段后,将剩余明显数据基于写入规则写入到分析型数据库。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上图5描述了数据汇总装置的内部功能模块和结构示意,其实质上的执行主体可以为一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
接收至少两种平台上传的同一目标页面的归一信息;所述归一信息包括对应平台上目标页面中可埋点的控件的唯一标识,以及所述控件位于目标页面中的控件位置;
根据所述控件位置,获取每一个控件在对应平台的目标页面所在区域的控件图片;
比较不同平台的控件图片之间的相似度,匹配出不同平台中的相同控件;
将不同平台中的相同控件的唯一标识进行绑定。
可选的,根据所述控件位置,获取每一个控件在对应平台的目标页面所在区域的控件图片,具体包括:
根据所述控件位置在对应平台的目标页面中进行切图处理,得到每一个控件在对应平台的目标页面所在区域的控件图片。
可选的,所述比较不同平台的控件图片之间的相似度,匹配出不同平台中的相同控件,具体包括:
提取每个控件图片的物体特征;
根据控件图片的物体特征,计算该控件图片的欧式距离;
计算不同平台的控件图片的欧式距离的差值;
在所述差值小于阈值时,确定所述控件图片对应不同平台中的控件为相同控件。
可选的,在所述提取每个控件图片的物体特征之前,还包括:
对每个控件图片进行二值化处理;
所述提取每个控件图片的物体特征,具体包括:
提取每个二值化控件图片的物体特征。
可选的,在所述提取每个控件图片的物体特征之前,还包括:
对每个控件图片的边缘进行剪裁处理,去除每个控件图片预设长度的边缘部分;
所述提取每个控件图片的物体特征,具体包括:
提取每个剪裁处理后的控件图片的物体特征。
可选的,所述物体特征为方向梯度直方图特征;
所述提取每个控件图片的物体特征,具体包括:
提取所述切图后控件图片的hoc特征。
可选的,所述阈值通过如下方式计算得到:
采集大量相同页面的打标数据,所述打标数据为人为标记的不同平台的相同控件;
通过聚类算法对所述打标数据进行聚类;
计算各个聚类簇的平均半径;
将所述平均半径确定为阈值。
以上图7描述了数据汇总装置的内部功能模块和结构示意,其实质上的执行主体可以为一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
拉取日志网关采集到的埋点数据;所述日志网格基于前述任一项所述多平台下埋点归一方法后采集埋点数据;
将埋点数据的明细数据写入分析型数据库;
根据所述分析型数据库中的分布式查询算法,将配置的指标维度自动转换为所述指标维度的查询SQL
基于所述查询SQL返回的明细数据,进行指标计算;其中,所述指标维度为自定义的维度。
可选的,所述将埋点数据的明显数据写入分析型数据库,具体包括:
通过过滤规则,将埋点数据进行过滤;
在过滤不需要的埋点字段后,将剩余明显数据基于写入规则写入到分析型数据库。
在上述电子设备的实施例中,应理解,该处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application SpecificIntegrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,而前述的存储器可以是只读存储器(英文:read-only memory,缩写:ROM)、随机存取存储器(英文:random access memory,简称:RAM)、快闪存储器、硬盘或者固态硬盘。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于电子设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是,本说明书并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。

Claims (12)

1.一种多平台下埋点归一方法,所述方法包括:
接收至少两种平台上传的同一目标页面的归一信息;所述归一信息包括对应平台上目标页面中可埋点的控件的唯一标识,以及所述控件位于目标页面中的控件位置;
根据所述控件位置,获取每一个控件在对应平台的目标页面所在区域的控件图片;
比较不同平台的控件图片之间的相似度,匹配出不同平台中的相同控件;
将不同平台中的相同控件的唯一标识进行绑定。
2.根据权利要求1所述的方法,根据所述控件位置,获取每一个控件在对应平台的目标页面所在区域的控件图片,具体包括:
根据所述控件位置在对应平台的目标页面中进行切图处理,得到每一个控件在对应平台的目标页面所在区域的控件图片。
3.根据权利要求1所述的方法,所述比较不同平台的控件图片之间的相似度,匹配出不同平台中的相同控件,具体包括:
提取每个控件图片的物体特征;
根据控件图片的物体特征,计算该控件图片的欧式距离;
计算不同平台的控件图片的欧式距离的差值;
在所述差值小于阈值时,确定所述控件图片对应不同平台中的控件为相同控件。
4.根据权利要求3所述的方法,在所述提取每个控件图片的物体特征之前,所述方法还包括:
对每个控件图片进行二值化处理;
所述提取每个控件图片的物体特征,具体包括:
提取每个二值化控件图片的物体特征。
5.根据权利要求3所述的方法,在所述提取每个控件图片的物体特征之前,所述方法还包括:
对每个控件图片的边缘进行剪裁处理,去除每个控件图片预设长度的边缘部分;
所述提取每个控件图片的物体特征,具体包括:
提取每个剪裁处理后的控件图片的物体特征。
6.根据权利要求3所述的方法,所述物体特征为方向梯度直方图特征;
所述提取每个控件图片的物体特征,具体包括:
提取所述切图后控件图片的hoc特征。
7.根据权利要求3所述的方法,所述阈值通过如下方式计算得到:
采集大量相同页面的打标数据,所述打标数据为人为标记的不同平台的相同控件;
通过聚类算法对所述打标数据进行聚类;
计算各个聚类簇的平均半径;
将所述平均半径确定为阈值。
8.一种埋点数据分析方法,包括:
拉取日志网关采集到的埋点数据;所述日志网格基于前述任一项所述多平台下埋点归一方法后采集埋点数据;
将埋点数据的明细数据写入分析型数据库;
根据所述分析型数据库中的分布式查询算法,将配置的指标维度自动转换为所述指标维度的查询SQL
基于所述查询SQL返回的明细数据,进行指标计算;其中,所述指标维度为自定义的维度。
9.根据权利要求8所述的方法,所述将埋点数据的明显数据写入分析型数据库,具体包括:
通过过滤规则,将埋点数据进行过滤;
在过滤不需要的埋点字段后,将剩余明显数据基于写入规则写入到分析型数据库。
10.一种多平台下埋点归一装置,所述装置包括:
接收单元,接收至少两种平台上传的同一目标页面的归一信息;所述归一信息包括对应平台上目标页面中可埋点的控件的唯一标识,以及所述控件位于目标页面中的控件位置;
获取单元,根据所述控件位置,获取每一个控件在对应平台的目标页面所在区域的控件图片;
匹配单元,比较不同平台的控件图片之间的相似度,匹配出不同平台中的相同控件;
归一单元,将不同平台中的相同控件的唯一标识进行绑定。
11.一种埋点数据分析装置,所述装置包括:
拉取单元,拉取日志网关采集到的埋点数据;所述日志网格基于前述任一项所述多平台下埋点归一方法后采集埋点数据;
写入单元,将埋点数据的明细数据写入分析型数据库;
查询单元,根据所述分析型数据库中的分布式查询算法,将配置的指标维度自动转换为所述指标维度的查询SQL
分析单元,基于所述查询SQL返回的明细数据,进行指标计算;其中,所述指标维度为自定义的维度。
12.一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为上述权利要求1-9中任一项所述的方法。
CN201810764988.7A 2018-07-12 2018-07-12 多平台下埋点归一方法及装置和电子设备 Active CN109213515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810764988.7A CN109213515B (zh) 2018-07-12 2018-07-12 多平台下埋点归一方法及装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810764988.7A CN109213515B (zh) 2018-07-12 2018-07-12 多平台下埋点归一方法及装置和电子设备

Publications (2)

Publication Number Publication Date
CN109213515A true CN109213515A (zh) 2019-01-15
CN109213515B CN109213515B (zh) 2021-10-29

Family

ID=64990438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810764988.7A Active CN109213515B (zh) 2018-07-12 2018-07-12 多平台下埋点归一方法及装置和电子设备

Country Status (1)

Country Link
CN (1) CN109213515B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112230917A (zh) * 2020-10-12 2021-01-15 上海赛可出行科技服务有限公司 一种基于数据和状态的移动应用埋点方法
CN113448832A (zh) * 2020-06-18 2021-09-28 北京新氧科技有限公司 一种控件曝光检测方法及应用程序运行监测系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252410A (zh) * 2013-06-27 2014-12-31 阿里巴巴集团控股有限公司 一种对页面中的控件进行测试的方法和设备
CN104391797A (zh) * 2014-12-09 2015-03-04 北京奇虎科技有限公司 Gui控件的识别方法和装置
US20150268953A1 (en) * 2014-03-18 2015-09-24 Kabushiki Kaisha Toshiba Information processing apparatus and method, and computer program product
US20150332043A1 (en) * 2014-05-15 2015-11-19 Auckland Uniservices Limited Application analysis system for electronic devices
CN106155641A (zh) * 2015-03-24 2016-11-23 北京神州泰岳软件股份有限公司 一种移动终端应用界面动态生成的方法和系统
CN106325860A (zh) * 2016-08-16 2017-01-11 北京控制工程研究所 一种航天嵌入式软件接口数据的自动化维护方法
CN106844339A (zh) * 2017-01-09 2017-06-13 南京大学 一种基于词向量的多平台控件对应方法
CN106844217A (zh) * 2017-01-26 2017-06-13 网易(杭州)网络有限公司 对应用的控件进行埋点的方法及装置、可读存储介质
CN107329898A (zh) * 2017-06-30 2017-11-07 上海摩软通讯技术有限公司 终端界面自动化测试方法及系统
CN107861655A (zh) * 2017-11-01 2018-03-30 平安科技(深圳)有限公司 控件匹配方法、装置、计算机设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252410A (zh) * 2013-06-27 2014-12-31 阿里巴巴集团控股有限公司 一种对页面中的控件进行测试的方法和设备
US20150268953A1 (en) * 2014-03-18 2015-09-24 Kabushiki Kaisha Toshiba Information processing apparatus and method, and computer program product
US20150332043A1 (en) * 2014-05-15 2015-11-19 Auckland Uniservices Limited Application analysis system for electronic devices
CN104391797A (zh) * 2014-12-09 2015-03-04 北京奇虎科技有限公司 Gui控件的识别方法和装置
CN106155641A (zh) * 2015-03-24 2016-11-23 北京神州泰岳软件股份有限公司 一种移动终端应用界面动态生成的方法和系统
CN106325860A (zh) * 2016-08-16 2017-01-11 北京控制工程研究所 一种航天嵌入式软件接口数据的自动化维护方法
CN106844339A (zh) * 2017-01-09 2017-06-13 南京大学 一种基于词向量的多平台控件对应方法
CN106844217A (zh) * 2017-01-26 2017-06-13 网易(杭州)网络有限公司 对应用的控件进行埋点的方法及装置、可读存储介质
CN107329898A (zh) * 2017-06-30 2017-11-07 上海摩软通讯技术有限公司 终端界面自动化测试方法及系统
CN107861655A (zh) * 2017-11-01 2018-03-30 平安科技(深圳)有限公司 控件匹配方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐同同等: "一种基于文档的移动平台间UI控件对应方法", 《计算机科学》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448832A (zh) * 2020-06-18 2021-09-28 北京新氧科技有限公司 一种控件曝光检测方法及应用程序运行监测系统
CN113448832B (zh) * 2020-06-18 2024-03-12 北京新氧科技有限公司 一种控件曝光检测方法及应用程序运行监测系统
CN112230917A (zh) * 2020-10-12 2021-01-15 上海赛可出行科技服务有限公司 一种基于数据和状态的移动应用埋点方法
CN112230917B (zh) * 2020-10-12 2024-04-30 上海赛可出行科技服务有限公司 一种基于数据和状态的移动应用埋点方法

Also Published As

Publication number Publication date
CN109213515B (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
Rocco et al. Efficient neighbourhood consensus networks via submanifold sparse convolutions
US10943106B2 (en) Recognizing text in image data
Zheng et al. Fusion of block and keypoints based approaches for effective copy-move image forgery detection
Mukherjee et al. A comparative experimental study of image feature detectors and descriptors
CN106575365B (zh) 对象识别特点分析系统和方法
Sirmacek et al. Urban-area and building detection using SIFT keypoints and graph theory
CN111126125A (zh) 证件中的目标文本提取方法、装置、设备及可读存储介质
CN110781911B (zh) 一种图像匹配方法、装置、设备及存储介质
WO2012073421A1 (ja) 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
CN103210401B (zh) 用以改进对象辨识中的特征产生的系统和方法
WO2015038358A1 (en) Classification of land based on analysis of remotely-sensed earth images
WO2017181892A1 (zh) 前景分割方法及装置
CN116188805B (zh) 海量图像的图像内容分析方法、装置和图像信息网络
CN112101386B (zh) 文本检测方法、装置、计算机设备和存储介质
KR102468309B1 (ko) 영상 기반 건물 검색 방법 및 장치
JP4926266B2 (ja) 学習データ作成装置、学習データ作成方法及びプログラム
KR20190081907A (ko) 멀티 심도 이미지의 자동 생성 방법
CN109213515A (zh) 多平台下埋点归一方法及装置和电子设备
CN111126457A (zh) 信息的获取方法和装置、存储介质和电子装置
Chaitra et al. An impact of radon transforms and filtering techniques for text localization in natural scene text images
CN114168768A (zh) 图像检索方法及相关设备
CN110472092B (zh) 一种街景图片的地理定位方法及系统
CN108536769B (zh) 图像分析方法、搜索方法及装置、计算机装置及存储介质
Tang et al. Salient object detection using color spatial distribution and minimum spanning tree weight
Potje et al. Towards an efficient 3D model estimation methodology for aerial and ground images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200925

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200925

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant