CN107992506A - 信息处理方法及装置 - Google Patents
信息处理方法及装置 Download PDFInfo
- Publication number
- CN107992506A CN107992506A CN201610996828.6A CN201610996828A CN107992506A CN 107992506 A CN107992506 A CN 107992506A CN 201610996828 A CN201610996828 A CN 201610996828A CN 107992506 A CN107992506 A CN 107992506A
- Authority
- CN
- China
- Prior art keywords
- buried point
- event
- identifier
- main
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 32
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000000694 effects Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000009933 burial Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开是关于一种信息处理方法及装置,该方法包括:创建一埋点规则表,埋点规则表包括:各埋点上报事件标识、各埋点对应的匹配规则以及各埋点对应的查询表名称;接收并扫描待查询的汇总信息表,当扫描到汇总信息表中的任一条数据记录时,获取该数据记录的事件标识;将数据记录的事件标识与各埋点上报事件标识进行一一匹配;在判断数据记录的事件标识与各埋点上报事件标识匹配时,对数据记录的事件参数的数据格式进行拆分,并根据各埋点对应的匹配规则对拆分结果进行匹配;获取匹配结果并根据匹配结果从各埋点对应的查询表名称对应的查询表中获取对应的属性信息以得到最终的埋点信息统计结果。本公开可以提高效率。
Description
技术领域
本公开涉及互联网技术领域,具体而言,涉及一种信息处理方法以及一种信息处理装置。
背景技术
用户平时会看到关于网站和APP(Application,应用程序)的各种数据报表,从而可以便于从各种维度来了解某个网站或者APP中某个功能模块的价值或者是用户的使用习惯等,进而可以进一步的进行调整或者改进,提高用户的体验。
在现有技术中,一般都是通过埋点→上报→后台记录日志→推入数据仓库&计算→筛选匹配→前端展示等步骤,得到上述数据报表。其执行过程可以包括:当埋点就绪之后,当有用户触发埋点时,上述埋点数据的时间id和事件参数就会上报到服务器;然后服务器会将上报的原始数据存储到磁盘中并将磁盘中的数据发送到数据仓库中进行汇总计算;最终根据业务维度进行前端展示;但此时汇总计算得到的结果仍然是粗粒度的。
现有技术中,在得到粗粒度的结果之后会进行帅选匹配的过程,但是现有技术中的筛选匹配过程仍存在有待改进之处。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种信息处理方法以及一种信息处理装置,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本公开的一个方面,提供一种信息处理方法,包括:
创建一埋点规则表,所述埋点规则表包括:各埋点上报事件标识、各埋点对应的匹配规则以及各埋点对应的查询表名称;
接收并扫描待查询的汇总信息表,当扫描到所述汇总信息表中的任一条数据记录时,获取该所述数据记录的事件标识;
将所述数据记录的事件标识与所述各埋点上报事件标识进行一一匹配;
在判断所述数据记录的事件标识与所述各埋点上报事件标识匹配时,对所述数据记录的事件参数的数据格式进行拆分,并根据所述各埋点对应的匹配规则对拆分结果进行匹配;
获取匹配结果并根据匹配结果从所述各埋点对应的查询表名称对应的查询表中获取对应的属性信息以得到最终的埋点信息统计结果。
在本公开的一种示例性实施例中,所述埋点规则表还包括各埋点对应的模块名称;其中,对所述数据记录的事件参数的数据格式进行拆分之前还包括:
在判断所述数据记录的事件标识与各所述埋点上报事件标识匹配时,获取所述数据记录埋点对应的模块名称。
在本公开的一种示例性实施例中,对所述数据记录的事件参数的数据格式进行拆分,并根据所述各埋点对应的匹配规则对拆分结果进行匹配包括:
将所述数据记录的事件参数拆分为主标识和附加标识;
分别给所述主标识和附加标识配置编号;
根据所述配置编号,将所述数据记录的事件参数的数据分别配置给所述主标识和所述附加标识。
在本公开的一种示例性实施例中,所述数据记录的事件参数包括主标识以及附加标识;其中,所述根据匹配结果从所述各埋点对应的查询表名称对应的查询表中获取对应的属性信息包括:
分别根据所述主标识和所述附加标识从主查询表以及主查询字段和附加查询表以及附加查询字段表中获取所述主标识对应的属性信息和所述附加标识对应的属性信息。
在本公开的一种示例性实施例中,在创建一埋点规则前还包括创建一业务库查询表和业务库查询字段表;其中,在创建一埋点规则时还包括:
在判断埋点的主信息或附加信息为空时,从所述业务库查询表和所述业务库查询字段表中获取主查询表名;
在数据字典表中查询所述主查询表名否存在;
在判断所述主查询表名存在时,则埋点规则创建成功;
在判断所述主查询表名不存在时,则埋点规则创建失败。
根据本公开的另一个方面,提供一种信息处理装置,包括:
埋点规则表创建模块:用于创建一埋点规则表,所述埋点规则表包括:各埋点上报事件标识、各埋点对应的匹配规则以及各埋点对应的查询表名称;
事件标识获取模块:用于接收并扫描待查询的汇总信息表,当扫描到所述汇总信息表中的任一条数据记录时,获取该所述数据记录的事件标识;
事件标识匹配模块:用于将所述数据记录的事件标识与所述各埋点上报事件标识进行一一匹配;
事件参数匹配模块:用于在判断所述数据记录的事件标识与所述各埋点上报事件标识匹配时,对所述数据记录的事件参数的数据格式进行拆分,并根据所述各埋点对应的匹配规则对拆分结果进行匹配;
埋点信息统计模块:用于获取匹配结果并根据匹配结果从所述各埋点对应的查询表名称对应的查询表中获取对应的属性信息以得到最终的埋点信息统计结果。
在本公开的一种示例性实施例中,所述埋点规则表还包括各埋点对应的模块名称;其中,对所述数据记录的事件参数的数据格式进行拆分之前还包括:
在判断所述数据记录的事件标识与所述各埋点上报事件标识匹配时,获取所述数据记录埋点对应的模块名称。
在本公开的一种示例性实施例中,对所述数据记录的事件参数的数据格式进行拆分,并根据所述各埋点对应的匹配规则对拆分结果进行匹配包括:
将所述数据记录的事件参数拆分为主标识和附加标识;
分别给所述主标识和附加标识配置编号;
根据所述配置编号,将所述数据记录的事件参数的数据分别配置给所述主标识和所述附加标识。
在本公开的一种示例性实施例中,所述数据记录的事件参数包括主标识以及附加标识;其中,所述根据匹配结果从所述各埋点对应的查询表名称对应的查询表中获取对应的属性信息包括:
分别根据所述主标识和所述附加标识从主查询表以及主查询字段和附加查询表以及附加查询字段表中获取所述主标识对应的属性信息和所述附加标识对应的属性信息。
在本公开的一种示例性实施例中,在创建一埋点规则前还包括创建一业务库查询表和业务库查询字段表;其中,在创建一埋点规则时还包括:
在判断埋点的主信息或附加信息为空时,从所述业务库查询表和所述业务库查询字段表中获取主查询表名;
在数据字典表中查询所述主查询表名否存在;
在判断所述主查询表名存在时,则埋点规则创建成功;
在判断所述主查询表名不存在时,则埋点规则创建失败。
本公开一种信息处理方法及装置,首先创建埋点规则表,当扫描到汇总信息表中数据记录的事件标识与埋点规则表中的各埋点上报事件标识匹配时,对事件参数进行拆分行匹配;并根据匹配结果从各埋点对应的查询表名称对应的查询表中获取对应的属性信息以得到最终的埋点信息统计结果;一方面,由于埋点规则表中包括各埋点对应的匹配规则,当新增或者变更埋点事件标识时,不用在程序代码中新增对应的匹配逻辑,比如当新增一个埋点时,只需要新增一个埋点规则,不用修改程序代码,提高了系统的稳定性;另一方面,上述各埋点对应的匹配规则能够结合具体的业务逻辑,实现灵活取值以及存储,提升了用户体验。
本公开的另一种信息处理方法及装置,通过创建埋点规则表,当变更埋点对应的模块名称时不用修改程序,只需要修改创建埋点规则表中相应的配置即可,提高了工作效率。
本公开的另一种信息处理方法及装置,通过创建业务库查询表和业务库查询字段表,当创建一新的埋点规则时,如果埋点的主信息或附加信息为空,则直接从业务库查询表和业务库查询字段表中直接获取查询表名,并通过数据字典表查询主查询表名否存在,防止了发生SQL注入的风险,提升了整个系统的安全性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出一种信息处理方法的流程图。
图2示意性示出埋点规则表的示意图。
图3示意性示出对数据记录的事件参数的拆分匹配的方法流程图。
图4示意性示出一种信息处理装置的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在一种技术方案,通过数据仓库得到粗粒度的汇总结果后,可以采取直接匹配的方式,即按照约定好的埋点含义直接对数据进行匹配处理;例如可以包括以下步骤:
首先,预先约定好各个事件标识以及事件参数格式,上述事件标识是根据网页需要进行埋点的模块抽象得来的;其次,在埋点完成之后,在筛选匹配程序中根据不同的事件标识进行拆解从而完成不同的业务逻辑处理。其中,筛选匹配可以包括以下步骤:
参考下表A所示,首先抽取原始数据MFlashbuy_TopTab;当匹配到MFlashbuy_TopTab,按照约定设置模块名称为“导航频道”;然后获取到对应事件参数37_2,针对该模块进行逻辑拆分;拆分得到37和2,其中,37为导航id,2为埋点在网页中的位置;最后通过导航id=37查询导航表得到主信息“闪购自营”,最后汇总库存,得到最终结果如下表B所示。
表A
日期 | 事件id | 事件参数 | 点击数 | UV |
2016-7-28 | MFlashbuy_TopTab | 15_1 | 1913 | 1686 |
2016-7-28 | MFlashbuy_TopTab | 37_2 | 9763 | 7937 |
2016-7-28 | MFlashbuy_TopTab | 36_3 | 1740 | 1569 |
2016-7-28 | MFlashbuy_TopProduct | 11_2893004_2 | 29 | 28 |
表B
区域名称 | 主信息 | 点击数 | UV | 坑位序号 |
导航频道 | 闪购自营 | 9763 | 7937 | 2 |
该方案简单直观,只需要按照事先约定好的埋点含义进行特定的匹配处理操作,但是也存在以下缺点:首先,程序中很多地方需要写固定的死模块对应关系,当业务需要改变对应名称时,就需要修改代码;其次,事件标识不同,逻辑处理就不同,这将可能导致每次新增或者改变前端网页埋点时就需要修改相应的程序逻辑;由于业务逻辑的多变性,所以最终可能造成无法进行快速迭代,无法及时相应业务需求,用户体验较差。
基于上述技术方案中的缺点,本示例实施方式中首先提供了一种信息处理方法。参考图1中所示,所述信息处理方法可以包括以下步骤:
步骤S110.创建一埋点规则表,所述埋点规则表包括:各埋点上报事件标识、各埋点对应的匹配规则以及各埋点对应的查询表名称。
步骤S120.接收并扫描待查询的汇总信息表,当扫描到所述汇总信息表中的任一条数据记录时,获取该所述数据记录的事件标识。
步骤S130.将所述数据记录的事件标识与所述各埋点上报事件标识进行一一匹配。
步骤S140.在判断所述数据记录的事件标识与所述各埋点上报事件标识匹配时,对所述数据记录的事件参数的数据格式进行拆分,并根据所述各埋点对应的匹配规则对拆分结果进行匹配。
步骤S150.获取匹配结果并根据匹配结果从所述各埋点对应的查询表名称对应的查询表中获取对应的属性信息以得到最终的埋点信息统计结果。
在本示例实施方式中的信息处理方法中,一方面,由于埋点规则表中包括各埋点对应的匹配规则,当新增或者变更埋点事件标识时,不用在程序代码中新增对应的匹配逻辑,比如当新增一个埋点时,只需要新增一个埋点规则,不用修改程序代码,提高了系统的稳定性;另一方面,上述各埋点对应的匹配规则能够结合具体的业务逻辑,实现灵活取值以及存储,提升了用户体验。
下面,将对本示例实施方式中上述信息处理方法的各步骤进行详细说明。
在步骤S110中,创建一埋点规则表,所述埋点规则表包括:各埋点上报事件标识、各埋点对应的匹配规则以及各埋点对应的查询表名称。
在本示例实施方式中,以上述埋点是导航频道埋点为例,导航频道埋点例如可以为:
<areport-eventid=”MFlashbuy_TopTab”report-eventparam=”37_2”/>;
该埋点的含义是:上报事件id为“MFlashbuy_TopTab”,即闪购导航频道,上报事件参数为“37_2”,即该导航频道在数据仓库中的id为37,并排在第2个导航位置,所以记为“_2”。
当然,上述埋点也可以是TOP榜单单品埋点等其他埋点。其中,TOP榜单单品埋点例如可以是:<areport-eventid=”MFlashbuy_TopProduct”report-eventparam=”11_2893004_2”/>;
该埋点的含义是:上报事件的id为“MFlashbuy_TopProduct”,即闪购TOP榜单单品列表,上报事件参数为“11_2893004_2”,即该单品的类别id为11,单品本身的id为2893004,该单品在排行榜中排第2个位置;
创建埋点规则表例如可以包括:规定各埋点上报事件标识、规定各埋点对应的匹配规则、规定各埋点对应的查询表名称以及规定各埋点对应的模块名称等等;上述埋点规则表例如可以入图2所示。此外,在本公开的其他示例性实施例中,也可以根据实际情况创建相应的埋点规则表,本示例性实施例中对此不做特殊限定。
举例而言,上述上报事件参数可以包括“分类id_skuid_坑位顺序”,其中,分类id可以包括商品的类别标识,skuid可以包括商品标识,坑位顺序可以包括商品在列表中的具体位置。在本公开的其他示例性实施例中,上报事件参数也可以包括“活动id_活动名称”,其中,活动id可以包括活动类型。此外,在本公开的其他示例性实施例中,也可以根据实际情况对上报事件参数做其他的规定,本示例性实施例中对此不做特殊限定。
在步骤S120中,接收并扫描待查询的汇总信息表,当扫描到所述汇总信息表中的任一条数据记录时,获取该所述数据记录的事件标识。
在本示例实施方式中,上述待查询的汇总信息表包括待筛选的粗粒度的汇总信息表,例如可以如下表1所示,其中,表1中可以包括日期、事件id、事件参数、点击数以及UV(unique visitor,独立访客)等等;
表1
例如,当扫描到上述表1中的第一条数据记录时,获取该数据记录的事件标识MFlashbuy_TopTab。此外,在本公开的其他示例性实施例中,上述表1中的数据也可以包括其他内容(例如浏览量、访客地址统计等等),本示例性实施例中对此不做特殊限定。
在步骤S130中,将所述数据记录的事件标识与所述各埋点上报事件标识进行一一匹配。
在本示例实施方式中,继续参考上述表1所示,当获取到第一条数据记录的事件标识MFlashbuy_TopTab后,将该数据记录的事件标识MFlashbuy_TopTab和上述埋点规则表中的各埋点上报事件标识进行一一匹配,并判断匹配结果。
在步骤S140中,在判断所述数据记录的事件标识与所述各埋点上报事件标识匹配时,对所述数据记录的事件参数的数据格式进行拆分,并根据所述各埋点对应的匹配规则对拆分结果进行匹配。
在本示例实施方式中,继续参考上述表1以及图2所示,当上述埋点规则表中的各埋点上报事件标识中不存在上述第一条数据记录的事件标识MFlashbuy_TopTab时,直接扫描下一条数据记录并获取该数据记录的事件标识然后再进行匹配,直至匹配成功;当扫描到上述表1中的第四条数据记录时,获取到该数据记录的事件标识Mflashbuy_TopProduct,和图2所示的埋点规则表中的TOP榜单商品规则刚好匹配;则判断该数据记录的事件标识与上述各埋点上报事件标识匹配;然后需要对该数据记录的事件参数的数据格式进行拆分,并根据上述各埋点对应的匹配规则对拆分结果进行匹配,参考图3所示,具体可以包括步骤S1402、步骤S1404以及步骤S1406。其中,
在步骤S1402中,将所述数据记录的事件参数拆分为主标识和附加标识;在步骤S1404中,分别给所述主标识和附加标识配置编号;在步骤S1406中,根据所述配置编号,将所述数据记录的事件参数的数据分别配置给所述主标识和所述附加标识。举例而言:
首先,将上述数据记录的事件参数“11_2893004_2”拆分为如“(\d+)_(\d+)_(\d+)”的格式,并根据正则表达式得到例如可以包括数值“11”、数值“2893004”以及数值“2”的结果,其中,主标识例如可以包括“2893004”,附加标识例如可以包括“11”;另外,数值“2”例如可以定义为“坑位顺序”;然后给主标识配置编号2,给附加标识配置编号1,给“坑位顺序”配置编号3;接着根据上述步骤中配置的编号,主标识拿到数值“2893004”;附加标识拿到数值“11”;坑位顺序拿到数值“2”。此外,在本公开的其他示例性实施例中,也可以使用其他的方式对数据记录的事件参数进行拆分匹配,本示例性实施例中对此不做特殊限定。
在本示例的另一种实施方式中,继续参考表1,当判断到上述表1中的第四条数据记录的事件标识Mflashbuy_TopProduct和图2所示的埋点规则表中的TOP榜单商品规则刚好匹配时,获取图2所示的埋点规则表中事件标识“Mflashbuy_TopProduct”所对应的模块名称“TOP榜单单品”,然后继续“对所述数据记录的事件参数的数据格式进行拆分,并根据所述各埋点对应的匹配规则对拆分结果进行匹配”的步骤。
在步骤S150中,获取匹配结果并根据匹配结果从所述各埋点对应的查询表名称对应的查询表中获取对应的属性信息以得到最终的埋点信息统计结果。
在本示例实施方式中,当完成上述拆分匹配步骤后,分别根据所述主标识和所述附加标识从主查询表以及主查询字段和附加查询表以及附加查询字段表中获取所述主标识对应的属性信息和所述附加标识对应的属性信息,然后得到最终的埋点信息统计结果。举例而言:
主标识结合配置规则中的主查询字段sku_name以及主查询表red_sku_info,查询主查询字段sku_name以及主查询表red_sku_info对应的查询表,得到主标识名称“女子T恤舒适透气短袖”;附加标识同样结合配置规则中指定的附加查询字段以及附加字段查询表,查询商品类别表red_category_info以及商品类别名称字段为category_name得到附加信息名称“运动户外”,坑位序号直接表示商品在榜单列表中的位置,无需再进行额外处理,最后再通过粗粒度的汇总结果得到对应模块的点击数和UV,得到最终结果如下表2所示:
表2
此外,在本公开的其他示例性实施例中,也可以使用其他的方式获取对应的属性信息,本示例性实施例中对此不做特殊限定。
在步骤S130~S150的另一种示例实施方式中,当扫描到数据记录的事件标识为为“MFlashbuy_PreSaleBrand”时,继续参考图2所示,获取埋点对应模块名称为“活动预告”,由于要记录活动标识和活动名称,该数据记录的事件参数例如可以包括“活动id_活动名称”;对该数据记录的事件参数的数据格式进行拆分,活动标识可以对应(\d+),活动名称可以包括一个或多个字符,可以对应(.+);因此,该数据记录的事件参数“活动id_活动名称”可以拆分为“(\d+)_(.+)”;其中,“主id匹配表达式”可以绑定编号1,“主信息”可以绑定编号2;由于该数据记录的事件参数中,“主信息”直接绑定了匹配编号,所以主信息直接取第二个匹配值,可以直接省略查询属性信息的步骤;得到最终结果如下表3所示。
表3
区域名称 | 主信息 | 点击数 | UV | 坑位序号 |
导航频道 | 闪购自营 | 9763 | 7937 | 2 |
在本示例实施方式中,上述信息处理方法在步骤创建一埋点规则前还包括创建一业务库查询表和业务库查询字段表;其中,在创建一埋点规则时还包括:在判断埋点的主信息或附加信息为空时,从所述业务库查询表和所述业务库查询字段表中获取主查询表名;在数据字典表中查询所述主查询表名否存在;在判断所述主查询表名存在时,则埋点规则创建成功;在判断所述主查询表名不存在时,则埋点规则创建失败。详细而言:
当需要新增一埋点规则时,在埋点的“主信息”或者“附加信息”为空的情况下,可以设置一业务库查询字段和查询表,从业务库查询字段和查询表中获取埋点的“主信息”或者“附加信息”,并且只允许从业务库查询字段和查询表的下拉菜单框select中选择相关的字段和表信息,避免手动输入造成的失误;业务库查询字段和查询表例如可以如下表4所示:
表4
那么在主信息为空时,需要通过下拉菜单框select选择主查询表名,具体选项有red_sku_info和red_category_info,当选中red_sku_info时,会联动查询属于该表的主查询字段信息,即通过异步请求拿到sku_name和other_info并赋给主查询字段;当选中的查询表是red_category_info时,查询字段显示的内容可以包括:category_name;进一步的,上述下拉菜单框select中的元数据均从指定的数据字典表获取以保证合法性;
另外,当主查询表名建好以后,需要对主查询表名做进一步的校验,例如可以为:当接收到主查询表名为“xxxx”的查询表是,首先查询数据字典表中是否存在该表名信息,如果存在,则添加规则成功;如果不存在,则添加规则失败;通过设置业务库查询字段和查询表以及通过数据字典表查询数据的存在性和合法性,防止了发生SQL注入的风险性。此外,在本公开的其他示例性实施例中,也可以使用其他的方式防止发生SQL注入的风险,本示例性实施例中对此不做特殊限定。
在本示例的另一种实施方式中,上述数据字典表的维护需要提供一个增加、删除和修改的操作,并且需要设置权限,规定只有管理员有权限变更数据字典表的元数据信息,其中删除操作可以包括逻辑删除,所述逻辑删除可以包括添加删除标记;对于数据字典表的变更操作,可以将变更操作的具体内容记入操作日志中。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
本示例实施方式还提供了一种信息处理装置,参考图4中所示,所述信息处理装置可以包括:埋点规则表创建模块410、事件标识获取模块420、事件标识匹配模块430、事件参数匹配模块440以及埋点信息统计模块450。其中:
埋点规则表创建模块410可以用于创建一埋点规则表,所述埋点规则表包括:各埋点上报事件标识、各埋点对应的匹配规则以及各埋点对应的查询表名称。
事件标识获取模块420可以用于接收并扫描待查询的汇总信息表,当扫描到所述汇总信息表中的任一条数据记录时,获取该所述数据记录的事件标识。
事件标识匹配模块430可以用于将所述数据记录的事件标识与所述各埋点上报事件标识进行一一匹配。
事件参数匹配模块440可以用于在判断所述数据记录的事件标识与所述各埋点上报事件标识匹配时,对所述数据记录的事件参数的数据格式进行拆分,并根据所述各埋点对应的匹配规则对拆分结果进行匹配。
埋点信息统计模块450可以用于获取匹配结果并根据匹配结果从所述各埋点对应的查询表名称对应的查询表中获取对应的属性信息以得到最终的埋点信息统计结果。
在本示例实施方式中,所述埋点规则表还包括各埋点对应的模块名称;其中,对所述数据记录的事件参数的数据格式进行拆分之前还包括:
在判断所述数据记录的事件标识与所述各埋点上报事件标识匹配时,获取所述数据记录埋点对应的模块名称。
在本示例实施方式中,对所述数据记录的事件参数的数据格式进行拆分,并根据所述各埋点对应的匹配规则对拆分结果进行匹配包括:
将所述数据记录的事件参数拆分为主标识和附加标识;
分别给所述主标识和附加标识配置编号;
根据所述配置编号,将所述数据记录的事件参数的数据分别配置给所述主标识和所述附加标识。
在本示例实施方式中,所述数据记录的事件参数包括主标识以及附加标识;其中,所述根据匹配结果从所述各埋点对应的查询表名称对应的查询表中获取对应的属性信息包括:
分别根据所述主标识和所述附加标识从主查询表以及主查询字段和附加查询表以及附加查询字段表中获取所述主标识对应的属性信息和所述附加标识对应的属性信息。
在本示例实施方式中,在创建一埋点规则前还包括创建一业务库查询表和业务库查询字段表;其中,在创建一埋点规则时还包括:
在判断埋点的主信息或附加信息为空时,从所述业务库查询表和所述业务库查询字段表中获取主查询表名;
在数据字典表中查询所述主查询表名否存在;
在判断所述主查询表名存在时,则埋点规则创建成功;
在判断所述主查询表名不存在时,则埋点规则创建失败。
上述信息处理装置中各模块的具体细节已经在对应的信息处理方法中进行了详细想描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。
Claims (10)
1.一种信息处理方法,其特征在于,包括:
创建一埋点规则表,所述埋点规则表包括:各埋点上报事件标识、各埋点对应的匹配规则以及各埋点对应的查询表名称;
接收并扫描待查询的汇总信息表,当扫描到所述汇总信息表中的任一条数据记录时,获取该所述数据记录的事件标识;
将所述数据记录的事件标识与所述各埋点上报事件标识进行一一匹配;
在判断所述数据记录的事件标识与所述各埋点上报事件标识匹配时,对所述数据记录的事件参数的数据格式进行拆分,并根据所述各埋点对应的匹配规则对拆分结果进行匹配;
获取匹配结果并根据匹配结果从所述各埋点对应的查询表名称对应的查询表中获取对应的属性信息以得到最终的埋点信息统计结果。
2.根据权利要求1所述的信息处理方法,其特征在于,所述埋点规则表还包括各埋点对应的模块名称;其中,对所述数据记录的事件参数的数据格式进行拆分之前还包括:
在判断所述数据记录的事件标识与各所述埋点上报事件标识匹配时,获取所述数据记录埋点对应的模块名称。
3.根据利要求1所述的信息处理方法,其特征在于,对所述数据记录的事件参数的数据格式进行拆分,并根据所述各埋点对应的匹配规则对拆分结果进行匹配包括:
将所述数据记录的事件参数拆分为主标识和附加标识;
分别给所述主标识和附加标识配置编号;
根据所述配置编号,将所述数据记录的事件参数的数据分别配置给所述主标识和所述附加标识。
4.根据权利要求1所述的信息处理方法,其特征在于,所述数据记录的事件参数包括主标识以及附加标识;其中,所述根据匹配结果从所述各埋点对应的查询表名称对应的查询表中获取对应的属性信息包括:
分别根据所述主标识和所述附加标识从主查询表以及主查询字段和附加查询表以及附加查询字段表中获取所述主标识对应的属性信息和所述附加标识对应的属性信息。
5.根据利要求1所述的信息处理方法,其特征在于,在创建一埋点规则前还包括创建一业务库查询表和业务库查询字段表;其中,在创建一埋点规则时还包括:
在判断埋点的主信息或附加信息为空时,从所述业务库查询表和所述业务库查询字段表中获取主查询表名;
在数据字典表中查询所述主查询表名否存在;
在判断所述主查询表名存在时,则埋点规则创建成功;
在判断所述主查询表名不存在时,则埋点规则创建失败。
6.一种信息处理装置,其特征在于,包括:
埋点规则表创建模块:用于创建一埋点规则表,所述埋点规则表包括:各埋点上报事件标识、各埋点对应的匹配规则以及各埋点对应的查询表名称;
事件标识获取模块:用于接收并扫描待查询的汇总信息表,当扫描到所述汇总信息表中的任一条数据记录时,获取该所述数据记录的事件标识;
事件标识匹配模块:用于将所述数据记录的事件标识与所述各埋点上报事件标识进行一一匹配;
事件参数匹配模块:用于在判断所述数据记录的事件标识与所述各埋点上报事件标识匹配时,对所述数据记录的事件参数的数据格式进行拆分,并根据所述各埋点对应的匹配规则对拆分结果进行匹配;
埋点信息统计模块:用于获取匹配结果并根据匹配结果从所述各埋点对应的查询表名称对应的查询表中获取对应的属性信息以得到最终的埋点信息统计结果。
7.根据权利要求6所述的信息处理装置,其特征在于,所述埋点规则表还包括各埋点对应的模块名称;其中,对所述数据记录的事件参数的数据格式进行拆分之前还包括:
在判断所述数据记录的事件标识与所述各埋点上报事件标识匹配时,获取所述数据记录埋点对应的模块名称。
8.根据权利要求6所述的信息处理装置,其特征在于,对所述数据记录的事件参数的数据格式进行拆分,并根据所述各埋点对应的匹配规则对拆分结果进行匹配包括:
将所述数据记录的事件参数拆分为主标识和附加标识;
分别给所述主标识和附加标识配置编号;
根据所述配置编号,将所述数据记录的事件参数的数据分别配置给所述主标识和所述附加标识。
9.根据利要求6所述的信息处理装置,其特征在于,所述数据记录的事件参数包括主标识以及附加标识;其中,所述根据匹配结果从所述各埋点对应的查询表名称对应的查询表中获取对应的属性信息包括:
分别根据所述主标识和所述附加标识从主查询表以及主查询字段和附加查询表以及附加查询字段表中获取所述主标识对应的属性信息和所述附加标识对应的属性信息。
10.根据利要求6所述的信息处理装置,其特征在于,在创建一埋点规则前还包括创建一业务库查询表和业务库查询字段表;其中,在创建一埋点规则时还包括:
在判断埋点的主信息或附加信息为空时,从所述业务库查询表和所述业务库查询字段表中获取主查询表名;
在数据字典表中查询所述主查询表名否存在;
在判断所述主查询表名存在时,则埋点规则创建成功;
在判断所述主查询表名不存在时,则埋点规则创建失败。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610996828.6A CN107992506B (zh) | 2016-10-27 | 2016-10-27 | 信息处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610996828.6A CN107992506B (zh) | 2016-10-27 | 2016-10-27 | 信息处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107992506A true CN107992506A (zh) | 2018-05-04 |
CN107992506B CN107992506B (zh) | 2021-09-03 |
Family
ID=62029558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610996828.6A Active CN107992506B (zh) | 2016-10-27 | 2016-10-27 | 信息处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107992506B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109146096A (zh) * | 2018-09-07 | 2019-01-04 | 上海携程商务有限公司 | 报修事件的处理方法、装置、存储介质及电子设备 |
CN110263070A (zh) * | 2019-05-30 | 2019-09-20 | 北京创鑫旅程网络技术有限公司 | 事件上报方法及装置 |
CN110825731A (zh) * | 2019-09-18 | 2020-02-21 | 平安科技(深圳)有限公司 | 数据存储方法、装置、电子设备及存储介质 |
CN112241464A (zh) * | 2020-05-27 | 2021-01-19 | 杭州智尔科技有限公司 | 一种数据查询方法及装置 |
CN112559278A (zh) * | 2019-09-25 | 2021-03-26 | 腾讯科技(深圳)有限公司 | 操作数据的获取方法和装置 |
CN112749078A (zh) * | 2019-10-31 | 2021-05-04 | 北京沃东天骏信息技术有限公司 | 一种埋点测试方法和装置 |
CN112965877A (zh) * | 2021-03-11 | 2021-06-15 | 南京伟思医疗科技股份有限公司 | 一种基于数据库配置的Qt桌面埋点系统、方法和装置 |
CN113254315A (zh) * | 2021-06-07 | 2021-08-13 | 杭州网易云音乐科技有限公司 | 埋点信息的上报方法、埋点方法、装置、介质、电子设备 |
CN113377712A (zh) * | 2021-06-29 | 2021-09-10 | 平安普惠企业管理有限公司 | 埋点数据查询方法、装置、设备及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102298551A (zh) * | 2010-06-23 | 2011-12-28 | 中兴通讯股份有限公司 | 一种基于事件的规则可变的实时性能统计的方法及系统 |
CN103778244A (zh) * | 2014-02-11 | 2014-05-07 | 五八同城信息技术有限公司 | 一种基于用户行为日志的自动化报表分析方法 |
CN104915398A (zh) * | 2015-05-29 | 2015-09-16 | 北京京东尚科信息技术有限公司 | 一种网页埋点的方法及装置 |
WO2016066046A1 (zh) * | 2014-10-31 | 2016-05-06 | 阿里巴巴集团控股有限公司 | 一种信息获取方法及装置 |
-
2016
- 2016-10-27 CN CN201610996828.6A patent/CN107992506B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102298551A (zh) * | 2010-06-23 | 2011-12-28 | 中兴通讯股份有限公司 | 一种基于事件的规则可变的实时性能统计的方法及系统 |
CN103778244A (zh) * | 2014-02-11 | 2014-05-07 | 五八同城信息技术有限公司 | 一种基于用户行为日志的自动化报表分析方法 |
WO2016066046A1 (zh) * | 2014-10-31 | 2016-05-06 | 阿里巴巴集团控股有限公司 | 一种信息获取方法及装置 |
CN104915398A (zh) * | 2015-05-29 | 2015-09-16 | 北京京东尚科信息技术有限公司 | 一种网页埋点的方法及装置 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109146096B (zh) * | 2018-09-07 | 2020-11-17 | 上海携程商务有限公司 | 报修事件的处理方法、装置、存储介质及电子设备 |
CN109146096A (zh) * | 2018-09-07 | 2019-01-04 | 上海携程商务有限公司 | 报修事件的处理方法、装置、存储介质及电子设备 |
CN110263070A (zh) * | 2019-05-30 | 2019-09-20 | 北京创鑫旅程网络技术有限公司 | 事件上报方法及装置 |
CN110825731B (zh) * | 2019-09-18 | 2023-10-24 | 平安科技(深圳)有限公司 | 数据存储方法、装置、电子设备及存储介质 |
CN110825731A (zh) * | 2019-09-18 | 2020-02-21 | 平安科技(深圳)有限公司 | 数据存储方法、装置、电子设备及存储介质 |
CN112559278B (zh) * | 2019-09-25 | 2024-02-09 | 腾讯科技(深圳)有限公司 | 操作数据的获取方法和装置 |
CN112559278A (zh) * | 2019-09-25 | 2021-03-26 | 腾讯科技(深圳)有限公司 | 操作数据的获取方法和装置 |
CN112749078A (zh) * | 2019-10-31 | 2021-05-04 | 北京沃东天骏信息技术有限公司 | 一种埋点测试方法和装置 |
CN112749078B (zh) * | 2019-10-31 | 2024-06-18 | 北京沃东天骏信息技术有限公司 | 一种埋点测试方法和装置 |
CN112241464A (zh) * | 2020-05-27 | 2021-01-19 | 杭州智尔科技有限公司 | 一种数据查询方法及装置 |
CN112965877A (zh) * | 2021-03-11 | 2021-06-15 | 南京伟思医疗科技股份有限公司 | 一种基于数据库配置的Qt桌面埋点系统、方法和装置 |
CN113254315A (zh) * | 2021-06-07 | 2021-08-13 | 杭州网易云音乐科技有限公司 | 埋点信息的上报方法、埋点方法、装置、介质、电子设备 |
CN113254315B (zh) * | 2021-06-07 | 2021-11-05 | 杭州网易云音乐科技有限公司 | 埋点信息的上报方法、埋点方法、装置、介质、电子设备 |
CN113377712A (zh) * | 2021-06-29 | 2021-09-10 | 平安普惠企业管理有限公司 | 埋点数据查询方法、装置、设备及计算机可读存储介质 |
CN113377712B (zh) * | 2021-06-29 | 2024-02-23 | 上海通天晓信息技术有限公司 | 埋点数据查询方法、装置、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107992506B (zh) | 2021-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107992506B (zh) | 信息处理方法及装置 | |
US9524310B2 (en) | Processing of categorized product information | |
JP5721818B2 (ja) | 検索におけるモデル情報群の使用 | |
CN107015987B (zh) | 一种更新和搜索数据库的方法及设备 | |
US20240013456A1 (en) | Computerized systems and methods for graph data modeling | |
US20190332972A1 (en) | Dynamic query response with metadata | |
CN108664509B (zh) | 一种即席查询的方法、装置及服务器 | |
US11423036B2 (en) | Systems and methods for selecting datasets | |
US11392606B2 (en) | System and method for converting user data from disparate sources to bitmap data | |
US20200026802A1 (en) | Image quality independent searching of screenshots of web content | |
CN108304531B (zh) | 一种数字对象标识符引用关系的可视化方法及装置 | |
CN111126019A (zh) | 基于模式定制的报表生成方法、装置和电子设备 | |
CN110990403A (zh) | 业务数据的存储方法、系统、计算机设备及存储介质 | |
CN105550206A (zh) | 结构化查询语句的版本控制方法及装置 | |
CN112883030A (zh) | 数据收集方法、装置、计算机设备和存储介质 | |
US20240005373A1 (en) | Techniques for configurable part generation | |
CN113256340A (zh) | 执行任务的方法、装置及电子设备 | |
CN107515866B (zh) | 一种数据操作方法、装置和系统 | |
CN115840863A (zh) | 网页内容溯源方法、知识图谱构建方法以及相关设备 | |
CN111143356A (zh) | 报表检索方法及装置 | |
US20210397745A1 (en) | Data providing server device and data providing method | |
CN113094393A (zh) | 数据汇聚方法及装置、电子设备 | |
US20190286416A1 (en) | Information processing apparatus, information processing system, and non-transitory computer readable medium storing program | |
CN114417791A (zh) | 一种演示文稿的生成方法、装置及设备 | |
CN115905507A (zh) | 一种信息显示方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |