CN110457089A - 数据采集方法、装置、计算机可读存储介质和计算机设备 - Google Patents
数据采集方法、装置、计算机可读存储介质和计算机设备 Download PDFInfo
- Publication number
- CN110457089A CN110457089A CN201910602867.7A CN201910602867A CN110457089A CN 110457089 A CN110457089 A CN 110457089A CN 201910602867 A CN201910602867 A CN 201910602867A CN 110457089 A CN110457089 A CN 110457089A
- Authority
- CN
- China
- Prior art keywords
- information
- data
- control
- target widget
- sent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
- G06F9/4488—Object-oriented
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请涉及大数据,提供一种数据采集方法、装置、计算机可读存储介质和计算机设备,所述方法包括:接收终端发送的批量埋点添加请求,批量埋点添加请求中包括至少一个对象信息;从对象服务器获取与各个对象信息对应的控件信息,根据控件信息生成控件信息表;接收终端发送的目标控件信息,目标控件信息为终端在控件信息表中对控件信息进行选择得到;获取终端发送的与目标控件信息对应的控件埋点信息;将控件埋点信息发送至对象服务器,以使对象服务器将控件埋点信息嵌入对应的目标控件信息中,通过目标控件信息中的控件埋点信息采集与目标控件信息对应的行为数据信息;接收行为数据信息,将行为数据信息输入已训练的数据拟合模型中,得到目标数据信息;将目标数据信息发送至终端,能够便捷且统一地对埋点实现批量添加,提高进行数据采集时的便捷度。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种数据采集方法、装置、计算机可读存储介质和计算机设备。
背景技术
随着计算机技术领域的高速发展,数据科学家们常常使用数据埋点定制性地统计用户数据,数据埋点是指针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施的过程。例如想要追踪用户的行为,观察页面相关点击数据,关键路径转化率,分析某个事件活动效果时,就需要事先进行数据埋点。
目前,当需要对批量的应用程序进行数据埋点时,往往需要耗费大量的人工和时间逐一对各个应用程序进行数据埋点的设置,不能够便捷且统一地对埋点实现批量添加,降低了进行数据采集时的便捷度。
发明内容
基于此,有必要针对上述技术问题,提供一种数据采集方法、装置、计算机设备和存储介质,能够便捷且统一地对埋点实现批量添加,提高进行数据采集时的便捷度。
一种数据采集方法,所述方法包括:
接收终端发送的批量埋点添加请求,所述批量埋点添加请求中包括至少一个对象信息;
从对象服务器获取与各个所述对象信息对应的控件信息,根据所述控件信息生成控件信息表;
接收所述终端发送的目标控件信息,所述目标控件信息为所述终端在所述控件信息表中对所述控件信息进行选择得到;
获取所述终端发送的与所述目标控件信息对应的控件埋点信息;
将所述控件埋点信息发送至所述对象服务器,以使所述对象服务器将所述控件埋点信息嵌入对应的目标控件信息中,通过所述目标控件信息中的控件埋点信息采集与所述目标控件信息对应的行为数据信息;
接收所述行为数据信息,将所述行为数据信息输入已训练的数据拟合模型中,得到目标数据信息;
将所述目标数据信息发送至所述终端。
在其中一个实施例中,所述方法还包括:
获取所述终端发送的与所述目标控件信息对应的埋点嵌入方式;
将所述控件埋点信息和所述埋点嵌入方式发送至所述对象服务器,以使所述对象服务器根据所述埋点嵌入方式将所述控件埋点信息嵌入对应的目标控件信息中。
在其中一个实施例中,所述方法还包括:
将所述目标数据信息输入数据分析模型中,得到与所述目标控件信息对应的数据解析结果;
将所述数据解析结果发送至所述终端,以使所述终端根据所述数据解析结果生成与所述目标控件信息对应的控件优化信息;
接收所述终端发送的控件优化信息,将所述控件优化信息发送至所述对象服务器,以使所述对象服务器根据所述控件优化信息优化对应的控件信息。
在其中一个实施例中,所述方法还包括:
获取与所述目标控件信息对应的行为数据信息的数据采集时间,所述目标控件信息为至少一个;
将所述数据采集时间满足预设条件的行为数据信息进行数据整合,得到与各个所述目标控件信息对应的第一数据信息,所述第一数据信息为至少一个;
将各个所述第一数据信息进行数据连接,得到所述目标数据信息。
在其中一个实施例中,所述方法还包括:
获取与所述各个目标控件信息对应的数据转换算法;
根据所述数据转换算法将所述各个行为数据信息进行数据转换,得到转换数据信息;
将所述转换数据信息输入所述已训练的数据拟合模型中,得到所述目标数据信息。
一种数据采集装置,所述装置包括:
请求接收模块,用于接收终端发送的批量埋点添加请求,所述批量埋点添加请求中包括至少一个对象信息;
控件获取模块,用于从对象服务器获取与各个所述对象信息对应的控件信息,根据所述控件信息生成控件信息表;
控件选择模块,用于接收所述终端发送的目标控件信息,所述目标控件信息为所述终端在所述控件信息表中对所述控件信息进行选择得到;
埋点获取模块,用于获取所述终端发送的与所述目标控件信息对应的控件埋点信息;
数据采集模块,用于将所述控件埋点信息发送至所述对象服务器,以使所述对象服务器将所述控件埋点信息嵌入对应的目标控件信息中,通过所述目标控件信息中的控件埋点信息采集与所述目标控件信息对应的行为数据信息;
数据接收模块,用于接收所述行为数据信息,将所述行为数据信息输入已训练的数据拟合模型中,得到目标数据信息;
数据发送模块,用于将所述目标数据信息发送至所述终端。
在其中一个实施例中,所述装置还包括:
嵌入方式模块,用于获取所述终端发送的与所述目标控件信息对应的埋点嵌入方式;
埋点嵌入模块,用于将所述控件埋点信息和所述埋点嵌入方式发送至所述对象服务器,以使所述对象服务器根据所述埋点嵌入方式将所述控件埋点信息嵌入对应的目标控件信息中。
在其中一个实施例中,所述装置还包括:
结果获取模块,用于将所述目标数据信息输入数据分析模型中,得到与所述目标控件信息对应的数据解析结果;
优化信息获取模块,用于将所述数据解析结果发送至所述终端,以使所述终端根据所述数据解析结果生成与所述目标控件信息对应的控件优化信息;
控件优化模块,用于接收所述终端发送的控件优化信息,将所述控件优化信息发送至所述对象服务器,以使所述对象服务器根据所述控件优化信息优化对应的控件信息。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述方法的步骤。
上述数据采集方法、装置、计算机可读存储介质和计算机设备,服务器接收终端发送的批量埋点添加请求,批量埋点添加请求中包括至少一个对象信息,并从对象服务器获取与各个对象信息对应的控件信息,根据控件信息生成控件信息表,再接收终端发送的目标控件信息,目标控件信息为终端在控件信息表中对控件信息进行选择得到,然后获取终端发送的与目标控件信息对应的控件埋点信息,将控件埋点信息发送至对象服务器,以使对象服务器将控件埋点信息嵌入对应的目标控件信息中,并通过目标控件信息中的控件埋点信息采集与目标控件信息对应的行为数据信息,进一步将行为数据信息输入已训练的数据拟合模型中,得到目标数据信息,将目标数据信息发送至终端。通过从对象服务器中获取与各个对象信息对应的控件信息,并接收终端发送的目标控件信息,能够使得服务器统一的将数据埋点便捷地添加至各个对象服务器中的各个目标控件信息中,并通过控件埋点信息采集行为数据信息,大大提高了进行数据采集时的便利性,无需逐一在对象服务器中进行数据埋点的添加,也无需逐一获取各个对象服务器中的各个目标控件信息的行为数据信息,能够便捷且统一地实现对数据埋点的批量添加,提高进行数据采集时的便捷度。
附图说明
图1为一个实施例中数据采集方法的应用环境图;
图2为一个实施例中数据采集方法的流程示意图;
图3为又一个实施例中数据采集方法的流程示意图;
图4为再一个实施例中数据采集方法的流程示意图;
图5为一个实施例中数据采集装置的结构框图;
图6为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本发明实施例中所提供的数据采集方法可以应用于如图1所示的应用环境中,该数据采集方法应用于数据采集系统。该数据采集系统包括终端110、服务器120、对象服务器130。终端110和服务器120通过网络连接、服务器120和对象服务器130通过网络连接,终端110具体可以是台式终端或移动终端,移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。服务器120和对象服务器130可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
基于上述数据采集系统,服务器120接收终端110发送的批量埋点添加请求,批量埋点添加请求中包括至少一个对象信息,服务器120从对象服务器130获取与各个对象信息对应的控件信息,服务器120根据控件信息生成控件信息表,服务器120接收终端110发送的目标控件信息,目标控件信息为终端110在控件信息表中对控件信息进行选择得到,服务器120获取终端110发送的与目标控件信息对应的控件埋点信息,服务器120将控件埋点信息发送至对象服务器130,以使对象服务器130将控件埋点信息嵌入对应的目标控件信息中,通过目标控件信息中的控件埋点信息采集与目标控件信息对应的行为数据信息,服务器120接收行为数据信息,将行为数据信息输入已训练的数据拟合模型中,得到目标数据信息,服务器120将目标数据信息发送至终端110。
在一个实施例中,如图2所示,提供了一种数据采集方法。本实施例主要以该方法应用于上述图1中的服务器130来举例说明。参照图2,该数据采集方法具体包括如下步骤:
S202,接收终端发送的批量埋点添加请求,批量埋点添加请求中包括至少一个对象信息。
其中,批量埋点添加请求是指终端发送至服务器的用于批量添加数据埋点的请求,对象信息是指进行数据埋点添加的对象。可以理解的是,数据埋点是指针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。对象信息包括但不限于各类型的应用程序、网站及H5页面等。
S204,从对象服务器获取与各个对象信息对应的控件信息,根据控件信息生成控件信息表。
其中,控件信息是指存在于对象信息中的用于进行数据埋点的控件,控件信息表是指对象信息中的各个控件信息的表单信息,控件信息表用于终端选择需要进行数据埋点的控件信息。控件信息包括但不限于功能控件信息和展示控件信息,功能控件信息是指具有特定功能意义的控件信息,展示控件信息是指用于展示固定信息的控件信息。控件信息表可由终端预设表单生成方式进行生成,服务器根据预设表单生成方式和控件信息生成控件信息表。
在一个实施例中,当对象信息为购物类应用程序时,控件信息包括功能控件信息,其中功能控件信息可以是购物车、收藏、购买等控件信息,当对象信息为信息展示类应用程序时,控件信息包括展示控件信息,其中展示控件信息可以是图片展示框、文字展示框等控件信息。
在一个实施例中,服务器发送控件信息获取请求至对象服务器,对象服务器接收服务器发送的控件信息获取请求,并根据该控件信息获取请求调用控件获取接口,可以理解的是,控件获取接口是应用程序中用于获取各个控件信息的接口,对象服务器根据该控件获取接口获取控件信息,并将该控件信息发送至服务器,服务器接收对象服务器发送的控件信息,并根据控件信息生成控件信息表。
S206,接收终端发送的目标控件信息,目标控件信息为终端在控件信息表中对控件信息进行选择得到。
其中,目标控件信息是指终端在控件信息表中选中的需要进行数据埋点的控件信息。在一个实施例中,服务器将包括各个控件信息的控件信息表发送至对应的终端,终端根据控件信息表对需要进行数据埋点的控件信息进行选择,得到目标控件信息。由于对对象信息中的控件信息进行数据埋点时,并不需要对所有的控件信息进行数据埋点,因此根据终端的自定义需求进行控件信息的自定义数据埋点,能够大大节省数据资源,使得进行数据埋点和采集数据时的效率更高。
在一个实施例中,对象信息和对象服务器为至少一个,服务器从各个对象服务器获取与各个对象信息对应的控件信息为至少一个,服务器可根据同一对象信息的控件信息生成控件信息表,由于对象信息为至少一个,则控件信息表为至少一个。服务器也可将各个对象信息的各个控件信息生成在同一控件信息表中,该控件信息表为一个,并将控件信息表发送至对应的终端进行控件信息的选择,得到目标控件信息。
S208,获取终端发送的与目标控件信息对应的控件埋点信息。
其中,控件埋点信息是指对象服务器对目标控件信息进行数据埋点时所需使用的埋点信息。控件埋点信息具体可为代码信息,在需要统计行为数据目标控件信息中嵌入该代码信息,能够统计用户的行为数据。
具体地,不同的目标控件信息可能存在相同或不同的控件埋点信息,服务器获取终端发送的与目标控件信息对应的控件埋点信息,并将该控件埋点信息发送至对应的对象服务器,对象服务器将控件埋点信息嵌入对应的目标控件信息中,完成对各个对象信息中的各个控件信息的批量数据埋点,大大提高了进行数据埋点时的效率。
S210,将控件埋点信息发送至对象服务器,以使对象服务器将控件埋点信息嵌入对应的目标控件信息中,通过目标控件信息中的控件埋点信息采集与目标控件信息对应的行为数据信息。
其中,行为数据信息是指对象服务器通过目标控件信息中的控件埋点信息所采集到的用户行为数据信息。行为数据信息包括但不限于对目标控件信息的点击信息、浏览信息和停留时长信息等。服务器接收终端发送的与目标控件信息对应的控件埋点信息,对象服务器将控件埋点信息嵌入对应的目标控件信息中,具体地,目标控件信息包括与该目标控件信息对应的代码信息,对象服务器将控件埋点信息嵌入该目标控件信息对应的代码信息中完成数据埋点的添加,对象服务器通过目标控件信息中的控件埋点信息采集与目标控件信息对应的行为数据信息。
具体地,控件埋点信息为至少一个,对象服务器将各个控件埋点信息嵌入对应的目标控件信息中,当目标控件信息位于不同对象服务器中时,服务器将控件埋点信息发送至对应的对象服务器,以使各个对象服务器根据其目标控件信息嵌入对应的控件埋点信息。
举例说明,若目标控件信息为功能控件信息时,具体为“收藏”控件信息,服务器将与“收藏”控件信息对应的控件埋点信息发送至对象服务器,对象服务器将与“收藏”控件信息对应的控件埋点信息嵌入“收藏”控件信息中,当用户在应用程序中点击、浏览或停留于“收藏”这一控件信息时,将记录该行为数据信息,该行为数据信息包括但不限于用户的点击信息、浏览信息和停留时长信息。
S212,接收行为数据信息,将行为数据信息输入已训练的数据拟合模型中,得到目标数据信息。
S214,将目标数据信息发送至终端。
其中,数据拟合模型是预先训练好的用于将行为数据信息进行整合、连接的模型,对象服务器通过目标控件信息中的控件埋点信息获取行为数据信息,并将该行为数据信息发送至服务器,服务器接收行为数据信息并将其输入预先训练的数据拟合模型中,得到目标数据信息。可以理解的是,目标数据信息是指将各个目标控件信息对应的行为数据信息进行整合、连接之后得到的数据信息,服务器将目标数据信息发送至终端,实现对行为数据信息的采集和整理。
本实施例中,服务器接收终端发送的批量埋点添加请求,批量埋点添加请求中包括至少一个对象信息,并从对象服务器获取与各个对象信息对应的控件信息,根据控件信息生成控件信息表,再接收终端发送的目标控件信息,目标控件信息为终端在控件信息表中对控件信息进行选择得到,然后获取终端发送的与目标控件信息对应的控件埋点信息,将控件埋点信息发送至对象服务器,以使对象服务器将控件埋点信息嵌入对应的目标控件信息中,并通过目标控件信息中的控件埋点信息采集与目标控件信息对应的行为数据信息,进一步将行为数据信息输入已训练的数据拟合模型中,得到目标数据信息,将目标数据信息发送至终端。通过从对象服务器中获取与各个对象信息对应的控件信息,并接收终端发送的目标控件信息,能够使得服务器统一的将数据埋点便捷地添加至各个对象服务器中的各个目标控件信息中,并通过控件埋点信息采集行为数据信息,大大提高了进行数据采集时的便利性,无需逐一在对象服务器中进行数据埋点的添加,也无需逐一获取各个对象服务器中的各个目标控件信息的行为数据信息,能够便捷且统一地对数据埋点实现批量添加,提高进行数据采集时的便捷度。
在一个实施例中,将控件埋点信息发送至对象服务器,以使对象服务器将控件埋点信息嵌入对应的目标控件信息中包括:获取终端发送的与目标控件信息对应的埋点嵌入方式,将控件埋点信息和埋点嵌入方式发送至对象服务器,以使对象服务器根据埋点嵌入方式将控件埋点信息嵌入对应的目标控件信息中。
其中,埋点嵌入方式是指在目标控件信息中进行数据埋点时的嵌入方式,由于目标控件信息为至少一个,目标控件信息的类型为至少一种,因此不同的目标控件信息存在相同或不同的埋点嵌入方式,埋点嵌入方式为至少一种。具体地,服务器获取终端发送的与目标控件信息对应的埋点嵌入方式,并将控件埋点信息和埋点嵌入方式发送至对象服务器,对象服务器将根据埋点嵌入方式将控件埋点信息嵌入对应的目标控件信息中。
在一个实施例中,服务器向对象服务器获取各个目标控件信息对应的控件信息类型,并将该控件信息类型发送至终端,以使终端根据控件信息类型生成对应的埋点嵌入方式,并将该埋点嵌入方式发送至服务器。服务器将控件埋点信息和埋点嵌入方式发送至对象服务器,对象服务器将根据埋点嵌入方式将控件埋点信息嵌入对应的目标控件信息中。
在一个实施例中,服务器将控件埋点信息发送至对象服务器,对象服务器可根据控件埋点信息查找历史嵌入的控件埋点信息,并获取与历史嵌入的控件埋点信息对应的埋点嵌入方式,对象服务器通过该埋点嵌入方式将控件埋点信息准确地嵌入对应的目标控件信息中,无需终端提供埋点嵌入方式,通过遍历历史嵌入记录获取历史的埋点嵌入方式,十分便利地将控件埋点信息嵌入对应的目标控件信息中。
本实施例中,服务器获取终端发送的与目标控件信息对应的埋点嵌入方式,服务器将控件埋点信息和埋点嵌入方式发送至对象服务器,以使对象服务器根据埋点嵌入方式将控件埋点信息嵌入对应的目标控件信息中。大大提高了对象服务器在针对不同的目标控件信息进行数据埋点时的准确度,能够便捷且准确地在目标控件信息中嵌入数据埋点,正因在目标控件信息中嵌入数据埋点时的精确性,也进一步提高了进行数据采集时所获取的数据信息的准确性。
在一个实施例中,如图3所示,该方法还包括:
S302,将目标数据信息输入数据分析模型中,得到与目标控件信息对应的数据解析结果。
其中,数据分析模型是指预先训练的用于对目标数据信息进行数据分析的模型,数据分析是指提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。服务器将目标数据信息输入数据分析模型中,得到与各个目标控件信息对应的数据解析结果,数据解析结果是指服务器将目标数据信息输入数据分析模型中得到的具有结论及统计意义的结果。数据解析结果的呈现形式包括但不限于数据报表等。
S304,将数据解析结果发送至终端,以使终端根据数据解析结果生成与目标控件信息对应的控件优化信息。
S306,接收终端发送的控件优化信息,将控件优化信息发送至对象服务器,以使对象服务器根据控件优化信息优化对应的控件信息。
其中,控件优化信息是指与控件信息对应的优化信息,即通过数据解析结果进一步优化对象信息中的控件信息。服务器将数据解析结果发送至终端,终端根据数据解析结果生成控件优化信息,控件优化信息包括但不限于对控件信息样式更改,对控件信息对应的产品信息进行产品优化等。
举例说明,当对象信息为广告展示类应用程序时,服务器得到数据解析结果为某一时间段内在进行广告展示时用户的浏览时间过短,服务器将该数据解析结果发送至终端,终端将根据该数据解析结果生成相应的控件优化信息,该控件优化信息可以是对进行广告展示时的内容进行调整的信息,服务器将该控件优化信息发送至对象服务器,对象服务器将根据控件优化信息优化对应的广告展示内容。
本实施例中,服务器将目标数据信息输入数据分析模型中,得到与目标控件信息对应的数据解析结果,再将数据解析结果发送至终端,以使终端根据数据解析结果生成与目标控件信息对应的控件优化信息,进一步接收终端发送的控件优化信息,将控件优化信息发送至对象服务器,以使对象服务器根据控件优化信息优化对应的控件信息。通过对目标数据信息进行分析得到数据解析结果,能够进一步通过数据埋点得到的数据信息对对象信息中的目标控件信息进行进一步的优化,提高目标控件信息的数据转化率。
在一个实施例中,如图4所示,步骤S212包括:获取与目标控件信息对应的行为数据信息的数据采集时间,目标控件信息为至少一个,将数据采集时间满足预设条件的行为数据信息进行数据整合,得到与各个目标控件信息对应的第一数据信息,第一数据信息为至少一个,将各个第一数据信息进行数据连接,得到目标数据信息。
其中,数据采集时间是指对象服务器通过控件埋点信息采集行为数据信息时所对应的时间信息,第一数据信息是指数据采集时间满足预设条件时对各个目标控件信息中的行为数据信息进行数据整合后得到的数据信息。
具体地,服务器获取与目标控件信息对应的行为数据信息的数据采集时间,可以理解的是,目标控件信息为至少一个。在一个实施例中,当预设条件为时间相同时,则将数据采集时间相同的行为数据信息进行数据整合,得到第一数据信息,比如采集购物类应用程序中,获取下午一点采集且目标控件信息为“收藏”的行为数据信息,并将该行为数据信息进行数据整合,得到第一数据信息。
可以理解的是,数据整合是指将行为数据信息进行拼接处理,通过数据整合,能够将满足预设条件的各个行为数据信息连接形成第一数据信息,由于目标控件信息为至少一个,因此服务器得到的第一数据信息至少一个。服务器将多个目标控件信息对应的第一数据信息进行数据连接,得到目标数据信息,数据连接是指将零散的数据信息连接成完整的数据信息。
本实施例中,服务器获取与目标控件信息对应的行为数据信息的数据采集时间,目标控件信息为至少一个,服务器再将数据采集时间满足预设条件的行为数据信息进行数据整合,得到与各个目标控件信息对应的第一数据信息,第一数据信息为至少一个,服务器再进一步将各个第一数据信息进行数据连接,得到目标数据信息。通过将数据采集时间满足预设条件的行为数据进行整合,得到第一数据信息,并将各个目标控件信息所对应的第一数据信息进行数据连接,得到目标数据信息,能够使得发送至终端的目标数据信息更加可视化,有效帮助终端根据目标数据信息对对象信息进行进一步的优化。
在一个实施例中,如图4所示,步骤S212还包括:
S212A,获取与各个目标控件信息对应的数据转换算法。
S212B,根据数据转换算法将各个行为数据信息进行数据转换,得到转换数据信息。
其中,由于目标控件信息类型的不同,因此对象服务器通过控件信息埋点进行数据采集得到的行为数据信息的类型也有所不同,服务器获取与各个目标控件信息的数据转换算法,并将各个行为数据信息进行数据转换,可以理解的是,数据转换算法是指对行为数据信息进行统一数据转换的算法。
S212C,将转换数据信息输入已训练的数据拟合模型中,得到目标数据信息。
具体地,服务器根据数据转换算法将各个行为数据信息进行数据转换,得到转换数据信息,可以理解的是,转换数据信息是指数据表征形式相同的数据信息,服务器将转换数据信息输入已训练的数据拟合模型中,得到目标数据信息。
举例说明,当对象信息为购物类应用程序时,目标控件信息包括产品展示控件信息和“收藏”控件信息,产品展示控件信息所对应的行为数据信息为用户浏览该产品时间、浏览该产品对应的用户数量、用户触发该产品详细信息的次数等,“收藏”控件信息为点击“收藏”的用户数量,通过数据转换算法,将不同类型的行为数据信息转换为表征形式相同的数据信息,即,可以是该控件对应的转化率等数据信息,服务器将该转换数据信息输入已训练的数据拟合模型中,得到目标数据信息。
本实施例中,服务器获取与各个目标控件信息对应的数据转换算法,根据数据转换算法将各个行为数据信息进行数据转换,得到转换数据信息,并将转换数据信息输入已训练的数据拟合模型中,得到目标数据信息,能够将行为数据信息进行统一的数据转换,进一步得到准确度更高的目标数据信息。
如图5所示,为一实施例中的数据采集装置的示意图,该装置包括:
请求接收模块402,用于接收终端发送的批量埋点添加请求,批量埋点添加请求中包括至少一个对象信息;
控件获取模块404,用于从对象服务器获取与各个对象信息对应的控件信息,根据控件信息生成控件信息表;
控件选择模块406,用于接收终端发送的目标控件信息,目标控件信息为终端在控件信息表中对控件信息进行选择得到;
埋点获取模块408,用于获取终端发送的与目标控件信息对应的控件埋点信息;
数据采集模块410,用于将控件埋点信息发送至对象服务器,以使对象服务器将控件埋点信息嵌入对应的目标控件信息中,通过目标控件信息中的控件埋点信息采集与目标控件信息对应的行为数据信息;
数据接收模块412,用于接收行为数据信息,将行为数据信息输入已训练的数据拟合模型中,得到目标数据信息;
数据发送模块414,用于将目标数据信息发送至终端。
在一个实施例中,数据采集模块包括:嵌入方式模块,用于获取终端发送的与目标控件信息对应的埋点嵌入方式;埋点嵌入模块,用于将控件埋点信息和埋点嵌入方式发送至对象服务器,以使对象服务器根据埋点嵌入方式将控件埋点信息嵌入对应的目标控件信息中。
在一个实施例中,该装置还包括:结果获取模块,用于将目标数据信息输入数据分析模型中,得到与目标控件信息对应的数据解析结果;优化信息获取模块,用于将数据解析结果发送至终端,以使终端根据数据解析结果生成与目标控件信息对应的控件优化信息;控件优化模块,用于接收终端发送的控件优化信息,将控件优化信息发送至对象服务器,以使对象服务器根据控件优化信息优化对应的控件信息。
在一个实施例中,数据接收模块用于获取与目标控件信息对应的行为数据信息的数据采集时间,目标控件信息为至少一个,将数据采集时间满足预设条件的行为数据信息进行数据整合,得到与各个目标控件信息对应的第一数据信息,第一数据信息为至少一个,将各个第一数据信息进行数据连接,得到目标数据信息。
在一个实施例中,数据接收模块用于获取与各个目标控件信息对应的数据转换算法,根据数据转换算法将各个行为数据信息进行数据转换,得到转换数据信息,将转换数据信息输入已训练的数据拟合模型中,得到目标数据信息。
关于数据采集装置的具体限定可以参见上文中对于数据采集方法的限定,在此不再赘述。上述数据采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。该处理器可以为中央处理单元(CPU)、微处理器、单片机等。上述数据采集装置可以实现为一种计算机程序的形式。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,也可以是终端。当该计算机设备为服务器时,其内部结构图可以如图6所示。当该计算机设备为终端时,其内部结构包括显示屏、输入装置、摄像头、声音采集装置和扬声器等。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据采集方法。本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,处理器执行程序时实现以下步骤:接收终端发送的批量埋点添加请求,批量埋点添加请求中包括至少一个对象信息,从对象服务器获取与各个对象信息对应的控件信息,根据控件信息生成控件信息表,接收终端发送的目标控件信息,目标控件信息为终端在控件信息表中对控件信息进行选择得到,获取终端发送的与目标控件信息对应的控件埋点信息,将控件埋点信息发送至对象服务器,以使对象服务器将控件埋点信息嵌入对应的目标控件信息中,通过目标控件信息中的控件埋点信息采集与目标控件信息对应的行为数据信息,接收行为数据信息,将行为数据信息输入已训练的数据拟合模型中,得到目标数据信息,将目标数据信息发送至终端。
上述对于计算机设备的限定可以参见上文中对于数据采集方法的具体限定,在此不再赘述。
请继续参阅图6,还提供一种计算机可读存储介质,其上存储有计算机程序,如图6中所示的非易失性存储介质,其中,该程序被处理器执行时实现以下步骤:接收终端发送的批量埋点添加请求,批量埋点添加请求中包括至少一个对象信息,从对象服务器获取与各个对象信息对应的控件信息,根据控件信息生成控件信息表,接收终端发送的目标控件信息,目标控件信息为终端在控件信息表中对控件信息进行选择得到,获取终端发送的与目标控件信息对应的控件埋点信息,将控件埋点信息发送至对象服务器,以使对象服务器将控件埋点信息嵌入对应的目标控件信息中,通过目标控件信息中的控件埋点信息采集与目标控件信息对应的行为数据信息,接收行为数据信息,将行为数据信息输入已训练的数据拟合模型中,得到目标数据信息,将目标数据信息发送至终端。
上述对于计算机可读存储介质的限定可以参见上文中对于数据采集方法的具体限定,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据采集方法,所述方法包括:
接收终端发送的批量埋点添加请求,所述批量埋点添加请求中包括至少一个对象信息;
从对象服务器获取与各个所述对象信息对应的控件信息,根据所述控件信息生成控件信息表;
接收所述终端发送的目标控件信息,所述目标控件信息为所述终端在所述控件信息表中对所述控件信息进行选择得到;
获取所述终端发送的与所述目标控件信息对应的控件埋点信息;
将所述控件埋点信息发送至所述对象服务器,以使所述对象服务器将所述控件埋点信息嵌入对应的目标控件信息中,通过所述目标控件信息中的控件埋点信息采集与所述目标控件信息对应的行为数据信息;
接收所述行为数据信息,将所述行为数据信息输入已训练的数据拟合模型中,得到目标数据信息;
将所述目标数据信息发送至所述终端。
2.根据权利要求1所述的方法,其特征在于,所述将所述控件埋点信息发送至所述对象服务器,以使所述对象服务器将所述控件埋点信息嵌入对应的目标控件信息中还包括:
获取所述终端发送的与所述目标控件信息对应的埋点嵌入方式;
将所述控件埋点信息和所述埋点嵌入方式发送至所述对象服务器,以使所述对象服务器根据所述埋点嵌入方式将所述控件埋点信息嵌入对应的目标控件信息中。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述目标数据信息输入数据分析模型中,得到与所述目标控件信息对应的数据解析结果;
将所述数据解析结果发送至所述终端,以使所述终端根据所述数据解析结果生成与所述目标控件信息对应的控件优化信息;
接收所述终端发送的控件优化信息,将所述控件优化信息发送至所述对象服务器,以使所述对象服务器根据所述控件优化信息优化对应的控件信息。
4.根据权利要求1所述的方法,其特征在于,所述接收所述行为数据信息,将所述行为数据信息输入已训练的数据拟合模型中,得到目标数据信息,包括:
获取与所述目标控件信息对应的行为数据信息的数据采集时间,所述目标控件信息为至少一个;
将所述数据采集时间满足预设条件的行为数据信息进行数据整合,得到与各个所述目标控件信息对应的第一数据信息,所述第一数据信息为至少一个;
将各个所述第一数据信息进行数据连接,得到所述目标数据信息。
5.根据权利要求1至4任意一项所述的方法,其特征在于,所述接收所述行为数据信息,将所述行为数据信息输入已训练的数据拟合模型中,得到目标数据信息还包括:
获取与所述各个目标控件信息对应的数据转换算法;
根据所述数据转换算法将所述各个行为数据信息进行数据转换,得到转换数据信息;
将所述转换数据信息输入所述已训练的数据拟合模型中,得到所述目标数据信息。
6.一种数据采集装置,其特征在于,所述装置包括:
请求接收模块,用于接收终端发送的批量埋点添加请求,所述批量埋点添加请求中包括至少一个对象信息;
控件获取模块,用于从对象服务器获取与各个所述对象信息对应的控件信息,根据所述控件信息生成控件信息表;
控件选择模块,用于接收所述终端发送的目标控件信息,所述目标控件信息为所述终端在所述控件信息表中对所述控件信息进行选择得到;
埋点获取模块,用于获取所述终端发送的与所述目标控件信息对应的控件埋点信息;
数据采集模块,用于将所述控件埋点信息发送至所述对象服务器,以使所述对象服务器将所述控件埋点信息嵌入对应的目标控件信息中,通过所述目标控件信息中的控件埋点信息采集与所述目标控件信息对应的行为数据信息;
数据接收模块,用于接收所述行为数据信息,将所述行为数据信息输入已训练的数据拟合模型中,得到目标数据信息;
数据发送模块,用于将所述目标数据信息发送至所述终端。
7.根据权利要求6所述的装置,其特征在于,所述数据采集模块包括:
嵌入方式模块,用于获取所述终端发送的与所述目标控件信息对应的埋点嵌入方式;
埋点嵌入模块,用于将所述控件埋点信息和所述埋点嵌入方式发送至所述对象服务器,以使所述对象服务器根据所述埋点嵌入方式将所述控件埋点信息嵌入对应的目标控件信息中。
8.根据权利要求6所述的装置,其特征在于,所述装置包括:
结果获取模块,用于将所述目标数据信息输入数据分析模型中,得到与所述目标控件信息对应的数据解析结果;
优化信息获取模块,用于将所述数据解析结果发送至所述终端,以使所述终端根据所述数据解析结果生成与所述目标控件信息对应的控件优化信息;
控件优化模块,用于接收所述终端发送的控件优化信息,将所述控件优化信息发送至所述对象服务器,以使所述对象服务器根据所述控件优化信息优化对应的控件信息。
9.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910602867.7A CN110457089B (zh) | 2019-07-05 | 2019-07-05 | 数据采集方法、装置、计算机可读存储介质和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910602867.7A CN110457089B (zh) | 2019-07-05 | 2019-07-05 | 数据采集方法、装置、计算机可读存储介质和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110457089A true CN110457089A (zh) | 2019-11-15 |
CN110457089B CN110457089B (zh) | 2023-09-26 |
Family
ID=68482224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910602867.7A Active CN110457089B (zh) | 2019-07-05 | 2019-07-05 | 数据采集方法、装置、计算机可读存储介质和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110457089B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114510305A (zh) * | 2022-01-20 | 2022-05-17 | 北京字节跳动网络技术有限公司 | 模型训练方法、装置、存储介质及电子设备 |
CN115080150A (zh) * | 2022-07-19 | 2022-09-20 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、电子设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130086552A1 (en) * | 2011-09-30 | 2013-04-04 | Bmc Software, Inc. | Systems and methods for applying dynamic relational typing to a strongly-typed object-oriented api |
CN106933472A (zh) * | 2017-05-20 | 2017-07-07 | 南京西桥科技有限公司 | 一种基于手机app的用户行为数据采集系统及其控制方法 |
WO2017167042A1 (zh) * | 2016-04-01 | 2017-10-05 | 阿里巴巴集团控股有限公司 | 前端用户行为统计方法及装置 |
CN107818162A (zh) * | 2017-11-01 | 2018-03-20 | 平安科技(深圳)有限公司 | 埋点处理方法、装置、计算机设备和存储介质 |
WO2018228285A1 (zh) * | 2017-06-15 | 2018-12-20 | 北京国双科技有限公司 | 一种数据采集、查询方法、装置、存储介质及处理器 |
CN109766253A (zh) * | 2018-12-15 | 2019-05-17 | 平安证券股份有限公司 | 一种性能数据发送方法、装置、计算机设备及存储介质 |
CN109814863A (zh) * | 2018-12-14 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 一种请求返回数据的处理方法、装置、计算机设备及计算机存储介质 |
-
2019
- 2019-07-05 CN CN201910602867.7A patent/CN110457089B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130086552A1 (en) * | 2011-09-30 | 2013-04-04 | Bmc Software, Inc. | Systems and methods for applying dynamic relational typing to a strongly-typed object-oriented api |
WO2017167042A1 (zh) * | 2016-04-01 | 2017-10-05 | 阿里巴巴集团控股有限公司 | 前端用户行为统计方法及装置 |
CN106933472A (zh) * | 2017-05-20 | 2017-07-07 | 南京西桥科技有限公司 | 一种基于手机app的用户行为数据采集系统及其控制方法 |
WO2018228285A1 (zh) * | 2017-06-15 | 2018-12-20 | 北京国双科技有限公司 | 一种数据采集、查询方法、装置、存储介质及处理器 |
CN107818162A (zh) * | 2017-11-01 | 2018-03-20 | 平安科技(深圳)有限公司 | 埋点处理方法、装置、计算机设备和存储介质 |
CN109814863A (zh) * | 2018-12-14 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 一种请求返回数据的处理方法、装置、计算机设备及计算机存储介质 |
CN109766253A (zh) * | 2018-12-15 | 2019-05-17 | 平安证券股份有限公司 | 一种性能数据发送方法、装置、计算机设备及存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114510305A (zh) * | 2022-01-20 | 2022-05-17 | 北京字节跳动网络技术有限公司 | 模型训练方法、装置、存储介质及电子设备 |
CN114510305B (zh) * | 2022-01-20 | 2024-01-23 | 北京字节跳动网络技术有限公司 | 模型训练方法、装置、存储介质及电子设备 |
CN115080150A (zh) * | 2022-07-19 | 2022-09-20 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110457089B (zh) | 2023-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2075714B1 (en) | Apparatus and methods for retrieving/downloading content on a communication device | |
CN108471376B (zh) | 数据处理方法、装置及系统 | |
CN109152094B (zh) | 用于终端的无线网络连接方法 | |
CN110245069B (zh) | 页面版本的测试方法和装置、页面的展示方法和装置 | |
CN110457615A (zh) | 个性化页面的展示处理方法、装置、设备及可读存储介质 | |
CN109948077A (zh) | 用户行为数据采集方法、装置、设备和计算机存储介质 | |
CN108540508B (zh) | 用于推送信息的方法、装置和设备 | |
CN107396199A (zh) | 弹幕数据展示方法及装置、计算机可读存储介质 | |
CN103164505A (zh) | 基于实际使用频率对应用软件进行排名的系统及方法 | |
CN110263070A (zh) | 事件上报方法及装置 | |
CN110457089A (zh) | 数据采集方法、装置、计算机可读存储介质和计算机设备 | |
KR102248487B1 (ko) | 후기 컨텐츠 제공 방법 및 그 장치 | |
CN108600780A (zh) | 用于推送信息的方法 | |
CN108549586A (zh) | 信息处理方法和装置 | |
CN109766315A (zh) | 文件展示方法及终端、计算机存储介质、计算机设备 | |
CN110647634A (zh) | 媒体资源的查找方法、装置、存储介质及电子装置 | |
CN108021584A (zh) | 一种推送信息的方法和装置 | |
CN111415266A (zh) | 应用程序的分享方法及装置、电子设备、可读介质 | |
CN113569089B (zh) | 信息处理方法、装置、服务器、设备、系统及存储介质 | |
CN112260933B (zh) | 通信的方法、装置、电子设备及介质 | |
CN111510746A (zh) | 媒体资源投放方法、装置、存储介质及电子装置 | |
CN112016280B (zh) | 一种文件编辑方法、装置及计算机可读介质 | |
CN109614603A (zh) | 用于生成信息的方法和装置 | |
CN112698829B (zh) | 异常资源的定位方法和装置、存储介质及电子设备 | |
CN114546231A (zh) | 基于浏览器插件的图像数据收集方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |