CN110515679B - 数据采集方法、装置、设备及存储介质 - Google Patents

数据采集方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110515679B
CN110515679B CN201910803086.4A CN201910803086A CN110515679B CN 110515679 B CN110515679 B CN 110515679B CN 201910803086 A CN201910803086 A CN 201910803086A CN 110515679 B CN110515679 B CN 110515679B
Authority
CN
China
Prior art keywords
control
acquisition
information
data
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910803086.4A
Other languages
English (en)
Other versions
CN110515679A (zh
Inventor
王海亮
刘硕
邓鑫鑫
沈仁奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mind Creation Information Technology Co ltd
Original Assignee
Beijing Mind Creation Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mind Creation Information Technology Co ltd filed Critical Beijing Mind Creation Information Technology Co ltd
Priority to CN201910803086.4A priority Critical patent/CN110515679B/zh
Publication of CN110515679A publication Critical patent/CN110515679A/zh
Application granted granted Critical
Publication of CN110515679B publication Critical patent/CN110515679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
    • G06F9/4488—Object-oriented
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开了一种数据采集方法、装置、设备及存储介质。所述方法包括：客户端响应于对至少一个交互控件的触发指令，获取与所述交互控件对应的控件采集信息；所述控件采集信息包括：控件标识、事件标识以及至少一项控件数据，所述控件数据包括：数据字段名，以及数据字段值；所述客户端使用采集配置文件，对所述控件采集信息，和/或所述控件采集信息中的控件数据进行过滤处理，得到有效控件采集信息；所述客户端将所述有效控件采集信息发送至服务器，以供所述服务器对所述有效控件采集信息进行处理。本发明实施例提供的技术方案，实现了无需添加代码，即可动态配置埋点，精准采集用户的特定操作。

Description

数据采集方法、装置、设备及存储介质
技术领域
本发明实施例涉及数据采集技术领域，尤其涉及一种数据采集方法、装置、设备及存储介质。
背景技术
随着互联网技术的迅速发展，埋点采集技术渐渐成为网站采集用户行为的重要手段。目前，客户端大多通过软件开发工具包(Software Development Kit，SDK)进行埋点采集，也就是在SDK中插入数据采集代码，通过数据采集代码针对性的对用户行为数据进行采集。
在实现本发明的过程中，发明人发现现有的埋点采集技术存在如下缺陷：当用户的行为较多，或者客户端实现的功能较多时，开发人员需要添加的代码会很多，花费的人力成本比较高，而且，利用埋点采集技术采集到的数据不能直接用于数据分析，需要人工进行数据筛选，数据采集的准确性比较低。
发明内容
本发明实施例提供一种数据采集方法、装置、设备及存储介质，以实现无需添加代码，即可动态配置埋点，精准采集用户的特定操作。
第一方面，本发明实施例提供了一种数据采集方法，包括：
客户端响应于对至少一个交互控件的触发指令，获取与所述交互控件对应的控件采集信息；
所述控件采集信息包括：控件标识、事件标识以及至少一项控件数据，所述控件数据包括：数据字段名，以及数据字段值；
所述客户端使用采集配置文件，对所述控件采集信息，和/或所述控件采集信息中的控件数据进行过滤处理，得到有效控件采集信息；
所述客户端将所述有效控件采集信息发送至服务器，以供所述服务器对所述有效控件采集信息进行处理。
可选的，所述客户端使用采集配置文件，对所述控件采集信息，和/或所述控件采集信息中的控件数据进行过滤处理，包括下述至少一项：
所述客户端根据所述采集配置文件中的控件及事件的对应关系，对所述控件采集信息进行过滤处理；
所述客户端根据所述采集配置文件中的采集数据字段名，对所述控件采集信息中的控件数据进行过滤处理；
所述客户端根据所述采集配置文件中的控件及事件的对应关系，以及与控件及事件的对应关系匹配的采集数据字段名，对所述控件采集信息，和/或所述控件采集信息中的控件数据进行过滤处理。
可选的，所述客户端根据所述采集配置文件中的控件及事件的对应关系，以及与控件及事件的对应关系匹配的采集数据字段名，对所述控件采集信息，和/或所述控件采集信息中的控件数据进行过滤处理，包括：
所述客户端获取与当前处理的目标控件采集信息对应的控件标识以及事件标识，生成待验证对应关系；
所述客户端如果确定所述采集配置文件中的所述控件与事件的对应关系中，不存在所述待验证对应关系，则滤除所述目标控件采集信息；
所述客户端如果确定所述采集配置文件中的所述控件与事件的对应关系中，存在所述待验证对应关系，则在所述采集配置文件中，获取与所述待验证对应关系对应的采集数据字段名；
在所述目标控件采集信息的控件数据中，滤除数据字段名与所述采集数据字段名不匹配的全部控件数据。
可选的，在客户端响应于对至少一个交互控件的触发指令，获取与所述交互控件对应的控件采集信息之前，还包括：
所述客户端响应于采集配置指令，模拟对所述客户端中各所述交互控件的触发指令；
所述客户端获取与各所述触发指令分别对应的控件采集信息发送至服务器，以使所述服务器根据所述控件采集信息生成所述采集配置文件。
可选的，在所述客户端使用采集配置文件，对所述控件采集信息，和/或所述控件采集信息中的控件数据进行过滤处理，得到有效控件采集信息之前，还包括：
所述客户端判断服务器中的采集配置文件是否被更新；
若所述客户端确定所述服务器中的采集配置文件被更新，则向所述服务器获取更新后的采集配置文件；
若所述客户端确定所述服务器中的采集配置文件未更新，或者，所述客户端对所述服务器中更新后的采集配置文件获取失败，则获取本地的采集配置文件。
可选的，在所述客户端响应于对至少一个交互控件的触发指令，获取与所述交互控件对应的控件采集信息之前，还包括：
所述客户端分别配置基于iOS平台的控件标识格式，以及基于安卓平台的控件标识格式；
其中，所述基于iOS平台的控件标识格式为：交互控件的类名与方法名的组合；所述基于安卓平台的控件标识格式为：交互控件的类名、布局文件名以及交互控件ID的组合。
可选的，客户端响应于对至少一个交互控件的触发指令，获取与所述交互控件对应的控件采集信息，包括：
所述客户端响应于对至少一个交互控件的触发指令，调用预先配置的无埋点接口函数，获取与所述交互控件对应的控件采集信息；
其中，预先针对至少两种类型的交互控件，配置至少两种类型的无埋点接口函数。
第二方面，本发明实施例还提供了一种数据采集装置，包括：
信息获取模块，用于响应于对至少一个交互控件的触发指令，获取与所述交互控件对应的控件采集信息；
所述控件采集信息包括：控件标识、事件标识以及至少一项控件数据，所述控件数据包括：数据字段名，以及数据字段值；
信息过滤模块，用于使用采集配置文件，对所述控件采集信息，和/或所述控件采集信息中的控件数据进行过滤处理，得到有效控件采集信息；
有效信息上报模块，用于将所述有效控件采集信息发送至服务器，以供所述服务器对所述有效控件采集信息进行处理。
第三方面，本发明实施例还提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的数据采集方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据采集方法。
本发明实施例通过对至少一个交互控件的触发指令进行响应，获取与交互控件对应的控件采集信息，其中，控件采集信息包括：控件标识、事件标识以及至少一项控件数据，然后使用采集配置文件，对控件采集信息，和/或控件采集信息中的控件数据进行过滤处理，得到有效控件采集信息，并将有效控件采集信息发送至服务器，以供服务器对有效控件采集信息进行处理，解决了现有技术中需要添加代码来对交互控件进行数据采集，人力成本比较高，以及数据采集的准确性比较低的问题，实现了无需添加代码，即可动态配置埋点，精准采集用户的特定操作。
附图说明
图1是本发明实施例一中的一种数据采集方法的流程图；
图2是本发明实施例二中的一种数据采集方法的流程图；
图3是本发明实施例三中的一种数据采集装置的结构示意图；
图4是本发明实施例四中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中的一种数据采集方法的流程图，本实施例可适用于对交互控件进行精准数据采集的情况，该方法可以由数据采集装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可以集成在需要进行精准数据采集的设备中，如客户端所在的设备中，如图1所示，该方法具体包括：
步骤110、客户端响应于对至少一个交互控件的触发指令，获取与交互控件对应的控件采集信息。
本实施例中，客户端可以是运行在手机、笔记本电脑、平板电脑或者计算机等设备中的应用程序，例如，用于购物的应用程序，而交互控件是客户端中的组件，例如，用于购物的应用程序中的购买按钮、收藏按钮以及地址列表等，用于实现客户端与用户之间的交互。
控件采集信息可以包括：控件标识、事件标识以及至少一项控件数据，控件数据包括：数据字段名，以及数据字段值，其中，控件标识可用于区分同一客户端中的不同交互控件，以便于客户端找到指定交互控件进行数据采集，事件标识用于区分与交互控件对应的交互事件，例如，购买事件与收藏事件的事件标识不同，控件数据是指与交互控件对应的数据，例如，购买按钮的控件数据可以包括购买商品的次数，商品的购买总人数以及购买商品的时间等，相应地，购买商品的次数被称为数据字段名，其数值被称为数据字段值。
可选的，客户端响应于对至少一个交互控件的触发指令，获取与交互控件对应的控件采集信息，可以包括：客户端响应于对至少一个交互控件的触发指令，调用预先配置的无埋点接口函数，获取与交互控件对应的控件采集信息；其中，预先针对至少两种类型的交互控件，配置至少两种类型的无埋点接口函数。
本实施例中，考虑到不同类型的交互控件获取控件数据的方式有差别，因此，客户端预先为不同类型的交互控件设置对应的数据获取方式，即为不同类型的交互控件配置对应的无埋点接口函数，以通过调用无埋点接口函数来获取对应的控件数据，提高控件数据的获取速度。当用户通过点击交互控件的方式，向客户端发出对于至少一个交互控件的触发指令时，客户端会调用预先配置的与触发的交互控件对应的无埋点接口函数，以获取与触发的交互控件对应的控件采集信息。
可选的，在客户端响应于对至少一个交互控件的触发指令，获取与交互控件对应的控件采集信息之前，还可以包括：客户端响应于采集配置指令，模拟对客户端中各交互控件的触发指令；客户端获取与各触发指令分别对应的控件采集信息发送至服务器，以使服务器根据控件采集信息生成采集配置文件。
本实施例中，在客户端对交互控件进行数据采集之前，需要先对各交互控件进行采集配置，以确定各交互控件是否需要进行信息采集，以及采集的信息有哪些。具体的，客户端可以响应于采集配置指令，在测试环境下，通过模拟点击的方式模拟生成与各交互控件对应的触发指令，并获取与各触发指令分别对应的交互控件的控件采集信息，并发送至服务器，以使服务器根据预先设置的数据筛选规则，对各交互控件的控件采集信息进行数据筛选，以进一步根据筛选后的采集信息生成采集配置文件，实现无需添加代码，即可动态配置埋点，对交互控件进行信息采集。
其中，服务器生成的采集配置文件存储于配置仓库中，该配置仓库中包括多种版本的采集配置文件，不同版本的客户端分别对应一个不同版本的采集配置文件。
步骤120、客户端使用采集配置文件，对控件采集信息，和/或控件采集信息中的控件数据进行过滤处理，得到有效控件采集信息。
在获取到与交互控件对应的控件采集信息之后，由于该控件采集信息可能并不是服务器所需要的，或者，该控件采集信息中仅有部分数据是需要采集的，因此，客户端需要先对获取的控件采集信息，和/或控件采集信息中的控件数据进行过滤处理，滤除不要进行上报的数据，达到精准采集用户的特定操作的效果。
可选的，客户端使用采集配置文件，对控件采集信息，和/或控件采集信息中的控件数据进行过滤处理，可以包括下述至少一项：客户端根据采集配置文件中的控件及事件的对应关系，对控件采集信息进行过滤处理；客户端根据采集配置文件中的采集数据字段名，对控件采集信息中的控件数据进行过滤处理；客户端根据采集配置文件中的控件及事件的对应关系，以及与控件及事件的对应关系匹配的采集数据字段名，对控件采集信息，和/或控件采集信息中的控件数据进行过滤处理。
采集配置文件包括控件及事件的对应关系，以及采集数据字段名，控件及事件的对应关系用于限定要采集哪些交互控件所对应的交互事件，采集数据字段用于限定需要获取待采集交互控件的哪些控件数据。本实施例中，客户端可以根据控件及事件的对应关系，判断是否要对当前交互控件的全部控件采集信息进行过滤，或者，客户端可以根据采集数据字段名，判断是否要对当前交互控件的控件数据进行过滤，或者，客户端可以先根据控件及事件的对应关系，判断是否需要对当前交互控件进行数据采集，若确定需要进行数据采集，则继续根据采集数据字段名，确定要过滤当前交互控件的哪些控件数据，从而仅保留有效的控件采集信息，实现对控件数据的精准采集。
步骤130、客户端将有效控件采集信息发送至服务器，以供服务器对有效控件采集信息进行处理。
客户端对控件采集信息进行过滤，得到有效的控件采集信息之后，需要将有效的控件采集信息发送给服务器去进行数据分析处理，以得到对用户行为的分析结果。
本发明实施例通过对至少一个交互控件的触发指令进行响应，获取与交互控件对应的控件采集信息，其中，控件采集信息包括：控件标识、事件标识以及至少一项控件数据，然后使用采集配置文件，对控件采集信息，和/或控件采集信息中的控件数据进行过滤处理，得到有效控件采集信息，并将有效控件采集信息发送至服务器，以供服务器对有效控件采集信息进行处理，解决了现有技术中需要添加代码来对交互控件进行数据采集，人力成本比较高，以及数据采集的准确性比较低的问题，实现了无需添加代码，即可动态配置埋点，精准采集用户的特定操作。
实施例二
图2是本发明实施例二中的一种数据采集方法的流程图，本实施例可以与上述实施例中各个可选方案结合。如图2所示，该方法包括：
步骤210、客户端确定使用的采集配置文件。
当客户端版本发布时，服务器的配置仓库中会存储一个对应的采集配置文件，同时，客户端的内部也会备份该采集配置文件。由于客户端会不断的进行更新，因此，配置仓库中与该客户端对应的采集配置文件也会相应地进行更新，使得客户端每次启动时都需要先确定要使用的采集配置文件，以使用该文件对客户端中的交互控件进行数据采集。
可选的，客户端判断服务器中的采集配置文件是否被更新；若客户端确定服务器中的采集配置文件被更新，则向服务器获取更新后的采集配置文件；若客户端确定服务器中的采集配置文件未更新，或者，客户端对服务器中更新后的采集配置文件获取失败，则获取本地的采集配置文件。
本实施例中，在对交互控件进行数据采集之前，客户端先判断服务器是否对与自身对应的采集配置文件进行更新，即确认配置仓库中与自身版本对应的采集配置文件是否与本地存储的采集配置文件一致，若一致，则认为服务器中的采集配置文件未更新，客户端可以直接获取本地存储的采集配置文件，例如，本地主项目的assets目录下存储的采集配置文件，若不一致，则认为服务器中的采集配置文件被更新，此时，客户端需要向服务器获取更新后的采集配置文件，并用更新后的采集配置文件替换本地存储的采集配置文件，若客户端对服务器中更新后的采集配置文件获取失败，则只能使用本地存储的采集配置文件来对交互控件进行数据采集。
步骤220、客户端响应于对至少一个交互控件的触发指令，获取与交互控件对应的控件采集信息。
本实施例中，控件采集信息包括：控件标识、事件标识以及至少一项控件数据，控件数据包括：数据字段名，以及数据字段值；客户端可以是运行在iOS平台的应用程序，也可以是运行在安卓平台的应用程序。下面以iOS平台的4种常用UI控件为例，说明对iOS平台的交互控件的触发监控。
1)UIControl控件，UIControl是UIView的子类，也是UIResponder的子类。UIControl是诸如UIButton、UISwitch、UITextField等控件的父类，通过endTrackingWithTouch:withEvent：方法可以监控UIControl的触摸事件。
2)UITableView控件，UITableView是iOS的主要列表控件，通过UITableViewDelegate的tableView:didSelectRowAtIndexPath:方法可以监控到UITableView的点击事件。
3)UICollectionView控件，UICollectionView的布局更加灵活，简单来说就是多列的UITableView，通过UICollectionViewDelegate的collectionView：didSelectItemAtIndexPath：方法可以监控到UICollectionView的点击事件。
4)UIView控件，iOS中UIView添加UITapGestureRecognizer手势实现点击效果，通过UITapGestureRecognizer的initWithTarget:action：方法可以监控到UIView的点击事件。
下面以安卓平台的4种类型的常用控件为例，说明对安卓平台的交互控件的触发监控。
1)列表类控件，DDListView即普通ListView，用户可以在布局中直接使用ListView标签，系统会自动将ListView的实现替换成DDListView，DDListView内部会设置Item View的OnClickListener，并将点击事件委托给onItemClickListener。DDExpandableListView是二级列表控件，用户可以在布局中直接使用ExpandableListView标签，系统会自动将ExpandableListView的实现替换成DDExpandableListView。DDExpandableListView内部会设置Item View的OnClickListener，并将点击事件委托给onGroup/ChildClickListener。
2)网格类控件，DDGridView即普通GridView，用户可以在布局中直接使用GridView标签，系统会自动将GridView的实现替换成DDGridView。DDGridView内部会设置Item View的OnClickListener，并将点击事件委托给onItemClickListener。
3)ViewPager控件，对于任何ViewPager，只要相应的PagerAdapter子类实现DDPagerAdapter，该ViewPager控件即支持自动进行数据采集。
4)RecyclerView控件，对于任何RecyclerView，只要相应的RecyclerView.Adapter子类实现DDRecyclerAdapter，该RecyclerView控件即支持自动进行数据采集。
本实施例中，事件标识的组成主要是由Viewcontroller(或TableCell)、Class和action根据一定规则拼接组成的。
可选的，在客户端响应于对至少一个交互控件的触发指令，获取与交互控件对应的控件采集信息之前，还可以包括：客户端分别配置基于iOS平台的控件标识格式，以及基于安卓平台的控件标识格式；其中，基于iOS平台的控件标识格式为：交互控件的类名与方法名的组合；基于安卓平台的控件标识格式为：交互控件的类名、布局文件名以及交互控件ID的组合。
示例性的，若当前交互控件的类名为A，方法名为B，布局文件名为C，交互控件ID为E，则在iOS平台该控件的控件标识为AB，在安卓平台该控件的控件标识为ACE。本实施例通过对不同的平台分别设置不同的控件标识格式，并且根据控件的类名和方法名等对控件标识进行定义，增加了控件标识的可读性，使得控件标识易懂和易于维护。
步骤230、客户端根据采集配置文件中的控件及事件的对应关系，以及与控件及事件的对应关系匹配的采集数据字段名，对控件采集信息，和/或控件采集信息中的控件数据进行过滤处理。
可选的，在获取到与交互控件对应的控件采集信息之后，客户端获取与当前处理的目标控件采集信息对应的控件标识以及事件标识，生成待验证对应关系；客户端如果确定采集配置文件中的控件与事件的对应关系中，不存在待验证对应关系，则滤除目标控件采集信息；客户端如果确定采集配置文件中的控件与事件的对应关系中，存在待验证对应关系，则在采集配置文件中，获取与待验证对应关系对应的采集数据字段名；在目标控件采集信息的控件数据中，滤除数据字段名与采集数据字段名不匹配的全部控件数据。
示例性的，客户端从与目标控件Z对应的目标控件采集信息中，获取控件标识F以及事件标识G，生成待验证对应关系F-G，例如，对应关系F-G可以表示购买按钮2-购买事件；然后客户端通过将F-G与控件与事件的对应关系进行比对，例如，控件与事件的对应关系包括：F-G(购买按钮2-购买事件)、H-G(购买按钮5-购买事件)、M-G(购买按钮6-购买事件)，确定控件与事件的对应关系中存在对应关系F-G，因此，确认对目标控件Z进行数据采集；从采集配置文件中，获取与F-G对应的采集数据字段名，例如，购买商品的次数，商品的购买总人数以及购买商品的时间等，并从目标控件采集信息的控件数据中，滤除数据字段名与采集数据字段名不匹配的全部控件数据。
步骤240、客户端将过滤处理得到的有效控件采集信息发送至服务器，以供服务器对有效控件采集信息进行处理。
本发明实施例通过对至少一个交互控件的触发指令进行响应，获取与交互控件对应的控件采集信息，其中，控件采集信息包括：控件标识、事件标识以及至少一项控件数据，然后使用采集配置文件，对控件采集信息，和/或控件采集信息中的控件数据进行过滤处理，得到有效控件采集信息，并将有效控件采集信息发送至服务器，以供服务器对有效控件采集信息进行处理，解决了现有技术中需要添加代码来对交互控件进行数据采集，人力成本比较高，以及数据采集的准确性比较低的问题，实现了无需添加代码，即可动态配置埋点，精准采集用户的特定操作。
实施例三
图3是本发明实施例三中的一种数据采集装置的结构示意图，如图3所示，该数据采集装置包括：信息获取模块310，信息过滤模块320以及有效信息上报模块330；
信息获取模块310，用于响应于对至少一个交互控件的触发指令，获取与所述交互控件对应的控件采集信息；
所述控件采集信息包括：控件标识、事件标识以及至少一项控件数据，所述控件数据包括：数据字段名，以及数据字段值；
信息过滤模块320，用于使用采集配置文件，对所述控件采集信息，和/或所述控件采集信息中的控件数据进行过滤处理，得到有效控件采集信息；
有效信息上报模块330，用于将所述有效控件采集信息发送至服务器，以供所述服务器对所述有效控件采集信息进行处理。
本发明实施例通过对至少一个交互控件的触发指令进行响应，获取与交互控件对应的控件采集信息，其中，控件采集信息包括：控件标识、事件标识以及至少一项控件数据，然后使用采集配置文件，对控件采集信息，和/或控件采集信息中的控件数据进行过滤处理，得到有效控件采集信息，并将有效控件采集信息发送至服务器，以供服务器对有效控件采集信息进行处理，解决了现有技术中需要添加代码来对交互控件进行数据采集，人力成本比较高，以及数据采集的准确性比较低的问题，实现了无需添加代码，即可动态配置埋点，精准采集用户的特定操作。
进一步的，信息过滤模块320，包括：
第一过滤单元，用于根据所述采集配置文件中的控件及事件的对应关系，对所述控件采集信息进行过滤处理；
第二过滤单元，用于根据所述采集配置文件中的采集数据字段名，对所述控件采集信息中的控件数据进行过滤处理；
第三过滤单元，用于根据所述采集配置文件中的控件及事件的对应关系，以及与控件及事件的对应关系匹配的采集数据字段名，对所述控件采集信息，和/或所述控件采集信息中的控件数据进行过滤处理。
进一步的，第三过滤单元，具体用于获取与当前处理的目标控件采集信息对应的控件标识以及事件标识，生成待验证对应关系；
如果确定所述采集配置文件中的所述控件与事件的对应关系中，不存在所述待验证对应关系，则滤除所述目标控件采集信息；
如果确定所述采集配置文件中的所述控件与事件的对应关系中，存在所述待验证对应关系，则在所述采集配置文件中，获取与所述待验证对应关系对应的采集数据字段名；
在所述目标控件采集信息的控件数据中，滤除数据字段名与所述采集数据字段名不匹配的全部控件数据。
进一步的，所述装置还包括：配置模块，用于在响应于对至少一个交互控件的触发指令，获取与所述交互控件对应的控件采集信息之前，响应于采集配置指令，模拟对所述客户端中各所述交互控件的触发指令；
获取与各所述触发指令分别对应的控件采集信息发送至服务器，以使所述服务器根据所述控件采集信息生成所述采集配置文件。
进一步的，信息过滤模块320，还包括：配置文件更新单元，用于在使用采集配置文件，对所述控件采集信息，和/或所述控件采集信息中的控件数据进行过滤处理，得到有效控件采集信息之前，判断服务器中的采集配置文件是否被更新；
若确定所述服务器中的采集配置文件被更新，则向所述服务器获取更新后的采集配置文件；
若确定所述服务器中的采集配置文件未更新，或者，所述客户端对所述服务器中更新后的采集配置文件获取失败，则获取本地的采集配置文件。
进一步的，信息获取模块310，还包括：控件标识格式配置单元，用于在响应于对至少一个交互控件的触发指令，获取与所述交互控件对应的控件采集信息之前，分别配置基于iOS平台的控件标识格式，以及基于安卓平台的控件标识格式；
其中，所述基于iOS平台的控件标识格式为：交互控件的类名与方法名的组合；所述基于安卓平台的控件标识格式为：交互控件的类名、布局文件名以及交互控件ID的组合。
进一步的，信息获取模块310，具体用于：响应于对至少一个交互控件的触发指令，调用预先配置的无埋点接口函数，获取与所述交互控件对应的控件采集信息；
其中，预先针对至少两种类型的交互控件，配置至少两种类型的无埋点接口函数。
本发明实施例所提供的数据采集装置可执行本发明任意实施例所提供的数据采集方法，具备执行方法相应的功能模块和有益效果。
实施例四
参照图4，图4是本发明实施例四中的一种设备的结构示意图，如图4所示，该设备包括处理器410、存储装置420、输入装置430和输出装置440；设备中处理器410的数量可以是一个或多个，图4中以一个处理器410为例；设备中的处理器410、存储装置420、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储装置420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据采集方法对应的程序指令/模块(例如，数据采集装置中的信息获取模块310、信息过滤模块320以及有效信息上报模块330)。处理器410通过运行存储在存储装置420中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的数据采集方法。
存储装置420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置420可进一步包括相对于处理器410远程设置的存储装置，这些远程存储装置可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入，例如，对至少一个交互控件的触发指令和采集配置指令等。输出装置440可包括输出接口，用于有效控件采集信息的输出。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现一种数据采集方法，一种数据采集方法，包括：
客户端响应于对至少一个交互控件的触发指令，获取与所述交互控件对应的控件采集信息；
所述控件采集信息包括：控件标识、事件标识以及至少一项控件数据，所述控件数据包括：数据字段名，以及数据字段值；
所述客户端使用采集配置文件，对所述控件采集信息，和/或所述控件采集信息中的控件数据进行过滤处理，得到有效控件采集信息；
所述客户端将所述有效控件采集信息发送至服务器，以供所述服务器对所述有效控件采集信息进行处理。
当然，本发明实施例所提供的一种计算机可读存储介质，其计算机指令可执行不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据采集方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明实施例可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述数据采集装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种数据采集方法，其特征在于，包括：
客户端响应于对至少一个交互控件的触发指令，获取与所述交互控件对应的控件采集信息；
所述控件采集信息包括：控件标识、事件标识以及至少一项控件数据，所述控件数据包括：数据字段名，以及数据字段值；
所述客户端使用采集配置文件，对所述控件采集信息，和/或所述控件采集信息中的控件数据进行过滤处理，得到有效控件采集信息；
所述客户端将所述有效控件采集信息发送至服务器，以供所述服务器对所述有效控件采集信息进行处理；
所述客户端使用采集配置文件，对所述控件采集信息，和/或所述控件采集信息中的控件数据进行过滤处理，包括：
所述客户端获取与当前处理的目标控件采集信息对应的控件标识以及事件标识，生成待验证对应关系；
所述客户端如果确定所述采集配置文件中的所述控件与事件的对应关系中，不存在所述待验证对应关系，则滤除所述目标控件采集信息；
所述客户端如果确定所述采集配置文件中的所述控件与事件的对应关系中，存在所述待验证对应关系，则在所述采集配置文件中，获取与所述待验证对应关系对应的采集数据字段名；
在所述目标控件采集信息的控件数据中，滤除数据字段名与所述采集数据字段名不匹配的全部控件数据。
2.根据权利要求1所述的方法，其特征在于，所述客户端使用采集配置文件，对所述控件采集信息，和/或所述控件采集信息中的控件数据进行过滤处理，还包括下述至少一项：
所述客户端根据所述采集配置文件中的控件及事件的对应关系，对所述控件采集信息进行过滤处理；
所述客户端根据所述采集配置文件中的采集数据字段名，对所述控件采集信息中的控件数据进行过滤处理。
3.根据权利要求1-2任一项所述的方法，其特征在于，在客户端响应于对至少一个交互控件的触发指令，获取与所述交互控件对应的控件采集信息之前，还包括：
所述客户端响应于采集配置指令，模拟对所述客户端中各所述交互控件的触发指令；
所述客户端获取与各所述触发指令分别对应的控件采集信息发送至服务器，以使所述服务器根据所述控件采集信息生成所述采集配置文件。
4.根据权利要求3所述的方法，其特征在于，在所述客户端使用采集配置文件，对所述控件采集信息，和/或所述控件采集信息中的控件数据进行过滤处理，得到有效控件采集信息之前，还包括：
所述客户端判断服务器中的采集配置文件是否被更新；
若所述客户端确定所述服务器中的采集配置文件被更新，则向所述服务器获取更新后的采集配置文件；
若所述客户端确定所述服务器中的采集配置文件未更新，或者，所述客户端对所述服务器中更新后的采集配置文件获取失败，则获取本地的采集配置文件。
5.根据权利要求1-2任一项所述的方法，其特征在于，在所述客户端响应于对至少一个交互控件的触发指令，获取与所述交互控件对应的控件采集信息之前，还包括：
所述客户端分别配置基于iOS平台的控件标识格式，以及基于安卓平台的控件标识格式；
其中，所述基于iOS平台的控件标识格式为：交互控件的类名与方法名的组合；所述基于安卓平台的控件标识格式为：交互控件的类名、布局文件名以及交互控件ID的组合。
6.根据权利要求1-2任一项所述的方法，其特征在于，客户端响应于对至少一个交互控件的触发指令，获取与所述交互控件对应的控件采集信息，包括：
所述客户端响应于对至少一个交互控件的触发指令，调用预先配置的无埋点接口函数，获取与所述交互控件对应的控件采集信息；
其中，预先针对至少两种类型的交互控件，配置至少两种类型的无埋点接口函数。
7.一种数据采集装置，其特征在于，包括：
信息获取模块，用于响应于对至少一个交互控件的触发指令，获取与所述交互控件对应的控件采集信息；
所述控件采集信息包括：控件标识、事件标识以及至少一项控件数据，所述控件数据包括：数据字段名，以及数据字段值；
信息过滤模块，用于使用采集配置文件，对所述控件采集信息，和/或所述控件采集信息中的控件数据进行过滤处理，得到有效控件采集信息；
有效信息上报模块，用于将所述有效控件采集信息发送至服务器，以供所述服务器对所述有效控件采集信息进行处理；
所述信息过滤模块，包括：第三过滤单元，用于获取与当前处理的目标控件采集信息对应的控件标识以及事件标识，生成待验证对应关系；
如果确定所述采集配置文件中的所述控件与事件的对应关系中，不存在所述待验证对应关系，则滤除所述目标控件采集信息；
如果确定所述采集配置文件中的所述控件与事件的对应关系中，存在所述待验证对应关系，则在所述采集配置文件中，获取与所述待验证对应关系对应的采集数据字段名；
在所述目标控件采集信息的控件数据中，滤除数据字段名与所述采集数据字段名不匹配的全部控件数据。
8.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的数据采集方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的数据采集方法。
CN201910803086.4A 2019-08-28 2019-08-28 数据采集方法、装置、设备及存储介质 Active CN110515679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910803086.4A CN110515679B (zh) 2019-08-28 2019-08-28 数据采集方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910803086.4A CN110515679B (zh) 2019-08-28 2019-08-28 数据采集方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110515679A CN110515679A (zh) 2019-11-29
CN110515679B true CN110515679B (zh) 2023-09-19

Family

ID=68627585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910803086.4A Active CN110515679B (zh) 2019-08-28 2019-08-28 数据采集方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110515679B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680200A (zh) * 2020-04-27 2020-09-18 平安国际智慧城市科技股份有限公司 用户行为数据的采集方法、装置、设备及存储介质
CN112463862B (zh) * 2020-11-05 2024-05-17 深圳市和讯华谷信息技术有限公司 一种基于配置权限的数据采集方法及装置
CN113099275A (zh) * 2021-03-16 2021-07-09 互影科技（北京）有限公司 互动视频的用户行为统计方法、装置及设备
CN115001967B (zh) * 2022-05-30 2023-08-29 平安科技（深圳）有限公司 一种数据采集方法、装置、电子设备及存储介质
CN116185782B (zh) * 2023-04-23 2023-07-18 智者四海（北京）技术有限公司 社交软件的业务监控方法与装置
CN117130318B (zh) * 2023-10-23 2024-01-26 中国恩菲工程技术有限公司 工业数据采集方法、装置、系统和可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107864065A (zh) * 2017-08-16 2018-03-30 上海壹账通金融科技有限公司 无埋点数据采集方法、系统及计算机可读存储介质
WO2018103532A1 (zh) * 2016-12-05 2018-06-14 北京国双科技有限公司 一种无埋点部署监测方法及相关装置
CN109150641A (zh) * 2017-06-15 2019-01-04 北京国双科技有限公司 一种数据采集、查询方法、装置、存储介质及处理器
CN109508186A (zh) * 2018-09-18 2019-03-22 众安信息技术服务有限公司 一种基于iOS可视化埋点的数据采集分析方法及系统
CN109561117A (zh) * 2017-09-26 2019-04-02 北京国双科技有限公司 数据采集方法及装置
CN109739717A (zh) * 2018-04-12 2019-05-10 京东方科技集团股份有限公司 一种页面数据采集的方法及装置、服务器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018103532A1 (zh) * 2016-12-05 2018-06-14 北京国双科技有限公司 一种无埋点部署监测方法及相关装置
CN109150641A (zh) * 2017-06-15 2019-01-04 北京国双科技有限公司 一种数据采集、查询方法、装置、存储介质及处理器
CN107864065A (zh) * 2017-08-16 2018-03-30 上海壹账通金融科技有限公司 无埋点数据采集方法、系统及计算机可读存储介质
CN109561117A (zh) * 2017-09-26 2019-04-02 北京国双科技有限公司 数据采集方法及装置
CN109739717A (zh) * 2018-04-12 2019-05-10 京东方科技集团股份有限公司 一种页面数据采集的方法及装置、服务器
CN109508186A (zh) * 2018-09-18 2019-03-22 众安信息技术服务有限公司 一种基于iOS可视化埋点的数据采集分析方法及系统

Also Published As

Publication number Publication date
CN110515679A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN110515679B (zh) 数据采集方法、装置、设备及存储介质
CN109739717B (zh) 一种页面数据采集的方法及装置、服务器
CN107402880B (zh) 一种测试方法及电子设备
CN108293081B (zh) 通过用户界面事件的程序重放深度链接到移动应用状态
CN106445292B (zh) 应用程序的分身管理方法及系统
CN107145782B (zh) 一种异常应用程序的识别方法、移动终端及服务器
CN111475161B (zh) 一种访问组件的方法、装置及设备
JP6780655B2 (ja) ログ分析システム、方法およびプログラム
CN111708557B (zh) 更新配置文件的方法、设备及存储介质
CN112148606B (zh) 埋点测试方法、装置、设备及计算机可读介质
US20170024269A1 (en) Associating error events with inputs to applications
CN111930565A (zh) 分布式管理系统中组件的进程故障自愈方法、装置及设备
CN112214405A (zh) 一种软件测试方法、装置、电子设备和可读存储介质
CN115185822A (zh) 软件测试方法和装置、存储介质及电子装置
CN111813282A (zh) 一种数据表单的展示方法和装置
CN111708712A (zh) 用户行为测试用例的生成方法、流量回放方法及电子设备
CN111581518A (zh) 信息推送方法和装置
CN111309622A (zh) 应用程序测试方法、装置、终端设备以及存储介质
CN114185795A (zh) 埋点配置方法、装置、电子设备及存储介质
CN110688173A (zh) 一种跨平台界面框架中组件的定位方法、装置及电子设备
CN107203471B (zh) 联调方法、服务平台及计算机存储介质
CN113468212A (zh) 事件执行的方法、装置及电子设备
CN108170605A (zh) Bug信息的提交方法、客户端与计算机可读存储介质
CN111160738A (zh) 事件处理方法、装置、存储介质及电子装置
CN106708558B (zh) 关闭应用程序的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant