CN111209506B - 一种数据分析系统和方法 - Google Patents

一种数据分析系统和方法 Download PDF

Info

Publication number
CN111209506B
CN111209506B CN201911346308.0A CN201911346308A CN111209506B CN 111209506 B CN111209506 B CN 111209506B CN 201911346308 A CN201911346308 A CN 201911346308A CN 111209506 B CN111209506 B CN 111209506B
Authority
CN
China
Prior art keywords
data
data acquisition
party
page
party page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911346308.0A
Other languages
English (en)
Other versions
CN111209506A (zh
Inventor
许圣童
张琪琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chezhi Interconnection Beijing Technology Co ltd
Original Assignee
Chezhi Interconnection Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chezhi Interconnection Beijing Technology Co ltd filed Critical Chezhi Interconnection Beijing Technology Co ltd
Priority to CN201911346308.0A priority Critical patent/CN111209506B/zh
Publication of CN111209506A publication Critical patent/CN111209506A/zh
Application granted granted Critical
Publication of CN111209506B publication Critical patent/CN111209506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/31Programming languages or programming paradigms
    • G06F8/315Object-oriented languages

Abstract

本发明公开了一种数据分析系统,包括:数据处理服务器,适于接收要进行数据分析的第三方页面标识;多个移动终端,每个移动终端中驻留有移动应用,其中移动应用适于在执行时请求访问第三方页面;数据采集服务器,适于将数据采集脚本发送到移动终端,以便移动终端中的移动应用在呈现第三方页面时执行数据采集脚本,将所采集的数据发送到数据采集服务器;其中数据处理服务器对数据采集服务器上的、来自多个移动终端并与第三方页面相关联的数据进行分析,以提供第三方页面的数据分析结果。本发明还一并公开了一种数据分析方法,一种计算设备和计算机可读存储介质。

Description

一种数据分析系统和方法
技术领域
本发明涉及互联网领域,特别涉及一种数据分析系统和方法。
背景技术
随着互联网的应用越发广泛,互联网上获取信息的渠道也越多。通过移动设备上的移动应用除了对本应用的服务商提供的页面和链接进行访问以外,还会出现对应用中,第三方服务提供商嵌入的页面链接进行访问。通过嵌入的第三方页面连接进行访问时,本应用的服务提供商需要了解用户在第三方页面连接的访问情况和对用户提交的表单等信息进行统计,以便对本应用进行改进和对第三方页面链接进行配置等操作。
但本应用提供商对第三方页面用户数据进行数据统计时,无法像对己方的页面一样,直接调取后台的数据进行统计和分析,无法得知用户在第三方页面,包括访问数量和页面转化效率等访问情况,从而对第三方页面及移动应用进行改进。
现有的解决方法是通过定期与第三方页面的服务提供商进行线下定期的交流,或在访问第三方页面时跳转访问一个空白图片请求,配合数据平台计算用户访问数量,但存在与第三方进行沟通的成本较高,对其页面侵入较多,无法对数据进行有效采集和分析。
为此,需要一种新的数据分析的方法。
发明内容
为此,本发明提供一种数据分析系统和方法,以力图解决或者至少缓解上面存在的问题。
根据本发明的一个方面,提供了一种数据分析系统,包括:数据处理服务器,适于接收要进行数据分析的第三方页面标识;多个移动终端,每个移动终端中驻留有移动应用,其中移动应用适于在执行时请求访问第三方页面;以及数据采集服务器,适于将数据采集脚本发送到移动终端,以便移动终端中的移动应用在呈现第三方页面时执行数据采集脚本,将所采集的数据发送到数据采集服务器;其中数据处理服务器对数据采集服务器上的、来自多个移动终端并与第三方页面相关联的数据进行分析,以提供第三方页面的数据分析结果。
可选地,在根据本发明的一种数据分析系统中,移动应用在执行请求访问第三方页面时,使用webview访问第三方页面。
可选地,在根据本发明的一种数据分析系统中,移动应用在执行请求访问第三方页面时,向数据采集服务器发送请求,请求包括判定是否在第三方页面中注入数据采集脚本;数据采集服务器判定是否在第三方页面中注入数据采集脚本。
可选地,在根据本发明的一种数据分析系统中,数据采集服务器判定在第三方页面注入数据采集脚本时,将数据采集脚本发送至移动终端;移动终端接收数据采集脚本,并向第三方页面注入数据采集脚本。
可选地,在根据本发明的一种数据分析系统中,移动终端向第三方页面注入数据采集脚本时,根据移动终端操作系统的不同,选择不同的方法注入数据采集脚本。
可选地,在根据本发明的一种数据分析系统中,数据采集脚本适用于在移动应用呈现第三方页面时,侦听用户在第三方页面的操作,捕获并采集操作产生的数据;操作包括访问第三方页面中的链接,填写并提交第三方页面中的表单。
可选地,在根据本发明的一种数据分析系统中,数据采集脚本执行时执行以下步骤:生成cookie文件保存标识每个访问的用户ID;获取每个用户请求的页面连接和对应的数据。
可选地,在根据本发明的一种数据分析系统中,移动终端在数据采集脚本采集完毕数据后,将采集的数据发送到数据采集服务器;数据采集服务器接收并保存移动终端发送的数据。
可选地,在根据本发明的一种数据分析系统中,数据处理服务器包括数据接口,数据接口接收数据采集脚本采集的数据,数据包括用户访问的第三方页面,在第三方页面提交的信息。
可选地,在根据本发明的一种数据分析系统中,数据处理服务器对数据采集服务器上保存的数据进行分析时,执行以下步骤:接收要进行数据分析的第三方页面标识并配置第三方页面,将用户访问的第三方页面按照不同的第三方进行分类;将在第三方页面提交的信息按照不同的第三方进行分类。
可选地,在根据本发明的一种数据分析系统中,数据处理服务器执行的步骤还包括对分类后的第三方页面和对应的提交的信息进行统计,得到每个第三方页面的用户访问数量。
可选地,在根据本发明的一种数据分析系统中,数据处理服务器执行的步骤还包括根据每个第三方页面访问数量绘制漏斗模型。
根据本发明的一个方面,提供了一种数据分析方法,适用于在一种数据分析系统中运行,数据分析系统包括数据处理服务器,数据采集服务器和多个移动终端,数据采集服务器与数据处理服务器和多个移动终端通信连接,方法包括:数据处理服务器接收要进行数据分析的第三方页面标识;移动终端执行驻留移动终端中的移动应用,移动应用请求访问第三方页面;数据采集服务器将数据采集脚本发送到移动终端;移动应用在呈现第三方页面时执行数据采集脚本,并将所采集的数据发送到数据采集服务器;以及数据处理服务器对数据采集服务器上的、来自多个移动终端并与第三方页面相关联的数据进行分析,以提供第三方页面的数据分析结果。
可选地,在根据本发明的一种数据分析方法中,移动终端向第三方页面注入数据采集脚本时,根据移动终端操作系统的不同,选择不同的方法注入数据采集脚本。
可选地,在根据本发明的一种数据分析方法中,数据执行的步骤包括:生成cookie文件保存标识每个访问的用户ID;获取每个用户请求的页面连接和对应的数据。
可选地,在根据本发明的一种数据分析方法中,数据采集脚本采集完毕数据后,将采集的数据发送到数据采集服务器;数据采集服务器接收并保存移动终端发送的数据。
可选地,在根据本发明的一种数据分析方法中,数据处理服务器对数据采集服务器上保存的数据进行分析包括:接收数据采集脚本采集的数据,数据包括用户访问的第三方页面,在第三方页面提交的信息;接收要进行数据分析的第三方页面标识并配置第三方页面,将用户访问的第三方页面按照不的第三方进行分类;将在第三方页面提交的信息按照不同的第三方进行分类。
可选地,在根据本发明的一种数据分析方法中,还包括:对分类后的第三方页面和对应的提交的信息进行统计,得到每个第三方页面的用户访问数量。
可选地,在根据本发明的一种数据分析方法中,还包括:根据每个第三方页面访问数量绘制漏斗模型。
根据本发明的另一方面,提供了一种计算设备,包括:一个或多个处理器;存储器;以及一个或多个程序,其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序包括用于执行根据本发明的一种数据分析方法的任一方法的指令。
根据本发明的还有一个方面,提供了一种存储一个或多个程序的计算机可读存储介质,一个或多个程序包括指令,该指令当由计算设备执行时,使得计算设备执行根据本发明的一种数据分析方法中的任一方法。
根据本发明的方案,提供了一种数据分析的系统和方法,通过在移动设备中的移动应用访问第三方页面时,数据采集服务器发送并在移动设备上注入数据采集脚本以采集数据,由数据分析服务器对数据进行分析,提供第三方页面的数据分析结果。本发明的方案整体能够在线上实现,减少线下人员进行沟通采集数据的成本,也更加真实可靠;同时通过在应用访问第三方页面时注入数据采集脚本,避免了现有线上解决的技术对第三方页面的过多侵入,对第三方页面服务提供商较为友好,减免协调过程,提高数据采集和分析的效率。
另外,客户端上的应用和数据采集服务器彼此信任,因此,可以对客户端上的应用执行webview部分的处理进行修改,从而可以方便地通过webview在呈现第三方页面时就嵌入数据采集脚本,并仅仅将所采集的数据发送到数据采集服务器,这样,第三方就不需要对其页面进行手动修改,并也保证了数据不会被泄密,从而避免了隐私等问题。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的一种数据分析系统100的示意图;
图2示出了根据本发明一个示范性实施例的计算设备200的结构框图;
图3示出了根据本发明一个实施例的移动终端300的结构框图;以及
图4示出了根据本发明一个实施例的数据分析方法400的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的一种数据分析系统100的示意图。应当指出,图1中的数据分析系统100仅是示例性的,在具体的实践情况中,信息处理系统100中可以有不同数量的数据处理服务器,数据采集服务器和移动终端,本发明对信息处理系统100中所包括的数据处理服务器,数据采集服务器和移动终端的数量不做限制。如图1所示,信息处理系统100中包括1个数据处理服务器110,1个数据采集服务器120和3个移动终端130、140和150。其中,数据处理服务器110和数据采集服务器120通信连接,并能够进行数据传输;数据采集服务器120分别与移动终端130、140和150通信连接,并能够进行数据传输。
数据采集服务器120与数据处理服务器110可以实现为现有技术中任何一种能够实现数据采集和数据处理的服务器,本发明对数据采集服务器120和数据处理服务器110的具体种类不作限制。在本发明的实施例中,数据采集服务器120和数据处理服务器110可以实现为一种计算设备,使得该计算设备作为数据采集服务器120或数据处理服务器110,组成本发明的一种数据分析系统100。
图2示出了根据本发明一个示范性实施例的计算设备200的结构框图。如图2所示,在基本的配置202中,计算设备200典型地包括系统存储器206和一个或者多个处理器204。存储器总线208可以用于在处理器204和系统存储器206之间的通信。
取决于期望的配置,处理器204可以是任何类型的处理,包括但不限于:微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器204可以包括诸如一级高速缓存210和二级高速缓存212之类的一个或者多个级别的高速缓存、处理器核心214和寄存器216。示例的处理器核心214可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器218可以与处理器204一起使用,或者在一些实现中,存储器控制器218可以是处理器204的一个内部部分。
取决于期望的配置,系统存储器206可以是任意类型的存储器,包括但不限于:易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器206可以包括操作系统220、一个或者多个程序222以及程序数据224。在一些实施方式中,程序222可以布置为在操作系统上由一个或者多个处理器204利用程序数据224执行指令。
计算设备200还可以包括有助于从各种接口设备(例如,输出设备242、外设接口244和通信设备246)到基本配置202经由总线/接口控制器230的通信的接口总线240。示例的输出设备242包括图形处理单元248和音频处理单元250。它们可以被配置为有助于经由一个或者多个A/V端口252与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口244可以包括串行接口控制器254和并行接口控制器256,它们可以被配置为有助于经由一个或者多个I/O端口258和诸如输入设备(例如,键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备246可以包括网络控制器260,其可以被布置为便于经由一个或者多个通信端口264与一个或者多个其他计算设备262通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块,并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号,它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例,通信介质可以包括诸如有线网络或者专线网络之类的有线介质,以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
在根据本发明的计算设备200中,应用222包括执行一种数据分析方法400的多条程序指令,这些程序指令可以指示处理器204执行本发明的一种数据分析方法400中的部分步骤,以便数据处理服务器110和数据采集服务器120通过执行本发明的一种数据分析方法400来实现处理和采集第三方页面中的数据。
计算设备200可以实现为服务器,例如文件服务器、数据库服务器、应用程序服务器等,这些电子设备可以是诸如个人数字助理(PDA)、无线网络浏览设备、应用专用设备、或者可以包括上面任何功能的混合设备。可以实现为包括桌面计算机和笔记本计算机配置的个人计算机,也在一些实施例中,计算设备200被配置为执行一种数据分析方法400。
根据本发明的一个实施例的一种数据分析系统中的移动终端130、140和150可以是智能手机、平板电脑等,但不限于此。图3示出了根据本发明一个实施例的移动终端300的结构框图。移动终端300可以包括存储器接口302、一个或多个数据处理器、图像处理器和/或中央处理单元304,以及外围接口306。
存储器接口302、一个或多个处理器304和/或外围接口306既可以是分立元件,也可以集成在一个或多个集成电路中。在移动终端300中,各种元件可以通过一条或多条通信总线或信号线来耦合。传感器、设备和子系统可以耦合到外围接口306,以便帮助实现多种功能。
例如,运动传感器310、光线传感器312和距离传感器314可以耦合到外围接口306,以方便定向、照明和测距等功能。其他传感器316同样可以与外围接口306相连,例如定位系统(例如GPS接收机)、温度传感器、生物测定传感器或其他感测设备,由此可以帮助实施相关的功能。
相机子系统320和光学传感器322可以用于方便诸如记录照片和视频剪辑的相机功能的实现,其中所述相机子系统和光学传感器例如可以是电荷耦合器件(CCD)或互补金属氧化物半导体(厘米OS)光学传感器。可以通过一个或多个无线通信子系统324来帮助实现通信功能,其中无线通信子系统可以包括射频接收机和发射机和/或光(例如红外)接收机和发射机。无线通信子系统623的特定设计和实施方式可以取决于移动终端300所支持的一个或多个通信网络。例如,移动终端300可以包括被设计成支持LTE、3G、GSM网络、GPRS网络、EDGE网络、Wi-Fi或WiMax网络以及BlueboothTM网络的通信子系统324。
音频子系统326可以与扬声器328以及麦克风330相耦合,以便帮助实施启用语音的功能,例如语音识别、语音复制、数字记录和电话功能。I/O子系统340可以包括触摸屏控制器342和/或一个或多个其他输入控制器344。触摸屏控制器342可以耦合到触摸屏346。举例来说,该触摸屏346和触摸屏控制器342可以使用多种触摸感测技术中的任何一种来检测与之进行的接触和移动或是暂停,其中感测技术包括但不局限于电容性、电阻性、红外和表面声波技术。一个或多个其他输入控制器344可以耦合到其他输入/控制设备348,例如一个或多个按钮、摇杆开关、拇指旋轮、红外端口、USB端口、和/或指示笔之类的指点设备。所述一个或多个按钮(未显示)可以包括用于控制扬声器328和/或麦克风330音量的向上/向下按钮。
存储器接口302可以与存储器350相耦合。该存储器350可以包括内部存储器和外部存储器,内部存储器例如可以是静态随机存取存储器(SRAM)、非易失性存储器(NVRAM)等,但不限于此;外部存储器例如可以是硬盘、可移动硬盘、U盘等,但不限于此。存储器350可以存储程序指令,程序指令例如可以包括操作系统352和应用354。操作系统352例如可以是Android、iOS、Windows Phone等,其包括用于处理基本系统服务以及执行依赖于硬件的任务的程序指令。存储器350还可以存储应用354,应用354可以包括用于实现各种用户期望的功能的程序指令。应用354可以是独立于操作系统提供的,也可以是操作系统自带的。另外,应用354被安装到移动终端200中时,也可以向操作系统添加驱动模块。在移动终端运行时,会从存储器350中加载操作系统352,并且由处理器304执行。应用354在运行时,也会从存储器350中加载,并由处理器304执行。应用354运行在操作系统之上,利用操作系统以及底层硬件提供的接口实现各种用户期望的功能,如即时通信、网页浏览、图片管理、运动休闲等。在上述各种应用354中,其中的一种应用为根据本发明的移动终端中的一种数据处理系统100中驻留的应用,处理304可以执行一种数据处理方法400中的步骤对应用进行启动。
返回到结合图1所描述的一种数据分析系统,数据处理服务器110还通过因特网与第三方服务器160通信连接,数据处理服务器110接收来自第三方服务器160的要进行数据分析的第三方页面标识。
数据处理服务器110还对数据采集服务器120上的、来自多个移动终端,例如包括移动终端130、移动终端140和移动终端150,并与第三方页面相关联的数据进行分析,以提供第三方页面的数据分析结果。数据处理服务器110对数据采集服务器120中保存的数据进行分析,要分析的数据包括用户访问的第三方页面,在第三方页面提交的信息;并根据接收的第三方页面标识配置第三方页面,设定对数据进行分类的标准,以匹配数据中的页面地址,从而进行统计。
配置完毕后,将用户访问的第三方页面和信息按照不同的第三方进行分类,并对分类后的第三方页面和对应提交的信息进行统计,得到每个第三方页面的用户访问数量。根据用户访问数据绘制漏斗模型,并计算用户在访问第三方页面时,在页面每个环节的转换率,从而对用户在浏览页面时的用户流失进行分析。
数据采集服务器120与数据采集服务器110通信连接,并与多个移动终端通信连接,图1示出了数据采集服务器120与移动终端130、移动终端140和移动终端150通信连接,能够进行数据传输。
数据采集服务器120接收来自多个移动终端的请求,请求的内容包括,由数据采集服务器120判断是否在要访问的第三方页面中注入数据采集脚本。若数据采集服务器120判断在要访问的第三方页面中注入数据采集脚本,则将数据采集脚本发送到多个移动终端。数据采集脚本在移动应用访问第三方服务器160,并在移动终端上呈现第三方页面时,侦听用户在第三方页面的操作,包括访问第三方页面中的链接,填写并提交第三方页面中的表单。数据采集脚本可以由JavaScript编写,包括通过ajax请求完成的回调函数:
$(document).ajaxComplete(function(event,request,settings){})
以完成获取用户请求的页面链接和提交的数据。
在数据采集脚本采集完毕数据后,数据采集服务器120接收并保存来自移动终端发送的数据。
多个移动终端与数据采集服务器120通信连接,移动终端中驻留有移动应用,第三方页面是指除该移动应用的提供服务商以外的其他服务商,在该移动应用中嵌入的页面。嵌入页面的方式包括嵌入文字链接,图片链接,表格链接等方式,本发明对第三方嵌入链接的方式不作限制,任何方式都能够进行跳转并加载其提供的页面。接收第三方页面标识包括接收和保存第三方的页面标识,以便在数据集采集服务器采集到要处理的数据后,通过第三方的页面标识,对数据进行分类。
移动终端执行驻留移动终端中的移动应用,移动应用请求访问第三方页面。移动终端执行在其驻留的移动应用时,移动终端能够接收来自用户的指令,包括点击,滑动等操作。当这样的操作作用在移动应用上时,移动应用能够请求访问第三方页面。移动应用请求访问第三方页面时,通过webview访问位于互联网中的第三方服务器160,在移动终端上接收来自第三方服务器160的数据并加载第三方页面。移动终端每次在接受到来自用户的命令后,访问第三方页面之前,向数据采集服务器120发送请求。数据采集服务器120根据请求判断注入数据采集脚本,移动终端接收来自数据采集服务器120发送的数据采集脚本后,在呈现第三方页面时执行数据采集脚本,并将所采集的数据发送到数据采集服务器120。移动终端在接受到数据采集脚本后,将数据采集脚本注入要访问的第三方页面。再将数据采集脚本注入第三方页面时,根据移动终端的操作系统的不同,选择不同的方法注入数据采集脚本。
移动终端的操作系统包括安卓和IOS等,根据本发明的一个实施例,当移动终端的操作系统为安卓时,可以在软件WebView层注入数据采集脚本,具体方法如下:计算设备在WebView层捕获接受到的第三方页面的访问请求后,对应用的scheme协议中控制参数loadgrap进行判断,若loadgrap的值为0,则不注入数据采集脚本;若loadgrap的值为1,则注入数据采集脚本。将WebView的进行重写:
webView.set WebViewClient(new;MyWebView())
并在页面注入数据采集脚本:
webView.loadUrl("javascript:"+MyJS)。
根据本发明的一个实施例,当移动终端的操作系统为IOS时,通过在IOS系统的接口获取数据采集脚本的地址,并在页面注入:
Figure BDA0002333457300000121
移动终端在页面注入数据采集脚本后,执行在页面中注入的数据采集脚本。数据采集脚本在执行时,首先生成cookie文件保存标识每个访问的用户ID。用户在访问第三方页面时,会为每个用户产生一个唯一的ID,该ID保存在cookie文件中。随后,获取每个用户请求的页面连接和对应的数据,包括用户访问的第三方页面和在第三方页面提交的信息。
在数据采集脚本采集完毕数据后,将数据发送到数据采集服务器120,数据采集服务器120接收并保存来自移动终端发送的数据。
图4示出了根据本发明一个实施例的数据分析方法400的流程图。方法400适用于在一种数据分析系统100中执行,如在由计算设备200和移动设备300组成的系统中执行。计算设备200与多个移动终端相连接。如图4所示,数据分析方法400始于步骤S410。
在步骤S410中,数据处理服务器110接收要进行数据分析的第三方页面标识。数据处理服务器110对采集到的数据进行分析处理,在对数据进行采集和分析处理之前,预先接收第三方页面标识。数据分析系统除数据处理服务器110之外,还包括数据采集服务器120和多个移动终端。移动终端中驻留有移动应用,第三方页面是指除该移动应用的提供服务商以外的其他服务商,在该移动应用中嵌入的页面。嵌入页面的方式包括嵌入文字链接,图片链接,表格链接等方式,本发明对第三方嵌入链接的方式不作限制,任何方式都能够进行跳转并加载其提供的页面。接收第三方页面标识包括接收和保存第三方的页面标识,以便在数据集采集服务器采集到要处理的数据后,通过第三方的页面标识,对数据进行分类。
随后,执行步骤S420,移动终端执行驻留移动终端中的移动应用,移动应用请求访问第三方页面。移动终端执行在其驻留的移动应用时,移动终端能够接收来自用户的指令,包括点击,滑动等操作。当这样的操作作用在移动应用上时,移动应用能够请求访问第三方页面。移动应用请求访问第三方页面时,通过webview访问位于互联网中的第三方服务器160,在移动终端上接收来自目标服务器的数据并加载第三方页面。移动终端每次在接受到来自用户的命令后,访问第三方页面之前,向数据采集服务器120发送请求。请求的内容包括,由数据采集服务器120判断是否在要访问的第三方页面中注入数据采集脚本。若数据采集服务器120判断在要访问的第三方页面中注入数据采集脚本,则继续执行后续步骤。
随后,执行步骤S430,数据采集服务器120,将数据采集脚本发送到多个移动终端。数据采集脚本在移动应用访问第三方服务器160,并在移动终端上呈现第三方页面时,侦听用户在第三方页面的操作,包括访问第三方页面中的链接,填写并提交第三方页面中的表单。数据采集脚本可以由JavaScript编写,包括通过ajax请求完成的回调函数:
$(document).ajaxComplete(function(event,request,settings){})
以完成获取用户请求的页面链接和提交的数据。
移动终端在接受到来自数据采集服务器120发送的数据采集脚本后,执行后续步骤。
随后,执行步骤S440,移动应用在呈现第三方页面时执行数据采集脚本,并将所采集的数据发送到数据采集服务器120。移动终端在接受到数据采集脚本后,将数据采集脚本注入要访问的第三方页面。再将数据采集脚本注入第三方页面时,根据移动终端的操作系统的不同,选择不同的方法注入数据采集脚本。
移动终端的操作系统包括安卓和IOS等,根据本发明的一个实施例,当移动终端的操作系统为安卓时,可以在软件WebView层注入数据采集脚本,具体方法如下:计算设备在WebView层捕获接受到的第三方页面的访问请求后,对应用的scheme协议中控制参数loadgrap进行判断,若loadgrap的值为0,则不注入数据采集脚本;若loadgrap的值为1,则注入数据采集脚本。将WebView的进行重写:
webView.set WebViewClient(new;MyWebView())
并在页面注入数据采集脚本:
webView.loadUrl("javascript:"+MyJS)。
根据本发明的一个实施例,当移动终端的操作系统为IOS时,通过在IOS系统的接口获取数据采集脚本的地址,并在页面注入:
Figure BDA0002333457300000151
移动终端在页面注入数据采集脚本后,执行在页面中注入的数据采集脚本。数据采集脚本在执行时,首先生成cookie文件保存标识每个访问的用户ID。用户在访问第三方页面时,会为每个用户产生一个唯一的ID,该ID保存在cookie文件中。随后,获取每个用户请求的页面连接和对应的数据,包括用户访问的第三方页面和在第三方页面提交的信息。
在数据采集脚本采集完毕数据后,将数据发送到数据采集服务器120,数据采集服务器120接收并保存来自移动终端发送的数据。
随后,执行步骤S450,数据处理服务器110对数据采集服务器120上的、来自多个移动终端并与第三方页面相关联的数据进行分析,以提供第三方页面的数据分析结果。
数据处理服务器110对数据采集服务器120中保存的数据进行分析,要分析的数据包括用户访问的第三方页面,在第三方页面提交的信息;并根据接收的第三方页面标识配置第三方页面,设定对数据进行分类的标准,以匹配数据中的页面地址,从而进行统计。
配置完毕后,将用户访问的第三方页面和信息按照不同的第三方进行分类,并对分类后的第三方页面和对应提交的信息进行统计,得到每个第三方页面的用户访问数量。根据用户访问数据绘制漏斗模型,并计算用户在访问第三方页面时,在页面每个环节的转换率,从而对用户在浏览页面时的用户流失进行分析。
这里描述的各种技术可结合硬件或软件,或者它们的组合一起实现。从而,本发明的方法和设备,或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介,例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式,其中当程序被载入诸如计算机之类的机器,并被所述机器执行时,所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下,计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件),至少一个输入装置,和至少一个输出装置。其中,存储器被配置用于存储程序代码;处理器被配置用于根据该存储器中存储的所述程序代码中的指令,执行本发明的方法。
以示例而非限制的方式,可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。
在此处所提供的说明书中,算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本发明还可以包括:A8、如A5所述的一种数据分析系统,其中,所述移动终端在所述数据采集脚本采集完毕数据后,将采集的数据发送到所述数据采集服务器;所述数据采集服务器接收并保存所述移动终端发送的数据。
A9、如A8所述的一种数据分析系统,其中,所述数据处理服务器包括数据接口,所述数据接口接收所述数据采集脚本采集的数据,所述数据包括用户访问的第三方页面,在第三方页面提交的信息。
A10、如A9所述的一种数据分析系统,其中,所述数据处理服务器对所述数据采集服务器上保存的数据进行分析时,执行以下步骤:接收要进行数据分析的第三方页面标识并配置所述第三方页面,将所述用户访问的第三方页面按照不同的第三方进行分类;将所述在第三方页面提交的信息按照不同的第三方进行分类。
A11、如A10所述的方法,其中,所述数据处理服务器执行的步骤还包括对分类后的所述第三方页面和对应的提交的信息进行统计,得到每个第三方页面的用户访问数量。
A12、如A11所述的方法,其中,所述数据处理服务器执行的步骤还包括根据所述每个第三方页面访问数量绘制漏斗模型。
B14、如B13所述的一种数据分析方法,其中,所述移动应用请求访问第三方页面时,使用webview访问第三方页面。
B15、如B14所述的一种数据分析方法,其中,所述移动应用请求访问第三方页面时,向所述数据采集服务器发送请求,所述请求包括判断是否在所述第三方页面中注入数据采集脚本;所述数据采集服务器判定是否在所述第三方页面中注入数据采集脚本,若判断为是,则将所述数据采集脚本发送至所述移动终端;所述移动终端,接收到数据采集脚本后,向所述第三方页面注入数据采集脚本。
B16、如B15所述的一种数据分析方法,其中,所述移动终端向所述第三方页面注入数据采集脚本时,根据所述移动终端操作系统的不同,选择不同的方法注入数据采集脚本。
B17、如B13-B16中任一项所述的一种数据分析方法,其中,所述数据执行的步骤包括:生成cookie文件保存标识每个访问的用户ID;获取每个用户请求的页面连接和对应的数据。
B18、如B15所述的一种数据分析方法,其中,所述数据采集脚本采集完毕数据后,将采集的数据发送到所述数据采集服务器;所述数据采集服务器接收并保存所述移动终端发送的数据。
B19、如B18所述的一种数据分析方法,其中,所述数据处理服务器对所述数据采集服务器上保存的数据进行分析包括:接收所述数据采集脚本采集的数据,所述数据包括用户访问的第三方页面,在第三方页面提交的信息;接收要进行数据分析的第三方页面标识并配置所述第三方页面,将所述用户访问的第三方页面按照不同的第三方进行分类;将所述在第三方页面提交的信息按照不同的第三方进行分类。
B20、如B19所述的一种数据分析方法,还包括:对分类后的所述第三方页面和对应的提交的信息进行统计,得到每个第三方页面的用户访问数量。
B21、如B20所述的一种数据分析方法,还包括:根据所述每个第三方页面访问数量绘制漏斗模型。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。

Claims (18)

1.一种数据分析系统,包括:
数据处理服务器,适于接收要进行数据分析的第三方页面标识;
多个移动终端,每个移动终端中驻留有移动应用,其中所述移动应用适于在执行时请求访问所述第三方页面;以及
数据采集服务器,适于将数据采集脚本发送到所述移动终端,以便所述移动终端中的移动应用在呈现所述第三方页面时执行所述数据采集脚本,将所采集的数据发送到所述数据采集服务器;
其中,所述数据处理服务器对所述数据采集服务器上的、来自多个移动终端并与所述第三方页面相关联的数据进行分析,以提供所述第三方页面的数据分析结果;
所述移动应用在执行请求访问第三方页面时,向所述数据采集服务器发送请求,所述请求包括判定是否在所述第三方页面中注入数据采集脚本;
所述数据采集服务器判定是否在所述第三方页面中注入数据采集脚本,并将所述数据采集脚本发送至所述移动终端;
所述移动终端接收所述数据采集脚本,并根据所述移动终端操作系统的不同,选择不同的方法想向所述第三方页面注入数据采集脚本。
2.如权利要求1所述的一种数据分析系统,其中,所述移动应用在执行请求访问第三方页面时,使用webview访问第三方页面。
3.如权利要求1或2所述的一种数据分析系统,其中,所述数据采集脚本适用于在所述移动应用呈现所述第三方页面时,侦听用户在所述第三方页面的操作,捕获并采集所述操作产生的数据;
所述操作包括访问第三方页面中的链接,填写并提交第三方页面中的表单。
4.如权利要求3所述的一种数据分析系统,其中,所述数据采集脚本执行时执行以下步骤:
生成cookie文件保存标识每个访问的用户ID;
获取每个用户请求的页面连接和对应的数据。
5.如权利要求1所述的一种数据分析系统,其中,所述移动终端在所述数据采集脚本采集完毕数据后,将采集的数据发送到所述数据采集服务器;
所述数据采集服务器接收并保存所述移动终端发送的数据。
6.如权利要求5所述的一种数据分析系统,其中,所述数据处理服务器包括数据接口,所述数据接口接收所述数据采集脚本采集的数据,所述数据包括用户访问的第三方页面,在第三方页面提交的信息。
7.如权利要求6所述的一种数据分析系统,其中,所述数据处理服务器对所述数据采集服务器上保存的数据进行分析时,执行以下步骤:
接收要进行数据分析的第三方页面标识并配置所述第三方页面,将所述用户访问的第三方页面按照不同的第三方进行分类;
将所述在第三方页面提交的信息按照不同的第三方进行分类。
8.如权利要求7所述的系统,其中,所述数据处理服务器执行的步骤还包括对分类后的所述第三方页面和对应的提交的信息进行统计,得到每个第三方页面的用户访问数量。
9.如权利要求8所述的系统,其中,所述数据处理服务器执行的步骤还包括根据所述每个第三方页面访问数量绘制漏斗模型。
10.一种数据分析方法,适用于在如权利要求1-9中任一项所述的一种数据分析系统中运行,所述数据分析系统包括数据处理服务器,数据采集服务器和多个移动终端,所述数据采集服务器与数据处理服务器和多个移动终端通信连接,所述方法包括:
所述数据处理服务器接收要进行数据分析的第三方页面标识;
所述移动终端执行驻留所述移动终端中的移动应用,所述移动应用请求访问第三方页面;
所述数据采集服务器将数据采集脚本发送到所述移动终端;
所述移动应用在呈现所述第三方页面时执行所述数据采集脚本,并将所采集的数据发送到所述数据采集服务器;以及
所述数据处理服务器对所述数据采集服务器上的、来自多个移动终端并与所述第三方页面相关联的数据进行分析,以提供所述第三方页面的数据分析结果;
其中,所述移动应用在执行请求访问第三方页面时,向所述数据采集服务器发送请求,所述请求包括判定是否在所述第三方页面中注入数据采集脚本;
所述方法还包括:所述数据采集服务器判定是否在所述第三方页面中注入数据采集脚本,并将所述数据采集脚本发送至所述移动终端;
所述移动终端接收所述数据采集脚本,并根据所述移动终端操作系统的不同,选择不同的方法想向所述第三方页面注入数据采集脚本。
11.如权利要求10所述的一种数据分析方法,其中,所述移动应用请求访问第三方页面时,使用webview访问第三方页面。
12.如权利要求10或11中任一项所述的一种数据分析方法,其中,所述数据执行的步骤包括:
生成cookie文件保存标识每个访问的用户ID;
获取每个用户请求的页面连接和对应的数据。
13.如权利要求12所述的一种数据分析方法,其中,所述数据采集脚本采集完毕数据后,将采集的数据发送到所述数据采集服务器;
所述数据采集服务器接收并保存所述移动终端发送的数据。
14.如权利要求13所述的一种数据分析方法,其中,所述数据处理服务器对所述数据采集服务器上保存的数据进行分析包括:
接收所述数据采集脚本采集的数据,所述数据包括用户访问的第三方页面,在第三方页面提交的信息;
接收要进行数据分析的第三方页面标识并配置所述第三方页面,将所述用户访问的第三方页面按照不同的第三方进行分类;
将所述在第三方页面提交的信息按照不同的第三方进行分类。
15.如权利要求14所述的一种数据分析方法,还包括:对分类后的所述第三方页面和对应的提交的信息进行统计,得到每个第三方页面的用户访问数量。
16.如权利要求15所述的一种数据分析方法,还包括:根据所述每个第三方页面访问数量绘制漏斗模型。
17.一种计算设备,包括:
至少一个处理器;以及
包括计算机程序指令的至少一个存储器;
所述至少一个存储器和所述计算机程序指令被配置为与所述至少一个处理器一起使得所述计算设备执行如权利要求10-16中任一项所述的方法。
18.一种存储一个或多个程序的可读存储介质,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行如权利要求10-16中任一项所述的方法。
CN201911346308.0A 2019-12-24 2019-12-24 一种数据分析系统和方法 Active CN111209506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911346308.0A CN111209506B (zh) 2019-12-24 2019-12-24 一种数据分析系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911346308.0A CN111209506B (zh) 2019-12-24 2019-12-24 一种数据分析系统和方法

Publications (2)

Publication Number Publication Date
CN111209506A CN111209506A (zh) 2020-05-29
CN111209506B true CN111209506B (zh) 2023-05-30

Family

ID=70785486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911346308.0A Active CN111209506B (zh) 2019-12-24 2019-12-24 一种数据分析系统和方法

Country Status (1)

Country Link
CN (1) CN111209506B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780649A (zh) * 2012-10-22 2014-05-07 百度在线网络技术(北京)有限公司 在中转模式下提高用户翻页速度的方法、系统及装置
EP3282416A1 (en) * 2016-08-12 2018-02-14 Facebook, Inc. Methods and systems for accessing third-party services within applications
CN109145182A (zh) * 2017-06-15 2019-01-04 腾讯科技(深圳)有限公司 数据采集方法、装置、计算机设备及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780649A (zh) * 2012-10-22 2014-05-07 百度在线网络技术(北京)有限公司 在中转模式下提高用户翻页速度的方法、系统及装置
EP3282416A1 (en) * 2016-08-12 2018-02-14 Facebook, Inc. Methods and systems for accessing third-party services within applications
CN109145182A (zh) * 2017-06-15 2019-01-04 腾讯科技(深圳)有限公司 数据采集方法、装置、计算机设备及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张伟 ; 陈树超 ; 张帆 ; .网络视听媒体数据采集技术研究.广播电视信息.2016,(02),全文. *
黄文雄 ; .面向Android应用的用户行为分析方法.软件.2014,(12),全文. *

Also Published As

Publication number Publication date
CN111209506A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN108182060B (zh) 一种混合应用的埋点方法、移动终端及系统
US10120556B2 (en) Slide to apply
CN107329750B (zh) 应用程序中广告页面的识别方法、跳转方法及移动终端
US9509790B2 (en) Global presence
US20160132866A1 (en) Device, system, and method for creating virtual credit card
US20150026796A1 (en) Event-Based Security Challenges
CN107656866B (zh) 一种测试应用流畅度的方法、移动终端和计算设备
US10015253B2 (en) System and method for preemptive request processing
US9706006B2 (en) System and method of context aware adaption of content for a mobile device
WO2020233009A1 (zh) 身份验证方法、装置、计算设备和存储介质
US20160224554A1 (en) Search methods, servers, and systems
CN110765398A (zh) 一种页面内容的显示方法及移动终端
CN111931200B (zh) 一种数据序列化方法、移动终端和可读存储介质
CN111581473B (zh) 一种网页处理方法
KR101777035B1 (ko) 주소 필터링 방법, 장치, 프로그램 및 기록매체
CN110874298B (zh) 一种请求数据存储方法及终端设备
CN111611418A (zh) 数据存储方法及数据查询方法
CN111679875A (zh) 页面内容展示方法、系统及移动终端
CN110929129B (zh) 一种信息检测方法、设备及机器可读存储介质
US20160086566A1 (en) Systems and methods for image optimization
KR20150027687A (ko) 전자 장치에서 콘텐츠를 캡처할 때 사용자 인터랙션을 제공하는 방법 및 시스템
US20130083194A1 (en) Video monitoring server and method
CN105279164B (zh) 一种基于ios系统的文件处理方法及装置
CN111209506B (zh) 一种数据分析系统和方法
CN112307386A (zh) 信息监控方法、系统、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant