CN104077224B - 软件功能分析系统与方法 - Google Patents
软件功能分析系统与方法 Download PDFInfo
- Publication number
- CN104077224B CN104077224B CN201410318762.6A CN201410318762A CN104077224B CN 104077224 B CN104077224 B CN 104077224B CN 201410318762 A CN201410318762 A CN 201410318762A CN 104077224 B CN104077224 B CN 104077224B
- Authority
- CN
- China
- Prior art keywords
- server
- data
- collection
- analysis
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种软件功能分析系统和方法,系统包括:模块加载器,通过连接模块侵入式加载至客户端的软件中,扫描通信环境,生成与基础服务器的交互方式,与收集服务器通讯,下载基础引擎SDK包及下载收集策略,在基础引擎SDK包被下载完成之后,创建运行容器;运行容器,检测环境,并在环境检测结束之后产生分析对象,创建异步任务池,并将异步任务池中的主任务初始化为控制收集子任务的调度引擎,调度引擎,根据本地服务器的实时服务器压力和收集策略创建流程状态机来收集分析对象数据;分析服务器,根据数据生成分析结果。通过本发明,可以实现在既不影响客户端体验又不影响系统运行时性能的情况下,有效地收集和分析用户的行为数据和功能数据。
Description
技术领域
本发明涉及软件技术领域,具体而言,涉及一种软件功能分析系统和一种软件功能分析方法。
背景技术
目前,软件行业内并没有一套有效的企业软件功能改进分析处理机制,现有的机制大部分只面向互联网统计分析,无法在兼容大部分终端和浏览器情况下,有效地收集和分析用户的行为数据和功能数据的,也无法保证在既不影响客户端体验又不影响系统运行时性能的情况下,收集和分析用户的行为数据和功能数据。
例如,目前流行的处理方式,即传统软件企业被动式功能改进机制与互联网企业功能统计分析改进机制均无法解决上述功能分析改进问题,同时还存在如下缺陷:
(1)WEB软件中嵌入大量的功能、行为收集代码,WEB软件的结构复杂,开发周期长,且没有一套精准地收集用户对功能的详细使用信息的机制。
(2)采用日志分析方式,占用本地存储空间,影响系统运行时程序执行效率,并且无法收集前端用户的操作行为和功能的使用情况。
(3)缺乏时效性的非实时性数据传输方式,无法支撑功能分析业务流程。
(4)客户端采用Ajax(Asynchronous JavaScriptand XML,异步JavaScriptand+XML)、Web Socket、RIA(Rich Internet Application,富互联网应用)插件等方式传输行为数据,造成系统中存在大量的数据请求,进而影响用户执行业务体验。
(5)处理问题能力有限,只有当程序出现BUG或严重错误,才会追踪溯源,缺少处理全局行为与汇总统计分析能力。
(6)单台收集服务器的负载IO压力大,例如:标准DELL R410(双核4G内存)支持的最大连接量在4000上下幅度,其中并不包括任何业务数据。
(7)Javascript收集引擎采用事件触发方式收集功能信息,收集数据范围有限,开发耦合度高,缺少主动事件注册机制。
(8)Javascript收集引擎收集的元数据无法形成完整的业务操作流,无法对操作流程进行组装也无法对操作流程溯源进行分析。
(9)收集分析机制标准不统一,软件升级困难,需要修改大量前端收集分析代码进行收集引擎重构,缺少升级机制。
(10)无法处理复杂场景,目前市面上没有一款产品可以有效地收集和处理复杂场景下的功能操作和行为分析。
(11)客户端必须安装插件,例如:Flash/Flex、Java Swing、Unity3D(Unity Technologies,优美缔3D)等,对用户体验首次使用体验效果差。
(12)跨平台能力差,例如:一些PAD端、移动端、虚拟终端中的浏览器无法识别支持SOCKET连接的插件。
因此,需要一套有效的软件功能分析机制,在兼容大部分终端和浏览器情况下,在既不影响客户端体验又不影响系统运行时性能的情况下,有效地收集和分析用户的行为数据和功能数据。
发明内容
本发明正是基于上述技术问题,提出了一种新的技术方案,可以在既不影响客户端体验又不影响系统运行时性能的情况下,有效地收集和分析用户的行为数据和功能数据。
有鉴于此,本发明的一方面提出了一种软件功能分析系统,包括:模块加载器,用于通过连接模块侵入式加载至客户端的软件中,扫描通信环境,根据所述通信环境,生成与基础服务器的交互方式,与收集服务器通讯,下载基础引擎SDK包以及下载收集策略,以及在所述基础引擎SDK包被下载完成之后,创建运行容器;所述运行容器,检测环境,并在环境检测结束之后产生至少一个分析对象,以及创建异步任务池,并将所述异步任务池中的主任务初始化为控制收集子任务的调度引擎,其中所述分析对象对应于与和用户行为和业务活动相关的事件;所述调度引擎,根据本地服务器传递的实时服务器压力和所述收集策略创建流程状态机来收集所述分析对象的数据;以及所述分析服务器,对所述数据进行分析并生成分析结果。
在该技术方案中,客户端采用Javascript(脚本语言)侵入式加载到用户的WEB软件中,通过基础加载模块向Node.js收集服务器获取必要收集引擎SDK包、Javascript特性SDK(Software Development Kit,软件开发工具包)包和收集策略,然后创建运行容器对客户端的运行环境进行初始化,进而运行容器创建一个异步任务池,分配一个主任务运行调度引擎,调度引擎根据本地服务器传递的实时服务器压力和收集策略创建流程状态机收来集客户功能使用信息,并将收集到的信息存储在前端数据仓库,然后定时将Json(Javascript Object Notation,一种轻量级数据交换格式)格式的数据压缩并传递到MongoDB本地服务器中进行数据储存,本地服务器经过元数据事件规则处理引擎将所述数据加工成分析数据传递给分析服务器进行分析,最终形成功能行为报表,在这个过程中,由于MongoDB本地服务器只负责定传递实时服务器压力和收集策略以使调度引擎形成所述分析数据,并不负责分析数据,而且在分析数据时,并没有利用日志进行分析,不占用任何本地存储空间,也没有影响系统运行时程序的执行效率。因此,可以实现在既不影响客户端体验又不影响系统运行时性能的情况下,有效地收集和分析用户的行为数据和功能数据。同时,由于客户端采用Javascript侵入式加载到了用户的WEB软件中,因此,可以简化业务逻辑的开发,提高开发效率,开发人员不用实时地关注数据收集问题,只需要可以通过这种方式嵌入一条Javascript代码即可完成复杂、全面、高效的业务需求。其中,MongoDB是一种文件导向数据库管理系统。
在上述技术方案中,优选地,还包括:所述本地服务器通过元数据事件流引擎将收集到的所述数据进行加工成分析数据,并发送至所述分析服务器。
在该技术方案中,本地服务器中一个负责元数据事件规则的线程,将接收到的元数据生成新元数据,即将元数据加工成分析服务器可以识别的分析数据,而本地服务器本身并不负责分析数据,因此,通过本技术方案,可以提高本地服务器系统运行时的执行效率,减轻MongoDB本地服务器的运行负担。
在上述技术方案中,优选地,所述运行容器检测环境具体为:串行执行以下过程:检测浏览器环境,生成基础环境信息;扫描网页标签,生成文档树;扫描滚动条分辨率,生成特性控制元数据;以及扫描用户服务器接口,生成交互对象表。
在该技术方案中,在运行容器创建完成时,由于运行容器首先要初始化环境,因此需对上述当前环境进行检测,环境检测结束后就产生四类分析对象,这四类对象代表了四大收集方向的元数据,且会与用户的行为和业务活动进行自动绑定,以便于准确地收集用户的行为数据和功能数据,并对这些数据进行分类分析。
在上述技术方案中,优选地,所述流程状态机根据所述主任务的配置信息来选择事件,所述事件包括:用户的行为动作信息数据收集、根据页面等待事件数据发生的变化信息收集、基于页面标签模拟流程顺序收集、用户业务服务器与客户端交互事件收集、运行环境变化状态信息收集。
在该技术方案中,当流程状态机根据主任务配置信息选择被注册的处理事件时,上述五项事件是必选事件,但是,为了增加事件以扩大收集粒度的范围,还可以根据配置文件和Node.JS收集服务器返回的服务器压力状况,还可以根据以下标准选择事件:1、基于异步请求分析,在服务器有请求的映射的事件,2、基于同页面行为频率收集事件,3、基于预定义的类型范围数据收集事件,4、基于前端标签和事件上下文进行收集事件,5、基于预制流程规则收集事件,6、基于访问来源收集事件。同时,在收集完事件后,收集任务状态机根据检测到的任务类型、时间、描述和依赖关系将事件组成JSON数组存入前端数据仓库,调度引擎主任务根据数据仓库大小和数据时间抽取数据压缩后交给MongoDB本地服务器做数据持久化。其中,Node.JS是一种基于Chrome JavaScript运行时建立的平台。
在上述技术方案中,优选地,还包括:所述收集服务器将所述分析对象的数据置于FIFO(First Input First Output,先进先出)队列,并增加所述服务器压力;以及将在所述FIFO队列中的队列数据根据压力阈值写入所述本地服务器中进行数据持久化,同时减少所述服务器压力。
在该技术方案中,在FIFO队列中的队列数据根据压力阈值写入所述本地服务器中时,本地服务器中一个负责根据元数据事件规则的线程,将接收到的元数据生成新元数据(分析服务器可以分析的数据),并将数据同步到远端分析服务器以生成报表。
本发明的另一方面提出了一种软件功能分析方法,包括:模块加载器通过连接模块侵入式加载至客户端的软件中,扫描通信环境,根据所述通信环境,生成与基础服务器的交互方式,与收集服务器通讯,下载基础引擎SDK包以及下载收集策略,以及在所述基础引擎SDK包被下载完成之后,创建运行容器;所述运行容器检测环境,并在环境检测结束之后产生至少一个分析对象,以及创建异步任务池,并将所述异步任务池中的主任务初始化为控制收集子任务的调度引擎,其中所述分析对象对应于与和用户行为和业务活动相关的事件;所述调度引擎根据本地服务器传递的实时服务器压力和所述收集策略创建流程状态机来收集所述分析对象的数据;以及所述分析服务器对所述数据进行分析并生成分析结果。
在该技术方案中,客户端采用Javascript侵入式加载到用户的WEB软件中,通过基础加载模块向Node.js收集服务器获取必要收集引擎SDK包、Javascript特性SDK包和收集策略,然后创建运行容器对客户端运行环境进行初始化,进而运行容器创建一个异步任务池,分配一个主任务运行调度引擎,调度引擎根据本地服务器传递的实时服务器压力和收集策略创建流程状态机收来集客户功能使用信息,并将收集到的信息存储在前端数据仓库,然后定时将Json格式的数据压缩并传递到MongoDB本地服务器中进行数据储存,本地服务器经过元数据事件规则处理引擎将所述数据加工成分析数据传递给分析服务器进行分析,最终形成功能行为报表,在这个过程中,由于MongoDB本地服务器只负责定传递实时服务器压力和收集策略以使调度引擎形成所述分析数据,并不负责分析数据,而且在分析数据时,并没有利用日志进行分析,不占用任何本地存储空间,也没有影响系统运行时程序执行效率。因此,可以实现在既不影响客户端体验又不影响系统运行时性能的情况下,有效地收集和分析用户的行为数据和功能数据。
同时,由于客户端采用Javascript侵入式加载到用户的WEB软件中,因此,可以简化业务逻辑的开发,提高开发效率,因为开发人员不用实时地关注数据收集问题,只需要可以通过这种方式嵌入一条Javascript代码即可完成复杂、全面、高效的业务需求。
在上述技术方案中,优选地,还包括:所述本地服务器通过元数据事件流引擎将收集到的所述数据进行加工成分析数据,并发送至所述分析服务器。
在该技术方案中,本地服务器中一个负责元数据事件规则的线程,将接收到的元数据生成新元数据,即将元数据加工成分析服务器可以识别的分析数据,而本地服务器本身并不负责分析数据,因此,通过本技术方案,可以提高本地服务器系统运行时的执行效率,减轻MongoDB本地服务器的运行负担。
在上述技术方案中,优选地,所述运行容器检测环境具体为:串行执行以下过程:检测浏览器环境,生成基础环境信息;扫描网页标签,生成文档树;扫描滚动条分辨率,生成特性控制元数据;以及扫描用户服务器接口,生成交互对象表。
在该技术方案中,在运行容器创建完成时,由于运行容器首先要初始化环境,因此需对上述当前环境进行检测,环境检测结束后就产生四类分析对象,这四类对象代表了四大收集方向的元数据,且会与用户的行为和业务活动进行自动绑定,以便于准确地收集用户的行为数据和功能数据,并对这些数据进行分类分析。
在上述技术方案中,优选地,所述流程状态机根据所述主任务的配置信息来选择事件,所述事件包括:用户的行为动作信息数据收集、根据页面等待事件数据发生的变化信息收集、基于页面标签模拟流程顺序收集、用户业务服务器与客户端交互事件收集、运行环境变化状态信息收集。
在该技术方案中,当流程状态机根据主任务配置信息选择被注册的处理事件时,上述五项事件是必选事件,但是,为了增加事件以扩大收集粒度的范围,还可以根据配置文件和Node.JS收集服务器返回的服务器压力状况,还可以根据以下标准选择事件:1、基于异步请求分析,在服务器有请求的映射的事件,2、基于同页面行为频率收集事件,3、基于预定义的类型范围数据收集事件,4、基于前端标签和事件上下文进行收集事件,5、基于预制流程规则收集事件,6、基于访问来源收集事件。
同时,在收集完事件后,收集任务状态机根据检测到的任务类型、时间、描述和依赖关系将事件组成JSON数组存入前端数据仓库,调度引擎主任务根据数据仓库大小和数据时间抽取数据压缩后交给MongoDB本地服务器做数据持久化。
在上述技术方案中,优选地,还包括:所述收集服务器将所述分析对象的数据置于FIFO队列,并增加所述服务器压力;以及将在所述FIFO队列中的队列数据根据压力阈值写入所述本地服务器中进行数据持久化,同时减少所述服务器压力。
在该技术方案中,在FIFO队列中的队列数据根据压力阈值写入所述本地服务器中时,本地服务器中一个负责根据元数据事件规则的线程,将接收到的元数据生成新元数据(分析服务器可以分析的数据),并将数据同步到远端分析服务器以生成报表。
通过上述技术方案,可以在既不影响客户端体验又不影响系统运行时性能的情况下,有效地收集和分析用户的行为数据和功能数据。
附图说明
图1示出了根据本发明的实施例的软件功能分析系统的结构示意图;
图2示出了根据本发明的实施例的软件功能分析方法的流程示意图;
图3示出了根据本发明的另一个实施例的软件功能分析系统的结构示意图;
图4示出了根据本发明的实施例的软件功能分析系统的客户端Javascript初始化环境的结构示意图;
图5示出了根据本发明的实施例的软件功能分析系统的客户端任务调度控制的结构示意图;
图6示出了根据本发明的实施例的软件功能分析系统的服务器储存传输机制的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的实施例的软件功能分析系统的结构示意图。
如图1所示,根据本发明的实施例的软件功能分析系统100的结构,包括:模块加载器102,用于通过连接模块侵入式加载至客户端的软件中,扫描通信环境,根据通信环境,生成与基础服务器的交互方式,与收集服务器通讯,下载基础引擎SDK包以及下载收集策略,以及在基础引擎SDK包被下载完成之后,创建运行容器104;运行容器104,检测环境,并在环境检测结束之后产生至少一个分析对象,以及创建异步任务池,并将异步任务池中的主任务初始化为控制收集子任务的调度引擎106,其中分析对象对应于与和用户行为和业务活动相关的事件;调度引擎106,根据本地服务器传递的实时服务器压力和收集策略创建流程状态机来收集分析对象的数据;以及分析服务器108,对数据进行分析并生成分析结果。
在该技术方案中,客户端采用Javascript侵入式加载到用户的WEB软件中,通过基础加载模块向Node.js收集服务器获取必要收集引擎SDK包、Javascript特性SDK包和收集策略,然后创建运行容器104对客户端运行环境进行初始化,进而运行容器104创建一个异步任务池,分配一个主任务运行调度引擎106,调度引擎106根据本地服务器传递的实时服务器压力和收集策略创建流程状态机收来集客户功能使用信息,并将收集到的信息存储在前端数据仓库,然后定时将Json格式的数据压缩并传递到MongoDB本地服务器中进行数据储存,本地服务器经过元数据事件规则处理引擎将数据加工成分析数据传递给分析服务器108进行分析,最终形成功能行为报表,在这个过程中,由于MongoDB本地服务器只负责定传递实时服务器压力和收集策略以使调度引擎106形成分析数据,并不负责分析数据,而且在分析数据时,并没有利用日志进行分析,不占用任何本地存储空间,也没有影响系统运行时程序执行效率。因此,可以实现在既不影响客户端体验又不影响系统运行时性能的情况下,有效地收集和分析用户的行为数据和功能数据。
同时,由于客户端采用Javascript侵入式加载到用户的WEB软件中,因此,可以简化业务逻辑的开发,提高开发效率,因为开发人员不用实时地关注数据收集问题,只需要可以通过这种方式嵌入一条Javascript代码即可完成复杂、全面、高效的业务需求。
在上述技术方案中,优选地,还包括:本地服务器通过元数据事件流引擎将收集到的数据进行加工成分析数据,并发送至分析服务器108。
在该技术方案中,本地服务器中一个负责元数据事件规则的线程,将接收到的元数据生成新元数据,即将元数据加工成分析服务器108可以识别的分析数据,而本地服务器本身并不负责分析数据,因此,通过本技术方案,可以提高本地服务器系统运行时的执行效率,减轻MongoDB本地服务器的运行负担。
在上述技术方案中,优选地,运行容器104检测环境具体为:串行执行以下过程:检测浏览器环境,生成基础环境信息;扫描网页标签,生成文档树;扫描滚动条分辨率,生成特性控制元数据;以及扫描用户服务器接口,生成交互对象表。
在该技术方案中,在运行容器104创建完成时,由于运行容器104首先要初始化环境,因此需对上述当前环境进行检测,环境检测结束后就产生四类分析对象,这四类对象代表了四大收集方向的元数据,且会与用户的行为和业务活动进行自动绑定,以便于准确地收集用户的行为数据和功能数据,并对这些数据进行分类分析。
在上述技术方案中,优选地,流程状态机根据主任务的配置信息来选择事件,事件包括:用户的行为动作信息数据收集、根据页面等待事件数据发生的变化信息收集、基于页面标签模拟流程顺序收集、用户业务服务器与客户端交互事件收集、运行环境变化状态信息收集。
在该技术方案中,当流程状态机根据主任务配置信息选择被注册的处理事件时,上述五项事件是必选事件,但是,为了增加事件以扩大收集粒度的范围,还可以根据配置文件和Node.JS收集服务器返回的服务器压力状况,还可以根据以下标准选择事件:1、基于异步请求分析,在服务器有请求的映射的事件,2、基于同页面行为频率收集事件,3、基于预定义的类型范围数据收集事件,4、基于前端标签和事件上下文进行收集事件,5、基于预制流程规则收集事件,6、基于访问来源收集事件。
同时,在收集完事件后,收集任务状态机根据检测到的任务类型、时间、描述和依赖关系将事件组成JSON数组存入前端数据仓库,调度引擎106主任务根据数据仓库大小和数据时间抽取数据压缩后交给MongoDB本地服务器做数据持久化。
在上述技术方案中,优选地,还包括:收集服务器将分析对象的数据置于FIFO队列,并增加服务器压力;以及将在FIFO队列中的队列数据根据压力阈值写入本地服务器中进行数据持久化,同时减少服务器压力。
在该技术方案中,在FIFO队列中的队列数据根据压力阈值写入本地服务器中时,本地服务器中一个负责根据元数据事件规则的线程,将接收到的元数据生成新元数据(分析服务器108可以分析的数据),并将数据同步到远端分析服务器108以生成报表。
图2示出了根据本发明的实施例的软件功能分析方法的流程示意图。
如图2所示,根据本发明的实施例的软件功能分析方法,包括:
步骤202,模块加载器通过连接模块侵入式加载至客户端的软件中,扫描通信环境,根据通信环境,生成与基础服务器的交互方式,与收集服务器通讯,下载基础引擎SDK包以及下载收集策略,以及在基础引擎SDK包被下载完成之后,创建运行容器;步骤204,运行容器检测环境,并在环境检测结束之后产生至少一个分析对象,以及创建异步任务池,并将异步任务池中的主任务初始化为控制收集子任务的调度引擎,其中分析对象对应于与和用户行为和业务活动相关的事件;步骤206,调度引擎根据本地服务器传递的实时服务器压力和收集策略创建流程状态机来收集分析对象的数据;步骤208,以及分析服务器对数据进行分析并生成分析结果。
在该技术方案中,客户端采用Javascript侵入式加载到用户的WEB软件中,通过基础加载模块向Node.js收集服务器获取必要收集引擎SDK包、Javascript特性SDK包和收集策略,然后创建运行容器对客户端运行环境进行初始化,进而运行容器创建一个异步任务池,分配一个主任务运行调度引擎,调度引擎根据本地服务器传递的实时服务器压力和收集策略创建流程状态机收来集客户功能使用信息,并将收集到的信息存储在前端数据仓库,然后定时将Json格式的数据压缩并传递到本地服务器MongoDB中进行数据储存,本地服务器经过元数据事件规则处理引擎将数据加工成分析数据传递给分析服务器进行分析,最终形成功能行为报表,在这个过程中,由于MongoDB本地服务器只负责定传递实时服务器压力和收集策略以使调度引擎形成分析数据,并不负责分析数据,而且在分析数据时,并没有利用日志进行分析,不占用任何本地存储空间,也没有影响系统运行时程序执行效率。因此,可以实现在既不影响客户端体验又不影响系统运行时性能的情况下,有效地收集和分析用户的行为数据和功能数据。
同时,由于客户端采用Javascript侵入式加载到用户的WEB软件中,因此,可以简化业务逻辑的开发,提高开发效率,因为开发人员不用实时地关注数据收集问题,只需要可以通过这种方式嵌入一条Javascript代码即可完成复杂、全面、高效的业务需求。
在上述技术方案中,优选地,还包括:本地服务器通过元数据事件流引擎将收集到的数据进行加工成分析数据,并发送至分析服务器。
在该技术方案中,本地服务器中一个负责元数据事件规则的线程,将接收到的元数据生成新元数据,即将元数据加工成分析服务器可以识别的分析数据,而本地服务器本身并不负责分析数据,因此,通过本技术方案,可以提高本地服务器系统运行时的执行效率,减轻MongoDB本地服务器的运行负担。
在上述技术方案中,优选地,运行容器检测环境具体为:串行执行以下过程:检测浏览器环境,生成基础环境信息;扫描网页标签,生成文档树;扫描滚动条分辨率,生成特性控制元数据;以及扫描用户服务器接口,生成交互对象表。
在该技术方案中,在运行容器创建完成时,由于运行容器首先要初始化环境,因此需对上述当前环境进行检测,环境检测结束后就产生四类分析对象,这四类对象代表了四大收集方向的元数据,且会与用户的行为和业务活动进行自动绑定,以便于准确地收集用户的行为数据和功能数据,并对这些数据进行分类分析。
在上述技术方案中,优选地,流程状态机根据主任务的配置信息来选择事件,事件包括:用户的行为动作信息数据收集、根据页面等待事件数据发生的变化信息收集、基于页面标签模拟流程顺序收集、用户业务服务器与客户端交互事件收集、运行环境变化状态信息收集。
在该技术方案中,当流程状态机根据主任务配置信息选择被注册的处理事件时,上述五项事件是必选事件,但是,为了增加事件以扩大收集粒度的范围,还可以根据配置文件和Node.JS收集服务器返回的服务器压力状况,还可以根据以下标准选择事件:1、基于异步请求分析,在服务器有请求的映射的事件,2、基于同页面行为频率收集事件,3、基于预定义的类型范围数据收集事件,4、基于前端标签和事件上下文进行收集事件,5、基于预制流程规则收集事件,6、基于访问来源收集事件。
同时,在收集完事件后,收集任务状态机根据检测到的任务类型、时间、描述和依赖关系将事件组成JSON数组存入前端数据仓库,调度引擎主任务根据数据仓库大小和数据时间抽取数据压缩后交给MongoDB本地服务器做数据持久化。
在上述技术方案中,优选地,还包括:收集服务器将分析对象的数据置于FIFO队列,并增加服务器压力;以及将在FIFO队列中的队列数据根据压力阈值写入本地服务器中进行数据持久化,同时减少服务器压力。
在该技术方案中,在FIFO队列中的队列数据根据压力阈值写入本地服务器中时,本地服务器中一个负责根据元数据事件规则的线程,将接收到的元数据生成新元数据(分析服务器可以分析的数据),并将数据同步到远端分析服务器以生成报表。
图3示出了根据本发明的另一个实施例的软件功能分析系统的结构示意图。
如图3所示,根据本发明的实施例的软件功能分析系统的结构示意图,模块加载器102采用Javascript侵入式加载到用户的WEB软件中,并通过基础加载模块向Node.js收集服务器302获取必要收集引擎SDK包、Javascript特性SDK包和收集策略,然后创建运行容器104根据获取的SDK包和收集策略对客户端运行环境进行初始化,进而运行容器104创建一个异步任务池,并分配一个主任务运行调度引擎106,进而调度引擎106根据本地服务器304传递的实时服务器压力和收集策略创建流程状态机收来集客户功能使用信息,并将收集到的信息存储在前端数据仓库306,然后定时将Json格式的数据压缩并传递到MongoDB本地服务器304中进行数据储存,最后本地服务器304经过元数据事件规则处理引擎将所述数据加工成分析数据并传递给分析服务器进行分析,最终形成功能行为报表。
图4示出了根据本发明的实施例的软件功能分析系统的客户端Javascript初始化环境的结构示意图。
如图4所示,根据本发明的实施例的软件功能分析方法的Javascript初始化环境的结构示意图,模块加载器102扫描通讯环境后生成基础服务器交互方式,并使用Iframe、XmlHttpRequest、WebSocket跨域与Node.JS服务器302进行通讯,同时申请必要的引擎SDK包,并在将必要的引擎SDK包缓存到本地浏览器后收集策略配置数据。而在引擎SDK包被缓存到浏览器缓存后,系统就会立即创建一个运行容器104,然后该运行容器104开始检测环境并串行执行以下过程:检测浏览器环境,生成基础环境信息;扫描网页标签,生成文档树;扫描滚动条分辨率,生成特性控制元数据;以及扫描用户服务器接口,生成交互对象表,以产生四类分析对象,这四类对象代表了四大收集方向的元数据,且会与用户的行为和业务活动进行自动绑定,以方便准确地收集用户的行为数据和功能数据,并对这些数据进行分类分析。
其中,基础引擎SDK包402只会在系统第一次加载程序时出现,其体积相对较大,并且是利用服务器过期时间来控制其时效性的。另外,扩展SDK包和配置文件为一串二进制数,并负责控制基础引擎SDK包402的使用方式,且基础引擎SDK包402包括如下内容:1、RIA状态引擎,2、特性监控引擎3、标签扫描引擎,4、规则过滤引擎,5、事件收集引擎,6、DOM分析引擎。
图5示出了根据本发明的实施例的软件功能分析系统的客户端任务调度控制的结构示意图。
如图5所示,调度引擎106中存在调度主任务,且调度主任务主要负责三个类型操作:1、服务器端Json通讯管理,2、服务器端压力监控,3、超时定时器。其中,Json通讯管理只接收服务器传递过来的紧急处理请求,例如:配置信息更改,收集策略变更;压力监控引擎主要监控2个方面压力:1、当前业务级别服务器的压力情况,2、客户端浏览器的GC率,通过压力监控引擎,调度引擎106可以自由调节客户端子任务的执行粒度和执行时间,进而快速地调整客户端程序的运行状态,解决收集服务器对于用户业务操作和使用体验上的影响;超时定时器是管理子任务状态,保障任务的正常运转,避免死循环状态,对于重复任务增加超时判定。
下面将结合图5说明收集任务机制502的执行流程:
1)首先,收集任务机制502创建一个流程状态机,流程状态机内采用注册机制,该注册机制通过状态机主任务配置信息选择被注册的处理事件,其中,有五项必选事件,这五项事件面向5个比较重要的领域(如图5中的504所示):1、用户的行为动作信息数据收集,2、根据页面等待事件数据发生的变化信息收集,3、基于页面标签模拟流程顺序收集,4、用户业务服务器与客户端交互事件收集,5、运行环境变化状态信息收集;
但是,为了增加事件以扩大收集粒度的范围,还可以根据配置文件和Node.JS收集服务器302返回的服务器压力状况,选择506区域中的事件:1、基于异步请求分析,在服务器有请求的映射的事件,2、基于同页面行为频率收集事件,3、基于预定义的类型范围数据收集事件,4、基于前端标签和事件上下文进行收集事件,5、基于预制流程规则收集事件,6、基于访问来源收集事件。
2)在收集完事件后,收集任务状态机502将根据检测到的任务的类型、时间、描述和依赖关系将事件组成JSON数组存入前端数据仓库,同时,调度引擎主任务根据数据仓库大小和数据时间抽取数据压缩后交给MongoDB本地服务器以持久化数据。
图6示出了根据本发明的实施例的软件功能分析系统的服务器储存传输机制的结构示意图。
如图6所示,根据本发明的实施例的软件功能分析系统的服务器储存传输机制的结构示意图,客户端通过Long Polling的方式将待处理数据发送到Node.JS收集服务器302中,然后Node.JS收集服务器302对数据进行以下操作:1、使数据进入FIFO队列,2、增加服务器的压力。这2个步骤结束后Node.JS收集服务器302将当前系统负载数字直接返回给客户端以供客户端参考;然后收集服务器会根据压力阀值将在FIFO队列中的队列数据批量写入到MongoDB本地服务器304,以进行数据持久化并减少服务器压力;最后,本地服务器304中一个负责元数据事件规则的线程,将接收到的元数据生成新元数据(即分析服务器可以分析的数据),同时将数据同步到远端分析服务器以生成报表。
以上结合附图详细说明了本发明的技术方案,通过本发明的技术方案,可以在既不影响客户端体验又不影响系统运行时性能的情况下,有效地收集和分析用户的行为数据和功能数据。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种软件功能分析系统,其特征在于,包括:
模块加载器,用于通过连接模块侵入式加载至客户端的软件中,扫描通信环境,根据所述通信环境,生成与基础服务器的交互方式,与收集服务器通讯,下载基础引擎SDK包以及下载收集策略,以及在所述基础引擎SDK包被下载完成之后,创建运行容器;
所述运行容器,检测环境,并在环境检测结束之后产生至少一个分析对象,以及创建异步任务池,并将所述异步任务池中的主任务初始化为控制收集子任务的调度引擎,其中所述分析对象对应于与用户行为和业务活动相关的事件;
所述调度引擎,根据本地服务器传递的实时服务器压力和所述收集策略创建流程状态机来收集所述分析对象的数据;以及
分析服务器,对所述数据进行分析并生成分析结果。
2.根据权利要求1所述的软件功能分析系统,其特征在于,还包括:所述本地服务器通过元数据事件流引擎将收集到的所述数据进行加工成分析数据,并发送至所述分析服务器。
3.根据权利要求1或2所述的软件功能分析系统,其特征在于,所述运行容器检测环境具体为:串行执行以下过程:
检测浏览器环境,生成基础环境信息;
扫描网页标签,生成文档树;
扫描滚动条分辨率,生成特性控制元数据;以及
扫描用户服务器接口,生成交互对象表。
4.根据权利要求1或2所述的软件功能分析系统,其特征在于,所述流程状态机根据所述主任务的配置信息来选择事件,所述事件包括:用户的行为动作信息数据收集、根据页面等待事件数据发生的变化信息收集、基于页面标签模拟流程顺序收集、用户业务服务器与客户端交互事件收集、运行环境变化状态信息收集。
5.根据权利要求2所述的软件功能分析系统,其特征在于,还包括:
所述收集服务器将所述分析对象的数据置于FIFO队列,并增加所述收集服务器压力;以及
将在所述FIFO队列中的队列数据根据压力阈值写入所述本地服务器中进行数据持久化,同时减少所述收集服务器压力。
6.一种软件功能分析方法,其特征在于,包括:
模块加载器通过连接模块侵入式加载至客户端的软件中,扫描通信环境,根据所述通信环境,生成与基础服务器的交互方式,与收集服务器通讯,下载基础引擎SDK包以及下载收集策略,以及在所述基础引擎SDK包被下载完成之后,创建运行容器;
所述运行容器检测环境,并在环境检测结束之后产生至少一个分析对象,以及创建异步任务池,并将所述异步任务池中的主任务初始化为控制收集子任务的调度引擎,其中所述分析对象对应于与用户行为和业务活动相关的事件;
所述调度引擎根据本地服务器传递的实时服务器压力和所述收集策略创建流程状态机来收集所述分析对象的数据;以及
分析服务器对所述数据进行分析并生成分析结果。
7.根据权利要求6所述的软件功能分析方法,其特征在于,还包括:所述本地服务器通过元数据事件流引擎将收集到的所述数据进行加工成分析数据,并发送至所述分析服务器。
8.根据权利要求6或7所述的软件功能分析方法,其特征在于,所述运行容器检测环境具体为:串行执行以下过程:
检测浏览器环境,生成基础环境信息;
扫描网页标签,生成文档树;
扫描滚动条分辨率,生成特性控制元数据;以及
扫描用户服务器接口,生成交互对象表。
9.根据权利要求6或7所述的软件功能分析方法,其特征在于,所述流程状态机根据所述主任务的配置信息来选择事件,所述事件包括:用户的行为动作信息数据收集、根据页面等待事件数据发生的变化信息收集、基于页面标签模拟流程顺序收集、用户业务服务器与客户端交互事件收集、运行环境变化状态信息收集。
10.根据权利要求7所述的软件功能分析方法,其特征在于,还包括:
所述收集服务器将所述分析对象的数据置于FIFO队列,并增加所述收集服务器压力;以及
将在所述FIFO队列中的队列数据根据压力阈值写入所述本地服务器中进行数据持久化,同时减少所述收集服务器压力。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410318762.6A CN104077224B (zh) | 2014-07-04 | 2014-07-04 | 软件功能分析系统与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410318762.6A CN104077224B (zh) | 2014-07-04 | 2014-07-04 | 软件功能分析系统与方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104077224A CN104077224A (zh) | 2014-10-01 |
CN104077224B true CN104077224B (zh) | 2017-01-04 |
Family
ID=51598492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410318762.6A Active CN104077224B (zh) | 2014-07-04 | 2014-07-04 | 软件功能分析系统与方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104077224B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105701122B (zh) * | 2014-11-28 | 2020-06-16 | 深圳市腾讯计算机系统有限公司 | 一种日志收集方法、装置及系统 |
CN105373293A (zh) * | 2015-12-15 | 2016-03-02 | 北京奇虎科技有限公司 | 一种数据采集方法和装置 |
CN105516321B (zh) * | 2015-12-15 | 2019-06-04 | 北京奇虎科技有限公司 | 一种数据采集方法和装置 |
CN109144844B (zh) | 2017-06-27 | 2023-01-31 | 阿里巴巴集团控股有限公司 | 追踪方法、装置、设备和机器可读介质 |
CN107885655A (zh) * | 2017-08-10 | 2018-04-06 | 清远博云软件有限公司 | 一种软件运行效能综合分析检测方法 |
CN109508231B (zh) * | 2018-11-17 | 2020-09-18 | 中国人民解放军战略支援部队信息工程大学 | 异构多模处理器的等价体间的同步方法及装置 |
CN111443939A (zh) * | 2020-04-16 | 2020-07-24 | 视若飞信息科技(上海)有限公司 | 一种软件开发工具包的配置方法、装置和存储介质 |
CN112288840B (zh) * | 2020-10-26 | 2021-08-24 | 北京优锘科技有限公司 | 一种三维渲染引擎结合JavaScript脚本引擎实现运行的方法 |
CN115470008B (zh) * | 2022-11-14 | 2023-03-10 | 杭州拓数派科技发展有限公司 | 一种元数据访问方法、装置和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663543A (zh) * | 2012-03-22 | 2012-09-12 | 北京英孚斯迈特信息技术有限公司 | 一种用于企业数据统一平台的调度系统 |
CN103618652A (zh) * | 2013-12-17 | 2014-03-05 | 沈阳觉醒软件有限公司 | 一种业务数据的审计和深度分析系统及其方法 |
-
2014
- 2014-07-04 CN CN201410318762.6A patent/CN104077224B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663543A (zh) * | 2012-03-22 | 2012-09-12 | 北京英孚斯迈特信息技术有限公司 | 一种用于企业数据统一平台的调度系统 |
CN103618652A (zh) * | 2013-12-17 | 2014-03-05 | 沈阳觉醒软件有限公司 | 一种业务数据的审计和深度分析系统及其方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104077224A (zh) | 2014-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104077224B (zh) | 软件功能分析系统与方法 | |
US11288142B2 (en) | Recovery strategy for a stream processing system | |
CN107239318B (zh) | 应用转换方法、装置及设备 | |
Mazon-Olivo et al. | Rules engine and complex event processor in the context of internet of things for precision agriculture | |
US10198298B2 (en) | Handling multiple task sequences in a stream processing framework | |
CN102880503B (zh) | 数据分析系统及数据分析方法 | |
US10146592B2 (en) | Managing resource allocation in a stream processing framework | |
US10191768B2 (en) | Providing strong ordering in multi-stage streaming processing | |
US8713424B1 (en) | Asynchronous loading of scripts in web pages | |
US8996986B2 (en) | Enhanced delivery of content and program instructions | |
US20130067298A1 (en) | Automatically allocating clients for software program testing | |
US20070214207A1 (en) | Method and system for accurate issuance of data information | |
CN107103064B (zh) | 数据统计方法及装置 | |
US11240290B2 (en) | Application download method and apparatus, application sending method and apparatus, and system | |
CN103176895A (zh) | 一种回归测试方法和系统 | |
CN107508917A (zh) | 一种基于bitmap的web网站用户活跃度统计方法及系统 | |
WO2011119438A2 (en) | Detecting virality paths and supporting referral monetization | |
CN103941662A (zh) | 一种基于云计算的任务调度系统和调度方法 | |
CN113986746A (zh) | 性能测试方法及其装置、计算机可读存储介质 | |
CN102696013A (zh) | 用于预测多层计算机软件系统的性能的方法和设备 | |
CN106657099B (zh) | 一种Spark数据分析服务发布系统 | |
CN109360106B (zh) | 画像构建方法、系统、介质和计算机系统 | |
CN102891875A (zh) | 信令跟踪方法、web客户端、服务端及信令跟踪系统 | |
CN109246219A (zh) | 一种IoT数据采集系统的工作方法及系统 | |
CN108427639A (zh) | 自动化测试方法、应用服务器及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100094 Haidian District North Road, Beijing, No. 68 Applicant after: Yonyou Network Technology Co., Ltd. Address before: 100094 Beijing city Haidian District North Road No. 68, UFIDA Software Park Applicant before: UFIDA Software Co., Ltd. |
|
COR | Change of bibliographic data | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |