CN110990239A - 一种基于软传感器在用户设备中采集用户数据的系统及方法 - Google Patents
一种基于软传感器在用户设备中采集用户数据的系统及方法 Download PDFInfo
- Publication number
- CN110990239A CN110990239A CN201911111228.7A CN201911111228A CN110990239A CN 110990239 A CN110990239 A CN 110990239A CN 201911111228 A CN201911111228 A CN 201911111228A CN 110990239 A CN110990239 A CN 110990239A
- Authority
- CN
- China
- Prior art keywords
- data
- soft sensor
- sensor
- sampling
- soft
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于软传感器在用户设备中采集用户数据的系统及方法,系统包括:初始化装置,对预先设置的配置文件进行解析以确定需要采集的用户数据的多个数据类型;传感器生成装置,生成所述多个软传感器并利用每个软传感器对各自对应的数据类型的运行数据进行时间上的连续采集;数据采样装置,根据各自的采样时间间隔从每个软传感器连续采集的运行数据中确定每个采样点,并将每个采样点处的运行数据的数据集合作为每个软传感器的采样数据集;以及数据处理装置,将每个软传感器的经过数据过滤的采样数据集确定为所采集的用户数据。本发明可以实现对用户针对于富媒体的行为数据进行收集并且能够减少日志上报的空间规模。
Description
技术领域
本发明涉及数据采集技术领域,并且更具体地,涉及一种基于软传感器在用户设备中采集用户数据的系统及方法。
背景技术
应用或应用程序(App)的用户行为数据收集是一种通过在App中记录用户动作的数据收集行为。所收集的行为数据通常会被形成日志。App的开发者可以通过所收集的App的用户行为数据的日志来还原用户的操作细节,并根据操作细节来挖掘用户的倾向、偏好等,从而能给运营提供评价和指导数据。
传统上,对用户行为数据进行收集的方法都关注于用户的点击等操作,例如,用户在进行点击等行为的动作时,系统触发对点击等操作行为动作进行记录并生成用户行为数据的日志。这种与用户动作相关联的日志无法满足在富媒体(Rich Media,即,具有动画、声音、视频和/或交互性的信息传播方法)环境下对用户行为数据进行全面和精准地记录。在富媒体环境下,例如,用户对用户设备内的长文进行滑动浏览行为、播放行为等时,因为触发量巨大,现有技术无法通过动作触发来生成日志,或者至少是现有技术因为动作触发复杂而无法通过触发来简单收集并生成日志。这是因为滑动浏览行为或播放行为操作的入口多,例如,干预播放的动作可以是拖动进度条、快捷按钮上前进10秒等一系列的操作动作。触发就是动作的入口,对于记录来说需要开始和结束成对出现,丢失一个动作,可能导致收集紊乱。
此外,为了获取用户对长文的浏览细节,一般会添加如下日志:页面进入时间和跳出时间。为了判断用户浏览的进度,会将长文划分为多个段,在文中添加一些锚点。当页面滑动触发这些锚点的时候,会自动触发生成一条日志。这种方案的问题是:锚点采集不精准时,无法体现出用户停留的状态,并且业务需要对内容进行一定的侵入,比如锚点如何被触发,需要在内容中预埋。
同样地,对于媒体播放的场景,例如,包括音频和视频的播放,除了关注用户的操作之外,还需要考虑媒体播放会随着时间的推移。播放进度会自动向后滚动,但是由于播放是个过程,传统的用户行为数据的日志收集是单点触发,无法满足对整个播放过程中发生的各种行为进行记录的需求。此外,音频或视频在播放过程中还可能有一些异常或自动触发的场景,例如,单个媒体播放完成之后会有自动切换逻辑;遇到网络异常时,会有重试等待逻辑;以及app遇到异常关闭等。这些异常自动触发场景,会导致用户行为日志记录缺少结束时刻的记录。总体上,由于用户的行为是过程,而日志的收集是单点触发,因此会因为单点丢失,例如因为app异常关闭,导致缺少结束日志。这种情况下,在服务侧对日志的整体数据进行计算时,经常出现数据出现偏差并且产生脏数据和记录缺失的问题。
发明内容
为了解决现有技术中的问题,本发明提供的技术方案能够在细粒度采集用户富媒体浏览行为数据的同时,减少对业务功能的侵入,并且能够减少或避免App行为日志收集过程中产生的脏数据、记录缺失等问题。此外,本发明提供的技术方案能够对所采集的大量采样数据进行有效的裁剪压缩以节省数据存储和数据传输的成本。
根据本发明的一个方面,提供一种基于软传感器在用户设备中采集用户数据的系统,所述系统包括:
初始化装置,当接收到对所述用户设备中的用户数据进行采集的采集指令时,对预先设置的配置文件进行解析以确定需要采集的用户数据的多个数据类型;
传感器生成装置,对多个数据类型中的每个数据类型进行类型分析以确定与每个数据类型相对应的软传感器,从而确定多个软传感器,生成所述多个软传感器并利用每个软传感器对各自对应的数据类型的运行数据进行时间上的连续采集;
数据采样装置,为每个软传感器设置各自的采样时间间隔,并根据各自的采样时间间隔从每个软传感器连续采集的运行数据中确定每个采样点,并将每个采样点处的运行数据的数据集合作为每个软传感器的采样数据集;以及
数据处理装置,对每个软传感器的采样数据集进行数据过滤,以保留关键状态下的运行数据,将每个软传感器的经过数据过滤的采样数据集确定为所采集的用户数据。
所述预先设置的配置文件包括多个配置项,其中每个配置项包括:数据类型和激活状态。
其中数据类型包括:播放器数据、视图数据和系统状态数据:
所述激活状态用于指示数据类型是否为需要采集的。
所述软件传感器为播放器软传感器,所述播放器软传感器用于采集以下内容:当前播放的多媒体文件的标识符、多媒体文件的总长度和多媒体文件的当前进度。
所述软件传感器为视图软传感器,所述视图软传感器用于采集以下内容:当前滑动视图内的文档的标识符、滑动视图的逻辑高度、滑动视图顶部与文档顶部的偏移距离、滑动视图底部与文档顶部的偏移距离。
所述软件传感器为系统状态软传感器,所述系统状态软传感器用于采集以下内容:屏幕的息屏状态、当前时间和应用前台/后台的标识符。
所述数据采样装置根据每个软传感器相对应的数据类型为每个软传感器设置各自的采样时间间隔。
还包括,临时存储装置,对每个软传感器的采样数据集进行临时存储。
所述数据处理装置包括:
映射子装置,将每个软传感器的采样数据集中所有采样点处的运行数据映射到二维空间中,其中每个采样点处的运行数据作为二维空间中的一个数据点;
迭代子装置,针对于二维空间中的每个数据点,利用迭代适应点方法确定所有数据点中相对于关键数据点的状态变化值低的至少一个数据点;
保留子装置,将状态变化值低的至少一个数据点去除,以保留多个关键数据点,从而保留关键状态下的运行数据。
所述数据处理装置包括:
标注子装置,将每个软传感器的经过数据过滤的采样数据集利用软件传感器的标识符进行标注,以获得多个经过标注的采样数据集;
合并子装置,将多个经过标注的采样数据集进行合并在单个日志文件中,以作为所采集的用户数据。
根据本发明的另一方面,提供一种基于软传感器在用户设备中采集用户数据的方法,所述方法包括:
当接收到对所述用户设备中的用户数据进行采集的采集指令时,对预先设置的配置文件进行解析以确定需要采集的用户数据的多个数据类型;
对多个数据类型中的每个数据类型进行类型分析以确定与每个数据类型相对应的软传感器,从而确定多个软传感器,生成所述多个软传感器并利用每个软传感器对各自对应的数据类型的运行数据进行时间上的连续采集;
为每个软传感器设置各自的采样时间间隔,并根据各自的采样时间间隔从每个软传感器连续采集的运行数据中确定每个采样点,并将每个采样点处的运行数据的数据集合作为每个软传感器的采样数据集;以及
对每个软传感器的采样数据集进行数据过滤,以保留关键状态下的运行数据,将每个软传感器的经过数据过滤的采样数据集确定为所采集的用户数据。
所述预先设置的配置文件包括多个配置项,其中每个配置项包括:数据类型和激活状态。
其中数据类型包括:播放器数据、视图数据和系统状态数据;
所述激活状态用于指示数据类型是否为需要采集的。
所述软件传感器为播放器软传感器,所述播放器软传感器用于采集以下内容:当前播放的多媒体文件的标识符、多媒体文件的总长度和多媒体文件的当前进度。
所述软件传感器为视图软传感器,所述视图软传感器用于采集以下内容:当前滑动视图内的文档的标识符、滑动视图的逻辑高度、滑动视图顶部与文档顶部的偏移距离、滑动视图底部与文档顶部的偏移距离。
所述软件传感器为系统状态软传感器,所述系统状态软传感器用于采集以下内容:屏幕的息屏状态、当前时间和应用前台/后台的标识符。
为每个软传感器设置各自的采样时间间隔包括:
根据每个软传感器相对应的数据类型为每个软传感器设置各自的采样时间间隔。
在将每个采样点处的运行数据的数据集合作为每个软传感器的采样数据集之后还包括,
在用户设备的缓存区域中对每个软传感器的采样数据集进行临时存储。
所述对每个软传感器的采样数据集进行数据过滤,以保留关键状态下的运行数据包括:
将每个软传感器的采样数据集中所有采样点处的运行数据映射到二维空间中,其中每个采样点处的运行数据作为二维空间中的一个数据点;
针对于二维空间中的每个数据点,利用迭代适应点方法确定所有数据点中相对于关键数据点的状态变化值低的至少一个数据点;
将状态变化值低的至少一个数据点去除,以保留多个关键数据点,从而保留关键状态下的运行数据。
将每个软传感器的经过数据过滤的采样数据集确定为所采集的用户数据包括:
将每个软传感器的经过数据过滤的采样数据集利用软件传感器的标识符进行标注,以获得多个经过标注的采样数据集;
将多个经过标注的采样数据集进行合并在单个日志文件中,以作为所采集的用户数据。
此外,根据本发明的另一方面,本发明实施例提供一种基于软传感器采集富媒体数据的方法,所述方法包括:
通过构造软传感器,对用户设备中富媒体实例的关键指标进行采集;
通过运行后台服务,对传感器进行定时采样,收集当前的对象、进度等指标。
优选地,本发明还提供对软传感器采集的指标数据进行裁剪压缩的步骤:
对收集的大量数据做裁剪压缩,提高产出日志的信息密度,减少日志上报的空间规模。
此外,根据本发明的另一方面,本发明实施例提供与基于软传感器采集富媒体数据的方法相对应的多个模块,包括:
视图软传感器模块,用于获取当前视内容标识、窗逻辑高度、滑动窗顶部偏移位置和底部偏移位置;
播放器软传感器模块,用于获取当前播放的内容标识、总进度和当前的进度;
数据采样模块,定时触发采样,用于访问软传感器,收集当前的模块数据;以及
数据裁剪压缩模块,对一段采样数据进行裁剪、压缩,对输出的日志持久化。
本发明可以在对业务动作无侵入的前提下,实现对app中用户的滚动视图浏览行为和用户使用播放器对音视频进行播放的行为进行收集。本发明能够提高收集用户的行为日志的精度,并且减少了日志上报的空间规模。
附图说明
通过参考下面的附图,可以更为完整地理解本发明的示例性实施方式:
图1为根据本发明实施例的基于软传感器在用户设备中采集用户数据的系统的结构示意图;
图2为根据本发明实施例的用户行为数据收集装置的结构示意图;
图3为根据本发明实施例的采集与文档相关联的用户行为数据的示意图;
图4为根据本发明实施例的运行音频时的采样数据的示意图;
图5为根据本发明实施例的垂直滚动阅读时的采样数据的示意图;
图6为根据本发明实施例的对采样数据进行裁剪压缩处理的示意图;以及
图7为根据本发明实施例的基于软传感器在用户设备中采集用户数据的方法的流程图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式,然而,本发明可以用许多不同的形式来实施,并且不局限于此处描述的实施例,提供这些实施例是为了详尽地且完全地公开本发明,并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中,相同的单元/元件使用相同的附图标记。
除非另有说明,此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外,可以理解的是,以通常使用的词典限定的术语,应当被理解为与其相关领域的语境具有一致的含义,而不应该被理解为理想化的或过于正式的意义。
图1为根据本发明实施例的基于软传感器在用户设备中采集用户数据的系统100的结构示意图。系统100包括:初始化装置101、传感器生成装置102、数据采样装置103、数据处理装置104和临时存储装置105。
当接收到对所述用户设备中的用户数据进行采集的采集指令时,初始化装置101对预先设置的配置文件进行解析以确定需要采集的用户数据的多个数据类型。通常,可以由用户设备中运行的用户应用来发送对所述用户设备中的用户数据进行采集的采集指令。此外,还可以由用于对用户应用进行管理的管理应用或系统应用来发送对所述用户设备中的用户数据进行采集的采集指令。当需要对用户设备中的用户数据进行采集时,需要向初始化装置101发送对所述用户设备中的用户数据进行采集的采集指令以促使初始化装置101进行处理。
其中,预先设置的配置文件包括多个配置项。例如,可以使用任何合理的方式在生成和设置配置文件。每个配置项可以包括:数据类型和激活状态等。数据类型包括:播放器数据、视图数据和系统状态数据。播放器数据例如是当前播放的文件的标识符ID、当前播放的文件的当前进度时间、当前播放的文件的内容信息、当前播放的文件的关联文件信息、当前播放的文件的总长度等。视图数据例如是当前滑动视图内的文档的标识符、滑动视图的逻辑高度、滑动视图顶部与文档顶部的偏移距离和滑动视图底部与文档顶部的偏移距离。系统状态数据例如是屏幕的息屏状态、当前时间和应用前台/后台的标识符。激活状态用于指示数据类型是否为需要采集的(数据类型),例如数据类型A的激活状态为1,则需要采集数据类型A的数据,而数据类型B的激活状态为0,则不需要采集数据类型B的数据。
传感器生成装置102对多个数据类型中的每个数据类型进行类型分析以确定与每个数据类型相对应的软传感器,从而确定多个软传感器,生成所述多个软传感器并利用每个软传感器对各自对应的数据类型的运行数据进行时间上的连续采集。软件传感器可以包括播放器软传感器、视图软传感器和系统状态软传感器等。软件传感器可以是播放器软传感器,所述播放器软传感器用于采集以下内容:当前播放的多媒体文件的标识符、多媒体文件的总长度和多媒体文件的当前进度。软件传感器可以是视图软传感器,所述视图软传感器用于采集以下内容:当前滑动视图内的文档的标识符、滑动视图的逻辑高度、滑动视图顶部与文档顶部的偏移距离、滑动视图底部与文档顶部的偏移距离。软件传感器可以是系统状态软传感器,所述系统状态软传感器用于采集以下内容:屏幕的息屏状态、当前时间和应用前台/后台的标识符。
数据采样装置103为每个软传感器设置各自的采样时间间隔,并根据各自的采样时间间隔从每个软传感器连续采集的运行数据中确定每个采样点,并将每个采样点处的运行数据的数据集合作为每个软传感器的采样数据集。数据采样装置103可以为播放器软传感器、视图软传感器和系统状态软传感器等设置各自的采样时间间隔。例如,数据采样装置103为播放器软传感器设置第一采样时间间隔、为视图软传感器设置第二采样时间间隔和维系统状态软传感器设置第三采样时间间隔。通过为每个软传感器设置各自的采样时间间隔来促使每个软传感器按照各自的采样时间间隔来采集或获取数据。通常,数据采样装置103根据每个软传感器相对应的数据类型为每个软传感器设置各自的采样时间间隔。
数据处理装置104,对每个软传感器的采样数据集进行数据过滤,以保留关键状态下的运行数据,将每个软传感器的经过数据过滤的采样数据集确定为所采集的用户数据。数据处理装置包括:映射子装置1041、迭代子装置1042、保留子装置1043、标注子装置1044和合并子装置1045。
映射子装置1041将每个软传感器的采样数据集中所有采样点处的运行数据映射到二维空间中,其中每个采样点处的运行数据作为二维空间中的一个数据点。例如,映射子装置1041将播放器软传感器、视图软传感器和系统状态软传感器的所有采样点处的运行数据映射到二维空间中。迭代子装置1042针对于二维空间中的每个数据点,利用迭代适应点方法确定所有数据点中相对于关键数据点的状态变化值低的至少一个数据点。状态变化值低用于指示两个关键数据点或数据点之间的状态变化较小,二状态变化值高用于指示两个关键数据点或数据点之间的状态变化较大。保留子装置1043将状态变化值低的至少一个数据点去除,以保留多个关键数据点,从而保留关键状态下的运行数据。通过这种方式,本申请在保留关键数据点前提下对所采集到的大量数据进行裁剪压缩。标注子装置1044将每个软传感器的经过数据过滤的采样数据集利用软件传感器的标识符进行标注,以获得多个经过标注的采样数据集。例如,标注子装置1044将利用播放器软传感器、视图软传感器和系统状态软传感器各自的标识符对每个软传感器各自的经过数据过滤的采样数据集进行标注。合并子装置1045将多个经过标注的采样数据集进行合并在单个日志文件中,以作为所采集的用户数据。
临时存储装置105用于对每个软传感器的采样数据集进行临时存储。临时存储装置105可以是各种类型的存储设备,例如易失性存储或非易失性存储器、大容量存储器或小容量存储器等。
图2为根据本发明实施例的用户行为数据收集装置200的结构示意图。数据收集装置200可以包括:软传感器模块201、数据采样模块202和数据裁剪压缩模块203。数据收集装置200针对安卓Android/苹果公司操作系统iOS的移动平台中用户滚动视图浏览行为、用户使用播放器对音视频进行播放的行为等进行数据收集。
图2示出了本发明所提供的App用户行为数据收集装置200的基本组成模块及各个模块之间的关系。其中软传感器模块201可以包括一个或多个软传感器。软传感器例如可以是利用软件所构建的传感器,并且软传感器可以用于采集不同类型的数据或用户行为数据。软传感器例如是,播放器传感器、视图传感器、系统状态/时间传感器等。其中播放器传感器用于监测播放器的播放状态,例如前播放的多媒体文件的标识符、多媒体文件的总长度和多媒体文件的当前进度。视图传感器用于监测滑动视图,例如,当前滑动视图内的文档的标识符、滑动视图的逻辑高度、滑动视图顶部与文档顶部的偏移距离、滑动视图底部与文档顶部的偏移距离。系统状态/时间传感器用于与系统相连监测系统的状态/时间,例如,屏幕的息屏状态、当前时间和应用前台/后台的标识符。
软传感器的具体设置包括:确定需要采集的用户行为数据的类型,根据需要采集的用户行为数据的类型确定多个需要进行数据采集的模块/应用/程序/设备。本发明这里列举了播放器、滑动视图组件、系统时间、app前台/后台状态等。但是所属领域技术人员应当了解的是,本发明的软传感器并不限于所列举的播放器传感器、视图传感器、系统状态/时间传感器,并且需要进行数据采集的模块/应用/程序/设备也并不限于播放器、滑动视图组件、系统时间、app前台/后台状态。
针对于播放器,需要采集播放器当前播放的音频ID、播放内容的当前进度时间、播放内容的总长度等。针对于文档/文稿,需要采集当前显示文档/文稿的标识ID、当前文档/文稿显示的偏移。其中文档/文稿的偏移如图3所示。图3为根据本发明实施例的采集与文档/文稿相关联的用户行为数据的示意图。当前屏幕所在区域位于文档/文稿的位置如图3所示。在当前位置处,可以确定屏幕顶偏移、文档/文稿顶偏移、屏幕底偏移和文档/文稿底偏移。替换地,本申请实时采集屏幕的快照,并且可以使用屏幕底部偏移来确定上面各个偏移的位置。通过确定上述偏移位置,本申请可以对文档/文稿的浏览进度等数据进行采集。当前屏幕的文档/文稿偏移视为文档/文稿总偏移的偏移像素值。收集当前文档/文稿显示的偏移相当于阅读的进度,视觉上就是页面边缘的滑动条。针对于系统状态/时间,需要采集应用是否在前台活跃、手机是否息屏以及当前的系统时间等。
数据采样模块202构造一个在后台运行的定时器。通过定时器计时来定时获取各个软传感器所采集的用户行为数据。例如,数据采样模块102以200毫秒、300毫秒或400毫秒等时间间隔来获取页面偏移、播放进度、系统状态等瞬时状态值。数据采样模块102将各个软传感器所采集的用户行为数据进行汇总以构成采样数据。
数据裁剪压缩模块203接收来自数据采样模块202的采样数据。数据裁剪压缩模块203对采样数据进行裁剪压缩处理并最终形成日志。数据裁剪压缩模块203对从数据采样模块202接收的采样数据/采样数据集进行暂存,并且随后/以预定时间间隔对采样数据/采样数据集进行裁剪处理以实现对采样数据/采样数据集的压缩,并将经过裁剪的采样数据/采样数据集形成日志文件。
图4为根据本发明实施例的运行音频时的采样数据的示意图。如图4所示,其中横轴的坐标是时间并且单位为秒。图4中所记录的操作一共进行了25秒钟。纵轴是媒体内容(例如,视频文件)的时间值(或进度值)。视频文件开始播放后,在第7秒处暂停了6秒,并且在第13秒处继续播放。在第16秒时,从媒体内容的第10秒回退到第5秒,并且随后从第17秒处开始继续播放。
图5为根据本发明实施例的垂直滚动阅读时的采样数据的示意图。横轴的坐标为时间,并且纵轴的坐标是页面垂直偏移的像素值。图5中的条状结构是屏幕的顶部到底部的差值。即,用户从开始阅读后,屏幕的顶部到底部在逐渐变大,直至达到第19秒处达到极值,并且随后在21秒处复位。
图6为根据本发明实施例的对采样数据进行裁剪压缩处理的示意图。其中横坐标是时间,并且纵坐标是采样数据的采样点的数值。例如,采样点的数值可以是图4或图5中的内容时间或者垂直偏移值。
通过采样获取的数据量通常是特别大并且信息密度很低。本申请通过对采样的数据进行压缩,并利用经过压缩的数据生成日志。如上所述,本发明提供了两组数据,一组对应于播放器产生的数据,另一组对应于滑动视图产生的数据,分别如图4和图5所示。
下面对数据压缩方法/算法进行介绍。图6示出了对一组采样数据进行裁剪压缩处理的方法。通过对给定的一组数据进行处理来实现数据裁剪和压缩。在本实施例中,纵坐标对应的是播放的进度或滑动垂直偏移量。
例如,在步骤601中,给定了8个采样点,分别标记为采样点1-8。对首尾两个采样点进行连接,并计算采样点2-7到这个连接线的垂直距离。
在步骤602中,对步骤601中所有的垂直距离进行判断。采样点4号为最大值,且大于阈值。在文档/文稿阅读的实例中,阈值为阅读半屏的像素值,例如阈值为3。因此,基于采样点4,将多个采样点分割成线段1-4和线段4-8这两段。利用阈值来筛选采样点是为了去除状态变化较小的冗余点,并且保留能够表征状态的明显/关键变化的采样点。因此,阈值可以由所属领域技术人员根据采样数据的类型进行设置,并且可以是任何合理数值。
在步骤603中,采样点2和采样点3到线段1-4的距离都小于阈值,因此将采样点2和采样点3丢弃。采样点5到线段4-8的距离大于阈值,因此保留采样点5并继续分段。采样点6和采样点7到4-8的距离都小于阈值,因此将采样点6和采样点7丢弃。
在步骤604中,对所有采样点进行递归计算,完成对所有采样点的裁剪处理。
本发明的技术方案主要涉及富媒体浏览行为的数据收集和处理。其中,本发明以采样的方式对用户行为进行采集并且通过裁剪方法对用户行为采样数据进行压缩。收集过程包括利用诸如播放器传感器,视图传感器、系统状态/时间传感器来采集各自的信息,其中处理过程包括对状态变化较小的采样点进行去除,以节省空间,达到压缩数据量的效果。
图7为根据本发明实施例的基于软传感器在用户设备中采集用户数据的方法700的流程图。
方法700从步骤701处开始。在步骤701,当接收到对所述用户设备中的用户数据进行采集的采集指令时,对预先设置的配置文件进行解析以确定需要采集的用户数据的多个数据类型。通常,可以由用户设备中运行的用户应用来发送对所述用户设备中的用户数据进行采集的采集指令。此外,还可以由用于对用户应用进行管理的管理应用或系统应用来发送对所述用户设备中的用户数据进行采集的采集指令。当需要对用户设备中的用户数据进行采集时,需要向初始化装置发送对所述用户设备中的用户数据进行采集的采集指令以促使初始化装置进行处理。
其中,预先设置的配置文件包括多个配置项。例如,可以使用任何合理的方式在生成和设置配置文件。每个配置项可以包括:数据类型和激活状态等。数据类型包括:播放器数据、视图数据和系统状态数据。播放器数据例如是当前播放的文件的标识符ID、当前播放的文件的当前进度时间、当前播放的文件的内容信息、当前播放的文件的关联文件信息、当前播放的文件的总长度等。视图数据例如是当前滑动视图内的文档的标识符、滑动视图的逻辑高度、滑动视图顶部与文档顶部的偏移距离和滑动视图底部与文档顶部的偏移距离。系统状态数据例如是屏幕的息屏状态、当前时间和应用前台/后台的标识符。激活状态用于指示数据类型是否为需要采集的(数据类型),例如数据类型A的激活状态为1,则需要采集数据类型A的数据,而数据类型B的激活状态为0,则不需要采集数据类型B的数据。
在步骤702,对多个数据类型中的每个数据类型进行类型分析以确定与每个数据类型相对应的软传感器,从而确定多个软传感器,生成所述多个软传感器并利用每个软传感器对各自对应的数据类型的运行数据进行时间上的连续采集。软件传感器可以包括播放器软传感器、视图软传感器和系统状态软传感器等。软件传感器可以是播放器软传感器,所述播放器软传感器用于采集以下内容:当前播放的多媒体文件的标识符、多媒体文件的总长度和多媒体文件的当前进度。软件传感器可以是视图软传感器,所述视图软传感器用于采集以下内容:当前滑动视图内的文档的标识符、滑动视图的逻辑高度、滑动视图顶部与文档顶部的偏移距离、滑动视图底部与文档顶部的偏移距离。软件传感器可以是系统状态软传感器,所述系统状态软传感器用于采集以下内容:屏幕的息屏状态、当前时间和应用前台/后台的标识符。
在步骤703,为每个软传感器设置各自的采样时间间隔,并根据各自的采样时间间隔从每个软传感器连续采集的运行数据中确定每个采样点,并将每个采样点处的运行数据的数据集合作为每个软传感器的采样数据集。可以使用数据采样装置来采集数据。数据采样装置可以为播放器软传感器、视图软传感器和系统状态软传感器等设置各自的采样时间间隔。例如,数据采样装置为播放器软传感器设置第一采样时间间隔、为视图软传感器设置第二采样时间间隔和维系统状态软传感器设置第三采样时间间隔。通过为每个软传感器设置各自的采样时间间隔来促使每个软传感器按照各自的采样时间间隔来采集或获取数据。通常,数据采样装置根据每个软传感器相对应的数据类型为每个软传感器设置各自的采样时间间隔。
在步骤704,对每个软传感器的采样数据集进行数据过滤,以保留关键状态下的运行数据,将每个软传感器的经过数据过滤的采样数据集确定为所采集的用户数据。其中对每个软传感器的采样数据集进行数据过滤,以保留关键状态下的运行数据包括:将每个软传感器的采样数据集中所有采样点处的运行数据映射到二维空间中,其中每个采样点处的运行数据作为二维空间中的一个数据点;针对于二维空间中的每个数据点,利用迭代适应点方法确定所有数据点中相对于关键数据点的状态变化值低的至少一个数据点;将状态变化值低的至少一个数据点去除,以保留多个关键数据点,从而保留关键状态下的运行数据。其中将每个软传感器的经过数据过滤的采样数据集确定为所采集的用户数据包括:将每个软传感器的经过数据过滤的采样数据集利用软件传感器的标识符进行标注,以获得多个经过标注的采样数据集;将多个经过标注的采样数据集进行合并在单个日志文件中,以作为所采集的用户数据。
已经通过参考少量实施方式描述了本发明。然而,本领域技术人员所公知的,正如附带的专利权利要求所限定的,除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地,在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释,除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例,除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行,除非明确地说明。
Claims (10)
1.一种基于软传感器在用户设备中采集用户数据的系统,所述系统包括:
初始化装置,当接收到对所述用户设备中的用户数据进行采集的采集指令时,对预先设置的配置文件进行解析以确定需要采集的用户数据的多个数据类型;
传感器生成装置,对多个数据类型中的每个数据类型进行类型分析以确定与每个数据类型相对应的软传感器,从而确定多个软传感器,生成所述多个软传感器并利用每个软传感器对各自对应的数据类型的运行数据进行时间上的连续采集;
数据采样装置,为每个软传感器设置各自的采样时间间隔,并根据各自的采样时间间隔从每个软传感器连续采集的运行数据中确定每个采样点,并将每个采样点处的运行数据的数据集合作为每个软传感器的采样数据集;以及
数据处理装置,对每个软传感器的采样数据集进行数据过滤,以保留关键状态下的运行数据,将每个软传感器的经过数据过滤的采样数据集确定为所采集的用户数据。
2.根据权利要求1所述的系统,所述软件传感器为播放器软传感器,所述播放器软传感器用于采集以下内容:当前播放的多媒体文件的标识符、多媒体文件的总长度和多媒体文件的当前进度。
3.根据权利要求1所述的系统,所述软件传感器为视图软传感器,所述视图软传感器用于采集以下内容:当前滑动视图内的文档的标识符、滑动视图的逻辑高度、滑动视图顶部与文档顶部的偏移距离、滑动视图底部与文档顶部的偏移距离。
4.根据权利要求1所述的系统,所述软件传感器为系统状态软传感器,所述系统状态软传感器用于采集以下内容:屏幕的息屏状态、当前时间和应用前台/后台的标识符。
5.根据权利要求1所述的系统,所述数据采样装置根据每个软传感器相对应的数据类型为每个软传感器设置各自的采样时间间隔。
6.一种基于软传感器在用户设备中采集用户数据的方法,所述方法包括:
当接收到对所述用户设备中的用户数据进行采集的采集指令时,对预先设置的配置文件进行解析以确定需要采集的用户数据的多个数据类型;
对多个数据类型中的每个数据类型进行类型分析以确定与每个数据类型相对应的软传感器,从而确定多个软传感器,生成所述多个软传感器并利用每个软传感器对各自对应的数据类型的运行数据进行时间上的连续采集;
为每个软传感器设置各自的采样时间间隔,并根据各自的采样时间间隔从每个软传感器连续采集的运行数据中确定每个采样点,并将每个采样点处的运行数据的数据集合作为每个软传感器的采样数据集;以及
对每个软传感器的采样数据集进行数据过滤,以保留关键状态下的运行数据,将每个软传感器的经过数据过滤的采样数据集确定为所采集的用户数据。
7.根据权利要求6所述的方法,所述软件传感器为播放器软传感器,所述播放器软传感器用于采集以下内容:当前播放的多媒体文件的标识符、多媒体文件的总长度和多媒体文件的当前进度。
8.根据权利要求6所述的方法,所述软件传感器为视图软传感器,所述视图软传感器用于采集以下内容:当前滑动视图内的文档的标识符、滑动视图的逻辑高度、滑动视图顶部与文档顶部的偏移距离、滑动视图底部与文档顶部的偏移距离。
9.根据权利要求6所述的方法,所述软件传感器为系统状态软传感器,所述系统状态软传感器用于采集以下内容:屏幕的息屏状态、当前时间和应用前台/后台的标识符。
10.根据权利要求6所述的方法,为每个软传感器设置各自的采样时间间隔包括:
根据每个软传感器相对应的数据类型为每个软传感器设置各自的采样时间间隔。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911111228.7A CN110990239B (zh) | 2019-11-13 | 2019-11-13 | 一种基于软传感器在用户设备中采集用户数据的系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911111228.7A CN110990239B (zh) | 2019-11-13 | 2019-11-13 | 一种基于软传感器在用户设备中采集用户数据的系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110990239A true CN110990239A (zh) | 2020-04-10 |
CN110990239B CN110990239B (zh) | 2023-08-08 |
Family
ID=70084243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911111228.7A Active CN110990239B (zh) | 2019-11-13 | 2019-11-13 | 一种基于软传感器在用户设备中采集用户数据的系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110990239B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111897247A (zh) * | 2020-08-31 | 2020-11-06 | 重庆市海普软件产业有限公司 | 用于在线数据采集的控制系统及方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102404195A (zh) * | 2011-09-02 | 2012-04-04 | 华为技术有限公司 | 数据传输方法、网关和网络系统 |
CN102569009A (zh) * | 2010-12-07 | 2012-07-11 | 北京北方微电子基地设备工艺研究中心有限责任公司 | 工艺数据采集方法、装置及系统 |
US20140280564A1 (en) * | 2013-03-15 | 2014-09-18 | Tomorrowish Llc | Displaying Social Media Content |
CN105704240A (zh) * | 2016-04-01 | 2016-06-22 | 成都景博信息技术有限公司 | 一种远程车联网智能监控系统 |
DE102015225857A1 (de) * | 2015-12-18 | 2017-06-22 | Robert Bosch Gmbh | Benutzerdatenerfassungsvorrichtung |
CN108334651A (zh) * | 2018-02-08 | 2018-07-27 | 北京小米移动软件有限公司 | 收集用户端数据实现预设需求的方法、装置及存储介质 |
CN108917823A (zh) * | 2018-06-06 | 2018-11-30 | 国网山东省电力公司博兴县供电公司 | 自动设置开关柜监测参数的在线监测方法及系统 |
CN109348176A (zh) * | 2018-10-26 | 2019-02-15 | 上海电气风电集团有限公司 | 集成有视频系统的风力发电机组监控与数据采集系统 |
CN109443422A (zh) * | 2018-09-27 | 2019-03-08 | 北京金茂绿建科技有限公司 | 分布式传感器的多数据集中显示方法 |
CN109885582A (zh) * | 2019-03-05 | 2019-06-14 | 北京主线科技有限公司 | 管理无人驾驶数据的方法、装置及系统 |
-
2019
- 2019-11-13 CN CN201911111228.7A patent/CN110990239B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102569009A (zh) * | 2010-12-07 | 2012-07-11 | 北京北方微电子基地设备工艺研究中心有限责任公司 | 工艺数据采集方法、装置及系统 |
CN102404195A (zh) * | 2011-09-02 | 2012-04-04 | 华为技术有限公司 | 数据传输方法、网关和网络系统 |
US20140280564A1 (en) * | 2013-03-15 | 2014-09-18 | Tomorrowish Llc | Displaying Social Media Content |
DE102015225857A1 (de) * | 2015-12-18 | 2017-06-22 | Robert Bosch Gmbh | Benutzerdatenerfassungsvorrichtung |
CN105704240A (zh) * | 2016-04-01 | 2016-06-22 | 成都景博信息技术有限公司 | 一种远程车联网智能监控系统 |
CN108334651A (zh) * | 2018-02-08 | 2018-07-27 | 北京小米移动软件有限公司 | 收集用户端数据实现预设需求的方法、装置及存储介质 |
CN108917823A (zh) * | 2018-06-06 | 2018-11-30 | 国网山东省电力公司博兴县供电公司 | 自动设置开关柜监测参数的在线监测方法及系统 |
CN109443422A (zh) * | 2018-09-27 | 2019-03-08 | 北京金茂绿建科技有限公司 | 分布式传感器的多数据集中显示方法 |
CN109348176A (zh) * | 2018-10-26 | 2019-02-15 | 上海电气风电集团有限公司 | 集成有视频系统的风力发电机组监控与数据采集系统 |
CN109885582A (zh) * | 2019-03-05 | 2019-06-14 | 北京主线科技有限公司 | 管理无人驾驶数据的方法、装置及系统 |
Non-Patent Citations (6)
Title |
---|
丁治明等: "面向物联网海量传感器采样数据管理的数据库集群系统框架", 《计算机学报》 * |
丁治明等: "面向物联网海量传感器采样数据管理的数据库集群系统框架", 《计算机学报》, no. 06, 15 June 2012 (2012-06-15), pages 103 - 119 * |
刘敏等: "输电线路微风振动在线监测系统的设计与实现", 《自动化与信息工程》 * |
刘敏等: "输电线路微风振动在线监测系统的设计与实现", 《自动化与信息工程》, no. 06, 15 December 2012 (2012-12-15), pages 32 - 37 * |
吴斌等: "自适应系统软件传感器设计与实现", 《计算机科学》 * |
吴斌等: "自适应系统软件传感器设计与实现", 《计算机科学》, no. 08, 15 August 2010 (2010-08-15), pages 158 - 161 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111897247A (zh) * | 2020-08-31 | 2020-11-06 | 重庆市海普软件产业有限公司 | 用于在线数据采集的控制系统及方法 |
CN111897247B (zh) * | 2020-08-31 | 2022-08-12 | 重庆市海普软件产业有限公司 | 用于在线数据采集的控制系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110990239B (zh) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8676027B2 (en) | Method for event initiated video capturing and a video camera for capture event initiated video | |
CN108345524B (zh) | 应用程序监控方法及应用程序监控装置 | |
CN111241453B (zh) | 页面访问时长采集方法、装置、介质及电子设备 | |
KR100672296B1 (ko) | 양방향 티브이를 이용한 시청률 산출방법 | |
US10026446B2 (en) | Intelligent playback method for video records based on a motion information and apparatus thereof | |
CN104702914A (zh) | 一种监控视频的数据处理方法及系统 | |
US20150131964A1 (en) | Systems and methods of determining retention of video surveillance data | |
CN106033324A (zh) | 一种数据存储的方法和装置 | |
CN101025981A (zh) | 一种数字录音系统及方法 | |
CN112866817B (zh) | 视频回放方法、装置、电子装置和存储介质 | |
CN113589767A (zh) | 一种机器人流程自动化rpa处理方法和相关装置 | |
CN112734982A (zh) | 无人车驾驶行为数据的存储方法和系统 | |
CN105786539A (zh) | 一种文件下载方法及装置 | |
CN113824987B (zh) | 直播间首帧耗时的确定方法、介质、装置和计算设备 | |
CN110990239B (zh) | 一种基于软传感器在用户设备中采集用户数据的系统及方法 | |
CN104104895A (zh) | 对视频数据进行录像回放的方法及硬盘录像机 | |
CN111147778B (zh) | 基于数字视频录像机的轨迹录像方法、装置及存储介质 | |
CN1937065A (zh) | 可写入磁盘的数据录制方法与系统 | |
JP5032583B2 (ja) | 映像記録装置、映像記録方法、映像記録プログラム及び集積回路 | |
CN113728655A (zh) | 用于监控在操作系统内执行的至少一个应用的使用情况的方法、相应装置、计算机程序产品和计算机可读载体介质 | |
CN106648447B (zh) | 嵌入式安防设备的数据提取方法 | |
CN109729427A (zh) | 收视时长的统计方法及装置 | |
CN111198794B (zh) | 基于列表控件的浏览行为数据采集方法和装置 | |
KR101329976B1 (ko) | 리포트 생성 방법 및 시스템 | |
WO2003105489A1 (en) | Method and device for online dynamic semantic video compression and video indexing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |