CN114201386A - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114201386A CN114201386A CN202111392504.9A CN202111392504A CN114201386A CN 114201386 A CN114201386 A CN 114201386A CN 202111392504 A CN202111392504 A CN 202111392504A CN 114201386 A CN114201386 A CN 114201386A
- Authority
- CN
- China
- Prior art keywords
- data
- account data
- test
- value
- account
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本公开是关于一种数据处理方法、装置、电子设备及存储介质,其方法包括:分别获取基准账户数据和测试账户数据,其中,所述基准账户数据是账户访问基准程序时产生的数据,所述测试账户数据是账户访问测试程序时产生的数据;获取所述基准账户数据对应的基准值和所述测试账户数据对应的检验值,所述基准值是基于对基准账户数据中的稀疏数据处理得到,检验值是基于对测试账户数据中的稀疏数据处理得到;将检验值与所述基准值进行对比,获得对测试账户数据的测试结果。由于通过基准账户数据和测试账户数据中的稀疏数据进行处理,分别得到检验值与基准值,这样可以减少数据的方差,从而缩窄置信区间,避免稀疏数据的极端值影响,可以大大提高测试效果。
Description
技术领域
本公开涉及计算机领域,尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
AB实验可以是在开发程序产生新版本时,在相同的维度下,分别让结构相同或者相似的的访客群组随机或按规则的访问程序的原有的基准版本和新的测试版本,通过AB实验得到测试版本对应的测试数据,并根据测试数据确定测试版本存在的问题。
然而,在AB实验中,由于稀疏厚尾指标通常会影响AB实验的准确性,使得无法对测试版本的任务目标进行准确的评价,进而无法确定测试版本是否可以被采用。
发明内容
为克服相关技术中存在的问题,本公开提供一种数据处理方法、装置、电子设备及存储介质。
根据本公开实施例的第一方面,提供一种数据方法,包括:
分别获取基准账户数据和测试账户数据,其中,所述基准账户数据是账户访问基准程序时产生的数据,所述测试账户数据是账户访问测试程序时产生的数据;
获取所述基准账户数据对应的基准值和所述测试账户数据对应的检验值,所述基准值是基于对所述基准账户数据中的稀疏数据处理得到,所述检验值是基于对所述测试账户数据中的稀疏数据处理得到;
将所述检验值与所述基准值进行对比,获得对所述测试账户数据的测试结果。
可选地,所述获取所述基准账户数据对应的基准值,包括:
获取所述基准账户数据的第一期望值和所述基准账户数据中稀疏数据所占的第一比例,所述第一期望值通过所述基准账户数据中所述稀疏数据的均值和方差确定;
基于所述基准账户数据的第一期望值和所述基准账户数据中所述稀疏数据所占的第一比例,获得所述基准账户数据对应的基准值。
可选地,所述获取所述测试账户数据对应的检验值,包括:
获取所述测试账户数据的第二期望值和所述测试账户数据中稀疏数据所占的第二比例,所述第二期望值通过所述测试账户数据中所述稀疏数据的均值和方差确定;
基于所述测试账户数据的第二期望值和所述基准账户数据中所述稀疏数据所占的第二比例,获得所述基准账户数据对应的检验值。
可选地,所述方法还包括:
预先确定所述第一期望值和所述第一比例的乘积与所述第二期望值和所述第二比例的乘积具有对应关系。
可选地,所述稀疏数据为所述基准账户数据或者测试账户数据中不为零的数据。
根据本公开实施例的第二方面,提供一种数据处理装置,包括:
数据获取模块,被配置为分别获取基准账户数据和测试账户数据,其中,所述基准账户数据是账户访问基准程序时产生的数据,所述测试账户数据是账户访问测试程序时产生的数据;
数值获取模块,被配置获取所述基准账户数据对应的基准值和所述测试账户数据对应的检验值,所述基准值是基于对所述基准账户数据中的稀疏数据处理得到,所述检验值是基于对所述测试账户数据中的稀疏数据处理得到;
比对模块,被配置将所述检验值与所述基准值进行对比,获得对所述测试账户数据的测试结果。
可选地,所述数值获取模块,包括:
第一比例确定子模块,被配置为获取所述基准账户数据的第一期望值和所述基准账户数据中稀疏数据所占的第一比例,所述第一期望值通过所述基准账户数据中所述稀疏数据的均值和方差确定;
基准值获取子模块,被配置为基于所述基准账户数据的第一期望值和所述基准账户数据中所述稀疏数据所占的第一比例,获得所述基准账户数据对应的基准值。
可选地,所述数值获取模块,包括:
第二比例确定子模块,被配置为获取所述测试账户数据的第二期望值和所述测试账户数据中稀疏数据所占的第二比例,所述第二期望值通过所述测试账户数据中所述稀疏数据的均值和方差确定;
检验值获取子模块,被配置为基于所述测试账户数据的第二期望值和所述基准账户数据中所述稀疏数据所占的第二比例,获得所述基准账户数据对应的检验值。
可选地,所述装置还包括:
确定模块,被配置为预先确定所述第一期望值和所述第一比例的乘积与所述第二期望值和所述第二比例的乘积具有对应关系。
可选地,所述稀疏数据为所述基准账户数据或者测试账户数据中不为零的数据。
根据本公开实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述任一所述的数据处理方法。
本公开实施例的第四方面,提供一种计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述一种数据处理方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的数据处理方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例提供的数据处理方法、装置、电子设备及存储介质,通过分别获取基准账户数据和测试账户数据,获取基准账户数据对应的基准值和测试账户数据对应的检验值,经过将检验值与基准值进行对比,获得对测试账户数据的测试结果。由于本公开实施例会对基准账户数据和测试账户数据中的稀疏数据进行处理,来分别得到检验值与基准值,可以减少数据的方差,从而缩窄置信区间,避免稀疏数据的极端值影响,可以大大提高测试效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种数据处理方法的流程图;
图2是图1中步骤S120流程图;
图3是是图1中步骤S120的另一流程图;
图4是根据一示例性实施例示出的一种数据处理装置的框图;
图5是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种数据处理方法的流程图,如图1所示,该方法用于终端中,可以包括以下步骤:
在步骤S110中,分别获取基准账户数据和测试账户数据。
其中,基准账户数据是账户访问基准程序时产生的数据,测试账户数据是账户访问测试程序时产生的数据。
可以理解的是,在开发过程中,一个程序会不断的更新,可以将更新前的程序称为基准程序,将更新后的程序称为测试程序。账户在访问基准程序过程中所产生的数据可以称为基准数据,账户在访问测试程序过程中产生的数据可以称为测试数据。
需要说明的是,本公开所涉及的账户信息(包括但不限于账户设备信息、账户个人信息等),均为经账户授权或者经过各方充分授权的信息。
在步骤S120中,获取基准账户数据对应的基准值和测试账户数据对应的检验值。
其中,该基准值是基于对基准账户数据中的稀疏数据处理得到,检验值是基于对测试账户数据中的稀疏数据处理得到。
由于分布具有稀疏、厚尾特征的数据在AB实验中容易受到极端值的影响,使得无法高效、准确地评估实验效果,因此本公开实施例会预先对稀疏数据进行预先处理,避免稀疏数据对AB实验结果的影响。其中,稀疏数据是指数据中零值点数据很多,有效数据点会占比较小。这导致指标收敛至正态分布较慢(需要更大的样本量),同时由于波动过大,对于实验效果检验的效力降低。
例如,在有直播功能的短视频平台中,有时候会只有一小部分账户会观看直播,但有些观看直播的账户会看很长时间,这时在全部活跃账户上对账户观看直播时长进行假设检验时,就会出现存在极端值和大量零值的问题,导致统计效力低,可以通过本公开实施例提供的方式来提升统计效力。
因此,本公开实施例中在分别获取到的基准账户数据和测试账户数据时,基准账户数据和测试账户数据通常都会包含大量零值数据,零值数据为账户没有产生用户行为的数据,例如观看时长为零。所以需要考虑数据中的稀疏数据来提升检验效力。
为了方案描述清楚,将在下面实施例中对获取基准账户数据对应的基准值,以及,获取测试账户数据对应的检验值的具体实现方式进行详细阐述。
在步骤S130中,将检验值与基准值进行对比,获得对测试账户数据的测试结果。
在本公开提供的实施例中,通过获取基准账户数据对应的基准值和测试账户数据对应的检验值,将检验值与基准值进行对比分析,就可以获得对测试账户数据的测试结果。实施例中会考虑稀疏数据分别在基准账户数据和测试账户数据的分布情况,来分别得到基准账户数据对应的基准值和测试账户数据对应的检验值,避免直接通过样本数据的均值作为检验值和基准值来进行对比分析,这样可以有效提高正确率。
需要说明的是,实施例中的样本可以为基准账户数据或测试账户数据的具体呈现形式,基准账户数据或测试账户数据可以分别包括一个或者多个样本数据,这里不限于此。
实施例中可以通过即将实验组和基准组中的样本进行不放回的重复抽样若干次,用每次抽样得到的样本计算检验值,得到检验值的经验分布,根据经验分布进行统计推断。还可以根据理论方差来分别计算基准账户数据和测试账户数据的方差,得到检验值的方差,进而可以使用统计假设检验比较基准账户数据和测试账户数据之间是否具有显著性差异,从而获得对测试账户数据的测试结果。
本公开实施例提供的数据处理方法,分别获取基准账户数据和测试账户数据,通过获取基准账户数据对应的基准值和测试账户数据对应的检验值,经过将检验值与基准值进行对比,获得对测试账户数据的测试结果。由于本公开实施例会对基准账户数据和测试账户数据中的稀疏数据进行处理,来分别得到检验值与所述基准值,可以减少数据的方差,从而缩窄置信区间,避免稀疏数据的极端值影响,可以大大提高测试效果。
在本公开提供的又一实施例中,基于上述实施例,为了确定如何获得基准账户数据对应的基准值,如图2所示,步骤S120还可以包括以下步骤:
在步骤S121中,获取基准账户数据的第一期望值和基准账户数据中稀疏数据所占的第一比例。
其中,该第一期望值通过基准账户数据中稀疏数据的均值和方差确定。
在步骤S122中,基于基准账户数据的第一期望值和基准账户数据中稀疏数据所占的第一比例,获得基准账户数据对应的基准值。
在本公开提供的实施例中,可以把基准账户的行为分为两步:
第一步,确定基准账户的行为是否发生,如果基准账户的行为未发生,即没有产生相应的行为数据,例如基准账户对应的直播观看时长为0,那么其数值也就为0;如果基准账户的行为发生,即产生了相应的行为数据,那么其数值大于0,例如基准账户对应的观看时长大于0。具体的,可以通过基准账户数据中数值不为0的比例,确定出测试账户数据中稀疏数据的占比p1。
第二步,估计基准账户数据服从log-normal(对数正态分布),并估计出对数正态分布的均值和方差。具体的,基准账户数据中稀疏数据即数值不为0的数据的均值,记为μ1;基准账户数据中稀疏数据即数值不为0的数据的标准差,记为σ1。
基准账户数据对应的期望值为p1*(exp(μ1+σ1 2/2)),其中,p1为基准账户数据中稀疏数即数值不为0的数据的占比,μ1为基准账户数据中稀疏数据即数值不为0的数据的均值,σ1为基准账户数据中稀疏数据即数值不为0的数据的方差。
在AB实验场景下,一般样本为一个分桶或一个分组。如果样本为分桶,则使用各分桶上一步得到的期望值的均值作为基准账户数据对应的期望值;如果样本为分组,则直接将上一步得到的期望值作为基准账户数据对应的期望值。
在本公开提供的又一实施例中,基于上述实施例,为了确定如何测试账户数据对应的检验值,如图3所示,步骤S120还可以包括以下步骤:
在步骤S123中,获取测试账户数据的第二期望值和测试账户数据中稀疏数据所占的第二比例。
其中,第二期望值通过测试账户数据中稀疏数据的账户数据的均值和方差确定。
在步骤S124中,基于测试账户数据的第二期望值和基准账户数据中稀疏数据所占的第二比例,获得基准账户数据对应的检验值。
同理,在本公开提供的实施例中,同样可以把测试账户的行为分为两步:
第一步,确定测试账户的行为是否发生,如果测试账户的行为未发生,即没有产生相应的行为数据,例如测试账户对应的直播观看时长为0,那么其数值也就为0;如果测试账户的行为发生,即产生了相应的行为数据,那么其数值大于0,具体的,可以通过测试账户数据中数值不为0的比例,确定出测试账户数据中稀疏数据的占比p2。
第二步,估计基测试账户数据服从log-normal分布,并估计出对数正态分布的均值和方差。具体的,测试账户数据中稀疏数据即数值不为0的数据的均值,记为μ2;测试账户数据中稀疏数据即数值不为0的数据的标准差,记为σ2。
测试账户数据对应的期望值为p2*(exp(μ2+σ2 2/2)),其中,p2为测试账户数据中稀疏数据即数值不为0的数据的占比,μ2为测试账户数据中稀疏数据的均值,σ2为测试账户数据中稀疏数据的方差。
在AB实验场景下,一般样本为一个分桶或一个分组。如果样本为分桶,则使用各分桶上一步得到的期望值的均值作为测试账户数据对应的期望测试值;如果样本为分组,则直接将上一步得到的期望值作为测试账户数据对应的测试值。
在实际应用中,如果基准账户数据和测试账户数据中稀疏数据差别较大,也会影响AB实验的测试结果,因此,在一种实施方式中,该数据处理方式还可以包括:预先确定第一期望值和第一比例的乘积与第二期望值和第二比例的乘积具有对应关系。
其中,该对应关系可以是:第一期望值和第一比例的乘积与第二期望值和第二比例的乘积相同。当然,第一期望值和第一比例的乘积与第二期望值和第二比例的乘积之间的对应关系还可以根据实际情况设定,本公开实施例对此不做具体限定。
以第一期望值和第一比例的乘积与第二期望值和第二比例的乘积相同为例,具体的,可以预先确定:p1*E(X1)=p2*E(X2),脚标1、2代表基准账户数据和测试实验数据,其中,p1为基准账户数据中稀疏数据即数值不为0的数据所占的第一比例,E(X1)为基准账户数据的第一期望值,p2为基准账户数据中稀疏数据即数值不为0的数据所占的第二比例,E(X2)为测试账户数据的第二期望值。可以使用开源工具包bootstrap或理论方差来进行假设检验,理论方差可以用总方差定律law of total variance求解,得到条件方差公式VAR(X)=p*(exp(2μ+σ2))*(exp(σ2)-p),其中μ是分布均值,σ是分布标准差。
可见,通过预先设置条件来避免基准账户数据和测试账户数据因稀疏数据不一致而影响测试结果。
需要说明的是,AB实验中通过期望和方差来确定两组数据之间的差异的方式还有很多已有的方式,这里不再赘述。但本公开实施例中对于稀疏厚尾的指标,相比于直接将样本均值作为检验值,本公开实施例可以有效缩小置信区间,减少第二类错误率。这样通过分别获取基准账户数据和测试账户数据,获取基准账户数据对应的基准值和测试账户数据对应的检验值,经过将检验值与基准值进行对比,获得对测试账户数据的测试结果。由于本公开实施例会对基准账户数据和测试账户数据中的稀疏数据进行处理,来分别得到检验值与所述基准值,可以减少数据的方差,从而缩窄置信区间,避免稀疏数据的极端值影响,可以大大提高测试效果。
图4是根据一示例性实施例示出的一种数据处理装置框图。参照图4,该装置包括数据获取模块10,数值获取模块单元20和比对模块30。
数据获取模块10,被配置为分别获取基准账户数据和测试账户数据,其中,所述基准账户数据是账户访问基准程序时产生的数据,所述测试账户数据是账户访问测试程序时产生的数据;
数值获取模块20,被配置获取所述基准账户数据对应的基准值和所述测试账户数据对应的检验值,所述基准值是基于对所述基准账户数据中的稀疏数据处理得到,所述检验值是基于对所述测试账户数据中的稀疏数据处理得到;
比对模块30,被配置将所述检验值与所述基准值进行对比,获得对所述测试账户数据的测试结果。
在本公开提供的又一实施例中,所述数值获取模块,包括:
第一比例确定子模块,被配置为获取所述基准账户数据的第一期望值和所述基准账户数据中稀疏数据所占的第一比例,所述第一期望值通过所述基准账户数据中所述稀疏数据的均值和方差确定;
基准值获取子模块,被配置为基于所述基准账户数据的第一期望值和所述基准账户数据中稀疏数据所占的第一比例,获得所述基准账户数据对应的基准值。
在本公开提供的又一实施例中,所述数值获取模块,包括:
第二比例确定子模块,被配置为获取所述测试账户数据的第二期望值和所述测试账户数据中稀疏数据所占的第二比例,所述第二期望值通过所述测试账户数据中所述稀疏数据的账户数据的均值和方差确定;
检验值获取子模块,被配置为基于所述测试账户数据的第二期望值和所述基准账户数据中稀疏数据所占的第二比例,获得所述基准账户数据对应的检验值。
在本公开提供的又一实施例中,所述装置还包括:
确定模块,被配置为预先确定所述第一期望值和所述第一比例的乘积与所述第二期望值和所述第二比例的乘积具有对应关系。
在本公开提供的又一实施例中,所述稀疏数据为所述基准账户数据或者测试账户数据中不为零的数据。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开实施例提供的数据处理装置,通过分别获取基准账户数据和测试账户数据,获取基准账户数据对应的基准值和测试账户数据对应的检验值,经过将检验值与基准值进行对比,获得对测试账户数据的测试结果。由于本公开实施例会对基准账户数据和测试账户数据中的稀疏数据进行处理,来分别得到检验值与所述基准值,可以减少数据的方差,从而缩窄置信区间,避免稀疏数据的极端值影响,可以大大提高测试效果。
图5是根据一示例性实施例示出的一种用于数据处理的装置800的框图。例如,装置800是一种电子设备,具体可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图5,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电力组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述数据处理方法。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例还提供一种计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述一种数据处理方法。
由于本公开实施例会对基准账户数据和测试账户数据中的稀疏数据进行处理,来分别得到检验值与基准值,可以减少数据的方差,从而缩窄置信区间,避免稀疏数据的极端值影响,可以大大提高测试效果。
根据本公开实施例还提供一种计算机程序产品,在本公开提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的数据处理方法的步骤。
由于本公开实施例会对基准账户数据和测试账户数据中的稀疏数据进行处理,来分别得到检验值与基准值,可以减少数据的方差,从而缩窄置信区间,避免稀疏数据的极端值影响,可以大大提高测试效果。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、DSL(Digital Subscriber Line,数字用户线))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD(Digital Versatile Disc,数字多功能光盘))、或者半导体介质(例如SSD(Solid StateDisk,固态硬盘))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
分别获取基准账户数据和测试账户数据,其中,所述基准账户数据是账户访问基准程序时产生的数据,所述测试账户数据是账户访问测试程序时产生的数据;
获取所述基准账户数据对应的基准值和所述测试账户数据对应的检验值,所述基准值是基于对所述基准账户数据中的稀疏数据处理得到,所述检验值是基于对所述测试账户数据中的稀疏数据处理得到;
将所述检验值与所述基准值进行对比,获得对所述测试账户数据的测试结果。
2.根据权利要求1所述的方法,其特征在于,所述获取所述基准账户数据对应的基准值,包括:
获取所述基准账户数据的第一期望值和所述基准账户数据中稀疏数据所占的第一比例,所述第一期望值通过所述基准账户数据中所述稀疏数据的均值和方差确定;
基于所述基准账户数据的第一期望值和所述基准账户数据中所述稀疏数据所占的第一比例,获得所述基准账户数据对应的基准值。
3.根据权利要求2所述的方法,其特征在于,所述获取所述测试账户数据对应的检验值,包括:
获取所述测试账户数据的第二期望值和所述测试账户数据中稀疏数据所占的第二比例,所述第二期望值通过所述测试账户数据中所述稀疏数据的均值和方差确定;
基于所述测试账户数据的第二期望值和所述基准账户数据中所述稀疏数据所占的第二比例,获得所述测试账户数据对应的检验值。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
预先确定所述第一期望值和所述第一比例的乘积与所述第二期望值和所述第二比例的乘积具有对应关系。
5.根据权利要求1~4任一所述的方法,其特征在于,所述稀疏数据为所述基准账户数据或者测试账户数据中不为零的数据。
6.一种数据处理装置,其特征在于,包括:
数据获取模块,被配置为分别获取基准账户数据和测试账户数据,其中,所述基准账户数据是账户访问基准程序时产生的数据,所述测试账户数据是账户访问测试程序时产生的数据;
数值获取模块,被配置获取所述基准账户数据对应的基准值和所述测试账户数据对应的检验值,所述基准值是基于对所述基准账户数据中的稀疏数据处理得到,所述检验值是基于对所述测试账户数据中的稀疏数据处理得到;
比对模块,被配置将所述检验值与所述基准值进行对比,获得对所述测试账户数据的测试结果。
7.根据权利要求6所述的装置,其特征在于,所述数值获取模块,包括:
第一比例确定子模块,被配置为获取所述基准账户数据的第一期望值和所述基准账户数据中稀疏数据所占的第一比例,所述第一期望值通过所述基准账户数据中所述稀疏数据的均值和方差确定;
基准值获取子模块,被配置为基于所述基准账户数据的第一期望值和所述基准账户数据中所述稀疏数据所占的第一比例,获得所述基准账户数据对应的基准值。
8.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-5任一所述的数据处理方法。
9.一种计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行一种数据处理方法,所述方法包括权利要求1-5任一所述的数据处理方法的步骤。
10.一种计算机程序产品,其特征在于,当其在计算机上运行时,使得计算机执行权利要求1-5任一所述的数据处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111392504.9A CN114201386A (zh) | 2021-11-19 | 2021-11-19 | 数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111392504.9A CN114201386A (zh) | 2021-11-19 | 2021-11-19 | 数据处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114201386A true CN114201386A (zh) | 2022-03-18 |
Family
ID=80648498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111392504.9A Pending CN114201386A (zh) | 2021-11-19 | 2021-11-19 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114201386A (zh) |
-
2021
- 2021-11-19 CN CN202111392504.9A patent/CN114201386A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106528389B (zh) | 系统流畅性的性能评测方法、装置及终端 | |
CN109388625B (zh) | 多分布式文件系统中处理配置文件的方法及装置 | |
CN107316207B (zh) | 一种获取展示效果信息的方法和装置 | |
CN105955821B (zh) | 预读方法及装置 | |
CN108153540B (zh) | 系统升级的方法、装置、终端及存储介质 | |
CN112559309A (zh) | 页面性能采集算法的调整方法及装置 | |
CN110764847B (zh) | 用户信息处理方法、装置、电子设备及存储介质 | |
CN112486770A (zh) | 客户端打点上报方法、装置、电子设备和存储介质 | |
CN111859097B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN114547073B (zh) | 时序数据的聚合查询方法、装置及存储介质 | |
CN111580824A (zh) | 程序优化方法、装置及存储介质 | |
CN110908814A (zh) | 消息处理方法、装置、电子设备及存储介质 | |
CN113778687B (zh) | 内存分配信息处理方法、装置、电子设备及存储介质 | |
CN114201386A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN113467854B (zh) | 应用程序启动方法、装置、电子设备及存储介质 | |
CN106446827B (zh) | 虹膜识别功能检测方法和装置 | |
CN107257384B (zh) | 服务状态监控方法及装置 | |
CN112102009A (zh) | 广告展示方法、装置、设备及存储介质 | |
CN112817844A (zh) | 后台进程驻留测试方法、装置、设备及存储介质 | |
CN107526683B (zh) | 应用程序功能冗余度的检测方法、装置及存储介质 | |
CN111984532A (zh) | 一种基于小程序的异常处理方法及装置 | |
CN114710401B (zh) | 异常定位方法和装置 | |
CN116016284B (zh) | 数据分析方法、装置、电子设备及存储介质 | |
CN112346968B (zh) | 一种多媒体文件清晰度的自动化检测方法及装置 | |
CN117014682A (zh) | 数据处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |