CN111400656A

CN111400656A - 产品使用质量或性能的判定方法及设备

Info

Publication number: CN111400656A
Application number: CN202010166832.6A
Authority: CN
Inventors: 张运红; 赵朝义
Original assignee: China National Institute of Standardization
Current assignee: China National Institute of Standardization
Priority date: 2020-03-11
Filing date: 2020-03-11
Publication date: 2020-07-10
Also published as: WO2021179957A1

Abstract

本发明涉及产品使用质量或性能判定技术领域，特别涉及产品使用质量或性能的判定方法及设备。该判定方法包括：根据使用前、使用后测试数据计算体验因子效应量；对使用前、使用后测试数据方差分析或t检验，获得体验因子在规定置信水平的显著性水平p值；根据规定的置信水平和体验因子效应量，将体验因子显著性水平p值与显著性水平α值比较得出差异显著性结果。对使用前、后测试数据方差分析或t检验，求体验因子差异变化的显著性水平p值，结合体验因子效应量，在规定置信水平判定其是否显著，由此判断产品使用质量或性能的影响情况，将该影响效果与常规的标准判定结果相结合，准确判定产品是否合格，解决单一标准判定的局限性以及测试不准的问题。

Description

产品使用质量或性能的判定方法及设备

技术领域

本发明涉及产品性能判定技术领域，特别是涉及产品使用质量或性能的判定方法及设备，即产品在使用过程中可能会对用户安全和健康等方面产生影响的产品使用性能是否合格的判定方法及设备。

背景技术

现有的认证技术规范中对产品是否满足某一标准要求通常采用符合性判定方法，即某一检测结果是否在某一个值或者某一区间范围内。

该方法的弊端在于以下几个方面：

弊端1，生产制造技术不断更新，现有的产品性能测试及判定方法可能无法支持使有最新生产制造技术制造的产品，以往判定方法存在局限性，容易跟不上生产制造技术的发展；

弊端2，检测标准的时效性和适用性，如果检测标准落后于技术发展，新的生产制造技术突破了检测标准还能带来比较好的结果，就会影响认证结果的准确性，给企业和社会造成损失。

弊端3，判定标准的单一性。产品性能符合性能测试的判定标准比较单一，仅以单一数值为判定界限，需要对测量误差进行精准控制和计算，测量误差过大会很容易引起结果判定的偏颇，影响结论的客观公正性。

弊端4，判定方法的片面性和绝对性。性能方面的符合性测试主要针对产品固有属性是否满足特定的要求，而这个要求主要基于产品的物理性能，对目标用户是否适用尚不可知。使用传统方法不能准确判定产品使用质量或性能是否适用于其目标用户并满足目标用户的要求。目前，大部分产品的检测判定指标未经过实际使用人群的测试验证，可能来源于已有的生产制造经验或者几个厂家之间的协商一致。

发明内容

(一)要解决的技术问题

本发明的目的是提供产品使用质量或性能判定方法及设备，以解决现有产品使用质量或性能测试及认证存在的问题。

(二)技术方案

为了解决上述技术问题，本发明提供一种产品使用质量或性能的根据使用前测试数据和使用后测试数据计算体验因子效应量；

对所述使用前测试数据和使用后测试数据进行方差分析或t检验，获得体验因子在规定置信水平的显著性水平p值；

根据规定的置信水平和体验因子效应量，将所述体验因子显著性水平p值与显著性水平α值进行比较得出差异显著性结果。

在一些实施例中，优选为，在将所述体验因子显著性水平p值与显著性水平α值进行比较得出差异显著性结果时，所述判定方法还包括：

确定判定趋向，所述判定趋向包括：正向影响或负向影响。

在一些实施例中，优选为，当判定趋向包括负向影响时，当p值大于或等于规定的显著性水平α值，或者体验因子为负且p值小于规定的显著性水平α值时，则判定为合格或优异；其体验因子效应量为正，且p值小于规定的显著性水平α值，则结果判定为不合格。

在一些实施例中，优选为，当判定趋向包括正向影响时，当体验因子效应量为正且p值小于规定的显著性水平α值时，则结果为合格；当p值大于或等于规定的显著性水平α值或体验因子效应量为负且p值小于规定的显著性水平α值则结果为不合格。

在一些实施例中，优选为，在所述获取使用前测试数据和使用后测试数据之前，所述判定方法还包括：根据规定的置信水平和统计检验力确定样本量；则，

所述使用前测试数据包括所有所述样本量对应的使用前测试数据；

所述使用后测试数据包括所有所述样本量对应的使用后测试数据。

本发明还提供了一种产品使用质量或性能的判定系统，其用于执行上述判定方法，所述判定方法包括：

根据使用前测试数据和使用后测试数据计算体验因子效应量；

本发明还提供了一种判定器，其用于对输入的使用前测试数据和使用后测试数据进行方差分析或t检验，获得体验因子在规定置信水平的显著性水平p值；

根据规定的置信水平和体验因子效应量，将所述体验因子显著性水平p值与显著性水平α进行比较得出得出差异显著性结果。

本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现所述的产品使用质量或性能的判定方法。

本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机指令，所述计算机指令被计算机执行时，实现所述的产品使用质量或性能的判定方法。

(三)有益效果

本发明提供的技术中根据获取的疲劳前测试数据和疲劳后测试数据，计算体验因子效应量；对使用前测试数据和使用后测试数据进行方差分析或t检验，获得体验因子显著性水平p；将体验因子显著性水平p值与显著性水平α值进行比较得出显著性结果。在本技术方案中，获取使用前测试数据和使用后测试数据，可以有效得到产品使用前后的真实数据，通过方差分析或t检验，比较使用前后的差异，求取体验因子显著值，并将其与显著性水平进行比较，由此判断使用产品对用户造成的影响效果，将该影响效果与常规的标准判定结果相结合，能更加准确判定产品使用的质量或性能，解决单一判定标准产生的各种局限性问题。

附图说明

图1为本发明一个实施例中产品使用质量或性能判定方法的步骤流程示意图。

图2为本发明一个实施例中提供的电子设备的实体结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实例用于说明本发明，但不用来限制本发明的范围。

为了对弥补标准判定存在的各种问题，本发明给出了一种产品使用质量或性能的判定方法及相应设备。

一种产品使用质量或性能的判定方法，如图1所示，包括：获取使用前测试数据和使用后测试数据，计算体验因子效应量；对所述使用前测试数据和使用后测试数据进行方差分析或t检验，获得体验因子在规定置信水平的显著性水平p值；将所述体验因子显著性水平p值与显著性水平α值进行比较并结合体验因子效应量得出差异显著性结果。

在本技术方案中，获取使用前测试数据和使用后测试数据，可以有效得到产品使用前后的真实数据，通过方差分析或t检验，对比得到使用前后的差异性，求取体验因子显著值，并将其与显著性水平进行比较，由此判断用户使用产品的影响效果，将该影响效果与常规的标准判定结果相结合，能更加准确判定产品使用质量或性能，解决单一标准判定产生的各种局限性问题。比如，针对生产制造技术不断更新，现有性能测试方法无法准确判定该产品是否满足用户使用质量或性能要求的问题，通过本技术方案采集用户使用前后的数据，通过对比用户使用前后的实际数据情况，获取产品使用质量或性能是否合格，如果合格，可以辅助标准检测；如果不合格，可以建议产品性能检测采用更先进设备，提出更高的要求而避免被误判。又比如：针对检测标准时效性问题，通过本技术方案的判断，可以验证现有产品使用质量或性能标准要求是否具备足够先进性，同时能促进标准的更替。又比如：对判断标准单一，结果不公正的问题，本技术方案给出用户使用产品前后的测试数据，并最终确认产品使用质量或性能是否良好，从而增加了产品使用质量或性能判断的另一个维度，提高了判断结论的公平、公正性。又比如：针对判定方法的绝对性，缺乏用户真实使用情况的判断依据，本技术方案的测试数据来源于用户真实使用的测试数据，更贴近使用场景，在判定方法中增加了用户使用效果或影响的结论，为产品推向市场后的使用效果提供更准确的判断依据。

该产品使用质量或性能的判定方法，可以通过如下步骤展开，如图1所示：

首先，根据置信水平及统计检验力等确定样本量；

一个实施例中给出样本量的计算公式：N＝Z2×(P×(1-P))/E，其中，Z为置信区间、n为样本容量、d为抽样误差范围、σ为标准差，一般取0.5。E:样本均值的标准差乘以z值，即总的误差p:目标总体占总体的比例。

通常置信水平为95％，由此确定样本量即可。在其他的实施例中，还可以根据实际测试目的和要求更换置信水平。

然后，获取样本量产生的所有使用前测试数据和使用后测试数据，计算体验因子效应量；

体验因子效应量即体验因子的效应量。效应量是指由于因素引起的差别，是衡量处理效应大小的指标。在本行业存在多种方法计算效应量，比如采用Excel计算效应量。

以疲劳为例，关于疲劳的界定，可以参考现有对疲劳的判定方法，也可以根据经验值直接确定。另外，只要保证第一次测试和第二次测试之间存在足够的时间，在该时间内，使用者的使用状态发生变化，都可以理解为第一次测试为疲劳前测试，第二次测试为疲劳后测试。

需要说明的是，在本技术方案中，采集测试数据的步骤可以包括在整个判定方法中，也可以独立于本技术方案中的判定方法，在执行获取步骤时，可以直接读取已存储的数据。数据为选择目标用户后诱发任务获取的数据。对于诱发任务的设定方法为：诱发任务及其时间长短的设定可以依据现有的测评数据经验以及测评结果，也可以参考行业公认的测试内容和测试时间长短。诱发任务需获得行业公认或者具有实验数据依据。目标用户作为被试者，选择的方式为：通常建立专门的可追踪样本库，也可采用方便随机抽样进行选取。样本量的确定需要根据置信水平、检验力等并利用相关公式来进行计算，也可以根据以往实验经验来确定。

当采集测试数据包括在整个判定方法中时，由于使用者存在个体差异，这种差异将通过实验设计以及数据处理等处理方法来进行平衡或消除。

随后，将使用前测试数据和使用后测试数据进行单因素方差分析或t检验，获取体验因子显著性水平p值；

在其他的实施例中，也可以根据需要进行双因素方差分析或多因素方差分析或t检验。方差分析或t检验可采用现有程序直接计算。

然后，根据规定的置信水平和体验因子效应量，将体验因子(疲劳因子)显著性水平p值与显著性水平α值进行比较得出显著性结果。

显著性结果包括：不合格、合格和优异，在一些情况下合格和优异仅是程度的不同而已。

在进行比较时，需要考虑正向影响比较，还是负向影响比较。比较和得出显著性结果的方法为：

如果被试者诱发任务后的总体测试结果明显比测试前差，则直接判定该产品不符合要求。具体判定标准如下：

(1)对于给使用者带来不良负向影响的检测判定

在保证产品使用质量或性能符合规定的客观要求的基础上，利用目标用户群体的使用体验来进行判定，通过使用前后的用户测试数据比较结果来进行产品使用质量或性能判定。

如果测试任务后，用户的测试后数据比测试前数据更高，且在一定置信水平(如95％，其他实施例中也可以设置为80％、90％或99％等)其数值显著高于测试前数据表现情况(p＜0.05)，则判定为不合格；

如果p>0.05，则说明测试前后状态没有发生大的变化，未给用户带来不良影响，则判定为合格；

如果诱发任务后，用户测试后数值比测试前数值更低，且在一定置信水平(如95％，也可以设置为80％、90％或99％等)其数值显著低于测试前数据值情况(p＜0.05)，说明该产品对用户具有显著更好的影响，则判定为优异。

(2)对于给用户带来正向影响的检测判定

在保证产品使用质量或性能符合规定的客观要求的基础上，利用目标用户群体的使用体验来进行判定，通过使用前后的用户测试数据比较结果来进行产品使用质量或性能判定。。

如果测试任务后，用户测试后数据数值比测试前数据数值更低，且在一定置信水平(如95％，也可以设置为80％、90％或99％等)内显著低于测试前的数据数值(p＜0.05)，则判定为不合格；

如果p>0.05，则说明前后状态没有发生质的变化，未给用户带来影响，则判定为一般，没有发生变化，未给用户带来价值，也可判定为不合格；

如果测试任务后的用户测试结果比测试前数据数值更高，且在一定置信水平(如95％，也可以设置为80％、90％或99％等)内显著高于测试前的数值(p＜0.05)，则说明该产品对用户具有好的影响，则判定为合格。

下面通过一个具体实施例来说明该判定方法：

对样品1的20组疲劳前后测试数据进行单因素方差分析，测试结果如下：

表1样品1疲劳重复测量方差分析结果(95％的置信水平)

样品1的测试结果中，测试前的疲劳平均值是23.25，测试后的疲劳平均值为32.85，疲劳因子效应量为62，测试后的疲劳程度明显高于测试前的疲劳基准状态，统计检验结果显示，在95％置信水平，测试后的疲劳程度显著高于测试前的疲劳程度，p＜0.05，则判定为不合格。

对样品2的20组疲劳前后测试数据进行单因素方差分析，测试结果如下：

表2样品2疲劳重复测量方差分析结果(95％的置信水平)

样品2的测试结果中，测试前的疲劳平均值是41.40，测试后的疲劳平均值为41.90，疲劳因子效应量为10，测试后的疲劳程度与测试前的疲劳基准状态值差不多，统计检验结果显示，在95％的置信水平，测试前后疲劳程度差异不显著，p＝0.086>0.05，说明诱发任务后用户的疲劳状态变化不大，该样品没有让用户产生显著的疲劳状态，则判为合格。

对样品3的20组疲劳前后测试数据进行单因素方差分析，测试结果如下：

表3样品3疲劳重复测量方差分析结果(95％的置信水平)

样品3的测试结果中，测试前的视疲劳平均值是32.85，测试后的视疲劳平均值为22.85，疲劳因子效应量为-66，统计检验结果显示，在95％的置信水平，测试后的视疲劳程度低于测试前的视疲劳基准状态，p＝0.000<0.05，说明经过诱发任务，用户的视疲劳状态不仅没有加重，而且明显变好，则判定为优异。

本发明还提供了一种产品使用质量或性能的判定系统，用于执行上述各实施例的判定方法。

该判定方法包括：根据获取的疲劳前测试数据和疲劳后测试数据计算疲劳因子效应量；

对所述疲劳前测试数据和疲劳后测试数据进行方差分析或t检验，获得疲劳因子显著性水平p值；

结合疲劳因子效应量，将所述疲劳因子显著性水平p值与显著性水平α进行比较得出显著性结果。

本发明还提供了一种判定器，其用于对输入的使用前测试数据和使用后测试数据进行体验因子计算和方差分析或t检验，获得体验因子显著性水平p值；

根据规定的置信水平和体验因子效应量，将所述体验因子显著性水平p值与显著性水平α值进行比较得出显著性结果。

该判定器设备可以为硬件设备或软件程序，模块设置可以根据方法步骤的需要而定。

本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述任一实施例的判定方法。

本发明实施例的电子设备还可以包括通信接口和总线。参考图2，为本发明实施例提供的电子设备的实体结构示意图，包括：至少一个存储器401、至少一个处理器402、通信接口403和总线404。

其中，存储器401、处理器402和通信接口403通过总线404完成相互间的通信，通信接口403用于信息传输；存储器401中存储有可在处理器402上运行的计算机程序，处理器402执行该计算机程序时，实现如上述各实施例的产品使用质量或性能的判定方法的步骤。

可以理解为，该电子设备中至少包含存储器401、处理器402、通信接口403和总线404，且存储器401、处理器402和通信接口403通过总线404形成相互间的通信连接，并可完成相互间的通信，如处理器402从存储器401中读取计算方法的程序指令等。另外，通信接口403还可以实现该电子设备与目标数据设备之间的通信连接，并可完成相互间信息传输，如通过通信接口403实现数据的读取等。

电子设备运行时，处理器402调用存储器401中的程序指令，以执行上述各方法实施例所提供的方法。

上述的存储器401中的程序指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。或者，实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机指令，计算机指令被计算机执行时，实现的产品使用质量或性能的判定方法。

可以理解的是，以上所描述的装置、电子设备及存储介质的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，既可以位于一个地方，或者也可以分布到不同网络单元上。可以根据实际需要选择其中的部分或全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上实施方式的描述，本领域的技术人员可以清楚地了解，各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令，用以使得一台计算机设备(如个人计算机，服务器，或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分的方法。

另外，本领域内的技术人员应当理解的是，在本发明实施例的申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明实施例的说明书中，说明了大量具体细节。然而应当理解的是，本发明实施例的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明实施例公开并帮助理解各个发明方面中的一个或多个，在上面对本发明实施例的示例性实施例的描述中。

然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明实施例的单独实施例。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种产品使用质量或性能的判定方法，其特征在于，包括：

2.根据权利要求1所述的产品使用质量或性能的判定方法，其特征在于，在将所述体验因子显著性水平p值与显著性水平α值进行比较得出差异显著性结果时，所述判定方法还包括：

确定判定趋向，所述判定趋向包括：正向影响或负向影响。

3.根据权利要求2所述的产品使用质量或性能的判定方法，其特征在于，所述判定趋向为正向影响，使用后测数据与前测试数据进行比较，当体验因子效应量为正且p值小于规定的显著性水平α值时，则结果判定为合格；当p值大于或等于规定的显著性水平α值或者体验因子效应量为负且p值小于规定的显著性水平α值时，则结果判定为不合格。

4.根据权利要求2所述的产品使用质量或性能的判定方法，其特征在于，所述判定趋向为负向影响，使用后测试数据与使用前测试数据进行比较，当p值大于或等于规定的显著性水平或者体验因子效应量为负且p值小于规定的显著性水平α值时，则结果判定为合格或优异；当体验因子效应量为正，且p值小于规定的显著性水平α值时，则判定为不合格。

5.根据权利要求1-4任一项所述的产品使用质量或性能的判定方法，其特征在于，在所述获取使用前测试数据和使用后测试数据之前，所述判定方法还包括：根据规定的置信水平和统计检验力确定样本量；则，

6.一种产品使用质量或性能的判定系统，其特征在于，其用于执行权利要求1-5任一项所述的判定方法，所述判定方法包括：

7.一种判定器，其特征在于，其用于对输入的使用前测试数据和使用后测试数据进行方差分析或t检验，获得体验因子在规定置信水平的显著性水平p值；

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1-6任一项所述的判定方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被计算机执行时，实现如权利要求1-6任一项所述的判定方法。