CN113342655A - 一种面向众包系统的仿真测试用例生成方法及装置 - Google Patents
一种面向众包系统的仿真测试用例生成方法及装置 Download PDFInfo
- Publication number
- CN113342655A CN113342655A CN202110636475.XA CN202110636475A CN113342655A CN 113342655 A CN113342655 A CN 113342655A CN 202110636475 A CN202110636475 A CN 202110636475A CN 113342655 A CN113342655 A CN 113342655A
- Authority
- CN
- China
- Prior art keywords
- distribution
- vae
- crowdsourcing
- decoder
- test case
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种面向众包系统的仿真测试用例生成方法及装置,该方法首先将众包平台获得样本输入到VAE的编码器中学习对真实样本标注的工人能力和任务难度的均值和方差,即得到对应的工人能力和任务难度的正态分布,同时生成所有参与标注的工人能力和任务难度的混合高斯分布;然后运用重构化技巧得到VAE的隐变量,将隐变量输入到VAE的解码器中,使用梯度下降训练解码器;最后将混合高斯分布随机生成的工人能力和任务难度输入到训练好的解码器中,生成与真实样本独立同分布的大量众包测试用例。本发明结合神经网络解决了由于成本而导致众包测试用例少及覆盖面窄,导致难于全面评估结果汇聚方法的问题,使众包结果汇聚方法可以得到全面有效评估。
Description
技术领域
本发明利用深度学习方法来解决众包领域的问题,具体涉及一种面向众包系统的仿真测试用例生成方法及装置。
背景技术
众包是当前互联网蓬勃发展的大环境下一种新兴的利用分布式计算的商业模式。一般由三部分构成,众包平台,众包任务的发布者,参与众包任务的工人。并且经过通过一定的花费将众包任务在众包平台中冗余发放,雇佣互联网用户对任务进行冗余处理,并利用结果汇聚方法对冗余数据进行汇聚聚合,产生高质量的数据标注。在此类系统开发测试阶段,主要利用试运行的方式进行测试评估。然而带标注的众包数据集,也就测试用例,由于成本高,进行标注的工人参与较随机,导致获得标注数据数量少且覆盖面窄,难于全面测试众包的结果汇聚方法。而随着众包技术在各个领域的推广,对应众包数据处理可靠性要求进一步提高,目前的众包系统直接利用众包平台获得的有限数据进行测试难于有效的保证众包结果汇聚方法准确评估,因此本发明针对该问题给出了一种覆盖面广,花费低,数量大的仿真测试用例生成方法。
而本发明是基于神经网络中的VAE来生成仿真众包测试集。VAE,变分自编码器,由D.P.Kingma和M.Welling在2014年提出,他们的贡献主要是两部分,一部分是变分下界的重新参数化产生了可以使用标准随机梯度法直接优化的下限估计器。另一部分是通过使用提出的下限估计器将近似的推理模型,也就是识别模型,拟合到难处理的后验分布,使得后验推理有效。基于此,本发明提出了基于VAE的方法来生成众包系统的仿真数据作为测试用例。
发明内容
针对目前众包领域数据集少,收集数据成本高,覆盖面窄等问题,本发明提供了一种面向众包系统的仿真测试用例生成方法及装置,用于生成类似且具有相同真实众包标注测试集功能的大量仿真众包测试用例。
本发明解决其技术问题采用的技术方案如下:本发明只需要采集少量真实数据集的作为训练样本,通过VAE来整合得到一个混合高斯分布,生成隐变量,并结合约束产生生成模型,通过生成模型可以低廉的产生大量的与真实样本类似的仿真众包测试用例。
一方面,本申请提出一种面向众包系统的仿真测试用例生成方法,该方法包括:
(1)花少量的成本从互联网上众包平台中获取少量标注数据集作为带标注的真实样本;
(2)将真实样本输入到变分自编码器VAE的编码器中,分别计算每个真实样本对应的工人能力与任务难度的均值和方差,即分别得到参与的工人能力及任务难度先验分布(正态分布),并计算出所有工人能力与任务难度的混合高斯分布;
(3)运用重构化技巧(reparameterization trick),得到VAE的隐变量z;将隐变量输入到VAE的解码器中,使用梯度下降(GD)训练解码器;
(4)将训练推理得到混合高斯分布随机生成工人能力和任务难度输入到训练好的解码器中,生成众包测试用例。
进一步地,所述步骤(2)包括以下子步骤:
(2-1)将真实样本x输入到VAE的编码器encoder中,encoder是一个神经网络,输出高斯分布的参数,包括均值和方差,并且每个真实分布均具有对应的参数;
(2-2)将噪声与混合高斯分布融合,以增加训练难度,防止过拟合。
进一步地,所述步骤(2)中,将VAE的编码器encoder作为x→z的识别模型,用q(z|x)分布表示;所述步骤(4)中,将VAE的解码器decoder作为z→x的生成模型,用p(x|z)分布表示;当将p(x|z)训练完成后,从中采样得到众包测试用例。
进一步地,所述步骤(2-1)具体为:
(a)假设z服从正态分布,让识别模型q(z|x)逼近真实的后验概率分布p(z|x),在VAE中,后验分布一般是高斯分布,即识别模型的理想情况为服从高斯分布;
(b)通过自编码器计算识别模型的均值和方差,对于每个真实样本均有各自的参数,得到每个给出真实样本的工人能力及对应的任务难度的高斯分布;
(c)将学习获得的混合高斯分布逼近真实后验概率分布p(z|x),采用KL散度来计算这两个分布之间的误差。
进一步地,所述步骤(3)具体为:由于步骤(2)得到的是分布,不是向量,无法使用梯度下降,因此采用reparameterization trick得到VAE的隐变量z。
进一步地,所述步骤(4)具体为:编码器输出的是一个近似于高斯分布的隐变量z;输入工人能力和任务难度,并从z中采样,一同输入到解码器中,生成类似于真实样本的众包测试用例。
进一步地,所述步骤(3)包括以下子步骤:
(3-1)VAE的目标为通过真实样本x推出隐变量z的分布,即p(z|x),通过贝叶斯定理:
其中p(x)为真实样本x的概率,p(z)为隐变量z的概率,由于p(x)无法计算,所以p(z|x)也无法计算;
(3-2)采用变分推断的方法,用一个可求解的分布q(z|x)去逼近真实后验概率分布p(z|x),衡量相似程度,用KL散度表示:
KL(q(z|x)||p(z|x))
(3-3)将KL散度展开:
第一项的含义为不断在z上采样,使得重构样本与原始真实样本最接近;
进一步地,所述步骤(2)中混合高斯分布的均值μ和方差σ均由编码器学习得到,要靠这个过程的反过来优化编码器,但是采样操作(即从分布中取样)是不可导的,而采样的结果为向量,是可导的,于是,运用重构化技巧(reparameterization trick),从中采样z,相当于从中采样一个值ε,然后让z=μ+ε×σ,使得采样的操作不用参与梯度下降,改为采样的结果参与梯度下降,让VAE可训练。
另一方面,本申请还提出一种面向众包系统的仿真测试用例生成装置,该装置包括:
数据采集模块:花少量的成本从互联网上众包平台中获取少量标注数据集作为带标注的真实样本;
变分自编码器VAE的编码器部分:将真实样本输入到变分自编码器VAE的编码器中,计算每个参与标注的工人能力和任务难度的均值和方差,即得到每个工人能力和任务难度的先验分布(正态分布),并计算出所有工人能力和所有任务难度的混合高斯分布,运用重构化技巧(reparameterization trick),得到VAE的隐变量z;变分自编码器VAE的解码器部分:将编码器输出的隐变量输入到VAE的解码器中,使用梯度下降(GD)训练解码器;
测试用例生成模块:将学习所得混合高斯分布随机生成工人能力和任务难度输入训练好的解码器中,生成众包测试用例。
此外,本申请还提出一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述仿真测试用例生成的步骤。
本申请还提出一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述仿真测试用例生成的步骤。
本发明的有益技术效果:本发明面对众包系统,以神经网络中的变分自编码器为模型,变分自编码器可以通过一个分布来近似估计后验分布,来解决后验分布不好估算的问题。本发明首先通过编码器生成所有参与标注的工人能力及任务难度的混合高斯分布,运用重构化技巧得到VAE的隐变量,然后将隐变量输入到解码器中,使用梯度下降训练解码器,最后通过训练好的解码器生成大量需要的众包系统测试用例。本发明结合神经网络解决了众包测试用例生成成本高,分布窄的问题,使众包系统的测试能够使用对应的大量仿真测试用例,全面的评估众包系统的可靠性。
附图说明
图1为本发明实施例提供的面向众包系统的测试用例自动生成方法的一种实现框架图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
如图1所示,本申请提出的一种面向众包系统的仿真测试用例生成方法,该方法包括:
(1)花少量的成本从互联网上众包平台上获取少量标注数据集作为带标注的真实样本;
(2)将真实样本x输入到变分自编码器VAE的编码器encoder中,计算生成每个真实样本对应工人能力分布和任务难度分布的均值和方差,即得到任务难度和工人能力的正态分布,并计算出所有工人能力及任务难度的混合高斯分布;将噪声与混合高斯分布融合,以增加训练难度,防止过拟合。具体地:
将VAE的编码器encoder作为x→z的识别模型,用q(z|x)分布表示;
假设z服从正态分布,让识别模型q(z|x)逼近真实的后验概率分布p(z|x),在VAE中,后验分布一般是高斯分布,即识别模型的理想情况为服从高斯分布;
计算识别模型的均值和方差,对于每个真实样本均有各自的参数,得到每个参与提供真实样本的工人能力及任务难度高斯分布;
将所有真实样本的混合高斯分布逼近真实后验概率分布p(z|x),采用KL散度来计算这两个分布之间的误差。
(3)由于步骤(2)得到的是分布,不是向量,无法使用梯度下降,因此运用重构化技巧得到VAE的隐变量z;将VAE的解码器decoder作为z→x的生成模型,用p(x|z)分布表示;将隐变量输入到VAE的解码器中,使用梯度下降(GD)训练解码器;具体为:
(3-1)VAE的目标为通过真实样本x推出隐变量z的分布,即p(z|x),通过贝叶斯定理:
其中p(x)为真实样本x的概率,p(z)为隐变量z的概率,由于p(x)无法计算,所以p(z|x)也无法计算;
(3-2)采用变分推断的方法,用一个可求解的分布q(z|x)去逼近真实后验概率分布p(z|x),衡量相似程度,用KL散度表示:
KL(q(z|x)||p(z|x))
(3-3)将KL散度展开:
第一项的含义为不断在z上采样,使得重构样本与原始真实样本最接近;
(4)将训练推理得到混合高斯分布随机生成工人能力和任务难度输入到训练好的解码器中,生成众包测试用例。具体为:编码器输出的是一个近似于高斯分布的隐变量z;输入工人能力和任务难度,并从z中采样,一同输入到解码器中,生成类似于真实样本的众包测试用例。
本申请还提出一种面向众包系统的仿真测试用例生成装置,该装置包括:
数据采集模块:花少量的成本从互联网上众包平台上获取少量标注数据集作为带标注的真实样本;
变分自编码器VAE的编码器部分:将真实样本输入到变分自编码器VAE的编码器中,计算参与标注真实样本的工人能力和任务难度的均值和方差,即得到工人能力及任务难度的正态分布,并生成对应混合高斯分布,运用重构化技巧,得到VAE的隐变量z;
变分自编码器VAE的解码器部分:将编码器输出的隐变量输入到VAE的解码器中,使用梯度下降训练解码器;
测试用例生成模块:将学习所得混合高斯分布分别随机生成的工人能力和任务难度输入训练好的解码器中,生成众包测试用例。
本申请还提出一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述仿真测试用例生成的步骤。
本申请还提出一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述仿真测试用例生成的步骤。
以上所述仅是本发明的优选实施方式,虽然本发明已以较佳实施例披露如上,然而并非用以限定本发明。任何熟悉本领域的技术人员,在不脱离本发明技术方案范围情况下,都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰,均仍属于本发明技术方案保护的范围内。
Claims (10)
1.一种面向众包系统的仿真测试用例生成方法,其特征在于,包括以下步骤:
(1)从众包平台中通过少量花费获得待标注的数据真实样本;
(2)将真实样本输入到变分自编码器VAE的编码器中,计算每个给出真实样本标注的工人能力及对应的任务难度的均值和方差,即得到对应的任务难度及工人能力先验分布,并计算出所有真实样本的混合高斯分布;
(3)运用重构化技巧得到VAE的隐变量,将隐变量输入到VAE的解码器中,使用梯度下降训练解码器;
(4)将训练推理得到混合高斯分布随机生成工人能力和任务难度输入到训练好的解码器中,生成众包测试用例。
2.根据权利要求1所述的面向众包系统的仿真测试用例生成方法,其特征在于,所述步骤(2)包括以下子步骤:
(2-1)将真实样本x输入到VAE的编码器中,编码器是一个神经网络,输出高斯分布的参数,包括均值和方差,并且每个真实分布均具有对应的参数;
(2-2)将噪声与混合高斯分布融合,以增加训练难度,防止过拟合。
3.根据权利要求2所述的面向众包系统的仿真测试用例生成方法,其特征在于,所述步骤(2)中,将VAE的编码器作为x→z的识别模型,用q(z|x)分布表示,其中z是隐变量;所述步骤(4)中,将VAE的解码器作为z→x的生成模型,用p(x|z)分布表示;当将p(x|z)训练完成后,从中采样得到众包测试用例。
4.根据权利要求3所述的面向众包系统的仿真测试用例生成方法,其特征在于,所述步骤(2-1)具体为:
(a)假设z服从正态分布,让识别模型q(z|x)逼近真实的后验概率分布p(z|x),在VAE中,后验分布一般是高斯分布,即识别模型的理想情况为服从高斯分布;
(b)通过自编码器计算识别模型的均值和方差,对于每个真实样本均有各自的参数,得到每个给出真实样本标注的的工人能力及对应的任务难度的高斯分布;
(c)将学习获得的混合高斯分布逼近真实后验概率分布p(z|x),采用KL散度来计算这两个分布之间的误差。
5.根据权利要求1所述的面向众包系统的仿真测试用例生成方法,其特征在于,所述步骤(4)具体为:编码器输出的是一个近似于高斯分布的隐变量z;输入工人能力和任务难度,并从z中采样,一同输入到解码器中,生成类似于真实样本的众包测试用例。
6.根据权利要求3所述的面向众包系统的仿真测试用例生成方法,其特征在于,所述步骤(3)包括以下子步骤:
(3-1)VAE的目标为通过真实样本x推出隐变量z的分布,即p(z|x),通过贝叶斯定理:
由于p(x)无法计算,所以p(z|x)也无法计算;
(3-2)采用变分推断的方法,用一个可求解的分布q(z|x)去逼近真实后验概率分布p(z|x),衡量相似程度,用KL散度表示:
KL(q(z|x)||p(z|x))
(3-3)将KL散度展开:
第一项的含义为不断在z上采样,使得重构样本与原始真实样本最接近;
第二项是假设的后验分布,即识别模型q(z|x)和真实后验概率分布p(z|x)接近。
8.一种面向众包系统的仿真测试用例生成装置,其特征在于,该装置包括:
数据采集模块:从互联网上众包平台中雇佣工人对少量的数据进行标注作为真实样本;
变分自编码器VAE的编码器部分:将真实样本输入到VAE的编码器中,计算每个给出真实样本标注的工人能力及对应的任务难度的均值和方差,即得到对应的任务难度及工人能力先验分布,并计算出所有真实样本的混合高斯分布,运用重构化技巧,得到VAE的隐变量z;
变分自编码器VAE的解码器部分:将编码器输出的隐变量输入到VAE的解码器中,使用梯度下降训练解码器;
测试用例生成模块:将学习所得混合高斯分布随机生成工人能力和任务难度输入训练好的解码器中,生成众包测试用例。
9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1-7中任一项所面向众包系统的仿真测试用例生成方法的步骤。
10.一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1-7中任一项所述面向众包系统的仿真测试用例生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110636475.XA CN113342655B (zh) | 2021-06-08 | 2021-06-08 | 一种面向众包系统的仿真测试用例生成方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110636475.XA CN113342655B (zh) | 2021-06-08 | 2021-06-08 | 一种面向众包系统的仿真测试用例生成方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113342655A true CN113342655A (zh) | 2021-09-03 |
CN113342655B CN113342655B (zh) | 2023-09-29 |
Family
ID=77475183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110636475.XA Active CN113342655B (zh) | 2021-06-08 | 2021-06-08 | 一种面向众包系统的仿真测试用例生成方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113342655B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114880215A (zh) * | 2022-04-25 | 2022-08-09 | 浙江工商大学 | 一种面向众包系统的测试用例自动生成的方法 |
CN115081752A (zh) * | 2022-08-11 | 2022-09-20 | 浙江君同智能科技有限责任公司 | 黑灰产众包流量预测装置及方法 |
CN115455668A (zh) * | 2022-08-26 | 2022-12-09 | 哈尔滨工业大学(深圳) | 针对表格数据的仿真数据生成方法、装置及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110113227A (zh) * | 2019-04-18 | 2019-08-09 | 上海大学 | 一种变分自编码的模糊测试测试用例生成方法 |
CN111258992A (zh) * | 2020-01-09 | 2020-06-09 | 电子科技大学 | 一种基于变分自编码器的地震数据扩充方法 |
US20200272887A1 (en) * | 2019-02-27 | 2020-08-27 | Robert Bosch Gmbh | Involved generative machine learning models for functional testing |
-
2021
- 2021-06-08 CN CN202110636475.XA patent/CN113342655B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200272887A1 (en) * | 2019-02-27 | 2020-08-27 | Robert Bosch Gmbh | Involved generative machine learning models for functional testing |
CN110113227A (zh) * | 2019-04-18 | 2019-08-09 | 上海大学 | 一种变分自编码的模糊测试测试用例生成方法 |
CN111258992A (zh) * | 2020-01-09 | 2020-06-09 | 电子科技大学 | 一种基于变分自编码器的地震数据扩充方法 |
Non-Patent Citations (1)
Title |
---|
周悦;谭本东;李淼;杨旋;周强明;张振兴;谭敏;杨军;: "基于深度学习的电力系统暂态稳定评估方法", 电力建设, no. 02 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114880215A (zh) * | 2022-04-25 | 2022-08-09 | 浙江工商大学 | 一种面向众包系统的测试用例自动生成的方法 |
CN114880215B (zh) * | 2022-04-25 | 2024-08-20 | 浙江工商大学 | 一种面向众包系统的测试用例自动生成的方法 |
CN115081752A (zh) * | 2022-08-11 | 2022-09-20 | 浙江君同智能科技有限责任公司 | 黑灰产众包流量预测装置及方法 |
CN115455668A (zh) * | 2022-08-26 | 2022-12-09 | 哈尔滨工业大学(深圳) | 针对表格数据的仿真数据生成方法、装置及电子设备 |
CN115455668B (zh) * | 2022-08-26 | 2023-05-30 | 哈尔滨工业大学(深圳) | 针对表格数据的仿真数据生成方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113342655B (zh) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113342655A (zh) | 一种面向众包系统的仿真测试用例生成方法及装置 | |
Modi et al. | Facial emotion recognition using convolution neural network | |
CN108932549A (zh) | 倾听、交互和交谈:通过交互学习说话 | |
CN112508334B (zh) | 融合认知特性及试题文本信息的个性化组卷方法及系统 | |
CN107122452A (zh) | 时序化的学生认知诊断方法 | |
Malmberg et al. | How the monitoring events of individual students are associated with phases of regulation: A network analysis approach | |
CN107451230A (zh) | 一种问答方法以及问答系统 | |
CN110688471B (zh) | 训练样本获取方法、装置及设备 | |
CN116596073A (zh) | 基于推理路径的自然语言推理方法、装置及设备 | |
Zakharova et al. | Quantitative assessment of cognitive interpretability of visualization | |
CN112446360A (zh) | 目标行为检测方法、装置及电子设备 | |
CN112115908A (zh) | 一种社交能力评估方法及其装置 | |
Nasirun et al. | Modeling Business vs Non-Business Students Blended Learning Experience: Invariance Assessment and Multigroup Analysis | |
Huang et al. | Collaborative prediction of examinee performance based on fuzzy cognitive diagnosis via cloud model | |
Botes et al. | Measuring computer science students’ acceptance of arduino micro development boards as teaching tool | |
Alí et al. | The impact of attitudes on behavioural change: a multilevel analysis of predictors of changes in consumer behaviour | |
Peng | Evaluation and Analysis of the Implementation Effects in Practical-Course Blended Learning Based on Virtual Reality Technology. | |
Lyu et al. | From Halos to Galaxies. IX. Estimate of Halo Assembly History for SDSS Galaxy Groups | |
Wen et al. | Does the Perceived Organizational Support and Al Literacy Affect Teachers’ Al Instructional Creative Performance? | |
Gero et al. | Empirical Foundations for Improved Engineering Education: Differences Between Engineering Students and Professional Expert Engineers while Designing | |
Salman et al. | Using machine learning and SEM to analyze attitudes towards adopting metaverse in higher education | |
CN117132003B (zh) | 一种基于自训练-半监督学习的在线学习平台学生学业表现的早预测办法 | |
Scharenberg | Do secondary students learn more in homogeneous or heterogeneous classes? The importance of classroom composition for the development of Reading achievement in secondary school | |
CN112307227B (zh) | 一种数据分类方法 | |
Pollack et al. | An Approach to Enhancing Advanced Computational Problem Solving and Critical Thinking Skills |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |