CN104820707A - 一种基于计算机领域知识体系的b/s模式自动组卷方法 - Google Patents

Abstract

一种基于计算机领域知识体系的B/S模式自动组卷方法，包括如下步骤：一：根据组卷条件，判断当前题库情况是否满足组卷要求，否则重新设置组卷参数；二：在已构建领域知识体系基础上，采用随机抽取算法，按照知识模块及模块内知识单元顺序，遵循未被抽取过题目的知识点优先原则，依次循环为各试卷抽取指定题型中之前未被抽取过的题目，直到抽取完条件要求的全部题目；三：题目抽取完成后，计算各试卷中每类题型的平均难度值，否则采用循环替换算法进行难度值调整，直到满足要求；利用本发明，可解决需要同时编组多套试卷时，要求确保多份试卷完全无试题重复、各试卷知识点分布均衡且最大化、各试卷相同题型难度一致、并可灵活设定组卷范围的需求。

Description

一种基于计算机领域知识体系的B/S模式自动组卷方法

技术领域

本发明涉及针对大学计算机类课程在线考试中，需要同时生成多份题目完全不同的试卷时的自动组卷方法，特别涉及一种基于计算机领域知识体系的B/S模式自动组卷方法，具体为一种基于计算机领域知识体系的、知识点覆盖最大化和难度均衡的B/S模式自动组卷方法。

技术背景

随着互联网技术和大规模在线教育技术的发展，在线考试模式已越来越得到广泛应用。传统上，在线考试的试卷都是由教师手工编写、录入，不仅工作量很大，还很难保证知识点覆盖均衡、难度一致。因此，如何同时自动生成多套题目完全不同、但难度相同、涉及知识点一致、结构合理的试卷就显得非常重要。

国内目前的自动组卷系统更多考虑了通用性、算法效率等，针对的题目多为选择、判断等各种客观题，并未考虑到如下特定因素：

1)因考试场所和时间限制，完成一门课程的在线考试通常需要准备十数份、甚至数十份试卷，为确保考试的公平性与合理性，要求每份试卷在难度、结构、考核范围等方面都要一致，且所有试卷不能有题目重复。

2)大学计算机教学领域包含数门课程，涉及软硬件系统、网络、数据库、程序设计、多媒体技术等众多知识点，不同课程的考核范围既不同又有一定交叉。因此，要求能够灵活确定考核范围，并确保每套试卷知识点覆盖均衡、一致。

申请人经过查新，检索到下列与本发明有关的专利文献：

(1)可调整式多元变量渐近寻优算法的智能组卷装置及方法(申请人：哈尔滨工程大学，申请号：2010101975725)

(2)基于遗传算法的组卷方法(申请人：山东地纬计算机软件有限公司，申请号：2011101740175)

(3)文档操作题的自动组卷方法和自动阅卷方法(申请人：华北电力大学，申请号：2013100975702)

(4)基于角色驱动的智能题库组卷方法及系统(申请人：北京竞业达数码科技有限公司，申请号：2013101390876)

上述专利申请均缺乏对以下问题的考虑：

(1)同时组成多套试卷时，如何保证每套试卷具有完全不同的题目；

(2)按知识模块或章节任意选择组题范围；

(3)以领域知识体系为基础的知识点覆盖的广度和均衡性；

(4)基于B/S模式的组卷系统。

发明内容

为了克服上述现有技术存在的不足，本发明的目的是提供一种基于计算机领域知识体系的B/S模式自动组卷方法，在已建立领域知识体系结构的基础上，利用该方法，可解决需要同时编组多套试卷时，确保多份试卷无试题重复、各试卷同类题型难度值一致且符合设定范围、知识点分布均衡、知识点覆盖最大化，并可灵活设定组卷范围。

为达到上述目的，本发明采取的技术方案是：

一种基于计算机领域知识体系的B/S模式自动组卷方法，包括如下步骤：

步骤一：根据组卷条件，判断当前题库情况是否满足组卷要求，若满足组卷条件，则进入步骤二开始组卷；否则重新设置组卷参数；

步骤二：在已构建领域知识体系基础上，采用一种基于知识体系结构的改进型随机抽取算法，按照知识模块及模块内知识单元顺序，遵循未被抽取过题目的知识点优先原则，依次循环为各试卷抽取指定题型中之前未被抽取过的题目，直到抽取完条件要求的全部题目；

所述的领域知识体系是指计算机教学领域知识体系，知识体系结构包含课程Course、知识模块Module、知识单元(Unit)、知识点(Point)及其它们之间的关系，而课程、知识模块、知识单元和知识点是特定领域约定俗成的术语，四者为包含关系，满足如下表达式：

$\mathrm{Point}\⊆\mathrm{Unit}\⊆\mathrm{Module}\⊆\mathrm{Course}---\left(1\right);$

步骤三：题目抽取完成后，计算各试卷中每类题型的平均难度值，确定是否符合设定要求，如果不符合，则采用一种循环替换算法进行难度值调整，直到满足设定要求。

所述步骤一，具体为：

①根据组卷条件所给题量及分值，计算每套试卷总分值是否为100分，若不满足，则重新设置题量或题目分值；否则继续；

②扫描试题库，获取题库中指定考核范围的试题总量Sum_S及各类型题目数量Sum_t，当同时满足公式(2)和公式(3)时，可以进行组卷，否则重新调整组卷参数：

${\mathrm{Sum}}_S\≥\mathrm{PaperNum}\×{\mathrm{\Σ}}_1^n(\mathrm{QType}\×\mathrm{QTNum})---\left(2\right)$

Sum_t≥PaperNum×QTNum   (3)

其中，QType表示题型，QTNum表示设定的该题型题目数量，PaperNum表示需要同时组成的试卷数，n表示每套试卷中的题型种类数；对同时组成的每套试卷，其n值相同；

公式(2)的含义是：题库中指定考核范围的试题总量应大于等于所需试卷题目数量之和；公式(3)的含义是：题库中每种题型的题目数量应大于等于所需试卷每种题型题目数量之和。

所述步骤二具体为：

在步骤一成立，即满足组卷条件的基础上，按照知识模块顺序，遵循未被抽取过题目的知识点优先原则，依次为各试卷抽取指定题型中之前未被抽取过的题目，直到抽取完条件要求的全部题目；步骤二的具体过程为：

①选择待抽取题目类型；

②选择抽取断点的下一个知识模块，初始时默认为第1个知识模块作为当前抽取模块，采用一种基于知识体系结构的改进型随机抽取算法，依次为各试卷抽取一道题目；

③判断各试卷该题型题目数量是否达到要求，如果没有，则继续②，否则进行过程④；

④判断是否所有题型题目均已抽取完毕，如果没有，继续①，选择下一种题型；否则，表示各试卷所有题型题目都已抽取完毕。

过程②所述一种基于知识体系结构的改进型随机抽取算法，包括下述具体步骤：

Step1：判断抽取模块中指定题型是否还有未被抽取过的题目，若全部题目均已被抽取，则进入Step5；否则，基于知识体系结构，从该模块中按顺序选择一个知识单元；

Step2：判断该知识单元是否有未被抽取过该题型题目的知识点，若有，执行Step3；否则，搜索是否该知识单元指定题型的所有题目均已被抽取；如果还有题目未被抽取，选择剩余题目最多且被抽取题目最少的知识点，继续Step6。否则继续Step4；；

Step3：选定知识点是否还有未被抽取过的指定类型题目，若有，则进行Step6；否则，返回执行Step2；

Step4：从包含该知识单元的知识模块中，选择与该知识单元相邻的知识单元，重新执行Step2；

Step5：选择指定题型剩余题目数量最大、且被抽取过的题目最少的知识模块作为当前抽取模块，重新返回Step1；

Step6：从选定的知识点中随机抽取一道未被抽取过的题目；

Step7：判断各试卷是否均已抽取一道指定题型的题目，如果没有，转向Step3；否则，并将所抽取的题目及其知识点标记为“已抽取”，将包含该知识点的知识模块设为抽取断点；完成为每套试卷抽取一道指定题型题目工作。

所述步骤三具体为：

对按照步骤二所抽取的各试卷，分别计算每套试卷中每种题型的平均难度值，并与步骤一设定的各题型难度值进行比较，若某试卷某题型的平均难度值与该题型对应的之间的偏差处于允许范围，则结束组卷；否则采用一种循环替换算法进行难度值调整，直到满足设定要求，所述的种循环替换算法包括下述具体步骤：

(1)如果某题型难度值大于设定值，则：

Step1：删除该题型当前难度值最大的题目，获取该题目关联的知识点，通过关键词匹配方法，查找题库中同一知识点中是否有未被抽取过、难度值小于被删除题的同类型题目；若有，则执行Step6，否则继续Step2；

Step2：从包含该知识点的知识单元中查找是否有未被抽取过、难度值小于被删除题的同类型题目；若有，则执行Step6，否则继续Step3；

Step3：从包含该知识单元的知识模块中查找是否有未被抽取过、难度值小于被删除题的同类型题目；若有，则执行Step6，否则继续Step4；

Step4：查找题库中当前题型剩余题量最多、且被抽取题目最少的知识模块，查找是否有未被抽取过、难度值小于被删除题的同类型题目；若有，执行Step6；否则继续Step5；

Step5：按照Step4所述原则，重新选择知识模块，再重复Step4；如果所有知识模块都已搜索完，没有找到符合条件的题目，则难度调整失败，重新组卷；

Step6：随机抽取一道满足条件的题目，计算当前题型的平均难度值，若符合难度范围要求，则结束；否则继续转向Step1。

(2)如果某题型难度值小于设定值，按照与Step1所述相同的方法，依次选择难度值最小的题目进行调整。

所述的关联、取断点和抽取模块解释如下：

①关联：表示“从属”，指题目从属于某个知识模块或知识点。

②取断点：当前被抽取题目所关联的知识模块。

③抽取模块：抽取断点的下一个知识模块。

与现有技术相比，本发明的特点是：

1)可同时组成题型种类一致、满分值为100分的多套试卷。

2)通过对已抽取过的题目及其关联的知识点进行标记，并通过关键词匹配算法判断是否是已抽取过的知识点，可确保同时所组各套试卷具有完全不同的题目。

3)按照领域知识体系结构设计题目抽取顺序，依次从选定知识点循环为每套试卷抽取题目，并遵循未被抽取过题目的知识点优先原则，在各知识点所关联题目数量足够的情况下，可确保同时所组各套试卷题目覆盖的知识点完全相同。若知识点所关联题目数量不足，则可确保同时所组各套试卷题目覆盖的知识单元或知识模块相同。

4)通过按照知识模块及模块内知识单元顺序循环抽取题目，可实现同时所组各套试卷的试题覆盖考核范围的全部知识模块，在设定试题数量足够多的情况下，可使同时所组各试卷覆盖考核范围中的全部知识点，即实现同时所组各套试卷的知识模块覆盖范围和知识点覆盖范围最大化和均衡化。

5)可分别设计不同类型题目的难度范围，确保同时抽取的各套试卷每种题型具有完全一致的难度范围，并符合设定要求。

6)可随意选择组卷范围，并根据所选知识模块范围来抽取题目。

附图说明

图1是本发明参照的计算机领域知识体系拓扑结构图。

图2是本发明的组卷方法流程图。

图3是本发明的题目抽取方法流程图。

图4是基于知识体系结构的改进型随机抽取算法流程。

图5为题型难度值调整方法流程图。

图6是本发明的循环替换算法流程。

具体实施方式

下面结合附图对本发明作进一步的详细描述。

图1所示为计算机领域知识体系拓扑结构图，包含：课程(Course)、知识模块(Module)、知识单元(Unit)和知识点(Point)，它们之间满足公式(1)所述关系。为实现所组多套试卷知识点覆盖最大化和均衡化，本发明设计题库中的每道题目都与一个具体的知识点关联，按照公式(1)，每道题目也就同时属于某个具体的知识单元、知识模块和某门课程。由此，设计题库中的题目属性包括：

<课程，知识模块，知识单元，知识点，难度，题型，题干，答案>

参照图2，本发明将设定的组卷条件作为输入，组卷过程包括3个步骤：步骤一，根据设定的组卷条件及当前题库情况，判断是否满足组卷要求，若满足条件则进行组卷；否则重新设置组卷参数；在确定满足组卷条件的情况下，步骤二，基于图1所示领域知识体系，采用一种基于知识体系结构的改进型随机抽取算法，按照知识模块顺序，遵循未被抽取过题目的知识点优先原则，依次为各试卷抽取指定题型中之前未被抽取过的题目，直到抽取完条件要求的全部题目；步骤三对抽取完成的各试卷，计算各试卷中各题型的平均难度值，并与各题型设定值难度值QDegree比较，若难度误差小于允许值，则组卷结束，否则采用一种循环替换算法进行难度值调整，直到满足设定要求。

组卷条件可通过浏览器登录组卷系统设置，包括的参数有：

●课程(Course)：本次组卷针对的具体课程；

●试卷数量(PaperNum)：需要同时组成的试卷套数；

●考核范围(Scope)：试题涉及的知识模块；

●题型(QType)：各试卷所包含的题目类型。本发明涉及的题型包括：单选、多选、判断、填空、简答、综述、编程。

●每种类型题目数量(QTNum)：每套试卷中单种题型的题目数量。

●题目分值(Score)：每种题型的单道题目分值。不同题型的单道题目分值可以不同。

●题型难度值(QDegree)：试卷中每种类型题目的平均难度值。不同题型的QDegree可以不同

这里，“试卷数量”是指同时组成的试卷数，该数量与实际需要及题库容量有关。在Scope设定的前提下，若用Sum_S表示题库中设定考核范围的总题量，Sum_t表示题库中考核范围内任意一种题型的题目数量，n表示要求的题型种类数，则允许同时组成的试卷数量应同时满足公式(2)和公式(3)的条件。

定义一维数组degreeForTypes记录各题型试题难度值，定义float型变量degreeForPapr表示允许的难度误差范围f。

一种基于计算机领域知识体系的B/S模式自动组卷方法，包括如下步骤：

参照图3，步骤一：

①根据设定的题目数量及每道题目分值，计算每套试卷总分值是否为100分，若不满足，则需重新设置题量或题目分值；

②获取确定当前题库中指定考核范围内的试题总量Sum_S及各类型题目数量Sum_t，包括如下步骤：

Step1：根据题目的“课程”属性和“知识模块”属性，获取题库中该课程下满足考核范围要求的试题总量Sum_S；

Step2：根据题目属性中的“知识模块”和“题型”属性，计算出设定“考核范围”各种题型的题目数量；

③根据公式(2)和公式(3)，确定题库中当前各类型题目数量是否满足要求组成的试卷数量。若题量不满足试卷数量要求，则重新设置组卷条件；否则进入步骤二，开始组卷。

步骤二：在步骤一成立的基础上，根据图1所示领域知识体系，采用一种基于知识体系结构的改进型随机抽取算法，按照知识模块及模块内知识单元顺序，遵循未被抽取过题目的知识点优先原则，依次循环为各试卷抽取指定题型中之前未被抽取过的题目，直到抽取完条件要求的全部题目。

定义二维数组MIsChoosed和PIsChoosed，分别表示某类题型中某知识模块是否已抽取，以及某知识模块中某知识点是否已抽取；定义整型变量Count表示某题型已抽取的题目数量，初始化为0；定义Sum表示某类题型所需题目数量。

参见图3，题目抽取流程包括：

①选定准备抽取的题目类型；

②选择抽取断点的下一个知识模块(初始时默认为第1个知识模块)作为当前抽取模块，采用一种基于知识体系结构的改进型随机抽取算法，依次为各试卷抽取一道题目；

③判断各试卷该题型题目数量是否达到要求，如果没有，则继续②；否则进行过程④；

④判断是否所有题型题目均已抽取完毕，如果没有，继续①，选择下一种题型；否则，表示各试卷所有题型题目都已抽取完毕。

参见图4，过程②所述的基于知识体系结构的改进型随机抽取算法包括下列具体步骤：

Step1：判断抽取模块中指定题型是否还有未被抽取过的题目，若全部题目均已被抽取，则进入Step5；否则，基于知识体系结构，从该模块中按顺序选择一个知识单元；

Step2：判断该知识单元是否有未被抽取过该题型题目的知识点；若有，执行Step3；否则，搜索是否该知识单元指定题型的所有题目均已被抽取；如果还有题目未被抽取，选择剩余题目最多且被抽取题目最少的知识点，继续Step6；否则继续Step4；；

Step3：选定知识点是否还有未被抽取过的指定类型题目，若有，则进行Step6；否则，返回执行Step2；

Step4：从包含该知识单元的知识模块中，选择与该知识单元相邻的知识单元，重新执行Step2；

Step5：选择指定题型剩余题目数量最大、且被抽取过的题目最少的知识模块作为当前抽取模块，重新返回Step1；

Step6：采用随机算法，从选定的知识点中随机抽取一道未被抽取过的题目；

Step7：判断各试卷是否均已抽取一道指定题型的题目，如果没有，转向Step3；否则，并将所抽取的题目及其知识点标记为“已抽取”，将包含该知识点的知识模块设为抽取断点，完成为每套试卷抽取一道指定题型题目工作。

步骤三：本发明的试卷难度值按题型计算，确保同时组成的每套试卷的同一题型均在相同的难度范围内。设Da_i为表示第i套试卷选定题型的平均难度值，D_i为该题型设定难度值，f为允许误差值。参见图5，试卷难度值调整的具体方法是：

①选定某种题型，依次计算每套试卷该题型的平均难度值Da_i，并与该题型设定难度值D_i进行比较：

②如果|Da_i-D_i|<f，表示误差在允许范围内，继续检测下一种题型的难度范围；否则采用循环替换算法进行难度值调整，直到满足设定要求。调整分为两种情况：(1)如果|Da_i-D_i|≥f且Da_i>D_i，则删除第i套试卷该题型中难度值最大的题目，重新抽取难度值较小、且在本次组卷中未被抽取过的同类型题目替换。直到满足要求为止；(2)如果|Da_i-D_i|≥f且Da_i<D_i，则删除第i套试卷该题型中难度值最小的题目，重新抽取难度值较大、且在本次组卷中未被抽取过的同类型题目替换。直到满足要求为止。

图6所示是上述情况(1)的循环替换算法。这里的替换条件是指：该题目在本次组卷中未被抽取过、且难度值小于待替换题目难度值的同类型题目。参见图6，所述情况(1)的循环替换算法包括如下具体步骤：

Step1：删除该题型当前难度值最大的题目，从题目属性中获取待替换题目关联的知识点，通过关键词匹配方法，查找题库中同一知识点关联的题目，判断其中有无满足替换条件的题目；若有，执行Step6，否则继续Step2；

Step2：若该知识点关联的题目均已被抽取，则参照图1所示知识体系结构，从其包含该知识点的知识单元中查找有无满足替换条件的题目。若有，执行Step6。否则继续Step3。

Step3：若该知识单元中已无满足条件的题目可抽取，则从包含该知识点的知识模块中查找有无满足替换条件的题目；若有，执行Step6；否则继续Step4。

Step4：若该知识点所属知识模块中已无满足条件的题目可抽取，则搜索该题型剩余题量最大且被抽取题目最少的知识模块，查找有无满足替换条件的题目；若有，执行Step6，否则继续Step5；

Step5：按照Step4所述原则，重新选择知识模块，再重复Step4；如果所有知识模块都已搜索完，没有找到符合条件的题目，则难度调整失败，重新组卷。

Step6：随机抽取一道满足替换条件的题目，替换原题。

③反复进行步骤①，直到所有题型均满足|Da_i-D|<f。

④如果|Da_i-D|≥f，且Da_i<D，采用与①类似的方法，依次替换题型中难度值最小的题目，直到所有题型均满足|Da_i-D|<f。

Claims (4)

1.一种基于计算机领域知识体系的B/S模式自动组卷方法，其特征在于，包括如下步骤：

步骤一：根据组卷条件，判断当前题库情况是否满足组卷要求，若满足组卷条件，则进入步骤二开始组卷；否则重新设置组卷参数；

步骤二：在已构建领域知识体系基础上，采用一种基于知识体系结构的改进型随机抽取算法，按照知识模块及模块内知识单元顺序，遵循未被抽取过题目的知识点优先原则，依次循环为各试卷抽取指定题型中之前未被抽取过的题目，直到抽取完条件要求的全部题目；

所述的领域知识体系是指计算机教学领域知识体系，知识体系结构包含课程Course、知识模块Module、知识单元(Unit)、知识点(Point)及其它们之间的关系，而课程、知识模块、知识单元和知识点是特定领域约定俗成的术语，四者为包含关系，满足如下表达式：

$\mathrm{Point}\&SubsetEqual;\mathrm{Unit}\&SubsetEqual;\mathrm{Module}\&SubsetEqual;\mathrm{Course}---\left(1\right);$

步骤三：题目抽取完成后，计算各试卷中每类题型的平均难度值，确定是否符合设定要求，如果不符合，则采用一种循环替换算法进行难度值调整，直到满足设定要求。

2.根据权利要求1所述的一种基于计算机领域知识体系的B/S模式自动组卷方法，其特征在于，所述步骤一具体为：

①根据组卷条件所给题量及分值，计算每套试卷总分值是否为100分，若不满足，则重新设置题量或题目分值；否则继续；

②扫描试题库，获取题库中指定考核范围的试题总量Sum_S及各类型题目数量Sum_t，当同时满足公式(2)和公式(3)时，可以进行组卷，否则重新调整组卷参数：

${\mathrm{Sum}}_S\&GreaterEqual;\mathrm{PaperNum}\&times;{\mathrm{\&Sigma;}}_1^n(\mathrm{QType}\&times;\mathrm{QTNum})---\left(2\right)$

Sum_t≥PaperNum×QTNum   (3)

其中，QType表示题型，QTNum表示设定的该题型题目数量，PaperNum表示需要同时组成的试卷数，n表示每套试卷中的题型种类数；对同时组成的每套试卷，其n值相同；

公式(2)的含义是：题库中指定考核范围的试题总量应大于等于所需试卷题目数量之和；公式(3)的含义是：题库中每种题型的题目数量应大于等于所需试卷每种题型题目数量之和。

3.根据权利要求1所述的一种基于计算机领域知识体系的B/S模式自动组卷方法，其特征如下，所述步骤二具体为：

在步骤一成立，即满足组卷条件的基础上，按照知识模块顺序，遵循未被抽取过题目的知识点优先原则，依次为各试卷抽取指定题型中之前未被抽取过的题目，直到抽取完条件要求的全部题目；步骤二的具体过程为：

①选择待抽取题目类型；

②选择抽取断点的下一个知识模块，初始时默认为第1个知识模块作为当前抽取模块，采用一种基于知识体系结构的改进型随机抽取算法，依次为各试卷抽取一道题目；

③判断各试卷该题型题目数量是否达到要求，如果没有，则继续②，否则进行过程④；

④判断是否所有题型题目均已抽取完毕，如果没有，继续①，选择下一种题型；否则，表示各试卷所有题型题目都已抽取完毕。

过程②所述一种基于知识体系结构的改进型随机抽取算法，包括下述具体步骤：

Step1：判断抽取模块中指定题型是否还有未被抽取过的题目，若全部题目均已被抽取，则进入Step5；否则，基于知识体系结构，从该模块中按顺序选择一个知识单元；

Step2：判断该知识单元是否有未被抽取过该题型题目的知识点，若有，执行Step3；否则，搜索是否该知识单元指定题型的所有题目均已被抽取；如果还有题目未被抽取，选择剩余题目最多且被抽取题目最少的知识点，继续Step6。否则继续Step4；；

Step3：选定知识点是否还有未被抽取过的指定类型题目，若有，则进行Step6；否则，返回执行Step2；

Step4：从包含该知识单元的知识模块中，选择与该知识单元相邻的知识单元，重新执行Step2；

Step5：选择指定题型剩余题目数量最大、且被抽取过的题目最少的知识模块作为当前抽取模块，重新返回Step1；

Step6：从选定的知识点中随机抽取一道未被抽取过的题目；

Step7：判断各试卷是否均已抽取一道指定题型的题目，如果没有，转向Step3；否则，并将所抽取的题目及其知识点标记为“已抽取”，将包含该知识点的知识模块设为抽取断点；完成为每套试卷抽取一道指定题型题目工作。

4.根据权利要求1所述的一种基于计算机领域知识体系的B/S模式自动组卷方法，其特征如下，所述步骤三具体为：

对按照步骤二所抽取的各试卷，分别计算每套试卷中每种题型的平均难度值，并与步骤一设定的各题型难度值进行比较，若某试卷某题型的平均难度值与该题型对应的之间的偏差处于允许范围，则结束组卷；否则采用一种循环替换算法进行难度值调整，直到满足设定要求，所述的种循环替换算法包括下述具体步骤：

(1)如果某题型难度值大于设定值，则：

Step1：删除该题型当前难度值最大的题目，获取该题目关联的知识点，通过关键词匹配方法，查找题库中同一知识点中是否有未被抽取过、难度值小于被删除题的同类型题目；若有，则执行Step6，否则继续Step2；

Step2：从包含该知识点的知识单元中查找是否有未被抽取过、难度值小于被删除题的同类型题目；若有，则执行Step6，否则继续Step3；

Step3：从包含该知识单元的知识模块中查找是否有未被抽取过、难度值小于被删除题的同类型题目；若有，则执行Step6，否则继续Step4；

Step4：查找题库中当前题型剩余题量最多、且被抽取题目最少的知识模块，查找是否有未被抽取过、难度值小于被删除题的同类型题目；若有，执行Step6；否则继续Step5；

Step5：按照Step4所述原则，重新选择知识模块，再重复Step4；如果所有知识模块都已搜索完，没有找到符合条件的题目，则难度调整失败，重新组卷；

Step6：随机抽取一道满足条件的题目，计算当前题型的平均难度值，若符合难度范围要求，则结束；否则继续转向Step1。

(2)如果某题型难度值小于设定值，按照与Step1所述相同的方法，依次选择难度值最小的题目进行调整。