CN114049240A - 基于学生在线学习数据智能推荐题目及学习路径的方法 - Google Patents

基于学生在线学习数据智能推荐题目及学习路径的方法 Download PDF

Info

Publication number
CN114049240A
CN114049240A CN202111309171.9A CN202111309171A CN114049240A CN 114049240 A CN114049240 A CN 114049240A CN 202111309171 A CN202111309171 A CN 202111309171A CN 114049240 A CN114049240 A CN 114049240A
Authority
CN
China
Prior art keywords
user
current
question
value
questions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111309171.9A
Other languages
English (en)
Inventor
王兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xuezhiwang Education Technology Co ltd
Original Assignee
Beijing Xuezhiwang Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xuezhiwang Education Technology Co ltd filed Critical Beijing Xuezhiwang Education Technology Co ltd
Priority to CN202111309171.9A priority Critical patent/CN114049240A/zh
Publication of CN114049240A publication Critical patent/CN114049240A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明提供了一种基于学生在线学习数据智能推荐题目及学习路径的方法，包括：步骤1，根据IRT的基本算法，依据数据库中已有的当前用户的做题记录，通过极大似然估计法对用户进入智能学习时的能力值进行估计，得到用户当前的能力估值；步骤2，设定一个期望正确率，在题库中计算当前能力估值的用户在所有题上的理论正确率，并挑选出最接近期望正确率的题；步骤3，每次用户做完一道当前智能练习模块推荐的新题之后，将该题的作答结果加入到用户的历史作答结果中去，重新按照步骤1更新用户的当前能力估值；步骤4，判断是否结束练习；步骤5，对用户进行练习反馈。本发明通过基于IRT的掌握式智能推荐方法，很好地解决了智能推荐题目及学习路径问题。

Description

基于学生在线学习数据智能推荐题目及学习路径的方法
技术领域
本发明涉及计算机辅助教学技术领域，具体涉及一种基于学生在线学习数据智能推荐题目及学习路径的方法。
背景技术
随着信息技术的高速发展，智能推荐技术逐步与学科学习过程深入融和，很多学习软件平台都在往智能组题和智能出题方向发展，根据学生做题记录，对学生推荐对应知识点的练习题，但都过于粗糙，换句话说，系统推荐出的题不是高于该考点的学生水平，就是低于该考点的学生水平，这样导致学生学习失去兴趣，打击学生学习的自信心。
发明内容
本发明的目的是提供一种基于学生在线学习数据智能推荐题目及学习路径的方法，采用基于IRT的掌握式智能推荐方法，解决智能推荐题目及学习路径问题，使单个学生的学习路径更个性化，真正做到因材施教，使学生对每个知识点、技能点及方法点真正做到掌握之后再进入下一步的学习，以科技手段帮助学生减负增效，赋能教师分层乃至个性化精准教学。
本发明提供了一种基于学生在线学习数据智能推荐题目及学习路径的方法，包括如下步骤：
步骤1，根据IRT的基本算法，依据数据库中已有的当前用户的做题记录，通过极大似然估计法对用户进入智能学习时的能力值进行估计，得到用户当前的能力估值；
步骤2，设定一个期望正确率，在题库中计算当前能力估值的用户在所有题上的理论正确率，并挑选出最接近期望正确率的题；
步骤3，每次用户做完一道当前智能练习模块推荐的新题之后，将该题的作答结果加入到用户的历史作答结果中去，重新按照步骤1的方法更新用户的当前能力估值；
步骤4，判断是否结束练习；
步骤5，练习结束后，对用户进行练习反馈。
进一步地，所述步骤1包括：
假设用户已有n个空的做题记录，对于用户在第i空上的作答来说，
Uu:用户事实上是否答对第i空，为1则做对了，为0则做错了；
Pi：用户做对第i空的理论概率；
Qi：用户做错第i空的概率；
由IRT的单参数模型预测可得，
Figure BDA0003341214720000021
Qi＝1-Pi
其中，bi为第i空的难度,θ为用户当前的能力估值。
假设已知用户θ，其事实上做对第i题的条件概率为：
Figure BDA0003341214720000022
那么在空之间相互独立的假设下，一个能力估值为θ的用户，在n个空上的作答符合U1，U2，U3，…，Un的概率是：
P(U1，U2，U3，…，Un|θ)＝P(U1|θ)P(U2|θ)…P(Un|θ)；
其似然函数为：
Figure BDA0003341214720000023
转化为对数似然函数：
Figure BDA0003341214720000024
如果能找到一个θ值，使得L最大，该θ值即为当前用户的能力估值：
Figure BDA0003341214720000025
在求取该θ值时，用定距的全局搜索；
如果用户没有该知识点上的先前做题记录，那么就取θ＝0作为后续算法的起点值。
进一步地，所述步骤2包括：
设定一个预期正确率t，t的具体取值应在0.5～1之间，之后做AB测试来确定。
进一步地，步骤4中通过以下规则中的一种或多种判断是否结束练习，所述规则包括：
用户当前在智能练习模块中已完成的题目数量达到某一值n；
用户最近k轮的能力估值已经大于2.5；
当前题库中已不存在预期正确率在t附近的题。
进一步地，步骤5中练习反馈的方式包括：
告知用户结束练习时的能力估值，该估值服从标准正态分布，通过分位数确定当前用户水平超越了多少用户，并反馈给用户；
遍历当前知识点的题库，计算当前θ值的用户完成每一题的正确率，对所有题的正确率取均值后即模拟计算出一次大型考试中用户的得分期望。
与现有技术相比本发明的有益效果是：
(1)自适应评测
在学生进行在线测试时，收集用户在线测试的实时信息来更新学生的能力θ，然后使用项目信息函数来选择更加有效的题目来提供给学生，从而达到更好的测试和学习效果。
(2)真正的“千人千面”的学习
利用IRT模型实现题目推荐的个性化，实现真正做题的“千人前面”。在这个基础上，能实现了真正意义上的学习效率的提高，同时，做题的针对性强，学习效果也得到真正的保障，能实现真正意义的个性化学习。
(3)精准地测量学生的学科水平，更好地实施掌握式教学
相较于老师们主观组合、实施的考试和经典测验理论，应用基于IRT的掌握式的智能做题可以更加精准地测量学生的学科水平。学生可以在前知识或低阶技能掌握之后才能进入更高层级的学习，减少不必要的挫折感，学生坚持学习的概率就更大。
(4)被试的能力参数与项目的难度参数具有配套性
被试的能力参数与项目的难度参数是定义在同一个量表上的，当一个被试的能力参数已知时，配一个项目参数已知的测验，即可预测被试的正确反应概率，练习更个性。
附图说明
图1是本发明基于学生在线学习数据智能推荐题目及学习路径的方法的流程图；
图2是IRT模型曲线图；
图3是本发明一实施例中整个题目难度区间。
具体实施方式
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
参图1所示，本实施例提供了一种基于学生在线学习数据智能推荐题目及学习路径的方法，包括如下步骤：
步骤1，根据IRT的基本算法，依据数据库中已有的当前用户的做题记录，通过极大似然估计法对用户进入智能学习时的能力值进行估计，得到用户当前的能力估值；
步骤2，设定一个期望正确率，在题库中计算当前能力估值的用户在所有题上的理论正确率，并挑选出最接近期望正确率的题；
步骤3，每次用户做完一道当前智能练习模块推荐的新题之后，将该题的作答结果加入到用户的历史作答结果中去，重新按照步骤1的方法更新用户的当前能力估值；
步骤4，判断是否结束练习；
步骤5，练习结束后，对用户进行练习反馈。
该采用基于IRT的掌握式智能推荐方法，解决了智能推荐题目及学习路径问题，使单个学生的学习路径更个性化，真正做到因材施教，使学生对每个知识点、技能点及方法点真正做到掌握之后再进入下一步的学习，以科技手段帮助学生减负增效，赋能教师分层乃至个性化精准教学。
下面对本发明作进一步详细说明。
1、IRT模型原理
IRT模型是用于评估被试对某一项目或某一类项目的潜在特质。
IRT模型是建立在一定的假设之下：
(1)单维性假设，即假设某个测验只测量被试的某一种能力。
(2)独立性假设，即假设被试在每一个项目上的作答反应是相互独立，互不影响的，作答反应只与被试自身的能力水平有关，与其他元素无关。
(3)模型假设，即被试在项目上的正确反应概率与被试的能力水平有一定的函数关系。
被选择用来表示这种关系的函数比较多，用的比较多的是logistic模型，根据参数个数不同，可以分为单参数、双参数和三参数logistic模型。IRT三参数logistic模型为：
Figure BDA0003341214720000051
该模型的曲线图如图2所示。
其中相关参数的定义如表1：
表1参数定义
Figure BDA0003341214720000052
Figure BDA0003341214720000061
2、三参数IRT模型转化为单参数模型
Figure BDA0003341214720000062
设c＝0，a＝1的条件下，该模型变为单参数模型，
Figure BDA0003341214720000063
3、数据准备
1)以空为单位计算试题的难度
2)用户的先前测试记录
可以根据已有做题记录估计试题难度的方法，同一知识点下的数据作为一个数据集进行估计。
3)人工标注难度，具体方案为：
参图3所示，图3是整个题目难度区间，区间为-3～3，如果我们将难度区间区分三档难度题，可以这样进行近似：
难度 占试题总量 难度标注
简单题 16％ -1.7
一般题 68％ 0
难题 16％ 1.7
在标注流程上，可以用1-5的难度量规进行标注，比如：对xx题，A老师标注难度为3，B老师标注难度为2，最终以两个老师的难度均值作为此题的最终难度标注。再将所有题进行难度排序，通过上面的标准对题目进行归类，并给予大约的难度值。
在一具体实施例中，该基于学生在线学习数据智能推荐题目及学习路径的方法步骤如下：
步骤1：通过过往做题记录计算当前用户在知识点上的能力值θ。
根据IRT的基本算法，依据数据库中已有的当前用户的做题记录，对用户进入智能学习时的能力值进行估计，采用的方法为极大似然估计法。
假设用户已有n个空的做题记录(在目前情况下，一题多空的情况可以先当作多个独立的空来处理)，对于用户在第i空上的作答来说，
Ui:用户事实上是否答对第i空，为1则做对了，为0则做错了；
Pi：用户做对第i空的理论概率；Qi：用户做错第i空的概率；
由IRT的单参数模型预测可得，
Figure BDA0003341214720000071
Qi＝1-Pi
其中，bi为第i空的难度,θ为用户当前的能力估值。
那么假设已知用户θ，其事实上做对第i题的条件概率为：
Figure BDA0003341214720000072
那么在空之间相互独立的假设下，一个能力值为θ的用户，在n个空上的作答符合U1，U2，U3，…，Un的概率是：
P(U1，U2，U3，...，Un|θ)＝P(U1|θ)P(U2|θ)...P(Un|θ)
其似然函数为：
Figure BDA0003341214720000073
为方便计算，转化为对数似然函数：
Figure BDA0003341214720000074
所以，如果能找到一个θ值，使得L最大，该θ值即为当前用户能力的估值：
Figure BDA0003341214720000081
在求取该θ值时，不推荐使用之前的牛顿拉夫逊法，可以用定距的全局搜索。
随着用户做题记录变多，θ估值会越来越精确，但是考虑到θ估值只是作为后续算法的一个初始值，故不考虑精度的问题。如果用户没有该知识点上的先前做题记录，那么就取θ＝0作为后续算法的起点值。
步骤2：根据用户当前水平估值，选择适合的题
挑选的题需要对用户有一定的挑战性，所以每次选题的原则是设定一个期望正确率，在题库中计算当前能力值的用户在所有题上的理论正确率，并挑选出最接近期望正确率的题给他。也就是设定一个预期正确率t，t的具体取值应在0.5～1之间，之后可以做AB测试来确定，暂定t的取值为0.8。
步骤3：更新用户能力值。
每次用户做完一道当前模块推荐的新题之后，将该题的作答结果加入到用户的历史作答结果中去，重新按照步骤1的方法更新用户的当前能力估值。
步骤4：判断是否结束练习。
结束练习的标准可以应用以下规则中的一种或多种：
用户当前在智能练习模块中已完成的题目数量达到某一值n；
用户最近k轮的能力估值已经大于2.5(k可以取3左右)；
当前题库中已不存在预期正确率在t附近的题(可以在步骤2的算法中设定dist需满足dist＜0.3，否则结束当前的推荐。
步骤5，练习反馈。
反馈方式可以告知用户结束练习时的能力估值，该估值服从标准正态分布，可以通过分位数确定当前用户水平超越了多少用户，并反馈给用户。
也可以遍历当前知识点的题库，计算当前θ值的用户完成每一题的正确率，对所有题的正确率取均值后即模拟计算出一次大型考试中用户的得分期望。
本发明具有如下技术效果：
(1)自适应评测
在学生进行在线测试时，收集用户在线测试的实时信息来更新学生的能力θ，然后使用项目信息函数来选择更加有效的题目来提供给学生，从而达到更好的测试和学习效果。
(2)真正的“千人千面”的学习
利用IRT模型实现题目推荐的个性化，实现真正做题的“千人前面”。在这个基础上，能实现了真正意义上的学习效率的提高，同时，做题的针对性强，学习效果也得到真正的保障，能实现真正意义的个性化学习。
(3)精准地测量学生的学科水平，更好地实施掌握式教学
相较于老师们主观组合、实施的考试和经典测验理论，应用基于IRT的掌握式的智能做题可以更加精准地测量学生的学科水平。学生可以在前知识或低阶技能掌握之后才能进入更高层级的学习，减少不必要的挫折感，学生坚持学习的概率就更大。
(4)被试的能力参数与项目的难度参数具有配套性
被试的能力参数与项目的难度参数是定义在同一个量表上的，当一个被试的能力参数已知时，配一个项目参数已知的测验，即可预测被试的正确反应概率，练习更个性。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (5)

1.一种基于学生在线学习数据智能推荐题目及学习路径的方法，其特征在于，包括如下步骤：
步骤1，根据IRT的基本算法，依据数据库中已有的当前用户的做题记录，通过极大似然估计法对用户进入智能学习时的能力值进行估计，得到用户当前的能力估值；
步骤2，设定一个期望正确率，在题库中计算当前能力估值的用户在所有题上的理论正确率，并挑选出最接近期望正确率的题；
步骤3，每次用户做完一道当前智能练习模块推荐的新题之后，将该题的作答结果加入到用户的历史作答结果中去，重新按照步骤1的方法更新用户的当前能力估值；
步骤4，判断是否结束练习；
步骤5，练习结束后，对用户进行练习反馈。
2.根据权利要求1所述的基于学生在线学习数据智能推荐题目及学习路径的方法，其特征在于，所述步骤1包括：
假设用户已有n个空的做题记录，对于用户在第i空上的作答来说，
Ui：用户事实上是否答对第i空，为1则做对了，为0则做错了；
Pi：用户做对第i空的理论概率；
Qi：用户做错第i空的概率；
由IRT的单参数模型预测可得，
Figure FDA0003341214710000011
其中，bi为第i空的难度，θ为用户当前的能力估值。
假设已知用户θ，其事实上做对第i题的条件概率为：
Figure FDA0003341214710000012
那么在空之间相互独立的假设下，一个能力估值为θ的用户，在n个空上的作答符合U1，U2，U3，…，Un的概率是：
P(U1，U2，U3，...，Un|θ)＝P(U1|θ)P(U2|θ)...P(Un|θ)；
其似然函数为：
Figure FDA0003341214710000021
转化为对数似然函数：
Figure FDA0003341214710000022
如果能找到一个θ值，使得L最大，该θ值即为当前用户的能力估值：
Figure FDA0003341214710000023
在求取该θ值时，用定距的全局搜索；
如果用户没有该知识点上的先前做题记录，那么就取θ＝0作为后续算法的起点值。
3.根据权利要求1所述的基于学生在线学习数据智能推荐题目及学习路径的方法，其特征在于，所述步骤2包括：
设定一个预期正确率t，t的具体取值应在0.5～1之间，之后做AB测试来确定。
4.根据权利要求3所述的基于学生在线学习数据智能推荐题目及学习路径的方法，其特征在于，步骤4中通过以下规则中的一种或多种判断是否结束练习，所述规则包括：
用户当前在智能练习模块中已完成的题目数量达到某一值n；
用户最近k轮的能力估值已经大于2.5；
当前题库中已不存在预期正确率在t附近的题。
5.根据权利要求1所述的基于学生在线学习数据智能推荐题目及学习路径的方法，其特征在于，步骤5中练习反馈的方式包括：
告知用户结束练习时的能力估值，该估值服从标准正态分布，通过分位数确定当前用户水平超越了多少用户，并反馈给用户；
遍历当前知识点的题库，计算当前θ值的用户完成每一题的正确率，对所有题的正确率取均值后即模拟计算出一次大型考试中用户的得分期望。
CN202111309171.9A 2021-11-06 2021-11-06 基于学生在线学习数据智能推荐题目及学习路径的方法 Pending CN114049240A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111309171.9A CN114049240A (zh) 2021-11-06 2021-11-06 基于学生在线学习数据智能推荐题目及学习路径的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111309171.9A CN114049240A (zh) 2021-11-06 2021-11-06 基于学生在线学习数据智能推荐题目及学习路径的方法

Publications (1)

Publication Number Publication Date
CN114049240A true CN114049240A (zh) 2022-02-15

Family

ID=80207353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111309171.9A Pending CN114049240A (zh) 2021-11-06 2021-11-06 基于学生在线学习数据智能推荐题目及学习路径的方法

Country Status (1)

Country Link
CN (1) CN114049240A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114936315A (zh) * 2022-04-07 2022-08-23 网易有道信息技术（北京）有限公司 自适应推题的方法及其相关产品
CN115062949A (zh) * 2022-04-13 2022-09-16 上海职鼎网络科技有限公司 岗位能力测量方法及装置
CN115985152A (zh) * 2022-12-14 2023-04-18 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 针对在线编程教学的自适应推荐方法及相关设备
WO2023159754A1 (zh) * 2022-02-23 2023-08-31 平安科技（深圳）有限公司 能力等级分析方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023159754A1 (zh) * 2022-02-23 2023-08-31 平安科技（深圳）有限公司 能力等级分析方法、装置、电子设备及存储介质
CN114936315A (zh) * 2022-04-07 2022-08-23 网易有道信息技术（北京）有限公司 自适应推题的方法及其相关产品
CN115062949A (zh) * 2022-04-13 2022-09-16 上海职鼎网络科技有限公司 岗位能力测量方法及装置
CN115062949B (zh) * 2022-04-13 2023-12-01 上海职鼎网络科技有限公司 岗位能力测量方法及装置
CN115985152A (zh) * 2022-12-14 2023-04-18 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 针对在线编程教学的自适应推荐方法及相关设备

Similar Documents

Publication Publication Date Title
CN114049240A (zh) 基于学生在线学习数据智能推荐题目及学习路径的方法
CN110378818B (zh) 基于难度的个性化习题推荐方法、系统及介质
CN109858797B (zh) 基于知识网络精准在线教育系统的多维度信息学情分析方法
CN111062842A (zh) 动态生成个性化题目的方法及装置
CN109299380A (zh) 在线教育平台中基于多维特征的习题个性化推荐方法
CN111651677B (zh) 课程内容推荐方法、装置、计算机设备和存储介质
CN112465678A (zh) 一种学生选课推荐的方法及系统
Gonzalez et al. Scaling methods and procedures for the TIMSS 2003 mathematics and science scales
Prave et al. Instructor ratings: Controlling for bias from initial student interest
Jensen et al. Appealing to good students in introductory economics
Tomkin et al. An improved grade point average, with applications to CS undergraduate education analytics
CN116361697A (zh) 一种基于异构图神经网络模型的学习者学习状态预测方法
Rusydiyah et al. Clustering of learning media user data during Covid-19 Pandemic using K-Means method based on multicultural culture in Indonesia
CN115062950A (zh) 一种基于数字化智能学习培训管理系统
Li et al. Modeling student online learning using clustering
Cheng et al. To implement computerized adaptive testing by automatically adjusting item difficulty index on adaptive English learning platform
CN116610945B (zh) 基于智能算法的学习平台数据记录系统
CN117313947A (zh) 一种基于随机森林和金枪鱼群优化算法的学习预警方法
CN109800880B (zh) 基于动态学习风格信息的自适应学习特征提取系统及应用
CN106960400A (zh) 录取概率的评估方法、推荐高考院校的方法及装置
CN108846579B (zh) 一种学科知识的知识量计算方法和系统
Valen-Dacanay et al. Exploring The Learning Analytics Of Skill-Based Course Using Machine Learning Classification Models
Shvetsov et al. Student model implementation in the digital educational environment for IT specialists training
CN110069704B (zh) 基于分数和任课教师的协同选课推荐方法
Permana et al. Usability evaluation on fish auction information system application using system usability scale

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination