CN111354237A - 基于上下文的深度知识追踪的方法及其计算机可读介质 - Google Patents

基于上下文的深度知识追踪的方法及其计算机可读介质 Download PDF

Info

Publication number
CN111354237A
CN111354237A CN201910966122.9A CN201910966122A CN111354237A CN 111354237 A CN111354237 A CN 111354237A CN 201910966122 A CN201910966122 A CN 201910966122A CN 111354237 A CN111354237 A CN 111354237A
Authority
CN
China
Prior art keywords
question
user
answered
particular user
potential
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910966122.9A
Other languages
English (en)
Inventor
长谷航记
弗朗辛·陈
Y·Y·陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN111354237A publication Critical patent/CN111354237A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

基于上下文的深度知识追踪的方法及其计算机可读介质。一种用于训练用户的方法和系统包括：由神经网络检测包括由用户先前回答的问题和针对先前回答的问题的得分的关系对；检测与先前回答的问题相关联的上下文信息，该上下文信息表示在用户先前回答问题时发生的状况；基于所检测到的关系对和所检测到的与用户先前回答的问题相关联的上下文信息，确定用户将成功回答从潜在问题中选择的后续问题的概率；以及基于所确定的概率选择要由用户回答的问题。

Description

基于上下文的深度知识追踪的方法及其计算机可读介质
技术领域
本公开涉及计算机辅助教育，更具体地，涉及用于具有上下文深度知识追踪的计算机辅助教育的系统和方法。
背景技术
在计算机辅助教育中，系统基于学生的个人知识或能力为学生提供个性化内容，这帮助锚定他们的知识或降低学习成本。在一些相关技术系统中，在系统中通过学生与内容的交互来对学生的知识进行建模的知识追踪任务可能是该领域中的挑战性问题。在相关技术系统中，建模越精确，系统可以提供的内容越令人满意和合适。因此，在计算机辅助教育中，随着时间的推移追踪每个学生的知识对于为每个学生提供个性化学习内容可能是重要的。
在一些相关技术系统中，深度知识追踪(DKT)模型可以表明深度学习能够更精确地对学生的知识进行建模。然而，相关技术方法仅考虑用户和问题之间的交互序列，而没有考虑其他上下文信息或将其集成到知识追踪中。因此，相关技术系统没有考虑对于自动学习或训练系统呈现的顺序问题的上下文知识，诸如问题之间的时间间隔、练习类型、以及用户与相同问题交互的次数。
例如，诸如贝叶斯知识追踪和表现因子分析之类的相关技术知识追踪模型已被广泛探索并应用于实际的智能教学系统。由于深度学习模型可以在诸如模式识别和自然语言处理之类的一系列领域中击败其他相关技术模型，相关技术的深度知识追踪可以表明深度学习可以比这些模型更精确地对学生的知识进行建模。这些相关技术DKT通过经常用于随时间的顺序处理的循环神经网络对学生的知识进行建模。
然而，虽然相关技术DKT可以表现出有希望的结果，但是这些系统仅考虑用户和内容之间的交互序列，而没有考虑其他基本上下文信息并将其集成到知识追踪中。
发明内容
本申请的各方面可以涉及在基于计算机的训练系统中为特定用户定制训练问题的方法。该方法可以包括：由神经网络检测至少一个关系对，每个关系对包括由特定用户先前回答的问题和特定用户针对至少一个先前回答的问题的先前得分；由神经网络检测与用户先前回答的至少一个问题相关联的上下文信息，该上下文信息表示在用户先前回答至少一个问题时发生的状况或情况；由神经网络基于所检测到的关系对和所检测到的与用户先前回答的至少一个问题相关联的上下文信息，确定特定用户将成功回答从多个潜在问题中选择的后续问题的概率；以及基于所确定的概率选择要由用户回答的问题，以便促进对用户的训练。
本申请的其他方面可以涉及一种非暂时性计算机可读介质，其中存储有用于使计算机执行在基于计算机的训练系统中为特定用户定制训练问题的方法的程序。该方法可以包括：由神经网络检测至少一个关系对，每个关系对包括由特定用户先前回答的问题和特定用户针对至少一个先前回答的问题的先前得分；由神经网络检测与用户先前回答的至少一个问题相关联的上下文信息，该上下文信息表示在用户先前回答至少一个问题时发生的状况或情况；由神经网络基于所检测到的关系对和所检测到的与用户先前回答的至少一个问题相关联的上下文信息，确定特定用户将成功回答从多个潜在问题中选择的后续问题的概率；以及基于所确定的概率选择要由用户回答的问题，以便促进对用户的训练。
本申请的其他方面涉及基于计算机的训练系统。该系统可以包括向用户显示问题的显示器、从用户接收答案的用户输入装置、以及执行为用户定制问题的方法的处理器。该方法可以包括：由神经网络检测至少一个关系对，每个关系对包括由特定用户先前回答的问题和特定用户针对至少一个先前回答的问题的先前得分；由神经网络检测与用户先前回答的至少一个问题相关联的上下文信息，该上下文信息表示在用户先前回答至少一个问题时发生的状况或情况；由神经网络基于所检测到的关系对和所检测到的与用户先前回答的至少一个问题相关联的上下文信息，确定特定用户将成功回答从多个潜在问题中选择的后续问题的概率；以及基于所确定的概率控制显示器以显示要由用户回答的问题，以便促进对用户的训练。
本申请的其他方面涉及基于计算机的训练系统。该系统可以包括用于向用户显示问题的显示装置；用于从用户接收答案的装置；用于由神经网络检测至少一个关系对的装置，每个关系对包括由特定用户先前回答的问题和特定用户针对至少一个先前回答的问题的先前得分；用于由神经网络检测与用户先前回答的至少一个问题相关联的上下文信息的装置，该上下文信息表示在用户先前回答至少一个问题时发生的状况或情况；用于由神经网络基于所检测到的关系对和所检测到的与用户先前回答的至少一个问题相关联的上下文信息来确定特定用户将成功回答从多个潜在问题中选择的后续问题的概率的装置；以及用于基于所确定的概率选择要由用户回答的问题以便促进对用户的训练的装置。
本申请的各方面可以涉及在基于计算机的训练系统中为特定用户定制训练问题的方法。该方法可以包括：由神经网络检测至少一个关系对，每个关系对包括由特定用户先前回答的问题和特定用户针对至少一个先前回答的问题的先前得分；由神经网络检测与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，该上下文信息表示在要向特定用户呈现至少一个问题时发生的状况或情况；由神经网络基于所检测到的至少一个关系对以及所检测到的与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，确定特定用户将成功回答至少一个潜在问题的概率；以及基于所确定的概率选择要由用户回答的问题，以便促进对用户的训练。
本申请的其他方面可以涉及一种非暂时性计算机可读介质，其中存储有用于使计算机执行在基于计算机的训练系统中为特定用户定制训练问题的方法的程序。该方法可以包括：由神经网络检测至少一个关系对，每个关系对包括由特定用户先前回答的问题和特定用户针对至少一个先前回答的问题的先前得分；由神经网络检测与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，该上下文信息表示在要向特定用户呈现至少一个问题时发生的状况或情况；由神经网络基于所检测到的至少一个关系对以及所检测到的与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，确定特定用户将成功回答至少一个潜在问题的概率；以及基于所确定的概率选择要由用户回答的问题，以便促进对用户的训练。
本申请的其他方面涉及基于计算机的训练系统。该系统可以包括向用户显示问题的显示器、从用户接收答案的用户输入装置、以及执行为用户定制问题的方法的处理器。该方法可以包括：由神经网络检测至少一个关系对，每个关系对包括由特定用户先前回答的问题和特定用户针对至少一个先前回答的问题的先前得分；由神经网络检测与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，该上下文信息表示在要向特定用户呈现至少一个问题时发生的状况或情况；由神经网络基于所检测到的至少一个关系对以及所检测到的与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，确定特定用户将成功回答至少一个潜在问题的概率；以及基于所确定的概率控制显示器以显示要由用户回答的问题，以便促进对用户的训练。
本申请的其他方面涉及基于计算机的训练系统。该系统可以包括：用于向用户显示问题的显示装置；用于从用户接收答案的装置；用于由神经网络检测至少一个关系对的装置，每个关系对包括由特定用户先前回答的问题和特定用户针对至少一个先前回答的问题的先前得分；用于由神经网络检测与要呈现给特定用户的至少一个潜在问题相关联的上下文信息的装置，该上下文信息表示在要向特定用户呈现至少一个问题时发生的状况或情况；用于由神经网络基于所检测到的至少一个关系对以及所检测到的与要呈现给特定用户的至少一个潜在问题相关联的上下文信息来确定特定用户将成功回答至少一个潜在问题的概率的装置；以及用于基于所确定的概率选择要由用户回答的问题以便促进对用户的训练的装置。
本申请的各方面可以涉及在基于计算机的训练系统中为特定用户定制训练问题的方法。该方法可以包括：由神经网络检测至少一个关系对，每个关系对包括由特定用户先前回答的问题和特定用户针对至少一个先前回答的问题的先前得分；由神经网络检测与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，该上下文信息表示在要向特定用户呈现至少一个问题时发生的状况或情况；由神经网络基于所检测到的至少一个关系对以及所检测到的与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，确定特定用户将成功回答至少一个潜在问题的概率；以及基于所确定的概率选择要由用户回答的问题，以便促进对用户的训练。
本申请的其他方面可以涉及一种非暂时性计算机可读介质，其中存储有用于使计算机执行在基于计算机的训练系统中为特定用户定制训练问题的方法的程序。该方法可以包括：由神经网络检测至少一个关系对，每个关系对包括由特定用户先前回答的问题和特定用户针对至少一个先前回答的问题的先前得分；由神经网络检测与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，该上下文信息表示在要向特定用户呈现至少一个问题时发生的状况或情况；由神经网络基于所检测到的至少一个关系对以及所检测到的与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，确定特定用户将成功回答至少一个潜在问题的概率；以及基于所确定的概率选择要由用户回答的问题，以便促进对用户的训练。
本申请的其他方面涉及基于计算机的训练系统。该系统可以包括：向用户显示问题的显示器、从用户接收答案的用户输入装置、以及执行为用户定制问题的方法的处理器。该方法可以包括：由神经网络检测至少一个关系对，每个关系对包括由特定用户先前回答的问题和特定用户针对至少一个先前回答的问题的先前得分；由神经网络检测与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，该上下文信息表示在要向特定用户呈现至少一个问题时发生的状况或情况；由神经网络基于所检测到的至少一个关系对以及所检测到的与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，确定特定用户将成功回答至少一个潜在问题的概率；以及基于所确定的概率控制显示器以显示要由用户回答的问题，以便促进对用户的训练。
本申请的其他方面涉及基于计算机的训练系统。该系统可以包括：用于向用户显示问题的显示装置；用于从用户接收答案的装置；用于由神经网络检测至少一个关系对的装置，每个关系对包括由特定用户先前回答的问题和特定用户针对至少一个先前回答的问题的先前得分；用于由神经网络检测与要呈现给特定用户的至少一个潜在问题相关联的上下文信息的装置，该上下文信息表示在要向特定用户呈现至少一个问题时发生的状况或情况；用于由神经网络基于所检测到的至少一个关系对以及所检测到的与要呈现给特定用户的至少一个潜在问题相关联的上下文信息来确定特定用户将成功回答至少一个潜在问题的概率的装置；以及用于基于所确定的概率选择要由用户回答的问题以便促进对用户的训练的装置。
本申请的各方面可以涉及在基于计算机的训练系统中为特定用户定制训练问题的方法。该方法可以包括：由神经网络检测至少一个关系对，每个关系对包括由特定用户先前回答的问题和特定用户针对至少一个先前回答的问题的先前得分；由神经网络检测与用户先前回答的至少一个问题相关联的上下文信息，该上下文信息表示在用户先前回答至少一个问题时发生的状况或情况；由神经网络检测与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，该上下文信息表示在要向特定用户呈现至少一个问题时发生的状况或情况；由神经网络基于所检测到的关系对、所检测到的与用户先前回答的至少一个问题相关联的上下文信息、以及所检测到的与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，确定特定用户将成功回答至少一个潜在问题的概率；以及基于所确定的概率选择要由用户回答的问题，以便促进对用户的训练。
本申请的其他方面可以涉及一种非暂时性计算机可读介质，其中存储有用于使计算机执行在基于计算机的训练系统中为特定用户定制训练问题的方法的程序。该方法可以包括：由神经网络检测至少一个关系对，每个关系对包括由特定用户先前回答的问题和特定用户针对至少一个先前回答的问题的先前得分；由神经网络检测与用户先前回答的至少一个问题相关联的上下文信息，该上下文信息表示在用户先前回答至少一个问题时发生的状况或情况；由神经网络检测与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，该上下文信息表示在要向特定用户呈现至少一个问题时发生的状况或情况；由神经网络基于所检测到的关系对、所检测到的与用户先前回答的至少一个问题相关联的上下文信息、以及所检测到的与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，确定特定用户将成功回答至少一个潜在问题的概率；以及基于所确定的概率选择要由用户回答的问题，以便促进对用户的训练。
本申请的其他方面涉及基于计算机的训练系统。该系统可以包括向用户显示问题的显示器、从用户接收答案的用户输入装置、以及执行为用户定制问题的方法的处理器。该方法可以包括：由神经网络检测至少一个关系对，每个关系对包括由特定用户先前回答的问题和特定用户针对至少一个先前回答的问题的先前得分；由神经网络检测与用户先前回答的至少一个问题相关联的上下文信息，该上下文信息表示在用户先前回答至少一个问题时发生的状况或情况；由神经网络检测与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，该上下文信息表示在要向特定用户呈现至少一个问题时发生的状况或情况；由神经网络基于所检测到的关系对、所检测到的与用户先前回答的至少一个问题相关联的上下文信息、以及所检测到的与要呈现给特定用户的至少一个潜在问题相关联的上下文信息，确定特定用户将成功回答至少一个潜在问题的概率；以及基于所确定的概率控制显示器以显示要由用户回答的问题，以便促进对用户的训练。
本申请的其他方面涉及基于计算机的训练系统。该系统可以包括：用于向用户显示问题的显示装置；用于从用户接收答案的装置；用于由神经网络检测至少一个关系对的装置，每个关系对包括由特定用户先前回答的问题和特定用户针对至少一个先前回答的问题的先前得分；用于由神经网络检测与用户先前回答的至少一个问题相关联的上下文信息的装置，该上下文信息表示在用户先前回答至少一个问题时发生的状况或情况；用于由神经网络检测与要呈现给特定用户的至少一个潜在问题相关联的上下文信息的装置，该上下文信息表示在要向特定用户呈现至少一个问题时发生的状况或情况；用于由神经网络基于所检测到的关系对、所检测到的与用户先前回答的至少一个问题相关联的上下文信息、以及所检测到的与要呈现给特定用户的至少一个潜在问题相关联的上下文信息来确定特定用户将成功回答至少一个潜在问题的概率的装置；以及用于基于所确定的概率选择要由用户回答的问题以便促进对用户的训练的装置。
附图说明
本专利或申请文件包含至少一幅彩色附图。具有彩色附图的本专利或专利申请公开的副本将应请求并支付必要费用后由主管局提供。
图1例示了根据本申请的示例性实现的用于在考虑上下文信息的情况下执行深度学习追踪的过程的流程图。
图2例示了在没有考虑上下文信息的情况下执行深度学习追踪的对照例的过程的流程图。
图3例示了执行以上讨论的图2的过程的对照处理模型的示意图示。
图4例示了根据本申请的示例性实现的执行以上讨论的图1的过程的神经网络的处理模型的示意图示。
图5例示了在执行以上讨论的图2的过程时对照处理模型的数据流图。
图6例示了在根据本申请的示例性实现的执行图1的过程时处理模型的数据流图。
图7例示了具有适用于本申请的一些示例性实现的示例计算机装置的示例计算环境。
具体实施方式
以下详细描述提供了本申请的附图和示例性实现的进一步细节。为清楚起见，省略了附图之间的冗余元件的描述和附图标记。整个说明书中使用的术语是作为示例提供的，并非旨在进行限制。例如，取决于本领域普通技术人员实践本发明的实现的期望实现，术语“自动”的使用可以涉及全自动或涉及用户或操作者控制实现的某些方面的半自动实现。此外，诸如“第一”、“第二”、“第三”等的顺序术语可以在说明书和权利要求中仅出于标记目的而使用，并且不应限于指代所描述的动作或项目以所描述的顺序出现。在不脱离本申请的范围的情况下，可以以不同的顺序排序动作或项目，或者可以并行或动态地执行动作或项目。
在本申请中，术语计算机可读介质可以包括本地存储装置、基于云的存储装置、远程就位的服务器、或者对于本领域普通技术人员来说可以是显而易见的任何其他存储装置。
如上所述，在一些相关技术中，计算机辅助教育系统可以使用深度知识追踪(DKT)模型来更精确地对学生的知识进行建模。然而，相关技术方法仅考虑用户和问题之间的交互序列，而没有考虑其他上下文信息或者将上下文信息集成到知识追踪中。因此，相关技术系统没有考虑诸如问题之间的时间间隔、练习类型以及用户与相同问题交互的次数之类的上下文知识。
本申请描述了一种深度学习追踪模型，其结合DKT模型以使其考虑上下文信息。这样的上下文信息包括问题之间的时间间隔、练习类型、以及用户与同一问题交互的次数。例如，学生通常会随着时间流逝而忘记所学习的内容。如果没有考虑问题之间的时间间隔，将提供对于学生具有不适当难度的内容和问题，这将导致他们的参与度降低。因此，应将与学生知识变化相关的上下文信息纳入模型。结合这样的上下文能够更准确地追踪学生的知识，更灵活且更可解释地实现内容提供。
图1例示了用于在考虑上下文信息的情况下执行深度学习追踪的过程100的流程图。过程100可以由诸如以下讨论的图7中所示的示例计算环境700的示例计算装置705之类的计算环境中的计算装置执行。尽管可以以特定顺序例示过程100的元素，但是示例性实现不限于所例示的特定顺序。在不脱离本申请的范围的情况下，示例性实现可以包括以对于本领域普通技术人员来说是显而易见的不同顺序排序的动作，或者动作可以并行或动态地执行。
如图1中所示，生成并维持用户与基于计算机的教育或培训系统的交互的交互日志102。在用户的同意下，可以监测用户与教育或培训系统的交互的各个方面。例如，交互日志102可以包括关于以下中的一个或更多个的信息：哪些问题用户已经做对或做错、用户已经做对或做错的问题的数量、用户已经做对或做错的问题的百分比、用户已经做对或做错的问题的类型、用户已经做对或做错的问题的难度、用户回答每个问题花费的时间、用户在使用教育或培训系统之间所花费的时间、用户正在回答问题的年月日的时间或者对于本领域普通技术人员而言可能是显而易见的任何其他交互信息。此外，交互日志102还可以包括关于用户的信息，关于用户的信息包括以下中的一个或更多个：姓名、地址、年龄、教育背景、或者对于本领域普通技术人员而言可能是显而易见的任何其他信息。
另外，在一些示例性实现中，交互日志102还可以包括与当前正在进行测试的特定用户之外的用户相关联的交互信息。例如，交互日志102可以包括已经做对或做错问题的用户的百分比、其他用户回答问题所花费的时间、和/或关于其他用户的信息，关于其他用户的信息包括以下中的一个或更多个：姓名、地址、年龄、教育背景、或对于本领域普通技术人员而言可能是显而易见的任何其他信息。
过程100包括嵌入过程阶段129和集成过程阶段132。在嵌入过程阶段129期间，在105处基于问题和相应得分的相应对来生成特征。例如，可以基于问题和指示用户是否正确回答了问题的得分的每个对来生成一个或更多个特征。
此外，在嵌入过程期间，在108处生成与由用户回答的每个问题所关联的上下文对应的特征。例如，可以生成代表上下文的特征，代表上下文的特征可以包括在呈现问题和从用户接收到答案之间经过的时间、用户之前是否已经浏览或见过该问题、问题在先前被呈现时用户先前回答的怎么样、问题是否与用户先前遇到的主题有关、或者对于本领域普通技术人员而言可能是显而易见的任何其他上下文信息。因此，上下文信息可以表示为多热向量(multi-hot vector)，其中每种类型的上下文信息的值由独热向量(one-hot vector)或数值表示然后级联在一起。可以依据下面讨论的集成方法将上下文信息向量变换成不同的形状。考虑的附加上下文信息类型可以在下面的评估部分中描述。
另外，在嵌入过程129期间，在111处还可以生成与接下来要向存在与正在呈现的问题相关联的上下文的用户呈现的问题的当前存在的上下文相对应的特征。例如，这些上下文特征可以包括自向用户呈现了问题起所经过的当前时间，自用户遇到相同主题起所经过的时间，用户是否遇到过相同问题，自用户先前遇到过当前呈现的同一问题起所经过的时间，当前的日期、星期、月份或年份，或者对于本领域普通技术人员而言可能是显而易见的任何其他上下文信息。此外，该上下文信息可以表示为多热向量，其中每种类型的上下文信息的值由独热向量或数值表示然后连结在一起。可以依据下面讨论的集成方法将上下文信息向量变换成不同的形状。考虑的附加上下文信息类型可以在下面的评估部分中描述。
在图1的嵌入过程阶段129中，105、108和111的特征生成子过程已经被例示为并行，但不限于此配置。在一些示例性实现中，可以顺序地执行105、108和111的特征生成子过程中的一个或更多个。
在图1中的集成过程阶段132期间，提供了两个特征集成子过程114和117。在114处，来自108的与每个先前问题相关联地生成的上下文特征与来自105的与每个先前遇到的问题和得分的对相关联地生成的特征集成在一起。可以针对用户被呈现和回答的每个问题重复114的上下文特征集成，在120处顺序处理每个重复以迭代地影响要用于预测未来用户表现的潜在知识表示模型。在这样做时，上下文信息被合并到正在生成的模型中并且可以影响模型的潜在知识表示。在示例性实现中可以使用若干上下文集成方法，包括：
·级联：
[xt；ct] (式1)
·乘法：
xt⊙Cct (式2)
·级联和乘法：
[xt⊙Cct；Cr] (式3)
·双向交互：：
ΣiΣjzi⊙zj，zi∈{xt，Cici t|ci t≠0} (式4)
其中Xt是交互向量，Ct是上下文信息向量，C是学习的变换矩阵，“⊙”表示逐元素乘法。级联可以将交互向量与上下文信息向量堆叠。因此，这种集成可以不改变交互向量本身。另一方面，乘法可以通过上下文信息修改交互向量。此外，双向交互对交互向量和上下文信息向量之间以及上下文信息向量之间的二阶交互进行编码。可以使用其他集成方法，包括例如池化(pooling)或对于本领域普通技术人员而言可能显而易见的任何其他集成方法。
在117处，在111处生成的、与正在呈现的问题的当前存在的上下文或者与要呈现的问题相关联的即将存在的上下文相对应的特征与来自114处的集成的顺序处理的输出集成在一起。因此，来自120的潜在知识表示模型可以与用户可以回答问题的当前上下文的表示集成在一起。此外，在示例性实现中可以使用以上关于114描述的若干上下文集成方法中的一种方法。在一些示例性实现中，在子过程114和117二者中可以使用相同的集成方法。在其他示例性实现中，对于子过程114和子过程117中的每一个可以使用不同的集成方法。
在117的集成子过程之后，在123处，所得到的具有上下文特征考虑的潜在知识表示模型可用于在呈现问题之前预测用户的知识。此外，在126处，可以确定用户将正确回答下一个问题的概率。基于将正确回答下一个问题的概率，教育或培训系统可以选择被设计为更好地挑战用户的问题，而不会提出如此大的挑战以至于使用户会对继续感到灰心。因此，可以自动调整教育或培训系统以提供最佳挑战和训练。例如，在一些示例性实现中，教育或培训系统可以自动选择被成功回答的概率在第一阈值(例如，50％)之上的问题，以通过确保合理的成功可能性来鼓励学生。此外，教育或培训系统可以自动选择概率在第二阈值(例如，95％)以下的问题，以确保测试不会太容易以便保持用户的兴趣或对用户的挑战。在其他示例性实现中，教育或培训系统可以改变阈值(例如，随机地、基于当前模式、或动态地确定)以改变问题的难度，以便保持学生的兴趣。
图2例示了用于在没有考虑上下文信息的情况下执行深度学习追踪的对照例的过程200的流程图。过程200可以由诸如以下讨论的图7中所示的示例计算环境700的示例计算装置705之类的计算环境中的计算装置执行。
如图2中所示，生成并维持用户与基于计算机的教育或培训系统的交互的交互日志202。在用户的同意下，可以监测用户与教育或培训系统的交互的各个方面。例如，交互日志202可以包括关于以下中的一个或更多个的信息：哪些问题用户已经做对或做错、用户已经做对或做错的问题的数量、用户已经做对或做错的问题的百分比、用户已经做对或做错的问题的类型、用户已经做对或做错的问题的难度、用户回答每个问题花费的时间、用户在使用教育或培训系统之间所花费的时间、用户正在回答问题的年月日的时间或者对于本领域普通技术人员而言可能是显而易见的任何其他交互信息。此外，交互日志202还可以包括关于用户的信息，关于用户的信息包括以下中的一个或更多个：姓名、地址、年龄、教育背景或者对于本领域普通技术人员而言可能是显而易见的任何其他信息。
另外，在一些示例性实现中，交互日志202还可以包括与当前正在进行测试的特定用户之外的用户相关联的交互信息。例如，交互日志202可以包括已经做对或做错问题的用户的百分比、其他用户回答问题所花费的时间、和/或关于其他用户的信息，关于其他用户的信息包括以下中的一个或更多个：姓名、地址、年龄、教育背景、或对于本领域普通技术人员而言可能是显而易见的任何其他信息。
在过程200期间，在205处基于问题和相应得分的相应对来生成特征。例如，可以基于问题和指示用户是否正确回答了问题的得分的每个对来生成一个或更多个特征。可以针对用户被呈现和回答的每个问题重复205的特征生成，在220处顺序地处理每个重复以迭代地影响要用于预测未来用户表现的潜在知识表示模型。
在220的顺序处理之后，在223处，所得到的具有上下文特征考虑的潜在知识表示模型可用于在呈现问题之前预测用户的知识。此外，在226处，可以确定用户将正确回答下一个问题的概率。基于将正确回答下一个问题的概率，教育或培训系统可以选择被设计为更好地挑战用户的问题，而不会提出如此大的挑战以至于使用户会对继续感到灰心。然而，在图2的对照例过程200中，潜在知识表示模型不包括基于围绕先前回答的问题的上下文生成特征或基于当前上下文或正在被询问的问题来生成特征的子过程。此外，在对照例过程200中，不执行将与上下文信息相关联的特征集成到潜在知识表示模型中的集成过程。因此，在选择应该询问哪些问题时没有考虑任何上下文信息。
图3例示了执行以上讨论的过程200的对照处理模型300的示意图。如图3所示，简单的基于RNN的建模神经网络305可以在连续的问题处顺序地捕获每个学生的知识。对于每个问题t，模型300可以首先在319处对学生的知识进行建模，并在321处预测对于后续问题t+1的学生表现。为了在319处对学生知识的状态进行建模，建模神经网络305接收针对时间t的问题和相应得分的对(qt，at)，并输出学生在时间t的当前知识状态308的表示。基于学生在时间t的当前知识状态308的输出表示，处理模型300可以确定每个问题在t+1处被正确地回答的概率311。
图4例示了根据本申请的示例性实现的执行以上讨论的过程100的神经网络的处理模型400的示意性表示。如图4所示，简单的基于RNN的模型405可以在连续的问题处顺序地捕获每个学生的知识。此外，对于每个问题t，模型400可以首先在419处对学生的知识进行建模并且在421处预测对于后续问题t+1的学生表现。然而，与处理模型430不同，在处理模型400中，建模神经网络405接收针对时间t的问题和相应得分的对(qt，at)402以及与时间t相关联的上下文信息414二者。如上所述，在时间t的上下文信息可以包括在呈现问题和从用户接收到答案之间经过的时间、用户之前是否已经浏览或见过该问题、问题在先前被呈现时用户先前回答的怎么样、问题是否与用户先前遇到的主题有关、或者对于本领域普通技术人员而言可能是显而易见的任何其他上下文信息。因此，上下文信息可以表示为多热向量，其中每种类型的上下文信息的值由独热向量或数值表示然后级联在一起。可以依据下面讨论的集成方法将上下文信息向量变换成不同的形状。考虑的附加上下文信息类型可以在下面的评估部分中描述。
为了在419处对学生知识的状态进行建模，建模神经网络405将来自时间t的上下文信息与针对时间t的问题和相应得分的对(qt，at)402以及该对顺序地集成在一起，并输出学生在时间t的当前知识状态408的表示。如上所述，在示例性实现中可以使用若干上下文集成方法，包括：
·级联：
[xt；ct] (式1)
·乘法：
xt⊙Cct (式2)
·级联和乘法：
[xt⊙Cct；Cr] (式3)
·双向交互：：
ΣiΣjzi⊙zj，zi∈{xt，Cici t|ci t≠0} (式4)
其中Xt是交互向量，Ct是上下文信息向量，C是学习的变换矩阵，“⊙”表示逐元素乘法。级联可以将交互向量与上下文信息向量堆叠。因此，这种集成可以不会改变交互向量本身。另一方面，乘法可以通过上下文信息修改交互向量。此外，双向交互对交互向量和上下文信息向量之间以及上下文信息向量之间的二阶交互进行编码。可以使用其他集成方法，包括例如池化(pooling)或对于本领域普通技术人员而言可能显而易见的任何其他集成方法。
基于在时间t的学生当前知识状态408的输出表示，处理模型400可以确定每个问题在t+1处被正确回答的概率411。然而，与对照处理模型300不同，处理模型400可以不仅基于在时间t的当前状态的学生当前知识状态408一者，而且还基于接收的与后续时间t+1(例如，要向用户呈现的后续问题的时间)相关联的上下文信息来确定概率411。如上所述，时间t+1处的上下文信息可以是自用户过去被呈现等待答案的问题起所经过的当前时间，自用户遇到过当前呈现的相同主题或相同问题起所经过的时间，当前的日期、星期、月份或年份，或者对于本领域普通技术人员而言可能是显而易见的任何其他上下文信息。此外，该上下文信息可以表示为多热向量，其中每种类型的上下文信息的值由独热向量或数值表示然后级联在一起。可以依据下面讨论的集成方法将上下文信息向量变换成不同的形状。考虑的附加上下文信息类型可以在下面的评估部分中描述。
具体地，对照处理模型300可以将学生的当前知识状态408与t+1处的上下文信息集成在一起，以确定用户将在时间t+1正确地回答问题的概率。例如，如上所述，在示例性实现中可以使用若干上下文集成方法，包括：
·级联：
[xt；ct] (式1)
·乘法：
xt⊙Cct (式2)
·级联和乘法：
[xt⊙Cct；Cr] (式3)
·双向交互：：
ΣiΣjzi⊙zj，zi∈{xt，Cici t|ci t≠0} (式4)
其中Xt是交互向量，Ct是上下文信息向量，C是学习的变换矩阵，“⊙”表示逐元素乘法。级联可以将交互向量与上下文信息向量堆叠。因此，这种集成可以不改变交互向量本身。另一方面，乘法可以通过上下文信息修改交互向量。此外，双向交互对交互向量和上下文信息向量之间以及上下文信息向量之间的二阶交互进行编码。可以使用其他集成方法，包括例如池化(pooling)或对于本领域普通技术人员而言可能显而易见的任何其他集成方法。
在一些示例性实现中，可以使用相同的集成方法来集成在时间t的上下文信息414和后续时间t+1的上下文信息417。在其他示例性实现中，可以使用不同的集成方法来集成时间t+1的上下文信息和在后续时间t+1的上下文信息417中的每一个。
图5例示了在执行以上讨论的过程200时对照处理模型500的数据流图。如图所示，对照处理模型500包括5层处理(505、508、511、514、517)。如在输入层505所示，接收在时间t的问题和与学生对问题的回答相关联的得分(qt，at)519作为输入。在嵌入层508，问题和得分对519嵌入在时间t用户/学生知识的嵌入向量xt 522表示中，而没有识别用户的先前表现。
在循环层511处，循环神经网络525接收嵌入向量xt并且将嵌入顺序地合并到在时间t的用户总知识的模型中。依据用户对教育系统的使用历史，循环层可以包括：如果用户先前已经回答了问题则将连续的问题/得分对顺序地合并到预先存在的用户知识的向量表示中，或者如果用户尚未回答问题，则将连续的问题/得分对顺序地合并到新创建的向量表示中。
在映射层514处，可以将用户的知识的向量表示528映射到新呈现的或正被考虑呈现给用户的问题，并且在517输出用户将回答后续问题的概率531。
图6例示了根据本申请的示例性实现的在执行过程100时处理模型600的数据流图。如图所示，处理模型600包括7层处理(605、608、611、614、617、637、639)。如在输入层605所示，接收在时间t的问题和与学生对问题的回答相关联的得分(qt，at)619作为输入。
另外，在输入层605期间，还接收与问题和答案对相关联的上下文信息ct 620。如上所述，可以生成上下文信息ct 620，上下文信息ct 620可以包括在呈现问题和从用户接收到答案之间经过的时间、用户之前是否已经浏览或见过该问题、问题在先前被呈现时用户先前回答的怎么样、问题是否与用户先前遇到的主题有关、或者对于本领域普通技术人员而言可能是显而易见的任何其他上下文信息。
此外，在输入层605期间，还接收与下一个要回答的问题相关联的上下文信息ct+1629。如上所述，这些上下文特征可以包括自向用户呈现等待回答的问题起所经过的当前时间，自用户遇到当前呈现的相同主题或相同问题起所经过的时间，当前的日期、星期、月份或年份，或者对于本领域普通技术人员而言可能是显而易见的任何其他上下文信息。
在嵌入层608处，问题和得分对619嵌入在时间t的用户/学生知识的嵌入向量xt622表示中，而不识别用户的先前表现。
另外，在嵌入层608期间，与问题和答案对相关联的上下文信息ct 620也嵌入在单独的嵌入向量623中。因此，上下文信息ct 620可以表示为多热向量，其中每种类型的上下文信息的值由独热向量或数值表示然后级联在一起。可以依据下面讨论的集成方法将上下文信息向量变换成不同的形状。考虑的附加上下文信息类型可以在下面的评估部分中描述。
此外，在嵌入层608期间，与要回答的下一问题相关联的上下文信息ct+1 629也嵌入在单独的嵌入向量629中。此外，与要回答的下一问题相关联的该上下文信息ct+1 629可以被表示为多热向量，其中每种类型的上下文信息的值由独热向量或数值表示然后级联在一起。可以依据下面讨论的集成方法将上下文信息向量变换成不同的形状。考虑的附加上下文信息类型可以在下面的评估部分中描述。
在嵌入层608之后，提供第一集成层637以将在时间t处的用户/学生的知识的嵌入向量xt 622表示与基于与问题和答案对相关联的上下文信息ct 620的嵌入向量623集成在一起，以产生集成向量626。在示例性实现中可以使用若干上下文集成方法，包括：
·级联：
[xt；ct] (式1)
·乘法：
xt⊙Cct (式2)
·级联和乘法：
[xt⊙Cct；Cr] (式3)
·双向交互：：
ΣiΣjzi⊙zj，zi∈{xt，Cici t|ci t≠0} (式4)
其中Xt是交互向量，Ct是上下文信息向量，C是学习的变换矩阵，“⊙”表示逐元素乘法。级联可以将交互向量与上下文信息向量堆叠。因此，这种集成可以不改变交互向量本身。另一方面，乘法可以通过上下文信息修改交互向量。此外，双向交互对交互向量和上下文信息向量之间以及上下文信息向量之间的二阶交互进行编码。可以使用其他集成方法，包括例如池化(pooling)或对于本领域普通技术人员而言可能显而易见的任何其他集成方法。
在循环层611处，循环神经网络525接收集成向量626并且将集成向量626顺序地合并到在时间t的用户总知识的模型中。依据用户对教育系统的使用历史，循环层可以包括：如果用户先前已经回答了问题则将连续的问题/得分对顺序地合并到预先存在的用户知识的向量表示中，或者如果用户尚未回答问题，则将连续的问题/得分对顺序地合并到新创建的向量表示中。
在循环层611之后，提供第二集成层639以将嵌入有与要回答的下一问题相关联的上下文信息ct+1 629的嵌入向量632与来自循环层611的RNN的向量表示输出集成在一起，以产生集成向量635。在示例性实现中可以使用若干上下文集成方法，包括：
·级联：
[xt；ct] (式1)
·乘法：
xt⊙Cct (式2)
·级联和乘法：
[xt⊙Cct；Cr] (式3)
·双向交互：：
ΣiΣjzi⊙zj，zi∈{xt，Cici t|ci t≠0} (式4)
其中Xt是交互向量，Ct是上下文信息向量，C是学习的变换矩阵，“⊙”表示逐元素乘法。级联可以将交互向量与上下文信息向量堆叠。因此，这种集成可以不改变交互向量本身。另一方面，乘法可以通过上下文信息修改交互向量。此外，双向交互对交互向量和上下文信息向量之间以及上下文信息向量之间的二阶交互进行编码。可以使用其他集成方法，包括例如池化(pooling)或对于本领域普通技术人员而言可能显而易见的任何其他集成方法。在一些示例性实现中，可以在两个集成层637、639处使用相同的集成技术。然而，在其他示例性实现中，可以在每个集成层637、639处使用不同的集成技术。
在映射层614处，可以将集成向量635映射到新呈现的或者被考虑呈现给用户的问题以生成向量628，该向量628表示用户的知识和正在呈现的问题的存在的上下文。在输出层617期间，基于向量628输出用户将回答后续问题的概率631。
评估
基于以上内容，发明人使用Assistments 2012-2013数据集进行了评估实验。在数据集上，skill_id定义了问题的标识符。我们去除了仅具有一次交互的用户。在预处理之后，数据集包括45675个用户和266个问题的5818868次交互。
在实验中，使用了以下上下文特征：
·序列时间间隔：交互与先前交互之间的时间间隔；
·重复的时间间隔：关于同一问题的交互之间的时间间隔；
·新问题：二进制值，其中1表示问题是第一次分配给用户，并且零表示问题之前已经分配给用户。
两种类型的时间间隔以log2标度离散化，最大值为20。进行了5次交叉验证，其中数据集基于学生进行分割。对于评估测量，使用曲线下面积(AUC)，其范围从0(最差)到1(最佳)。
Figure BDA0002230529050000181
表1示出了预测性能。提议的模型表现得优于基线。在集成方法当中，级联和乘法的组合与各单一集成方法相比提高了性能。此外，双向交互获得最佳性能。双向交互对交互向量和上下文信息向量之间以及在上下文信息向量之间的二阶交互进行编码。籍此，示例性实现模型可以捕获交互和上下文信息的哪个对更准确地影响学生的知识。
示例计算环境
图7例示了具有适用于一些示例性实现的示例计算机装置705的示例计算环境700。计算环境700中的计算装置705可以包括一个或更多个处理单元、内核或处理器710，存储器715(例如，RAM和/或ROM等)，内部储存器720(例如，磁存储器、光存储器、固态存储器、和/或有机存储器)和/或I/O接口725，其中的任何一个可以联接在通信机制或总线730上，用于通信信息，或者嵌入在计算装置705中。
计算装置705可以通信地联接到输入/接口735和输出装置/接口740。输入/接口735和输出装置/接口740中的一个或两个可以是有线或无线接口并且可以是可拆卸的。输入/接口735可以包括可用于提供输入的物理或虚拟的任何装置、组件、传感器或接口(例如，按钮、触摸屏接口、键盘、定点/光标控制、麦克风、相机、盲文、运动传感器、和/或光学读取器等)。
输出装置/接口740可以包括显示器、电视、监视器、打印机、扬声器、或盲文等。在一些示例性实现中，输入/接口735(例如，用户接口)和输出装置/接口740可以嵌入或物理联接到计算装置705。在其他示例性实现中，其他计算装置可以用作用于计算装置705的输入/接口735和输出装置/接口740或提供用于计算装置705的输入/接口735和输出装置/接口740的功能。这些元件可以包括但不限于公知的AR硬件输入，以便允许用户与AR环境交互。
计算装置705的示例可以包括但不限于高度移动装置(例如，智能电话、车辆和其他机器中的装置、人和动物携带的装置等)、移动装置(例如，平板、笔记本、膝上型计算机、个人计算机、便携式电视、和收音机等)、以及未设计有移动性的装置(例如，台式计算机、服务器装置、其他计算机、信息亭、嵌入有和/或联接有一个或更多个处理器的电视、和无线电装置等)。
计算装置705可以通信地联接(例如，经由I/O接口725)到外部储存器745和网络750，用于与任何数量的联网组件、设备和系统通信，包括相同或不同配置的一个或更多个计算装置。计算装置705或任何连接的计算装置可以用作服务器、客户端、瘦服务器、通用机、专用机或其他标签，提供服务器、客户端、瘦服务器、通用机、专用机或其他标签的服务，或称为服务器、客户端、瘦服务器、通用机、专用机或其他标签。
I/O接口725可以包括但不限于使用任何通信或I/O协议或标准的有线和/或无线接口(例如，以太网、702.11x、通用系统总线、WiMAX、调制解调器、和蜂窝网络协议等)，用于向和/或从计算环境700中的至少所有连接的组件、装置和网络通信信息。网络750可以是任何网络或网络的组合(例如，互联网、局域网、广域网、电话网络、蜂窝网络、和卫星网络等)。
计算装置705可以使用计算机可用或计算机可读介质和/或使用计算机可用或计算机可读介质通信，计算机可用或计算机可读介质包括暂态介质和非暂时性介质。暂态介质包括传输介质(例如，金属电缆、光纤)、信号、和载波等。非暂时性介质包括磁介质(例如，磁盘和磁带)、光学介质(例如，CD ROM、数字视频盘、蓝光盘)、固态介质(例如，RAM、ROM、闪存、固态存储器)、和其他非易失性储存器或存储器。
在一些示例计算环境中，计算装置705可以用于实现技术、方法、应用程序、过程或计算机可执行指令。计算机可执行指令可以从暂态介质中取回，并存储在非暂时性介质上并从非暂时性介质中取回。可执行指令可以源自任何编程、脚本和机器语言(例如，C、C++、C#、Java、Visual Basic、Python、Perl、JavaScript等)中的一个或更多个。
处理器710可以在本机或虚拟环境中在任何操作系统(OS)(未示出)下执行。可以部署一个或更多个应用，包括逻辑单元755、应用编程接口(API)单元760、输入单元765、输出单元770、上下文检测单元775、集成单元780、概率计算单元785和用于不同单元的单元间通信机制795以彼此通信，与OS通信，以及与其他应用(未示出)通信。
例如，上下文检测单元775、集成单元780、概率计算单元785可以实现图1、图4和图6中所示的一个或更多个处理。所描述的单元和元件可以在设计、功能、配置或实现上变化，并且不限于所提供的描述。
在一些示例性实现中，当API单元760接收到信息或执行指示时，它可以通信到一个或更多个其他单元(例如，上下文检测单元775、集成单元780和概率计算单元785)。例如，上下文检测单元775可以通过提取元数据或使用诸如对象识别、文本识别、音频识别、图像识别或者对于本领域普通技术人员而言可能是显而易见的任何其他识别技术之类的一种或多种识别技术来检测与一个或更多个问题答案对相关联的上下文信息。此外，集成单元780可以集成检测到的上下文信息以产生检测到的上下文信息的向量表示。此外，概率计算单元785可以基于向量表示来计算用户回答一个或更多个潜在问题的概率，并基于所计算出的概率来选择问题。
在一些实例中，逻辑单元755可以被配置为控制单元之间的信息流并且引导由API单元760、输入单元765、上下文检测单元775、集成单元780、概率计算单元785在上述一些示例性实现中的提供的服务。例如，一个或更多个过程或实现的流程可以由逻辑单元755单独控制或者与API单元760一起控制。
尽管已经示出和描述了一些示例性实现，但是提供这些示例性实现以将本文描述的主题传达给本领域技术人员。应当理解，本文描述的主题可以以各种形式实现，并非限于所描述的示例性实现。本文描述的主题可以在没有那些具体定义或描述的事项或者具有未描述的其他或不同元件或事项的情况下实践。本领域技术人员将理解，在不脱离如所附权利要求及其等同物所限定的本文描述的主题的情况下，可以在这些示例性实现中进行变型。

Claims (20)

1.一种在基于计算机的训练系统中为特定用户定制训练问题的方法，该方法包括以下步骤：
由神经网络检测至少一个关系对，每个关系对包括由所述特定用户先前回答的问题和所述特定用户针对至少一个先前回答的问题的先前得分；
由所述神经网络检测与所述用户先前回答的至少一个问题相关联的上下文信息，所述上下文信息表示在所述用户先前回答所述至少一个问题时发生的状况或情况；
由所述神经网络基于所检测到的关系对、所检测到的与所述用户先前回答的所述至少一个问题相关联的上下文信息、以及与要由所述用户回答的至少一个潜在问题相关联的上下文信息，确定所述特定用户将成功回答从多个潜在问题中选择的后续问题的概率；以及
基于所确定的概率选择要由所述用户回答的问题，以便促进所述用户的训练。
2.根据权利要求1所述的方法，其中，确定所述概率的步骤包括以下步骤：
由所述神经网络检测与要呈现给所述特定用户的所述至少一个潜在问题相关联的上下文信息，所述上下文信息表示在所述至少一个问题要呈现给所述特定用户时发生的状况或情况；以及
由所述神经网络基于所检测到的关系对、所检测到的与所述用户先前回答的所述至少一个问题相关联的上下文信息、以及所检测到的与要呈现给所述特定用户的所述至少一个潜在问题相关联的上下文信息，计算所述特定用户将成功回答所述至少一个潜在问题的概率。
3.根据权利要求2所述的方法，其中，与要呈现给所述特定用户的所述至少一个潜在问题相关联的上下文信息包括以下中的一个或更多个：自所述特定用户被呈现问题起所经过的当前时间、自所述特定用户先前遇到与所述至少一个潜在问题相同的主题起所经过的时间、所述特定用户是否遇到过所述至少一个潜在问题、以及自所述特定用户先前遇到所述至少一个潜在问题起所经过的时间。
4.根据权利要求2所述的方法，其中，计算所述特定用户将成功回答所述至少一个潜在问题的概率的步骤包括的步骤：
将所检测到的至少一个关系对嵌入到问题对向量表示中；
将所检测到的与所述用户先前回答的所述至少一个问题相关联的上下文信息嵌入到已回答问题向量表示中；
将所检测到的与所述至少一个潜在问题相关联的上下文信息嵌入到潜在问题向量表示中；以及
集成所述问题对向量表示、所述已回答问题向量表示、和所述潜在问题向量表示以产生概率向量表示。
5.根据权利要求4所述的方法，其中，双向交互集成方法被使用以集成所述问题对向量表示、所述已回答问题向量表示、和所述潜在问题向量表示。
6.根据权利要求1所述的方法，其中，与所述用户先前回答的所述至少一个问题相关联的所述上下文信息包括以下中的一个或更多个：在呈现所述问题和从所述用户接收到答案之间所经过的时间、所述用户之前是否遇到过所述问题、在先前呈现所述问题时所述用户先前回答地如何、所述问题是否与所述用户先前遇到的主题有关。
7.根据权利要求1所述的方法，其中，确定所述特定用户将成功回答后续问题的概率的步骤包括以下步骤：
将所检测到的至少一个关系对嵌入到问题对向量表示中；
将所检测到的与所述用户先前回答的所述至少一个问题相关联的上下文信息嵌入到已回答问题向量表示中；以及
集成所述问题对向量表示和所述已回答问题向量表示，以产生概率向量表示。
8.根据权利要求6所述的方法，其中，所述集成包括使用包括以下中的一个或更多个的上下文集成方法：
级联；
乘法；
级联和乘法；
池化；以及
双向交互。
9.一种在基于计算机的训练系统中为特定用户定制训练问题的方法，该方法包括以下步骤：
由神经网络检测至少一个关系对，每个关系对包括由所述特定用户先前回答的问题和所述特定用户针对至少一个先前回答的问题的先前得分；
由所述神经网络检测与要呈现给所述特定用户的至少一个潜在问题相关联的上下文信息，所述上下文信息表示在要向所述特定用户呈现至少一个问题时发生的状况或情况；
由所述神经网络基于所检测到的至少一个关系对以及所检测到的与要呈现给所述特定用户的至少一个潜在问题相关联的上下文信息，确定所述特定用户将成功回答所述至少一个潜在问题的概率；以及
基于所确定的概率选择要由所述用户回答的问题，以便促进所述用户的训练。
10.根据权利要求9所述的方法，其中，确定所述概率的步骤包括以下步骤：
由所述神经网络检测与所述用户先前回答的所述至少一个问题相关联的上下文信息，所述上下文信息表示在所述用户先前回答所述至少一个问题时发生的状况或情况；以及
由所述神经网络基于所检测到的关系对、所检测到的与所述用户先前回答的所述至少一个问题相关联的上下文信息、以及所检测到的与要呈现给所述特定用户的所述至少一个潜在问题相关联的上下文信息，计算所述特定用户将成功回答所述至少一个潜在问题的概率。
11.根据权利要求10所述的方法，其中，与所述用户先前回答的所述至少一个问题相关联的所述上下文信息包括以下中的一个或更多个：在呈现所述问题和从所述用户接收到答案之间所经过的时间、所述用户之前是否遇到过所述问题、在先前呈现所述问题时所述用户先前回答地如何、所述问题是否与所述用户先前遇到的主题有关。
12.根据权利要求10所述的方法，其中，计算所述特定用户将成功回答所述至少一个潜在问题的概率的步骤包括以下步骤：
将所检测到的至少一个关系对嵌入到问题对向量表示中；
将所检测到的与所述用户先前回答的所述至少一个问题相关联的上下文信息嵌入到已回答问题向量表示中；
将所检测到的与所述至少一个潜在问题相关联的上下文信息嵌入到潜在问题向量表示中；以及
集成所述问题对向量表示、所述已回答问题向量表示和所述潜在问题向量表示，以产生概率向量表示。
13.根据权利要求12所述的方法，其中，双向交互集成方法被使用以集成所述问题对向量表示、所述已回答问题向量表示和所述潜在问题向量表示。
14.根据权利要求9所述的方法，其中，与要呈现给所述特定用户的所述至少一个潜在问题相关联的所述上下文信息包括以下中的一个或更多个：自所述特定用户被呈现问题起所经过的当前时间、自所述特定用户先前遇到与所述至少一个潜在问题相同的主题起所经过的时间、所述特定用户是否遇到过所述至少一个潜在问题、以及自所述特定用户先前遇到所述至少一个潜在问题起所经过的时间。
15.根据权利要求9所述的方法，其中，确定所述特定用户将成功回答后续问题的概率的步骤包括的步骤：
将所检测到的至少一个关系对嵌入到问题对向量表示中；
将所检测到的与所述至少一个潜在问题相关联的上下文信息嵌入到潜在问题向量表示中；以及
集成所述问题对向量表示和所述潜在问题向量表示，以产生概率向量表示。
16.根据权利要求15所述的方法，其中，所述集成包括使用包括以下中的一个或更多个的上下文集成方法：
级联；
乘法；
级联和乘法；
池化；以及
双向交互。
17.一种非暂时性计算机可读介质，该非暂时性计算机可读介质中存储有用于使计算机执行在基于计算机的训练系统中为特定用户定制训练问题的方法的程序，该方法包括以下步骤：
由神经网络检测至少一个关系对，每个关系对包括由所述特定用户先前回答的问题和所述特定用户针对至少一个先前回答的问题的先前得分；
由所述神经网络检测与所述用户先前回答的至少一个问题相关联的上下文信息，所述上下文信息表示在所述用户先前回答所述至少一个问题时发生的状况或情况；
由所述神经网络检测与要呈现给所述特定用户的至少一个潜在问题相关联的上下文信息，所述上下文信息表示在要向所述特定用户呈现所述至少一个问题时发生的状况或情况；
由所述神经网络基于所检测到的关系对、所检测到的与所述用户先前回答的所述至少一个问题相关联的上下文信息、以及所检测到的与要呈现给所述特定用户的所述至少一个潜在问题相关联的上下文信息，确定所述特定用户将成功回答所述至少一个潜在问题的概率；以及
基于所确定的概率选择要由所述用户回答的问题，以便促进所述用户的训练。
18.根据权利要求17所述的非暂时性计算机可读介质，其中，与所述用户先前回答的所述至少一个问题相关联的所述上下文信息包括以下中的一个或更多个：在呈现所述问题和从所述用户接收到答案之间所经过的时间、所述用户之前是否遇到过所述问题、在先前呈现所述问题时所述用户先前回答地如何、所述问题是否与所述用户先前遇到的主题有关；并且
其中，与要呈现给所述特定用户的所述至少一个潜在问题相关联的上下文信息包括以下中的一个或更多个：自所述特定用户被呈现问题起所经过的当前时间、自所述特定用户先前遇到与所述至少一个潜在问题相同的主题起所经过的时间、所述特定用户是否遇到过所述至少一个潜在问题、以及自所述特定用户先前遇到所述至少一个潜在问题起所经过的时间。
19.根据权利要求17所述的非暂时性计算机可读介质，其中，确定所述特定用户将成功回答所述至少一个潜在问题的概率的步骤包括以下步骤：
将所检测到的至少一个关系对嵌入到问题对向量表示中；
将所检测到的与所述用户先前回答的所述至少一个问题相关联的上下文信息嵌入到已回答问题向量表示中；
将所检测到的与所述至少一个潜在问题相关联的上下文信息嵌入到潜在问题向量表示中；以及
集成所述问题对向量表示、所述已回答问题向量表示和所述潜在问题向量表示，以产生概率向量表示。
20.根据权利要求17所述的非暂时性计算机可读介质，其中，双向交互集成方法被使用以集成所述问题对向量表示、所述已回答问题向量表示和所述潜在问题向量表示。
CN201910966122.9A 2018-12-20 2019-10-12 基于上下文的深度知识追踪的方法及其计算机可读介质 Pending CN111354237A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/227,767 2018-12-20
US16/227,767 US20200202226A1 (en) 2018-12-20 2018-12-20 System and method for context based deep knowledge tracing

Publications (1)

Publication Number Publication Date
CN111354237A true CN111354237A (zh) 2020-06-30

Family

ID=71098566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910966122.9A Pending CN111354237A (zh) 2018-12-20 2019-10-12 基于上下文的深度知识追踪的方法及其计算机可读介质

Country Status (3)

Country Link
US (1) US20200202226A1 (zh)
JP (1) JP2020102194A (zh)
CN (1) CN111354237A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052828A (zh) * 2020-09-23 2020-12-08 腾讯科技（深圳）有限公司 一种学习能力确定方法、装置及存储介质
CN112256858A (zh) * 2020-10-09 2021-01-22 华中师范大学 融合问题模式和答题结果的双卷积知识追踪方法及系统
CN113360669A (zh) * 2021-06-04 2021-09-07 中南大学 一种基于门控图卷积时序神经网络的知识追踪方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200258412A1 (en) * 2019-02-08 2020-08-13 Pearson Education, Inc. Systems and methods for predictive modelling of digital assessments with multi-model adaptive learning engine
WO2021117180A1 (ja) * 2019-12-12 2021-06-17 日本電信電話株式会社 対話処理装置、学習装置、対話処理方法、学習方法及びプログラム
KR102213478B1 (ko) * 2020-02-18 2021-02-08 (주)뤼이드 인공 지능 학습 기반의 사용자 지식 추적 시스템 및 그것의 동작 방법
US11823044B2 (en) * 2020-06-29 2023-11-21 Paypal, Inc. Query-based recommendation systems using machine learning-trained classifier
US11416686B2 (en) * 2020-08-05 2022-08-16 International Business Machines Corporation Natural language processing based on user context
KR102571069B1 (ko) * 2020-10-15 2023-08-29 (주)뤼이드 인공 지능 학습 기반의 사용자 지식 추적 장치, 시스템 및 그것의 동작 방법
JP2023514766A (ja) * 2020-10-15 2023-04-10 リイイド インク 人工知能学習基盤の使用者知識追跡装置、システムおよびその動作方法
CN112612909B (zh) * 2021-01-06 2022-06-07 杭州恒生数字设备科技有限公司 一种基于知识图谱的智能试卷质量评测方法
CN112990464B (zh) * 2021-03-12 2022-06-28 东北师范大学 一种知识追踪方法及系统
CN112949929B (zh) * 2021-03-15 2022-06-07 华中师范大学 一种基于协同嵌入增强题目表示的知识追踪方法及系统
CN112949935B (zh) * 2021-03-26 2022-06-17 华中师范大学 融合学生知识点题目交互信息的知识追踪方法与系统
WO2022250171A1 (ko) * 2021-05-24 2022-12-01 (주)뤼이드 교육적 요소를 예측하는 사전학습 모델링 시스템 및 방법
US12033618B1 (en) * 2021-11-09 2024-07-09 Amazon Technologies, Inc. Relevant context determination

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017003673A (ja) * 2015-06-06 2017-01-05 和彦 木戸 学習支援置
US20180108268A1 (en) * 2016-10-18 2018-04-19 Minute School Inc. Systems and methods for providing tailored educational materials
CN108171358A (zh) * 2017-11-27 2018-06-15 科大讯飞股份有限公司 成绩预测方法及装置、存储介质、电子设备
CN108229718A (zh) * 2016-12-22 2018-06-29 上海谦问万答吧云计算科技有限公司 一种信息预测方法及装置
US20180357915A1 (en) * 2017-06-13 2018-12-13 Cerego, Llc. System and method for customizing learning interactions based on a user model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017003673A (ja) * 2015-06-06 2017-01-05 和彦 木戸 学習支援置
US20180108268A1 (en) * 2016-10-18 2018-04-19 Minute School Inc. Systems and methods for providing tailored educational materials
CN108229718A (zh) * 2016-12-22 2018-06-29 上海谦问万答吧云计算科技有限公司 一种信息预测方法及装置
US20180357915A1 (en) * 2017-06-13 2018-12-13 Cerego, Llc. System and method for customizing learning interactions based on a user model
CN108171358A (zh) * 2017-11-27 2018-06-15 科大讯飞股份有限公司 成绩预测方法及装置、存储介质、电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052828A (zh) * 2020-09-23 2020-12-08 腾讯科技（深圳）有限公司 一种学习能力确定方法、装置及存储介质
CN112052828B (zh) * 2020-09-23 2024-05-14 腾讯科技（深圳）有限公司 一种学习能力确定方法、装置及存储介质
CN112256858A (zh) * 2020-10-09 2021-01-22 华中师范大学 融合问题模式和答题结果的双卷积知识追踪方法及系统
CN113360669A (zh) * 2021-06-04 2021-09-07 中南大学 一种基于门控图卷积时序神经网络的知识追踪方法
CN113360669B (zh) * 2021-06-04 2023-08-18 中南大学 一种基于门控图卷积时序神经网络的知识追踪方法

Also Published As

Publication number Publication date
US20200202226A1 (en) 2020-06-25
JP2020102194A (ja) 2020-07-02

Similar Documents

Publication Publication Date Title
CN111354237A (zh) 基于上下文的深度知识追踪的方法及其计算机可读介质
US11568207B2 (en) Learning observation representations by predicting the future in latent space
US12106200B2 (en) Unsupervised detection of intermediate reinforcement learning goals
CN108960316B (zh) 用于生成模型的方法和装置
CN111160569A (zh) 基于机器学习模型的应用开发方法、装置及电子设备
US20210191971A1 (en) Electronic apparatus for searching related image and control method therefor
US11645567B2 (en) Machine-learning models to facilitate user retention for software applications
US11126820B2 (en) Generating object embeddings from images
CN107666987A (zh) 机器人过程自动化
CN107256428A (zh) 数据处理方法、数据处理装置、存储设备及网络设备
US20180123993A1 (en) Method and apparatus for filtering a plurality of messages
US10541884B2 (en) Simulating a user score from input objectives
CN109902446A (zh) 用于生成信息预测模型的方法和装置
KR20230068989A (ko) 멀티-태스크 모델의 학습을 수행하는 방법 및 전자 장치
WO2021047376A1 (zh) 数据处理方法、数据处理装置及相关设备
US20230362112A1 (en) Virtual-assistant-based resolution of user inquiries via failure-triggered document presentation
Vijayalakshmi Centralized attendance monitoring system
US20230017505A1 (en) Accounting for long-tail training data through logit adjustment
CN112528790B (zh) 基于行为识别的教学管理方法、装置及服务器
CN114169906B (zh) 电子券推送方法、装置
CN113869099A (zh) 一种图像处理方法、装置、电子设备和存储介质
CN115796803B (zh) 一种留学生学校资料模型的生成方法、系统及电子设备
KR102568875B1 (ko) 멘토 추천 서비스 및 강의 추천 서비스를 제공하는 서버 및 그 동작 방법
US20230086103A1 (en) Exam proctoring using candidate interaction vectors
CN111191025B (zh) 文章相关性的确定方法、装置、可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200630

RJ01 Rejection of invention patent application after publication