CN110472880A - 评价合作问题解决能力的方法、装置及存储介质 - Google Patents

评价合作问题解决能力的方法、装置及存储介质 Download PDF

Info

Publication number
CN110472880A
CN110472880A CN201910770822.0A CN201910770822A CN110472880A CN 110472880 A CN110472880 A CN 110472880A CN 201910770822 A CN201910770822 A CN 201910770822A CN 110472880 A CN110472880 A CN 110472880A
Authority
CN
China
Prior art keywords
ability
task
index value
model
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910770822.0A
Other languages
English (en)
Inventor
李峰
张娜
贺涵镜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910770822.0A priority Critical patent/CN110472880A/zh
Publication of CN110472880A publication Critical patent/CN110472880A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种评价合作问题解决能力的方法、装置及存储介质。其中，获取多个对象关于预定任务进行讨论的文本信息；利用预先设置的基于深度学习的评价模型，根据文本信息，确定与多个对象的合作能力以及解决问题能力相关的指标值；以及利用预先设置的双因子模型，根据所确定的指标值，确定多个对象的合作问题解决能力。

Description

评价合作问题解决能力的方法、装置及存储介质
技术领域
本申请涉及计算机数据处理领域，特别是涉及一种评价合作问题解决能力的方法、装置及存储介质。
背景技术
长期以来，对合作问题解决能力的评价一直是阻碍合作问题解决能力研究和推广的一个难点问题。2015年，国际学生评价项目(ProgrammeforInternationalStudentAssesment,PISA)采用人机互动的模式对合作问题解决能力进行评价的做法迅速打开了国内研究者的视野。类似的，21世纪能力教学与评价项目(Assessment&Teachingof21stCenturySkills,ATC21S)评价框架类似的也开始被广泛介绍到国内。ATC21S是澳大利亚墨尔本大学评价研究中心领导的，参与成员包括斯坦福大学、加州大学伯克利分校、PISA、国际教育成就评价协会(IEA)等大学和组织的优秀教育测量与评价专家、教育政策专家。此外，澳大利亚、新加坡、美国、荷兰、芬兰、哥斯达黎加共16000多名15岁左右的学生参与了测验的具体实施。ATC21S基于评价数据，来帮助学校在课堂教学中培养学生的21世纪技能，以此促进教育系统全方位改革。
合作问题解决的测量形式和测量原理也是实践上的一大难点，PISA2015采用人—机交互(Human-to-Agent，简称H2A)模式。PISA2015认为H2A模式最大的好处是能避免小组构成的问题，因为在H2H模式中小组成员能力水平的不同可能会影响个体和小组合作问题解决的表现，从而影响个体能力的估计，而
H2A模式为每位参与测试的学生提供了等同的小组构成，同时认为H2A模式可以根据需要虚构多个小组成员参与合作，但是这与真实情境下的对话讨论还有一定的差距，H2A交互的模式，受测者的潜能也不能充分激发出来；ATC21S指出H2A模式中的交互不能等同于真实世界中的合作，转而采用人—人交互(Human-to-Human，简称H2H)模式测量了学生的合作问题解决能力，认为H2H模式对真实情境中合作问题解决能力的测量更有效，比H2A模式具有更高的效度，但不同小组成员的构成对能力估计的影响需要进行更加深入的研究加以解决，且两人对话的方式，冲突不够激烈。虽然PISA2015和ATC21S对合作问题解决采用两种不同的测量模式，但它们背后的测量原理是相同的，测量的基本模型都是基于项目反应理论。PISA2015记录的数据是学生在项目上的直接作答反应，记录的数据和项目是一对一的关系，不需要评分算法；而ATC21S需要评分算法从系列数据中抽取指标，记录的数据和项目可能是多对一关系，也可能是一对一的关系[21]。但是对于二者具体的评分流程，外界知之甚少，且ATC21S需要人工编码，这也不利于测试的推广。
针对上述的现有技术中存在的合作问题解决能力的评价方法需要人工编码，不利于测试推广的技术问题，目前尚未提出有效的解决方案。
发明内容
本公开的实施例提供了一种评价合作问题解决能力的方法、装置及存储介质，以至少解决现有技术中存在的合作问题解决能力的评价方法需要人工编码，不利于测试推广的技术问题。
根据本公开实施例的一个方面，提供了一种评价合作问题解决能力的方法，包括：获取多个对象关于预定任务进行讨论的文本信息；利用预先设置的基于深度学习的评价模型，根据所述文本信息，确定与所述多个对象的合作能力以及解决问题能力相关的指标值；以及利用预先设置的双因子模型，根据所确定的指标值，确定所述多个对象的合作问题解决能力。
根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上所述的方法。
根据本公开实施例的另一个方面，还提供了一种评价合作问题解决能力的装置，包括：文本获取模块，用于获取多个对象关于预定任务进行讨论的文本信息；指标评价模块，用于利用预先设置的基于深度学习的评价模型，根据所述文本信息，确定与所述多个对象的合作能力以及解决问题能力相关的指标值；以及能力确定模块，用于利用预先设置的双因子模型，根据所确定的指标值，确定所述多个对象的合作问题解决能力。
在本公开实施例中，采用基于深度学习的评价模型，根据待评测对象关于预定任务进行讨论的文本信息生成指标值；然后利用预先设置的双因子模型，根据所确定的指标值，确定所述多个对象的合作解决能力。进而解决了现有技术中存在的合作问题解决能力的评价方法需要人工编码，不利于测试推广的技术问题。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1是用于实现根据本公开实施例1所述的方法的【计算机终端(或移动设备)】的硬件结构框图；
图2是根据本公开实施例1的第一个方面所述的评价合作问题解决能力的方法的流程示意图；
图3是作为ECD模型评价框架中的测量模型的示例性的示意图；
图4是合作问题解决能力评价的组合模型图；
图5为某中学的四人组聊天记录，其中四个人经过热烈讨论后共同制定出了一个方案；
图6是五种向量维度的正确率的示意图；
图7是损失和正确率随时间变化图；
图8是18个指标的碎石图；以及
图9是一阶因子与变量的相关图；
图10是18个指标的因子载荷图；以及
图11是根据本公开实施例2所述的评价合作问题解决能力的装置。
具体实施方式
为了使本技术领域的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本公开实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
合作问题解决：本申请中所述的合作问题解决，是指在一个共同的活动中，团队通过执行一系列步骤，完成从现状到理想目标状态的转换。
合作问题解决能力：本申请中所述的合作问题解决能力，是指个体有效地参与由两名或以上的成员组成的团队，通过团队成员间共享理解和达成共识，付出努力寻找解决方案，汇集团队成员的技能、知识及行动来得出问题解决的方案，最终解决问题的能力。
实施例1
根据本实施例，还提供了一种评价合作问题解决能力的方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的计算设备中执行。图1示出了一种用于实现评价合作问题解决能力的方法的计算设备的硬件结构框图。如图1所示，计算设备可以包括一个或多个处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器、以及用于通信功能的传输装置。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本实施例中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算设备中的其他元件中的任意一个内。如本公开实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器可用于存储应用软件的软件程序以及模块，如本公开实施例中的评价合作问题解决能力的方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的评价合作问题解决能力的方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算设备的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算设备的用户界面进行交互。
此处需要说明的是，在一些可选实施例中，上述图1所示的计算设备可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算设备中的部件的类型。
在上述运行环境下，根据本实施例的第一个方面，提供了一种评价合作问题解决能力的方法。图2示出了该方法的流程示意图，参考图2所示，该方法包括：
S202：获取多个对象关于预定任务进行讨论的文本信息；
S204：利用预先设置的基于深度学习的评价模型，根据本实施例文本信息，确定与本实施例多个对象的合作能力以及解决问题能力相关的指标值；以及
S206：利用预先设置的双因子模型，根据所确定的指标值，确定本实施例多个对象的合作问题解决能力。
在本公开实施例中，采用基于深度学习的评价模型，根据待评测对象关于预定任务进行讨论的文本信息生成指标值；然后利用预先设置的双因子模型，根据所确定的指标值，确定本实施例多个对象的合作解决能力。进而解决了现有技术中存在的合作问题解决能力的评价方法需要人工编码，不利于测试推广的技术问题。
可选地，确定与本实施例多个对象的合作能力以及解决问题能力相关的指标值的操作包括：利用预先设置的词向量转换模型，生成与本实施例文本信息所包含的词语对应的词向量；以及利用预先设置的卷积神经网络模型，根据本实施例词向量，确定与本实施例多个对象的合作能力以及解决问题能力相关的指标值。
可选地，确定与本实施例多个对象的合作能力以及解决问题能力相关的指标值的操作，包括：利用本实施例卷积神经网络模型，根据本实施例词向量，确定本实施例多个对象的以下指标的指标值：报告自己的任务状态；不了解自己的任务；拒绝任务；了解、引导成员进度；请求队友批评、建议、信息；任务分配；无关或干扰话题；招呼、回应队友；主动承担任务；不了解如何解决子问题；明确任务进行状态；确认完成任务所需信息；任务分解与合并；提供解决子问题的办法；提供完成任务的路径；调整解决子问题的办法；推动任务进度；重述目标。
可选地，确定本实施例多个对象的合作问题解决能力的操作，包括：根据所确定的指标值，确定用于确定本实施例多个对象的合作问题解决能力的多个因子；以及根据本实施例多个因子，利用本实施例双因子模型，确定本实施例多个对象的合作问题解决能力。
具体地，本实施例的详细技术方案描述如下：
1.研究设计
本实施例基于已有文献的分析，借鉴PISA和ATC21S的测评实践，通过分析了合作问题解决能力的特点来探讨合作问题解决能力评价的特征，进而基于文献研究和相关的测评实践，介绍了以证据为中心设计(Evidence-centered Design,ECD)的评价流程。本节通过梳理PISA2015、ATC21S合作问题解决的测评框架，结合二者的优势并根据本实施例合作问题解决的特点，得到一套适合本实施例合作问题解决的测评模型，本实施例合作问题解决称为CPS-based on group discussion(简称CPSBGD)，如表1.1所示。
表1.1合作问题解决的ECD模型
1.1 CPSBGD的学生模型
本实施例是关于中学生合作问题解决能力评价流程的设计，因此合作问题解决能力就是本实施例中的实质理论，合作问题解决能力也就是本实施例ECD评价流程中的学生模型。
1.1.1合作的测评内容
根据本实施例的特色以及指标的可测量性，形成了本实施例中合作大维度下的九个具体指标(表1.2)。
·结合PISA2015中的自我检视、ATC21S中的责任心形成了本实施例合作框架中报告自己的任务状态这一指标；
·结合PISA2015中制定计划、ATC21S中的行动力形成了不了解自己任务这一指标；
·结合PISA2015中描述角色与团队组织、ATC21S中责任心形成了拒绝任务这一指标；
·结合PISA2015中监控和调整共识、与队员沟通问题解决的方法、监控和调整共识、监控行动结果和评价问题解决的成效形成了了解、引导成员进度这一指标；
·结合PISA2015中建立对问题表述和理解的共识、与队员沟通问题解决的方法形成了请求队友批评、建议、信息这一指标；
·结合PISA2015识别与描述需要完成的任务、ATC21S中的坚持完成任务形成了任务分配这一指标；
·结合PISA2015中描述角色与团队组织、ATC21S中受众意识形成了无关或干扰话题这一指标；
·结合ATC21S中响应能力、互动形成了招呼、回应队友这一指标；
·结合PISA2015中描述角色与团队组织、ATC21S中责任心形成了主动承担任务这一指标。
表1.2合作的测评框架及特征描述
1.1.2问题解决的测评内容
本实施例中问题解决大维度下的九个具体指标(表1.3)。本实施例：
·结合了PISA2015中制定计划、ATC21S中的灵活性形成了不了解如何解决子问题这一指标；
·结合PISA2015中监控和完善共同的理解、监控行为结果与评价、监控、提供反馈以及适应团队组织和角色、ATC21S中的系统性形成了明确任务进行状态这一指标；
·结合PISA2015中监控和完善共同的理解、ATC21S中的信息收集形成了确认完成任务所需信息这一指标；
·结合PISA2015中描述角色与团队组织、ATC21S中的关系处理、资源管理形成了任务分解与合并这一指标；
·结合PISA2015中与团队成员交流将要或正在进行的行为、ATC21S中的问题分析形成了提供解决子问题的办法这一指标；
·结合PISA2015中的监控行为结果与评价、ATC21S中的目标设定形成了提供完成任务的路径这一指标；
·结合PISA2015中监控和完善共同的理解、ATC21S中的反思和监控形成了调整解决子问题的办法这一指标；
·结合PISA2015中描述角色与团队组织、监控、提供反馈以及适应团队组织和角色形成了推动任务进度这一指标；
·结合PISA2015中识别与描述需要完成的任务、ATC21S中的目标设定形成重述目标(内容、形式)这一指标。
表1.3问题解决的测评框架及特征描述
1.2 CPSBGD的任务模型
本实施例采用四人QQ讨论组聊天的方式，情境真实，多人对话能集合众人的观点，有助于测量学生的潜在能力，且采用QQ讨论的方式方便数据的获取。本实施例中设计的任务情境为学校能源节约计划，它也对应着ECD中的任务模型，具体如下：学校希望发起校园能源节约计划，现在学生中征求设计方案。请核查学校的能源使用情况，并制定减少浪费的方案。具体要求：(1)学生四人一组参加设计方案的制定，明确每个团队成员的角色和分担的责任；(2)描述校园能源的类别和管理，考虑到实际需求、人员、和控制等方面；(3)明确校园能源节约基于的操作原理，包括数学的、科学的、技术的、和组织的原理；(4)评价学校能源当前的使用情况；(5)设计校园能源节约的实施策略，评价其有效性，并提供证据来支持这种评价；(6)制定将该计划予以实现的可行步骤和实施计划；(7)使用创新的形式表达该设计方案。
1.3 CPSBGD的证据模型
1.3.1评分规则
要实现对学生合作问题解决能力的测量，对文本进行编码是必不可少的，由此对文本的编码方式成了本实施例当中的重点，ATC21S中采用人工编码的方式，本实施例起初也尝试了此种编码方式，采用专家编码的方法对学生所有的聊天文本进行编码，但不同的专家会有不一样的编码宽严程度，如果数据量巨大则会导致很大的误差；同时，当数据达到一定程度的时候，人工成本巨大，并且编码速度很慢，不利于此方案的推广，因此解决编码问题是决定此方案能否实施的关键所在。剔除人工编码的方式，还可以采用机器编码的方式。本实施例曾尝试词项-文档矩阵(TF-IDF)的方式对特征编码，但此方法抽取的特征很少，并且只是抽取特征词不足以证明学生的每一次发言具体属于哪个维度，不利于挖掘学生的潜在能力。最终，本实施例采用CNN模型对文本编码，其中人工编码一部分数据，然后将这些数据作为训练集，对剩下的数据进行分类预测，解决大规模的文本编码问题。
本实施例通过标注好的数据进行有监督的卷积神经神经网络分类，预测出未进行标注的每条数据属于学生模型当中某个具体维度，并将此进行转换，若命中了某个指标则在此指标计1，发言了但没有命中任何一个指标和没有发言则计为0，最终将每个指标的累计频次作为学生在此指标上的得分。
1.3.2测量模型
测量模型也是评判本实施例评价方案可行性的关键，必须选取一个能评判学生潜在能力的模型。其中图3示出了ECD模型评价框架中的测量模型的示例性的示意图。测量模型是将观察分数和学生模型变量以特定结构和方式联结起来的概率模型。它是学生模型变量和可观测变量之间的桥梁，形式化地表征了如何整合个体在一系列任务上表现出来的证据，形成对其在建构水平上的推断过程。本研究中测量模型采用多维多面模型，在一个任务情境下，设置一系列任务，从学生完成任务的讨论记录和作品中，提取特征，这些特征与指标相联系，进一步地可以估计多个维度和多个侧面的变量。
如果只是对得分进行加总或加权平均，作为学生在每个维度上的得分，进而评判学生的能力，此种办法过于简单。若用因子分析的方式，提取出能代表学生能力的几个因子，在此基础上进行评判则会遇到一个语量问题，即学生发言越多，得分就越高，这和本实施例中对学生的每一句发言都进行了编码的方式有关。为了剔除语量对评分的影响，给每个学生一个客观的评分，本实施例采用了双因子模型，先把语料提到一个一般因子中，特殊因子则剔除了语量的影响，进而能够客观的评判指标与因子间的关系。
1.4 CPSBGD的组合模型
本实施例通过“学校能源节约计划”任务情境得到学生的聊天记录，学生接到任务后开始讨论，开始讨论和结束讨论一般一天内完成，得到聊天记录的文本数据之后，先从文本当中提取所需信息，分别是时间戳、发言人和聊天内容。首先，提取一个小组的无重复元素的主时间线，精确到分。然后分别提取个人的时间线和聊天内容(表4.1所示)。所以每个学生的最大发言次数为时间线的最大长度，最少为0。根据CPSBGD学生模型人工编码一部分数据，至少选取一个组的聊天文本进行编码，且编码的数据要保证每个指标都有5条以上的数量，尽量保证所有指标编码的数量比较均匀；然后将这些数据作为训练集训练一个卷积神经网络分类器，对剩下的数据进行分类预测，实现对所有聊天文本的编码，然后根据测量模型对学生表现评分。合作问题解决能力评价的组合模型图见图4所示。
在合作问题解决能力评价的评价任务设计中，每个任务情境下，都包含一组具有难度梯度的任务，每组任务包含6-7个任务要求。CPSBGD中校园能源节约计划就包含7个任务要求。
1.5 CPSBGD的呈现模型
本实施例采用四人QQ讨论组聊天的方式，设置的任务情境为能源节约计划，即上文任务模型中提到的学校希望发起校园能源节约计划，现在学生中征求设计方案。请核查学校的能源使用情况，并制定减少浪费的方案。回收学生的过程性小组讨论记录、学生的作品作为证据，放在一起加以分析。由于数据采集和分析均需要较长的时间，目前阶段仅对一个任务情境的数据进行了分析，后续还会对多个CPS任务进行分析。
1.6 CPSBGD的发布系统模型
本实施例通过调研发现，学生的合作问题解决能力的计算机在线评价结果，受到学生对讨论平台的使用熟练程度的极大影响。对于学生不熟悉的新开发的讨论平台，学生在使用上会有畏难情绪，同时需要一段时间熟悉平台的功能。所以，研究最终选用了中学生广泛使用和熟悉的QQ软件中的讨论组(四人聊天)作为合作问题解决任务的平台。研究者将带有时间戳的学生合作问题解决的聊天记录，学生提交的合作问题解决方案，学生的问卷填答结果，一并作为分析的数据。整个活动学生在2个小时左右的时间内完成。评价任务的发布、评价的整个过程、数据的获取和整理分析过程、以及最后的评价结果反馈均在计算机上实现。研究采用Python语言分析整合和分析复杂的数据。在安全方面，采用文件设置密码等多种方法保证评价对象的数据安全。
2.研究过程
2.1研究工具与数据来源
本实施例采用python3.6软件对数据进行处理及可视化分析。
课题组在北京初一、初二、高一和高二年级近千名学生中开展了两轮的预测试，积累了丰富的过程性讨论记录和作品。本实施例中设计的任务情境为学校能源节约计划，参与测评的学生共67个，共17个小组，这17个聊天文本即为本实施例的数据来源，而这些讨论数据也正是ECD模型下证据模型环节的测评数据。
2.2数据预处理
前面得到了学生合作问题解决的聊天文本，并且构建出了本实施例的合作问题解决测评框架(表3.2和3.3)，下面就可以对聊天文本进行抽取，并依据测评框架对文本进行编码。
2.2.1数据标注
图5为某中学的四人组聊天记录，四个人经过热烈讨论后共同制定出了一个方案。
得到聊天记录的文本数据之后，先从文本当中提取所需信息，分别是时间戳、发言人和聊天内容。首先，提取一个小组的无重复元素的主时间线，精确到分。然后分别提取个人的时间线和聊天内容，若一个人在一分钟有好几次发言，则将这几句话合并，中间以句号进行分隔。接下来将个人的时间线与主时间线进行匹配，若个人时间线出现了主时间线当中的时间点，则将聊天内容贴在后面，若没有则在后面写“无”，表示未发言。分别将四个人的聊天记录写入表格，最终整理成表2.1的格式。
表2.1带时间戳的聊天文本
因为本实施例所进行的文本分类是有监督学习，本实施例先对一部分数据进行编码。文本采用专家判断法，先依据合作问题解决测评框架，运用扎根理论进行开放性编码，此编码方式主要是把每一句发言有关的特征都进行标注，然后再用合作问题解决框架中的指标进行二次编码。二次编码即标注学生的一句发言属于合作问题解决测评框架中的哪一个指标，将文本进行标注后的数据如表2.2所示，这些整理并标注好的数据是本实施例进行分类的训练数据，也对应着ECD模型证据模型环节的测评数据。从这些训练数据中抽取特征，训练一个分类器，并将此分类器用于新数据的预测。
表2.2标注后数据
2.2.2文本分词
在中文文本的分词过程，即将文本的词组或字作为文本的特征项。文本词条的提取就是对中文文本进行切分的过程，这个过程称为中文分词。分词目的是为了将文本中的句子，段落进行拆分，按照一定的规范，生成一系列能代表文本含义的词条序列。根据分词原理，中文分词可以分为两类。一种为基于字符串匹配的分词方法，另一种为基于统计和机器学习的分词方法。另外，分词的过程从外部增加词典，例如搜狗词库。词典的选择不论对分词或是对后续文本处理的过程都十分重要，根据实际选择适合的词典是分词的关键步骤。表2.3为表2.2中部分文本的分词结果。
表2.3文本分词后的结果
2.2.3去停用词
从表2.3可以看到表中有大量的停用词，停用词通常是指一些不能有效反映主题的无意义词，这些词往往只包含很少量甚至无用的分类信息，对文本分类贡献很弱。如果这些词被保留下来，并作为文本特征被引入，不仅不能给分类结果带来明显的好处，而且占用了大量的存储空间。所以，一定要在文本预处理的过程中把这些词从文本中去除。在实际系统中，中文文本分类系统一般会建立或使用一个停用词表，通过对停用词表的匹配，过滤出现在停用词表中的词。将表2.3中的停用词过滤后的结果如表2.4所示。
表2.4停用词过滤后的文本
2.2.4文本向量化
要进行文本分类首先要将文本转化为计算机能识别的语言，因此必定要将文本进行向量化，在卷积神经网络分类中将采用word2vec生成词向量。
word2vec最大的贡献就是可以通过计算词向量之间的距离来度量单词之间的相似性，因为通过word2vec训练模型得到的词向量能够很好的表示特征项之间的语义关联，并且能够极大的降低特征项的向量维度。由word2vec得到的词向量可以做很多自然语言处理(NLP，NaturalLanguageProcessing)相关的工作，比如说聚类、词性分析以及找同义词等。本实施例就是通过word2vec训练的词向量进行神经网络分类，对文本进行语义分析，对提高分类正确率作出了极大的贡献。
本实施例运用维基百科提供的中文语料库以及搜狗中文语料库(约4G)进行词向量的训练，将语料库进行jieba分词，然后去停用词，再用gensim中的word2vec训练分词后的文本，最终将分词后的唯一词(共1021302个)训练成400维的词向量，词向量之间可以通过相似度度量公式来衡量两个向量之间的距离，距离越近越相似。word2vec训练的模型效果如表2.5所示。
表2.5 word2vec模型训练结果
2.3卷积神经网络模型选择与评价
2.3.1 CNN模型选择
(1)CNN模型构成
(1)CNN模型构成
本实施例就CNN在合作问题解决聊天记录文本分析应用中，设计了不同深度及不同参数的卷积神经网络结构。依据不同的实验结果分析了卷积神经网络各参数间的相互关系，以及不同参数的设置对分类结果造成的影响。本实施例将合作问题解决聊天文本当中的500条数据进行CNN模型的训练和验证，其中400条数据作为训练集，100条数据作为验证集，同时采用BP算法进行有监督训练，每个CNN结构的训练集和测试集均分别一样。本实施例采用验证集上正确率ACC来衡量每个CNN结构的文本分类性能。一般来说，ACC越大，算法分类性能越好。
因为使用的是一维卷积，本实施例设置不同尺寸的卷积核，池化层尺寸随卷积的尺寸而改变，设句子的最大长度为(max_text_len)，此处根据每句话的长度，将max_text_len设为30，卷积核的尺寸(h)，则池化层的尺寸为max_text_len-h+1，本实施例首先探讨了不同卷积尺寸和取样核尺寸对分类效果的影响，随后又探讨了不同特征面数目对分类性能的影响。实验过程：分别设置5个不同的CNN模型，这5个不同的CNN模型除卷积核的大小与取样核的大小不同外，其他参数均相同，如表2.6所示。
表2.6深度为5的5个不同卷积核尺寸的CNN分类结果
为讨论特征面个数对分类效果的影响，本实施例分别设置5个不同的卷积神经网络模型。其中，这5个卷积神经网络模型只有特征面个数不同，其他参数都一样(表4.7)。实验得知特征面数目过少的时候分类性能相对差一些，这是由于特征面数目过少，网络有很多分类重要特征未学习到。
表2.7深度为5的5个不同特征面数目的CNN分类结果
(2)通过舍弃操作对模型进行正则化
神经网络可以学习非常复杂的函数且非常容易产生过拟合现象，为防止过拟合使用了舍弃(dropout)操作，舍弃操作应用于全连接层公式(2.10)中的向量P，具体而言是在计算过程中将向量P中的每个元素以p的概率(设为0.5)随机丢弃,从而防止特征间相互适应(co-adaptation)，其中舍弃概率p是模型的超参数。舍弃操作近似等价于模型平均(model averaging)，而模型平均是机器学习中用来提升模型泛化能力最为有效的方法之一。
(3)通过非监督模型对词嵌入进行初始化
虽然我们的模型可以直接求得词嵌入矩阵W，但利用非监督模型初始化W无论是对收敛速率还是对最终结果都有帮助。在初始化过程中，如果某单词未出现在非监督模型的结果中，我们以均匀分布U[-0.05,0.05]对其词向量的每一维进行随机初始化。
(4)在初始化的基础上嵌入word2vec训练的词向量
使用卷积神经网络分类时，载入了word2vec训练的词向量，因为词向量对词义进行了分析，而已相比于随机生成的词向量，用word2vec生成的词向量无疑使效果显著提升，但是向量的维度对分类正确率具有显著影响，因而选择一个合适的向量维度是尤为必要的。大量前人的实验证明，词向量的维度在100-500之间比较合适，本实施例检验了词向量维度为100、200、300、400和500时训练集和测试集上正确率，如图6所示。由图6知，当向量维度为400时训练集和测试集上的正确率达到最高，效果最优，故选择词向量维度为400的卷积神经网络模型。
(5)求解模型的最优参数
本实施例利用随机梯度下降算法优化模型，通过反向传播(BackPropagation)的方式更新参数，更新方法采用的是Adamax规则。模型训练时每次读取64个样本，读完所有样本记为1个周期，总共训练80个周期。本实施例使用GPU加速计算，利用python语言及基于Tensorflow框架实现算法，在单个NVIDAK2200上每分钟可以处理42万个文本对。
上文中5层的神经网络种，卷积核尺寸为4*400，特征面数目为256个时效果最优，本实施例加入dropout算法后，连接全连接层，最终的模型结构为由输入层、卷积层、池化层、全连接层和输出层构成，并在词嵌入中载入了word2vec训练的词向量，word2vec对词进行词义分析，使神经网络能够理解语句，在卷积层加入了激活函数，增加非线性，使分类器的拟合效果更好，提升分类正确率。
2.3.2 CNN模型评价
本实施例研究的重点是让深度学习模型能适用未知数据，将人工标注后的数据分为训练集和验证集，训练集用于训练模型，验证集用于模型效果检验，并以此调节模型的超参数，最终得到一个效果较好的CNN分类器。由图7知，随着训练轮次的增加，训练集和验证集上的损失逐渐减少，但从34轮开始，训练损失比验证损失小，究其原因是由样本数据较少引起的。目前只对67个同学进行了测验，更多的数据仍要等后期的收集。由图7还知，随着训练轮次的增加，训练集上的正确率和验证集上的正确率都逐渐递增，但是起始的训练轮次中验证集上正确率高于训练集上正确率，这是由于样本数据不够，随机性不强导致。虽然有样本上的不足，但是随着训练轮次的增加，趋势是正确的，这也证明了模型的有效性。且训练到70轮时验证集上正确率达到最高，为90.9％，这对于一个小数据多文本分类的正确率已经算是很高了，因此分类效果良好。
2.4基于双因子模型的CPS测量学分析
上文验证了构建的卷积神经网络的合理性，并且在验证集上取得了较高的正确率，因此分类器较优。本实施例通过标注好的数据进行有监督的卷积神经神经网络分类，预测出未进行标注的每条数据属于学生模型当中某个具体维度，并将此进行转换，若命中了某个指标则在此指标计1，发言了但没有命中任何一个指标和没有发言则计为0，最终将每个指标的累计频次作为学生在此指标上的得分，67个学生在各个指标的得分情况如附录表1所示。本节则是运用双因子模型，对上文中得到的学生得分进行测量学分析，检验上文构建的合作问题解决测评框架的效度。本实施例共构建18个指标，合作和问题解决维度各9个，具体如表2.8所示。
表2.8合作问题解决指标列表
18个指标的相关系数阵如附录表2所示，由附录表2知，18个因子间具有一定的相关性，了解、引导成员进度(t4)和请求队友批评、建议、信息(t5)相关系数是0.54；了解、引导成员进度(t4)和任务分解与合并(t13)相关系数是0.59；了解、引导成员进度(t4)和提供完成任务的路径(t15)相关系数是0.54；了解、引导成员进度(t4)和调整解决子问题的办法(t16)相关系数是0.51；了解、引导成员进度(t4)与推动任务进度(t17)相关系数是0.49；了解、引导成员进度(t4)和重述目标(内容、形式)(t18)相关系数是0.49；任务分配(t6)和任务分解与合并(t13)相关系数是0.57；明确任务进行状态(t11)和报告自己任务状态(t1)相关系数是0.55；明确任务进行状态(t11)和了解、引导成员进度(t4)相关系数是0.51；这些指标之间都呈中度相关，下面我们在此基础上进行双因子分析。
进行双因子分析，我们首先要确定因子个数，由图8知，当因子数为4时，曲线开始趋于平缓，表明4因子的时候已经能解释18个变量的大部分信息，因此确定这18个变量的因子个数为4。
表2.9为提取的四个一阶因子的相关系数表，可知4个因子间的相关系数均不高于0.3，说明提取出来的组因子都是低相关的，无需再进行降维。
表2.9 4因子的相关系数表
由图9可知ML3由任务分解与合并(t13)，任务分配(t6)，了解、引导成员进度(t4)，重述目标(内容、形式)(t18)，招呼、回应队友(t8)提取，ML4由请求队友批评、建议、信息(t5)、不了解如何解决子问题(t10)、主动承担任务(t9)、提供解决子问题的办法(t14)、不了解自己的任务(t2)、确认完成任务所需信息(t12)，ML1由明确任务进行状态(t11)、报告自己任务状态(t1)、无关或干扰话题(t7)和推动任务进度(t17)提取，ML2由调整解决子问题的办法(t16)、提供完成任务的路径(t15)和拒绝任务(t3)提取，且每个因子与自身变量的相关性都是依次递减。
上文中提到，普通的因子分析包含了语量对学生的影响，为了剔除语量的影响，在一阶因子的基础上，进一步测量了双因子模型的效果。表2.10为双因子模型拟合指数，根据侯杰泰、温忠麟和马什赫伯[28]对拟合优度的研究，一般认为，如果x2/df在3以下；RMSEA小于0.08，越接近0越好；NNFI和CFI大于0.9，越接近于1越好，由表2.10知，此时的模型是一个较好的模型。
表2.10双因子模型拟合指数
表2.11为一般因子及特殊因子与18个指标的载荷表，其中一般因子(g)与各个指标都呈正相关，其表示学生发言的语量；F1,F2,F3和F4表示具体合作问题解决维度，即学生的潜在能力。其中主动承担任务和确认完成任务所需信息在一般因子上没有表现，了解、引导成员进度，请求队友批评、建议、信息，任务分配，招呼、回应队友，明确任务进行状态，任务分解与合并，提供完成任务的路径，调整解决子问题的办法，推动任务进度和重述目标(内容、形式)在F1上的载荷均>0.3，表明这些指标对一般因子的测量效果较佳。其中F1、F2、F3和F4为指标在特殊因子上的负荷，载荷值大都在
0.5左右，表明这些指标也能较好地测量特殊因子。进一步看：
F1在任务分解与合并、任务分配和了解引导成员进度上具有较高的相关性，但是在主动承担任务上却呈负相关，可认为因子1是描述角色与团队分工的因子；
F2在明确任务进行状态和报告自己任务状态上具有较高的相关性，可认为因子2是明确自己和他人状态的因子；
F3在调整解决子问题的办法和提供完成任务的路径上具有较高的相关性，可认为F3是监控和反思因子；
F4在请求队友批评、建议、信息和不了解如何解决子问题具有较高相关性，在报告自己任务状态上呈负相关，可认为F4是建立与维持共同的理解的因子。为形象的展示各因子与指标间的相关性，进一步画出因子载荷图，如图10所示。
表2.11 18个变量的因子载荷表
本实施例中，各指标之间具有中等程度的相关，表明各指标既有一定的独立性，又有一定的归属性，说明测评框架有较好的结构效度。在验证性分析中，双因子模型拟合结果各项拟合指数都达到验证性因素分析所要求的拟合指数标准，CFI大于0.9，RMSEA和SRMR均小于0.08，表明合作问题解决测评框架是较好的。
综上，在本公开实施例中，采用基于深度学习的评价模型，根据待评测对象关于预定任务进行讨论的文本信息生成指标值；然后利用预先设置的双因子模型，根据所确定的指标值，确定所述多个对象的合作解决能力。进而解决了现有技术中存在的合作问题解决能力的评价方法需要人工编码，不利于测试推广的技术问题。
此外，参考图1所示，根据本实施例的第二个方面，提供了一种存储介质104。所述存储介质104包括存储的程序，其中，在所述程序运行时由处理器执行以上任意一项所述的方法。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
图11示出了根据本实施例所述的评价合作问题解决能力的装置1100，该装置1100与根据实施例1的第一个方面所述的方法相对应。参考图11所示，该装置1100包括：文本获取模块(1110)，用于获取多个对象关于预定任务进行讨论的文本信息；指标评价模块(1120)，用于利用预先设置的基于深度学习的评价模型，根据文本信息，确定与多个对象的合作能力以及解决问题能力相关的指标值；以及能力确定模块(1130)，用于利用预先设置的双因子模型，根据所确定的指标值，确定多个对象的合作问题解决能力。。
可选地，确定与多个对象的合作能力以及解决问题能力相关的指标值的操作包括：词向量转换子模块，用于利用预先设置的词向量转换模型，生成与文本信息所包含的词语对应的词向量；以及指标值确定子模块，利用预先设置的卷积神经网络模型，根据词向量，确定与多个对象的合作能力以及解决问题能力相关的指标值。
可选地，指标值确定子模块包括：指标值确定单元，用于利用卷积神经网络模型，根据词向量，确定多个对象的以下指标的指标值：报告自己的任务状态；不了解自己的任务；拒绝任务；了解、引导成员进度；请求队友批评、建议、信息；任务分配；无关或干扰话题；招呼、回应队友；主动承担任务；不了解如何解决子问题；明确任务进行状态；确认完成任务所需信息；任务分解与合并；提供解决子问题的办法；提供完成任务的路径；调整解决子问题的办法；推动任务进度；重述目标。
可选地，能力确定模块，包括：因子确定子模块，用于根据所确定的指标值，确定用于确定多个对象的合作问题解决能力的多个因子；以及能力确定子模块，用于根据多个因子，利用双因子模型，确定多个对象的合作问题解决能力。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种评价合作问题解决能力的方法，其特征在于，包括：
获取多个对象关于预定任务进行讨论的文本信息；
利用预先设置的基于深度学习的评价模型，根据所述文本信息，确定与所述多个对象的合作能力以及解决问题能力相关的指标值；以及
利用预先设置的双因子模型，根据所确定的指标值，确定所述多个对象的合作问题解决能力。
2.根据权利要求1所述的方法，其特征在于，确定与所述多个对象的合作能力以及解决问题能力相关的指标值的操作包括：
利用预先设置的词向量转换模型，生成与所述文本信息所包含的词语对应的词向量；以及
利用预先设置的卷积神经网络模型，根据所述词向量，确定与所述多个对象的合作能力以及解决问题能力相关的指标值。
3.根据权利要求2所述的方法，其特征在于，确定与所述多个对象的合作能力以及解决问题能力相关的指标值的操作，包括：
利用所述卷积神经网络模型，根据所述词向量，确定所述多个对象的以下指标的指标值：报告自己的任务状态；不了解自己的任务；拒绝任务；了解、引导成员进度；请求队友批评、建议、信息；任务分配；无关或干扰话题；招呼、回应队友；主动承担任务；不了解如何解决子问题；明确任务进行状态；确认完成任务所需信息；任务分解与合并；提供解决子问题的办法；提供完成任务的路径；调整解决子问题的办法；推动任务进度；重述目标。
4.根据权利要求1所述的方法，其特征在于，确定所述多个对象的合作问题解决能力的操作，包括：
根据所确定的指标值，确定用于确定所述多个对象的合作问题解决能力的多个因子；以及
根据所述多个因子，利用所述双因子模型，确定所述多个对象的合作问题解决能力。
5.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求1至4中任意一项所述的方法。
6.一种评价合作问题解决能力的装置，其特征在于，包括：
文本获取模块，用于获取多个对象关于预定任务进行讨论的文本信息；
指标评价模块，用于利用预先设置的基于深度学习的评价模型，根据所述文本信息，确定与所述多个对象的合作能力以及解决问题能力相关的指标值；以及
能力确定模块，用于利用预先设置的双因子模型，根据所确定的指标值，确定所述多个对象的合作问题解决能力。
7.根据权利要求6所述的装置，其特征在于，确定与所述多个对象的合作能力以及解决问题能力相关的指标值的操作包括：
词向量转换子模块，用于利用预先设置的词向量转换模型，生成与所述文本信息所包含的词语对应的词向量；以及
指标值确定子模块，利用预先设置的卷积神经网络模型，根据所述词向量，确定与所述多个对象的合作能力以及解决问题能力相关的指标值。
8.根据权利要求7所述的装置，其特征在于，指标值确定子模块包括：
指标值确定单元，用于利用所述卷积神经网络模型，根据所述词向量，确定所述多个对象的以下指标的指标值：报告自己的任务状态；不了解自己的任务；拒绝任务；了解、引导成员进度；请求队友批评、建议、信息；任务分配；无关或干扰话题；招呼、回应队友；主动承担任务；不了解如何解决子问题；明确任务进行状态；确认完成任务所需信息；任务分解与合并；提供解决子问题的办法；提供完成任务的路径；调整解决子问题的办法；推动任务进度；重述目标。
9.根据权利要求6所述的装置，其特征在于，能力确定模块，包括：
因子确定子模块，用于根据所确定的指标值，确定用于确定所述多个对象的合作问题解决能力的多个因子；以及
能力确定子模块，用于根据所述多个因子，利用所述双因子模型，确定所述多个对象的合作问题解决能力。
CN201910770822.0A 2019-08-20 2019-08-20 评价合作问题解决能力的方法、装置及存储介质 Pending CN110472880A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910770822.0A CN110472880A (zh) 2019-08-20 2019-08-20 评价合作问题解决能力的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910770822.0A CN110472880A (zh) 2019-08-20 2019-08-20 评价合作问题解决能力的方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN110472880A true CN110472880A (zh) 2019-11-19

Family

ID=68513088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910770822.0A Pending CN110472880A (zh) 2019-08-20 2019-08-20 评价合作问题解决能力的方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110472880A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889291A (zh) * 2019-11-21 2020-03-17 山东浪潮人工智能研究院有限公司 一种基于深度学习和区块链的研报评价方法
CN111917642A (zh) * 2020-07-14 2020-11-10 电子科技大学 分布式深度强化学习的sdn网络智慧路由数据传输方法
CN111950844A (zh) * 2020-06-28 2020-11-17 联想(北京)有限公司 一种数据处理方法、装置及存储介质
CN113420785A (zh) * 2021-05-31 2021-09-21 北京联合大学 书面语体类型的分类方法、装置、存储介质及电子设备
CN114493379A (zh) * 2022-04-08 2022-05-13 金电联行（北京）信息技术有限公司 基于政务数据的企业评价模型自动生成方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199396A (ja) * 2008-02-22 2009-09-03 Fun Team Co Ltd 実務的能力診断システム
US20190034823A1 (en) * 2017-07-27 2019-01-31 Getgo, Inc. Real time learning of text classification models for fast and efficient labeling of training data and customization
CN109978339A (zh) * 2019-02-27 2019-07-05 平安科技（深圳）有限公司 Ai面试模型训练方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199396A (ja) * 2008-02-22 2009-09-03 Fun Team Co Ltd 実務的能力診断システム
US20190034823A1 (en) * 2017-07-27 2019-01-31 Getgo, Inc. Real time learning of text classification models for fast and efficient labeling of training data and customization
CN109978339A (zh) * 2019-02-27 2019-07-05 平安科技（深圳）有限公司 Ai面试模型训练方法、装置、计算机设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘舒畅: "PISA2015合作问题解决能力测试的跨语言公平性分析", 《中国考试》 *
檀慧玲等: "国际教育评价项目合作问题解决能力测评:指标框架、评价标准及技术分析", 《电化教育研究》 *
顾红磊: "双因子模型: 多维构念测量的新视角", 《心理科学》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889291A (zh) * 2019-11-21 2020-03-17 山东浪潮人工智能研究院有限公司 一种基于深度学习和区块链的研报评价方法
CN111950844A (zh) * 2020-06-28 2020-11-17 联想(北京)有限公司 一种数据处理方法、装置及存储介质
CN111950844B (zh) * 2020-06-28 2024-05-28 联想(北京)有限公司 一种数据处理方法、装置及存储介质
CN111917642A (zh) * 2020-07-14 2020-11-10 电子科技大学 分布式深度强化学习的sdn网络智慧路由数据传输方法
CN111917642B (zh) * 2020-07-14 2021-04-27 电子科技大学 分布式深度强化学习的sdn网络智慧路由数据传输方法
CN113420785A (zh) * 2021-05-31 2021-09-21 北京联合大学 书面语体类型的分类方法、装置、存储介质及电子设备
CN113420785B (zh) * 2021-05-31 2023-12-19 北京联合大学 书面语体类型的分类方法、装置、存储介质及电子设备
CN114493379A (zh) * 2022-04-08 2022-05-13 金电联行（北京）信息技术有限公司 基于政务数据的企业评价模型自动生成方法、装置及系统
CN114493379B (zh) * 2022-04-08 2022-09-20 金电联行（北京）信息技术有限公司 基于政务数据的企业评价模型自动生成方法、装置及系统

Similar Documents

Publication Publication Date Title
CN110472880A (zh) 评价合作问题解决能力的方法、装置及存储介质
US20190325773A1 (en) System and method of providing customized learning contents
CN108446768A (zh) 一种学生建模的方法和装置
CN106485621A (zh) 一种基于随机算法业务学习考核系统
WO2022170985A1 (zh) 选题方法、装置、计算机设备和存储介质
CN110209797A (zh) 英语分级阅读材料自动推荐方法及装置
Manohar et al. Utilizing big data analytics to improve education
CN110689249A (zh) 一种数学学科素养能力综合分析系统及分析方法
CN113283488A (zh) 一种基于学习行为的认知诊断方法及系统
Zeng et al. Do Deep Neural Nets Display Human-like Attention in Short Answer Scoring?
KR101251119B1 (ko) 문제의 개념 구조 모델링을 통한 학습 장치 및 방법
Pettersson et al. PISA teachers: The hope and the happening of educational development
JP2020177507A (ja) 試験問題予測システム及び試験問題予測方法
Georgiev et al. Semantic analysis of engineering design conversations
Ke et al. Tracking representational flexibility development through speech data mining
CN114005325A (zh) 一种基于大数据的教学实训方法、设备及介质
CN112507082A (zh) 一种智能识别不当文本交互的方法、装置和电子设备
Zhong et al. [Retracted] Consistency of Zhejiang Provincial College Entrance Examination Questions and Curriculum Standards Based on Knowledge Map Construction
Bueff et al. Explainability in machine learning: a pedagogical perspective
Ogunkunle et al. A data mining based optimization of selecting learning material in an intelligent tutoring system for advancing STEM education
Pinto et al. Deep Learning for Educational Data Science
Shi et al. Characteristics of students’ learning behavior preferences—an analysis of self-commentary data based on the LDA model
KR20200057418A (ko) 온라인 코딩 교육 방법 및 시스템
Szerszen Question answering on introductory Java programming concepts using the Transformer
Marigowda et al. A comprehensive examination assessment model using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191119

RJ01 Rejection of invention patent application after publication