CN114298515A - 生成学生素质画像的方法、装置及存储介质 - Google Patents

生成学生素质画像的方法、装置及存储介质 Download PDF

Info

Publication number
CN114298515A
CN114298515A CN202111580154.9A CN202111580154A CN114298515A CN 114298515 A CN114298515 A CN 114298515A CN 202111580154 A CN202111580154 A CN 202111580154A CN 114298515 A CN114298515 A CN 114298515A
Authority
CN
China
Prior art keywords
target
quality evaluation
evaluation index
virtual communication
student user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111580154.9A
Other languages
English (en)
Inventor
刘鹏
刘石勇
王昕�
许丽星
于仲海
王凯欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Group Holding Co Ltd
Original Assignee
Hisense Group Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Group Holding Co Ltd filed Critical Hisense Group Holding Co Ltd
Priority to CN202111580154.9A priority Critical patent/CN114298515A/zh
Publication of CN114298515A publication Critical patent/CN114298515A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例公开了一种生成学生素质画像的方法、装置及存储介质,属于智慧教育领域。在本申请实施例中,从目标学生用户在第一虚拟交流室内参与讨论时的第一视频数据和第一音频数据中提取用于表征目标学生用户的多种行为特征的特征数据。然后,以目标学生用户在曾经参加的多个第二虚拟交流室中的历史表现为样本数据来更为准确的确定每种行为特征对每种素质评价指标的影响权重,进而根据每种行为特征对每种素质评价指标的影响权重和提取到的目标学生用户在第一虚拟交流室内的多种行为特征数据,来获得目标学生用户的素质画像,以此为参照来评价目标学生用户的综合素质,相较于人为主观评价更加的准确,更加具有科学性依据。

Description

生成学生素质画像的方法、装置及存储介质
技术领域
本申请涉及智慧教育领域,特别涉及一种生成学生素质画像的方法、装置及存储介质。
背景技术
随着通信技术与线上教育的不断发展,很多课堂教育、小组讨论、家访等教育教学活动都通过视频交流的方式进行,在大力倡导素质教育的今天,在视频交流中如何对学生的综合素质进行评价,进而有针对性的提升学生的综合素质就显得尤为重要。
目前,在视频交流中对学生的综合素质的评价全部依赖于人为主观评价,这种评价方式具有一定的单一性和片面性,在一定程度上无法客观、公正、合理的对学生的综合素质进行全面评价,进而也就无法有针对性的提升学生的综合素质。
发明内容
本申请实施例提供了一种生成学生素质画像的方法、装置及存储介质,可以为客观的评价学生的综合素质提供事实性参考和科学性依据。所述技术方案如下:
一方面,提供了一种生成学生素质画像的方法,所述方法包括:
获取目标学生用户在第一虚拟交流室内参与讨论时的第一视频数据和第一音频数据,所述第一虚拟交流室内包括多个学生用户;
从所述第一视频数据和所述第一音频数据中提取所述目标学生用户在所述第一虚拟交流室内的多种行为特征的特征数据;
根据所述目标学生用户在多个第二虚拟交流室中的每个第二虚拟交流室中参与讨论时的多种行为特征的特征数据以及对应的多种素质评价指标的得分,确定每种行为特征对每种素质评价指标的影响权重,所述多个第二虚拟交流室是指所述目标学生用户在参加所述第一虚拟交流室之前参加的虚拟交流室;
根据所述目标学生用户在第一虚拟交流室内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,生成所述目标学生用户的素质画像。
可选地,所述多种行为特征包括姿态特征,所述姿态特征的特征数据包括多种姿态和每种姿态在相应的虚拟交流室内的出现次数,所述根据所述目标学生用户在多个第二虚拟交流室中的每个第二虚拟交流室中参与讨论时的多种行为特征的特征数据以及对应的多种素质评价指标的得分,确定每种行为特征对每种素质评价指标的影响权重,包括:
根据每个第二虚拟交流室内每种姿态的出现次数和相应虚拟交流室中目标素质评价指标的得分,确定每种姿态对所述目标素质评价指标的影响权重,所述目标素质评价指标为所述多种素质评价指标中的任一种;
根据每种姿态对所述目标素质评价指标的影响权重,确定所述姿态特征对所述目标素质评价指标的影响权重矩阵,所述影响权重矩阵包括每种姿态对所述目标素质评价指标的影响权重。
可选地,所述根据每个第二虚拟交流室内每种姿态的出现次数和相应虚拟交流室中目标素质评价指标的得分,确定每种姿态对所述目标素质评价指标的影响权重,包括:
将每个第二虚拟交流室内的目标姿态的出现次数和相应虚拟交流室内所述目标素质评价指标的得分作为一个点对,得到多个点对,所述目标姿态为所述多种姿态中的任一种;
根据所述多个点对绘制目标素质评价指标的得分随目标姿态的出现次数的变化曲线;
根据所述变化曲线的斜率确定姿态特征中的目标姿态对所述目标素质评价指标的影响权重。
可选地,所述第一视频数据包括多个子视频段,所述第一音频数据包括多个子视频段分别对应的子音频段,所述根据所述目标学生用户在第一虚拟交流室内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,生成所述目标学生用户的素质画像,包括:
从所述目标学生用户在所述第一虚拟交流室内的多种行为特征的特征数据中获取每个子视频段对应的时间段内的多种行为特征的特征数据;
根据每个子视频段对应的时间段内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,确定相应子视频段对应的时间段内每种素质评价指标的得分;
根据每个子视频段对应的时间段内每种素质评价指标的得分,生成所述目标学生用户在所述第一虚拟交流室内参与讨论时的素质画像。
可选地,所述多种行为特征还包括表情特征和语音特征,所述表情特征的特征数据包括多种表情状态和每种表情状态在相应虚拟交流室内的出现次数,所述语音特征的特征数据包括多种发音特征和每种发音特征在相应虚拟交流室内的出现次数;
所述根据每个子视频段对应的时间段内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,确定相应子视频段对应的时间段内每种素质评价指标的得分,包括:
通过下述公式确定所述第一时间段内所述目标素质评价指标的得分;
Figure BDA0003426766820000031
其中,所述X为所述第一时间段内所述目标素质评价指标的得分,所述A1k为所述第一时间段内第k种姿态的出现次数,所述W1k为所述第k种姿态对所述目标素质评价指标的影响权重,所述A2h为所述第一时间段内第h种表情状态的出现次数,所述W2h为所述第h种表情状态对所述目标素质评价指标的影响权重,所述A3m为所述第一时间段内第m种发音特征的出现次数,所述W3m为所述第m种发音特征对所述目标素质评价指标的影响权重。
可选地,所述根据每个子视频段对应的时间段内每种素质评价指标的得分,生成所述目标学生用户在所述第一虚拟交流室内参与讨论时的素质画像,包括:
通过下述公式确定在所述第一虚拟交流室内每种素质评价指标的得分;
Figure BDA0003426766820000032
其中,所述
Figure BDA0003426766820000033
为所述第一虚拟交流室内第i种素质评价指标的得分,所述n为所述第一视频数据包括的子视频段的个数,
Figure BDA0003426766820000034
为第n个子视频段内第i种素质评价指标的得分;
根据所述第一虚拟交流室内每种素质评价指标的得分,确定在所述第一虚拟交流室内相应素质评价指标的评价等级。
另一方面,提供了一种生成学生素质画像的装置,所述装置包括:
获取模块,用于获取目标学生用户在第一虚拟交流室内参与讨论时的第一视频数据和第一音频数据,所述第一虚拟交流室内包括多个学生用户;
提取模块,用于从所述第一视频数据和所述第一音频数据中提取所述目标学生用户在所述第一虚拟交流室内的多种行为特征的特征数据;
确定模块,用于根据所述目标学生用户在多个第二虚拟交流室中的每个第二虚拟交流室中参与讨论时的多种行为特征的特征数据以及对应的多种素质评价指标的得分,确定每种行为特征对每种素质评价指标的影响权重,所述多个第二虚拟交流室是指所述目标学生用户在参加所述第一虚拟交流室之前参加的虚拟交流室;
生成模块,用于根据所述目标学生用户在第一虚拟交流室内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,生成所述目标学生用户的素质画像。
可选地,所述多种行为特征包括姿态特征,所述姿态特征的特征数据包括多种姿态和每种姿态在相应的虚拟交流室内的出现次数,所述确定模块,包括:
第一确定子模块,用于根据每个第二虚拟交流室内每种姿态的出现次数和相应虚拟交流室中目标素质评价指标的得分,确定每种姿态对所述目标素质评价指标的影响权重,所述目标素质评价指标为所述多种素质评价指标中的任一种;
第二确定子模块,用于根据每种姿态对所述目标素质评价指标的影响权重,确定所述姿态特征对所述目标素质评价指标的影响权重矩阵,所述影响权重矩阵包括每种姿态对所述目标素质评价指标的影响权重。
可选地,所述第一确定子模块,用于:
将每个第二虚拟交流室内的目标姿态的出现次数和相应虚拟交流室内所述目标素质评价指标的得分作为一个点对,得到多个点对,所述目标姿态为所述多种姿态中的任一种;
根据所述多个点对绘制目标素质评价指标的得分随目标姿态的出现次数的变化曲线;
根据所述变化曲线的斜率确定姿态特征中的目标姿态对所述目标素质评价指标的影响权重。
可选地,所述第一视频数据包括多个子视频段,所述第一音频数据包括多个子视频段分别对应的子音频段,所述生成模块,包括:
获取子模块,用于从所述目标学生用户在所述第一虚拟交流室内的多种行为特征的特征数据中获取每个子视频段对应的时间段内的多种行为特征的特征数据;
第三确定子模块,用于根据每个子视频段对应的时间段内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,确定相应子视频段对应的时间段内每种素质评价指标的得分;
生成子模块,用于根据每个子视频段对应的时间段内每种素质评价指标的得分,生成所述目标学生用户在所述第一虚拟交流室内参与讨论时的素质画像。
可选地,所述多种行为特征还包括表情特征和语音特征,所述表情特征的特征数据包括多种表情状态和每种表情状态在相应虚拟交流室内的出现次数,所述语音特征的特征数据包括多种发音特征和每种发音特征在相应虚拟交流室内的出现次数;
所述第三确定子模块,用于:
通过下述公式确定所述第一时间段内所述目标素质评价指标的得分;
Figure BDA0003426766820000051
其中,所述X为所述第一时间段内所述目标素质评价指标的得分,所述A1k为所述第一时间段内第k种姿态的出现次数,所述W1k为所述第k种姿态对所述目标素质评价指标的影响权重,所述A2h为所述第一时间段内第h种表情状态的出现次数,所述W2h为所述第h种表情状态对所述目标素质评价指标的影响权重,所述A3m为所述第一时间段内第m种发音特征的出现次数,所述W3m为所述第m种发音特征对所述目标素质评价指标的影响权重。
可选地,所述生成子模块,用于:
通过下述公式确定在所述第一虚拟交流室内每种素质评价指标的得分;
Figure BDA0003426766820000052
其中,所述
Figure BDA0003426766820000053
为所述第一虚拟交流室内第i种素质评价指标的得分,所述n为所述第一视频数据包括的子视频段的个数,
Figure BDA0003426766820000061
为第n个子视频段内第i种素质评价指标的得分;
根据所述第一虚拟交流室内每种素质评价指标的得分,确定在所述第一虚拟交流室内相应素质评价指标的评价等级。
另一方面,提供了一种生成学生素质画像的装置,所述装置包括:处理器,所述处理器用于:
获取目标学生用户在第一虚拟交流室内参与讨论时的第一视频数据和第一音频数据,所述第一虚拟交流室内包括多个学生用户;
从所述第一视频数据和所述第一音频数据中提取所述目标学生用户在所述第一虚拟交流室内的多种行为特征的特征数据;
根据所述目标学生用户在多个第二虚拟交流室中的每个第二虚拟交流室中参与讨论时的多种行为特征的特征数据以及对应的多种素质评价指标的得分,确定每种行为特征对每种素质评价指标的影响权重,所述多个第二虚拟交流室是指所述目标学生用户在参加所述第一虚拟交流室之前参加的虚拟交流室;
根据所述目标学生用户在第一虚拟交流室内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,生成所述目标学生用户的素质画像。
可选地,所述多种行为特征包括姿态特征,所述姿态特征的特征数据包括多种姿态和每种姿态在相应的虚拟交流室内的出现次数,所述处理器用于:
根据每个第二虚拟交流室内每种姿态的出现次数和相应虚拟交流室中目标素质评价指标的得分,确定每种姿态对所述目标素质评价指标的影响权重,所述目标素质评价指标为所述多种素质评价指标中的任一种;
根据每种姿态对所述目标素质评价指标的影响权重,确定所述姿态特征对所述目标素质评价指标的影响权重矩阵,所述影响权重矩阵包括每种姿态对所述目标素质评价指标的影响权重。
可选地,所述处理器用于:
将每个第二虚拟交流室内的目标姿态的出现次数和相应虚拟交流室内所述目标素质评价指标的得分作为一个点对,得到多个点对,所述目标姿态为所述多种姿态中的任一种;
根据所述多个点对绘制目标素质评价指标的得分随目标姿态的出现次数的变化曲线;
根据所述变化曲线的斜率确定姿态特征中的目标姿态对所述目标素质评价指标的影响权重。
可选地,所述第一视频数据包括多个子视频段,所述第一音频数据包括多个子视频段分别对应的子音频段,所述处理器用于:
从所述目标学生用户在所述第一虚拟交流室内的多种行为特征的特征数据中获取每个子视频段对应的时间段内的多种行为特征的特征数据;
根据每个子视频段对应的时间段内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,确定相应子视频段对应的时间段内每种素质评价指标的得分;
根据每个子视频段对应的时间段内每种素质评价指标的得分,生成所述目标学生用户在所述第一虚拟交流室内参与讨论时的素质画像。
可选地,所述多种行为特征还包括表情特征和语音特征,所述表情特征的特征数据包括多种表情状态和每种表情状态在相应虚拟交流室内的出现次数,所述语音特征的特征数据包括多种发音特征和每种发音特征在相应虚拟交流室内的出现次数;所述处理器用于:
所述根据每个子视频段对应的时间段内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,确定相应子视频段对应的时间段内每种素质评价指标的得分,包括:
通过下述公式确定所述第一时间段内所述目标素质评价指标的得分;
Figure BDA0003426766820000071
其中,所述X为所述第一时间段内所述目标素质评价指标的得分,所述A1k为所述第一时间段内第k种姿态的出现次数,所述W1k为所述第k种姿态对所述目标素质评价指标的影响权重,所述A2h为所述第一时间段内第h种表情状态的出现次数,所述W2h为所述第h种表情状态对所述目标素质评价指标的影响权重,所述A3m为所述第一时间段内第m种发音特征的出现次数,所述W3m为所述第m种发音特征对所述目标素质评价指标的影响权重。
可选地,所述处理器用于:
通过下述公式确定在所述第一虚拟交流室内每种素质评价指标的得分;
Figure BDA0003426766820000081
其中,所述
Figure BDA0003426766820000082
为所述第一虚拟交流室内第i种素质评价指标的得分,所述n为所述第一视频数据包括的子视频段的个数,
Figure BDA0003426766820000083
为第n个子视频段内第i种素质评价指标的得分;
根据所述第一虚拟交流室内每种素质评价指标的得分,确定在所述第一虚拟交流室内相应素质评价指标的评价等级。
另一方面,提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被计算机执行时实现上述所述生成学生素质画像的方法的步骤。
另一方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述的生成学生素质画像的方法的步骤。
本申请实施例提供的技术方案带来的有益效果至少包括:
在本申请实施例中,获取目标学生用户在第一虚拟交流室内参与讨论时的第一视频数据和第一音频数据,进而从获取到的第一视频数据和第一音频数据中提取用于表征目标学生用户的多种行为特征的特征数据。然后,以目标学生用户在曾经参加的多个第二虚拟交流室中历史表现为样本数据来更为准确的确定每种行为特征对每种素质评价指标的影响权重,进而根据每种行为特征对每种素质评价指标的影响权重和提取到的目标学生用户在第一虚拟交流室内的多种行为特征数据,来获得目标学生用户的素质画像,以此为参照来评价目标学生用户的综合素质,相较于人为主观评价更加的准确,更加具有科学性依据。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种生成学生素质画像的方法所涉及的系统架构图;
图2是本申请实施例提供的一种生成学生素质画像的方法的流程图;
图3是本申请实施例示出的一种生成学生素质画像的示意图;
图4是本申请实施例提供的一种生成学生素质画像的装置的示意图;
图5是本申请实施例提供的一种用于生成学生素质画像的服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行详细的解释说明之前,先对本申请实施例涉及的系统架构进行介绍。
图1是本申请实施例提供的一种生成学生素质画像的方法所涉及的系统架构图。如图1所示,该系统包括终端设备101和服务器102。其中,终端设备101和服务器102之间可以建立有通信连接。
其中,终端设备101用于采集目标学生用户在虚拟交流室内参与讨论时的视频数据和音频数据,并将采集到的视频数据和音频数据发送给服务器102。
服务器102用于接收终端设备101发送的视频数据和音频数据,并从接收到的视频数据和音频数据中提取目标学生用户的多种行为特征的特征数据,根据目标学生用户曾经参加的多个虚拟交流室中的每个虚拟交流室中参与讨论时的多种行为特征的特征数据以及对应的多种素质评价指标的得分,确定每种行为特征对对每种素质评价指标的影响权重。然后根据目标学生用户的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,生成目标学生用户的素质画像。
需要说明的是,服务器102可以为一台服务器,在这种情况下,该服务器103上可以部署有人体关键点提取模型、人体头部关键点提取模型、语音摘要提取模型和语义识别模型。服务器102可以通过这些模型来相应地提取多种行为特征的特征数据。该多种行为特征包括姿态特征、表情特征和语音特征。
可选的,服务器102也可以为一个服务器集群,在这种情况下,参见图1,该服务器102包括专注度识别模型服务器1021、语音语义识别模型服务器1022和画像服务器1023。
其中,专注度识别模型服务器1021用于接收终端设备101发送的视频数据,并从接收到的视频数据中提取姿态特征的特征数据和表情特征的特征数据,然后将提取到的姿态特征的特征数据和表情特征的特征数据发送至画像服务器1023。
语音语义识别模型服务器1022用于接收终端设备101发送的音频数据,并从接收到的音频数据中提取语音特征的特征数据,然后将提取到的语音特征的特征数据发送至画像服务器1023。
画像服务器1023用于接收专注度识别模型服务器1021发送的姿态特征的特征数据和表情特征的特征数据,还用于接收语音语义识别模型服务器1022发送的语音特征的特征数据,并获取每种行为特征对每种素质评价指标的影响权重,然后根据目标学生用户的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,生成目标学生用户的素质画像。
需要说明的是,终端设备101可以是手机、笔记本电脑、平板电脑等移动通信设备。上述服务器102可以部署在云平台或者是数据中心,本申请实施例对此不作限定。
接下来对本申请实施例提供的生成学生素质画像的方法进行介绍。
图2是本申请实施例提供的一种生成学生素质画像的方法。该方法可以应用于图1所示的服务器中,如图2所示,该方法包括以下步骤:
步骤201:获取目标学生用户在第一虚拟交流室内参与讨论时的第一视频数据和第一音频数据,第一虚拟交流室内包括多个学生用户。
在本申请实施例中,各个学生用户可以利用自身的用户账号登录终端设备上的交流室APP(Application,应用程序),并进入虚拟交流室参与讨论。其中,一个虚拟交流室内包括多个学生用户。在某个虚拟交流室中参与讨论时,学生用户所使用的终端设备可以实时采集该学生用户在该虚拟交流室中参与讨论时的视频数据和音频数据,并将采集到的学生用户的视频数据和音频数据发送至服务器,相应地,服务器接收各个学生用户在该虚拟交流室内参考讨论时发送的视频数据和音频数据。
需要说明的是,该交流室APP中包括由用户创建的多个虚拟交流室,每个学生用户可以多次进入多个不同的虚拟交流室参与讨论。这样,服务器将可以接收到在各个虚拟交流室内参与讨论时的各个学生用户的视频数据和音频数据。基于此,对于在任一虚拟交流室内参与讨论的任一学生用户,例如第一虚拟交流室中的目标学生用户,服务器可以从预先存储的多个学生用户的面部图像以及声纹信息中,获取目标学生用户的面部图像以及声纹信息,进而根据目标学生用户的面部图像和声纹信息,从接收到的第一虚拟交流室内的各个学生用户的视频数据和音频数据中提取该目标学生用户参与讨论时的第一视频数据和第一音频数据。
示例性地,服务器可以从接收到的各个学生用户的视频数据中提取各个学生用户的面部图像,将目标学生用户的面部图像与提取到的各个学生用户的面部图像进行匹配,将包含有与目标学生用户的面部图像匹配到的面部图像的视频数据作为目标学生用户的第一视频数据。另外,服务器可以从接收到的各个学生用户的音频数据中提取各个学生用户的声纹信息,将目标学生用户的声纹信息与提取到的各个学生用户的声纹信息进行匹配,进而将包含有与目标学生用户声纹信息匹配的声纹信息的音频数据作为目标学生用户的第一音频数据。
可选的,在另一种可能的实现方式中,终端设备向服务器发送多个学生用户的视频数据和音频数据时,还可以将每个学生用户的用户账号也对应发送给服务器,服务器在接收到多个学生用户的视频数据和音频数据以及每个学生用户的用户账号之后,可以将每个学生用户的用户账号与该学生用户的视频数据和音频数据对应存储。在这种情况下,服务器可以根据目标学生用户的用户账号来查找目标学生用户的视频数据与音频数据,将查找到的视频数据和音频数据作为目标学生用户的第一视频数据和第一音频数据。
步骤202:从第一视频数据和第一音频数据中提取目标学生用户在第一虚拟交流室内的多种行为特征的特征数据。
在获取到目标学生用户在第一虚拟交流室内参与讨论时的第一视频数据和第一音频数据之后,服务器可以从该第一视频数据和第一音频数据中提取目标学生用户在第一虚拟交流室内的多种行为特征的特征数据。其中,该多种行为特征包括姿态特征、表情特征和语音特征。该姿态特征的特征数据包括多种姿态和每种姿态在相应虚拟交流室内的出现次数;该表情特征的特征数据包括多种表情状态和每种表情状态在相应虚拟交流室内的出现次数;该语音特征的特征数据包括多种发音特征和每种发音特征在相应虚拟交流室内的出现次数。
在本申请实施例中,服务器可以通过人体关键点提取模型从第一视频数据中提取目标学生用户的姿态特征的特征数据;通过人体头部关键点提取模型从第一视频数据中提取目标学生用户的表情特征的特征数据;通过语音摘要提取模型和语义识别模型从第一音频数据中提取目标学生用户的语音特征的特征数据。
示例性地,服务器可以将该第一视频数据输入到人体关键点提取模型中来提取目标学生用户的各种肢体动作和头部动作对应的动作参数。之后,服务器可以根据目标学生用户的各种肢体动作和头部动作对应的动作参数与预先存储的标准姿态参数库中的各种标准肢体姿态和头部姿态对应的动作参数,确定目标学生用户在第一视频数据中的各种肢体姿态与头部姿态。然后,统计目标学生用户的各种肢体姿态和各种头部姿态在该第一视频数据中的出现次数,将目标学生用户的多种肢体姿态和每种肢体姿态在第一视频数据中的出现次数以及多种头部姿态和每种头部姿态在第一视频数据中的出现次数作为目标学生用户在该第一虚拟交流室内的姿态特征的特征数据。
需要说明的是,该预先存储的标准姿态参数库中包含各种标准肢体姿态和各种标准头部姿态对应的动作参数。其中,各种标准肢体姿态对应的动作参数包括托腮、挠头、趴桌子和端坐等肢体姿态对应的动作参数;各种标准头部姿态对应的动作参数包括左右转头和抬头低头等头部姿态对应的动作参数。
另外,该人体关键点提取模型是通过大量的视频数据预先训练好的模型,基于此,当该人体关键点提取模型接收到第一视频数据之后,可以对该第一视频数据进行处理,以识别得到该第一视频数据中目标学生用户的多种肢体动作和头部动作分别对应的动作参数。
之后,对于任一种肢体动作对应的动作参数,服务器可以计算该肢体动作对应的动作参数与预先存储的标准姿态参数库中的各种标准肢体姿态对应的动作参数之间的相似度,从计算得到的多种相似度获取最大相似度,如果该最大相似度大于参考阈值,则将该最大相似度对应的标准肢体姿态作为该肢体动作所表征的肢体姿态。通过该种方法,服务器可以确定出多种肢体动作分别对应的肢体姿态。对于多种头部动作分别对应的动作参数,服务器可以参考同样的方法,基于标准姿态参数库中的标准头部姿态对应的动作参数来确定出目标学生用户的多种头部姿态,本申请实施例在此不再赘述。
可选的,在另一些可能的实现方式中,服务器也可以将该第一视频数据输入至人体姿态识别网络中,通过该人体姿态识别网络对该第一视频数据中目标学生用户的肢体动作和头部动作进行识别,进而得到该第一视频数据中目标学生用户的多种肢体姿态和多种头部姿态。之后,服务器可以参考上述介绍的方法统计目标学生用户的各种肢体姿态和各种头部姿态在第一视频数据中的出现次数,从而得到目标学生用户在该第一虚拟交流室内的姿态特征的特征数据。
在提取目标学生用户的姿态特征的特征数据的同时,服务器还可以将该第一视频数据输入到人体头部关键点提取模型中来提取目标学生用户的各种面部动作对应的动作参数,在得到目标学生用户的各种面部动作对应的动作参数之后,服务器可以将目标学生用户的各种面部动作对应的动作参数与预先存储的标准面部表情参数库中的各种标准表情状态对应的动作参数进行匹配,进而确定目标学生用户的各种面部动作所对应的表情状态。然后,统计目标学生用户在该第一视频数据中各种表情状态的出现次数,将目标学生用户的多种表情状态和每种表情状态在该第一视频数据中的出现次数作为目标学生用户在该第一虚拟交流室内的表情特征的特征数据。
需要说明的是,标准面部表情参数库中包含各种标准表情状态对应的动作参数。其中,各种标准表情状态包括高兴、自然、惊讶、生气、害怕、厌恶、伤心等。
其中,该人体头部关键点提取模型也是通过大量的视频数据预先训练好的模型,基于此,当该人体头部关键点提取模型接收到该第一视频数据之后,可以对该第一视频数据进行处理,以识别得到该第一视频数据中目标学生用户的多种面部动作对应的动作参数。
之后,对于任一种面部动作对应的动作参数,服务器可以计算该面部动作的动作参数与预先存储的标准面部表情参数库中的各种标准表情状态对应的动作参数之间的相似度,从计算得到的多个相似度中确定最大相似度,如果该最大相似度大于参考阈值,则将该最大相似度所对应的标准表情状态作为该面部动作所表征的表情状态。对于识别得到的目标学生用户的每种面部动作对应的动作参数,服务器均可以参考上述方法对其进行处理,从而得到目标学生用户在第一视频数据中出现的多种表情状态。
可选的,在另一些可能的实现方式中,服务器也可以将该第一视频数据输入至人脸面部表情识别网络中,通过该人脸面部表情识别网络对该第一视频数据中目标学生用户的表情状态进行识别。之后,服务器可以统计识别得到的目标学生用户的各种表情状态在第一视频数据中的出现次数,从而得到目标学生用户的表情特征的特征数据。
可选地,该第一视频数据可以包括多个子视频段,该多个子视频段可以是服务器接收到第一视频数据之后,根据一个预设时长将该第一视频数据划分为多个时长为该预设时长的视频段,将该多个预设时长的视频段作为多个子视频段。在这种情况下,服务器可以参考上述介绍的获取姿态特征的特征数据和表情特征的特征数据的方式,依次从每个子视频段内提取姿态特征的特征数据和表情特征的特征数据。之后,将从各个子视频段内提取到的姿态特征的特征数据和表情特征的特征数据作为目标学生用户在该第一虚拟交流室内的姿态特征的特征数据和表情特征的特征数据。
可选地,在另一种可能的实现方式中,第一视频数据包括的多个子视频段是指终端设备实时发送的多个视频段,也即,当目标学生用户进入第一虚拟交流室后,终端设备每采集到预设时长的视频段后就可以向服务器发送采集到的视频段,在这种情况下,当第一虚拟交流室中的交流结束后,服务器可以接收到终端设备发送的多个预设时长的视频段,将该多个预设时长的视频段作为多个子视频段。其中,每当服务器接收到一个子视频段,就可以参考前述介绍的获取姿态特征的特征数据和表情特征的特征数据的方式,从该子视频段内提取姿态特征的特征数据和表情特征的特征数据。在此基础上,服务器可以将从各个子视频段内提取到的姿态特征的特征数据和表情特征的特征数据作为目标学生用户在该第一虚拟交流室内的姿态特征的特征数据和表情特征的特征数据。
在本申请实施例中,在提取目标学生用户的姿态特征的特征数据以及表情特征的特征数据的同时,服务器还可以通过语音摘要提取模型和语义识别模型从获取到的第一音频数据中提取目标学生用户的语音特征的特征数据。需要说明的是,该语音特征的特征数据中包括多种发音特征和每种发音特征在第一虚拟交流室内的出现次数。其中该多种发音特征包括多种声调、多类语气助词、多类语气叹词以及发音间隔。
其中,多种声调包括升调、降调、曲调和平调等声调;多种语气助词包括疑问语气助词、祈使语气助词、感叹语气助词;多种语气叹词包括表示惊讶和赞叹的语气叹词、表示喜悦的语气叹词、表示悲伤和惋惜的语气叹词、表示愤怒和鄙视的语气叹词、表示不满和异议的语气叹词。
示例性地,该语音摘要提取模型和语义识别模型都是预先训练好的模型,基于此,服务器可以先将第一音频数据输入至语音摘要提取模型中,当该语音摘要提取模型接收到该第一音频数据之后,可以对该第一音频数据进行处理,进而对该第一音频数据进行频谱分析,以标注该第一音频数据中目标学生用户的多种声调和发音间隔,输出该第一音频数据的目标学生用户多种声调和发音间隔的标注结果。
之后,服务器还可以将该第一音频数据输入至语义识别模型中,当该语义识别模型接收到该第一音频数据之后,可以对该第一音频数据进行处理,将该第一音频数据转为文本数据,并标注该文本数据中的多种语气助词和语气叹词,输出对该第一音频数据对应的文本数据的标注结果。
之后,服务器可以根据语音摘要提取模型输出的对第一音频数据的多种声调和发音间隔的标注结果,统计多种声调中每种声调在该第一音频数据中的出现次数以及在该第一音频数据中发音间隔的出现次数。根据语义识别模型输出的对第一音频数据对应的文本数据的标注结果,统计多种语气助词中每种语气助词在该第一音频数据中的出现次数以及目标学生用户的多种语气叹词中每种语气叹词在该第一音频数据中的出现次数。之后,将目标学生用户的多种声调和每种声调在该第一音频数据中的出现次数、在该第一音频数据中发音间隔的出现次数、多种语气助词和每种语气助词在该第一音频数据中的出现次数、多种语气叹词和每种语气叹词在该第一音频数据中的出现次数作为目标学生用户在该第一虚拟交流室内的语音特征的特征数据。
可选地,该第一音频数据中可以包括多个子音频段,该多个子音频段与前述第一视频数据中的多个子视频段一一对应。也即是,服务器同样可以在接收到第一音频数据之后,按照预设时长将第一音频数据划分为多个子音频段,以保证每个子音频段和对应的子视频段的起始时间点和终止时间点相同,也即,每个子音频段和对应的子视频段是同一时间段内的音频数据和视频数据。在这种情况下,服务器可以依次参考前述的方式从每个子音频段中提取语音特征的特征数据,从而将提取到的多个子音频段内的语音特征的特征数据作为目标学生用户在该第一虚拟交流室内的语音特征的特征数据。或者,终端设备可以每采集到一个时间段内的视频段和音频段之后,即可以将该时间段内的视频段和音频段一起发送至服务器。这样,服务器在接收到多个视频段的同时,还可以接收到多个音频段,将该多个音频段作为第一音频数据包括的多个子音频段。在这种情况下,服务器可以每接收到一个音频段时,即参考前述介绍的方式,从该子音频段中提取语音特征的特征数据,从而在第一虚拟交流室结束时,得到多个子音频段内的语音特征的特征数据。将从各个子音频段内提取到的语音特征的特征数据作为目标学生用户在该第一虚拟交流室内的语音特征的特征数据。
步骤203:根据目标学生用户在多个第二虚拟交流室中的每个第二虚拟交流室中参与讨论时的多种行为特征的特征数据以及对应的多种素质评价指标的得分,确定每种行为特征对每种素质评价指标的影响权重。其中,多个第二虚拟交流室是指目标学生用户在参加第一虚拟交流室之前参加的虚拟交流室。
在获取到目标学生用户在第一虚拟交流室内的姿态特征的特征数据、表情特征的特征数据、语音特征的特征数据之后,服务器还可以利用目标学生用户在曾经参加的多个第二虚拟交流室中的多种行为特征的特征数据以及在该多个第二虚拟交流室中的多种素质评价指标的得分,来确定每种行为特征对每种素质评价指标的影响权重。
需要说明的是,在本申请实施例中,可以通过多种素质评价指标来构建学生的素质画像。其中,该多种素质评价指标包括用于表征沟通素养的素质评价指标和用于表征合作素养的素质评价指标。其中,用于表征沟通素养的素质评价指标包括同理心、深度理解和有效表达等素质评价指标。用于表征合作素养的素质评价指标包括愿景认同、责任分担和协商共赢等素质评价指标。需要说明的是,上述介绍的几种素质评价指标仅为一些可能的示例,并不对本申请实施例构成限定。
接下来以确定多种行为特征中的姿态特征对多种素质评价指标中的任一素质评价指标的影响权重为例,对本步骤的实现过程进行说明。为了方便说明,将任一素质评价指标称为目标素质评价指标。
示例性地,服务器根据每个第二虚拟交流室内每种姿态的出现次数和相应虚拟交流室中目标素质评价指标的得分,确定每种姿态对目标素质评价指标的影响权重;根据每种姿态对目标素质评价指标的影响权重,确定姿态特征对目标素质评价指标的影响权重矩阵,影响权重矩阵包括每种姿态对目标素质评价指标的影响权重。
其中,服务器首先获取目标学生用户在多个第二虚拟交流室内的每个第二虚拟交流室内参与讨论时的姿态特征的特征数据。获取目标学生用户在多个第二虚拟交流室内的每个第二虚拟交流室内参与讨论时的姿态特征的特征数据的方式可以参考前述介绍的服务器获取目标学生用户在第一虚拟交流室内参与讨论时的姿态特征的特征数据的方式,本申请实施例对此不再赘述。
由前述介绍可知,姿态特征的特征数据中包括多种姿态和每种姿态在相应虚拟交流室内的出现次数。以多种姿态中的目标姿态为例,服务器在获取到每个第二虚拟交流室内的姿态特征的特征数据之后,可以将每个第二虚拟交流室内的目标姿态的出现次数和相应虚拟交流室内目标素质评价指标的得分作为一个点对,得到多个点对;根据多个点对绘制目标素质评价指标的得分随目标姿态的出现次数的变化曲线;根据变化曲线的斜率确定姿态特征中的目标姿态对该目标素质评价指标的影响权重。
需要说明的是,在本申请实施例中,在每次虚拟交流室结束后,老师或学生用户可以根据参加该次虚拟交流室的每个学生用户的表现,通过自身登录的终端设备向服务器反馈自身对各个学生用户在该虚拟交流室中的每种素质评价指标的评分。基于此,对于目标学生用户参加的每个虚拟交流室,服务器可以根据接收到的其他用户对目标学生用户在该虚拟交流室中的每种素质评价指标的评分,确定该目标学生用户在该虚拟交流室中的每种素质评价指标的得分。
示例性地,以多个第二虚拟交流室中的任一第二虚拟交流室为例,服务器可以根据目标学生用户的用户账号查找该第二虚拟交流室结束后其他用户对该目标学生用户的每种素质评价指标的评分,在获取到目标学生用户的每种素质评价指标的评分后,服务器可以将目标学生用户的同一种素质评价指标的多个评分取平均值,得到目标学生用户的该种素质评价指标的得分。依据相同的方法,服务器可以获取每个第二虚拟交流室结束后,目标学生用户的每种素质评价指标的得分。
可选地,在另一种可能的实现方式中,各个第二虚拟交流室中该目标学生用户的目标素质评价指标的得分也可以是在当前时刻之前通过本申请实施例提供的方法计算得到的得分,本申请实施例对此不做限定。
在获取到每个第二虚拟交流室内目标学生用户的目标姿态的出现次数和目标素质评价指标的得分之后,服务器可以将各个第二虚拟交流室内的目标姿态的出现次数和相应虚拟交流室内目标素质评价指标的得分作为一个点对,得到多个点对,然后,以目标姿态的出现次数为横坐标,目标素质评价指标的得分为纵坐标绘图,根据该多个点对绘制得到目标素质评价指标的得分随目标姿态的出现次数的变化曲线,然后将该变化曲线的斜率作为目标姿态对目标素质评价指标的影响权重。
例如,目标学生用户参与了三个第二虚拟交流室,为了方便说明,将该三个第二虚拟交流室分别称为虚拟交流室一、虚拟交流室二、虚拟交流室三。其中,以趴桌子这种肢体姿态作为目标姿态,以同理心这种素质评价指标作为目标素质评价指标。如果在虚拟交流室一中目标学生用户的趴桌子这种肢体姿态的出现次数为7次,在该虚拟交流室一中目标学生用户的同理心这种素质评价指标的得分为65,在这种情况下,服务器可以从该虚拟交流室一中得到一个点对(7,65),依据相同的方法,服务器可以从虚拟交流室二和虚拟交流室三中得到两个点对,这两个点对可以为(8,70),(9,75)。这样在得到三个点对之后,服务器可以根据这三个点对绘制同理心这种素质评价指标的得分随趴桌子这种肢体姿态的出现次数的变化曲线,然后,根据变化曲线的斜率确定趴桌子这种肢体姿态对同理心这种素质评价指标的影响权重,计算可得该影响权重为5。
对于目标学生用户的姿态特征的特征数据中包括的每种姿态,服务器均可以依据上述方法得到每种姿态对目标素质评价指标的影响权重。
在得到每种姿态对目标素质评价指标的影响权重之后,服务器可以根据每种姿态对目标素质评价指标的影响权重,确定姿态特征对目标素质评价指标的影响权重矩阵。
示例性地,假设姿态特征的特征数据中包括k种姿态。其中,该k种姿态中每种姿态对目标素质评价指标的影响权重分别为W11、W12、……W1k。基于此,该k种姿态对目标素质评价指标的影响权重矩阵A可以通过下述公式(1)来表示。
A=[W11 W12…W1k] (1)
同理,服务器可以参考上述介绍的获取姿态特征对目标素质指标的影响权重矩阵的方法确定姿态特征对每种素质评价指标的影响权重矩阵。
需要说明的是,由上述公式1可以看出,姿态特征对目标素质评价指标的影响权重矩阵实际上是由每种姿态对目标素质评价指标的影响权重组成的。基于此,可以理解的是,也可以将每种姿态对目标素质评价指标的影响权重通过其他形式来组织或表示,本申请实施例对此不作限定。
另外,服务器还可以参考上述介绍的确定姿态特征对每种素质评价指标的影响权重矩阵的方法确定表情特征对每种素质评价指标的影响权重矩阵,以及语音特征对每种素质评价指标的影响权重矩阵,本申请实施例对此不再赘述。
步骤204:根据目标学生用户在第一虚拟交流室内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,生成目标学生用户的素质画像。
在本申请实施例中,由前述步骤202的介绍可知,第一视频数据可以包括多个子视频段,第一音频数据包括与多个子视频段分别对应的子音频段,相应地,多种行为特征的特征数据中包括多个子视频段分别对应的时间段内的多种行为特征的特征数据。基于此,服务器可以从目标学生用户在第一虚拟交流室内的多种行为特征的特征数据中获取每个子视频段对应的时间段内的多种行为特征的特征数据;根据每个子视频段对应的时间段内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,确定相应子视频段对应的时间段内每种素质评价指标的得分;根据每个子视频段对应的时间段内每种素质评价指标的得分,生成目标学生用户在第一虚拟交流室内参与讨论时的素质画像。
示例性地,以多个子视频段中的任一视频段为例,将该视频段对应的时间段称为第一时间段。由前述介绍可知,姿态特征的特征数据中可能包括多种姿态的出现次数,表情特征的特征数据中可能包括多种表情状态的出现次数,语音特征的特征数据也可能包括多种发音特征的出现次数。基于此,当服务器获取到第一时间段内的姿态特征的特征数据、表情特征的特征数据、语音特征的特征数据之后,可以根据第一时间段内的姿态特征的特征数据中包括的多种姿态中每种姿态的出现次数,确定姿态特征矩阵;根据第一时间段内的表情特征的特征数据中包括的每种表情状态的出现次数,确定表情特征矩阵;根据第一时间段内的语音特征的特征数据中包括的多种发音特征中每种发音特征的出现次数,确定语音特征矩阵。
示例性地,假设姿态特征的特征数据中包括k种姿态,则可以通过下述公式(2)来表示姿态特征矩阵。
Figure BDA0003426766820000201
其中,B表示姿态特征矩阵,A11~A1k为第一时间段内k种姿态中每种姿态的出现次数。
同理,服务器也可以参考上述确定姿态特征矩阵的方法,确定表情特征矩阵和语音特征矩阵。本申请实施例对此不再赘述。
在确定出第一时间段内的姿态特征矩阵、表情特征矩阵和语音特征矩阵之后,服务器可以基于获取到第一时间段内的姿态特征矩阵、表情特征矩阵、语音特征矩阵以及每种行为特征对每种素质评价指标的影响权重,通过下述公式(3)确定目标学生用户在第一时间段内目标素质评价指标的得分,其中,该目标素质评价指标为多种素质评价指标中的任一种。
Figure BDA0003426766820000202
其中,X为第一时间段内目标素质评价指标的得分,A1k为第一时间段内第k种姿态的出现次数、W1k为第k种姿态对目标素质评价指标的影响权重、A2h第一时间段内第h种表情状态的出现次数、W2h为第h种表情状态对目标素质评价指标的影响权重、A3m为第一时间段内第m种发音特征的出现次数、W3m为第m种发音特征对目标素质评价指标的影响权重。
需要说明的是,上述姿态特征的特征数据中包括的多种姿态的个数、表情特征的特征数据中包括的多种表情状态的个数以及语音特征中包括的多种发音特征的个数仅为示例性的举例,并不对本申请造成限定。
通过上述介绍的方法,服务器可以计算出第一视频数据中多个子视频段分别对应的时间段内目标学生用户的每种素质评价指标的得分。
在计算出多个子视频段分别对应的时间段内目标学生用户的每种素质评价指标的得分之后,服务器可以根据每个子视频段对应的时间段内每种素质评价指标的得分,通过下述公式(4)确定在第一虚拟交流室内目标学生用户的每种素质评价指标的得分:
Figure BDA0003426766820000211
其中,
Figure BDA0003426766820000212
第一虚拟交流室内目标学生用户的第i种素质评价指标的得分,n为第一视频数据中包括的子视频段的个数,
Figure BDA0003426766820000213
为第n个子视频段内目标学生用户的第i种素质评价指标的得分,由上述公式可知,该第一虚拟交流室内目标学生用户的目标素质评价指标的得分为该第一虚拟交流室内每个子视频段对应的时间段内目标学生用户的目标素质评价指标的得分的平均值。依据相同的方法,可以计算第一虚拟交流室内目标学生用户的每种素质评价指标的得分。
在得到第一虚拟交流室内目标学生用户的每种素质评价指标的得分之后,服务器可以根据第一虚拟交流室内目标学生用户的每种素质评价指标的得分,确定在第一虚拟交流室内目标学生用户的相应素质评价指标的评价等级。其中,目标学生用户的素质画像包括第一虚拟交流室内该目标学生用户的多种素质评价指标分别对应的评价等级。
示例性地,服务器中存储有不同的分值区间与素质评价指标的等级之间的对应关系。基于此,服务器可以根据第一虚拟交流室内每种素质评价指标的得分,确定该第一虚拟交流室内相应素质评价指标的评价等级。
例如,服务器中存储有3个不同的分值区间与素质评价指标的等级之间的对应关系,该3个不同的分值区间可以为(0,40]、(40,60]、(60,100]。其中,分值区间(0,40]对应的素质评价指标的评价等级为差,分值区间(40,60]对应的素质评价指标的评价等级为良,分值区间为(60,100]对应的素质评价指标的评价等级为优。基于此,当服务器计算得到的目标学生用户在第一虚拟交流室内某种素质评价指标的得分处于(0,40]的分值区间内,则认为该目标学生用户在第一虚拟交流室内相应素质评价指标的评价等级为差;当服务器计算得到的目标学生用户在第一虚拟交流室内某种素质评价指标的得分处于(40,60]的分值区间内,则认为该目标学生用户在第一虚拟交流室内相应素质评价指标的评价等级为良;当服务器计算得到的目标学生用户在第一虚拟交流室内某种素质评价指标的得分处于(60,100]的分值区间内,则认为该目标学生用户在第一虚拟交流室内相应素质评价指标的评价等级为优。
图3是本申请实施例示出的一种生成目标学生用户的素质画像的示意图。如图3所示,以同理心这种素质评价指标为例,若服务器计算得到目标学生用户在第一虚拟交流室内参与讨论时,同理心这种素质评价指标对应的评价等级为优,则可以在该目标学生的素质画像中的同理心这种素质评价指标后,用“优”来表示目标学生用户的同理心这种素质评价指标的评价等级。依据相同的方法,可以在目标学生用户的每个素质评价指标后,用“优”、“良”、“差”来表示相应素质评价指标的评价等级(图中未全部示出)。需要说明的是,该目标学生用户的素质画像可以根据学生不同阶段参与虚拟交流室的每种素质评价指标的得分进行更新。
可选地,在一种可能的实现方式中,服务器在计算出目标学生用户的每种素质评价指标的得分之后,也可以不进行评价等级的确定,在这种情况下,目标学生用户的素质画像包括第一虚拟交流室内该目标学生用户的多种素质评价指标的得分。
可选地,在一种可能的实现方式中,服务器也可以不对目标学生用户的第一视频数据进行分段,在这种情况下,可以直接通过前述步骤205中公式(3)来计算目标学生用户在该第一视频数据中的目标素质评价指标的得分。此时,公式(3)中的姿态特征矩阵、表情特征矩阵、语音特征矩阵中包括在第一视频数据和第一音频数据中,目标学生用户的各种姿态、各种表情状态以及各种发音特征的出现次数。在根据公式(3)计算出目标学生用户的每种素质评价指标的得分后,服务器可以根据目标学生用户的每种素质评价指标的得分来生成目标学生用户的素质画像。
在本申请实施例中,获取目标学生用户在第一虚拟交流室内参与讨论时的第一视频数据和第一音频数据,进而从获取到的第一视频数据和第一音频数据中提取用于表征目标学生用户的多种行为特征的特征数据。然后,以目标学生用户在曾经参加的多个第二虚拟交流室中历史表现为样本数据来更为准确的确定每种行为特征对每种素质评价指标的影响权重,进而根据每种行为特征对每种素质评价指标的影响权重和提取到的目标学生用户在第一虚拟交流室内的多种行为特征数据,来获得目标学生用户的素质画像,以此为参照来评价目标学生用户的综合素质,相较于人为主观评价更加的准确,更加具有科学性依据。
另外,在获取每种行为特征对每种素质评价指标的影响权重时,以目标学生用户曾经参与过的多个虚拟交流室内的多种行为特征的特征数据以及对应的多种素质评价指标的得分为样本数据,得到的目标学生用户的每种行为特征对每种素质评价指标的影响权重更加准确。在这种情况下,根据每种行为特征对每种素质评价指标的影响权重,生成的目标学生用户的素质画像也更加的准确。
接下来,对本申请实施例提供的生成学生素质画像的装置进行介绍。
参见图4,本申请实施例提供了一种生成学生素质画像的装置400,该装置400包括:获取模块401、提取模块402、确定模块403、生成模块404。
获取模块401,用于获取目标学生用户在第一虚拟交流室内参与讨论时的第一视频数据和第一音频数据,第一虚拟交流室内包括多个学生用户;
提取模块402,用于从第一视频数据和第一音频数据中提取目标学生用户在第一虚拟交流室内的多种行为特征的特征数据;
确定模块403,用于根据目标学生用户在多个第二虚拟交流室中的每个第二虚拟交流室中参与讨论时的多种行为特征的特征数据以及对应的多种素质评价指标的得分,确定每种行为特征对每种素质评价指标的影响权重,多个第二虚拟交流室是指目标学生用户在参加第一虚拟交流室之前参加的虚拟交流室;
生成模块404,用于根据目标学生用户在第一虚拟交流室内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,生成目标学生用户的素质画像。
可选地,多种行为特征包括姿态特征,姿态特征的特征数据包括多种姿态和每种姿态在相应的虚拟交流室内的出现次数,确定模块403,包括:
第一确定子模块,用于根据每个第二虚拟交流室内每种姿态的出现次数和相应虚拟交流室中目标素质评价指标的得分,确定每种姿态对目标素质评价指标的影响权重,目标素质评价指标为多种素质评价指标中的任一种;
第二确定子模块,用于根据每种姿态对目标素质评价指标的影响权重,确定姿态特征对目标素质评价指标的影响权重矩阵,影响权重矩阵包括每种姿态对目标素质评价指标的影响权重。
可选地,第一确定子模块,用于:
将每个第二虚拟交流室内的目标姿态的出现次数和相应虚拟交流室内目标素质评价指标的得分作为一个点对,得到多个点对,目标姿态为多种姿态中的任一种;
根据多个点对绘制目标素质评价指标的得分随目标姿态的出现次数的变化曲线;
根据变化曲线的斜率确定姿态特征中的目标姿态对目标素质评价指标的影响权重。
可选地,第一视频数据包括多个子视频段,第一音频数据包括多个子视频段分别对应的子音频段,生成模块404,包括:
获取子模块,用于从目标学生用户在第一虚拟交流室内的多种行为特征的特征数据中获取每个子视频段对应的时间段内的多种行为特征的特征数据;
第三确定子模块,用于根据每个子视频段对应的时间段内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,确定相应子视频段对应的时间段内每种素质评价指标的得分;
生成子模块,用于根据每个子视频段对应的时间段内每种素质评价指标的得分,生成目标学生用户在第一虚拟交流室内参与讨论时的素质画像。
可选地,多种行为特征还包括表情特征和语音特征,表情特征的特征数据包括多种表情状态和每种表情状态在相应虚拟交流室内的出现次数,语音特征的特征数据包括多种发音特征和每种发音特征在相应虚拟交流室内的出现次数;
第三确定子模块,用于:
通过下述公式确定第一时间段内目标素质评价指标的得分;
Figure BDA0003426766820000241
其中,X为第一时间段内目标素质评价指标的得分,A1k为第一时间段内第k种姿态的出现次数,W1k为第k种姿态对目标素质评价指标的影响权重,A2h为第一时间段内第h种表情状态的出现次数,W2h为第h种表情状态对目标素质评价指标的影响权重,A3m为第一时间段内第m种发音特征的出现次数,W3m为第m种发音特征对目标素质评价指标的影响权重。
可选地,生成子模块,用于:
通过下述公式确定在第一虚拟交流室内每种素质评价指标的得分;
Figure BDA0003426766820000242
其中,
Figure BDA0003426766820000243
为第一虚拟交流室内第i种素质评价指标的得分,n为第一视频数据包括的子视频段的个数,
Figure BDA0003426766820000244
为第n个子视频段内第i种素质评价指标的得分;
根据第一虚拟交流室内每种素质评价指标的得分,确定在第一虚拟交流室内相应素质评价指标的评价等级。
综上所述,在本申请实施例中,获取目标学生用户在第一虚拟交流室内参与讨论时的第一视频数据和第一音频数据,进而从获取到的第一视频数据和第一音频数据中提取用于表征目标学生用户的多种行为特征的特征数据。然后,以目标学生用户在曾经参加的多个第二虚拟交流室中历史表现为样本数据来更为准确的确定每种行为特征对每种素质评价指标的影响权重,进而根据每种行为特征对每种素质评价指标的影响权重和提取到的目标学生用户在第一虚拟交流室内的多种行为特征数据,来获得目标学生用户的素质画像,以此为参照来评价目标学生用户的综合素质,相较于人为主观评价更加的准确,更加具有科学性依据。
需要说明的是,上述实施例提供的生成学生素质画像的装置在生成学生素质画像时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的生成学生素质画像的装置与生成学生素质画像的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图5是根据一示例性实施例示出的一种的服务器结构示意图。上述实施例中生成学生素质画像的服务器的功能即可以通过图5中所示的服务器来实现。
该服务器可以是后台服务器集群中的服务器。具体来讲:
服务器500包括中央处理单元(Central Processing Unit,CPU)501、包括随机存取存储器(Random Access Memory,RAM)502和只读存储器(Read-Only Memory,ROM)503的系统存储器504,以及连接系统存储器504和中央处理单元501的系统总线505。服务器500还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(Input/Output,I/O系统)506,和用于存储操作系统513、应用程序514和其他程序模块515的大容量存储设备507。
基本输入/输出系统506包括有用于显示信息的显示器508和用于用户输入信息的诸如鼠标、键盘之类的输入设备509。其中显示器508和输入设备509都通过连接到系统总线505的输入输出控制器510连接到中央处理单元501。基本输入/输出系统506还可以包括输入输出控制器510以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器510还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备507通过连接到系统总线505的大容量存储控制器(未示出)连接到中央处理单元501。大容量存储设备507及其相关联的计算机可读介质为服务器500提供非易失性存储。也就是说,大容量存储设备507可以包括诸如硬盘或者CD-ROM(CompactDisc Read-Only Memory,紧凑型光盘只读储存器)驱动器之类的计算机可读介质(未示出)。
不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read Only Memory,可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read Only Memory,带电可擦可编程只读存储器)、闪存或其他固态存储设备,CD-ROM、DVD(Digital Versatile Disc,数字通用光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器504和大容量存储设备507可以统称为存储器。
根据本申请的各种实施例,服务器500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器500可以通过连接在系统总线505上的网络接口单元511连接到网络512,或者说,也可以使用网络接口单元511来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由CPU执行。所述一个或者一个以上程序包含用于进行本申请实施例提供的生成学生素质画像的方法的指令。
本申请实施例还提供了一种计算机可读存储介质,当该存储介质中的指令由服务器的处理器执行时,使得服务器能够执行上述实施例提供的生成学生素质画像的方法。例如,该计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。值得注意的是,本申请实施例提到的计算机可读存储介质可以为非易失性存储介质,换句话说,可以是非瞬时性存储介质。
应当理解的是,实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。
也即是,在一些实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例提供的生成学生素质画像的方法。
可以理解的是,在本申请的具体实施例方式中,涉及到生成学生素质画像的相关数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
以上所述并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请实施例的保护范围之内。

Claims (10)

1.一种生成学生素质画像的方法,其特征在于,所述方法包括:
获取目标学生用户在第一虚拟交流室内参与讨论时的第一视频数据和第一音频数据,所述第一虚拟交流室内包括多个学生用户;
从所述第一视频数据和所述第一音频数据中提取所述目标学生用户在所述第一虚拟交流室内的多种行为特征的特征数据;
根据所述目标学生用户在多个第二虚拟交流室中的每个第二虚拟交流室中参与讨论时的多种行为特征的特征数据以及对应的多种素质评价指标的得分,确定每种行为特征对每种素质评价指标的影响权重,所述多个第二虚拟交流室是指所述目标学生用户在参加所述第一虚拟交流室之前参加的虚拟交流室;
根据所述目标学生用户在第一虚拟交流室内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,生成所述目标学生用户的素质画像。
2.根据权利要求1所述的方法,其特征在于,所述多种行为特征包括姿态特征,所述姿态特征的特征数据包括多种姿态和每种姿态在相应的虚拟交流室内的出现次数,所述根据所述目标学生用户在多个第二虚拟交流室中的每个第二虚拟交流室中参与讨论时的多种行为特征的特征数据以及对应的多种素质评价指标的得分,确定每种行为特征对每种素质评价指标的影响权重,包括:
根据每个第二虚拟交流室内每种姿态的出现次数和相应虚拟交流室中目标素质评价指标的得分,确定每种姿态对所述目标素质评价指标的影响权重,所述目标素质评价指标为所述多种素质评价指标中的任一种;
根据每种姿态对所述目标素质评价指标的影响权重,确定所述姿态特征对所述目标素质评价指标的影响权重矩阵,所述影响权重矩阵包括每种姿态对所述目标素质评价指标的影响权重。
3.根据权利要求2所述的方法,其特征在于,所述根据每个第二虚拟交流室内每种姿态的出现次数和相应虚拟交流室中目标素质评价指标的得分,确定每种姿态对所述目标素质评价指标的影响权重,包括:
将每个第二虚拟交流室内的目标姿态的出现次数和相应虚拟交流室内所述目标素质评价指标的得分作为一个点对,得到多个点对,所述目标姿态为所述多种姿态中的任一种;
根据所述多个点对绘制目标素质评价指标的得分随目标姿态的出现次数的变化曲线;
根据所述变化曲线的斜率确定姿态特征中的目标姿态对所述目标素质评价指标的影响权重。
4.根据权利要求1所述的方法,其特征在于,所述第一视频数据包括多个子视频段,所述第一音频数据包括多个子视频段分别对应的子音频段,所述根据所述目标学生用户在第一虚拟交流室内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,生成所述目标学生用户的素质画像,包括:
从所述目标学生用户在所述第一虚拟交流室内的多种行为特征的特征数据中获取每个子视频段对应的时间段内的多种行为特征的特征数据;
根据每个子视频段对应的时间段内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,确定相应子视频段对应的时间段内每种素质评价指标的得分;
根据每个子视频段对应的时间段内每种素质评价指标的得分,生成所述目标学生用户在所述第一虚拟交流室内参与讨论时的素质画像。
5.根据权利要求2所述的方法,其特征在于,所述多种行为特征还包括表情特征和语音特征,所述表情特征的特征数据包括多种表情状态和每种表情状态在相应虚拟交流室内的出现次数,所述语音特征的特征数据包括多种发音特征和每种发音特征在相应虚拟交流室内的出现次数;
所述根据每个子视频段对应的时间段内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,确定相应子视频段对应的时间段内每种素质评价指标的得分,包括:
通过下述公式确定所述第一时间段内所述目标素质评价指标的得分;
Figure FDA0003426766810000031
其中,所述X为所述第一时间段内所述目标素质评价指标的得分,所述A1k为所述第一时间段内第k种姿态的出现次数,所述W1k为所述第k种姿态对所述目标素质评价指标的影响权重,所述A2h为所述第一时间段内第h种表情状态的出现次数,所述W2h为所述第h种表情状态对所述目标素质评价指标的影响权重,所述A3m所述第一时间段内第m种发音特征的出现次数,所述W3m为所述第m种发音特征对所述目标素质评价指标的影响权重。
6.根据权利要求5所述的方法,其特征在于,所述根据每个子视频段对应的时间段内每种素质评价指标的得分,生成所述目标学生用户在所述第一虚拟交流室内参与讨论时的素质画像,包括:
通过下述公式确定在所述第一虚拟交流室内每种素质评价指标的得分;
Figure FDA0003426766810000032
其中,所述
Figure FDA0003426766810000033
为所述第一虚拟交流室内第i种素质评价指标的得分,所述n为所述第一视频数据包括的子视频段的个数,
Figure FDA0003426766810000034
为第n个子视频段内第i种素质评价指标的得分;
根据所述第一虚拟交流室内每种素质评价指标的得分,确定在所述第一虚拟交流室内相应素质评价指标的评价等级。
7.一种生成学生素质画像的装置,其特征在于,所述装置包括处理器,所述处理器用于:
获取目标学生用户在第一虚拟交流室内参与讨论时的第一视频数据和第一音频数据,所述第一虚拟交流室内包括多个学生用户;
从所述第一视频数据和所述第一音频数据中提取所述目标学生用户在所述第一虚拟交流室内的多种行为特征的特征数据;
根据所述目标学生用户在多个第二虚拟交流室中的每个第二虚拟交流室中参与讨论时的多种行为特征的特征数据以及对应的多种素质评价指标的得分,确定每种行为特征对每种素质评价指标的影响权重,所述多个第二虚拟交流室是指所述目标学生用户在参加所述第一虚拟交流室之前参加的虚拟交流室;
根据所述目标学生用户在第一虚拟交流室内的多种行为特征的特征数据和每种行为特征对每种素质评价指标的影响权重,生成所述目标学生用户的素质画像。
8.根据权利要求7所述的装置,其特征在于,所述多种行为特征包括姿态特征,所述姿态特征的特征数据包括多种姿态和每种姿态在相应的虚拟交流室内的出现次数,所述处理器用于:
根据每个第二虚拟交流室内每种姿态的出现次数和相应虚拟交流室中目标素质评价指标的得分,确定每种姿态对所述目标素质评价指标的影响权重,所述目标素质评价指标为所述多种素质评价指标中的任一种;
根据每种姿态对所述目标素质评价指标的影响权重,确定所述姿态特征对所述目标素质评价指标的影响权重矩阵,所述影响权重矩阵包括每种姿态对所述目标素质评价指标的影响权重。
9.根据权利要求8所述的装置,其特征在于,所述处理器用于:
将每个第二虚拟交流室内的目标姿态的出现次数和相应虚拟交流室内所述目标素质评价指标的得分作为一个点对,得到多个点对,所述目标姿态为所述多种姿态中的任一种;
根据所述多个点对绘制目标素质评价指标的得分随目标姿态的出现次数的变化曲线;
根据所述变化曲线的斜率确定姿态特征中的目标姿态对所述目标素质评价指标的影响权重。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被计算机执行时实现权利要求1-6任一所述生成学生素质画像的方法。
CN202111580154.9A 2021-12-22 2021-12-22 生成学生素质画像的方法、装置及存储介质 Pending CN114298515A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111580154.9A CN114298515A (zh) 2021-12-22 2021-12-22 生成学生素质画像的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111580154.9A CN114298515A (zh) 2021-12-22 2021-12-22 生成学生素质画像的方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN114298515A true CN114298515A (zh) 2022-04-08

Family

ID=80970360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111580154.9A Pending CN114298515A (zh) 2021-12-22 2021-12-22 生成学生素质画像的方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114298515A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002420A (zh) * 2018-06-20 2018-12-14 中国石油天然气股份有限公司 影响程度的确定方法、装置及存储介质
CN111612352A (zh) * 2020-05-22 2020-09-01 北京易华录信息技术股份有限公司 一种学生表达能力评估方法及装置
CN112085392A (zh) * 2020-09-10 2020-12-15 北京易华录信息技术股份有限公司 一种学习参与度确定方法、装置及计算机设备
CN112365106A (zh) * 2020-12-17 2021-02-12 北京易华录信息技术股份有限公司 一种基于长时序多源数据的学生综合素质分析系统
CN112668476A (zh) * 2020-12-28 2021-04-16 华中师范大学 一种数据处理方法、装置、电子设备及存储介质
CN112990105A (zh) * 2021-04-19 2021-06-18 北京优幕科技有限责任公司 对用户评价的方法、装置、电子设备和存储介质
CN113627797A (zh) * 2021-08-12 2021-11-09 深圳平安智汇企业信息管理有限公司 入职员工画像生成方法、装置、计算机设备及存储介质
CN113642522A (zh) * 2021-09-01 2021-11-12 中国科学院自动化研究所 基于音视频的疲劳状态检测方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002420A (zh) * 2018-06-20 2018-12-14 中国石油天然气股份有限公司 影响程度的确定方法、装置及存储介质
CN111612352A (zh) * 2020-05-22 2020-09-01 北京易华录信息技术股份有限公司 一种学生表达能力评估方法及装置
CN112085392A (zh) * 2020-09-10 2020-12-15 北京易华录信息技术股份有限公司 一种学习参与度确定方法、装置及计算机设备
CN112365106A (zh) * 2020-12-17 2021-02-12 北京易华录信息技术股份有限公司 一种基于长时序多源数据的学生综合素质分析系统
CN112668476A (zh) * 2020-12-28 2021-04-16 华中师范大学 一种数据处理方法、装置、电子设备及存储介质
CN112990105A (zh) * 2021-04-19 2021-06-18 北京优幕科技有限责任公司 对用户评价的方法、装置、电子设备和存储介质
CN113627797A (zh) * 2021-08-12 2021-11-09 深圳平安智汇企业信息管理有限公司 入职员工画像生成方法、装置、计算机设备及存储介质
CN113642522A (zh) * 2021-09-01 2021-11-12 中国科学院自动化研究所 基于音视频的疲劳状态检测方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
尤建新等: "《合作与协调——上海世博会管理研究问题》", vol. 1, 31 January 2006, 同济大学出版社, pages: 60 - 65 *
涂旭东等: "基于学生综合素质评价的行为画像系统的构建与实现", 网络信息工程, no. 17, 30 September 2021 (2021-09-30) *
肖本林等: "《空间数据质量定性评价》", vol. 1, 30 November 2019, 测绘出版社, pages: 35 - 38 *
魏孔鹏等: "学生综合素质评价的用户画像构建研究", 计算机时代, no. 3, 31 March 2020 (2020-03-31) *

Similar Documents

Publication Publication Date Title
CN107818798B (zh) 客服服务质量评价方法、装置、设备及存储介质
JP6755304B2 (ja) 情報処理装置
CN107203953B (zh) 一种基于互联网、表情识别和语音识别的教学系统及其实现方法
CN106663383B (zh) 分析受试者的方法和系统
CN110600033B (zh) 学习情况的评估方法、装置、存储介质及电子设备
CN107133303A (zh) 用于输出信息的方法和装置
CN110782962A (zh) 听力语言康复装置、方法、电子设备及存储介质
CN111199205B (zh) 车载语音交互体验评估方法、装置、设备及存储介质
CN111985751B (zh) 人机聊天体验评估体系
US10580434B2 (en) Information presentation apparatus, information presentation method, and non-transitory computer readable medium
US11361754B2 (en) Method and system for speech effectiveness evaluation and enhancement
JP2019133451A (ja) 評価方法、評価装置、評価プログラム、および、評価システム
JP6570465B2 (ja) 重要語によって参加者の貢献度を推定可能なプログラム、装置及び方法
CN114021962A (zh) 教学评估方法、评估装置及其相关设备和存储介质
CN111915111A (zh) 在线课堂的互动质量评价方法、装置及终端设备
CN111490929B (zh) 视频片段推送方法、装置、电子设备、存储介质
CN117216229A (zh) 一种生成客服答案的方法及装置
CN113763962A (zh) 音频处理方法、装置、存储介质及计算机设备
CN110728983A (zh) 一种信息显示方法、装置、设备及可读存储介质
WO2023002694A1 (ja) 情報処理装置および情報処理方法
CN114298515A (zh) 生成学生素质画像的方法、装置及存储介质
JP5685014B2 (ja) ディスカッション健全度算出装置
US20230290505A1 (en) Context Aware Assessment
JP6285377B2 (ja) コミュニケーションスキル評価フィードバック装置、コミュニケーションスキル評価フィードバック方法及びコミュニケーションスキル評価フィードバックプログラム
CN113038259A (zh) 互联网教育的上课质量反馈方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination