CN111144735A - 一种数据处理方法、装置、电子设备及存储介质 - Google Patents
一种数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111144735A CN111144735A CN201911342652.2A CN201911342652A CN111144735A CN 111144735 A CN111144735 A CN 111144735A CN 201911342652 A CN201911342652 A CN 201911342652A CN 111144735 A CN111144735 A CN 111144735A
- Authority
- CN
- China
- Prior art keywords
- data
- user
- parameter
- value
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Abstract
本发明公开了一种数据处理方法、装置、相关设备及存储介质。其中，方法包括：获取待处理数据；所述待处理数据为与用户在至少一种场景中产生的行为相关的数据；利用多融合模型对所述待处理数据进行处理，得到至少两个第一参数；所述多融合模型至少包含用于语音识别的第一模型、用于图像识别的第二模型、用于说话人识别的第三模型；所述第一参数表征对用户在至少一种场景中产生的相应行为进行评估得到的分数值；根据所述至少两个第一参数，确定第二参数；所述第二参数表征对用户的至少两种行为进行评估得到的总分数值；所述第二参数用于进行教学评估。
Description
技术领域
本发明涉及终端技术，具体涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
通过建设智慧学校，开发刷脸门禁系统、刷脸食堂付费系统、校园安防系统、教室远程预约系统、图书馆数据库管理系统、一卡通系统、智慧课堂系统等等，可以实现高效管理、资源共享。但是，这些系统只能够实现数据储存和对比分析，不能实现对用户的德智体等行为进行评估。
基于此亟需找到一种能够对用户的德智体等行为进行评估的技术方案。
发明内容
有鉴于此，本发明实施例期望提供一种数据处理方法、装置、电子设备及存储介质。
本发明的技术方案是这样实现的：
本发明实施例提供一种数据处理方法，包括：
获取待处理数据；所述待处理数据为与用户在至少一种场景中产生的行为相关的数据；
利用多融合模型对所述待处理数据进行处理，得到至少两个第一参数；所述多融合模型至少包含用于语音识别的第一模型、用于图像识别的第二模型、用于说话人识别的第三模型；所述第一参数表征对用户在至少一种场景中产生的相应行为进行评估得到的分数值；
根据所述至少两个第一参数，确定第二参数；所述第二参数表征对用户的至少两种行为进行评估得到的总分数值；所述第二参数用于进行教学评估。
上述方案中，利用多融合模型对所述待处理数据进行处理时，所述方法还包括：
利用多融合模型对所述待处理数据中的第一数据进行处理，得到第一参数；所述第一数据包括用户处于至少两种场景下的第一语音数据、第一图像数据中至少之一；所述第一参数表征对用户的品德进行评估得到的分数值。
上述方案中，所述利用多融合模型对所述待处理数据中的第一数据进行处理，得到第一参数，包括：
利用多融合模型中的第一模型，对所述第一数据的第一语音数据进行语音识别，得到与所述至少两种场景对应的识别文本；
利用多融合模型中的第二模型，从所述第一数据的第一图像数据中提取用户动作特征，得到与所述至少两种场景对应的第一特征数据；
利用所述识别文本和/或所述第一特征数据，确定所述第一参数。
上述方案中，所述利用所述识别文本，确定所述第一参数，包括：
从所述识别文本中搜索与预设字符串对应的第一文本；
当从所述识别文本中搜索到与预设字符串对应的所述第一文本时，将所述第一参数的取值由第一值调整为第二值；
其中，所述第二值小于所述第一值。
上述方案中，所述第一图像数据包括至少两帧图像；所述利用多融合模型中的第二模型，从所述第一数据的第一图像数据中提取用户动作特征，得到与所述至少两种场景对应的第一特征数据，包括：
利用所述第一图像数据的至少两帧图像，结合多融合模型中的第二模型，确定每帧图像中的骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；
根据所述第一图像数据的帧图像之间的骨骼关节点的位置变化，确定第一序列；
将所述第一序列作为所述第一特征数据。
上述方案中，利用所述第一特征数据，确定所述第一参数，包括：
根据所述第一序列，以及标准动作数据的各帧图像之间的骨骼关节点的位置变化对应的变化序列，确定所述第一数据中的用户动作与所述标准动作数据中的标准动作的相似度；
当确定的相似度满足相似度条件时，将所述第一参数的取值由第三值调整为第四值；
其中，所述第四值小于所述第三值。
上述方案中，利用多融合模型对所述待处理数据进行处理时，所述方法还包括：
利用多融合模型对所述待处理数据中的第二数据进行处理，得到第一参数；所述第二数据包括用户处于特定场景下的第二语音数据、第二图像数据；所述第一参数表征对用户的智力进行评估得到的分数值。
上述方案中，所述第二图像数据包括至少两帧图像；所述利用多融合模型对所述待处理数据中的第二数据进行处理，得到第一参数，包括：
从所述第二语音数据中提取声纹特征，得到第二特征数据；并基于所述第二特征数据，以及多融合模型中的第三模型，得到第一识别结果；
利用所述第二图像数据的至少两帧图像，结合多融合模型中的第二模型，确定每帧图像中的骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；并根据所述第二图像数据的帧图像之间的骨骼关节点的位置变化，确定第二序列；
利用所述第一识别结果和所述第二序列，确定所述第一参数。
上述方案中，所述利用所述第一识别结果和所述第二序列，确定所述第一参数，包括：
根据所述第二序列，以及标准动作数据的各帧图像中的用户骨骼关节点的位置变化对应的变化序列，确定所述第二图像数据中的用户动作与所述标准动作数据中的标准动作的相似度；
当所述第一识别结果表征所述第二语音数据对应的说话人的身份信息与预设身份信息匹配且确定的相似度满足相似度条件时，将所述第一参数的取值由第五值调整为第六值；
其中，所述第六值大于所述第五值。
上述方案中，利用多融合模型对所述待处理数据进行处理时，所述方法还包括：
利用多融合模型对所述待处理数据中的第三数据进行处理，得到第一参数；所述第三数据包括用户在特定场景下产生运动的第三图像数据、传感数据；所述第一参数表征对用户的体质进行评估得到的分数值。
上述方案中，所述第三图像数据包括至少两帧图像；所述基于所述第三数据中的第三图像数据和传感数据，确定第一参数，包括：
利用所述第三图像数据的至少两帧图像，结合多融合模型中的第二模型，确定每帧图像中的骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；并根据所述第三图像数据的帧图像之间的骨骼关节点的位置变化，确定第三序列；
利用所述第三序列和传感数据，确定所述第一参数。
上述方案中，所述利用所述第三序列和传感数据，确定所述第一参数，包括：
利用所述传感数据，确定用户的运动信息；
根据所述第三序列，以及标准动作数据的各帧图像中的用户骨骼关节点的位置变化对应的变化序列，确定所述第三图像数据中的用户动作与所述标准动作数据中的标准动作的相似度；
当所述运动信息满足预设条件且确定的相似度满足相似度条件时，将所述第三参数的取值由第七值调整为第八值；
其中，所述第八值大于所述第七值。
本发明实施例提供一种数据处理装置，所述装置包括：
获取单元，用于获取待处理数据；所述待处理数据为与用户在至少一种场景中产生的行为相关的数据；
第一处理单元，用于利用多融合模型对所述待处理数据进行处理，得到至少两个第一参数；所述多融合模型至少包含用于语音识别的第一模型、用于图像识别的第二模型、用于说话人识别的第三模型；所述第一参数表征对用户在至少一种场景中产生的相应行为进行评估得到的分数值；
第二处理单元，用于根据所述至少两个第一参数，确定第二参数；所述第二参数表征对用户的至少两种行为进行评估得到的总分数值；所述第二参数用于进行教学评估。
本发明实施例还提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；
其中，所述处理器用于运行所述计算机程序时，执行上述任一方法的步骤。
本发明实施例还提供了一种存储介质，所述介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法的步骤。
本发明实施例提供的数据处理方法、装置及存储介质，取待处理数据；所述待处理数据为与用户在至少一种场景中产生的行为相关的数据；利用多融合模型对所述待处理数据进行处理，得到至少两个第一参数；所述多融合模型至少包含用于语音识别的第一模型、用于图像识别的第二模型、用于说话人识别的第三模型；所述第一参数表征对用户在至少一种场景中产生的相应行为进行评估得到的分数值；根据所述至少两个第一参数，确定第二参数；所述第二参数表征对用户的至少两种行为进行评估得到的总分数值；所述第二参数用于进行教学评估。采用本发明实施例的技术方案，能够基于多融合模型对用户的至少两种行为进行评估，也就是说，能够结合语音识别、说话人识别、图像识别等多种识别模型，对用户的品德、智力、体质等行为进行全面、准确的评估，评估得到的总分数值可以进行教学评估，如评估教师的教学水平是否达标；进而为学生择校提供选择依据，为社会单位选拔人才提供选择依据。
附图说明
图1为本发明实施例的数据处理方法的一种流程示意图；
图2为本发明实施例基于所述第一数据中的第一语音数据确定第一参数的实现流程示意图；
图3为本发明实施例基于所述第一数据中的第一图像数据确定第一参数的实现流程示意图；
图4为本发明实施例基于所述第二数据中的第二语音数据和第二图像数据确定第一参数的一种实现流程示意图；
图5为本发明实施例基于所述第二数据中的第二语音数据和第二图像数据确定第一参数的又一种实现流程示意图；
图6为本发明实施例基于第三数据中的第三图像数据和传感数据确定第一参数的一种实现流程示意图；
图7为本发明实施例基于第三数据中的第三图像数据和传感数据确定第一参数的又一种实现流程示意图；
图8为本发明实施例数据处理装置的组成结构示意图；
图9为本发明实施例电子设备的组成结构示意图。
具体实施方式
在对本发明实施例作进一步详细的说明之前，先对相关技术中如何对用户的行为进行评估的实现过程进行详细说明。
通过建设智慧学校，开发刷脸门禁系统、刷脸食堂付费系统、校园安防系统、教室远程预约系统、图书馆数据库管理系统、一卡通系统、智慧课堂系统等等，可以实现高效管理、资源共享。但是，这些系统只能够实现数据储存和对比分析，不能实现对用户的德智体等行为进行评估。
以智慧课堂系统为例，可以通过摄像头采集课堂中学生、教师的视频信息并发送给主控处理器；通过录音设备采集课堂中学生、教师的语音信息并发送给主控处理器；主控处理器对接收到的学生、教师的视频信息进行预处理，提取学生、教师的面部表情特征和行为特征；主控处理器对接收到的学生、教师的语音信息进行处理，提取学生语音特征、教师语音特征；基于学生语音特征、教师语音特征、面部表情特征和行为特征，计算学生、教师的分值，根据计算的分值对学生的课堂表现行为做出评价，并对教师的教学做出评价并提供指导性建议。
上述方式对用户的评估方式所存在的缺陷包括：第一，仅利用课堂场景下的语音数据和图像数据，便对用户的行为进行评估，导致评估结果片面、不公正。第二，评价指标单一，无法根据学生与老师的互动来评估学生的智力行为，也无法结合课堂和课外场景来评估学生的品德行为，更没有结合语义分析、声纹识别等算法，提取客观、有效的信息来评估用户的行为。
基于此，本发明实施例中，获取待处理数据；所述待处理数据为与用户在至少一种场景中产生的行为相关的数据；利用多融合模型对所述待处理数据进行处理，得到至少两个第一参数；所述多融合模型至少包含用于语音识别的第一模型、用于图像识别的第二模型、用于说话人识别的第三模型；所述第一参数表征对用户在至少一种场景中产生的相应行为进行评估得到的分数值；根据所述至少两个第一参数，确定第二参数；所述第二参数表征对用户的至少两种行为进行评估得到的总分数值；所述第二参数用于进行教学评估。
下面结合附图及具体实施例对本发明作进一步详细的说明。
本发明实施例提供了一种数据处理方法，图1为本发明实施例的数据处理方法的一种流程示意图；如图1所示，所述方法包括：
步骤101：获取待处理数据。
所述待处理数据为与用户在至少一种场景中产生的行为相关的数据。
步骤102：利用多融合模型对所述待处理数据进行处理，得到至少两个第一参数。
所述多融合模型至少包含用于语音识别的第一模型、用于图像识别的第二模型、用于说话人识别的第三模型；所述第一参数表征对用户在至少一种场景中产生的相应行为进行评估得到的分数值。
步骤103：根据所述至少两个第一参数，确定第二参数。
所述第二参数表征对用户的至少两种行为进行评估得到的总分数值；所述第二参数用于进行教学评估。
这里，在步骤101中，实际应用时，所述待处理数据可以是为建设智慧学校所开发的系统中需要所述多融合模型进行处理的数据。例如，在智慧课堂系统中，所述待处理数据为学生在至少一种场景中产生的品德、智力、体质、审美、劳动中至少一种行为相关的数据。
实际应用时，所述数据处理方法可以应用于服务器，也可以应用于终端。当所述数据处理方法应用于服务器时，可以由终端采集所述待处理数据，再由服务器从终端获取所述待处理数据。
这里，对于终端的具体类型，本申请可以不做限定，例如可以为智能手机、个人计算机、笔记本电脑、平板电脑和便携式可穿戴设备等。
以利用所述待处理数据对用户在至少一种场景中产生的品德、智力、体质共三种行为进行评估为例，所述待处理数据可以包括第一数据、第二数据和第三数据。其中，所述第一数据包括用户处于至少两种场景下的第一语音数据、第一图像数据；所述第二数据包括用户处于特定场景下的第二语音数据、第二图像数据；所述第三数据包括用户在特定场景下产生运动的第三图像数据、传感数据。
下面对所述第一数据、第二数据、第三数据的相关概念进行说明。
所述第一数据是指能够用于评估用户的品德的数据，用户可以是指面对大中专院校、中小学校的学生，所述第一数据具体可以是某个学生处于课堂、课间休息、课堂外等场景下的第一语音数据、第一图像数据，例如，所述第一数据包括某个大学院校的某个学生在课堂上针对语文老师的提问所回答的一段语音、该学生在课间休息期间和某个同学进行聊天的一段语音、该学生在课堂上对另外一个学生施加的敲打背部的动作对应的图像数据、该学生在课堂期间对另外一个学生施加的殴打动作对应的图像数据等。
所述第二数据是指能够用于评估用户的智力的数据，用户可以是指面对大中专院校、中小学校的学生，所述第二数据具体可以是某个学生处于课堂场景下的第二语音数据、第二图像数据，例如，所述第二数据包括某个大学院校的某个学生在课堂上针对数学老师的提问所回答的一段语音、该学生在课堂上针对该数学老师的提问产生的举手动作对应的图像数据等。
所述第三数据是指能够用于评估用户的体质的数据，用户可以是指面对大中专院校、中小学校的学生，所述第三数据具体可以是某个学生在操场上产生运动的第三图像数据、传感数据，例如，所述第三数据可以包括某个大学院校的某个学生在操场上针对体育老师所指定的跑步任务产生的跑步运动的图像数据、传感数据。
所述第一语音数据、第二语音数据可由麦克风采集，所述第一图像数据、第二图像数据、第三图像数据可由摄像头采集；或者，所述第一语音数据、第二语音数据、第一图像数据、第二图像数据、第三图像数据均由摄像头采集；所述传感数据可由传感器采集；传感器具体可以是加速度传感器等。
这里，利用上述第一数据、第二数据和第三数据，对用户在至少一种场景中产生的品德、智力、体质共三种行为进行评估，具备以下优点：
利用所述第一数据评估用户的品德，则可避免相关技术中仅利用课堂等单一场景下的数据来评估用户的品德带来的评估结果不客观、片面等问题的发生；利用所述第二数据评估用户的智力，则可避免相关技术中仅利用考试成绩来评估用户的智力带来的评估结果不客观、不准确等问题的发生；利用所述第三数据评估用户的体质，则可避免相关技术中仅利用手环等监测的运动步数来评估用户的体质带来的评估结果不精确等问题的发生。也就是说，基于所述第一数据、第二数据、第三数据可以对用户的行为进行全面评估，能够保证评估结果客观、精准。
实际应用时，针对不同的大中专院校、中小学校，可以根据自身的办学宗旨、培养计划等因素确定对用户的品德、智力、体质等方面进行评估所需的第一数据、第二数据、第三数据的比重。例如，假设某大学院校为体育院校，就可以将第三数据对应的比重设置得较大些，第一数据、第二数据对应的比重设置得较小些，第三数据的比重越大表明对用户的体质进行评估的参数值的初始值越大。通过对所述第一数据、第二数据、第三数据设置大小不等的比重，能够反映出该院校对学生的培养方向，后续可以根据所述第一数据、第二数据、第三数据对用户的行为进行评估得到的评估结果，为学生择校提供选择，为社会单位选拔人才提供选择。
下面对用户的品德行为进行评估的过程进行详细说明。
实际应用时，以智慧课堂系统为例，为避免仅利用课堂场景下的语音数据和图像数据对用户的品德行为进行评估导致评估结果片面情况的发生，可以利用多融合模型对用户在至少两种场景中产生的品德行为进行评估。
基于此，在一实施例中，利用多融合模型对所述待处理数据进行处理时，所述方法还包括：
利用多融合模型对所述待处理数据中的第一数据进行处理，得到第一参数；所述第一数据包括用户处于至少两种场景下的第一语音数据、第一图像数据中至少之一；所述第一参数表征对用户的品德进行评估得到的分数值。
其中，以智慧课堂系统为例，所述第一数据具体可以是大中专院校或中小学校中的某个学生处于课堂、课间休息、课堂外等场景下的第一语音数据、第一图像数据，例如，所述第一数据包括某个大学院校的某个学生在课堂上针对语文老师的提问所回答的一段语音、该学生在课间休息期间和某个同学进行聊天的一段语音、该学生在课堂上对另外一个学生施加的敲打背部的动作对应的图像数据、该学生在课堂期间对另外一个学生施加的殴打动作对应的图像数据等。
这里，利用多融合模型，结合所述第一数据中的第一语音数据和/或第一图像数据对用户在至少两种场景中产生的品德行为进行评估，具备以下优点：
利用用户处于至少两种场景下的第一语音数据，确定所述第一参数，与相关技术中仅利用课堂等单一场景下的语音数据来评估用户的品德的方式完全不同，能够从用户的言语方面对用户的品德进行客观、全面的评估；利用用户处于至少两种场景下的第一图像数据，确定所述第一参数，与相关技术中仅利用课堂等单一场景下的图像数据来评估用户的品德的方式完全不同，能够从用户的举止方面对用户的品德进行客观、全面的评估；利用用户处于至少两种场景下的第一语音数据和第一图像数据，确定所述第一参数，与相关技术中仅利用课堂等单一场景下的语音、图像数据来评估用户的品德的方式完全不同，能够从用户的言语和举止两个方面对用户的品德进行客观、全面的评估。
实际应用时，基于所述第一数据中的第一语音数据和/或第一图像数据，确定第一参数之前，还需要结合语音识别技术，对所述第一语音数据进行语音识别处理，结合图像识别技术，对第一图像数据进行图像处理。
基于此，在一实施例中，所述利用多融合模型对所述待处理数据中的第一数据进行处理，得到第一参数，包括：
利用多融合模型中的第一模型，对所述第一数据的第一语音数据进行语音识别，得到与所述至少两种场景对应的识别文本；
利用多融合模型中的第二模型，从所述第一数据的第一图像数据中提取用户动作特征，得到与所述至少两种场景对应的第一特征数据；
利用所述识别文本和/或所述第一特征数据，确定所述第一参数。
这里，所述第一模型可以是语音识别模型；所述语音识别模型可以是利用训练数据，通过机器学习得到的；其中，机器学习可以包括深度学习，比如卷积神经网络。
这里，所述第二模型可以是面部识别模型；所述面部识别模型可以是利用训练数据，通过机器学习得到的；其中，机器学习可以包括深度学习，比如卷积神经网络。
实际应用时，当用户在某个场景下的说话内容中使用了不文明用语时，可以降低所述用户的品德分数。
基于此，在一实施例中，所述利用所述识别文本，确定所述第一参数，包括：
从所述识别文本中搜索与预设字符串对应的第一文本；
当从所述识别文本中搜索到与预设字符串对应的所述第一文本时，将所述第一参数的取值由第一值调整为第二值；其中，所述第二值小于所述第一值；
当从所述识别文本中未搜索到与预设字符串对应的所述第一文本时，将所述第一参数的取值保持为第一值。
其中，所述第一参数表征对用户的品德进行评估得到的分数值。
这里，可以利用正则表达式实现从所述识别文本中搜索与预设字符串对应的第一文本。还可以从所述识别文本中提取至少两个关键词，对所述至少两个关键词中每个关键词进行语义分析处理，得到每个关键词对应的语义信息，利用得到的每个关键词对应的语义信息，从所述识别文本中搜索与预设字符串对应的第一文本。
所述第一值可以表征所述第一参数的初始值；还可以表征调整后的所述第一参数的取值。
举例来说，某个大学院校的某个学生在课堂上针对语文老师的提问所回答的语音对应的识别文本为“学生应该养成尊老爱老的好习惯”，假设预设字符串对应的第一文本为“揍”，由于识别文本“学生应该养成尊老爱老的好习惯”中未搜索到与预设字符串对应的所述第一文本，因此针对该学生在课堂上的语音，确定的第一参数的取值保持为第一值，比如初始值100分；该学生在课间休息期间和某个同学进行聊天的语音对应的识别文本为“看张三不顺眼，走，我们去揍他”，由于识别文本“看张三不顺眼，走，我们去揍他”中搜索到与预设字符串对应的所述第一文本，因此针对该学生在课间休息期间的语音，确定的第一参数的取值由第一值调整为第二值，比如从100分调整为90分。
这里，利用用户处于至少两种场景下的第一语音数据，对用户的品德进行评估得到分数值，具备以下优点：
与相关技术中仅利用课堂等单一场景下的语音数据来评估用户的品德的方式完全不同，能够从用户的言语方面对用户的品德进行客观、全面的评估。
在一示例中，以第一语音数据为例，描述基于所述第一数据中的第一语音数据确定第一参数的实现流程示意图，如图2所示，包括：
步骤1：对所述第一数据的第一语音数据进行语音识别，得到与所述至少两种场景对应的识别文本。
第一语音数据包括某个大学院校的某个学生在课堂上、课堂休息期间的语音。
步骤2：从所述识别文本中搜索与预设字符串对应的第一文本。
利用正则表达式从所述识别文本中搜索与预设字符串对应的第一文本，判断所述识别文本中是否包含“揍你”、“去你的”等脏话。
步骤3：当从所述识别文本中搜索到与预设字符串对应的所述第一文本时，调小所述第一参数的取值。
当所述识别文本中包含“揍你”、“去你的”等脏话时，调小所述第一参数的取值，以降低该用户的品德对应的分数值。当所述识别文本中包含“我懂得尊重老师”、“我爱中国”等语句时，增大所述第一参数的取值，以增加该用户的品德对应的分数值。
当从所述识别文本中未搜索到与预设字符串对应的所述第一文本时，将所述第一参数的取值保持为第一值。
当所述识别文本中未包含“揍你”、“去你的”等脏话时，保持所述第一参数的取值不变。或者，当所述识别文本中未包含“我懂得尊重老师”、“我爱中国”等语句时，保持所述第一参数的取值不变。
在本示例中，需要说明的是，针对中小学校的学生，品德的培养至关重要，与相关技术中直接根据成绩排名确定德育先进个人的方式相比，基于用户处于至少两种场景下的第一语音数据对用户的品德进行评估，更加科学、公正。通过语音识别算法、语义分析捕捉用户在至少两种场景下的言语行为，如学生是否脏话连篇，对学生的品德做出准确、客观的判断，再根据学校自身设置的第一参数的初始化值，进而确定学生的品德得分。
实际应用时，为了检测出用户在某个场景下是否对其他用户产生不文明动作，可以基于骨骼关节点技术从第一图像数据中提取用户的动作特征。
基于此，在一实施例中，所述第一图像数据包括至少两帧图像；所述利用多融合模型中的第二模型，从所述第一数据的第一图像数据中提取用户动作特征，得到与所述至少两种场景对应的第一特征数据，包括：
利用所述第一图像数据的至少两帧图像，结合多融合模型中的第二模型，确定每帧图像中的骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；
根据所述第一图像数据的帧图像之间的骨骼关节点的位置变化，确定第一序列；
将所述第一序列作为所述第一特征数据。
其中，所述至少两帧图像可以从对用户进行拍摄得到的视频数据中获取。
实际应用时，当用户在某个场景下对其他用户产生不文明动作时，可以降低所述用户的品德分数。
基于此，在一实施例中，利用所述第一特征数据，确定所述第一参数，包括：
根据所述第一序列，以及标准动作数据的各帧图像之间的骨骼关节点的位置变化对应的变化序列，确定所述第一数据中的用户动作与所述标准动作数据中的标准动作的相似度；
当确定的相似度满足相似度条件时，将所述第一参数的取值由第三值调整为第四值；其中，所述第四值小于所述第三值；当确定的相似度未满足相似度条件时，将所述第一参数的取值保持为第三值。
其中，所述第一参数表征对用户的品德进行评估得到的分数值。
具体来说，可以利用所述第一序列，计算第一欧式距离，并利用所述标准动作数据的各帧图像之间的骨骼关节点的位置变化对应的变化序列，计算第二欧式距离；根据所述第一欧式距离和所述第二欧式距离，计算所述第一数据中的用户动作与所述标准动作数据中的标准动作的相似度。
所述第三值可以表征所述第一参数的初始值；还可以表征调整后的所述第一参数的取值。
举例来说，某个大学院校的某个学生在课堂上对另外一个学生施加敲打背部的动作，假设标准动作为“敲打背部或殴打头部”，由于该学生在课堂上对另外一个学生施加的敲打背部的动作与标准动作的相似度满足相似度条件，因此调小所述第一参数的取值，比如从初始值100分调整为90分；该学生在课堂期间对另外一个学生施加的殴打动作，由于该学生在课堂上对另外一个学生施加的敲打背部的动作与标准动作的相似度满足相似度条件，因此调小所述第一参数的取值，比如从90分调整为80分。
这里，利用用户处于至少两种场景下的第一图像数据，对用户的品德进行评估得到分数值，具备以下优点：
与相关技术中仅利用课堂等单一场景下的图像数据来评估用户的品德的方式完全不同，能够从用户的举止方面对用户的品德进行客观、全面的评估。
在一示例中，以第一图像数据为例，描述基于所述第一数据中的第一图像数据确定第一参数的实现流程示意图，如图3所示，包括：
步骤1：确定所述第一图像数据对应的第一序列。
利用所述第一图像数据的至少两帧图像，确定每帧图像中的骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；根据所述第一图像数据的帧图像之间的骨骼关节点的位置变化，确定第一序列。
其中，第一图像数据包括某个大学院校的某个学生在课堂上对另外一个学生施加的敲打背部的动作对应的图像数据、该学生在课堂期间对另外一个学生施加的殴打动作对应的图像数据等。
步骤2：利用所述第一序列，确定所述第一数据中的用户动作与所述标准动作数据中的标准动作的相似度。
根据所述第一序列，以及标准动作数据的各帧图像之间的骨骼关节点的位置变化对应的变化序列，确定所述第一数据中的用户动作与所述标准动作数据中的标准动作的相似度。
步骤3：当确定的相似度满足相似度条件时，调小所述第一参数的取值。
假设标准动作为“敲打背部、殴打头部”，则该学生在课堂上对另外一个学生施加的敲打背部的动作与标准动作的相似度满足相似度条件，因此调小所述第一参数的取值，以降低该用户的品德对应的分数值。该学生在课堂上对另外一个学生施加的敲打背部的动作与标准动作的相似度满足相似度条件，因此调小所述第一参数的取值，以降低该用户的品德对应的分数值。当确定的相似度未满足相似度条件时，将所述第一参数的取值保持为第三值。
在本示例中，需要说明的是，针对中小学校的学生，品德的培养至关重要，与相关技术中直接根据成绩排名确定德育先进个人的方式相比，基于用户处于至少两种场景下的第一图像数据对用户的品德进行评估，更加科学、公正。通过人体骨骼关节点提取算法、相似度计算算法、图像识别算法捕捉用户在至少两种场景下的举止行为，如学生是否殴打他人，对学生的品德做出准确、客观的判断，再根据学校自身设置的第一参数的初始值，进而确定学生的品德得分。
实际应用时，还可以结合所述第一语音数据、第一图像数据，对用户的品德进行评估，例如，先利用所述第一语音数据，对所述第一参数的取值进行一次调整；再利用所述第一图像数据，对所述第一参数的取值进行第二次调整。
下面对用户的智力行为进行评估的过程进行详细说明。
实际应用时，以智慧课堂系统为例，为避免仅利用考试成绩来评估用户的智力带来的评估结果不客观、不准确等问题的发生，可以利用多融合模型对用户在特定场景中产生的智力行为进行评估。
基于此，在一实施例中，利用多融合模型对所述待处理数据进行处理时，所述方法还包括：
利用多融合模型对所述待处理数据中的第二数据进行处理，得到第一参数；所述第二数据包括用户处于特定场景下的第二语音数据、第二图像数据；所述第一参数表征对用户的智力进行评估得到的分数值。
其中，以智慧课堂系统为例，所述第二数据具体可以是某个学生处于课堂场景下的第二语音数据、第二图像数据，例如，所述第二数据包括某个大学院校的某个学生在课堂上针对数学老师的提问所回答的一段语音、该学生在课堂上针对该数学老师的提问产生的举手动作对应的图像数据等。
这里，利用多融合模型对用户在特定场景中产生的智力行为进行评估，具备以下优点：
利用所述第二数据评估用户的智力，确定所述第一参数，能够结合用户与其他用户的互动情况评估用户的智力，则可避免相关技术中仅利用考试成绩来评估用户的智力带来的评估结果不客观、不准确等问题的发生。
实际应用时，基于所述第二数据中的第二语音数据、第二图像数据，确定第一参数之前，还需要结合说话人识别技术，对所述第二语音数据进行说话人识别处理，结合图像识别技术，对第二图像数据进行图像处理。
基于此，在一实施例中，所述第二图像数据包括至少两帧图像；所述利用多融合模型对所述待处理数据中的第二数据进行处理，得到第一参数，包括：
从所述第二语音数据中提取声纹特征，得到第二特征数据；并基于所述第二特征数据，以及多融合模型中的第三模型，得到第一识别结果；
利用所述第二图像数据的至少两帧图像，结合多融合模型中的第二模型，确定每帧图像中的骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；并根据所述第二图像数据的帧图像之间的骨骼关节点的位置变化，确定第二序列；
利用所述第一识别结果和所述第二序列，确定所述第一参数。
其中，所述第三模型可以是说话人识别模型；所述说话人识别模型，用于识别说话人的身份是否与预设的身份信息相匹配。
实际应用时，当识别出说话人的身份后，若该说话人在课堂中与教师产生积极的互动动作时，可以提高所述用户的智力分数。
基于此，在一实施例中，所述利用所述第一识别结果和所述第二序列，确定所述第一参数，包括：
根据所述第二序列，以及标准动作数据的各帧图像中的用户骨骼关节点的位置变化对应的变化序列，确定所述第二图像数据中的用户动作与所述标准动作数据中的标准动作的相似度；
当所述第一识别结果表征所述第二语音数据对应的说话人的身份信息与预设身份信息匹配且确定的相似度满足相似度条件时，将所述第一参数的取值由第五值调整为第六值；其中，所述第六值大于所述第五值。
其中，所述第一参数表征对用户的智力进行评估得到的分数值。
这里，所述相似度满足相似度条件可以是指用户在课堂中与教师产生互动动作，如举手等。
这里，通过调大将所述第一参数的取值，可以将成绩排名靠前但沟通较好的学生选拔出来作为学习榜样，后续可为社会用人单位选拔人才提供选择。
实际应用时，当识别出说话人的身份后，若该说话人在课堂中与教师未产生积极的互动动作时，可以降低所述用户的智力分数。
基于此，在一实施例中，所述利用所述第一识别结果和所述第二序列，确定所述第一参数，包括：
根据所述第二序列，以及标准动作数据的各帧图像中的用户骨骼关节点的位置变化对应的变化序列，确定所述第二图像数据中的用户动作与所述标准动作数据中的标准动作的相似度；
当所述第一识别结果表征所述第二语音数据对应的说话人的身份信息与预设身份信息匹配且确定的相似度未满足相似度条件时，将所述第一参数的取值调小。
这里，通过调小将所述第一参数的取值，可以将成绩排名靠前但沟通较差的学生与成绩排名靠前但沟通较好的学生区别开，后续也可对学生进行沟通方面的指导，促使这些学生在人际沟通方面得到提高。
这里，所述第五值可以表征所述第一参数的初始值；还可以表征调整后的所述第一参数的取值。
举例来说，针对某个大学院校某个班级的所有学生，按照考试成绩进行排名，将排名前十名的学生的身份信息作为预设身份信息；由于针对该班级的某个学生在课堂上针对数学老师的提问所回答的一段语音，通过说话人识别模型对该学生的身份进行识别，确定该学生为排名前十名的学生中的一个学生，且该学生在课堂上针对该数学老师的提问产生的举手动作与标准动作的相似度满足相似度条件，因此调大所述第一参数的取值，比如从50分调整为60分；若该学生在课堂上针对该数学老师的提问未产生举手动作，则调小所述第一参数的取值，比如从50分调整为40分。
这里，用户处于特定场景下的第二语音数据、第二图像数据，对用户的智力行为进行评估得到分数值，具备以下优点：
与相关技术中仅利用考试成绩来评估用户的智力的方式完全不同，能够从用户与其他用户的积极互动对用户的智力进行评估，再结合考试成绩，能够使评估结果客观、准确。
在一示例中，以第二语音数据和第二图像数据为例，描述基于所述第二数据中的第二语音数据和第二图像数据确定第一参数的实现流程示意图，如图4所示，包括：
步骤1：基于所述第二语音数据，结合说话人识别模型，确定说话人的身份。
所述第二语音数据为某个大学院校某个班级的某个学生在课堂上针对数学老师的提问所回答的一段语音。
步骤2：基于所述第二图像数据，结合相似度算法，确定所述第二图像数据中的用户动作与所述标准动作数据中的标准动作的相似度。
所述标准动作数据中的标准动作可以是“举手”、“站立”等能够体现学生与老师进行互动的动作。
步骤3：当所述第二语音数据对应的说话人的身份信息与预设身份信息匹配且所述第二图像数据中的用户动作与所述标准动作数据中的标准动作相似时，调大所述第一参数的取值。
针对某个大学院校某个班级的所有学生，按照考试成绩进行排名，将排名前十名的学生的身份信息作为预设身份信息。
在本示例中，通过调大所述第一参数的取值，可以将成绩排名靠前但沟通较好的学生选拔出来作为学习榜样。
在一示例中，以第二语音数据和第二图像数据为例，描述基于所述第二数据中的第二语音数据和第二图像数据确定第一参数的实现流程示意图，如图5所示，包括：
步骤1：基于所述第二语音数据，结合说话人识别模型，确定说话人的身份。
所述第二语音数据为某个大学院校某个班级的某个学生在课堂上针对数学老师的提问所回答的一段语音。
步骤2：基于所述第二图像数据，结合相似度算法，确定所述第二图像数据中的用户动作与所述标准动作数据中的标准动作的相似度。
所述标准动作数据中的标准动作可以是“举手”、“站立”等能够体现学生与老师进行互动的动作。
步骤3：当所述第二语音数据对应的说话人的身份信息与预设身份信息匹配且所述第二图像数据中的用户动作与所述标准动作数据中的标准动作不相似时，调小所述第一参数的取值。
这里，针对某个大学院校某个班级的所有学生，按照考试成绩进行排名，将排名前十名的学生的身份信息作为预设身份信息。
在本示例中，通过调小所述第一参数的取值，可以将成绩排名靠前但沟通较差的学生与成绩排名靠前但沟通较好的学生区别开，后续也可对学生进行沟通方面的指导，促使这些学生在人际沟通方面得到提高。
需要说明的是，针对大中专院校的学生，智力的培养至关重要，与相关技术中直接根据成绩排名确定优秀毕业生的方式相比，通过对成绩排名靠前的学生与老师之间的互动进行分析，结合语音识别算法、相似度计算算法判断成绩靠前的“尖子生”与其他用户之间的交流是否存在沟通障碍，如学生是否与老师的交流互动不顺畅，对学生的智力做出准确、客观的判断，为学校选拔真正的“尖子生”提供评估依据，为社会培养更合格的优秀人才。
下面对用户的体质行为进行评估的过程进行详细说明。
实际应用时，为避免仅利用手环等监测的运动步数来评估用户的体质带来的评估结果不精确等问题的发生，可以利用多融合模型对用户的体质进行评估。
基于此，在一实施例中，利用多融合模型对所述待处理数据进行处理时，所述方法还包括：
利用多融合模型对所述待处理数据中的第三数据进行处理，得到第一参数；所述第三数据包括用户在特定场景下产生运动的第三图像数据、传感数据；所述第一参数表征对用户的体质进行评估得到的分数值。
其中，所述第三数据具体可以是某个学生在操场上产生运动的第三图像数据、传感数据，例如，所述第三数据可以包括某个大学院校的某个学生在操场上针对体育老师所指定的跑步任务产生的跑步运动的图像数据、传感数据。
实际应用时，为了检测出用户在某个场景下产生的运动动作，可以基于骨骼关节点技术从第三图像数据中提取用户的动作特征。
基于此，在一实施例中，所述第三图像数据包括至少两帧图像；所述利用多融合模型对所述待处理数据中的第三数据进行处理，得到第一参数，包括：
利用所述第三图像数据的至少两帧图像，结合多融合模型中的第二模型，确定每帧图像中的骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；并根据所述第三图像数据的帧图像之间的骨骼关节点的位置变化，确定第三序列；
利用所述第三序列和传感数据，确定所述第一参数。
实际应用时，当用户在某个场景下产生的实际能量达标时，可以提高所述用户的体质分数。
基于此，在一实施例中，所述利用所述第三序列和传感数据，确定所述第一参数，包括：
利用所述传感数据，确定用户的运动信息；
根据所述第三序列，以及标准动作数据的各帧图像中的用户骨骼关节点的位置变化对应的变化序列，确定所述第三图像数据中的用户动作与所述标准动作数据中的标准动作的相似度；
当所述运动信息满足预设条件且确定的相似度满足相似度条件时，将所述第一参数的取值由第七值调整为第八值；其中，所述第八值大于所述第七值。
其中，所述第一参数表征对用户的体质进行评估得到的分数值。所述运动信息满足预设条件且确定的相似度满足相似度条件可以是指所述用户的运动步数大于或等于预设步数阈值且用户产生的运动为跑步；换句话说，能够反映出用户在运动过程中消耗的实际能量达标，例如，用户通过跑步产生了10000步的运动步数，若计算得到的实际能量大于能量阈值，则用户在运动过程中消耗的实际能量达标。
这里，通过调大将所述第三参数的取值，可以将在运动过程中所消耗的能量达标的学生选拔出来，作为运动榜样，后续可为社会用人单位选拔体育人才提供选择。
实际应用时，当用户在某个场景下产生的实际能量未达标时，可以降低所述用户的体质分数。
基于此，在一实施例中，所述利用所述第三序列和传感数据，确定所述第一参数，包括：
利用所述传感数据，确定用户的运动信息；
根据所述第三序列，以及标准动作数据的各帧图像中的用户骨骼关节点的位置变化对应的变化序列，确定所述第三图像数据中的用户动作与所述标准动作数据中的标准动作的相似度；
当所述运动信息满足预设条件且确定的相似度未满足相似度条件时，调小所述第一参数的取值。
其中，所述运动信息满足预设条件且确定的相似度未满足相似度条件可以是指所述用户的运动步数大于或等于预设步数阈值且用户产生的运动为走路；换句话说，能够反映出用户在运动过程中消耗的实际能量不达标，例如，用户通过走路产生了10000步的运动步数，若计算得到的实际能量小于能量阈值，则用户在运动过程中消耗的实际能量不达标。
这里，通过调小将所述第一参数的取值，可以将在运动过程中所产生的生理指标达标但所消耗的能量不达标的学生选拔出来，后续也可对学生进行指导，促使这些学生的体力得到提高。
这里，利用用户在特定场景下产生运动的第三图像数据、传感数据，对用户的体质进行评估得到分数值，具备以下优点：
相关技术中仅利用手环等监测的运动步数来评估用户的体质带来的评估的方式完全不同，能够结合用户的实际消耗能量对用户的体质进行客观、全面的评估结果。
在一示例中，以第三图像数据和传感数据为例，描述基于第三数据中的第三图像数据和传感数据确定第一参数的实现流程示意图，如图6所示，包括：
步骤1：基于所述第三图像数据，结合相似度算法，确定所述第三图像数据中的用户动作与所述标准动作数据中的标准动作的相似度。
所述第三图像数据为某个大学院校的某个学生在操场上针对体育老师所指定的跑步任务产生的跑步运动对应的图像数据。
步骤2：利用所述传感数据，确定用户的运动信息。
所述运动信息为该学生的运动步数，例如10000步。
步骤3：当所述传感数据对应的运动信息满足预设条件且所述第三图像数据中的用户动作与所述标准动作数据中的标准动作相似时，调大所述第一参数的取值。
假设标准动作为跑步，当所述传感数据对应的运动信息满足预设条件且所述第三图像数据中的用户动作与所述标准动作数据中的标准动作相似时，即该学生在运动过程中消耗的实际能量达标时，调大所述第一参数的取值。
在本示例中，通过调大所述第一参数的取值，可以将实际消耗能量达标的学生选拔出来作为体育榜样，为社会选拔体育人才提供依据。
在一示例中，以第三图像数据和传感数据为例，描述基于第三数据中的第三图像数据和传感数据确定第一参数的实现流程示意图，如图7所示，包括：
步骤1：基于所述第三图像数据，结合相似度算法，确定所述第三图像数据中的用户动作与所述标准动作数据中的标准动作的相似度。
所述第三图像数据为某个大学院校的某个学生在操场上针对体育老师所指定的跑步任务产生的慢走运动对应的图像数据。
步骤2：利用所述传感数据，确定用户的运动信息。
所述运动信息为该学生的运动步数，例如10000步，还可以为心率等。
步骤3：当所述传感数据对应的运动信息满足预设条件且所述第三图像数据中的用户动作与所述标准动作数据中的标准动作不相似时，调小所述第一参数的取值。
假设标准动作为跑步，当所述传感数据对应的运动信息满足预设条件且所述第三图像数据中的用户动作与所述标准动作数据中的标准动作不相似时，即当该学生在运动过程中消耗的实际能量不达标时，调小所述第一参数的取值。
在本示例中，通过调小所述第一参数的取值，可以将生命体征参数如心率正常但实际消耗能量不达标的学生选拔出来，后续也可对学生进行体质方面的指导，促使这些学生在体质方面得到提高。
实际应用时，针对不同的大中专院校、中小学校，可以根据自身的办学宗旨、培养计划等因素确定对用户的品德、智力、体质等方面进行评估所需的第一数据、第二数据、第三数据的比重。
例如，假设某大学院校为体育院校，将第一数据、第二数据、第三数据的比重分别设置为0.5、0.5、0.8。
在一实施例中，所述根据所述第一数据、第二数据、第三数据分别对应的第一参数，确定第二参数，包括：
将所述第一数据对应的第一参数与所述第一数据对应的权重求积，得到第一数值；
将所述第二数据对应的第一参数与所述第二数据对应的权重求积，得到第二数值；
将所述第三数据对应的第三参数与所述第三数据对应的权重求积，得到第三数值；
将所述第一数值、第二数值、第三数值求和，得到第四数值，将所述第四数值作为对用户的德智体进行评估得到的总分数值；所述总分数值可以用于教学评估，如评估教师的教学水平是否达标。
本发明实施例中，能够结合面部识别、说话人识别、语义分析等多种算法，对用户的品德、智力、体质进行全面、准确的评估。对用户的品德进行评估时，不限于课堂场景，能够基于多个场景下的第一语音数据和/或第一图像数据，确定用户的言语是否无脏话、举止是否文明，再结合用户的课堂考试成绩等，对用户的品德进行全面、客观的评估。通过多种算法预测学生多方面的言行举止，如此能多方位、客观地评估每一个学生个体的综合素养。
采用本发明实施例的技术方案，能够对用户的德智体等行为进行全面、客观的评估，不限于单一场景，能够基于多个场景下的第一语音数据和/或第一图像数据，确定用户的言语是否无脏话、举止是否文明，对用户的品德进行全面、客观的评估；能够基于第二语音数据和第二图像数据，确定该用户与其他用户之间是否存在互动，评估用户的沟通能力，对用户的智力进行准确的评估；能够基于第三图像数据和传感数据，评估用户在运动过程所消耗的实际能量，对用户的体质进行公正的评估，从而根据所述第一数据、第二数据、第三数据对用户的行为进行评估得到的评估结果，为学生择校提供选择，为社会单位选拔人才提供选择。需要说明的是，本发明实施例包括但不限于对用户的品德、智力、体质进行评估，例如，实际应用时，可以利用对用户的品德进行评估的方法，对任意与品德相关的行为进行评估。
为实现本发明实施例数据处理方法，本发明实施例还提供一种数据处理装置，图8为本发明实施例数据处理装置的组成结构示意图；如图8所示，所述数据处理装置包括：
获取单元81，用于获取待处理数据；所述待处理数据为与用户在至少一种场景中产生的行为相关的数据；
第一处理单元82，用于利用多融合模型对所述待处理数据进行处理，得到至少两个第一参数；所述多融合模型至少包含用于进行语音识别的第一模型、用于进行图像识别的第二模型、用于进行说话人识别的第三模型；所述第一参数表征对用户在至少一种场景中产生的相应行为进行评估得到的分数值；
第二处理单元83，用于根据所述至少两个第一参数，确定第二参数；所述第二参数表征对用户的至少两种行为进行评估得到的总分数值；所述第二参数用于进行教学评估。
在一实施例中，所述第一处理单元82，具体用于：利用多融合模型对所述待处理数据中的第一数据进行处理，得到第一参数；所述第一数据包括用户处于至少两种场景下的第一语音数据、第一图像数据中至少之一；所述第一参数表征对用户的品德进行评估得到的分数值。
在一实施例中，所述第一处理单元82，具体用于：利用多融合模型中的第一模型，对所述第一数据的第一语音数据进行语音识别，得到与所述至少两种场景对应的识别文本；利用多融合模型中的第二模型，从所述第一数据的第一图像数据中提取用户动作特征，得到与所述至少两种场景对应的第一特征数据；利用所述识别文本和/或所述第一特征数据，确定所述第一参数。
在一实施例中，所述第一处理单元82，具体用于：从所述识别文本中搜索与预设字符串对应的第一文本；当从所述识别文本中搜索到与预设字符串对应的所述第一文本时，将所述第一参数的取值由第一值调整为第二值；其中，所述第二值小于所述第一值。
在一实施例中，所述第一处理单元82，具体用于：所述第一图像数据包括至少两帧图像；利用所述第一图像数据的至少两帧图像，结合多融合模型中的第二模型，确定每帧图像中的骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；根据所述第一图像数据的帧图像之间的骨骼关节点的位置变化，确定第一序列；将所述第一序列作为所述第一特征数据。
在一实施例中，所述第一处理单元82，具体用于：根据所述第一序列，以及标准动作数据的各帧图像之间的骨骼关节点的位置变化对应的变化序列，确定所述第一数据中的用户动作与所述标准动作数据中的标准动作的相似度；当确定的相似度满足相似度条件时，将所述第一参数的取值由第三值调整为第四值；其中，所述第四值小于所述第三值。
在一实施例中，所述第一处理单元82，具体用于：利用多融合模型对所述待处理数据中的第二数据进行处理，得到第一参数；所述第二数据包括用户处于特定场景下的第二语音数据、第二图像数据；所述第一参数表征对用户的智力进行评估得到的分数值。
在一实施例中，所述第一处理单元82，具体用于：所述第二图像数据包括至少两帧图像；从所述第二语音数据中提取声纹特征，得到第二特征数据；并基于所述第二特征数据，以及多融合模型中的第三模型，得到第一识别结果；利用所述第二图像数据的至少两帧图像，结合多融合模型中的第二模型，确定每帧图像中的骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；并根据所述第二图像数据的帧图像之间的骨骼关节点的位置变化，确定第二序列；利用所述第一识别结果和所述第二序列，确定所述第一参数。
在一实施例中，所述第一处理单元82，具体用于：根据所述第二序列，以及标准动作数据的各帧图像中的用户骨骼关节点的位置变化对应的变化序列，确定所述第二图像数据中的用户动作与所述标准动作数据中的标准动作的相似度；当所述第一识别结果表征所述第二语音数据对应的说话人的身份信息与预设身份信息匹配且确定的相似度满足相似度条件时，将所述第一参数的取值由第五值调整为第六值；其中，所述第六值大于所述第五值。
在一实施例中，所述第一处理单元82，具体用于：利用多融合模型对所述待处理数据中的第三数据进行处理，得到第一参数；所述第三数据包括用户在特定场景下产生运动的第三图像数据、传感数据；所述第一参数表征对用户的体质进行评估得到的分数值。
在一实施例中，所述第一处理单元82，具体用于：所述第三图像数据包括至少两帧图像；利用所述第三图像数据的至少两帧图像，结合多融合模型中的第二模型，确定每帧图像中的骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；并根据所述第三图像数据的帧图像之间的骨骼关节点的位置变化，确定第三序列；利用所述第三序列和传感数据，确定所述第一参数。
在一实施例中，所述第一处理单元82，具体用于：利用所述传感数据，确定用户的运动信息；根据所述第三序列，以及标准动作数据的各帧图像中的用户骨骼关节点的位置变化对应的变化序列，确定所述第三图像数据中的用户动作与所述标准动作数据中的标准动作的相似度；当所述运动信息满足预设条件且确定的相似度满足相似度条件时，将所述第一参数的取值由第七值调整为第八值；其中，所述第八值大于所述第七值。
实际应用时，所述获取单元81可由所述装置中的通信接口来实现。所述第一处理单元82、第二处理单元83可由所述装置中的处理器来实现。当然，处理器需要运行存储器的程序来实现上述各程序模块的功能。
需要说明的是：上述实施例提供的数据处理装置在进行数据处理时，仅以上述各程序模块的划分进行举例说明，实际应用时，可以根据需要而将上述处理分配由不同的程序模块完成，即将终端的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的装置与数据处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
基于上述设备的硬件实现，本发明实施例还提供了一种电子设备，图9为本发明实施例的电子设备的硬件组成结构示意图，如图9所示，电子设备90包括存储器93、处理器92及存储在存储器93上并可在处理器92上运行的计算机程序；所述处理器92执行所述程序时实现上述一个或多个技术方案提供的方法。
需要说明的是，所述处理器92执行所述程序时实现的具体步骤已在上文详述，这里不再赘述。
可以理解，电子设备90还包括通信接口91，所述通信接口91用于和其它设备进行信息交互；同时，电子设备90中的各个组件通过总线系统94耦合在一起。可理解，总线系统94配置为实现这些组件之间的连接通信。总线系统94除包括数据总线之外，还包括电源总线、控制总线和状态信号总线等。
可以理解，存储器93可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器93旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器92中，或者由处理器92实现。处理器92可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器92中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器92可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器92可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器93，处理器92读取存储器93中的程序，结合其硬件完成前述方法的步骤。
本发明实施例还提供了一种存储介质，具体为计算机存储介质，更具体的为计算机可读存储介质。其上存储有计算机指令，即计算机程序，该计算机指令被处理器执行时上述一个或多个技术方案提供的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置、终端和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是无线链路控制上分开的，作为单元显示的部件可以是、或也可以不是无线链路控制单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
另外，本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。
Claims (15)
1.一种数据处理方法，其特征在于，所述方法包括：
获取待处理数据；所述待处理数据为与用户在至少一种场景中产生的行为相关的数据；
利用多融合模型对所述待处理数据进行处理，得到至少两个第一参数；所述多融合模型至少包含用于语音识别的第一模型、用于图像识别的第二模型、用于说话人识别的第三模型；所述第一参数表征对用户在至少一种场景中产生的相应行为进行评估得到的分数值；
根据所述至少两个第一参数，确定第二参数；所述第二参数表征对用户的至少两种行为进行评估得到的总分数值；所述第二参数用于进行教学评估。
2.根据权利要求1所述的方法，其特征在于，利用多融合模型对所述待处理数据进行处理时，所述方法还包括：
利用多融合模型对所述待处理数据中的第一数据进行处理，得到第一参数；所述第一数据包括用户处于至少两种场景下的第一语音数据、第一图像数据中至少之一；所述第一参数表征对用户的品德进行评估得到的分数值。
3.根据权利要求2所述的方法，其特征在于，所述利用多融合模型对所述待处理数据中的第一数据进行处理，得到第一参数，包括：
利用多融合模型中的第一模型，对所述第一数据的第一语音数据进行语音识别，得到与所述至少两种场景对应的识别文本；
利用多融合模型中的第二模型，从所述第一数据的第一图像数据中提取用户动作特征，得到与所述至少两种场景对应的第一特征数据；
利用所述识别文本和/或所述第一特征数据，确定所述第一参数。
4.根据权利要求3所述的方法，其特征在于，所述利用所述识别文本，确定所述第一参数，包括：
从所述识别文本中搜索与预设字符串对应的第一文本；
当从所述识别文本中搜索到与预设字符串对应的所述第一文本时，将所述第一参数的取值由第一值调整为第二值；
其中，所述第二值小于所述第一值。
5.根据权利要求3所述的方法，其特征在于，所述第一图像数据包括至少两帧图像；所述利用多融合模型中的第二模型，从所述第一数据的第一图像数据中提取用户动作特征，得到与所述至少两种场景对应的第一特征数据，包括：
利用所述第一图像数据的至少两帧图像，结合多融合模型中的第二模型，确定每帧图像中的骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；
根据所述第一图像数据的帧图像之间的骨骼关节点的位置变化，确定第一序列；
将所述第一序列作为所述第一特征数据。
6.根据权利要求5所述的方法，其特征在于，利用所述第一特征数据，确定所述第一参数，包括：
根据所述第一序列，以及标准动作数据的各帧图像之间的骨骼关节点的位置变化对应的变化序列，确定所述第一数据中的用户动作与所述标准动作数据中的标准动作的相似度；
当确定的相似度满足相似度条件时，将所述第一参数的取值由第三值调整为第四值；
其中，所述第四值小于所述第三值。
7.根据权利要求1所述的方法，其特征在于，利用多融合模型对所述待处理数据进行处理时，所述方法还包括：
利用多融合模型对所述待处理数据中的第二数据进行处理，得到第一参数；所述第二数据包括用户处于特定场景下的第二语音数据、第二图像数据；所述第一参数表征对用户的智力进行评估得到的分数值。
8.根据权利要求7所述的方法，其特征在于，所述第二图像数据包括至少两帧图像；所述利用多融合模型对所述待处理数据中的第二数据进行处理，得到第一参数，包括：
从所述第二语音数据中提取声纹特征，得到第二特征数据；并基于所述第二特征数据，以及多融合模型中的第三模型，得到第一识别结果；
利用所述第二图像数据的至少两帧图像，结合多融合模型中的第二模型，确定每帧图像中的骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；并根据所述第二图像数据的帧图像之间的骨骼关节点的位置变化，确定第二序列；
利用所述第一识别结果和所述第二序列，确定所述第一参数。
9.根据权利要求8所述的方法，其特征在于，所述利用所述第一识别结果和所述第二序列，确定所述第一参数，包括：
根据所述第二序列，以及标准动作数据的各帧图像中的用户骨骼关节点的位置变化对应的变化序列，确定所述第二图像数据中的用户动作与所述标准动作数据中的标准动作的相似度；
当所述第一识别结果表征所述第二语音数据对应的说话人的身份信息与预设身份信息匹配且确定的相似度满足相似度条件时，将所述第一参数的取值由第五值调整为第六值；
其中，所述第六值大于所述第五值。
10.根据权利要求1所述的方法，其特征在于，利用多融合模型对所述待处理数据进行处理时，所述方法还包括：
利用多融合模型对所述待处理数据中的第三数据进行处理，得到第一参数；所述第三数据包括用户在特定场景下产生运动的第三图像数据、传感数据；所述第一参数表征对用户的体质进行评估得到的分数值。
11.根据权利要求10所述的方法，其特征在于，所述第三图像数据包括至少两帧图像；所述利用多融合模型对所述待处理数据中的第三数据进行处理，得到第一参数，包括：
利用所述第三图像数据的至少两帧图像，结合多融合模型中的第二模型，确定每帧图像中的骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；并根据所述第三图像数据的帧图像之间的骨骼关节点的位置变化，确定第三序列；
利用所述第三序列和传感数据，确定所述第一参数。
12.根据权利要求11所述的方法，其特征在于，所述利用所述第三序列和传感数据，确定所述第一参数，包括：
利用所述传感数据，确定用户的运动信息；
根据所述第三序列，以及标准动作数据的各帧图像中的用户骨骼关节点的位置变化对应的变化序列，确定所述第三图像数据中的用户动作与所述标准动作数据中的标准动作的相似度；
当所述运动信息满足预设条件且确定的相似度满足相似度条件时，将所述第一参数的取值由第七值调整为第八值；
其中，所述第八值大于所述第七值。
13.一种数据处理装置，其特征在于，所述装置包括：
获取单元，用于获取待处理数据；所述待处理数据为与用户在至少一种场景中产生的行为相关的数据；
第一处理单元，用于利用多融合模型对所述待处理数据进行处理，得到至少两个第一参数；所述多融合模型至少包含用于语音识别的第一模型、用于图像识别的第二模型、用于说话人识别的第三模型；所述第一参数表征对用户在至少一种场景中产生的相应行为进行评估得到的分数值；
第二处理单元，用于根据所述至少两个第一参数，确定第二参数；所述第二参数表征对用户的至少两种行为进行评估得到的总分数值；所述第二参数用于进行教学评估。
14.一种数据处理装置，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行权利要求1至12任一项所述方法的步骤。
15.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911342652.2A CN111144735B (zh) | 2019-12-23 | 2019-12-23 | 一种数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911342652.2A CN111144735B (zh) | 2019-12-23 | 2019-12-23 | 一种数据处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111144735A true CN111144735A (zh) | 2020-05-12 |
| CN111144735B CN111144735B (zh) | 2023-08-04 |
Family
ID=70519559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911342652.2A Active CN111144735B (zh) | 2019-12-23 | 2019-12-23 | 一种数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111144735B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108615055A (zh) * | 2018-04-19 | 2018-10-02 | 咪咕动漫有限公司 | 一种相似度计算方法、装置及计算机可读存储介质 |
| CN109063587A (zh) * | 2018-07-11 | 2018-12-21 | 北京大米科技有限公司 | 数据处理方法、存储介质和电子设备 |
| CN110189171A (zh) * | 2019-05-27 | 2019-08-30 | 北京金山安全软件有限公司 | 特征数据的生成方法、装置及设备 |
| WO2019233075A1 (zh) * | 2018-06-04 | 2019-12-12 | 珠海格力电器股份有限公司 | 一种动态面部表情的识别方法及装置 |
| CN110600033A (zh) * | 2019-08-26 | 2019-12-20 | 北京大米科技有限公司 | 学习情况的评估方法、装置、存储介质及电子设备 |
-
2019
- 2019-12-23 CN CN201911342652.2A patent/CN111144735B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108615055A (zh) * | 2018-04-19 | 2018-10-02 | 咪咕动漫有限公司 | 一种相似度计算方法、装置及计算机可读存储介质 |
| WO2019233075A1 (zh) * | 2018-06-04 | 2019-12-12 | 珠海格力电器股份有限公司 | 一种动态面部表情的识别方法及装置 |
| CN109063587A (zh) * | 2018-07-11 | 2018-12-21 | 北京大米科技有限公司 | 数据处理方法、存储介质和电子设备 |
| CN110189171A (zh) * | 2019-05-27 | 2019-08-30 | 北京金山安全软件有限公司 | 特征数据的生成方法、装置及设备 |
| CN110600033A (zh) * | 2019-08-26 | 2019-12-20 | 北京大米科技有限公司 | 学习情况的评估方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111144735B (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dewan et al. | Engagement detection in online learning: a review | |
| Sharma et al. | Student engagement detection using emotion analysis, eye tracking and head movement with machine learning | |
| US11908245B2 (en) | Monitoring and analyzing body language with machine learning, using artificial intelligence systems for improving interaction between humans, and humans and robots | |
| CN109522815A (zh) | 一种专注度评估方法、装置及电子设备 | |
| US20210125149A1 (en) | Adaptability job vacancies matching system and method | |
| CN105139317B (zh) | 兴趣取向值测验的认知指标分析方法 | |
| CN113380271B (zh) | 情绪识别方法、系统、设备及介质 | |
| CN111428686A (zh) | 一种学生兴趣偏好评估方法、装置及系统 | |
| Gupta et al. | Analysis of engagement behavior in children during dyadic interactions using prosodic cues | |
| Süzgün et al. | Hospisign: an interactive sign language platform for hearing impaired | |
| Pise et al. | Estimation of learning affects experienced by learners: an approach using relational reasoning and adaptive mapping | |
| Sun et al. | Personality assessment based on multimodal attention network learning with category-based mean square error | |
| CN115936944A (zh) | 一种基于人工智能的虚拟教学管理方法及装置 | |
| WO2007026715A1 (ja) | シミュレーションシステム及びプログラム | |
| CN111144735A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN113641856A (zh) | 用于输出信息的方法和装置 | |
| Zhang et al. | Fine-grained question-level deception detection via graph-based learning and cross-modal fusion | |
| Prasad et al. | Creation of A Music Recommendation System using Facial Expression Recognition with MATLAB | |
| Dodiya et al. | Attention, emotion and attendance tracker with question generation system using deep learning | |
| KR102498540B1 (ko) | 컨텐츠 구조 이용 학습 시스템 | |
| Chaspari et al. | The development of the Athens Emotional States Inventory (AESI): collection, validation and automatic processing of emotionally loaded sentences | |
| JP7367819B2 (ja) | 発音学習支援システム、発音学習支援装置、発音学習支援方法及び発音学習支援プログラム | |
| Aruna et al. | Original Research Article Emotion sensitive analysis of learners’ cognitive state using deep learning | |
| Pise et al. | Research Article Estimation of Learning Affects Experienced by Learners: An Approach Using Relational Reasoning and Adaptive Mapping | |
| Kaushal et al. | Mood Detection Using Face Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100125 1503, 15th floor, building 2, yard 10, Chaoyang Park South Road, Chaoyang District, Beijing Applicant after: Beijing opper Communication Co.,Ltd. Address before: 100080 12-02, 12-05, 10th floor, building 38, Haidian Street, Haidian District, Beijing Applicant before: Beijing opper Communication Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |