CN111539339A - 数据处理方法及装置、电子设备和存储介质 - Google Patents

Abstract

本公开涉及一种数据处理方法及装置、电子设备和存储介质。所述方法包括：获取目标对象的多媒体数据；根据所述多媒体数据，对所述目标对象在至少一个检测维度上进行行为状态检测，得到所述目标对象在至少一个检测维度上的中间检测结果；对所述至少一个检测维度上的中间检测结果进行处理，得到所述目标对象的目标检测结果，其中，所述目标检测结果用于表示所述目标对象的行为状态。

Description

数据处理方法及装置、电子设备和存储介质

技术领域

本公开涉及计算机视觉领域，尤其涉及一种数据处理方法及装置、电子设备和存储介质。

背景技术

目标对象的行为状态评估可以广泛应用在各种领域中，得到的评估结果可以用于对目标对象或目标对象行为的分析，评估结果越准确，相应的分析则会更加真实和有意义。

因此，如何便捷地得到较为准确的行为状态评估结果，成为目前一个亟待解决的问题。

发明内容

本公开提出了一种数据处理的方案。

根据本公开的一方面，提供了一种数据处理方法，包括：

获取目标对象的多媒体数据；根据所述多媒体数据，对所述目标对象在至少一个检测维度上进行行为状态检测，得到所述目标对象在至少一个检测维度上的中间检测结果；对所述至少一个检测维度上的中间检测结果进行处理，得到所述目标对象的目标检测结果，其中，所述目标检测结果用于表示所述目标对象的行为状态。

在一种可能的实现方式中，所述多媒体数据包括视频数据；所述根据所述多媒体数据，对所述目标对象在至少一个检测维度上进行行为状态检测，得到所述目标对象在至少一个检测维度上的中间检测结果，包括：从所述视频数据确定所述目标对象；对所述目标对象进行手势、情绪以及目光交流中至少一个检测维度上的行为状态检测，得到所述目标对象在所述至少一个检测维度上的中间检测结果。

在一种可能的实现方式中，所述至少一个检测维度包括手势检测维度；根据以下步骤得到所述目标对象在所述手势检测维度上的中间检测结果：根据所述视频数据，获取所述目标对象在手势检测周期内执行至少一个目标手势的次数，得到所述手势检测周期的手势检测结果，其中，所述目标手势包括托手、举手以及举大拇指中的一个或多个；根据至少一个所述手势检测周期的所述手势检测结果，得到所述目标对象在手势检测维度上的中间检测结果。

在一种可能的实现方式中，所述根据所述视频数据，获取所述目标对象在手势检测周期内执行至少一个目标手势的次数，包括：获取所述视频数据在所述手势检测周期内的至少一个手势检测帧序列；在所述手势检测帧序列中，包含所述目标手势的帧的数量超过第一阈值的情况下，将所述手势检测帧序列中的至少一帧记录为手势开始帧；在位于所述手势开始帧以后的手势检测帧序列中，不包含所述目标手势的帧的数量超过第二阈值的情况下，将位于所述手势开始帧以后的手势检测帧序列中的至少一帧记录为手势结束帧；根据所述手势开始帧以及所述手势结束帧的数量，得到所述目标对象在手势检测周期内执行至少一个目标手势的次数。

在一种可能的实现方式中，所述至少一个检测维度包括情绪检测维度；根据以下步骤得到目标对象在所述情绪检测维度上的中间检测结果：根据所述视频数据，获取所述目标对象在情绪检测周期内的表情检测结果和/或微笑检测结果，其中，所述表情检测结果包括基于所述目标对象的表情所确定的情绪结果，所述微笑检测结果包括所述目标对象的微笑强度；根据至少一个所述情绪检测周期中所述目标对象的表情检测结果和/或微笑检测结果，得到所述目标对象在情绪检测维度上的中间检测结果。

在一种可能的实现方式中，所述根据所述视频数据，获取所述目标对象在情绪检测周期内的表情检测结果，包括：在所述情绪检测周期内，对所述目标对象进行表情检测，确定所述目标对象展示至少一个目标表情的次数，得到所述表情检测结果；其中，所述目标表情包括高兴、平静以及其他中的一个或多个。

在一种可能的实现方式中，所述根据所述视频数据，获取所述目标对象在情绪检测周期内的微笑检测结果，包括：在所述情绪检测周期内，根据所述视频数据的至少一帧，对所述目标对象进行微笑检测，得到与至少一帧对应的微笑检测结果；根据所述与至少一帧对应的微笑检测结果，确定所述目标对象在所述情绪检测周期内的微笑检测结果。

在一种可能的实现方式中，所述至少一个检测维度包括目光交流检测维度；根据以下步骤得到所述目标对象在所述目光交流检测维度上的中间检测结果：根据所述视频数据，对所述目标对象进行人脸角度检测，确定所述目标对象的人脸角度在人脸角度阈值内的时间，作为人脸角度检测结果；根据所述视频数据，对所述目标对象进行闭眼检测，确定所述目标对象执行闭眼操作的时间，作为闭眼检测结果；根据所述人脸角度检测结果与所述闭眼检测结果，确定所述目标对象的人脸角度在人脸角度阈值内且未执行闭眼操作的时间长度；根据所述时间长度，得到所述目标对象在所述目光交流检测维度上的中间检测结果。

在一种可能的实现方式中，所述多媒体数据包括音频数据；所述根据所述多媒体数据，对所述目标对象在至少一个检测维度上进行行为状态检测，得到所述目标对象在至少一个检测维度上的中间检测结果，包括：对所述音频数据按照语句进行切分，得到至少一个音频子数据；对所述至少一个音频子数据，进行流利度、语速、停顿以及音量中至少一个检测维度上的行为状态检测，得到所述目标对象在至少一个检测维度上的中间检测结果。

在一种可能的实现方式中，所述对所述至少一个检测维度上的中间检测结果进行处理，得到所述目标对象的目标检测结果，包括：按照所述检测维度的预设权重，对至少一个检测维度的所述中间检测结果进行合并，得到所述目标对象的目标检测结果。

在一种可能的实现方式中，所述对所述至少一个检测维度上的中间检测结果进行处理，得到所述目标对象的目标检测结果，包括：根据所述音频子数据在所述音频数据中的时间，从所述多媒体数据包括的视频数据中确定与所述音频子数据对应的视频子数据；根据预设权重，对所述音频子数据在至少一个检测维度上的中间检测结果，与对应的所述视频子数据在至少一个检测维度上的中间检测结果进行合并，得到至少一个所述音频子数据或所述视频子数据的目标检测结果；对至少一个所述音频子数据或所述视频子数据的目标检测结果进行合并，得到所述目标对象的目标检测结果。

在一种可能的实现方式中，所述多媒体数据通过所述目标对象根据预设文本数据进行教学操作所获得，其中，所述预设文本数据包括至少一个指令标记，所述指令标记用于划分和/或标注所述预设文本数据的至少部分内容。

根据本公开的一方面，提供了一种数据处理装置，包括：

获取模块，用于获取目标对象的多媒体数据；检测模块，用于根据所述多媒体数据，对所述目标对象在至少一个检测维度上进行行为状态检测，得到所述目标对象在至少一个检测维度上的中间检测结果；处理模块，用于对所述至少一个检测维度上的中间检测结果进行处理，得到所述目标对象的目标检测结果，其中，所述目标检测结果用于表示所述目标对象的行为状态。

根据本公开的一方面，提供了一种电子设备，包括：

处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：执行上述数据处理方法。

根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述数据处理方法。

在本公开实施例中，通过获取目标对象的多媒体数据，并根据多媒体数据对目标对象在至少一个检测维度上进行行为状态检测，从而得到目标对象在至少一个检测维度上的中间检测结果，进而对至少一个维度上的中间检测结果进行处理来得到用于表示目标对象行为状态的目标检测结果。通过上述过程，可以基于对目标对象的多个维度上的行为状态进行检测，来得到用于表示目标对象行为状态的目标检测结果，一方面可以实现对目标对象行为状态的自动评估，另一方面也可以提升最终得到的目标检测结果的全面性和准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1示出根据本公开一实施例的数据处理方法的流程图。

图2示出根据本公开一实施例的数据处理装置的框图。

图3示出根据本公开一应用示例的目标检测结果示意图。

图4示出根据本公开实施例的一种电子设备的框图。

图5示出根据本公开实施例的一种电子设备的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开一实施例的数据处理方法的流程图，该方法可以应用于数据处理装置，数据处理装置可以为终端设备、服务器或者其他处理设备等。其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一个示例中，该数据处理方法可以应用于云端服务器或本地服务器，云端服务器可以为公有云服务器，也可以为私有云服务器，根据实际情况灵活选择即可。

在一些可能的实现方式中，该数据处理方法也可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

如图1所示，在一种可能的实现方式中，所述数据处理方法可以包括：

步骤S11，获取目标对象的多媒体数据。

步骤S12，根据多媒体数据，对目标对象在至少一个检测维度上进行行为状态检测，得到目标对象在至少一个检测维度上的中间检测结果。

步骤S13，对至少一个检测维度上的中间检测结果进行处理，得到目标对象的目标检测结果，其中，目标检测结果用于表示目标对象的行为状态。

其中，目标对象可以是任意具有行为状态表示或评价需求的对象，其具体实现形式可以根据目标对象执行行为的应用场景灵活确定。目标对象具体执行何种行为在本公开实施例中不做限制，在一种可能的实现方式中，行为可以是教学行为、管理行为或是工作行为等。相应地，随着目标对象执行行为的不同，目标对象的实现形式也会发生变化，在一种可能的实现方式中，在行为是教学行为的情况下，目标对象可以是教师；进一步地，教学行为也可以是正式授课行为或模拟授课行为，相应地，目标对象可以是正式授课的教师，也可以是模拟授课的教师，或是未上岗处于面试阶段的教师等。在一种可能的实现方式中，在行为是管理行为的情况下，目标对象可以是具有管理职能的对象，如教学管理人员等。在一种可能的实现方式中，在行为是工作行为的情况下，目标对象可以是相关的工作对象，比如教育工作者等。后续各公开实施例均以目标对象为教师，执行的行为是模拟授课行为(以下简称为模课行为)为例进行说明，目标对象以及行为为其他实现形式的情况，可以参考后续各公开实施例进行相应扩展，不再一一赘述。

目标对象的多媒体数据可以是目标对象在执行相应行为的情况下所获取的数据，其实现形式可以根据实际情况灵活决定。在一种可能的实现方式中，目标对象的多媒体数据可以包括视频数据和/或音频数据。具体如何获取目标对象的多媒体数据，其获取方式可以根据实际情况灵活决定，详见后续各公开实施例，在此先不做展开。

在获取目标对象的多媒体数据以后，可以通过步骤S12，对目标对象在至少一个检测维度上进行行为状态检测，来得到至少一个检测维度上的中间检测结果。在一种可能的实现方式中，在目标对象为教师，执行的行为是模课行为的情况下，可以对目标对象在教学行为中的各个检测维度进行状态检测，如教学过程中的手势、情绪、目光交流、流利度、语速、停顿或是音量等，具体包含有哪些维度，以及在这些维度上检测行为状态的具体实现形式，可以详见后续各公开实施例，在此先不做展开。

在得到了目标对象在至少一个检测维度上的中间检测结果以后，可以通过步骤S13，对至少一个检测维度上的中间检测结果进行处理，来得到目标对象的目标检测结果。其中，目标检测结果的数量在本公开实施例中不做限制，可以根据实际需求进行灵活设定。在一种可能的实现方式中，目标检测结果可以包括一个总体的检测结果，用于反应目标对象行为状态的总体情况；在一种可能的实现方式中，目标检测结果也可以同时包含一个总体的检测结果与多个详细的细分结果，用于同时反应目标对象行为状态的总体情况和详细情况。目标检测结果的具体实现形式，以及得到目标检测结果的方式，可以参考后续各公开实施例，在此先不做展开。

在本公开实施例中，通过获取目标对象的多媒体数据，并根据多媒体数据对目标对象在至少一个检测维度上进行行为状态检测，从而得到目标对象在至少一个检测维度上的中间检测结果，进而对至少一个维度上的中间检测结果进行处理来得到用于表示目标对象行为状态的目标检测结果。通过上述过程，可以基于对目标对象的多个维度上的行为状态进行检测，来得到用于表示目标对象行为状态的目标检测结果，一方面可以实现对目标对象行为状态的自动评估，另一方面也可以提升最终得到的目标检测结果的全面性和准确性。

如上述公开实施例所述，多媒体数据的实现形式不受限定，在一种可能的实现方式中，多媒体数据可以仅包含音频数据；在一种可能的实现方式中，多媒体数据可以仅包含视频数据，比如无声视频等；在一种可能的实现方式中，多媒体数据可以同时包含视频数据与音频数据，比如有声视频等。在一个示例中，在多媒体数据包含视频数据的情况下，视频数据的分辨率不受限制，可以根据实际情况灵活选择，比如640P、720P以及1080P等。在一个示例中，在多媒体数据包含音频数据的情况下，音频数据的音频采样频率同样不受限制，可以灵活选择，比如8000Hz或是16000Hz等。

随着多媒体数据形式的不同，该多媒体数据的生成方式也可以灵活发生变化。在一种可能的实现方式中，在目标对象为教师，执行的行为是模课行为的情况下，音频数据可以通过录制教师模课过程的音频的方式所生成，视频数据可以通过拍摄教师模课过程的动作的方式所生成，因此，在一个示例中，可以通过对教师模课的过程进行视频拍摄的方式，来生成多媒体数据。

在一种可能的实现方式中，多媒体数据可以通过目标对象根据预设文本数据进行教学操作所获得，其中，预设文本数据包括至少一个指令标记，指令标记用于划分和/或标注预设文本数据的至少部分内容。

其中，预设文本数据可以是教师用于教学或模课的文字内容，比如模课的逐字稿，里面包含有教师模课中需要讲述的相关内容等。指令标记可以是位于预设文本数据内，用于对预设文本数据的部分内容进行划分或是标注等的标记。指令标记的位置、具体内容以及作用等均可以根据实际情况灵活选择，不局限于下述公开实施例。

在一种可能的实现方式中，在预设文本数据为模课的逐字稿的情况下，指令标记可以是用于对逐字稿所属的模课进程进行划分的标记，即可以是对模课逐字稿的部分结构标注。指令标记的具体实现形式，可以根据模课的进程划分的情况灵活决定。在一种可能的实现方式中，可以将模课过程划分为课前热身、知识讲授、课中训练以及课堂检测等阶段，则可以通过指令标记，来将模课逐字稿中的内容划分到这四个阶段。

进一步地，如何将模课过程通过指令划分到多个阶段，其实现形式也可以灵活选择。在一种可能的实现方式中，可以通过<开始指令开始><开始指令结束>；<结束指令开始>、<结束指令结束>等分别标注对应阶段，从而实现模课逐字稿的结构划分。具体地<开始指令开始>、<结束指令开始>等标注的具体实现形式，同样可以根据实际情况灵活决定，举例来说，可以通过某些特定的词语或动作描述来作为<开始指令开始>或是<结束指令开始>等标注的具体实现形式。

示例性的，模课逐字稿的内容可以如下所述，“<课前热身环节开始指令开始>：接下来是我们进行课前热身环节。<课前热身环节开始指令结束>中间是一大段课程内容。<课前热身环节结束指令开始>：好，接下来我们到下一个环节。<课前热身环节结束指令结束>此处为一大段课程内容。

<知识讲授环节开始指令开始>：接下来是我们进行知识讲授环节。<知识讲授环节开始指令结束>

<知识讲授环节结束指令开始>：好，接下来我们到下一环节。<知识讲授环节结束指令结束>”。通过上述示例性的模课逐字稿内容可以看出，在一个示例中，可以通过<课前热身环节开始指令开始>、<课前热身环节开始指令结束>、<课前热身环节结束指令开始>以及<课前热身环节结束指令结束>等标注，来从模课逐字稿中标记出需要进行课前热身环节的文本内容；同理，还可以通过对应的指令进一步从模课逐字稿中划分出知识讲授环节的文本内容。具体这些指令标注对应的具体词汇或动作描述，在本公开实施例中不做限定，根据实际需求进行灵活选择即可。

教师根据带有用于划分结构的指令标记的预设文本数据进行模课教学，来得到相应的多媒体数据，可以使得多媒体数据带有不同阶段的标记(如特定的词汇或动作)等。这些不同阶段的标记可以自动被数据处理装置所识别，从而使得数据处理装置可以自动对多媒体数据按照相应的结构进行划分。在一种可能的实现方式中，划分后的多媒体数据可以用于分别获取教师模课各个阶段的目标检测结果等，即可以分别得到模课过程中各个阶段的目标检测结果。既可以提升数据处理过程的自动化程度，又可以提升数据处理得到的目标检测结果的针对性和实用性。

在一种可能的实现方式中，在预设文本数据为模课的逐字稿的情况下，指令标记也可以是用于对逐字稿中重点内容或需要互动的位置所进行的标记，即可以是对模课逐字稿的知识点与互动标注。指令标记的具体实现形式，可以根据重点内容所在的位置以及所需互动的情况灵活决定，举例来说，在存在多个重点段落或互动位置的情况下，指令标记的数量可以为多个。

进一步地，如何通过指令标记对模课逐字稿中的重点内容与互动位置进行标注，其实现形式也可以灵活选择。在一种可能的实现方式中，可以通过<重点开始><重点结束>等对模课中的重要知识点进行标注，在一种可能的实现方式中，在模课过程中需要有互动的情况下，可以在模课逐字稿的对应位置中用<需加入互动>标识作为指令标记。具体地<重点开始>、<需加入互动>等标注的具体实现形式，同样可以根据实际情况灵活决定，举例来说，可以通过某些特定的词语或动作描述来作为<重点开始>或是<需加入互动>等标注的具体实现形式。

示例性的模课逐字稿的内容还可以如下所述，“这是一部分讲课内容<重点开始>同学们，让我看看图，它们属于交叉口的情况。在你手中的量角器的帮助下，我们能看看你是否有新的发现吗？<需加入互动>穿蓝色衣服的学生，对你来说。

<需加入互动>对你说的对。同学们，如果两条直线相交成直角，我们就说它们相互垂直。<重点结束>”。通过上述示例性的模课逐字稿内容可以看出，在一个示例中，可以通过<重点开始>与<重点结束>等标注，来从模课逐字稿中划分出重要的知识点；同理，还可以利用<需加入互动>等标注，来提示模课的教师在授课的某些阶段做出相应的动作。具体这些指令标注对应的具体词汇或动作描述，在本公开实施例中不做限定，根据实际需求进行灵活选择即可。

教师根据带有用于标注知识点与互动的指令标记的预设文本数据进行模课教学，来得到相应的多媒体数据，可以使得多媒体数据在模课的某些重要阶段(如重要知识点的讲授阶段或是需要互动的阶段)被标记。这些标记可以自动被数据处理装置所识别，从而使得数据处理装置可以自动识别多媒体数据中的重要知识点讲授的过程或是互动过程等。在一种可能的实现方式中，可以重点关注重要知识点讲授过程或是互动过程的中间检测结果，来更加有针对性地评价教师的模课状态。既可以提升数据处理过程的自动化程度，又可以提升数据处理得到的目标检测结果的针对性和实用性。

通过上述各公开实施例可以看出，通过带有指令标记的预设文本数据所生成的多媒体数据，可以便于被自动识别与处理，从而提升数据处理方法的自动化程度，也提升最终得到的目标检测结果的针对性与实用性。

通过上述各公开实施例可以看出，多媒体数据的实现形式与生成方式均可以具有多种实现形式。相应地，随着多媒体数据的实现形式的不同，获得多媒体数据即步骤S11的实现方式也可以灵活发生变化。在一种可能的实现方式中，多媒体数据可以为预先录制好的多媒体数据，在这种情况下可以根据多媒体数据的存储位置，如统一资源定位符(URL，Uniform Resource Locator)链接等，来获取多媒体数据，在一种可能的实现方式中，多媒体数据可以为录制过程中的数据，如直播视频等，在这种情况下可以根据多媒体数据的直播链接或是地址等，来获取多媒体数据。

进一步地，如上述各公开实施例所述，多媒体数据可以包括视频数据和/或音频数据，因此，随着多媒体数据的具体内容的不同，其获取的方式也可以灵活发生变化。在一种可能的实现方式中，在多媒体数据同时包含视频数据与音频数据，且音频数据与视频数据一体的情况下，可以直接获取该音视频一体化的数据，再通过一定的方式从该音视频一体化的数据中分别分离得到视频数据与音频数据，具体的分离方式在本公开实施例中不做限制，可以根据实际情况灵活选择。在一种可能的实现方式中，在多媒体数据同时包含视频数据与音频数据，且音频数据与视频数据相互独立的情况下，可以分别获取视频数据与音频数据用于后续的检测。

如上述各公开实施例所述，多媒体数据可能包含有模课过程的多个阶段，比如课前热身、知识讲授、课中训练以及课堂检测等阶段，且这些阶段可以基于特定的指令标记所对应的词语或动作所识别，因此，在一种可能的实现方式中，在获取多媒体数据的情况下，还可以根据多媒体数据中的特定词语或动作将多媒体数据进行分段，从而获取所需的部分多媒体数据，比如，在一个示例中，可以通过识别多媒体数据中的课前热身环节开始指令与课前热身环节结束指令，来获取多媒体数据中的课前热身这部分的多媒体数据，并基于课前热身阶段的多媒体数据来得到后续的目标检测结果，在一个示例中，也可以通过识别多媒体数据中的多个阶段的开始与结束指令，来获取多媒体数据中各部分的多媒体数据，从而通过步骤S12与步骤S13，来得到多媒体数据中各部分的目标检测结果等。

在一种可能的实现方式中，也可以基于模课过程各个阶段的录制时间来分别获取不同阶段的多媒体数据。在一个示例中，教师可以通过客户端来录制多媒体数据，客户端的实现形式在本公开实施例中不做限制，可以为手机、电脑或是其他用户设备等。在录制的过程中，客户端可以以按键(tap)的形式，在客户端界面显示模课的不同阶段。则教师可以通过点击tap，进入到该阶段，并录制该阶段的模课多媒体数据，在这种情况下，该阶段的模课多媒体数据除了包含视频与音频以外，还包含录制的时间戳，因此数据处理装置在通过步骤S11获取多媒体数据的过程中，可以通过多媒体数据包含的时间戳，确定多媒体数据所对应的模课阶段，从而得到多媒体数据中各部分的多媒体数据。在本公开中，为了便于描述，后续各公开实施例均以不划分多媒体数据的各阶段为例来说明数据处理的过程，多媒体数据被划分为多个部分后分别得到各部分目标检测结果的实现方式可以参考后续各公开实施例进行扩展，不再赘述。

除上述内容以外，步骤S11中，获取目标对象的多媒体数据的数量也不受限制，可以为一个目标对象所对应的多媒体数据，也可以为多个目标对象所对应的多媒体数据。即本公开实施例中的数据处理方法，可以每次仅对一个目标对象的多媒体数据进行处理，也可以同时对多个目标对象的多媒体数据进行批量处理。在多媒体数据为多个的情况下，为了区分不同目标对象的多媒体数据，可以在多媒体数据中添加其他的信息用于确定多媒体数据所属的目标对象。因此，在一种可能的实现方式中，多媒体数据除了包含视频数据与音频数据以外，还可以包含有身份信息，比如教师身份(teacherID)、课程身份(模课ID)以及教师所属群体ID(比如教师所属公司或学校的vendeeID)等。除此以外，多媒体数据中也还可以包含有其他相关的信息，比如多媒体数据地址(URL链接)、多媒体数据的结构(比如上述公开实施例提到的多媒体数据对应的模课阶段，以及每个阶段的起始时间戳或结束时间戳等)或是多媒体检测的相关信息(如视频检测帧率)等。后续各公开实施例均以获取到的多媒体数据为一个目标对象的多媒体数据为例进行阐述，同时获取多个目标对象的多媒体数据来进行数据处理的过程，可以参考后续各公开实施例进行扩展，不再赘述。

需要注意的是，上述各公开实施例中提到的多媒体数据的实现方式，以及获取多媒体数据的方式，均可以根据需求灵活组合实现，在本公开实施例中不做限定。

在通过上述任意公开实施例获取到目标对象的多媒体数据以后，可以通过步骤S12，来对目标对象在至少一个检测维度上进行行为状态检测，从而得到目标对象在至少一个检测维度上的中间检测结果。步骤S12的实现方式不受限定，可以根据多媒体数据的实际情况灵活选择，不局限于下述各公开实施例。

如上述各公开实施例所述，在一种可能的实现方式中，多媒体数据可以包含有视频数据，在这种情况下，步骤S12可以是根据视频数据来对目标对象进行行为状态检测。因此，在一种可能的实现方式中，步骤S12可以包括：

步骤S1211，从视频数据确定目标对象；

步骤S1212，对目标对象进行手势、情绪以及目光交流中至少一个检测维度上的行为状态检测，得到目标对象在至少一个检测维度上的中间检测结果。

其中，步骤S1211中从视频数据确定目标对象的方式不受限定，可以根据目标对象的实际实现方式灵活决定。如上述各公开实施例所述，在一种可能的实现方式中，目标对象可以为教师对象，执行的行为可以是模课行为，在这种情况下，可以通过人脸检测或人脸跟踪的方式，从视频数据中确定进行授课的教师，来实现目标对象的确定。举例来说，在一些可能的实现方式中，可以通过调用human action SDK的人脸检测与人脸跟踪等模型，来从视频数据中确定目标对象。

在确定了目标对象后，可以通过步骤S1212，从手势、情绪以及目标交流中至少一个检测维度上，对目标对象进行行为状态检测，具体包含有哪几个检测维度，以及这些检测维度相互之间的检测顺序，均可以根据实际情况灵活选择。在每个检测维度上具体如何检测，详见后续各公开实施例，在此先不做展开。在本公开中，后续各公开实施例均以对视频数据在手势、情绪以及目光交流这三个检测维度上同时进行行为状态检测为例进行说明，其余的实现方式可以参考后续各公开实施例进行灵活扩展，不再一一赘述。

通过上述公开实施例可以看出，在一种可能的实现方式中，在多媒体数据中包含有视频数据的情况下，可以根据视频数据进行计算机视觉上的处理，从而实现对视频数据中的目标对象执行手势、情绪以及目标交流等多个检测维度上的行为状态检测。通过上述过程，可以充分有效地利用多媒体数据中的视频数据，对目标对象实现多个不同检测维度上的检测，提升中间检测结果的多样性，继而提升后续得到的目标检测结果的全面性与可靠性。

在每个检测维度上具体得到相应的中间检测结果的方式可以灵活决定。在一种可能的实现方式中，在检测维度包括手势检测维度的情况下，可以根据以下步骤得到目标对象在手势检测维度上的中间检测结果：

根据视频数据，获取目标对象在手势检测周期内执行至少一个目标手势的次数，得到手势检测周期的手势检测结果，其中，目标手势包括托手、举手以及举大拇指中的一个或多个；

根据至少一个手势检测周期的手势检测结果，得到目标对象在手势检测维度上的中间检测结果。

其中，可以将视频数据按照时间顺序划分为多段，将划分的每段视频分别记为一个手势检测周期。划分方式与划分后每个手势检测周期的长度不受限定。在一种可能的实现方式中，可以对视频数据按照相同的时长进行划分，在这种情况下，不同段视频对应的手势检测周期的时间长度相同；在一种可能的实现方式中，也可以对视频数据按照不同的时长随机划分，在这种情况下，不同段视频对应的手势检测周期的时间长度相同。本公开实施例以手势检测周期的时间长度不变为例进行说明，在一个示例中，可以将手势检测周期记为一分钟，即分别获取目标对象每一分钟内执行至少一个目标手势的次数，来得到目标对象每一分钟的手势检测结果，继而根据每一分钟的手势检测结果，得到完整的视频数据中，目标对象在手势检测维度上的中间检测结果。

目标手势可以为设定的，教师在模课过程中可以判定为有效的手势，比如托手(表示请某个学生回答问题)、举手(表示提示学生回答问题)或是举大拇指(表示对学生的行为进行点赞)等，具体哪些手势可以作为目标手势，可以根据实际情况灵活设定。

通过根据视频数据，获取目标对象在手势检测周期内执行至少一个目标手势的次数，来得到手势检测周期的手势检测结果，继而再根据至少一个手势检测周期的手势检测结果，来得到目标对象在手势检测维度上的中间检测结果，通过上述过程，可以将视频数据划分为多个手势检测周期，将完整的手势检测过程转化为多段手势检测的过程，减小了每次进行手势检测的难度，提升了手势校测的效率，同时通过手势检测维度上的中间检测结果，可以有效反映教师在模课过程中的肢体调动程度以及与学生之间的手势互动程度，在提升数据处理方法的效率的同时，还可以提升数据处理结果的准确性和可靠性。

具体地，如何目标对象在手势检测周期内执行至少一个目标手势的次数的方式，可以根据实际情况灵活决定，在一种可能的实现方式中，根据视频数据，获取目标对象在手势检测周期内执行至少一个目标手势的次数，包括：

获取视频数据在手势检测周期内的至少一个手势检测帧序列；

在手势检测帧序列中，包含目标手势的帧的数量超过第一阈值的情况下，将手势检测帧序列中的至少一帧记录为手势开始帧；

在位于手势开始帧以后的手势检测帧序列中，不包含目标手势的帧的数量超过第二阈值的情况下，将位于手势开始帧以后的手势检测帧序列中的至少一帧记录为手势结束帧；

根据手势开始帧以及手势结束帧的数量，得到目标对象在手势检测周期内执行至少一个目标手势的次数。

在一种可能的实现方式中，在对视频数据的进行手势检测的过程中，可以通过固定的检测帧率，对每个手势检测周期长度下的视频数据进行手势检测，这一检测帧率的数值可以根据实际情况灵活设定，在一个示例中，可以将检测帧率设定为10FPS，即每秒可以对10帧视频数据进行手势检测。

在检测帧率固定的情况下，手势检测周期内待检测的帧数量实际是固定的，即手势检测周期内的视频数据可以对应一个完整的帧序列，该帧序列包含的帧数可以通过手势检测周期的时间长度与检测帧率之间的乘积所确定。在一种可能的实现方式中，可以直接对手势检测周期所对应的完整帧序列进行手势检测，比如可以通过完整帧序列中包含目标手势的帧的数量来确定手势检测周期中执行目标手势的次数等。在一种可能的实现方式中，也可以如上述公开实施例所述，从手势检测周期对应的完整帧序列中，获取至少一个手势检测帧序列，继而分别根据每个手势检测帧序列的检测结果，来确定手势检测周期内目标手势的次数。

其中，手势检测帧序列可以是从手势检测周期对应的完整帧序列中，选定的多个帧序列，具体的选定方式可以灵活选择，不局限于下述公开实施例。在一个示例中，可以通过滑动帧的方式来得到多个手势检测帧序列，具体过程可以为：设定每个手势检测帧序列的长度为X，在手势检测周期对应的完整帧序列中，将第一帧作为第一个手势检测帧序列的起始帧，第X帧作为第一个手势检测帧序列的终止帧，得到第一个手势检测帧序列；然后在完整帧序列中，将第一个手势检测帧序列向后滑动一帧来得到第二个手势检测帧序列，即将完整帧序列中的第二帧作为第二个手势检测帧序列的起始帧，第X+1帧作为第二个手势检测帧序列的终止帧，得到第二个手势检测帧序列；以此类推，从而得到多个手势检测帧序列。X的数量可以根据实际情况灵活选择，在本公开实施例中不做限制，在一个示例中，X可以与检测帧率一致，即在检测帧率为10FPS的情况下，X可以设定为10帧。

在获取了多个手势检测帧序列后，可以基于多个手势检测帧序列来得到手势开始帧和手势结束帧，如上述公开实施例所述，在一种可能的实现方式中，可以检测每个手势检测帧序列中，分别对每帧进行手势检测，来确定包含目标手势的帧的数量，如果包含目标手势的帧的数量超过第一阈值，则可以认为当前的手势检测帧序列内存在目标手势，此时可以从当前的手势检测帧序列中选定至少一帧来作为手势开始帧。

其中，对每帧进行手势检测的方式可以根据实际情况灵活选择，在一种可能的实现方式中，可以通过具有手势检测功能的神经网络，来实现对帧图像的手势检测。具有手势检测功能的神经网络的实现方式也可以灵活决定，如上述各公开实施例所述，目标手势可能包含有多种手势，在一种可能的实现方式中，可以利用一个可以同时识别多个目标手势的神经网络，来对每帧图像进行手势检测；在一种可能的实现方式中，也可以针对每一种目标手势，均采用一个对应的神经网络来进行手势检测。具体地，在一个示例中，可以通过调用insight SDK的人体检测与举手检测模型，来对目标对象进行举手这一目标手势的检测，在一个示例中，还可以通过调用human action SDK中的手势检测模型，来对目标对象的其他目标手势进行检测等。在一种可能的实现方式中，如果手势检测帧序列中检测到的目标手势的种类有多种，则可以分别判断每种目标手势的帧的数量是否均超过第一阈值，如果都超过，则可以说明当前手势检测帧序列中存在多种手势，如果其中部分种类的目标手势的帧的数量超过第一阈值，则可以说明当前手势检测帧序列中存在超过第一阈值这部分种类的目标手势。

第一阈值的数量可以根据实际情况灵活设定，不局限于本公开实施例，在一个示例中，在手势检测帧序列包含10帧的情况下，可以将第一阈值设定为6。

在包含目标手势的帧的数量超过第一阈值的情况下，可以从当前手势帧序列中选择至少一帧作为手势开始帧，具体选择哪一帧作为手势开始帧，其实现形式可以灵活决定。在一种可能的实现方式中，可以将手势检测帧序列中第N个包含目标手势的帧作为手势开始帧，则该手势开始帧对应的时间即可以记为手势互动开始的时间。其中，N的值可以灵活选择，在一个示例中，N可以与第一阈值的值一致，举例来说，在手势检测帧序列包含10帧，第一阈值设定为6的情况下，如果当前手势检测帧序列检测到包含目标手势的帧的数量不小于6，则可以将当前手势检测帧序列中第6个包含目标手势的帧，作为手势开始帧，并将手势开始帧在视频数据中的时间，记为手势开始时间。

在确定了手势开始帧以后，还可以进一步确定手势结束的时间，即手势结束帧。手势结束帧的确定方式与手势开始帧类似，如上述公开实施例所述，在一种可能的实现方式中，可以在手势开始帧以后的手势检测帧序列中分别进行手势检测，如果其中存在某个手势检测帧序列，其不包含目标手势的帧的数量超过第二阈值，则可以认为该手势检测帧序列中不存在目标手势，并从中选定至少一帧作为手势结束帧。第二阈值的数量可以根据实际情况灵活决定，可以与第一阈值相同，也可以不同。在一个示例中，第二阈值的数量可以与第一阈值的数量一致，均为6。从手势检测帧序列中选定手势结束帧的过程可以参考手势开始帧的选定过程，在此不再赘述。

在得到了多个手势开始帧与手势结束帧以后，可以基于这些帧的数量与对应的手势开始和结束时间，来确定一个手势检测周期内，出现目标手势的次数。表1示出根据本公开一实施例的手势检测规则。

表1手势检测规则

其中，表中的互动手势检测周期对应上述公开实施例中的手势检测帧序列，互动手势规则阈值对应上述公开实施例中的第一阈值和第二阈值，互动手势开始时间对应上述公开实施例中的手势开始帧的时间，互动手势结束时间对应上述公开实施例中的手势结束时间。通过表1可以看出，在一个示例中，可以将手势检测周期中的每10帧作为一个手势检测帧序列，从而在每个手势检测帧序列中，对每一帧进行手势检测，来确定手势开始帧和手势结束帧，继而得到每个手势检测周期中发生目标手势的次数。

通过上述过程，可以基于手势检测周期内的多个手势检测帧序列，实现目标手势次数的检测，有效地减小了个别帧的手势检测结果不准确对手势检测结果的影响，提升了手势检测的准确程度，继而提升整个数据处理过程的精度和可靠性。

进一步地，在获取了手势检测周期内执行目标手势的次数以后，可以根据获取的次数来得到该手势检测周期所对应的手势检测结果。在一种可能的实现方式中，可以直接将该手势检测周期中执行目标手势的次数作为手势检测结果；在一种可能的实现方式中，也可以将该手势检测周期中执行目标手势的次数按照一定的规则映射为分数，作为手势检测结果，映射规则在本公开实施例中不做限定。表2示出根据本公开一实施例的手势检测结果的映射规则。

表2手势检测结果的映射规则

其中互动手势评分周期对应上述公开实施例中的手势检测周期，则从表2中可以看出，在一个示例中，在一个手势检测周期内，可以将一次目标手势记为1分，从而根据目标手势的次数确定手势检测周期的分数；如果一个手势检测周期中出现10次以上的目标手势，则将该手势检测周期的手势检测结果记为10分。

通过将手势检测周期中执行目标手势的次数按照一定规则映射为分数，可以将手势检测结果标准化，从而提升基于手势检测结果确定的中间检测结果的规范性，便于手势维度的中间检测结果与其他维度上的中间检测结果进行融合，得到更加直观的目标检测结果。

在得到了各个手势检测周期的手势检测结果以后，还可以基于至少一个手势检测结果，进一步得到手势检测维度上的中间检测结果。根据手势检测结果得到中间检测结果的方式可以灵活决定，不局限于下述公开实施例。在一种可能的实现方式中，可以将各个手势检测周期的手势检测结果的平均值，作为手势检测维度上的中间检测结果。

在一种可能的实现方式中，在检测维度包括情绪检测维度的情况下，可以根据以下步骤得到目标对象在情绪检测维度上的中间检测结果：

根据视频数据，获取所述目标对象在情绪检测周期内的表情检测结果和/或微笑检测结果，其中，表情检测结果包括基于目标对象的表情所确定的情绪结果，微笑检测结果包括目标对象的微笑强度；

根据至少一个情绪检测周期中目标对象的表情检测结果和/或微笑检测结果，得到目标对象在情绪检测维度上的中间检测结果。

其中，情绪检测周期的实现形式可以参考上述公开实施例中手势检测周期的实现形式，在此不再赘述。情绪检测周期的长度可以与手势检测周期长度相同，也可以不同，根据实际情况灵活选择即可。在一个示例中，可以将情绪检测周期设定为与手势检测周期相同，均为一分钟。

表情检测结果可以是通过对目标对象进行表情检测，所确定的情绪结果，比如目标对象的情绪为开心、平静或是忧伤等。其实现形式可以灵活设定，表情检测结果的获取方式与实现形式可以参考后续各公开实施例，在此先不做展开。

微笑检测结果则可以是通过对目标对象进行微笑检测，所确定的相关结果，其可以反映目标对象的微笑强度或微笑幅度等。其实现形式可以灵活设定，微笑检测结果的获取方式与实现形式可以参考后续各公开实施例，在此先不做展开。

进一步地，如何根据表情检测结果与微笑检测结果来得到目标对象在情绪检测维度上的中间检测结果，可以根据表情检测结果与微笑检测结果的实际情况所决定，同样可以详见后续各公开实施例。

在本公开实施例中，微笑检测与表情检测可以是两个相互独立的检测，二者虽然均可以用于表明目标对象的情绪状态，但二者是从两个不同的角度所实现的。基于表情检测结果与微笑检测结果来共同确定的中间检测结果，可以在情绪检测维度上，更全面和可靠地表明目标对象的情绪状态，从而提升最终得到的目标检测结果的全面性和可靠性。

具体地，如何获取目标对象在情绪周期内的表情检测结果，其实现形式可以根据实际情况灵活决定。在一种可能的实现方式中，根据视频数据，获取目标对象在情绪检测周期内的表情检测结果，可以包括：

在情绪检测周期内，对目标对象进行表情检测，确定目标对象展示至少一个目标表情的次数，得到表情检测结果；其中，目标表情包括高兴、平静以及其他中的一个或多个。

通过上述公开实施例可以看出，在一种可能的实现方式中，可以通过基于目标对象在情绪检测周期内展示不同目标表情的次数，来得到表情检测结果。其中，目标表情可以根据实际情况灵活设定，在一种可能的实现方式中，可以将目标表情设定为高兴、平静或其他等，在一种可能的实现方式中，也可以进一步对其他的表情进行细化，比如将目标表情设定为高兴、平静、忧伤或愤怒等。

情绪检测周期内目标表情的次数可以通过检测到包含目标表情的帧的数量来确定，在一种可能的实现方式中，情绪检测的检测帧率可以如手势检测的检测帧率一样，为某一固定值，则每个情绪检测周期内可以检测到的帧的数量是固定的，在一种可能的实现方式中，可以根据情绪检测周期内检测到每个目标表情的帧的数量，来确定情绪检测周期内目标对象展示每个目标表情的次数。在一种可能的实现方式中，还可以将情绪检测周期划分为多个情绪检测子周期，并将每个情绪检测子周期中，检测到帧数最多的目标表情，作为该情绪检测子周期的表情，从而基于每个情绪检测子周期的表情，来确定情绪检测周期中目标表情的次数。表3示出根据本公开一实施例的表情检测规则。

表3表情检测规则

从表3中可以看出，在情绪检测周期为一分钟的情况下，可以将一秒作为情绪检测子周期的长度，从而得到60个情绪检测子周期，接着在每秒钟内，可以对视频数据的每一帧分别进行表情检测，得到每一帧对应的目标表情，将该秒内帧数最多的目标表情作为该秒对应的目标表情，则每个检测周期内，可以得到不同目标表情的出现次数，这些次数相加之和为60。

具体对每帧进行表情检测的方式不受限定，在一种可能的实现方式中，可以通过具有表情检测功能的神经网络，实现对每帧图像的表情检测，即将每一帧图像输入到具有表情检测功能的神经网络，可以输出目标对象对应的目标表情。具有表情检测功能的神经网络的具体实现方式在本公开实施例中不做限定，根据实际情况灵活选择合适的神经网络即可。在一个示例中，可以通过调用human action SDK的人脸检测或人脸属性等模型，来实现目标对象的表情检测。

进一步地，在确定了情绪检测周期内每个目标表情的次数后，可以得到情绪检测周期的表情检测结果，具体如何将不同目标表情的次数转换为表情检测结果，其映射规则可以根据实际情况灵活决定，不局限于下述公开实施例。表4示出根据本公开一实施例的情绪检测结果对应规则。

表4情绪检测结果对应规则

其中，表情得分对应上述公开实施例中的表情检测结果，微笑得分对应上述公开实施例中的微笑检测结果。如表4所示，在一个示例中，可以将情绪检测周期内不同的目标表情记录为不同的分值，比如可以将高兴记为10分，平静记为5分，其他记为0分等，然后将情绪检测周期内目标表情的平均分作为情绪检测周期的表情检测结果。

通过在情绪检测周期内，对目标对象进行表情检测，确定目标对象展示至少一个目标表情的次数，得到表情检测结果，可以基于目标对象在情绪检测周期内出现的多种不同目标表情，来得到较为全面和可靠的表情检测结果，从而可以更加准确地反应目标对象的情绪，提升情绪检测结果的准确性。

同理，如何获取目标对象在情绪周期内的微笑检测结果，其实现形式也可以根据实际情况灵活决定。在一种可能的实现方式中，根据视频数据，获取目标对象在情绪检测周期内的微笑检测结果，可以包括：

在情绪检测周期内，根据视频数据的至少一帧，对目标对象进行微笑检测，得到与至少一帧对应的微笑检测结果；

根据与至少一帧对应的微笑检测结果，确定目标对象在情绪检测周期内的微笑检测结果。

通过上述公开实施例可以看出，在一种可能的实现方式中，可以在情绪检测周期内，对情绪检测周期中视频数据的每一帧进行微笑检测，然后基于其中部分帧或每一帧的微笑检测结果求取平均值，来得到目标对象在情绪检测周期内的微笑检测结果。

在一种可能的实现方式中，也可以参考表情检测的实现方式，将情绪检测周期划分为多个情绪检测子周期，并将每个情绪检测子周期中，然后来基于每个情绪检测子周期的微笑检测结果，来得到情绪检测周期的微笑检测结果。情绪检测周期的划分方式可以参考上述公开实施例，在此不再赘述。每个情绪检测子周期内的微笑检测结果的确定方式可以根据实际情况灵活决定，表5示出根据本公开一实施例的微笑检测规则。

表5微笑检测规则

从表中可以看出，在一个示例中，可以将情绪检测周期按照秒进一步划分为多个情绪检测子周期，在每个情绪检测子周期中，可以对该情绪检测子周期内的每一帧进行微笑检测，然后将所有帧的微笑检测结果的平均值，作为该情绪检测子周期的微笑检测结果。

对每一帧图像进行微笑检测的方式在本公开实施例中也不做限制，在一种可能的实现方式中，可以将帧图像通过具有微笑检测功能的神经网络，来输出该帧图像对应的微笑值。具有微笑检测功能的神经网络的实现方式在本公开实施例中不做限定，任何可以反映图像中目标对象微笑幅度或强度的神经网络，均可以作为具有微笑检测功能的神经网络的实现方式。

在将情绪检测周期划分为多个情绪检测子周期后，根据情绪检测子周期的微笑检测结果得到情绪检测周期的微笑检测结果的方式也可以灵活决定。从上述公开实施例中提到的表4可以看出，在一个示例中，可以将一分钟内60个微笑检测结果的平均值作为情绪检测周期的微笑检测结果，即可以通过情绪检测周期内情绪检测子周期的微笑检测结果平均值，来得到情绪检测周期的微笑检测结果。

通过根据情绪检测周期中不同帧的微笑检测结果，来得到情绪检测周期的微笑检测结果，可以减小部分帧微笑检测结果不准确的影响，使得得到的情绪检测周期内的微笑检测结果具有较高的可靠性，继而提升最终得到的目标检测结果的可靠性和精度。

在得到了情绪检测周期中的表情检测结果和微笑检测结果后，可以基于二者进一步得到目标对象在情绪检测维度上的中间检测结果。在一种可能的实现方式中，可以基于各个情绪检测周期内的表情检测结果和/或微笑检测结果，来得到各个情绪检测周期的情绪检测结果，再对不同的情绪检测周期的情绪检测结果进行平均，来得到目标对象在情绪检测维度上的中间检测结果。

目标对象在各个情绪检测周期内的情绪检测结果的获取方式不受限定，如表4所示，在一种可能的实现方式中，可以将情绪检测周期内表情检测结果与微笑检测结果的平均值作为该周期的情绪检测结果；在一种可能的实现方式中，也可以将情绪检测周期内表情检测结果与微笑检测结果进行加权平均，来得到该周期的情绪检测结果，表情检测结果与微笑检测结果的权重可以根据实际情况灵活设定，不局限于下述公开实施例，二者之和为1即可。在一个示例中，可以将表情检测结果的权重设置为1，微笑检测结果的权重设置为0，即可以直接将表情检测结果作为该情绪检测周期的情绪检测结果；在一个示例中，也可以将表情检测结果的权重设置为0，微笑检测结果的权重设置为1，即可以直接将微笑检测结果作为该情绪检测周期的情绪检测结果。

在一种可能的实现方式中，在检测维度包括目光交流检测维度的情况下，可以根据以下步骤得到目标对象在目光交流检测维度上的中间检测结果：

根据视频数据，对目标对象进行人脸角度检测，确定目标对象的人脸角度在人脸角度阈值内的时间，作为人脸角度检测结果；

根据视频数据，对目标对象进行闭眼检测，确定目标对象执行闭眼操作的时间，作为闭眼检测结果；

根据人脸角度检测结果与闭眼检测结果，确定目标对象的人脸角度在人脸角度阈值内且未执行闭眼操作的时间长度；

根据时间长度，得到目标对象在目光交流检测维度上的中间检测结果。

通过上述公开实施例可以看出，在一种可能的实现方式中，对目标对象在目光交流检测维度上进行的检测，可以由两部分构成，分别为人脸角度检测与闭眼检测，在本公开实施例中，可以通过人脸角度检测，确定目标对象的人脸朝向，如果目标对象的人脸朝向在人脸角度阈值内，则可以认为目标对象的观看角度在目光交流的范围之内。其中，人脸角度阈值的具体数值可以根据实际情况灵活设定，在一种可能的实现方式中，人脸角度阈值可以为静态值，即在视频数据中的任意时间段，人脸角度阈值的数值均不发生变化；在一种可能的实现方式中，人脸角度阈值也可以设置为动态值，即根据目标对象在视频数据中位置的变化灵活进行改变等。

然而在一些可能的情况下，目标对象观看的角度虽然在目光交流的范围之内，但是其可能仅仅为人脸的习惯性摆动，而非与需要交流的对象进行目光交流。因此，在本公开实施例中，还可以对目标对象进一步进行闭眼检测，来判断目标对象是否处于闭眼状态，如果目标对象观看的角度在目光交流的范围之内，且目标对象处于睁眼状态(即非闭眼状态)，则可以认为目标对象当前执行了目光交流动作。因此，在一种可能的实现方式中，可以通过人脸角度检测与闭眼检测，确定目标对象的人脸角度在人脸角度阈值内且未执行闭眼操作的时间长度，根据该时间长度在视频数据中的时间占比，来得到目标对象在目光交流检测维度上的中间检测结果。

通过人脸角度检测与闭眼检测，来确定目标对象的人脸角度在人脸角度阈值内且未执行闭眼操作的时间长度，继而得到目标对象在目光交流检测维度上的中间检测结果，通过上述过程，可以在检测目光交流的过程中，既考虑目标对象是否处于目光交流的方向，又考虑目光对象是否在处于这一方向时发生了闭眼的操作，来综合评判目标对象的目光交流程度，大大提升目光交流检测维度上中间检测结果的准确性，继而提升后续得到目标检测结果的准确性。

进一步地，在一种可能的实现方式中，为了增加在目光交流检测维度上行为状态检测的准确性，可以参考上述各公开实施例，设定一个目光交流检测周期，从而确定目标对象在每个目光检测周期中，人脸角度在人脸角度阈值内且未执行闭眼操作的时间长度，来得到至少一个目光交流检测周期的中间检测结果，再基于至少一个目光交流检测周期的中间检测结果，得到目标对象在目光交流检测维度上的中间检测结果。

其中，目光交流检测周期的实现形式可以参考上述各公开实施例中的手势检测周期与情绪检测周期，在此不再赘述。在一种可能的实现方式中，可以设定目光交流检测周期的长度为一分钟。

具体地，在每个目光交流检测周期中，进行人脸角度检测的过程可以参考手势检测的过程，因此，在一种可能的实现方式中，在目光交流检测周期内进行人脸角度检测的过程可以包括：

获取视频数据在目光交流检测周期内的至少一个人脸角度检测帧序列；

在人脸角度检测帧序列中，人脸角度在人脸角度阈值内的帧的数量超过第三阈值的情况下，将人脸角度检测帧序列中的至少一帧记录为人脸朝向开始帧；

在位于人脸朝向开始帧以后的人脸角度检测帧序列中，人脸角度在人脸角度阈值以外的帧的数量超过第四阈值的情况下，将位于人脸朝向开始帧以后的人脸角度检测帧序列中的至少一帧记录为人脸朝向结束帧；

根据人脸朝向开始帧与人脸朝向结束帧的数量与时间，得到目标对象在目光交流周期内，人脸角度位于人脸角度阈值内的时间。

其中，人脸角度检测帧序列的获取方式可以参考手势检测帧序列，人脸朝向开始帧的确定方式可以参考手势开始帧，人脸朝向结束帧的确定方式可以参考手势结束帧，在此均不再赘述。第三阈值与第四阈值可以是根据实际情况灵活设定的数值，可以与第一阈值和第二阈值相同，也可以不同，根据实际情况灵活设定即可。人脸角度的检测方式可以根据实际情况灵活确定，在一种可能的实现方式中，可以将每一帧图像输入至具有人脸角度检测功能的神经网络中，实现人脸角度检测，其中，具有人脸角度检测功能的神经网络的实现形式在本公开实施例中不做限定，在一个示例中，可以通过调用human action SDK中的人脸检测或人脸跟踪等模型，来得到可以进行人脸角度检测的神经网络。表6示出根据本公开一实施例的人脸角度检测规则。

表6人脸角度检测规则

其中，观看阈值可以对应上述公开实施例中的人脸角度阈值，观看检测周期可以对应上述公开实施例中的人脸角度检测帧序列，观看规则阈值可以对应上述公开实施例中的第三阈值与第四阈值，观看事件开始时间可以对应上述公开实施例中的人脸朝向开始帧的时间，观看事件结束时间可以对应上述公开实施例中的人脸朝向结束帧的时间。如表6所示，在一个示例中，人脸角度阈值可以包含四个参数，分别为正偏航角、负偏航角、正俯仰角与负俯仰角，其具体数值可以根据实际情况灵活确定，其中偏航角与俯仰角可以根据人脸角度检测中设定的坐标系所灵活确定，正负可以用来代表这些角度的方向等，则在检测到某帧图像中的人脸角度分别在这四个参数所共同确定的范围的情况下，可以认为该帧中人脸角度在人脸角度阈值内；人脸角度检测的检测帧率可以设定为10FPS，人脸角度检测帧序列的长度可以设定为10，第三阈值与第四阈值均可以设定为8，即在一个人脸角度检测帧序列中，若人脸角度位于人脸角度阈值内的帧的数量不小于8，则可以将其中人脸角度位于人脸角度阈值内的第8帧作为人脸朝向开始帧，其对应的时间为人脸角度位于人脸角度阈值内的开始时间，同理可以确定人脸角度位于人脸角度阈值内的结束时间，继而得到目光交流周期中人脸角度在人脸角度阈值内的时间范围。

同理，在每个目光交流检测周期中，进行闭眼检测的过程可以参考上述手势检测与人脸角度检测的过程，因此，在一种可能的实现方式中，在目光交流检测周期内进行闭眼检测的过程可以包括：

获取视频数据在目光交流检测周期内的至少一个闭眼检测帧序列；

在闭眼检测帧序列中，检测到两眼均为闭眼状态的帧的数量超过第五阈值的情况下，将闭眼检测帧序列中的至少一帧记录为闭眼开始帧；

在位于闭眼开始帧以后的闭眼检测帧序列中，检测到两眼均不处于闭合状态或仅有一眼处于闭合状态的帧的数量超过第六阈值的情况下，将位于闭眼开始帧以后的闭眼检测帧序列中的至少一帧记录为闭眼结束帧；

根据闭眼开始帧与闭眼结束帧的数量与时间，得到目标对象在目光交流周期内处于闭眼状态的时间。

其中，闭眼检测帧序列的获取方式、闭眼开始帧与闭眼结束帧的确定方式可以均可以参考上述各公开实施例，在此均不再赘述。第五阈值与第六阈值可以是根据实际情况灵活设定的数值，可以与上述中提到的各阈值相同，也可以不同，根据实际情况灵活设定即可。检测目标对象是否闭眼的方式可以根据实际情况灵活确定，在一种可能的实现方式中，可以将每一帧图像输入至具有闭眼检测功能的神经网络中，实现闭眼检测，其中，具有闭眼检测功能的神经网络的实现形式在本公开实施例中不做限定，在一个示例中，可以通过调用human action SDK中的人脸检测或人脸属性等模型，来得到可以进行闭眼检测的神经网络。表7示出根据本公开一实施例的闭眼检测规则。

表7闭眼检测规则

其中，闭眼检测周期可以对应上述公开实施例中的闭眼检测帧序列，闭眼规则阈值可以对应上述公开实施例中的第五阈值与第六阈值，闭眼开始时间可以对应上述公开实施例中的闭眼开始帧的时间，闭眼事件结束时间可以对应上述公开实施例中的闭眼结束帧的时间。如表7所示，在一个示例中，可以将目标对象双眼均闭合设定为闭眼状态，其余状态设定为非闭眼状态；闭眼检测的检测帧率可以设定为10FPS，闭眼检测帧序列的长度可以设定为10，第五阈值可以设定为6，第六阈值可以设定为8，即在一个闭眼检测帧序列中，若检测到处于闭眼状态的帧的数量不小于6，则可以将处于闭眼状态的第1帧作为闭眼开始帧，其对应的时间为闭眼开始时间，同理在闭眼开始时间以后的闭眼检测帧序列中，若检测到处于非闭眼的状态的帧的数量不小于8，则可以将处于非闭眼状态的第1帧作为闭眼结束帧，从而可以确定闭眼结束时间，继而得到目光交流周期中目标对象处于闭眼状态的时间范围。

在分别确定了目光交流周期中目标对象的人脸在人脸角度阈值内的时间范围与目标对象处于闭眼状态的时间范围以后，可以进一步得到目光交流周期中目标对象的人脸在人脸角度阈值内且不处于闭眼的时间范围，即目光交流周期中目标对象进行目光交流的时间范围，继而确定目光交流周期的中间检测结果。具体如何将目标对象在目光交流周期中的目光交流时间范围映射为中间检测结果，其映射规则可以根据实际情况灵活设定，不局限于下述公开实施例。

表8示出根据本公开一实施例的目光交流检测结果的规则，其中目光交流评分周期可以对应上述公开实施例中的目光交流检测周期，目光交流评分可以对应上述公开实施例中目光交流检测维度上的中间检测结果。

表8目光交流检测结果的规则

从表8中可以看出，在一个示例中，可以将目光交流检测周期中目光交流的时间占比，按照一定规则映射为分值，来作为该目光交流检测周期中，目光交流检测维度上的中间检测结果。

同理，如上述各公开实施例所述，在一种可能的实现方式中，多媒体数据可以包含有音频数据，在这种情况下，步骤S12也可以根据音频数据来对目标对象进行行为状态检测。因此，在一种可能的实现方式中，步骤S12可以包括：

步骤S1221，对音频数据按照语句进行切分，得到至少一个音频子数据；

步骤S1222，对至少一个音频子数据，进行流利度、语速、停顿以及音量中至少一个检测维度上的行为状态检测，得到目标对象在至少一个检测维度上的中间检测结果。

其中，对音频数据按照语句进行切分的实现方式在本公开实施例中不做限制，不局限于下述公开实施例。在一种可能的实现方式中，可以通过具有音频数据中文本识别的音频数据识别神经网络，对音频数据进行识别，从而得到音频数据中每个句子的识别结果，比如音频数据中的各个句子、各句子所包含的词、各句的起始时间戳、各句的时间长度、词的起始时间戳以及词的时间长度等。音频数据识别神经网络的具体实现方式可以灵活决定，任何可以对音频数据进行识别的神经网络均可以作为音频数据识别神经网络的实现方式。

对音频数据按照语句切分后，可以得到一个或多个音频子数据，音频子数据的实现方式及包含的内容可以根据音频数据的实际切分情况灵活决定，在一种可能的实现方式中，在音频数据按照语句切分的情况下，得到的各个音频子数据可以分别对应音频数据中的各个完整句子。

在得到了音频子数据后，可以根据得到的音频子数据，对其中部分或每个音频子数据，进行行为状态检测。在本公开实施例中，对音频子数据的检测也可以是在不同维度上进行的检测，比如可以对其进行流利度、语速、停顿或是音量中的一个或多个检测等，具体选择哪些维度可以根据实际情况灵活决定，在本公开实施例中不做限定。

具体地，对音频子数据进行流利度、语速、停顿以及音量中至少一个维度的检测方式不受限定。在一种可能的实现方式中，可以通过训练得到具有不同功能的多个神经网络，比如流利度检测神经网络、语速检测神经网络、停顿检测神经网络以及音量检测神经网络等，将音频子数据输入到这些神经网络中，可以分别输出相应地流利度、语速、停顿与音量的检测结果等。上述各神经网络的具体实现形式可以根据实际情况进行灵活确定，在本公开实施例中不做限制。

在得到各个音频子数据在各个检测维度上的中间检测结果后，可以在每个检测维度下，对各个音频子数据的中间检测结果按照时长占比进行加权融合，从而将加权融合的结果作为完整的音频数据在各个检测维度下的中间检测结果。

在一种可能的实现方式中，在对音频数据进行检测之前，还可以将音频数据进行格式转码，使得后续的音频数据检测过程更易实现。转码的方式与转码后的格式可以根据实际的检测需求灵活决定，在一种可能的实现方式中，可以将音频数据转码为pcm格式(比如无压缩的pcm文件或者wav文件)或是16bit采样位数的单声道格式等。同理，在对视频数据进行检测之前，也可以将视频数据转码为合适的视频格式。

通过对音频数据按照语句切分，得到至少一个音频子数据，从而对至少一个音频子数据，进行流利度、语速、停顿以及音量中的一个或多个检测维度上的检测，通过上述过程，可以将对音频数据的检测过程，转化为对音频数据中各个子数据的检测过程，降低了检测难度和每次检测所需处理的数据量，从而提升音频数据的检测效率与检测精度，继而提升数据处理的效率和精度。

在基于上述任意公开实施例或是公开实施例的组合，来得到目标对象在多个检测维度上的中间检测结果以后，可以通过步骤S13，来对得到的中间检测结果进行处理，得到目标对象的目标检测结果。步骤S13的实现方式可以根据实际情况灵活决定，不局限于下述各公开实施例。

在一种可能的实现方式中，步骤S13可以包括：

按照检测维度的预设权重，对至少一个检测维度的中间检测结果进行合并，得到目标对象的目标检测结果。

通过上述公开实施例可以看出，在一种可能的实现方式中，可以对多媒体数据在手势、情绪、目光交流、流利度、语速、停顿以及音量中的一个或多个检测维度上进行检测，来分别得到各个检测维度上的中间检测结果。因此，相应地，可以将这些检测维度上的中间检测结果进行融合或合并，来得到目标检测结果。

融合或合并的过程可以根据实际情况灵活选择，如上述公开实施例所述，在一种可能的实现方式中，可以分别按照每个检测维度的预设权重，来将这些检测维度上的中间检测结果进行加权平均，来得到目标对象的目标检测结果。各个检测维度的预设权重的值可以根据实际需求灵活设定，在一种可能的实现方式中，可以对目标对象的状态评估具有较大影响的检测维度，设置较高的预设权重，在一种可能的实现方式中，也可以设置各检测维度的预设权重一致，在这种情况下，可以直接将各个检测维度上中间检测结果的平均值，作为目标对象的目标检测结果。

通过上述过程，可以基于各个检测维度的中间检测结果，得到最终的目标检测结果，由于预设权重可以根据行为状态平均的实际需求进行调整，因此得到的目标检测结果，可以较好地反应目标对象的行为状态，具有较高的可靠性。

上述公开实施例中已经提到，目标检测结果的实现形式可以灵活选择，比如可以同时包含一个总体的检测结果与多个详细的细分结果，用于同时反应目标对象行为状态的总体情况和详细情况。因此，在一种可能的实现方式中，步骤S13也可以包括：

步骤S131，根据音频子数据在音频数据中的时间，从多媒体数据包括的视频数据中确定与音频子数据对应的视频子数据；

步骤S132，根据预设权重，对音频子数据在至少一个检测维度上的中间检测结果，与对应的视频子数据在至少一个检测维度上的中间检测结果进行合并，得到至少一个所音频子数据或视频子数据的目标检测结果；

步骤S133，对至少一个音频子数据或视频子数据的目标检测结果进行合并，得到目标对象的目标检测结果。

如上述各公开实施例所述，在一种可能的实现方式中，多媒体数据可以同时包括视频数据与音频数据，其中，视频数据与音频数据之间可以是一一对应的，即二者可以是从包含有音频的数据中分别分离出来的。在对音频数据进行多维度的行为状态检测的过程中，可以对音频数据按照语句切分得到多个音频子数据，并分别得到音频子数据在流利度、语速、停顿以及音量等多个检测维度的中间检测结果。

因此，在一种可能的实现方式中，为了进一步得到这些音频子数据的目标检测结果，还可以进一步获取这些音频子数据在手势、情绪以及目光交流这些检测维度上的中间检测结果。具体的获取方式可以参考步骤S131，在一种可能的实现方式中，可以按照音频子数据在音频数据的切分方式，对视频数据进行切分，从而得到多个视频子数据，由于音频数据与视频数据对应，且二者切分方式相同，因此，得到的视频子数据与音频子数据一一对应。由于视频数据可以通过上述任意公开实施例进行行为状态检测，得到多个检测维度上的中间检测结果，进一步地，将这些中间检测结果按照切分的方式映射到各个视频子数据上，则可以得到各个视频子数据在至少一个检测维度上的中间检测结果。

在得到了各视频子数据在至少一个检测维度上的中间检测结果以后，可以根据视频子数据与音频子数据的对应关系，将视频子数据的各维度中间结果与音频子数据的各维度中间结果进行合并，得到各音频子数据的目标检测结果，由于音频子数据与视频子数据对应，因此该目标检测结果同时也可以是各视频子数据的目标检测结果。其中，合并的方式可以参考上述各公开实施例，在此不再赘述。

进一步地，在得到各音频子数据或视频子数据的目标检测结果后，还可以按照音频子数据或视频子数据的切分方式的逆方式，再次融合不同音频子数据或视频子数据的目标检测结果，来得到目标对象总体的目标检测结果。

通过上述过程，可以在得到目标对象的总体目标检测结果的同时，还得到目标对象在每个句子下的目标检测结果，从而更好地体现目标对象的行为状态，提升了目标检测结果的参考价值和利用范围。

图2示出根据本公开实施例的数据处理装置的框图。如图所示，所述数据处理装置20可以包括：

获取模块21，用于获取目标对象的多媒体数据；

检测模块22，用于根据所述多媒体数据，对所述目标对象在至少一个检测维度上进行行为状态检测，得到所述目标对象在至少一个检测维度上的中间检测结果；

处理模块23，用于对所述至少一个检测维度上的中间检测结果进行处理，得到所述目标对象的目标检测结果，其中，所述目标检测结果用于表示所述目标对象的行为状态。

在一种可能的实现方式中，所述多媒体数据包括视频数据；所述检测模块用于：从所述视频数据确定所述目标对象；对所述目标对象进行手势、情绪以及目光交流中至少一个检测维度上的行为状态检测，得到所述目标对象在所述至少一个检测维度上的中间检测结果。

在一种可能的实现方式中，所述至少一个检测维度包括手势检测维度；所述检测模块进一步用于：根据所述视频数据，获取所述目标对象在手势检测周期内执行至少一个目标手势的次数，得到所述手势检测周期的手势检测结果，其中，所述目标手势包括托手、举手以及举大拇指中的一个或多个；根据至少一个所述手势检测周期的所述手势检测结果，得到所述目标对象在手势检测维度上的中间检测结果。

在一种可能的实现方式中，所述检测模块进一步用于：获取所述视频数据在所述手势检测周期内的至少一个手势检测帧序列；在所述手势检测帧序列中，包含所述目标手势的帧的数量超过第一阈值的情况下，将所述手势检测帧序列中的至少一帧记录为手势开始帧；在位于所述手势开始帧以后的手势检测帧序列中，不包含所述目标手势的帧的数量超过第二阈值的情况下，将位于所述手势开始帧以后的手势检测帧序列中的至少一帧记录为手势结束帧；根据所述手势开始帧以及所述手势结束帧的数量，得到所述目标对象在手势检测周期内执行至少一个目标手势的次数。

在一种可能的实现方式中，所述至少一个检测维度包括情绪检测维度；所述检测模块进一步用于：根据所述视频数据，获取所述目标对象在情绪检测周期内的表情检测结果和/或微笑检测结果，其中，所述表情检测结果包括基于所述目标对象的表情所确定的情绪结果，所述微笑检测结果包括所述目标对象的微笑强度；根据至少一个所述情绪检测周期中所述目标对象的表情检测结果和/或微笑检测结果，得到所述目标对象在情绪检测维度上的中间检测结果。

在一种可能的实现方式中，所述检测模块进一步用于：在所述情绪检测周期内，对所述目标对象进行表情检测，确定所述目标对象展示至少一个目标表情的次数，得到所述表情检测结果；其中，所述目标表情包括高兴、平静以及其他中的一个或多个。

在一种可能的实现方式中，所述检测模块进一步用于：在所述情绪检测周期内，根据所述视频数据的至少一帧，对所述目标对象进行微笑检测，得到与至少一帧对应的微笑检测结果；根据所述与至少一帧对应的微笑检测结果，确定所述目标对象在所述情绪检测周期内的微笑检测结果。

在一种可能的实现方式中，所述至少一个检测维度包括目光交流检测维度；所述检测模块进一步用于：根据所述视频数据，对所述目标对象进行人脸角度检测，确定所述目标对象的人脸角度在人脸角度阈值内的时间，作为人脸角度检测结果；根据所述视频数据，对所述目标对象进行闭眼检测，确定所述目标对象执行闭眼操作的时间，作为闭眼检测结果；根据所述人脸角度检测结果与所述闭眼检测结果，确定所述目标对象的人脸角度在人脸角度阈值内且未执行闭眼操作的时间长度；根据所述时间长度，得到所述目标对象在所述目光交流检测维度上的中间检测结果。

在一种可能的实现方式中，所述多媒体数据包括音频数据；所述检测模块用于：对所述音频数据按照语句进行切分，得到至少一个音频子数据；对所述至少一个音频子数据，进行流利度、语速、停顿以及音量中至少一个检测维度上的行为状态检测，得到所述目标对象在至少一个检测维度上的中间检测结果。

在一种可能的实现方式中，所述处理模块用于：按照所述检测维度的预设权重，对至少一个检测维度的所述中间检测结果进行合并，得到所述目标对象的目标检测结果。

在一种可能的实现方式中，所述处理模块用于：根据所述音频子数据在所述音频数据中的时间，从所述多媒体数据包括的视频数据中确定与所述音频子数据对应的视频子数据；根据预设权重，对所述音频子数据在至少一个检测维度上的中间检测结果，与对应的所述视频子数据在至少一个检测维度上的中间检测结果进行合并，得到至少一个所述音频子数据或所述视频子数据的目标检测结果；对至少一个所述音频子数据或所述视频子数据的目标检测结果进行合并，得到所述目标对象的目标检测结果。

在一种可能的实现方式中，所述多媒体数据通过所述目标对象根据预设文本数据进行教学操作所获得，其中，所述预设文本数据包括至少一个指令标记，所述指令标记用于划分和/或标注所述预设文本数据的至少部分内容。

应用场景示例

教师模课，即教师模拟上课，可以是若干个老师在线下场景中面对面，分别进行模拟上课并相互给出评价。随着在线教学的发展，模课也可以同样转为线上模课，即教师可以通过终端设备(如手机、电脑等)，对模拟上课的过程进行录制或直播。

模课可以帮助教师对正式上课的过程进行预演，模课的评价对于教师的教学工作具有较高的指导价值。因此，一个可靠性较高的模课方法，可以有效应用于教师的在线模课过程中，对教师的正式教学起到较好的辅助作用。

本公开应用示例提出了一套教师模课系统，该系统可以通过上述公开实施例中提出的数据处理方法，来实现对教师模课行为状态的有效评估。

本公开实施例中提出的教师模课系统，可以包括客户端(如手机、电脑、用户设备等)与服务端(如本地服务器或是云端服务器等)两部分，教师可以在客户端进行模课过程的录制或直播，并将录制或直播的结果作为多媒体数据上传至服务端，服务端可以接收客户端上传的多媒体数据，并通过上述各公开实施例的数据处理方法，对多媒体数据进行处理，从而得到目标对象的目标检测结果。

其中，教师在客户端进行模课的过程可以包括：

客户端可以通过展示界面，显示模课过程的四个部分，分别是：课前热身、知识讲授、课中训练以及课堂检测。每个部分在展示界面中对应一个tap，教师可以通过点击tap进入到该部分。在教师点击tap的过程中，服务器可以采集教师点击各tap的时间戳，从而将教师录制的多媒体数据对应到四个部分中的一个或多个。

教师可以根据已有的逐字稿(即上述公开实施例中的预设文本数据)，进行模课。其中，逐字稿可以为txt格式文本文件，逐字稿可以包含指令标记，该指令标记可以对逐字稿进行结构化标注以及知识点与互动标注，从而可以将逐字稿划分为上述四部分，并在每个部分中，在合适的位置提示教师做出互动，包括语音内容和互动手势等。

其中，结构化标注可以将逐字稿按照模课的不同部分进行划分，在本公开应用示例中，逐字稿可以用特定的开始和结束指令标识标注4个部分(课前热身、知识讲授、课中训练、课堂检测)的开始和结束环节。

在一个示例中，可以用<开始指令开始><开始指令结束>；<结束指令开始>、<结束指令结束>分别标注对应指令，从而可以根据结构化标注的指令标记，判断识别教师当前讲述内容所对应的部分。在本公开应用示例中，结构标注的指令标记的具体实现形式可以参考上述公开实施例。

知识点与互动标注可以标注出逐字稿中的模课知识点和互动位置，在本公开应用示例中，可以用<重点开始><重点结束>分别标注重点内容，从而便于检测模课过程中的中点段落。如模课过程中需要有互动，在逐字稿的对应授课内容中用<需加入互动>标识。在本公开应用示例中，知识点与互动标注的指令标记的具体实现形式可以参考上述公开实施例。

在本公开应用示例中，教师在利用逐字稿进行模课的同时，可以通过客户端录制该模课过程，从而得到该教师的多媒体数据，并上传至服务端。

服务端对客户端上传的多媒体数据进行数据处理的过程可以包括：

多媒体数据的获取：

服务端通过发起请求来获取待处理的多媒体数据，其中，服务端发起的请求可以包括多媒体数据(比如MP4文件)的URL链接、vendeeID、teacherID、模课ID、多媒体数据结构(即该多媒体数据按照模课过程被划分成的各部分，以及每个部分的起始时间戳和结束时间戳)、视频检测帧率等。在本公开应用示例中，在多媒体数据包括视频数据的情况下，该视频的分辨率可以包括多种形式，如640p、720p或是1080p等，在多媒体数据包括音频数据的情况下，该音频数据可以包括多种音频采样率，比如8000Hz或是16000Hz等。此外，在教师通过客户端进行模课直播的情况下，服务端还可以实时获取多媒体数据(即视音频数据)。

多媒体数据预处理(如视频转码或音频转码等)：

服务端可以从获得的多媒体数据中分离出视频流与音频流，并分别转码成视频检测、语音识别或语音评测所支持的格式。比如，可以将分离出的音频流转换为pcm(无压缩的pcm文件或者wav文件)或是16bit采样位数的单声道格式。

视频检测：

在本公开应用示例中，可以调用human action SDK的人脸检测、人脸跟踪、人脸属性和手势检测模型，以及调用insight SDK的人体检测和举手检测模型，对视频数据进行多维度检测。在本公开应用示例中，对视频数据的多维度检测可以包括手势检测、情绪检测以及目光交流检测等。

其中，手势检测可以反映出教师模课的互动度。手势检测可以支持三种手势的检测，分别为：托手(请某个学生回答问题)、举手(提示学生回答提问)以及举大拇指(点赞)，检测方式可以利用手势检测的神经网络进行检测，从而可以输出每个手势的次数以及每个手势检测的时间戳。手势检测的具体实现方式可以参考上述各公开实施例，得到手势检测维度上的中间检测结果的规则可以参考上述公开实施例中的表1与表2，在此不再赘述。

情绪检测可以反映出教师模课的亲和度，其可以包含两个方面，分别是表情检测和微笑检测。其中，表情检测可以通过表情检测的神经网络来检测，在单帧检测结果的基础上，按情绪检测周期(暂定为分钟)输出表情检测结果，示例性的规则可以为：在情绪检测周期内检测次数最多的表情，可以作为该情绪检测周期的表情检测结果。

同理，微笑检测可以在单帧检测结果的基础上，按情绪检测周期(暂定为分钟)输出微笑检测结果，示例性的规则可以为：在情绪检测周期内所有单帧微笑检测结果的算数平均值，可以作为该情绪检测周期的微笑检测结果。

表情检测与微笑检测的具体实现方式可以参考上述各公开实施例，得到情绪检测维度上的中间检测结果的规则可以参考上述公开实施例中的表3至表5，在此不再赘述。

目光交流检测可以反映出教师模课过程中与学生进行目光交流的情况，其可以包含两个方面，分别为人脸角度检测(headpose朝向)和闭眼检测。其中，可以将目光交流检测定义为目光交流事件，将人脸角度检测定义为观看事件，闭眼检测定义为闭眼事件，则目光交流事件可以为观看事件与非闭眼事件的交集。在本公开应用示例中，可以将目光交流事件的开始时间设定为在观看事件的时间范围内且不在闭眼事件的时间范围内的初始时间，将目光交流事件的结束时间设定为观看事件的结束时间或闭眼事件的开始时间。

人脸角度检测与闭眼检测的具体实现方式可以参考上述各公开实施例，得到目光交流检测维度上的中间检测结果的规则可以参考上述公开实施例中的表6至表8，在此不再赘述。

音频识别：

在本公开应用示例中，可以调用语音识别的相关识别模型，输入音频数据，从而实时获取语音识别结果，包括音频数据中的句子、句子中的词以及每个句子和每个词的起始时间戳和时长。

音频检测：

在本公开应用示例中，可以基于语音识别结果的每个句子的起始时间戳和时长，切分句子音频，获取并返回该句子音频的检测结果，包括：流利度、语速、停顿以及音量等。

通过音频识别以及音频检测，可以反映出教师模课过程中在流利度、语速和音量等维度上的中间检测结果。在本公开应用示例中，音频检测可以支持中文语音识别，来用于非英语类学科课程的模课评价；也可以支持中英混读的语音识别，来用于英语类课程的模课评价。

其中，音频识别可以调用语音识别相关的神经网络模型，实时返回识别结果，识别结果分为句子和句子中的词，通过音频检测，可以对语音识别返回的句子，得到上述各维度的检测结果，进一步地，还可以增加针对段落的音频检测。

生成目标检测结果：

目标检测结果可以包括整体目标检测结果与细分目标检测结果，其中，整体目标检测结果可以包括：互动、流畅度、语速以及音量，其中互动可以进一步划分为手势互动、情绪互动以及目光交流互动等，图3示出根据本公开一应用示例的目标检测结果示意图，从图中可以看出，整体目标检测结果可以包含基于各维度的中间检测结果所计算出的总体评分，以及各维度的中间检测结果的评分等。需要注意的是，图3仅为展示目标检测结果的一示例性示意图，在实际应用过程中，可以根据实际需求，以任意形式对目标检测结果进行可视化展示。

细分目标检测结果可以是基于语音识别的每个句子所输出的检测结果，在一个示例中，细分目标检测结果可以包括：句子ID、句子文本、句子起始时间戳、句子时长、句子流利度、句子语速、句子音量、句子手势(支持多个手势)、句子表情以及句子微笑值等。

本公开应用示例中提出的系统，除了可以应用于教师模课分析外，还可以应用于其他相关领域，比如教师的正式教学分析，或是对教师应聘者进行试讲评估等。

可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性计算机可读存储介质或非易失性计算机可读存储介质。

本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为上述方法。

在实际应用中，上述存储器可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器提供指令和数据。

上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。

电子设备可以被提供为终端、服务器或其它形态的设备。

基于前述实施例相同的技术构思，本公开实施例还提供了一种计算机程序，该计算机程序被处理器执行时实现上述方法。

图4是根据本公开实施例的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。

参照图4，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关人员信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。

图5是根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图5，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。

电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态人员信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (15)

1.一种数据处理方法，其特征在于，包括：

获取目标对象的多媒体数据；

根据所述多媒体数据，对所述目标对象在至少一个检测维度上进行行为状态检测，得到所述目标对象在至少一个检测维度上的中间检测结果；

对所述至少一个检测维度上的中间检测结果进行处理，得到所述目标对象的目标检测结果，其中，所述目标检测结果用于表示所述目标对象的行为状态。

2.根据权利要求1所述的方法，其特征在于，所述多媒体数据包括视频数据；

所述根据所述多媒体数据，对所述目标对象在至少一个检测维度上进行行为状态检测，得到所述目标对象在至少一个检测维度上的中间检测结果，包括：

从所述视频数据确定所述目标对象；

对所述目标对象进行手势、情绪以及目光交流中至少一个检测维度上的行为状态检测，得到所述目标对象在所述至少一个检测维度上的中间检测结果。

3.根据权利要求2所述的方法，其特征在于，所述至少一个检测维度包括手势检测维度；

根据以下步骤得到所述目标对象在所述手势检测维度上的中间检测结果：

根据所述视频数据，获取所述目标对象在手势检测周期内执行至少一个目标手势的次数，得到所述手势检测周期的手势检测结果，其中，所述目标手势包括托手、举手以及举大拇指中的一个或多个；

根据至少一个所述手势检测周期的所述手势检测结果，得到所述目标对象在手势检测维度上的中间检测结果。

4.根据权利要求3所述的方法，其特征在于，所述根据所述视频数据，获取所述目标对象在手势检测周期内执行至少一个目标手势的次数，包括：

获取所述视频数据在所述手势检测周期内的至少一个手势检测帧序列；

在所述手势检测帧序列中，包含所述目标手势的帧的数量超过第一阈值的情况下，将所述手势检测帧序列中的至少一帧记录为手势开始帧；

在位于所述手势开始帧以后的手势检测帧序列中，不包含所述目标手势的帧的数量超过第二阈值的情况下，将位于所述手势开始帧以后的手势检测帧序列中的至少一帧记录为手势结束帧；

根据所述手势开始帧以及所述手势结束帧的数量，得到所述目标对象在手势检测周期内执行至少一个目标手势的次数。

5.根据权利要求2至4中任意一项所述的方法，其特征在于，所述至少一个检测维度包括情绪检测维度；

根据以下步骤得到目标对象在所述情绪检测维度上的中间检测结果：

根据所述视频数据，获取所述目标对象在情绪检测周期内的表情检测结果和/或微笑检测结果，其中，所述表情检测结果包括基于所述目标对象的表情所确定的情绪结果，所述微笑检测结果包括所述目标对象的微笑强度；

根据至少一个所述情绪检测周期中所述目标对象的表情检测结果和/或微笑检测结果，得到所述目标对象在情绪检测维度上的中间检测结果。

6.根据权利要求5所述的方法，其特征在于，所述根据所述视频数据，获取所述目标对象在情绪检测周期内的表情检测结果，包括：

在所述情绪检测周期内，对所述目标对象进行表情检测，确定所述目标对象展示至少一个目标表情的次数，得到所述表情检测结果；其中，所述目标表情包括高兴、平静以及其他中的一个或多个。

7.根据权利要求5或6所述的方法，其特征在于，所述根据所述视频数据，获取所述目标对象在情绪检测周期内的微笑检测结果，包括：

在所述情绪检测周期内，根据所述视频数据的至少一帧，对所述目标对象进行微笑检测，得到与至少一帧对应的微笑检测结果；

根据所述与至少一帧对应的微笑检测结果，确定所述目标对象在所述情绪检测周期内的微笑检测结果。

8.根据权利要求3至7中任意一项所述的方法，其特征在于，所述至少一个检测维度包括目光交流检测维度；

根据以下步骤得到所述目标对象在所述目光交流检测维度上的中间检测结果：

根据所述视频数据，对所述目标对象进行人脸角度检测，确定所述目标对象的人脸角度在人脸角度阈值内的时间，作为人脸角度检测结果；

根据所述视频数据，对所述目标对象进行闭眼检测，确定所述目标对象执行闭眼操作的时间，作为闭眼检测结果；

根据所述人脸角度检测结果与所述闭眼检测结果，确定所述目标对象的人脸角度在人脸角度阈值内且未执行闭眼操作的时间长度；

根据所述时间长度，得到所述目标对象在所述目光交流检测维度上的中间检测结果。

9.根据权利要求2至8中任意一项所述的方法，其特征在于，所述多媒体数据包括音频数据；

所述根据所述多媒体数据，对所述目标对象在至少一个检测维度上进行行为状态检测，得到所述目标对象在至少一个检测维度上的中间检测结果，包括：

对所述音频数据按照语句进行切分，得到至少一个音频子数据；

对所述至少一个音频子数据，进行流利度、语速、停顿以及音量中至少一个检测维度上的行为状态检测，得到所述目标对象在至少一个检测维度上的中间检测结果。

10.根据权利要求1至9中任意一项所述的方法，其特征在于，所述对所述至少一个检测维度上的中间检测结果进行处理，得到所述目标对象的目标检测结果，包括：

按照所述检测维度的预设权重，对至少一个检测维度的所述中间检测结果进行合并，得到所述目标对象的目标检测结果。

11.根据权利要求9所述的方法，其特征在于，所述对所述至少一个检测维度上的中间检测结果进行处理，得到所述目标对象的目标检测结果，包括：

根据所述音频子数据在所述音频数据中的时间，从所述多媒体数据包括的视频数据中确定与所述音频子数据对应的视频子数据；

根据预设权重，对所述音频子数据在至少一个检测维度上的中间检测结果，与对应的所述视频子数据在至少一个检测维度上的中间检测结果进行合并，得到至少一个所述音频子数据或所述视频子数据的目标检测结果；

对至少一个所述音频子数据或所述视频子数据的目标检测结果进行合并，得到所述目标对象的目标检测结果。

12.根据权利要求1至11中任意一项所述的方法，其特征在于，所述多媒体数据通过所述目标对象根据预设文本数据进行教学操作所获得，其中，所述预设文本数据包括至少一个指令标记，所述指令标记用于划分和/或标注所述预设文本数据的至少部分内容。

13.一种数据处理装置，其特征在于，包括：

获取模块，用于获取目标对象的多媒体数据；

检测模块，用于根据所述多媒体数据，对所述目标对象在至少一个检测维度上进行行为状态检测，得到所述目标对象在至少一个检测维度上的中间检测结果；

处理模块，用于对所述至少一个检测维度上的中间检测结果进行处理，得到所述目标对象的目标检测结果，其中，所述目标检测结果用于表示所述目标对象的行为状态。

14.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至12中任意一项所述的方法。

15.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至12中任意一项所述的方法。

Images