CN116012954A - 行为识别方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请提供一种行为识别方法、装置、电子设备及计算机可读存储介质。该方法。该方法应用于在线考试系统中的服务器，先分别通过系统中的视频采集设备和考试终端获取目标考生的实时行为视频和实时操作数据，然后分别根据目标考生的实时考试数据对实时操作数据进行第一类型异常识别、对实时行为视频中识别到的实时语音内容进行第二类型异常识别，根据系统中考试终端的展示区域对实时行为视频中识别到的实时视线范围进行第三类型异常行为识别，并根据识别结果确定异常行为提醒参数。该方法结合考生的考试数据、操作数据、行为视频以及考试终端的展示区域对考生的异常行为进行了全面的识别，提高了识别的准确性。

Description

行为识别方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及在线考试技术领域，尤其涉及一种行为识别方法、装置、电子设备及计算机可读存储介质。

背景技术

随着互联网的高速发展，在线考试系统越来越普遍，其弊端也逐渐显现，例如作弊手段越来越多、越来越隐蔽等。

当前主要通过安排监考人或者监控摄像的方式以监视考生，实现作弊行为的识别。然而，对于一些特定场景的考试，无法安排监考人进行监视，且对于较为隐蔽的作弊行为，监考人也不易发现，容易出现漏判；同时，通过对监控摄像录制的监控视频进行识别的方式，也无法及时全面的识别出考生的作弊行为，容易出现误判或者漏判。

因此，当前考试中存在作弊行为识别结果不够全面和准确的技术问题，需要改进。

发明内容

本申请提供一种行为识别方法、装置、电子设备及计算机可读存储介质，用于缓解当前考试中存在的作弊行为识别结果不够全面和准确的技术问题。

为了解决上述技术问题，本申请提供以下技术方案：

本申请提供一种行为识别方法，应用于在线考试系统中的服务器，所述在线考试系统包括所述服务器、考试终端以及视频采集设备；该方法包括：

通过所述视频采集设备获取目标考生的实时行为视频；

通过所述考试终端获取所述目标考生的实时操作数据；

对所述实时行为视频进行识别，得到所述目标考生的实时视线范围和实时语音内容；

根据所述目标考生的实时考试数据对所述实时操作数据进行第一类型异常行为识别，得到第一类型异常行为；

根据所述目标考生的实时考试数据对所述实时语音内容进行第二类型异常行为识别，得到第二类型异常行为；

根据所述考试终端的展示区域对所述实时视线范围进行第三类型异常行为识别，得到第三类型异常行为；

根据所述第一类型异常行为、所述第二类型异常行为以及所述第三类型异常行为的识别结果，确定所述目标考生的异常行为提醒参数。

相应的，本申请还提供一种行为识别装置，应用于在线考试系统中的服务器，所述在线考试系统包括所述服务器、考试终端以及视频采集设备；该装置包括：

第一获取模块，用于通过所述视频采集设备获取目标考生的实时行为视频；

第二获取模块，用于通过所述考试终端获取所述目标考生的实时操作数据；

视频识别模块，用于对所述实时行为视频进行识别，得到所述目标考生的实时视线范围和实时语音内容；

第一行为识别模块，用于根据所述目标考生的实时考试数据对所述实时操作数据进行第一类型异常行为识别，得到第一类型异常行为；

第二行为识别模块，用于根据所述目标考生的实时考试数据对所述实时语音内容进行第二类型异常行为识别，得到第二类型异常行为；

第三行为识别模块，用于根据所述考试终端的展示区域对所述实时视线范围进行第三类型异常行为识别，得到第三类型异常行为；

提醒参数确定模块，用于根据所述第一类型异常行为、所述第二类型异常行为以及所述第三类型异常行为的识别结果，确定所述目标考生的异常行为提醒参数。

同时，本申请提供一种电子设备，其包括处理器和存储器，存储器用于存储计算机程序，处理器用于运行所述存储器里的计算机程序，以执行上述行为识别方法中的步骤。

此外，本申请还提供一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行上述行为识别方法中的步骤。

有益效果：本申请提供一种行为识别方法、装置、电子设备及计算机可读存储介质。具体地，该方法应用于在线考试系统中的服务器，该在线考试系统包括服务器、考试终端以及视频采集设备，该方法通过该视频采集设备获取目标考生的实时行为视频，并通过考试终端获取目标考生的实时操作数据，然后对实时行为视频进行识别，得到目标考生的实时视线范围和实时语音内容，接着根据目标考生的实时考试数据对实时操作数据进行第一类型异常行为识别得到第一类型异常行为，根据目标考生的实时考试数据对实时语音内容进行第二类型异常行为识别得到第二类型异常行为，根据考试终端的展示区域对实时视线范围进行第三类型异常行为识别得到第三类型异常行为，最后根据第一类型异常行为、第二类型异常行为以及第三类型异常行为的识别结果，确定目标考生的异常行为提醒参数。该方法结合目标考生的实时考试数据、实时行为视频、实时操作数据以及考试终端的展示区域，对目标考生在考试中的异常行为进行了全面的识别，通过细致化的识别方式，提高了识别的准确率，同时，根据确定的异常行为提醒参数对目标考生的异常行为进行了提醒，展示了在线考试系统的人性化监考。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。

图1是本申请实施例提供的在线考试系统的系统结构图。

图2是本申请实施例提供的行为识别方法的流程示意图。

图3是本申请实施例提供的视线偏移示意图。

图4是本申请实施例提供的异常提醒界面示意图。

图5是本申请实施例提供的行为识别装置的结构示意图。

图6是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含；本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行。

本申请提供一种行为识别方法、装置、电子设备及计算机可读存储介质，其中，该行为识别装置可以集成在电子设备中，该电子设备可以是服务器。

请参阅图1，图1是本申请实施例提供的在线考试系统的系统架构图，如图1所示，该系统可以包括终端以及设备，终端之间、设备之间、以及终端与设备之间通过各种网关组成的互联网等方式连接通信，其中，该在线考试系统中至少包括服务器101、考试终端102以及视频采集设备103：

服务器101可以是独立的服务器，也可以是服务器组成的服务器网络或者服务器集群；例如，本申请中所描述的服务器，其包括但不限于计算机、网络主机、存储服务器以及应用服务器或者多个服务器构成的云服务器，其中云服务器由基于云计算（CloudComputing）的大量计算机或者网络服务器构成。该服务器101主要用于存储和处理考生的实时操作数据、实时考试数据、实时行为视频等。

考试终端102指的是考生操作的终端，该终端可以是笔记本电脑、计算机等。需要说明的是根据考试场景的需要，考试终端102可以配备键盘、鼠标、电子画板等外设配件。

视频采集设备103包括设置于考场的摄像头、还包括考试终端自带的摄像头等。其中，设置于考场的摄像头用于采集考生的全局视频，考试终端自带的摄像头用于采集操作该考试终端的考生的特写视频。

服务器101、考试终端102以及视频采集设备103之间设有通信链路，以实现信息交互；通信链路的类型可以包括有线、无线通信链路或者光纤电缆等，本申请在此不做限制，其中：

视频采集设备获取目标考生的实时行为视频并发送至服务器，考试终端获取该目标考生的实时操作数据和实时考试数据并发送至服务器，服务器在接收到实时行为视频和实时操作数据后，对实时行为视频进行识别，得到目标考生的实时视线范围和实时语音内容，然后根据该实时考试数据对实时操作数据进行第一类型异常行为识别得到第一类型异常行为，根据该实时考试数据对实时语音内容进行第二类型异常行为识别得到第二类型异常行为，根据考试终端的展示区域对实时视线范围进行第三类型异常行为识别得到第三类型异常行为，最后根据第一类型异常行为、第二类型异常行为以及第三类型异常行为的识别结果，确定该目标考生的异常行为提醒参数，并在异常行为提醒参数满足预设提醒条件时，生成异常行为提醒内容，将其发送至考试终端，考试终端接收到该异常行为提醒内容后，将该内容展示在显示面板上，以使得该目标考生收到异常行为的提醒。

需要说明的是，图1所示的系统架构图仅仅是一个示例，本申请实施例描述的终端、设备以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

在本申请实施例中，请参阅图2所示，图2是本申请实施例提供的行为识别方法的流程示意图，该行为识别方法应用于在线考试系统中的服务器，该在线考试系统包括服务器、考试终端以及视频采集设备。该方法至少包括以下步骤：

S201：通过视频采集设备获取目标考生的实时行为视频。

在本申请实施例中，为了防止用户作弊，持续对目标考生的考试过程进行视频采集得到实时行为视频，以判断用户是否存在作弊等异常行为。具体的，视频采集设备将采集到的目标考生的实时行为视频发送至服务器，服务器接收到目标考生的实时行为视频后对其进行处理（例如对其进行三维融合处理等）。其中，视频采集设备可以包括宽视频区间摄像头，以克服畸变的问题；实时行为视频主要包括目标考生的正面监控视频，而正面监控视频指的是面向目标考生的脸拍摄的视频。

需要说明的是，实时行为视频的时间轴与考试过程是一一对应的，即，某一个时间点对应的考试界面中的考试数据是可以确定的。此外，为了进一步提高实时行为视频的精准度，在S201之前，还包括：目标考生通过考试终端登录在线考试系统，此时，视频采集设备包括设置在考试终端上的摄像头和第三方设备自带的摄像头，其中第三方设备自带的摄像头为目标考生在登录在线考试系统时，通过扫描等方式与在线考试系统进行绑定的第三方设备的摄像头，此时的实时行为视频可以包括视频采集设备将各自采集的视频发送至服务器，服务器对其进行三维融合后得到的三维视频。

S202：通过考试终端获取目标考生的实时操作数据。

对于目标考生的计算机操作行为，可以由目标考生操作的考试终端记录，然后由考试终端将目标考生的实时操作数据发送至服务器，服务器接收到目标考生的实时操作数据后对其进行处理。其中，实时操作数据指的是目标考生操作计算机产生的操作数据，其包括但不限于操作的类型和操作发生的时间点，对应的，目标考生的考试终端在采集目标考生的操作行为时，可以将操作类型和操作时间点对应地保存，例如以键值对的形式保存，其中，操作类型包括敲打键盘、点击鼠标等。

S203：对实时行为视频进行识别，得到目标考生的实时视线范围和实时语音内容。

在一种实施例中，S203具体包括：解析实时行为视频，得到实时图像和实时音频；对实时图像进行图像识别，得到目标考生的实时左眼视线和实时右眼视线；并根据实时左眼视线和实时右眼视线，确定目标考生的实时视线范围；对实时音频进行语音识别，得到目标考生的实时语音内容。其中，实时图像和实时音频均属于同一个实时行为视频，且两者之间是时序匹配的；实时视线范围指的是以目标考生为质点所确定的最大视线区域。

服务器对实时行为视频进行解析，例如按帧读取图像从而得到实时图像，按帧分离音频从而得到实时音频。在本申请实施例中，对实时图像进行图像识别的过程可以是将实时图像输入训练后的视线识别模型中进行视线识别处理，该训练后的视线识别模型的输出左眼对应的实时左眼视线和右眼对应的实时右眼视线，因此，将目标考生视为质点，根据实时左眼视线和实时右眼视线即确定到目标考生的实时视线范围；同时，将实时音频输入训练后的语音识别模型，即能得到目标考生的实时语音内容。

可选的，为了减小摄像头拍摄过程中产生的图像畸变对识别记过的影响，在对实时图像进行图像识别之前，还可以通过图像矫正模块对该实时图像进行矫正。其中，该图像矫正模块的训练过程包括：获取训练后的生成式对抗网络；其中，该生成式对抗网络包括图像判别模型和教师图像矫正模型；根据该教师图像矫正模型构建学生图像矫正模型；根据教师图像矫正模型对学生图像矫正模型进行知识蒸馏，得到图像矫正模型。其中，生成式对抗网络预先通过图像样本训练得到，并用于对出现畸变的图像进行矫正；预先训练好的生成式对抗网络中的判别器为图像判别模型，生成器为教师图像校矫正模型，教师图像矫正模型可以用于对畸变图像进行图像矫正。然而，由于教师图像矫正模型的参数量较大，无法在手机、USB摄像头等终端中实现独立、实时的矫正运算，因此，在获取到预先训练好的生成式对抗网络后，将生成式对抗网络中的教师图像矫正模型作为教师模型来构建其对应的学生模型，得到学生图像矫正模型。

进一步的，上述生成式对抗网络的训练过程包括：根据视频采集设备的内参数据和畸变系数构建图像样本集；根据该图像样本集对生成式对抗网络进行训练，得到训练后的生成式对抗网络。其中，图像样本集为用于训练生成式对抗网络的图像数据集，图像样本集由畸变图像和未畸变图像组成，畸变图像为未畸变图像在发生畸变后的图像。其中，畸变图像可以基于视频采集设备的内参数据和畸变系数对未畸变图像进行处理得到。

此外，在根据教师图像矫正模型构建学生图像矫正模型的过程中，可以对教师图像矫正模型进行剪枝、参数共享等方式来构建学生图像矫正模型，并使教师图像矫正模型来辅助学生图像矫正模型进行训练，从而实现将教师图像矫正模型学到的知识迁移至学生图像矫正模型中，进而使得蒸馏后的学生图像矫正模型（也即本申请中的图像矫正模型）具备与教师图像矫正模型一样的图像矫正的功能。

S204：根据目标考生的实时考试数据对实时操作数据进行第一类型异常行为识别，得到第一类型异常行为。

在一种实施例中，S204具体包括：根据目标考生的实时考试数据，确定与实时考试数据匹配的预设操作数据；判断预设操作数据与实时操作数据是否匹配；在预设操作数据与实时操作数据不匹配时，将实时操作数据对应的操作行为作为目标考生的第一类型异常行为。其中，实时考试数据也是考试终端采集并发送至服务器的，实时考试数据包括目标考生的当前的答题类型、题目和答题内容；第一类型异常行为指的是目标考生在当前题型下的实际计算机操作与预设计算机操作不匹配的操作行为。

具体的，考试终端将采集到的目标考生的实时考试数据发送至服务器，服务器根据该实时考试数据确定与之匹配的预设操作数据，例如，实时考试数据为主观题和文字类答题内容，则与之匹配的预设操作数据中的操作类型应该为敲打键盘，而当实时考试数据为选择题和字母类答题内容时，与之匹配的预设操作数据中的操作类型应该为点击鼠标；然后判断预设操作数据中的操作类型和实时操作数据中的操作类型是否一致，若一致，则匹配，若不一致，则不匹配；在预设操作数据和实时操作数据不匹配时，则说明此时目标考生存在操作异常行为（例如实时考试数据为主观题和文字类答题内容，目标考生应该进行敲打键盘的计算机操作，然而实时操作数据的操作类型为点击鼠标，则该点击鼠标的行为即为操作异常行为；又例如，实时考试数据为选择题和字母类答题内容，目标考生应该进行点击鼠标的计算机操作，然而实时操作数据的操作类型却为敲打键盘，则该敲打键盘的行为即为操作异常行为），并将此时实时操作数据对应的操作行为作为目标考生的第一类型异常行为。

需要说明的是，考试数据和预设操作数据可以对应地保存，例如以键值对的形式保存，或者以关联链表的形式进行保存。

S205：根据目标考生的实时考试数据对实时语音内容进行第二类型异常行为识别，得到第二类型异常行为。

在一种实施例中，S205具体包括：根据目标考生的实时考试数据，确定与实时考试数据匹配的预设关键词集合；提取实时语音内容中的实时关键词；在预设关键词集合中存在与实时关键词匹配的关键词时，将语音交流作为目标考生的第二类型异常行为。其中，第二类异常行为指的是目标考生发出了有关考题的语音内容的行为，例如发出有关考题的语音提醒。

具体的，服务器先根据实时考试数据中的题目和答题内容，确定与该实时考试数据匹配的预设关键词集合，同时，提取前述步骤获取的实时语音内容中的实时关键词，判断预设关键词集合中是否存在与该实时关键词对应的关键词，若是，则可以得到目标考生可能在与他人交流，或者通过语音提醒其他人答题的结论，此时，将语音交流作为目标考生的第二类型异常行为。

S206：根据考试终端的展示区域对实时视线范围进行第三类型异常行为识别，得到第三类型异常行为。

在一种实施例中，S206具体包括：根据考试终端的展示区域，确定与展示区域匹配的预设视线范围；获取预设视线偏移时长阈值；判断预设视线范围与实时视线范围是否匹配；在预设视线范围与实时视线范围不匹配时，获取实时视线范围的持续时长；在实时视线范围的持续时长超过预设视线偏移时长阈值时，将视线偏移作为目标考生的第三类型异常行为。其中，第三类异常行为指的是目标考生的视线落在展示区域外的时间过长的行为，此时，考生可能存在抄袭等与视线有关的作弊行为。

具体的，如图3所示，图3是本申请实施例提供的视线偏移示意图，服务器先根据考试终端的展示区域确定与之匹配的预设视线范围，并获取预设视线偏移时长阈值t_min，然后判断预设视线范围和实时视线范围是否匹配（即实时视线范围和预设视线范围相交的面积是否小于预设相交面积，若小于，则不匹配，若不小于，则匹配），在预设视线范围与实时视线范围不匹配时，获取实时视线范围的持续时长T，在实时视线范围的持续时长T超过预设视线偏移时长阈值t_min时（即T＞t_min），则认定目标考生的视线落在展示区域外的时间过长，并将视线偏移作为目标考生的第三类型异常行为。

需要说明的是，只有当用户的视线偏移超过预设视线偏移时长阈值时，才可能进行作弊行为。

S207：根据第一类型异常行为、第二类型异常行为以及第三类型异常行为的识别结果，确定目标考生的异常行为提醒参数。

根据步骤S204、S205以及S206分别对第一类型异常行为、第二类型异常行为以及第三类型异常行为进行了识别，与此同时，在确定为对应类型异常行为时，分别记录第一类型异常次数s1、第二类型异常次数s2以及第三类型异常次数s3，将三个类型异常次数相加（即s1+s2+s3）即能得到目标考生的异常行为提醒参数。其中，异常行为提醒参数指的是目标考生产生不同类型异常行为的综合次数。

在一种实施例中，在S207之后还包括：获取预设提醒条件；在异常行为提醒参数满足预设提醒条件时，根据第一类型异常行为、第二类型异常行为、第三类型异常行为以及异常行为提醒参数，生成异常行为提醒内容；将异常行为提醒内容发送至考试终端，以使得考试终端展示异常行为提醒内容。其中，预设提醒条件是指的是为了判断当前异常行为是否需要提醒而设立的条件。

具体的，为了避免误判，需要将S207确定的异常行为提醒参数与预设提醒条件进行对比，例如异常行为提醒参数超过预设提醒条件中的预设阈值（例如，3次），则根据目标考生产生的各类异常行为和异常行为提醒参数生成异常行为提醒内容，并将其发送至考试终端，以使得考试终端展示异常行为提醒内容。如图4所示，图4是本申请实施例提供的异常提醒界面示意图，该异常行为提醒内容是通过弹窗的形式展示在考试界面中的，其异常行为提醒内容可以包括考生信息、异常行为的名称以及异常行为提醒参数，例如“考生XXX，存在第一类型异常行为、第二类型异常行为，共计4次，特此提醒，请考生注意规范自己的考试行为，否则取消此次考试成绩”等。

在一种实施例中，在S207之后还包括：获取目标考生的考生信息；根据目标考生的实时考试数据、实时行为视频以及实时操作数据，生成数据证据；根据考生信息对数据证据进行标记，并存储至服务器的数据库中。

为了方便监管的复核、抽检、投诉处理等，本申请实施例还将前述步骤获取的实时考试数据、实时行为视频以及实时操作数据生成了数据证据，并通过目标考生的考生信息对其进行标记后，再存储至服务器的数据库中，提高了后续证据查询的速度。

可选的，本申请实施例还可以通过红外技术监测考试场景中出现的第三方摄像头（即除考场自己设立的摄像头之外的摄像头，例如考生携带的针孔摄像头等），在检测到第三方摄像头后，根据第三方摄像头所处的位置确定目标考生，并判断该目标考生存在作弊异常行为。

通过上述各实施例可知，本申请的行为识别方法根据目标考生的实时考试数据、实时行为视频、实时操作数据以及考试终端的展示区域，综合判断目标考生是否存在作弊异常行为，评判标准更全面，提高了识别的准确率，在识别多种行为后，对多种行为进行异常行为判断，可以有效减少误判和漏判，同时，根据确定的异常行为提醒参数对目标考生的异常行为进行了提醒，展示了在线考试系统的人性化监考。

基于上述实施例的内容，本申请实施例提供了一种行为识别装置，该装置应用于在线考试系统中的服务器，在线考试系统包括服务器、考试终端以及视频采集设备。具体地，请参阅图5，该装置包括：

第一获取模块501，用于通过所述视频采集设备获取目标考生的实时行为视频；

第二获取模块502，用于通过所述考试终端获取所述目标考生的实时操作数据；

视频识别模块503，用于对所述实时行为视频进行识别，得到所述目标考生的实时视线范围和实时语音内容；

第一行为识别模块504，用于根据所述目标考生的实时考试数据对所述实时操作数据进行第一类型异常行为识别，得到第一类型异常行为；

第二行为识别模块505，用于根据所述目标考生的实时考试数据对所述实时语音内容进行第二类型异常行为识别，得到第二类型异常行为；

第三行为识别模块506，用于根据所述考试终端的展示区域对所述实时视线范围进行第三类型异常行为识别，得到第三类型异常行为；

提醒参数确定模块507，用于根据所述第一类型异常行为、所述第二类型异常行为以及所述第三类型异常行为的识别结果，确定所述目标考生的异常行为提醒参数。

在一种实施例中，视频识别模块503包括：

视频解析模块，用于解析所述实时行为视频，得到实时图像和实时音频；

图像识别模块，用于对所述实时图像进行图像识别，得到所述目标考生的实时左眼视线和实时右眼视线；并根据所述实时左眼视线和所述实时右眼视线，确定所述目标考生的实时视线范围；

语音识别模块，用于对所述实时音频进行语音识别，得到所述目标考生的实时语音内容。

在一种实施例中，第一行为识别模块504包括：

第一确定模块，用于根据所述目标考生的实时考试数据，确定与所述实时考试数据匹配的预设操作数据；

第一判断模块，用于判断所述预设操作数据与所述实时操作数据是否匹配；

第一异常确定模块，用于在所述预设操作数据与所述实时操作数据不匹配时，将所述实时操作数据对应的操作行为作为所述目标考生的第一类型异常行为。

在一种实施例中，第二行为识别模块505包括：

第二确定模块，用于根据所述目标考生的实时考试数据，确定与所述实时考试数据匹配的预设关键词集合；

关键词提取模块，用于提取所述实时语音内容中的实时关键词；

第二异常确定模块，用于在所述预设关键词集合中存在与所述实时关键词匹配的关键词时，将语音交流作为所述目标考生的第二类型异常行为。

在一种实施例中，第三行为识别模块506包括：

第三确定模块，用于根据所述考试终端的展示区域，确定与所述展示区域匹配的预设视线范围；

阈值获取模块，用于获取预设视线偏移时长阈值；

第二判断模块，用于判断所述预设视线范围与所述实时视线范围是否匹配；

时长获取模块，用于在所述预设视线范围与所述实时视线范围不匹配时，获取所述实时视线范围的持续时长；

第三异常确定模块，用于在所述实时视线范围的持续时长超过所述预设视线偏移时长阈值时，将视线偏移作为所述目标考生的第三类型异常行为。

在一种实施例中，行为识别装置还包括：

条件获取模块，用于获取预设提醒条件；

内容生成模块，用于在所述异常行为提醒参数满足所述预设提醒条件时，根据所述第一类型异常行为、所述第二类型异常行为、所述第三类型异常行为以及所述异常行为提醒参数，生成异常行为提醒内容；

内容发送模块，用于将所述异常行为提醒内容发送至所述考试终端，以使得所述考试终端展示所述异常行为提醒内容。

在一种实施例中，行为识别装置还包括：

信息获取模块，用于获取所述目标考生的考生信息；

证据生成模块，用于根据所述目标考生的实时考试数据、所述实时行为视频以及所述实时操作数据，生成数据证据；

标记存储模块，用于根据所述考生信息对所述数据证据进行标记，并存储至所述服务器的数据库中。

区别于当前的技术，本申请提供的行为识别装置设置了第一行为识别模块、第二行为识别模块、第三行为识别模块以及提醒参数确定模块，通过第一行为识别模块、第二行为识别模块以及第三行为识别模块结合目标考生的实时考试数据和考试终端的展示区域，对目标考生在考试中的异常行为进行了全面的识别，通过细致化的识别方式，提高了识别的准确率，同时，通过提醒参数确定模块确定的异常行为提醒参数对目标考生的异常行为进行了提醒，展示了在线考试系统的人性化监考。

相应的，本申请实施例还提供一种电子设备，如图6所示，该电子设备可以包括有一个或者一个以上处理核心的处理器601、无线（WiFi，Wireless Fidelity)模块602、有一个或一个以上计算机可读存储介质的存储器603、音频电路604、显示单元605、输入单元606、传感器607、电源608、以及射频（RF，Radio Frequency）电路609等部件。本领域技术人员可以理解，图6中示出的电子设备的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器601是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器603内的软件程序和/或模块，以及调用存储在存储器603内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。在一种实施例中，处理器601可包括一个或多个处理核心；优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。

WiFi属于短距离无线传输技术，电子设备通过无线模块602可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了无线模块602，但是可以理解的是，其并不属于终端的必需构成，完全可以根据需要在不改变发明的本质的范围内而省略。

存储器603可用于存储软件程序以及模块，处理器601通过运行存储在存储器603的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器603可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据终端的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器603可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器603还可以包括存储器控制器，以提供处理器601和输入单元606对存储器603的访问。

音频电路604包括扬声器，扬声器可提供用户与电子设备之间的音频接口。音频电路604可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出。

显示单元605可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元605可包括显示面板，在一种实施例中，可以采用液晶显示器（LCD，LiquidCrystalDisplay）、有机发光二极管（OLED，OrganicLight-Emitting Diode）等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器601以确定触摸事件的类型，随后处理器601根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图6中，触敏表面与显示面板是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。

输入单元606可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元606可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作），并根据预先设定的程式驱动相应的连接装置。在一种实施例中，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器601，并能接收处理器601发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元606还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。

电子设备还可包括至少一种传感器607，比如光传感器，具体地，光传感器可包括环境光传感器及距离传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度；至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

电子设备还包括给各个部件供电的电源608（比如电池），优选的，电源可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源608还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

射频电路609可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器601处理；另外，将涉及上行的数据发送给基站。通常，射频电路609包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块（SIM，SubscriberIdentity Module）卡、收发信机、耦合器、低噪声放大器（LNA，LowNoise Amplifier）、双工器等。此外，射频电路609还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统（GSM，GlobalSystem of Mobile communication）、通用分组无线服务（GPRS，GeneralPacket Radio Service）、码分多址（CDMA，Code DivisionMultiple Access）、宽带码分多址（WCDMA，WidebandCode Division Multiple Access）、长期演进（LTE，Long TermEvolution)、电子邮件、短消息服务（SMS，Short MessagingService)等。

尽管未示出，电子设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器603中，并由处理器601来运行存储在存储器603中的应用程序，从而实现以下功能：

通过所述视频采集设备获取目标考生的实时行为视频；

通过所述考试终端获取所述目标考生的实时操作数据；

对所述实时行为视频进行识别，得到所述目标考生的实时视线范围和实时语音内容；

根据所述目标考生的实时考试数据对所述实时操作数据进行第一类型异常行为识别，得到第一类型异常行为；

根据所述目标考生的实时考试数据对所述实时语音内容进行第二类型异常行为识别，得到第二类型异常行为；

根据所述考试终端的展示区域对所述实时视线范围进行第三类型异常行为识别，得到第三类型异常行为；

根据所述第一类型异常行为、所述第二类型异常行为以及所述第三类型异常行为的识别结果，确定所述目标考生的异常行为提醒参数。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以实现上述行为识别方法的功能。

其中，该计算机可读存储介质可以包括：只读存储器（ROM，Read OnlyMemory）、随机存取记忆体（RAM，RandomAccess Memory）、磁盘或光盘等。

以上对本申请实施例所提供的行为识别方法、装置、电子设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种行为识别方法，其特征在于，应用于在线考试系统中的服务器，所述在线考试系统包括所述服务器、考试终端以及视频采集设备；所述方法包括：

通过所述视频采集设备获取目标考生的实时行为视频；

通过所述考试终端获取所述目标考生的实时操作数据；

对所述实时行为视频进行识别，得到所述目标考生的实时视线范围和实时语音内容；

根据所述目标考生的实时考试数据对所述实时操作数据进行第一类型异常行为识别，得到第一类型异常行为；

根据所述目标考生的实时考试数据对所述实时语音内容进行第二类型异常行为识别，得到第二类型异常行为；

根据所述考试终端的展示区域对所述实时视线范围进行第三类型异常行为识别，得到第三类型异常行为；

根据所述第一类型异常行为、所述第二类型异常行为以及所述第三类型异常行为的识别结果，确定所述目标考生的异常行为提醒参数。

2.根据权利要求1所述的行为识别方法，其特征在于，所述对所述实时行为视频进行识别，得到所述目标考生的实时视线范围和实时语音内容的步骤，包括：

解析所述实时行为视频，得到实时图像和实时音频；

对所述实时图像进行图像识别，得到所述目标考生的实时左眼视线和实时右眼视线；并根据所述实时左眼视线和所述实时右眼视线，确定所述目标考生的实时视线范围；

对所述实时音频进行语音识别，得到所述目标考生的实时语音内容。

3.根据权利要求1所述的行为识别方法，其特征在于，所述根据所述目标考生的实时考试数据对所述实时操作数据进行第一类型异常行为识别，得到第一类型异常行为的步骤，包括：

根据所述目标考生的实时考试数据，确定与所述实时考试数据匹配的预设操作数据；

判断所述预设操作数据与所述实时操作数据是否匹配；

在所述预设操作数据与所述实时操作数据不匹配时，将所述实时操作数据对应的操作行为作为所述目标考生的第一类型异常行为。

4.根据权利要求1所述的行为识别方法，其特征在于，所述根据所述目标考生的实时考试数据对所述实时语音内容进行第二类型异常行为识别，得到第二类型异常行为的步骤，包括：

根据所述目标考生的实时考试数据，确定与所述实时考试数据匹配的预设关键词集合；

提取所述实时语音内容中的实时关键词；

在所述预设关键词集合中存在与所述实时关键词匹配的关键词时，将语音交流作为所述目标考生的第二类型异常行为。

5.根据权利要求1所述的行为识别方法，其特征在于，所述根据所述考试终端的展示区域对所述实时视线范围进行第三类型异常行为识别，得到第三类型异常行为的步骤，包括：

根据所述考试终端的展示区域，确定与所述展示区域匹配的预设视线范围；

获取预设视线偏移时长阈值；

判断所述预设视线范围与所述实时视线范围是否匹配；

在所述预设视线范围与所述实时视线范围不匹配时，获取所述实时视线范围的持续时长；

在所述实时视线范围的持续时长超过所述预设视线偏移时长阈值时，将视线偏移作为所述目标考生的第三类型异常行为。

6.根据权利要求1所述的行为识别方法，其特征在于，在所述根据所述第一类型异常行为、所述第二类型异常行为以及所述第三类型异常行为的识别结果，确定所述目标考生的异常行为提醒参数的步骤之后，还包括：

获取预设提醒条件；

在所述异常行为提醒参数满足所述预设提醒条件时，根据所述第一类型异常行为、所述第二类型异常行为、所述第三类型异常行为以及所述异常行为提醒参数，生成异常行为提醒内容；

将所述异常行为提醒内容发送至所述考试终端，以使得所述考试终端展示所述异常行为提醒内容。

7.根据权利要求1所述的行为识别方法，其特征在于，在所述根据所述第一类型异常行为、所述第二类型异常行为以及所述第三类型异常行为的识别结果，确定所述目标考生的异常行为提醒参数的步骤之后，还包括：

获取所述目标考生的考生信息；

根据所述目标考生的实时考试数据、所述实时行为视频以及所述实时操作数据，生成数据证据；

根据所述考生信息对所述数据证据进行标记，并存储至所述服务器的数据库中。

8.一种行为识别装置，其特征在于，应用于在线考试系统中的服务器，所述在线考试系统包括所述服务器、考试终端以及视频采集设备；所述装置包括：

第一获取模块，用于通过所述视频采集设备获取目标考生的实时行为视频；

第二获取模块，用于通过所述考试终端获取所述目标考生的实时操作数据；

视频识别模块，用于对所述实时行为视频进行识别，得到所述目标考生的实时视线范围和实时语音内容；

第一行为识别模块，用于根据所述目标考生的实时考试数据对所述实时操作数据进行第一类型异常行为识别，得到第一类型异常行为；

第二行为识别模块，用于根据所述目标考生的实时考试数据对所述实时语音内容进行第二类型异常行为识别，得到第二类型异常行为；

第三行为识别模块，用于根据所述考试终端的展示区域对所述实时视线范围进行第三类型异常行为识别，得到第三类型异常行为；

提醒参数确定模块，用于根据所述第一类型异常行为、所述第二类型异常行为以及所述第三类型异常行为的识别结果，确定所述目标考生的异常行为提醒参数。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于运行所述存储器里的计算机程序，以执行权利要求1至7任一项所述的行为识别方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的行为识别方法中的步骤。

Images