CN104299178A - 一种基于面部识别的网络教学方法及系统 - Google Patents

Abstract

本发明涉及一种基于面部识别的网络教学方法及系统，提供学员在整个学习课件期间实时进行脸部特征识别，使网络教学能够达到与面对面的教学一样的效果；同时允许一定次数的失败，则能为学员在被实时监控时，提供稳定而流畅的学习环境，不因检测失败或其他原因而影响学员的学习；本系统还提供表情管理，更方便教师了解学员在学习课件时的反映，使网络教学环境趋近于面对面教学；本系统提供的离线学习功能，使学员能够在任何场合环境下进行学习，同时还能达到被实时监控的目的；同时由于系统还提供的日志管理模块，使学员在用户使用移动终端进行学习时，不因系统的实时监测而增加更多的网络流量，降低学习成本。

Description

一种基于面部识别的网络教学方法及系统

技术领域

本发明涉及网络教学领域，并且特别地，涉及一种具有实时监测功能和教学反馈的基于面部识别的网络教学方法及系统。

背景技术

网络教学，是指在由通讯技术、微电脑技术、计算机技术、人工智能、网络技术和多媒体技术等所构成的电子环境中进行的学习，是基于技术的学习。

网络教学的概念一般包含三个主要部分：以多种媒体格式表现的内容；学习过程的管理环境；以及由学习者、内容开发者和专家组成的网络化社区。在当今快节奏的文化氛围中，企业通过实施网络教学具有的优势：灵活、便捷，员工可以在任何时间、任何地点进行；通过消除空间障碍，切实降低成本；提高了学习者之间的协作和交互能力。但是我们也要看到在实施网络教学的过程中存在局限性和应该注意的问题。

网络教学的局限性：缺乏人性化的沟通、教师和学员之间没有互动；对于学员的学习过程，现有的网络教学系统是无法监控的。学员在课件的播放过程中是否还在电脑前学习，或者是否是他人代替学员本人在学习，或者学员是否在进行与学习无关的活动，如打瞌睡等，对于这些情况现有的网络教学系统是无法监控的。

这就造成了很多企业、组织通过网络教学系统进行培训、授课时效果不佳，并且由于无法有效地监控学员是否真正地学习。对于很多重要内容的培训，如安全生产相关的培训，如果学员不认真学习，那么带来的后果就会非常严重。

现在很多网络教学系统希望通过课后作业的方式提高学员的学习参与程度，但是无法避免上述问题的发生，鉴于此提出本发明。

发明内容

本发明的目的在于提供一种基于脸部识别的网络教学方法及系统，所述的网络教学能够实时的监测学员是否为本人在学，提供的表情管理能帮助教师了解学员是否认真的在学，提供的日志管理能监测学员是否将应该学习的内容全部学习完成，因此本网络教学是在整个教学过程中实时进行身份的识别和验证，避免了学习过程中的缺勤或替代等现象，同时，使网络教学能够达到与面对面的教学一样的效果。

本发明的另一目的在于，提供一种在对阅读者进行实时检测的情况下，能够稳定而流畅的提供学习的环境，不因检测失败或其他原因而影响学员的学习。

本发明还有一目的在于，能够在任何场合环境下进行学习，同时还能达到被实时监控的目的。

本发明提供的网络教学系统还能够在用户使用移动终端进行学习时，不因系统的实时监测而增加更多的网络流量，降低学习成本。

而人脸识别技术因具有不可复制、采集方便、不需要被拍者的配合而深受欢迎，因此本发明结合人脸识别技术与网络教学相结合提供一种具有面部识别功能的网络教学方法：使用网络教学的用户包括：系统管理员、教师和学员，其中，

系统管理员，负责维护一个以上的对比规则，在这些对比规则内设置最大失败次数，这里的最大失败次数是大于0的整数，可以是3-5任意的数值，也可以是其它数值；

教师，负责制作课件，同时为所述课件指定相似度阈值和对比规则，这里相似度阈值可以是60％以上的任意数值，当然阈值不能大于98％，大于98％则有可能检测到的当前用户的脸部图像可能来源于照片；

学员，可以下载课件，同时在学员学习所述课件的整个期间，实时读取该学员当前的脸部特征码，并与所述学员预先存储的脸部特征码进行对比，如果二者的相似度大于教师为该课件指定的阈值，则对比成功；反之对比失败，当对比失败后，读取教师为该课件指定的对比规则，根据该对比规则确定学员是否可以继续学习该课件。

一般学生学习的课件都需要一个相对比较长的时间，在这一个期间内，学员可能因为中途喝水或者拿东西，导致当时的脸部特征对比失败，因此，与现有技术相比，本发明允许在学生学习课件的期间出现对比失败，而不进行任何处理，因此设置了最大失败次数为3-5次，但是进一步的，在实时进行脸部特征对比时，一般采用每秒或者每两秒验证一次的频率，因此设置3-5次的允许失败次数可能达不到使学员流畅的学习课件的目的，但是要是将允许失败的次数设置的太大，又达不到实时监测的目的，因此本发明允许对累计的失败次数清零，比如每验证5-10次后(既5-20秒之间)，如果期间进行脸部特征对比失败累计的次数没有大于系统预先设置的最大失败次数，就认为验证的5-10次内都是该注册用户本人在学习；或者也可以是实时进行的脸部特征对比，连续成功5-10次(既5-20秒之间)都死该注册用户本人在学习，此时系统也允许之前累计的，并且没达到最大失败次数清0。

同样的，系统还提供其他的清零规则，例如可以以时间长度来计量，即一个时间长度内，对比失败次数未达到最大值，可以清零等等，只要是能达到实施对比，又不会影响用户学习课件的规则都涵盖在本发明内。

本发明还提供了一套网络教学系统，包括：用户登录模块、教学管理模块、面部特征对比规则设置模块、面部识别模块，其中

1.用户登录模块，用于提供用户登录网络教学系统，并识别用户身份以及用户的基本信息。可用于设定各种用户，如：教师、学生以及系统管理员等，并为该用户分配权限；同时还可以管理该用户的基本信息，例如：可以设置教师信息、教师的课件、该教师的答疑时间以及定义学员信息、该学员选择的教学领域、该学生提问的时间。

2.教学管理模块：供用户在网络教学系统内实现，课程的制作、学习以及答疑的功能。由课件管理模块和视频答疑模块组成，其中，

1)课件管理模块：课件(courseware)是由教学目标确定，教学内容和任务分析，教学活动结构及界面设计等环节，而加以制作的课程软件。它与课程内容有着直接联系。在本发明中，课件管理提供教师维护，提供学员下载的功能，并且本发明的课件只能通过本发明提供的网络教学系统编辑和学习。

2)视频答疑模块:由教师和学员参与的，支持学生提问、教师回答，所述视频答疑模块由所述网络教学系统打开。

3.面部特征对比规则设置模块：供系统管理员设置至少一个面部特征对比规则，所述特征对比规则能设置最大失败次数>0，优选2-5，并且在学员开始学习课件时，最大失败次数清零；在学员学习时，为所述最大失败次数设置清零时机，所述清零时机为下面的任意一种情况：

1)当执行面部特征对比5-10次后，所述最大失败次数清零；

2)当执行面部特征对比，并且所述面部特征对比连续成功3-5后，所述最大失败次数清零。

4.面部识别模块：供学员在下载和学习所述课件的整个期间，实时读取该学员当前的脸部特征码，并与所述学员预先存储的脸部特征码进行对比，如果二者的相似度大于教师为该课件指定的阈值，则对比成功；反之对比失败，当对比失败后，读取所述教师为所述课件指定的对比规则，根据所述对比规则确定所述学员是否可以继续学习所述课件。

本发明提供的网络教学系统中的，面部识别模块还包括影像处理器，连接影像处理器的摄像装置，影像处理器包括影像处理单元，摄像装置定期或连续摄取用户的面部影像并传输至影像处理单元，通过计算，得到面部特征码，面部识别模块将面部特征码与用户登录模块中预存的该用户的面部特征码进行对比，这里，面部特征码为二进制码。

优选的，本发明所述特征对比规则设置，包括清零规则设置，所述清零规则设置为，在开始执行所述阅读内容管理模块时，将累计失败次数清零，同时，在以下情况之一时，将累计失败次数清零：

1)当执行面部特征对比5-10次后，并且所述累计失败次数小于所述最大失败次数时；

2)当执行面部特征对比，连续成功3-5后，并且所述累计失败次数小于所述最大失败次数时。

优选的，本发明还包括日志管理系统，包括：

1)在执行脸部特征对比的各步骤时，记录日志数据，所述日志数据包括：序号、当前阅读内容、当前阅读用户、当前阅读时间、对比情况、相似度、脸部特征码以及提示信息；

2)日志数据上传功能，即将所述日志数据上传至服务器，包括：自动上传和手工上传，

所述自动上传功能：由所述内容管理模块调用，当所述内容阅读完成后，所述内容管理模块执行日志上传功能；

所述手工上传功能：在日志管理模块中，用户选择所述手工上传日志功能，将所述日志数据上传至服务器；

3)所述日志管理还包括：对日志数据统计分析模块，即提供，为对所述日志数据汇总查询功能，包括：用户信息、阅读内容信息、阅读时间、中断次数、成功次数、失败次数、相似度。

优选的，本发明还包括表情识别功能，所述的表情识别功能包括：

1)提供提取所述用户的脸部表情的功能；

2)提供将用户当前的脸部表情与表情符号相对应的功能；

3)将所述表情符号存储在所述日志管理模块中的功能。

优选的，本发明所述用户管理模块包括：用户设置模块、训练库管理和规则设置模块，其中

1)用户设置模块，提供设置用户的基本信息，包括：登录名、用户名、权限、对应的对比规则；

2)训练库管理，提供用户与脸部特征码的对应关系，一个用户对应多个脸部特征码，在进行脸部特征对比时，系统读取用户的实时脸部特征码与存储在所述训练库中的所述特征码进行相似度对比；

3)规则设置模块，提供用户、课件和对比规则的对应关系设置。

优选的，本发明所述阅读内容模块包括：课件管理模块和视频答疑模块，

所述课件管理模块，包括开课申请、课件制作、学员选课和问题库等；

所述视频答疑模块，包括，系统管理员为所述视频答疑指定对比规则并提供日志管理。

优选的，本发明还包括客户端软件，所述网络教学软件的客户端软件提供：课件上传、下载，提供在客户端打开所述教学管理模块，提供在所述客户端使用所述面部识别系统监控所述整个网络教学客户端的执行过程，所述客户端安装在有摄像头的计算机或者移动存储设备上如：计算机、手机、iPad等。

本发明的客户端软件包括：

1)登录系统，用于用户登网络教学软件，使用户可以在系统中实现离线的学习和监控。

2)用户管理模块，管理登陆用户；

3)人脸识别模块，阅读时进行本地对比，因此还需要有本地的训练库，在本地进行对比时，只对当前用户与本地训练库存储的脸部特征码进行比对，这样可以节约流量，同时方便用户在任何时间、任何地点进行网络的教与学。

4)日志管理模块，记录用户在本地使用网络教学系统时，进行脸部特征对比产生的数据信息，在使用完所述教学管理模块后，系统自动将所述日志数据上传至服务器，当然，用户也可以在日志管理模块中选择上传日志数据。

本发明提供的网络教学模块还提供：公告管理模块、开课申请模块、课件制作模块、留言板、公告牌、教师管理模块、学员管理模块等等其他跟网络教学相关的模块，由于这些是现有技术，因此本发明不再论述。

整个过程无需人为干预，完全实现系统自动化管理。

优选的，本系统还支持脸部表情处理，当用户登录系统，在进行实时的人脸检测时，可加入表情识别功能，根据每次检测到的用户表情，可以得到用户当前学习时的情况，例如：当学员认真学习时，表情很专注；当学员认为所学课件很有趣味时，表情会很愉悦；当学员认为所学课件很难时，表情会很严肃；当学员没有专注于学习时，表情会有些茫然。当然本发明提供的表情处理功能，还可以以一种图形的形式表示学员当前的状态，例如:腾讯QQ、MSN等聊天系统中的表情图释。这些实时取得的脸部表情可以随日志数据一同反馈给制作该课件的教师，教师在查看日志数据时，可以形象直观的了解到学员实时的学习情况，更好的模拟教师在课堂教学的效果，而采用表情图释实时取得学员的脸部表情同日志一同反馈给教师的优点是：经过统计的数据可以帮助教师高效、便捷的了解学员学习情况，同时节约了数据传输的流量，并使人机交互更加友好、亲切。

本发明的网络教学系统，监控学员学习的整个过程，保证学员本人完成整个课件的学习，防止教师制作的课件被滥用的情况，同时保证学员在学习过程中不会因为增加了实时监控功能而影响学习的效率实现教师授课，整个过程无需人为干预，完全实现系统自动化管理。同时本系统提供离线学习，学员可将所学课件下载到适合学员自身学习的设备上，方便学员随时随地学习，同时节约流量，降低学员学习的时间成本和金钱成本；同时在学习完成后，将学习过程以统计数据的形式反馈给教师，便于教师掌握学员的学习情况，在企业管理中，便于教师为下一步的教学计划提供参考。进一步的，本发明提供的互动答疑提高了教学质量，加深了学员对所学课件的理解。

下面结合附图对本发明的具体实施方式作进一步详细的描述。

附图说明

图1：本发明的网络教学系统流程示意图；

图2：根据本发明实施例的基于面部识别的网络教学系统框图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1流程图所示，本发明提供的网络教学方法为：当学员登录到网络教学系统时，系统首先读取训练库中的该学员的脸部特征码，在学员开始学习课件的时候，调用该学员学习该课件的对比规则，然后系统调用影像处理器实时得到学员的脸部特征码并与该学员训练库中的脸部特征码对比，如果二者的相似度未达到阈值，则累计失败次数+1，延时一段时间后进行下一次的脸部特征对比；反之直接延时一段时间后进行下一次的脸部特征对比，

当累计失败次数大于系统设置的最大失败次数时，系统中止当前正在学习的课件，等待注册学员重新登录。注册学员重新登录，有两种情况：

第一种是，系统停止执行特征对比，等待学员重新登录系统；

第二种是，系统不停止执行特征对比，当检测到学员正确的脸部特征后，同时系统也达到清零策略的设置，将失败次数清零后，系统自动登录，再次进行对比。

3)清零规则，在特征对比规则设置中还包括清零规则，清零规则就是定义累计失败次数可以清零，以及累计次数何时清零，当达到清零规则的设置时，系统将累计失败次数清零，

可以是，每执行一定次数的脸部特征对比后，累计失败次数清零，这里的一定次数，优选为5-10次之间的任一值；

也可以是，执行脸部特征对比连续成功一定次数后，累计失败次数清零，这里的一定次数，优选为3-10次之间的任一值；

还可以是，每执行一定时间的脸部特征对比后，累计失败次数清零，这里的一定时间，优选为5-10秒之间的任一值；

也可以是，执行脸部特征对比连续成功一定时间后，累计失败次数清零，这里的一定时间，优选为3-10秒之间的任一值。

举例来说，在执行第一种清零规则时，设置的清零规则为每秒执行一次对比，执行6次对比时将累计失败次数清零，同时允许在6次对比中，有2相似度低于阈值，即：当学员开始学习课件时，先将累计失败次数清零，当执行了6次对比后有4次对比成功，此时再次将累计失败次数清零，继续执行脸部特征对比。

在这个例子中，本发明提供的6秒执行了6次对比，其中成功了4次，允许两次失败的方法，与系统在6秒内执行4次对比，要求成功4次对比都要成功的方法相比，优点为：系统在满足实时监测的条件下，最大可能的提高了验证成功率，使学员能够更流畅的使用本发明提供的网络教学系统。

在本发明中，不限于实施例中提供的累计失败次数清零的方法，还可以包含其他允许脸部特征对比失败，而不影响学员学习课件的情况。

本发明还供了一种基于面部识别的网络教学系统。如图2所示本发明提供的网络教学系统，包括：用户登录模块、训练库、规则管理模块、课件管理模块、视频答疑、日志管理、面部特征对比规则设置及面部识别模块和论坛、教学领域设置等，其中

1.用户登录模块，供用户登录所述面部识别系统，包括：用户管理、训练库以及规则设置等。其中

1)用户管理模块，提供用户的基本信息，例如：登录名、用户名、权限、对应的对比规则等内容，例如：

登录名	用户名	权限	……
				Zhang	张三	管理员
Li	李四	普通用户
				wang	王五	教师

2)训练库：

用户名	面部特征码	…
			张三	[特征码1]
张三	[特征码2]
			张三	[特征码3]
李四	[特征码1]
			李四	[特征码2]
李四	[特征码3]
			王五	[特征码1]
王五	[特征码2]
			王五	[特征码3]

在设置用户信息时，需要生成该用户的面部特征码，这里的面部特征码是一组，是该用户的多个面部特征码，是从不同角度、在不同光照条件下生成的，在本发明中，具体生成面部特征码可用三个函数实现：

1)面部检测BoolDetectFace(IplImageframe,CvMat*faceImg8)函数、

2)加入训练库BoolAddTrainFace函数

3)生成面部特征库String TrainFace()函数。

其中，生成面部特征库String TrainFace()函数主要实现的功能就是：多次调用面部检测BoolDetectFace函数和加入训练库BoolAddTrainFace函数，面部检测BoolDetectFace函数，用于抓取面部特征，并将该信息转化为CvMat格式，以供加入训练库BoolAddTrainFace函数调用该参数，将面部特征存储在数据库中。由于生成面部特征库函数多次调用加入训练库函数，所以数据库中存储的是该用户的多张面部特征。

3)还需要规则设置管理，包括：用户名、课件、清零规则

用户名	课件	清零规则	…
				张三	[课件1]	规则1
张三	[课件2]	规则2
				张三	[课件3]	规则3
李四	[课件4]	规则1
				李四	[课件2]	规则3
李四	[课件6]	规则2
				王五	[课件7]	规则6
王五	[课件29]	规则3
				王五	[课件30]	规则1

2.课件管理：包括开课申请、课件制作、学员选课、问题库等，

其中：开课申请，系统首先需要定义教学领域，例如高数、剑桥、企业管理等，然后由教师选择认领某个教学领域；

课件制作，当教师认领教学领域成功后，需要制作该教学领域的课件，可以是一个课件，也可以是一系列的课件，然后需要教师将制作好的课件上传到该教学领域对应的区域，并对该课件进行简要介绍，以供学员查阅并下载。

当课件上传完成后，教师可以为自己制作的课件选择清零规则。

学员选课，学员首先选择要学习的教学领域，教学领域中会有很多教师制作的很多课件，学生可以根据该课件的介绍和课件口碑、该课件的任课教师口碑以及该教师的答疑时间来选择适合自己的件，并下载，一旦学院下载了该课件，同时也会将对应教师为该课件选择的清零规则，系统将学员信息、课件信息、清零规则保存到用户登录模块中的规则设置管理中，同时学员也可以要求该课件的教师为自己修改清零规则。

在选择课件时，系统还提供自动撮合功能，也就是学员输入一些条件，例如：输入对教学领域、课件、口碑、教师答疑时间等要求后，系统自动选择出最适合的课件提供给学员，学员确认后下载该课件。系统也支持在线学习，不下载该课件在线学习课件，在线进行人脸识别。

问题库管理：可以是留言板的形式也可以是论坛的形式，由学生提问，再由教师整理，也可以是教师根据教学情况整理问题、难点。

3.面部识别模块：将系统中存储的该用户的脸部特征码与系统实时监测到的用户脸部特征码进行对比，并反馈对比结果，面部识别模块包括：影响处理器、特征对比和特征对比规则设置，本实施例，的特征对比规则为清零规则。其中，

1)影像处理器：通过输入摄像头采集面部的图像数据，根据采集到的面部图片或录像，将面部的五官特征、比例值，通过Gabor特征并进行均匀采样，然后再通过子空间降维算法等，计算生成二进制编码，以表示面部的特征信息。

基于子空间降维的生物特征识别算法是一种已知算法，这里不再讨论；Gabor特征能从不同方向和尺度有效表示面部图片的局部特征，其算法也是公开的，这里也不再讨论。

本发明实现方法是：通过跨平台计算机视觉库(OpenCV)打开摄像头，提取摄像头采集的图像，然后通过OpenCV的图像检测算法检测面部，检测到面部后再通过ASM算法(Active Shape Model主动形状模型)算法调整面部角度(面部对齐)，通过同态滤波+直方图规定化算法进行光照归一化处理，最终得到面部特征码，该面部特征码可以应用在两个地方：

A)在训练库中，当新建一个用户信息的时候，可以为该用户设置n个面部特征码，并进行存储；

B)在学习课件时，作为接口生成的面部特征码，与该注册用户存储在：训练库中的面部特征码进行对比，以用来检测当前面部是否为注册用户本人。

2)特征对比，在本发明中，学员学习课件的整个过程都需要进行检测，而由于人脸识别技术因具有不可复制、采集方便又不需要被拍者的配合的优点，本发明采用人脸识别技术作为实时监测的手段。因此本系统通过验证当前学习课件的学员的脸部特征与该学员存储在训练库中的脸部特征进行对比，如果二者的相似度达到阈值(这里阈值可以设置，例如在某些严格场合，相似度为80％认为是本人；在某些对阅读人要求不严格，但是对阅读过程要求很流畅的时候，相似度可以设为60％等)，系统检测成功，认为当前学习课件的学员为注册学员本人，反之，系统检测失败。

在本发明中，面部特征对比可使用函数：floatVerifyFace(StringfaceModel,CvMat*face,long isNewModel)来实现，这里有两个参数，一个是该用户预先存储的脸部特征码，还有一个是调用人脸检测BoolDetectFace(IplImageframe,CvMat*faceImg8)函数得到的该学员实时的脸部信息，函数floatVerifyFace将这两个参数进行对比，返回的结果是这两个值的相似度。

但是在进行人脸对比时，常由于意外状况导致对比失败，例如：由于光线、角度、表情等因素会影响对比的结果，也会因为用户因喝水或者那东西而短暂的离开摄像设备而导致的对比失败，因此有时脸部特征对比失败并不能表示不是注册者本人，而一旦对比失败，课件管理模块就会停止执行，要求人为干预，因此了尽量消除这种不确定因素用户产生的影响，与现有技术不同，在进行实时的系统检测时，本发明允许一定的失败次数。具体如图2流程图所示：

4.日志管理模块，在本发明提供的网络教学系统中，当用户登录到系统后就开始记录日志，并且在每一部操作、每一次脸部特征对比时，都会记录日志，同时在系统执行完后可以将所有记录到的日志数据返回到服务器上。

例如，在面部特征对比时，每次进行脸部特征对比都会记录：序号、课件、用户、时间、对比情况、相似度、脸部特征码、表情符号以及提示信息等内容，同时在一个课件学完后，还可以将记录的日志数据进行汇总，如：课件、用户、阅读时间、中断次数、成功次数、失败次数、相似度、脸部特征码以及系统给的提示信息等。

1)日志数据

图中所述的脸部特征符号还可以是腾讯QQ、MSN等聊天系统中的表情图释。

2)日志汇总数据

序号

课件

用户

阅读时间

中断次数

成功次数

失败次数

状态

……

1

课件A

张三

4秒

0

3

1

未读完

2

课件B

张三

5秒

1

3

2

未读完

3

课件D

李四

10秒

0

7

3

未读完

4

课件A

王五

54分钟

0

1580

40

读完

与现有技术相比，本发明返回的是数据值，而不是一些图像或者一段录像，因此，本发明提供的日志信息数据量小，在基于移动终端的使用中，可以最大限度的节约流量，降低用户使用成本；

进一步的，本发明返回的日志数据是经过加工、统计后的，具有一定参考意义的数据，可以帮助教师或者更方便快捷的了解学生的学习情况，这时传统的录像或图像数据所无法提供的。

同时，还可以在本发明提供的日志数据上做进一步的挖掘、统计和分析，提供从各种角度汇总的数据，例如：上表2)中提供的日志汇总数据表，从表中，可以得到针对每个课件、每个学员阅读的统计情况，方便网络教学企业的管理者对培训教师、学员上课情况和所学内容进行分析，找到网络教学中存在的优点和不足，同时更合理的安排培训教师和培训内容。

4.视频答疑模块：提供由教师和学员参与的，支持学生提问、教师回答的功能，同时再视频答疑模块也使用面部识别模块进行实时监测，这时需要检测教师与学员双方是否都是本人，同时在视频答疑模块中也提供日志管理。

5.表情管理模块

当用户登录系统，在进行实时的人脸检测时，可加入表情识别功能，根据每次检测到的用户表情，可以得到用户当前学习时的情况，例如：当学员认真学习时，表情很专注；当学员认为所学课件很有趣味时，表情会很愉悦；当学员认为所学课件很难时，表情会很严肃；当学员没有专注于学习时，表情会有些茫然。当然本发明提供的表情处理功能，还可以以一种图形的形式表示学员当前的状态，例如:腾讯QQ、MSN等聊天系统中的表情图释。这些实时取得的脸部表情可以随日志数据一同反馈给制作该课件的教师，教师在查看日志数据时，可以形象直观的了解到学员实时的学习情况，更好的模拟教师在课堂教学的效果，而采用表情图释实时取得学员的脸部表情同日志一同反馈给教师的优点是：经过统计的数据可以帮助教师高效、便捷的了解学员学习情况，同时节约了数据传输的流量，并使人机交互更加友好、亲切。

表情管理模块包括：图像采集装置、表情识别模块、表情特征提取单元、人脸表情识别单元、表情图释管理单元。

本发明中的表情管理模块采用图像采集装置获取图像，并将图像信息转换成电信号发送给表情识别模块。其中，图像采集装置可以为现有的外置或者内置摄像头，用于获取图像。

表情识别模块在接收到信号后，首先由脸部特征对比模块进行表情特征提取，由表情特征提取单元将提取到的表情从人脸图像或图像序列中提取能够表征输入表情本质的信息，并且在提取特征数据的过程中，为了避免维数危机，表情特征提取单元一般还需要对提取特征进行降维、特征分解的操作；人脸表情识别单元根据表情特征提取单元分解出的表情特征，分析各特征之间的关系并将输入的表情特征分类到相应的表情类别中，例如人类的基本情感类别。

具体过程如下：

第一，从图像采集装置中输入的图像中初步确定人脸所在的位置，并将该位置定义为待测区域；

第二，用基于知识或者统计的人脸检测方法对人脸建模，比较待测区域与人脸建模的匹配程度，根据预先规定的匹配程度值，从而将达到该匹配程度值的区域确定为存在人脸的区域。

所述的基于知识的人脸检测方法是利用人的知识建立若干规则，从而将人脸检测问题转化为假设、验证问题，所述基于统计的人脸检测方法包括样本学习法、子空间方法及模板法；在本发明中主要利用的是样本学习法，即将人脸检测视为从非人脸样本中识别人脸样本的模式分类问题，通过对人脸样本集合非人脸样本集进行学习以产生分类器。

所述的表情特征提取单元采用一种基于动态图像序列的面部表情提取方法，具体工作方法如下：

选择脸部的显著特征点来进行运行估计，为了防止在跟踪过程中丢失特征点，特征点一般都选取在脸部的永久特征上，例如嘴巴或者眼睛。这种方法只需考虑主要的特征点来分析表情，而不必理会背景等无关信息，减少了运算量。

人脸表情识别单元是基于模板的匹配方法对人脸表情进行识别的，具体地：该人脸表情识别单元预先建立一个表情模板库，包括可能要识别的表情模板，该表情识别模板为数值表示的表情特征码，该表情模板与表情图释管理单元中的表情图释是一一对应的；当人脸表情识别单元获取到表情特征提取单元确定的表情特征后，将该待测的表情特征与每个表情模板进行匹配，匹配度越高则表明待测表情与某个表情模块所代表的表情越相似，并确定该匹配度最高的表情模板代表待测表情。

表情图释管理单元内存有代表不同面部表情的表情图释，其能够根据所述的人脸表情识别单元确认的待测表情选取对应的表情图释。例如，待测表情为微笑，则人脸表情识别单元根据匹配度，选取匹配度最高的表情模板来代表待测表情，并将该表情模板发送给表情图释管理单元，表情图释管理单元根据该表情模板查找到对应的表情图释并显示。

6.函数说明：

1)BoolDetectFace(IplImageframe,CvMat*faceImg8)：面部检测函数，输入摄像头采集的图像数据，输出面部面部特征。

其中，[in]frame：摄像头采集的图像数据

类型说明：IplImage，IplImage是OpenCV定义的结构类型；

[out]faceImg8：接口生成的面部面部特征

类型说明：CvMat*，CvArr是OpenCV定义的结构类型；

返回值：是否检测到面部(true/false)；

2)BoolAddTrainFace(CvMat*face)：加入训练库，将面部检测BoolDetectFace函数得到的面部面部特征加入训练库。初始化系统时候，将采集到的面部特征存储到数据库中(静态数据)，为了以后阅读的时候，检测阅读者是否为本人。

其中，[in]face：DetectFace接口返回的面部面部特征

类型说明：CvMat*，CvArr是OpenCV定义的结构类型；

返回值：是否添加成功(true/false)；

3)String TrainFace()：生成面部特征库，返回训练后生成的面部特征库。该函数主要执行多次调用BoolDetectFace和BoolAddTrainFace，来实现在用户基本信息中存储该用户的多张面部特征码。

4)floatVerifyFace(StringfaceModel,CvMat*face,long isNewModel)：

面部特征对比:将程序面部特征库生成BoolDetectFace得到的当前阅读人与训练库存储的数据进行对比，检测当前阅读的人是否为用户本人。

其中，[in]faceModel：TrainFace接口返回的面部特征库

类型说明：字符串类型；

[in]face：DetectFace接口返回的面部面部特征

类型说明：CvMat*，CvArr是OpenCV定义的结构类型；

[in]isNewModel：是否是新的面部特征库

类型说明：1(新特征库)、0(原特征库)；

返回值：返回对比结果，>0(相似度)，-1(非本人)；

以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专利的技术人员在不脱离本发明技术方案范围内，当可利用上述提示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明方案的范围内。

Claims (10)

1.一种基于面部识别的网络教学方法，其特征在于，所述网络教学方法提供可供阅读的内容，所述内容被有权限的用户阅读，同时在所述用户阅读所述内容的整个期间，实时读取所述用户的脸部特征码，并与所述用户预先存储的脸部特征码进行对比，如果二者的相似度大于阈值，则对比成功；反之对比失败，当对比失败后，根据所述用户和所述内容对应的对比规则，判断所述用户是否可以阅读所述内容。

2.根据权利要求1所述的一种基于面部识别的网络教学方法，其特征在于，在所述对比规则中设置最大失败次数，所述最大失败次数>0，优选2-5。

3.根据权利要求2所述的一种基于面部识别的网络教学方法，其特征在于，所述对比规则为：

1)首先，检测所述内容是否已完成，如果所述内容已经完成，结束所述内容；反之，实时读取的所述用户当前的脸部特征码，并将实时读取到的所述用户的脸部特征码，与所述用户预先存储的脸部特征码，进行对比；

2)当两者的相似度大于或等于所述相似度阈值时，所述面部特征对比成功，此时执行步骤3)，反之，所述面部特征对比失败，此时执行步骤4)；

3)当所述面部特征对比成功时，延时一段时间，执行步骤1)；

4)当所述面部特征对比失败时，累计失败次数+1；

5)此时，检测累计失败次数是否达到最大失败次数，未达到所述失败最大次数时，延时一段时间，执行步骤1)；反之，中止所述内容，等待用户重新登录。

4.根据权利要求3所述的一种基于面部识别的网络教学方法，其特征在于，所述对比规则包括清零规则，在所述内容开始阅读时，所述累计失败次数清零；在用户阅读内容的整个期间，当满足下列条件之一，对所述累计失败次数清零：

1)当执行面部特征对比5-10次后，并且所述累计失败次数小于所述最大失败次数时；

2)当执行面部特征对比，连续成功3-5后，并且所述累计失败次数小于所述最大失败次数时。

5.根据权利要求1-4所述的任意一种基于面部识别的网络教学方法，其特征在于，还包括日志管理，所述日志管理为：

1)在执行脸部特征对比的各步骤时，记录与特征对比的相关的数据，所述的与特征对比相关的数据为日志数据，所述日志数据包括：序号、当前阅读内容、当前阅读用户、当前阅读时间、对比情况、相似度、脸部特征码以及提示信息；

2)当所述内容完成后，自动将所述用户的日志数据上传至服务器，或者，当所述内容完成后，所述用户将所述日志数据上传至服务器；

3)所述日志管理还包括：对所述日志数据进行统计处理，所述统计处理结果包括：用户信息、阅读内容信息、阅读时间、中断次数、成功次数、失败次数、相似度。

6.根据权利要求1-5所述的任意一种基于面部识别的网络教学方法，其特征在于，还有包括表情识别功能，所述的表情识别功能包括：

1)在实时进行脸部特征比对时，当取得所述用户的脸部特征码的同时提取所述用户的脸部表情；

2)在所述日志管理中，将所述用户当前的脸部表情对应的表情符号存储在所述日志数据中。

7.根据权利要求1-6所述的任意一种基于面部识别的网络教学方法，其特征在于，所述用户包括：系统管理员、教师和学员，所述阅读内容包括：课件和视频答疑，

所述系统管理员设置一个以上的对比规则；

所述教师制作所述课件，同时为所述课件指定对比规则和所述相似度对比阈值，所述阈值大于60％并且小于98％，优选77％；

所述学员下载所述课件；

所述教师和学员同时使用所述视频答疑，系统管理员为所述视频答疑指定对比规则。

8.根据权利要求1所述的一种基于面部识别的网络教学方法，其特征在于，所述网络教学方法可在有摄像头的计算机或者移动存储设备上使用。

9.一种根据权利要求1-8所述的任意一种基于面部识别的网络教学方法的一种基于面部识别的网络教学系统，其特征在于，包括：教学管理、用户管理模块、特征对比规则设置模块、脸部特征码、相似度阈值，其中

所述教学管理提供对阅读内容的管理，由所述网络教学系统调用；

所述用户管理模块，供用户登录所述网络教学系统，并识别用户身份以及用户的基本信息；

所述特征对比规则设置模块，提供设置至少一种脸部特征对比规则，并供所述阅读内容管理模块调用；

所述脸部特征码，以二进制码存储的所述用户的脸部信息；

所述相似度阈值大于60％，优选77％。

10.根据权利要求9所述的一种基于面部识别的网络教学系统，其特征在于，所述脸部特征对比规则为：

1)设置所述脸部特征对比允许的最大失败次数的值；

2)在使用阅读管理模块的整个期间，累计实时脸部特征对比失败次数；

3)当所述脸部特征对比累积失败次数大于或等于所述最大失败次数时，停止所述阅读内容，等待用户重新登录；反之，继续进行脸部特征对比。