CN108090424B - 一种在线教学调研方法及设备 - Google Patents
一种在线教学调研方法及设备 Download PDFInfo
- Publication number
- CN108090424B CN108090424B CN201711266022.2A CN201711266022A CN108090424B CN 108090424 B CN108090424 B CN 108090424B CN 201711266022 A CN201711266022 A CN 201711266022A CN 108090424 B CN108090424 B CN 108090424B
- Authority
- CN
- China
- Prior art keywords
- user
- facial expression
- online teaching
- type
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000011835 investigation Methods 0.000 title claims abstract description 39
- 230000008921 facial expression Effects 0.000 claims abstract description 304
- 230000014509 gene expression Effects 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims description 10
- 230000036760 body temperature Effects 0.000 claims description 8
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 4
- 238000009529 body temperature measurement Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及电子设备技术领域,公开一种在线教学调研方法及设备,包括:在用户观看在线教学内容时,捕获用户的面部表情图像;判断捕获到用户的所有面部表情图像中是否存在第一类目标面部表情图像;其中,所述第一类目标面部表情图像是预设表情库中预设的用于表示对外部事物感兴趣的面部表情图像;如果存在,从所述在线教学内容中确定出与捕获到所述第一类目标面部表情图像的时间点相对应的第一类在线教学知识点;保存所述第一类目标面部表情图像与所述第一类在线教学知识点的关联关系。可见,实施本发明实施例,能够自动获取用户对于在线教学内容的知识点的反馈,有利于获悉用户喜好的在线教学知识点。
Description
技术领域
本发明涉及电子设备技术领域,具体涉及一种在线教学调研方法及设备。
背景技术
目前,随着互联网教育的风靡,在线教学成为了一种热门的教学模式,现阶段的教学模式以互联网教育平台主动输出教学内容和用户被动接受教学内容为主。在实践中发现,互联网教育平台无法获取用户对于在线教学内容包括的知识点的反馈,从而导致互联网教育平台无法获悉用户喜好的在线教学知识点。
发明内容
本发明实施例公开一种在线教学调研方法及设备,能够自动获取用户对于在线教学内容的知识点的反馈,有利于获悉用户喜好的在线教学知识点。
本发明实施例第一方面公开一种在线教学调研方法,所述方法包括:
在用户观看在线教学内容时,捕获用户的面部表情图像;
判断捕获到用户的所有面部表情图像中是否存在第一类目标面部表情图像;其中,所述第一类目标面部表情图像是预设表情库中预设的用于表示对外部事物感兴趣的面部表情图像;
如果存在,从所述在线教学内容中确定出与捕获到所述第一类目标面部表情图像的时间点相对应的第一类在线教学知识点;
保存所述第一类目标面部表情图像与所述第一类在线教学知识点的关联关系。
作为一种可选的实施方式,在本发明实施例第一方面中,所述在用户观看在线教学内容时,捕获用户的面部表情图像之后,所述方法还包括:
判断捕获到用户的所有面部表情图像中是否存在第二类目标面部表情图像;其中,所述第二类目标面部表情图像是预设表情库中预设的用于表示对外部事物不感兴趣的面部表情图像;
如果不存在,执行所述的判断捕获到用户的所有面部表情图像中是否存在第一类目标面部表情图像;
如果存在,从所述在线教学内容中确定出与捕获到所述第二类目标面部表情图像的时间点相对应的第二类在线教学知识点;
保存所述第二类目标面部表情图像与所述第二类在线教学知识点的关联关系。
作为一种可选的实施方式,在本发明实施例第一方面中,所述在用户观看在线教学内容时,捕获用户的面部表情图像,包括:
所述在用户观看在线教学内容时,输出询问信息,所述询问信息用于询问用户是否允许开启摄像模式;
当检测到用户输入的用于表示允许开启所述摄像模式的指令时,开启所述摄像模式,并在所述摄像模式下捕获用户的面部表情图像。
作为一种可选的实施方式,在本发明实施例第一方面中,所述在所述摄像模式下捕获用户的面部表情图像,包括:
在所述摄像模式下检测摄像头的拍摄区域内是否存在物体;
如果存在,检测所述物体的温度是否处于设定的温度值范围内,所述设定的温度值范围的设置是以正常人体的体温范围为依据的;
如果所述物体的温度处于所述设定的温度值范围内,控制所述摄像头捕获用户图像;
通过图像识别技术识别用户图像中用户的面部表情图像并保存。
作为一种可选的实施方式,在本发明实施例第一方面中,所述保存所述第一类目标面部表情图像与所述第一类在线教学知识点的关联关系之后,所述方法还包括:
检测所述在线教学内容是否播放完毕;
如果播放完毕,查找至少一个与所述第一类在线教学知识点相关的同类在线教学内容;
控制屏幕输出所有的所述同类在线教学内容。
本发明实施例第二方面公开一种在线教学调研设备,包括:
捕获单元,用于在用户观看在线教学内容时,捕获用户的面部表情图像;
第一判断单元,用于判断在所述捕获单元捕获到用户的所有面部表情图像中是否存在第一类目标面部表情图像;其中,所述第一类目标面部表情图像是预设表情库中预设的用于表示对外部事物感兴趣的面部表情图像;
第一确定单元,用于当所述第一判断单元判断出的结果为是时,从所述在线教学内容中确定出与捕获到所述第一类目标面部表情图像的时间点相对应的第一类在线教学知识点;
第一保存单元,用于保存所述第一类目标面部表情图像与所述第一类在线教学知识点的关联关系。
作为一种可选的实施方式,在本发明实施例第二方面中,还包括:
第二判断单元,用于在所述捕获单元在用户观看在线教学内容时,捕获用户的面部表情图像之后,判断捕获到用户的所有面部表情图像中是否存在第二类目标面部表情图像;其中,所述第二类目标面部表情图像是预设表情库中预设的用于表示对外部事物不感兴趣的面部表情图像;
所述第一判断单元,具体用于当所述第二判断单元判断出的结果为否时,判断在所述捕获单元捕获到用户的所有面部表情图像中是否存在第一类目标面部表情图像;
第二确定单元,用于当所述第二判断单元判断出的结果为是时,从所述在线教学内容中确定出与捕获到所述第二类目标面部表情图像的时间点相对应的第二类在线教学知识点;
第二保存单元,用于保存所述第二类目标面部表情图像与所述第二类在线教学知识点的关联关系。
作为一种可选的实施方式,在本发明实施例第二方面中,所述捕获单元包括:
输出子单元,用于在用户观看在线教学内容时,输出询问信息,所述询问信息用于询问用户是否允许开启摄像模式;
开启子单元,用于当检测到用户输入的用于表示允许开启所述摄像模式的指令时,开启所述摄像模式;
捕获子单元,用于在所述摄像模式下捕获用户的面部表情图像。
作为一种可选的实施方式,在本发明实施例第二方面中,所述捕获子单元包括:
第一检测模块,用于在所述摄像模式下检测摄像头的拍摄区域内是否存在物体;
第二检测模块,用于当所述第一检测模块检测出的结果为是时,检测所述物体的温度是否处于设定的温度值范围内,所述设定的温度值范围的设置是以正常人体的体温范围为依据的;
捕获模块,用于当所述第二检测模块检测出的结果为是时,控制所述摄像头捕获用户图像;
保存模块,用于通过图像识别技术识别用户图像中用户的面部表情图像并保存。
作为一种可选的实施方式,在本发明实施例第二方面中,还包括:
检测单元,用于在所述第一保存单元保存所述第一类目标面部表情图像与所述第一类在线教学知识点的关联关系之后,检测所述在线教学内容是否播放完毕;
查找单元,用于当所述检测单元检测出的结果为是时,查找至少一个与所述第一类在线教学知识点相关的同类在线教学内容;
输出单元,用于控制屏幕输出所有的所述同类在线教学内容。
本发明实施例第三方面公开一种电子设备,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的在线教学调研方法。
本发明实施例第四方面公开一种计算机可读存储介质,其存储计算机程序,所述计算机程序使得计算机执行本发明实施例第一方面公开的在线教学调研方法。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,在用户观看在线教学内容时,摄像头可以捕获用户的面部表情,分析捕获到的用户表情是否属于对外部事物感兴趣的面部表情,如果是,可以认为用户对此时观看的教学内容对应的知识点感兴趣,并且将该知识点进行保存。可见,实施本发明实施例,能够自动获取用户对于在线教学内容的知识点的反馈,有利于获悉用户喜好的在线教学知识点。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种在线教学调研方法的流程示意图;
图2是本发明实施例公开的另一种在线教学调研方法的流程示意图;
图3是本发明实施例公开的另一种在线教学调研方法的流程示意图;
图4是本发明实施例公开的一种在线教学调研设备的结构示意图;
图5是本发明实施例公开的另一种在线教学调研设备的结构示意图;
图6是本发明实施例公开的另一种在线教学调研设备的结构示意图;
图7是本发明实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开一种在线教学调研方法及设备,能够自动获取用户对于在线教学内容的知识点的反馈,有利于获悉用户喜好的在线教学知识点。以下分别进行详细说明。
实施例一
请参阅图1,图1是本发明实施例公开的一种在线教学调研方法的流程示意图。如图1所示,该在线教学调研方法可以包括以下步骤:
101、在用户观看在线教学内容时,电子设备捕获用户的面部表情图像。
本发明实施例中,在线教学调研方法适用智能手机、平板电脑等各类电子设备,本发明实施例不做限定。其中,各类电子设备的操作系统可包括但不限于Android操作系统、IOS操作系统、Black Berry(黑莓)操作系统等等,本发明实施例不做限定。
本发明实施例中,在线教学内容可以为学习类视频、学习类演示文稿(如学习类PPT)等,本发明实施例不做限定。
作为一种可选的实施方式,电子设备捕获用户的面部表情图像的方式可以为:
当检测到在线教学内容开始播放时,电子设备控制摄像头开始视频录制;
电子设备检测在线教学内容是否播放完毕,如果是,控制摄像头结束视频录制;
电子设备提取录制的视频中的每一帧用户的面部表情图像并保存。
其中,实施这种实施方式,可以录制用户观看在线教学内容的视频,通过分析每一帧用户的面部表情图像得到十分详细的用户反馈数据,从而提高获悉用户喜好的在线教学知识点的准确率。
举例来说,当用户开始播放学习类视频时,电子设备检测到开始播放视频的指令时,播放用户指定的视频,并且开启摄像头,以使摄像头针对用户开始拍摄用户的面部表情视频,当电子设备检测到该学习类视频播放完毕时,控制摄像头停止拍摄用户的面部表情视频;电子设备将该视频的每一帧用户的面部表情图像进行保存。
作为一种可选的实施方式,电子设备捕获用户的面部表情图像的方式还可以为:
当检测到在线教学内容开始播放时,电子设备每隔相同的时长控制摄像头对用户进行拍照;
电子设备保存每次拍照得到的用户的面部表情图像。
其中,实施这种实施方式,可以减少获取用户的面部表情图像的数量,减少后续匹配目标面部表情图像的次数,从而提高在线教学调研的效率。
举例来说,当用户开始播放学习类视频时,电子设备控制摄像头每隔相同的时间对用户进行拍照,该相同的时间间隔可以是电子设备预先设置好的时间间隔,电子设备每拍一次用户的面部表情图像,就将该面部表情图像进行保存,从而减少了面部表情图像的数量,提高了在线教学调研的效率。
102、电子设备判断捕获到用户的所有面部表情图像中是否存在第一类目标面部表情图像,如果是,执行步骤103~步骤104;如果否,结束本流程;其中,第一类目标面部表情图像是预设表情库中预设的用于表示对外部事物感兴趣的面部表情图像。
本发明实施例中,预设表情库可以是电子设备预先存储的各种类型的人类面部表情图像,如开心、悲伤、愤怒等面部表情图像。预设表情库中的各类表情的获取方式可以是通过服务器搜索互联网上的人类的面部表情图像,并且根据该面部表情图像的匹配文字分析该面部表情图像包含的意义;将该面部表情图像与该面部表情图像包含的意义一起存入预设表情库,本发明实施例不做限定。
本发明实施例中,第一类目标面部表情可以是预设表情库中预设的至少一个用于表示对外部事物感兴趣的面部表情图像,该用于表示对外部事物感兴趣的面部表情图像可以为对某一事物表示好奇的表情、对某一事物表示高兴的表情或是对某一事物表示疑惑的表情,对此本发明实施例不做限定。
作为一种可选的实施方式,电子设备判断捕获到用户的所有面部表情图像中是否存在第一类目标面部表情图像的方式可以为:
当电子设备针对用户采取录制视频的方式时,电子设备获取已保存的每一帧用户的面部表情图像;
电子设备依次判断捕获到的每一帧用户的面部表情图像中是否存在第一类目标面部表情图像。
其中,实施这种实施方式,可以将拍摄到的用户面部表情的视频逐帧分析,提高了分析用户面部表情的准确度。
作为一种可选的实施方式,电子设备判断捕获到用户的所有面部表情图像中是否存在第一类目标面部表情图像的方式还可以为:
当电子设备针对用户采取录制视频的方式时,电子设备可以每隔相同的时间获取该段时间内录制好的视频;
电子设备提取该段时间内录制的视频中的每一帧用户的面部表情图像;
电子设备依次判断提取出的每一帧用户的面部表情图像中是否存在第一类目标面部表情图像。
其中,实施这种实施方式,可以在用户观看在线教学内容的同时进行用户的面部表情图像的分析工作,在分析出结果后可以删除该段视频,扩大电子设备的存储空间,从而在提高了分析用户面部表情的速度的同时还保证了电子设备有足够的存储空间存储录制的视频。
作为一种可选的实施方式,电子设备判断捕获到用户的所有面部表情图像中是否存在第一类目标面部表情图像的方式还可以为:
当电子设备针对用户采取拍摄照片的方式时,电子设备在每一次拍摄之后获取该次拍摄到的用户的面部表情图像;
电子设备判断该面部表情图像是否与第一类目标面部表情图像匹配。
其中,实施这种实施方式,可以在每次拍摄之后立即判断出该面部表情图像是否属于对外部事物感兴趣的面部表情图像,从而在提高了分析用户面部表情的速度的同时还不占用电子设备的存储空间。
103、电子设备从在线教学内容中确定出与捕获到第一类目标面部表情图像的时间点相对应的第一类在线教学知识点。
本发明实施例中,捕获到的第一类目标面部表情图像对应着在线教学内容中的唯一一个时间点,该时间点同时对应着唯一一个知识点,也即是捕获到的第一类目标面部表情图像对应着唯一一个知识点。
本发明实施例中,电子设备在检测到在线教学内容开始播放时,控制摄像头启动,摄像头获取到用户的面部表情图像的摄像头开启时长与在线教学内容播放的时长相同,由此可以获取到用户的面部表情图像对应的在线教学内容的时间点。
本发明实施例中,在线教学知识点对应在线教学内容的时间点的方式可以为:在线教学内容的每一帧图像都对应一个时间点,同时每一帧图像都对应一个在线教学知识点,当电子设备获取到用户的面部表情图像时,可以确定该面部表情图像对应的在线教学知识点。
本发明实施例中,在线教学知识点对应在线教学内容的时间点的方式还可以为:电子设备预先将在线教学内容划分为几个时间段,每个时间段对应不同的在线教学知识点;当电子设备获取到用户的面部表情图像时,电子设备获取用户的面部表情图像对应的在线教学内容的时间点,通过判断出该时间点处于哪一个时间段内,确定该时间点对应的在线教学知识点,同时也确定了该面部表情图像对应的在线教学知识点。
举例来说,电子设备可以是智能手机,在线教学内容可以是学习类视频,该学习类视频可以分为若干个时间段,智能手机控制摄像头获取到用户的面部表情图像,同时确定出该面部表情图像对应的学习类视频的时间点,判断该时间点处于哪个时间段内,若确定了该时间点所处的时间段,获取该时间段对应的知识点,将该知识点与面部表情图像进行匹配。通过划分时间段来对应知识点的方式,可以减少预设时间点与知识点对应的数据,从而提高了用户的面部表情图像分析的效率。
104、电子设备保存第一类目标面部表情图像与第一类在线教学知识点的关联关系。
本发明实施例中,电子设备将得到的第一类目标面部表情图像与第一类在线教学知识点对应起来,并得到他们之间的关联关系,将确定的第一类目标面部表情图像与第一类在线教学知识点以及该关联关系进行保存,以方便电子设备后续提取该关联关系。
作为一种可选的实施方式,电子设备执行步骤104之后,还可以执行以下步骤:
在检测到在线教学内容播放完毕时,电子设备将所有保存的第一类目标面部表情图像与第一类在线教学知识点的关联关系进行分析,得到用户学习兴趣报告,该户学习兴趣报告可以包括对用户学习兴趣的分以及对用户后续学习的建议;
电子设备输出报告提示信息,该报告提示信息用于提示用户是否需要查看该用户学习兴趣报告;
在检测到输入的用于表示用户需要查看用户学习兴趣报告的指令时,电子设备输出用户学习兴趣报告。
其中,实施这种实施方式,可以根据保存的第一类目标面部表情图像与第一类在线教学知识点的关联关系分析出用户的学习兴趣,并将用户学习兴趣报告输出给用户,从而使用户对自身的学习兴趣有一个正确的认知,有利于用户后续的学习。
举例来说,电子设备可以是智能手机,在线教学内容可以是学习类视频,在检测到用户观看学习类视频时,智能手机控制摄像头捕获用户观看学习类视频时的面部表情图像,智能手机判断捕获到的用户的面部表情图像是否存在与预设表情库中预设的用于表示对外部事物感兴趣的面部表情图像(如对某一事物表示好奇的表情、对某一事物表示高兴的表情或是对某一事物表示疑惑的表情)一致的目标面部表情图像,如果存在,确定获取该目标面部表情图像对应学习类视频的时间点,并确定该时间点对应的在线教学知识点,将确定的目标面部表情图像与在线教学知识点进行关联,并将确定的目标面部表情图像与在线教学知识点以及该关联关系进行保存。在用户观看学习类视频的时候自动获取用户面部表情,并且进行分析,得到用户感兴趣的知识点,提高了对于教学内容反馈的效率。
在图1所描述的方法中,电子设备能够自动获取用户对于在线教学内容的知识点的反馈,有利于获悉用户喜好的在线教学知识点。此外,实施图1所描述的方法,电子设备可以录制用户观看在线教学内容的视频,通过分析每一帧用户的面部表情图像得到十分详细的用户反馈数据,从而提高获悉用户喜好的在线教学知识点的准确率。此外,实施图1所描述的方法,电子设备可以减少获取用户的面部表情图像的数量,减少后续匹配目标面部表情图像的次数,从而提高在线教学调研的效率。此外,实施图1所描述的方法,电子设备可以将拍摄到的用户面部表情的视频逐帧分析,提高了分析用户面部表情的准确度。此外,实施图1所描述的方法,电子设备可以在每次拍摄之后立即判断出该面部表情图像是否属于对外部事物感兴趣的面部表情图像,从而在提高了分析用户面部表情的速度的同时还不占用电子设备的存储空间。此外,实施图1所描述的方法,电子设备可以根据保存的第一类目标面部表情图像与第一类在线教学知识点的关联关系分析出用户的学习兴趣,并将用户学习兴趣报告输出给用户,从而使用户对自身的学习兴趣有一个正确的认知,有利于用户后续的学习。
实施例二
请参阅图2,图2是本发明实施例公开的另一种在线教学调研方法的流程示意图。如图2所示,该在线教学调研方法可以包括以下步骤:
201、在用户观看在线教学内容时,电子设备捕获用户的面部表情图像。
202、电子设备判断捕获到用户的所有面部表情图像中是否存在第二类目标面部表情图像,如果是,执行步骤203~步骤204;如果否,执行步骤205;其中,第二类目标面部表情图像是预设表情库中预设的用于表示对外部事物不感兴趣的面部表情图像。
本发明实施例中,预设表情库可以是电子设备预先存储的各种类型的人类面部表情图像,如开心、悲伤、愤怒等面部表情图像。预设表情库中的各类表情的获取方式可以是通过服务器搜索互联网上的人类的面部表情图像,并且根据该面部表情图像的匹配文字分析该面部表情图像包含的意义;将该面部表情图像与该面部表情图像包含的意义一起存入预设表情库,本发明实施例不做限定。
本发明实施例中,第二类目标面部表情可以是预设表情库中预设的至少一个用于表示对外部事物不感兴趣的面部表情图像,该用于表示对外部事物不感兴趣的面部表情图像可以为对某一事物表示无聊的表情、对某一事物表示厌恶的表情或是对某一事物表示愤怒的表情,对此本发明实施例不做限定。
203、电子设备从在线教学内容中确定出与捕获到第二类目标面部表情图像的时间点相对应的第二类在线教学知识点。
本发明实施例中,捕获到的第二类目标面部表情图像对应着在线教学内容中的唯一一个时间点,该时间点同时对应着唯一一个知识点,也即是捕获到的第二类目标面部表情图像对应着唯一一个知识点。
本发明实施例中,电子设备在检测到在线教学内容开始播放时,控制摄像头启动,摄像头获取到用户的面部表情图像的摄像头开启时长与在线教学内容播放的时长相同,由此可以获取到用户的面部表情图像对应的在线教学内容的时间点。
本发明实施例中,在线教学知识点对应在线教学内容的时间点的方式可以为:在线教学内容的每一帧图像都对应一个时间点,同时每一帧图像都对应一个在线教学知识点,当电子设备获取到用户的面部表情图像时,可以确定该面部表情图像对应的在线教学知识点。
本发明实施例中,在线教学知识点对应在线教学内容的时间点的方式还可以为:电子设备预先将在线教学内容划分为几个时间段,每个时间段对应不同的在线教学知识点;当电子设备获取到用户的面部表情图像时,电子设备获取用户的面部表情图像对应的在线教学内容的时间点,通过判断出该时间点处于哪一个时间段内,确定该时间点对应的在线教学知识点,同时也确定了该面部表情图像对应的在线教学知识点。
204、电子设备保存第二类目标面部表情图像与第二类在线教学知识点的关联关系。
本发明实施例中,电子设备将得到的第二类目标面部表情图像与第二类在线教学知识点对应起来,并得到他们之间的关联关系,将确定的第二类目标面部表情图像与第二类在线教学知识点以及该关联关系进行保存,以方便电子设备后续提取该关联关系。
本发明实施例中,实施上述的步骤202~步骤204,可以通过分析用户的面部表情图形,获取到用户不感兴趣的在线教学知识点,避免给用户输出用户不感兴趣的内容。
205、电子设备判断捕获到用户的所有面部表情图像中是否存在第一类目标面部表情图像,如果是,步骤206~步骤208;如果否,结束本流程;其中,第一类目标面部表情图像是预设表情库中预设的用于表示对外部事物感兴趣的面部表情图像。
206、电子设备从在线教学内容中确定出与捕获到第一类目标面部表情图像的时间点相对应的第一类在线教学知识点。
207、电子设备保存第一类目标面部表情图像与第一类在线教学知识点的关联关系。
208、电子设备检测在线教学内容是否播放完毕,如果是,执行步骤209~步骤210;如果否,执行步骤208。
作为一种可选的实施方式,电子设备检测在线教学内容是否播放完毕的方式可以包括:
电子设备获取在线教学内容的播放时长;
电子设备持续检测播放在线教学内容的即时时长是否等于播放时长;
如果等于,电子设备可以认为在线教学内容播放完毕。
其中,实施这种实施方式,可以及时地获取在线教学内容播放完毕的信息,避免在视频结束之后继续捕获用户的面部表情图像,降低了分析用户的面部表情图像的错误率。
209、电子设备查找至少一个与第一类在线教学知识点相关的同类在线教学内容。
本发明实施例中,第一类在线教学知识点是用户感兴趣的在线教学知识点,第一类在线教学知识点中包含至少一个用户感兴趣的知识点,电子设备根据第一类在线教学知识点中的每一个知识点在服务设备中依次进行匹配,并将匹配出来的同类在线教学内容发送给电子设备。
210、电子设备控制屏幕输出所有的同类在线教学内容。
本发明实施例中,电子设备将接收到的服务设备发送的同类在线教学内容输出到屏幕上,供用户选择感兴趣的在线教学内容继续进行学习。
作为一种可选的实施方式,电子设备控制屏幕输出所有的同类在线教学内容的方式可以包括:
电子设备对接收到的每一个同类在线教学内容设置匹配度,该匹配度是根据计算同类在线教学内容包含的知识点与第一类在线教学知识点相同的个数得出的;
电子设备将所有的同类在线教学内容根据匹配度由高至低进行排序;
电子设备将匹配度高的同类在线教学内容优先输出。
其中,实施这种实施方式,可以优先输出匹配度高的同类在线教学内容,提高用户选择推荐的同类在线教学内容的几率。
本发明实施例中,实施上述的步骤208~步骤210,可以在在线教学内容播放完毕之后,根据用户感兴趣的知识点给用户推送相关的在线教学内容。
在图2所描述的方法中,电子设备能够自动获取用户对于在线教学内容的知识点的反馈,有利于获悉用户喜好的在线教学知识点。此外,实施图2所描述的方法,电子设备可以通过分析用户的面部表情图形,获取到用户不感兴趣的在线教学知识点,避免给用户输出用户不感兴趣的内容。此外,实施图2所描述的方法,电子设备可以及时地获取在线教学内容播放完毕的信息,避免在视频结束之后继续捕获用户的面部表情图像,降低了分析用户的面部表情图像的错误率。此外,实施图2所描述的方法,电子设备可以优先输出匹配度高的同类在线教学内容,提高用户选择推荐的同类在线教学内容的几率。此外,实施图2所描述的方法,电子设备可以在在线教学内容播放完毕之后,根据用户感兴趣的知识点给用户推送相关的在线教学内容。
实施例三
请参阅图3,图3是本发明实施例公开的另一种在线教学调研方法的流程示意图。如图3所示,该在线教学调研方法可以包括以下步骤:
301、在用户观看在线教学内容时,电子设备输出询问信息,该询问信息用于询问用户是否允许开启摄像模式。
本发明实施例中,在线教学内容可以为学习类视频、学习类演示文稿(如学习类PPT)等,本发明实施例不做限定。
本发明实施例中,电子设备在屏幕上输出询问信息,提示用户是否允许开启摄像模式,如果用户允许开启摄像模式可以点击屏幕上的确定按钮,如果用户不允许开启摄像模式可以点击屏幕上的取消按钮。
302、电子设备判断是否检测到用户输入的用于表示允许开启摄像模式的指令,如果是,执行步骤303~步骤304;如果否,结束本流程。
本发明实施例中,电子设备检测用户点击的按钮,当电子设备检测出用户点击的是确定按钮时,执行步骤303~步骤304,电子设备检测出用户点击的是取消按钮时,结束本流程。
303、电子设备开启摄像模式。
本发明实施例中,电子设备可以向摄像头模块发送开启指令,该开启指令可以用于使摄像头处于工作状态,摄像头可以根据开启指令,设置摄像模式,针对用户进行拍照或者录像等操作。
本发明实施例中,实施上述的步骤301~步骤303,可以询问用户是否需要开启摄像模式,给用户选择的空间,保护了用户的隐私不被随意获取。
304、电子设备在摄像模式下检测摄像头的拍摄区域内是否存在物体,如果是,执行步骤305;如果否,执行步骤304。
本发明实施例中,电子设备可以在摄像模式下检测摄像头的拍摄区域内设置超声波感应器,可以利用超声波检测摄像头的拍摄区域内是否进入物体,如果是,执行步骤305;如果否,执行步骤304。
本发明实施例中,电子设备检测摄像头的拍摄区域内是否存在物体这一过程是持续进行检测的,直到电子设备检测到摄像头的拍摄区域内存在物体,才继续执行步骤305,否则电子设备就会一直进行检测。
305、电子设备检测物体的温度是否处于设定的温度值范围内,如果是,执行步骤306~步骤308;如果否,执行步骤304,该设定的温度值范围的设置是以正常人体的体温范围为依据的。
本发明实施例中,设定的温度值范围的设置是以正常人体的体温范围为依据的。例如,正常人体的体温范围是36.0-37.3度,那么该设定的温度值范围可以设置为36.0-37.3度。
本发明实施例中,电子设备上可以设置有红外测温探头(也称为红外温度传感器),相应地,电子设备可以利用红外测温探头来检测物体的温度是否处于设定的温度值范围(如36.0-37.3度)内,如果是,执行步骤306~步骤308;如果否,执行步骤304。
本发明实施例中,只有当电子设备检测到该物体是人体时,才会执行步骤306~步骤308,当电子设备检测到该物体不是人体时,就会继续检测摄像头的拍摄区域内存在物体,此时继续执行步骤304。
306、电子设备控制摄像头捕获用户图像。
307、电子设备通过图像识别技术识别用户图像中用户的面部表情图像并保存。
本发明实施例中,摄像头捕获的用户图像可能存在着用户的面部表情过小的问题,电子设备通过图像识别技术,可以识别出捕获到的用户图像中用户的面部表情的部分,电子设备将该部分提取出来,生成用户的面部表情图像,此时生成的面部表情图像中主要现实的就是用户的面部表情。
本发明实施例中,实施上述的步骤304~步骤307,可以检测出摄像头拍摄的确实是人类的面部表情图像,还可以通过图像识别技术将用户的面部表情图像充分的显示出来,从而提高电子设备识别用户的面部表情图像的效率。
步骤308~步骤316与步骤202~步骤210相同,以下内容不做赘述。
在图3所描述的方法中,电子设备能够自动获取用户对于在线教学内容的知识点的反馈,有利于获悉用户喜好的在线教学知识点。此外,实施图3所描述的方法,电子设备可以询问用户是否需要开启摄像模式,给用户选择的空间,保护了用户的隐私不被随意获取。此外,实施图3所描述的方法,电子设备可以检测出摄像头拍摄的确实是人类的面部表情图像,还可以通过图像识别技术将用户的面部表情图像充分的显示出来,从而提高电子设备识别用户的面部表情图像的效率。
实施例四
请参阅图4,图4是本发明实施例公开的一种在线教学调研设备的结构示意图。如图4所示,该在线教学调研设备可以包括:
捕获单元401,用于在用户观看在线教学内容时,捕获用户的面部表情图像。
作为一种可选的实施方式,捕获单元401具体用于当检测到在线教学内容开始播放时,控制摄像头开始视频录制;检测在线教学内容是否播放完毕,如果是,控制摄像头结束视频录制;提取录制的视频中的每一帧用户的面部表情图像并保存。其中,实施这种实施方式,可以录制用户观看在线教学内容的视频,通过分析每一帧用户的面部表情图像得到十分详细的用户反馈数据,从而提高获悉用户喜好的在线教学知识点的准确率。
作为一种可选的实施方式,捕获单元401还可以用于当检测到在线教学内容开始播放时,每隔相同的时长控制摄像头对用户进行拍照;保存每次拍照得到的用户的面部表情图像。其中,实施这种实施方式,可以减少获取用户的面部表情图像的数量,减少后续匹配目标面部表情图像的次数,从而提高在线教学调研的效率。
第一判断单元402,用于判断在捕获单元401捕获到用户的所有面部表情图像中是否存在第一类目标面部表情图像;其中,第一类目标面部表情图像是预设表情库中预设的用于表示对外部事物感兴趣的面部表情图像。
作为一种可选的实施方式,第一判断单元402具体用于当电子设备针对用户采取录制视频的方式时,获取已保存的每一帧用户的面部表情图像;依次判断捕获到的每一帧用户的面部表情图像中是否存在第一类目标面部表情图像。其中,实施这种实施方式,可以将拍摄到的用户面部表情的视频逐帧分析,提高了分析用户面部表情的准确度。
进一步可选的,第一判断单元402还可以用于当电子设备针对用户采取录制视频的方式时,可以每隔相同的时间获取该段时间内录制好的视频;提取该段时间内录制的视频中的每一帧用户的面部表情图像;依次判断提取出的每一帧用户的面部表情图像中是否存在第一类目标面部表情图像。其中,实施这种实施方式,可以在用户观看在线教学内容的同时进行用户的面部表情图像的分析工作,在分析出结果后可以删除该段视频,扩大电子设备的存储空间,从而在提高了分析用户面部表情的速度的同时还保证了电子设备有足够的存储空间存储录制的视频。
进一步可选的,第一判断单元402还可以用于当电子设备针对用户采取拍摄照片的方式时,在每一次拍摄之后获取该次拍摄到的用户的面部表情图像;判断该面部表情图像是否与第一类目标面部表情图像匹配。其中,实施这种实施方式,可以在每次拍摄之后立即判断出该面部表情图像是否属于对外部事物感兴趣的面部表情图像,从而在提高了分析用户面部表情的速度的同时还不占用电子设备的存储空间。
第一确定单元403,用于当第一判断单元402判断出的结果为是时,从在线教学内容中确定出与捕获到第一类目标面部表情图像的时间点相对应的第一类在线教学知识点。
本发明实施例中,在线教学知识点对应在线教学内容的时间点的方式可以为:在线教学内容的每一帧图像都对应一个时间点,同时每一帧图像都对应一个在线教学知识点,当电子设备获取到用户的面部表情图像时,可以确定该面部表情图像对应的在线教学知识点。
本发明实施例中,在线教学知识点对应在线教学内容的时间点的方式还可以为:预先将在线教学内容划分为几个时间段,每个时间段对应不同的在线教学知识点;当电子设备获取到用户的面部表情图像时,获取用户的面部表情图像对应的在线教学内容的时间点,通过判断出该时间点处于哪一个时间段内,确定该时间点对应的在线教学知识点,同时也确定了该面部表情图像对应的在线教学知识点。通过划分时间段来对应知识点的方式,可以减少预设时间点与知识点对应的数据,从而提高了用户的面部表情图像分析的效率。
第一保存单元404,用于保存在第一判断单元402判断出的第一类目标面部表情图像与在第一确定单元403确定出的第一类在线教学知识点的关联关系。
作为一种可选的实施方式,第一保存单元404还可以包括:在检测到在线教学内容播放完毕时,将所有保存的第一类目标面部表情图像与第一类在线教学知识点的关联关系进行分析,得到用户学习兴趣报告,该户学习兴趣报告可以包括对用户学习兴趣的分以及对用户后续学习的建议;输出报告提示信息,该报告提示信息用于提示用户是否需要查看该用户学习兴趣报告;在检测到输入的用于表示用户需要查看用户学习兴趣报告的指令时,输出用户学习兴趣报告。其中,实施这种实施方式,可以根据保存的第一类目标面部表情图像与第一类在线教学知识点的关联关系分析出用户的学习兴趣,并将用户学习兴趣报告输出给用户,从而使用户对自身的学习兴趣有一个正确的认知,有利于用户后续的学习。
可见,实施图4所描述的在线教学调研设备,能够自动获取用户对于在线教学内容的知识点的反馈,有利于获悉用户喜好的在线教学知识点。
此外,实施图4所描述的在线教学调研设备,可以录制用户观看在线教学内容的视频,通过分析每一帧用户的面部表情图像得到十分详细的用户反馈数据,从而提高获悉用户喜好的在线教学知识点的准确率。
此外,实施图4所描述的在线教学调研设备,可以减少获取用户的面部表情图像的数量,减少后续匹配目标面部表情图像的次数,从而提高在线教学调研的效率。
此外,实施图4所描述的在线教学调研设备,可以将拍摄到的用户面部表情的视频逐帧分析,提高了分析用户面部表情的准确度。
此外,实施图4所描述的在线教学调研设备,可以在每次拍摄之后立即判断出该面部表情图像是否属于对外部事物感兴趣的面部表情图像,从而在提高了分析用户面部表情的速度的同时还不占用电子设备的存储空间。
此外,实施图4所描述的在线教学调研设备,可以根据保存的第一类目标面部表情图像与第一类在线教学知识点的关联关系分析出用户的学习兴趣,并将用户学习兴趣报告输出给用户,从而使用户对自身的学习兴趣有一个正确的认知,有利于用户后续的学习。
实施例五
请参阅图5,图5是本发明实施例公开的另一种在线教学调研设备的结构示意图。其中,图5所示的在线教学调研设备是由图4所示的在线教学调研设备优化得到的,与图4所示的在线教学调研设备相比较,图5所示的在线教学调研设备还可以包括:
第二判断单元405,用于在捕获单元401在用户观看在线教学内容时,捕获用户的面部表情图像之后,判断捕获到用户的所有面部表情图像中是否存在第二类目标面部表情图像;其中,第二类目标面部表情图像是预设表情库中预设的用于表示对外部事物不感兴趣的面部表情图像。
第一判断单元402,具体用于当第二判断单元405判断出的结果为否时,判断在捕获单元401捕获到用户的所有面部表情图像中是否存在第一类目标面部表情图像。
第二确定单元406,用于当第二判断单元405判断出的结果为是时,从在线教学内容中确定出与捕获到第二类目标面部表情图像的时间点相对应的第二类在线教学知识点。
第二保存单元407,用于保存在第二判断单元405判断出的第二类目标面部表情图像与在第二确定单元406确定出的第二类在线教学知识点的关联关系。
本发明实施例中,可以通过分析用户的面部表情图形,获取到用户不感兴趣的在线教学知识点,避免给用户输出用户不感兴趣的内容。
作为一种可选的实施方式,一种在线教学调研设备还可以包括:
检测单元408,用于在第一保存单元404保存第一类目标面部表情图像与第一类在线教学知识点的关联关系之后,检测在线教学内容是否播放完毕。
作为一种可选的实施方式,检测单元408具体用于在第一保存单元404保存第一类目标面部表情图像与第一类在线教学知识点的关联关系之后,获取在线教学内容的播放时长;持续检测播放在线教学内容的即时时长是否等于播放时长;如果等于,可以认为在线教学内容播放完毕。其中,实施这种实施方式,可以及时地获取在线教学内容播放完毕的信息,避免在视频结束之后继续捕获用户的面部表情图像,降低了分析用户的面部表情图像的错误率。
查找单元409,用于当检测单元408检测出的结果为是时,查找至少一个与第一类在线教学知识点相关的同类在线教学内容。
输出单元410,用于控制屏幕输出所有的在查找单元409查找到的同类在线教学内容。
作为一种可选的实施方式,输出单元410具体用于对接收到的每一个同类在线教学内容设置匹配度,该匹配度是根据计算同类在线教学内容包含的知识点与第一类在线教学知识点相同的个数得出的;将所有的同类在线教学内容根据匹配度由高至低进行排序;将匹配度高的同类在线教学内容优先输出。其中,实施这种实施方式,可以优先输出匹配度高的同类在线教学内容,提高用户选择推荐的同类在线教学内容的几率。
本发明实施例中,可以在在线教学内容播放完毕之后,根据用户感兴趣的知识点给用户推送相关的在线教学内容。
可见,实施图5所描述的在线教学调研设备,能够自动获取用户对于在线教学内容的知识点的反馈,有利于获悉用户喜好的在线教学知识点。
此外,实施图5所描述的在线教学调研设备,可以通过分析用户的面部表情图形,获取到用户不感兴趣的在线教学知识点,避免给用户输出用户不感兴趣的内容。
此外,实施图5所描述的在线教学调研设备,可以及时地获取在线教学内容播放完毕的信息,避免在视频结束之后继续捕获用户的面部表情图像,降低了分析用户的面部表情图像的错误率。
此外,实施图5所描述的在线教学调研设备,可以优先输出匹配度高的同类在线教学内容,提高用户选择推荐的同类在线教学内容的几率。
实施例六
请参阅图6,图6是本发明实施例公开的另一种在线教学调研设备的结构示意图。其中,图6所示的在线教学调研设备是由图5所示的在线教学调研设备优化得到的,与图5所示的在线教学调研设备相比较,图6所示的在线教学调研设备中,捕获单元401包括:
输出子单元4011,用于在用户观看在线教学内容时,输出询问信息,该询问信息用于询问用户是否允许开启摄像模式。
开启子单元4012,用于当检测到用户输入的用于表示允许开启摄像模式的指令时,开启摄像模式。
捕获子单元4013,用于在开启子单元4012开启的摄像模式下捕获用户的面部表情图像。
本发明实施例中,可以询问用户是否需要开启摄像模式,给用户选择的空间,保护了用户的隐私不被随意获取。
作为一种可选的实施方式,在图6所示的在线教学调研设备中,捕获子单元4013可以包括:
第一检测模块40131,用于在开启子单元4012开启的摄像模式下检测摄像头的拍摄区域内是否存在物体。
第二检测模块40132,用于当第一检测模块40131检测出的结果为是时,检测物体的温度是否处于设定的温度值范围内,该设定的温度值范围的设置是以正常人体的体温范围为依据的。
捕获模块40133,用于当第二检测模块40132检测出的结果为是时,控制摄像头捕获用户图像。
保存模块40134,用于通过图像识别技术识别捕获模块40133捕获到的用户图像中用户的面部表情图像并保存。
本发明实施例中,可以检测出摄像头拍摄的确实是人类的面部表情图像,还可以通过图像识别技术将用户的面部表情图像充分的显示出来,从而提高电子设备识别用户的面部表情图像的效率。
可见,实施图6所描述的在线教学调研设备,能够自动获取用户对于在线教学内容的知识点的反馈,有利于获悉用户喜好的在线教学知识点。
此外,实施图6所描述的在线教学调研设备,可以询问用户是否需要开启摄像模式,给用户选择的空间,保护了用户的隐私不被随意获取。
此外,实施图6所描述的在线教学调研设备,可以检测出摄像头拍摄的确实是人类的面部表情图像,还可以通过图像识别技术将用户的面部表情图像充分的显示出来,从而提高电子设备识别用户的面部表情图像的效率。
实施例七
请参阅图7,图7是本发明实施例公开的一种电子设备的结构示意图。如图7所示,该电子设备可以包括:
存储有可执行程序代码的存储器701;
与存储器701耦合的处理器702;
其中,处理器702调用存储器701中存储的可执行程序代码,执行图1~图3任意一种在线教学调研方法。
本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行图1~图3任意一种在线教学调研方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种在线教学调研方法及设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种在线教学调研方法,其特征在于,所述方法包括:
在用户观看在线教学内容时,捕获用户的面部表情图像;
判断捕获到用户的所有面部表情图像中是否存在第一类目标面部表情图像;其中,所述第一类目标面部表情图像是预设表情库中预设的用于表示对外部事物感兴趣的面部表情图像,所述预设表情库包含电子设备预先存储的各种类型的人类面部表情图像;
如果存在,从所述在线教学内容中确定出与捕获到所述第一类目标面部表情图像的时间点相对应的第一类在线教学知识点;
保存所述第一类目标面部表情图像与所述第一类在线教学知识点的关联关系;
在检测到所述在线教学内容播放完毕时,将所有保存的所述第一类目标面部表情图像与所述第一类在线教学知识点的所述关联关系进行分析,得到用户学习兴趣报告;
输出报告提示信息,所述报告提示信息用于提示用户是否需要查看所述用户学习兴趣报告;
在检测到输入的用于表示用户需要查看所述用户学习兴趣报告的指令时,输出所述用户学习兴趣报告。
2.根据权利要求1所述的方法,其特征在于,所述在用户观看在线教学内容时,捕获用户的面部表情图像之后,所述方法还包括:
判断捕获到用户的所有面部表情图像中是否存在第二类目标面部表情图像;其中,所述第二类目标面部表情图像是预设表情库中预设的用于表示对外部事物不感兴趣的面部表情图像;
如果不存在,执行所述的判断捕获到用户的所有面部表情图像中是否存在第一类目标面部表情图像;
如果存在,从所述在线教学内容中确定出与捕获到所述第二类目标面部表情图像的时间点相对应的第二类在线教学知识点;
保存所述第二类目标面部表情图像与所述第二类在线教学知识点的关联关系。
3.根据权利要求2所述的方法,其特征在于,所述在用户观看在线教学内容时,捕获用户的面部表情图像,包括:
所述在用户观看在线教学内容时,输出询问信息,所述询问信息用于询问用户是否允许开启摄像模式;
当检测到用户输入的用于表示允许开启所述摄像模式的指令时,开启所述摄像模式,并在所述摄像模式下捕获用户的面部表情图像。
4.根据权利要求3所述的方法,其特征在于,所述在所述摄像模式下捕获用户的面部表情图像,包括:
在所述摄像模式下检测摄像头的拍摄区域内是否存在物体;
如果存在,检测所述物体的温度是否处于设定的温度值范围内,所述设定的温度值范围的设置是以正常人体的体温范围为依据的;
如果所述物体的温度处于所述设定的温度值范围内,控制所述摄像头捕获用户图像;
通过图像识别技术识别用户图像中用户的面部表情图像并保存。
5.根据权利要求1~4任一项所述的方法,其特征在于,所述保存所述第一类目标面部表情图像与所述第一类在线教学知识点的关联关系之后,所述方法还包括:
检测所述在线教学内容是否播放完毕;
如果播放完毕,查找至少一个与所述第一类在线教学知识点相关的同类在线教学内容;
控制屏幕输出所有的所述同类在线教学内容。
6.一种在线教学调研设备,其特征在于,包括:
捕获单元,用于在用户观看在线教学内容时,捕获用户的面部表情图像;
第一判断单元,用于判断在所述捕获单元捕获到用户的所有面部表情图像中是否存在第一类目标面部表情图像;其中,所述第一类目标面部表情图像是预设表情库中预设的用于表示对外部事物感兴趣的面部表情图像,所述预设表情库包含电子设备预先存储的各种类型的人类面部表情图像;
第一确定单元,用于当所述第一判断单元判断出的结果为是时,从所述在线教学内容中确定出与捕获到所述第一类目标面部表情图像的时间点相对应的第一类在线教学知识点;
第一保存单元,用于保存所述第一类目标面部表情图像与所述第一类在线教学知识点的关联关系;
所述第一保存单元,还用于在检测到所述在线教学内容播放完毕时,将所有保存的所述第一类目标面部表情图像与所述第一类在线教学知识点的所述关联关系进行分析,得到用户学习兴趣报告;输出报告提示信息,所述报告提示信息用于提示用户是否需要查看所述用户学习兴趣报告;在检测到输入的用于表示用户需要查看所述用户学习兴趣报告的指令时,输出所述用户学习兴趣报告。
7.根据权利要求6所述的在线教学调研设备,其特征在于,还包括:
第二判断单元,用于在所述捕获单元在用户观看在线教学内容时,捕获用户的面部表情图像之后,判断捕获到用户的所有面部表情图像中是否存在第二类目标面部表情图像;其中,所述第二类目标面部表情图像是预设表情库中预设的用于表示对外部事物不感兴趣的面部表情图像;
所述第一判断单元,具体用于当所述第二判断单元判断出的结果为否时,判断在所述捕获单元捕获到用户的所有面部表情图像中是否存在第一类目标面部表情图像;
第二确定单元,用于当所述第二判断单元判断出的结果为是时,从所述在线教学内容中确定出与捕获到所述第二类目标面部表情图像的时间点相对应的第二类在线教学知识点;
第二保存单元,用于保存所述第二类目标面部表情图像与所述第二类在线教学知识点的关联关系。
8.根据权利要求7所述的在线教学调研设备,其特征在于,所述捕获单元包括:
输出子单元,用于在用户观看在线教学内容时,输出询问信息,所述询问信息用于询问用户是否允许开启摄像模式;
开启子单元,用于当检测到用户输入的用于表示允许开启所述摄像模式的指令时,开启所述摄像模式;
捕获子单元,用于在所述摄像模式下捕获用户的面部表情图像。
9.根据权利要求8所述的在线教学调研设备,其特征在于,所述捕获子单元包括:
第一检测模块,用于在所述摄像模式下检测摄像头的拍摄区域内是否存在物体;
第二检测模块,用于当所述第一检测模块检测出的结果为是时,检测所述物体的温度是否处于设定的温度值范围内,所述设定的温度值范围的设置是以正常人体的体温范围为依据的;
捕获模块,用于当所述第二检测模块检测出的结果为是时,控制所述摄像头捕获用户图像;
保存模块,用于通过图像识别技术识别用户图像中用户的面部表情图像并保存。
10.根据权利要求6~9任一项所述的在线教学调研设备,其特征在于,还包括:
检测单元,用于在所述第一保存单元保存所述第一类目标面部表情图像与所述第一类在线教学知识点的关联关系之后,检测所述在线教学内容是否播放完毕;
查找单元,用于当所述检测单元检测出的结果为是时,查找至少一个与所述第一类在线教学知识点相关的同类在线教学内容;
输出单元,用于控制屏幕输出所有的所述同类在线教学内容。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711266022.2A CN108090424B (zh) | 2017-12-05 | 2017-12-05 | 一种在线教学调研方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711266022.2A CN108090424B (zh) | 2017-12-05 | 2017-12-05 | 一种在线教学调研方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108090424A CN108090424A (zh) | 2018-05-29 |
CN108090424B true CN108090424B (zh) | 2021-04-30 |
Family
ID=62173688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711266022.2A Active CN108090424B (zh) | 2017-12-05 | 2017-12-05 | 一种在线教学调研方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108090424B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109857781A (zh) * | 2019-01-18 | 2019-06-07 | 深圳先进技术研究院 | 情绪和测试结果的关联度分析方法及分析装置、存储介质 |
CN109784289A (zh) * | 2019-01-23 | 2019-05-21 | 广东小天才科技有限公司 | 一种应用于家教设备的用户提示方法及家教设备 |
CN110516979A (zh) * | 2019-09-02 | 2019-11-29 | 西南大学 | 一种个性化学习评价方法及装置 |
CN111586493A (zh) * | 2020-06-01 | 2020-08-25 | 联想(北京)有限公司 | 一种多媒体文件的播放方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103793518A (zh) * | 2014-02-12 | 2014-05-14 | 广东小天才科技有限公司 | 一种学习资源推送方法和装置 |
US9576495B2 (en) * | 2012-12-11 | 2017-02-21 | Fluidity Software, Inc. | Computerized system and method for teaching, learning, and assessing the knowledge of stem principles |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8094891B2 (en) * | 2007-11-01 | 2012-01-10 | Sony Ericsson Mobile Communications Ab | Generating music playlist based on facial expression |
CN103826160A (zh) * | 2014-01-09 | 2014-05-28 | 广州三星通信技术研究有限公司 | 获取视频的信息的方法及设备及播放视频的方法及设备 |
CN104572852B (zh) * | 2014-12-16 | 2019-09-03 | 百度在线网络技术(北京)有限公司 | 资源的推荐方法及装置 |
CN106875767B (zh) * | 2017-03-10 | 2019-03-15 | 重庆智绘点途科技有限公司 | 在线学习系统及方法 |
CN107424100B (zh) * | 2017-07-21 | 2021-01-01 | 深圳市鹰硕技术有限公司 | 信息提供方法及系统 |
-
2017
- 2017-12-05 CN CN201711266022.2A patent/CN108090424B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9576495B2 (en) * | 2012-12-11 | 2017-02-21 | Fluidity Software, Inc. | Computerized system and method for teaching, learning, and assessing the knowledge of stem principles |
CN103793518A (zh) * | 2014-02-12 | 2014-05-14 | 广东小天才科技有限公司 | 一种学习资源推送方法和装置 |
Non-Patent Citations (2)
Title |
---|
Facial expression recognition for intelligent tutoring systems in remote laboratories platform;Jihen KHALFALLAH etal.;《Procedia Computer Science》;20151231;全文 * |
基于人脸表情识别的智能网络教学系统研究;冯满堂等;《计算机技术与发展》;20110630;第21卷(第6期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108090424A (zh) | 2018-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108090424B (zh) | 一种在线教学调研方法及设备 | |
CN109635772B (zh) | 一种听写内容的批改方法及电子设备 | |
CN108924608B (zh) | 一种视频教学的辅助方法及智能设备 | |
CN111726689B (zh) | 一种视频播放控制方法及装置 | |
KR20070118038A (ko) | 정보처리 장치 및 정보처리 방법과 컴퓨터·프로그램 | |
CN109637286A (zh) | 一种基于图像识别的口语训练方法及家教设备 | |
WO2019218656A1 (zh) | 一种智能电视、其截屏应用方法及存储介质 | |
CN111077996B (zh) | 一种基于点读的信息推荐方法及学习设备 | |
CN109597943A (zh) | 一种基于场景的学习内容推荐方法及学习设备 | |
WO2020108024A1 (zh) | 信息交互方法、装置、电子设备及存储介质 | |
CN111401238B (zh) | 一种视频中人物特写片段的检测方法及装置 | |
CN111026949A (zh) | 一种基于电子设备的搜题方法及系统 | |
JP2010055409A (ja) | キーワード抽出装置、キーワード抽出方法及びプログラム | |
CN110874554B (zh) | 动作识别方法、终端设备、服务器、系统及存储介质 | |
US20130265453A1 (en) | Virtual Shutter Image Capture | |
CN116437139B (zh) | 课堂视频录制方法、装置、存储介质和设备 | |
CN108280184B (zh) | 一种基于智能笔的试题摘录方法、系统及智能笔 | |
CN111077989B (zh) | 一种基于电子设备的屏幕控制方法及电子设备 | |
CN110174924B (zh) | 一种基于可穿戴设备的交友方法及可穿戴设备 | |
CN109766413B (zh) | 一种应用于家教设备的搜索方法及家教设备 | |
US10541006B2 (en) | Information processor, information processing method, and program | |
CN111026872B (zh) | 一种关联听写方法及电子设备 | |
JP2017010276A (ja) | 映像解析装置及び映像解析方法 | |
CN111079496B (zh) | 一种点读状态的显示方法及电子设备 | |
CN111028558A (zh) | 一种听写检测方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |