CN113936323A - 检测方法及装置、终端和存储介质 - Google Patents

检测方法及装置、终端和存储介质 Download PDF

Info

Publication number
CN113936323A
CN113936323A CN202111271385.1A CN202111271385A CN113936323A CN 113936323 A CN113936323 A CN 113936323A CN 202111271385 A CN202111271385 A CN 202111271385A CN 113936323 A CN113936323 A CN 113936323A
Authority
CN
China
Prior art keywords
user
determining
state
watching
face information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111271385.1A
Other languages
English (en)
Inventor
邱榆清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111271385.1A priority Critical patent/CN113936323A/zh
Publication of CN113936323A publication Critical patent/CN113936323A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本申请实施方式的检测方法包括按预定帧率采集人脸信息;根据所述人脸信息确定用户的注视位置;及根据多帧所述注视位置,确定用户所处的状态。本申请实施方式的检测方法、检测装置、终端和非易失性计算机可读存储介质,通过定时采集用户的人脸信息,并根据人脸信息计算用户的注视位置,随着用户的状态不断改变,其注视位置会对应发生变化,如用户从专心状态变为分心状态时,专心状态下,注视位置一般持续位于显示区域,而在分心状态下,注视位置可能不断变化,如有时在显示区域,有时则在显示区域外,因此,通过多帧注视位置,可准确地确定用户所处的状态。

Description

检测方法及装置、终端和存储介质
技术领域
本申请涉及检测技术领域,特别涉及一种检测方法、检测装置、终端和非易失性计算机可读存储介质。
背景技术
在用户需要持续面对着终端的场景(如上网课、网上会议等),由于缺乏足够的交互,导致用户容易出现注意力不集中、发呆等情况,因此,对用户的状态进行有效检测是有必要的。
发明内容
本申请提供了一种检测方法、检测装置、终端和非易失性计算机可读存储介质。
本申请实施方式的检测方法包括按预定帧率采集人脸信息;根据所述人脸信息确定用户的注视位置;及根据多帧所述注视位置,确定用户所处的状态。
本申请实施方式的检测装置包括采集模块、第一确定模块和第二确定模块。所述采集模块用于按预定帧率采集人脸信息;第一确定模块用于根据所述人脸信息确定用户的注视位置;及第二确定模块用于根据多帧所述注视位置,确定用户所处的状态。
本申请实施方式的终端包括采集装置和处理器。所述采集装置用于按预定帧率采集人脸信息;所述处理器用于根据所述人脸信息确定用户的注视位置;及根据多帧所述注视位置,确定用户所处的状态。
本申请实施方式的一种包含计算机程序的非易失性计算机可读存储介质,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行所述检测方法。所述检测方法包括按预定帧率采集人脸信息;根据所述人脸信息确定用户的注视位置;及根据多帧所述注视位置,确定用户所处的状态。
本申请的检测方法、检测装置、终端和非易失性计算机可读存储介质,通过定时采集用户的人脸信息,并根据人脸信息计算用户的注视位置,随着用户的状态不断改变,其注视位置会对应发生变化,如用户从专心状态变为分心状态时,专心状态下,注视位置一般持续位于显示区域,而在分心状态下,注视位置可能不断变化,如有时在显示区域,有时则在显示区域外,因此,通过多帧人脸信息确定的多个注视位置,可准确地确定用户所处的状态。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请某些实施方式的检测方法的流程示意图;
图2是本申请某些实施方式的检测装置的模块示意图;
图3是本申请某些实施方式的终端的平面示意图;
图4和图5是本申请某些实施方式的检测方法的流程示意图;
图6是本申请某些实施方式的检测方法的场景示意图;
图7是本申请某些实施方式的检测方法的流程示意图;
图8是本申请某些实施方式的检测方法的场景示意图;
图9是本申请某些实施方式的检测方法的流程示意图;及
图10是本申请某些实施方式的处理器和计算机可读存储介质的连接示意图。
具体实施方式
以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。另外,下面结合附图描述的本申请的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的限制。
请参阅图1至图3,本申请实施方式的检测方法包括以下步骤:
011:按预定帧率采集人脸信息;
012:根据人脸信息确定用户的注视位置;及
013:根据多帧注视位置,确定用户所处的状态。
本申请实施方式的检测装置10包括采集模块11、第一确定模块12和第二确定模块13。采集模块11用于按预定帧率采集人脸信息;第一确定模块12用于根据人脸信息确定用户的注视位置;第二确定模块13用于根据多帧注视位置,确定用户所处的状态。也即是说,步骤011可以由采集模块11实现、步骤012可以由第一确定模块12执行和步骤013可以由第二确定模块13执行。
本申请实施方式的终端100包括处理器20和采集装置30。采集装置30用于按预定帧率采集人脸信息;采集装置30可以是可见光相机、红外相机、深度相机中的一种或多种,其中,可见光相机可采集可见光人脸信息、红外相机可采集红外人脸信息、深度相机可采集深度人脸信息,本实施方式中,采集装置30包括是可见光相机、红外相机和深度相机,采集装置30同时可见光人脸信息、红外人脸信息和深度人脸信息。处理器20用于根据人脸信息确定用户的注视位置;及根据多帧注视位置,确定用户所处的状态。也即是说,步骤011可以由采集装置30执行、步骤012和步骤013可以由处理器20执行。
具体地,终端100可以是手机、智能手表、平板电脑、显示设备、笔记本电脑、柜员机、闸机、头显设备、游戏机等。如图2所示,本申请实施方式以终端100是手机为例进行说明,可以理解,终端100的具体形式并不限于手机。
在用户需要持续关注终端100的显示屏40的显示区域的场景,如上网课、网上会议等,由于与主讲人(老师或会议主持人)缺乏足够的交互,导致用户容易出现走神儿、或者不专心听课或参与会议,而去做其他事情,从而影响上课或开会效果。因此,需要对用户的状态持续地进行检测,从而在用户状态异常时,可进行提示,以实现对用户的监督,提升上课或开会效果。本实施方式以上网课为例进行说明。
在上网课时,用户需始终注视终端100的显示区域50,因此,采集装置30可按预定帧率采集人脸信息,预定帧率可以为每秒一帧,可以理解,帧率过高会使得终端100的功耗较大,而帧率过低,则会导致采集的样本过少,从而降低状态判断的准确性。因此,设置预定帧率为每秒1帧,可防止功耗过高的同时,增加采集样本数量,以提升状态判断的准确性。
处理器20可根据采集装置30采集的人脸信息,计算用户的注视位置,例如,可基于预设的视线估计模型,通过对人脸信息中包含的人脸图像和眼部区域图像进行特征提取,以计算得到注视位置。如通过人脸图像确定人脸的姿态,通过眼部区域图像确定视线的俯仰角和偏航角,从而结合俯仰角、偏航角和人脸姿态,确定注视位置。
每一帧人脸信息,均可计算得到一个注视位置,在获取到多个注视位置后,处理器20可根据多个注视位置确定用户所处的状态,例如,处理器20每获取到预定个数的注视位置后,即进行用户状态的判断。其中,预定个数可以是10个、20个、30个等。
在确定用户状态时,处理器20可根据多帧内,注视位置的变化,来判断用户是否处于专心状态、分心状态等。例如,在注视位置始终保持不变且位于显示区域50内(如预定个数的注视位置)时,则可确定用户处于专心状态,而若预定个数的注视位置中,存在多个(如3个、4个等)不同的注视位置,则说明用户注意力不集中,处于分心状态。其中,注视位置保持不变指的是任意两个注视位置的距离均小预定距离阈值。
其中,注视位置为以摄像头中心为原点的三维坐标系中的坐标,而显示区域50在该坐标系中具有的坐标范围,注视位置位于显示区域50对应的坐标范围内时,即可确定注视位置位于显示区域50中。
如此,处理器20通过多帧人脸信息确定的多个注视位置,可准确地检测用户所处的状态,从而可提示用户处于异常状态(如提示用户当前注意力不集中),实现对用户状态的监控。或者,对于根据用户的状态进行评分,在用户状态异常时,给予较低的评分,并关联给出该评分的原因(如处于分心状态的时长过长),该评分可用于对用户的考核,从而督促用户在上网课、进行网上会议时,保持专心状态。
本申请的检测方法、检测装置10和终端100,通过定时采集用户的人脸信息,并根据人脸信息计算用户的注视位置,随着用户的状态不断改变,其注视位置会对应发生变化,如用户从专心状态变为分心状态时,专心状态下,注视位置一般持续位于显示区域50,而在分心状态下,注视位置可能不断变化,如有时在显示区域50,有时则在显示区域50外,因此,通过多帧人脸信息确定的多个注视位置,可准确地确定用户所处的状态。
请参阅图2、图3和图4,在某些实施方式中,包装013包括:
0131:若在第一预定帧数内,注视位置维持不变,则确定用户处于发呆状态或专心状态。
在某些实施方式中,第二确定模块13还用于在第一预定帧数内,注视位置维持不变时,确定用户处于发呆状态或专心状态。也即是说,步骤0131可以由第二确定模块13执行。
在某些实施方式中,处理器20还用于在第一预定帧数内,注视位置维持不变时,确定用户处于发呆状态或专心状态。也即是说,步骤014可以由处理器20执行。
具体地,处理器20在根据多个注视位置,确定用户所处的位置时,可判断在第一预定帧数(如第一预定帧数为10、20、30等)内,注视位置是否发生变化,若在第一预定帧数内,注视位置维持不变,则可确定用户处于发呆或专心状态。
然后处理器20再次判断用户的注视位置是否位于显示区域50内,若在第一预定帧数内,用户的注视位置始终位于显示区域50内,则可确定用户始终专注的注视显示区域50,即用户处于专心状态。而在用户的注视位置在第一预定帧数内虽然未发生变化,但注视位置在显示区域50外,则表示用户处于发呆状态。
若在第二预定帧数内,不同的注视位置的数量大于预定数量阈值(如3、4、5等),即表示用户分别注视了多个不同的地方,用户的注意力不集中,在四处张望,从而可确定用户处于分心状态。其中,为防止状态误判,如用户虽然注视了多个不同的地方,但注视位置均位于显示区域50内,说明用户仍是专心状态,因此,需要确定不同的注视位置之间的距离,若存在任意两个不同的注视位置的距离大于预定距离阈值(预定距离阈值可根据显示区域50的尺寸确定,如为显示区域50的对角线的长度),则可确定用户看向过显示区域50外,从而确定用户处于分心状态。
同样的,若在第二预定帧数内,存在预设帧数(如第二预定帧数为20,预设帧数为16)的注视位置位于显示区域50外,则说明用户经常看向显示区域50外,并未专注于显示区域50,同样可确定用户处于分心状态。
此外,在用户处于分心状态时,用户会向四周不同位置张望,此时用户的头部的姿态角会发生较大的变化,因此,处理器20基于预设的头部姿态模型,根据人脸信息中的人脸图像,即可确定头部的姿态角,如头部的横滚角、俯仰角和偏航角中至少一个。
采集装置30按预定帧率采集多帧人脸信息,为降低功耗,如预定帧率可以是5秒一帧,处理器20根据第三预定帧数中的姿态角,可确定用户是否处于分心状态。如第三预定帧数为12,处理器20计算任意两帧的姿态角(如任意两帧的横滚角、任意两帧的俯仰角或任意两帧的偏航角)的差值,然后将最大的差值和预定姿态角阈值(如预定姿态角阈值为45度、60度等)进行比较,若最大的差值大于预定姿态角阈值,则说明用户的头部姿态角发生了较大的变化,因此,可确定用户处于分心状态。
请参阅图2、图3和图5,在某些实施方式中,检测方法还包括:
014:根据显示区域50显示的内容及注视位置,确定用户在不同的显示内容的注视时长;
015:根据注视时长,确定用户对不同显示内容的感兴趣程度,感兴趣程度和注视时长呈正相关关系;及
016:根据感兴趣程度,控制显示区域50显示的内容。
在某些实施方式中,检测装置10还包括第三确定模块14、第四确定模块15和控制模块16。第三确定模块14用于根据显示区域50显示的内容及注视位置,确定用户在不同的显示内容的注视时长;第四确定模块15用于根据注视时长,确定用户对不同显示内容的感兴趣程度,感兴趣程度和注视时长呈正相关关系;控制模块16用于根据感兴趣程度,控制显示区域50显示的内容。也即是说,步骤014可以由第三确定模块14执行、步骤015可以由第四确定模块15执行、步骤016可以由控制模块16执行。
在某些实施方式中,处理器20还用于根据显示区域50显示的内容及注视位置,确定用户在不同的显示内容的注视时长;根据注视时长,确定用户对不同显示内容的感兴趣程度,感兴趣程度和注视时长呈正相关关系;及根据感兴趣程度,控制显示区域50显示的内容。也即是说,步骤014、步骤015和步骤016可以由处理器20执行。
具体的,处理器20还可根据用户的注视,来确定用户对显示区域50中的显示内容的感兴趣程度。例如,处理器20根据显示区域50显示的内容,确定用户在不同显示内容上的注视时长,注视时长按帧计算,如图6所示,如存在N帧(N为正整数)人脸信息对应的显示位置均位于显示内容A处,则说明显示内容A的注视时长为N帧。
处理器20根据不同显示内容的注视时长,可确定用户对不同显示内容的感兴趣程度。如感兴趣程度为0到100表示,感兴趣程度和注视时长呈正相关关系,即注视时长越长,表示用户越感兴趣。
如此,处理器20在确定了当前页面的每个显示内容的感兴趣程度后,可在后续按照感兴趣程度控制显示区域50显示的内容,为用户推送用户感兴趣程度较高的内容。
例如,用户对游泳的显示内容感兴趣程度较高,则处理器20后续在显示推送信息时,可优先推送游泳相关的信息,从而实现对不同用户精准地信息推送。再例如,显示内容为考试试题,不同显示内容表示不同的题目,根据用户对不同显示内容的感兴趣程度,即可确定每个题目的难易程度,从而方便老师后续针对性地对难点题目进行讲解。
请参阅图2、图3和图7,在某些实施方式中,检测方法还包括:
017:根据注视位置,确定用户在显示区域50的中,不同子显示区域的注视时长;
018:根据注视时长,确定用户对不同子显示区域的感兴趣程度,感兴趣程度和注视时长呈正相关关系;及
019:根据感兴趣程度,控制子显示区域显示的内容。
在某些实施方式中,第三确定模块14还用于根据注视位置,确定用户在显示区域50的中,不同子显示区域的注视时长;第四确定模块15还用于根据注视时长,确定用户对不同子显示区域的感兴趣程度,感兴趣程度和注视时长呈正相关关系控制模块16用于根据感兴趣程度,控制子显示区域显示的内容。也即是说,步骤017可以由第三确定模块14执行、步骤018可以由第四确定模块15执行、步骤019可以由控制模块16执行。
在某些实施方式中,处理器20还用于根据注视位置,确定用户在显示区域50的中,不同子显示区域的注视时长;根据注视时长,确定用户对不同子显示区域的感兴趣程度,感兴趣程度和注视时长呈正相关关系;及根据感兴趣程度,控制子显示区域显示的内容。也即是说,步骤017、步骤018和步骤019可以由处理器20执行。
具体的,处理器20还可根据用户的注视,来确定用户对显示区域50中的不同子显示区域的感兴趣程度。
例如,处理器20根据多帧人脸信息对应的注视位置,即可确定用户在不同子显示区域的注视时长,注视时长按帧计算,如图8所示,如存在N帧(N为正整数)人脸信息对应的显示位置均位于子显示区域S1处,则说明子显示区域S1的注视时长为N帧。
可以理解,用户在浏览显示区域50时,不会从头到尾阅读所有的文字和图片,不同用户存在不同的阅读习惯,因此,可将显示区域50分为多个子显示区域(如图8所示,可均匀分为3个子显示区域,分别为子显示区域S1、子显示区域S2和子显示区域S3),然后处理器20根据不同子显示区域的注视时长,即可确定用户对每个子显示区域的感兴趣程度。如感兴趣程度为0到100表示,感兴趣程度和注视时长呈正相关关系,即注视时长越长,表示用户越感兴趣。
如此,处理器20在确定了当前页面的每个子显示区域的感兴趣程度后,可在后续按照感兴趣程度控制显示区域50显示的内容,如将最重要的信息展示在感兴趣程度最高的子显示区域,从而提升消息推送的转化率。例如,用户对子显示区域S2的感兴趣程度最高,则处理器20在后续推送广告时,可优先将最重要的广告显示在子显示区域S2,从而提升广告的曝光率和转化率。
请参阅图2、图3和图9,在某些实施方式中,检测方法还包括:
020:基于预设的疲劳检测模型,根据人脸信息包含的眼部图像及嘴部图像,确定用户的眼睛是否处于闭合状态和嘴巴是否处于打哈欠状态;
021:根据眼睛的状态和嘴巴的状态确定疲劳度;
022:在疲劳度大于预定疲劳度时,确定用户处于疲劳状态。
在某些实施方式中,检测装置10还包括第五确定模块17、第六确定模块18和第七确定模块19。第五确定模块17用于基于预设的疲劳检测模型,根据人脸信息包含的眼部图像及嘴部图像,确定用户的眼睛是否处于闭合状态和嘴巴是否处于打哈欠状态;第六确定模块18用于根据眼睛的状态和嘴巴的状态确定疲劳度;第七确定模块19用于在疲劳度大于预定疲劳度时,确定用户处于疲劳状态。也即是说,步骤020可以由第五确定模块17执行、步骤021可以由第六确定模块18执行、步骤022可以由第七确定模块17执行。
在某些实施方式中,处理器20还用于根据人脸信息包含的眼部图像及嘴部图像,确定用户的眼睛和嘴巴是否处于闭合状态;在第三预定帧数内,用户的眼睛和嘴巴处于闭合状态时,则确定用户处于疲劳状态。也即是说,步骤020至步骤022可以由处理器20执行。
具体的,处理器20基于预设的疲劳检测模型,根据人脸信息中的眼部图像及嘴部图像,来判断用户是否处于疲劳状态。例如,将眼部图像输入疲劳检测模型,可确定眼睛的状态(如眼睛是否闭合),将嘴部图像输入疲劳检测模型,可确定嘴巴是否处于打哈欠状态,然后处理器20根据眼睛的状态和嘴巴的状态,来确定用户疲劳度,具体可以是:在眼睛闭合且嘴巴打哈欠时,确定疲劳度为1,在眼睛闭合且嘴巴未打哈欠时,确定疲劳度为0.4,在眼睛未闭合且嘴巴打哈欠时,确定疲劳度为0.,7,在眼睛未闭合且嘴巴未打哈欠时,确定疲劳度为0.2,此外,处理器20还可根据眼睛的闭合度(如完全闭合时闭合度为100%),来调整疲劳度,闭合度越大,疲劳度则也越大。在确定疲劳度后,处理器20判断疲劳度是否大于预定疲劳度阈值(如疲劳度阈值为0.5),在疲劳度大于预定疲劳度阈值时,则确定用户处于疲劳状态。如此,通过眼睛的是否闭合及嘴巴是否打哈欠,可准确地确定用户是否处于疲劳状态。
在其他实施方式中,获取第四预定帧数(如第四预定帧数为20、30、40等)的人脸信息,然后获取每帧人脸信息中的眼部图像和嘴部图像,通过图像识别,确定每一帧人脸信息中的眼睛是否处于闭合状态,嘴巴是否处于闭合状态,可以理解,在用户疲劳时,眼睛和嘴巴会下意识的闭合,因此,处理器20可判断第三预定帧数中每帧人脸信息对应的眼睛状态和嘴巴状态是否均处于闭合状态,若在第三预定帧数内,眼睛和嘴巴均处于闭合状态,则说明用户处于疲劳状态。当然,在其他实施方式中,由于部分人在疲劳状态下,嘴巴也可能下意识的张开,因此,可仅判断第三预定帧数内,眼睛是否处于闭合状态即可,从而准确判断用户是否处于疲劳状态。
请参阅图9,本申请实施方式的一个或多个包含计算机程序302的非易失性计算机可读存储介质300,当计算机程序302被一个或多个处理器20执行时,使得处理器20可执行上述任一实施方式的检测方法。
例如,请结合图1至图3,当计算机程序302被一个或多个处理器20执行时,使得处理器20执行以下步骤:
011:控制采集转置30按预定帧率采集人脸信息;
012:根据人脸信息确定用户的注视位置;及
013:根据多帧注视位置,确定用户所处的状态。
再例如,请结合图2、图3和图4,当计算机程序302被一个或多个处理器20执行时,处理器20还可以执行以下步骤:
0131:若在第一预定帧数内,注视位置维持不变,则确定用户处于发呆状态或专心状态。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施方式所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (13)

1.一种检测方法,其特征在于,包括:
按预定帧率采集人脸信息;
根据所述人脸信息确定用户的注视位置;及
根据多帧所述注视位置,确定用户所处的状态。
2.根据权利要求1所述的检测方法,其特征在于,所述预定帧率为每秒1帧。
3.根据权利要求1所述的检测方法,其特征在于,所述根据所述人脸信息确定注视位置,包括:
基于预设的视线估计模型,根据所述人脸信息包含的人脸图像及眼部区域图像,确定所述注视位置。
4.根据权利要求1所述的检测方法,其特征在于,所述根据多帧所述注视位置,确定用户所处的状态,包括:
若在第一预定帧数内,所述注视位置维持不变,则确定所述用户处于发呆状态或专心状态。
5.根据权利要求4所述的检测方法,其特征在于,所述根据多帧所述注视位置,确定用户所处的状态,还包括:
若在所述第一预定帧数内,所述注视位置维持不变且位于显示区域内,则确定所述用户处于所述专心状态;
若在所述第一预定帧数内,所述注视位置维持不变且位于所述显示区域外,则确定所述用户处于所述发呆状态。
6.根据权利要求1所述的检测方法,其特征在于,所述根据多帧所述注视位置,确定用户所处的状态,包括:
若在第二预定帧数内,存在预设帧数的所述注视位置位于显示区域外,则确定所述用户处于分心状态。
7.根据权利要求1所述的检测方法,其特征在于,还包括:
基于预设的头部姿态模型,根据所述人脸信息包含的人脸图像,确定头部的姿态角,所述姿态角包括横滚角、俯仰角和偏航角中至少一个;
若在第三预定帧数中,任意两帧的所述姿态角的差值大于预定姿态角阈值,确实所述用户处于分心状态。
8.根据权利要求1所述的检测方法,其特征在于,还包括:
根据显示区域显示的内容及所述注视位置,确定用户在不同的显示内容的注视时长;
根据所述注视时长,确定用户对不同所述显示内容的感兴趣程度,所述感兴趣程度和所述注视时长呈正相关关系;及
根据所述感兴趣程度,控制所述显示区域显示的内容。
9.根据权利要求1所述的检测方法,其特征在于,还包括:
根据所述注视位置,确定用户在所述显示区域的中,不同子显示区域的注视时长;
根据所述注视时长,确定用户对不同所述子显示区域的感兴趣程度,所述感兴趣程度和所述注视时长呈正相关关系;及
根据所述感兴趣程度,控制所述子显示区域显示的内容。
10.根据权利要求1所述的检测方法,其特征在于,还包括:
基于预设的疲劳检测模型,根据所述人脸信息包含的眼部图像及嘴部图像,确定用户的眼睛是否处于闭合状态和嘴巴是否处于打哈欠状态;及
根据所述眼睛的状态和所述嘴巴的状态确定疲劳度;及
在所述疲劳度大于预定疲劳度时,确定所述用户处于疲劳状态。
11.一种检测装置,其特征在于,包括:
采集模块,用于按预定帧率采集人脸信息;
第一确定模块,用于根据所述人脸信息确定用户的注视位置;及
第二确定模块,用于根据多帧所述注视位置,确定用户所处的状态。
12.一种终端,其特征在于,包括采集装置和处理器,所述采集装置用于按预定帧率采集人脸信息;所述处理器用于根据所述人脸信息确定用户的注视位置;及根据多帧所述注视位置,确定用户所处的状态。
13.一种包括计算机程序的非易失性计算机可读存储介质,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1-9任意一项所述的检测方法。
CN202111271385.1A 2021-10-29 2021-10-29 检测方法及装置、终端和存储介质 Pending CN113936323A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111271385.1A CN113936323A (zh) 2021-10-29 2021-10-29 检测方法及装置、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111271385.1A CN113936323A (zh) 2021-10-29 2021-10-29 检测方法及装置、终端和存储介质

Publications (1)

Publication Number Publication Date
CN113936323A true CN113936323A (zh) 2022-01-14

Family

ID=79284985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111271385.1A Pending CN113936323A (zh) 2021-10-29 2021-10-29 检测方法及装置、终端和存储介质

Country Status (1)

Country Link
CN (1) CN113936323A (zh)

Similar Documents

Publication Publication Date Title
US10365714B2 (en) System and method for dynamic content delivery based on gaze analytics
US11195315B2 (en) Language element vision augmentation methods and devices
Muir et al. Perception of sign language and its application to visual communications for deaf people
EP3058873A1 (en) Device for measuring visual efficacy
CN107851324B (zh) 信息处理系统、信息处理方法和记录介质
CN101458920A (zh) 一种显示方法及设备
CN112969436A (zh) 电子视觉辅助设备中自主增强的免手动控制
CN105763829A (zh) 一种图像处理方法及电子设备
CN102542300B (zh) 体感游戏中人体位置自动识别的方法及显示终端
KR20170136160A (ko) 시청자 몰입도 평가 시스템
CN105872845A (zh) 智能调节字幕大小的方法及电视机
Chukoskie et al. Quantifying gaze behavior during real-world interactions using automated object, face, and fixation detection
CN110652431A (zh) 一种基于分视控制的弱视训练阅读器及其调设方法
US20180189994A1 (en) Method and apparatus using augmented reality with physical objects to change user states
EP2575358A1 (en) Display apparatus and control method thereof
US11361590B2 (en) Method and apparatus for monitoring working state
CN113936323A (zh) 检测方法及装置、终端和存储介质
WO2018061299A1 (ja) 情報処理装置および情報処理方法
US11571121B2 (en) Terminal use pattern information collection management method and system
JP2006277209A (ja) メッセージ伝達装置
CN112817550A (zh) 一种数据处理方法及装置
CN114356088B (zh) 一种观看者跟踪方法、装置、电子设备及存储介质
WO2021200284A1 (ja) 学習支援装置および学習支援システム
CN117789304A (zh) 一种坐姿检测方法、系统及电子设备
Chassidim et al. SPOT&SPOT: A VIDEO VISUAL SCENE DISPLAY APPLICATION TO ENHANCE COMMUNICATION FOR INDIVIDUALS WITH ASD

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination