CN116392127A - 注意力检测方法及相关电子设备 - Google Patents
注意力检测方法及相关电子设备 Download PDFInfo
- Publication number
- CN116392127A CN116392127A CN202310678246.3A CN202310678246A CN116392127A CN 116392127 A CN116392127 A CN 116392127A CN 202310678246 A CN202310678246 A CN 202310678246A CN 116392127 A CN116392127 A CN 116392127A
- Authority
- CN
- China
- Prior art keywords
- earphone
- electronic device
- signal
- time
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000003993 interaction Effects 0.000 claims abstract description 42
- 238000012360 testing method Methods 0.000 claims description 53
- 230000005540 biological transmission Effects 0.000 claims description 45
- 230000004886 head movement Effects 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 abstract description 16
- 210000003128 head Anatomy 0.000 description 30
- 230000006870 function Effects 0.000 description 25
- 230000008859 change Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 14
- 230000005236 sound signal Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 8
- 238000010295 mobile communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 210000000887 face Anatomy 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 229920001621 AMOLED Polymers 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Developmental Disabilities (AREA)
- Engineering & Computer Science (AREA)
- Hospice & Palliative Care (AREA)
- Biomedical Technology (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Physics & Mathematics (AREA)
- Child & Adolescent Psychology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Educational Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Telephone Function (AREA)
Abstract
本申请公开了一种注意力检测方法及相关电子设备,该方法可包括:响应于与耳机之间的距离满足注意力检测条件,在预设时间段内按照预设时间间隔向耳机发送第一信号,并统计预设时间段内获取到的双耳时间差集;对双耳时间差集进行分析,确定耳机对应的佩戴者在预设时间段内的注意力状态;注意力状态为注意力涣散或注意力集中。采用本申请,可以基于电子设备与耳机之间的信号交互,实现在远程教育过程中对佩戴耳机的受教者进行注意力检测,有利于提升注意力检测的便捷性和准确性。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种注意力检测方法及相关电子设备。
背景技术
随着互联网的普及,人们获取知识的途径越来越便捷,例如远程教育就是其中的一种。远程教育是指施教者与受教者之间采取互联网等传播媒体进行教学的模式。与传统的面授课堂不同,受教者可以通过连网的电子设备接入远程教育的课堂进行学习,这使得学习方式更加多元化和个性化。然而,由于施教者和受教者是远程开展教授与学习行为,受教者的注意力容易在长时间的听授中出现转移,导致远程教育的质量降低。为保障远程教育的质量,对受教者听课过程中的注意力状态进行检测十分重要。目前,针对受教者远程教育课堂的注意力检测方法主要是通过摄像头采集受教者听课过程中的行为图像,采用深度学习模型识别这些行为图像来确定受教者的注意力状态。这种方式依赖于用于训练深度学习模型的数据集,且复杂度较高,对于受教者注意力下降的行为存在检测准确度不足的缺陷。因此,如何更加准确便捷地对受教者进行注意力检测,是值得研究的技术问题。
发明内容
本申请实施例提供一种注意力检测方法及相关电子设备,可以基于电子设备与耳机之间的信号交互,实现在远程教育过程中对佩戴耳机的受教者进行注意力检测,有利于提升注意力检测的便捷性和准确性。
第一方面,本申请提供一种注意力检测方法,该方法包括:响应于与耳机之间的距离满足注意力检测条件,在预设时间段内按照预设时间间隔向耳机发送第一信号,并统计预设时间段内获取到的双耳时间差集;对双耳时间差集进行分析,确定耳机对应的佩戴者在预设时间段内的注意力状态;注意力状态为注意力涣散或注意力集中。
在上述实施例中,电子设备可以通过分析与耳机进行信号交互的双耳时间差的变化情况,确定出耳机对应的佩戴者的注意力状态,使得注意力检测更加便捷,且无需增加额外的硬件成本。与此同时,由于耳机对应的佩戴者出现头部转动时,会引起电子设备与耳机进行信号交互的双耳时间差发生变化,这种方式能够较为准确地判断出耳机对应的佩戴者的头部运动状态,以便于可以根据耳机对应的佩戴者的头部运动状态更加准确地进行注意力检测。
结合第一方面,在一种可能的方式中,上述方法还包括:获取与耳机进行信号交互的实际传输时间;响应于实际传输时间小于或等于参考传输时间,确定与耳机之间的距离满足注意力检测条件。可见,通过对比与耳机进行信号交互的实际传输时间和参考传输时间,可以更加灵活地进行注意力检测条件的判断。
结合第一方面,在一种可能的方式中,上述获取与耳机进行信号交互的实际传输时间,包括:向耳机发送第一测试信号,并确定发送第一测试信号的第一时间;其中,耳机由左耳机和右耳机组成;获取第一测试信号到达左耳机的第二时间,以及第一测试信号到达右耳机的第三时间;从耳机接收第二测试信号,并确定接收到第二测试信号的第四时间;基于第一时间、第二时间、第三时间以及第四时间,确定与耳机进行信号交互的实际传输时间。可见,通过向耳机发送第一测试信号,并从耳机接收第二测试信号,有利于更加准确地确定与耳机进行信号交互的实际传输时间。
结合第一方面,在一种可能的方式中,上述方法还包括:根据参考距离确定与耳机进行信号交互的参考传输时间。可见,根据参考距离可以更加可靠地确定与耳机进行信号交互的参考传输时间。
结合第一方面,在一种可能的方式中,上述对双耳时间差集进行分析,确定耳机对应的佩戴者在预设时间段内的注意力状态,包括:根据双耳时间差集,确定耳机对应的佩戴者在预设时间段内的头部运动信息;根据佩戴者在预设时间段内的头部运动信息,确定佩戴者在预设时间段内的注意力状态。可见,通过确定耳机对应的佩戴者在预设时间段内的头部运动信息,有利于更加精准细致地确定佩戴者在预设时间段内的注意力状态。
结合第一方面,在一种可能的方式中,上述根据双耳时间差集,确定耳机对应的佩戴者在预设时间段内的头部运动信息,包括:响应于双耳时间差集中的第一双耳时间差与第二双耳时间差之间的差值大于或等于第一阈值,确定耳机对应的佩戴者在预设时间段内的头部运动信息包括头部转动;其中,所述第一双耳时间差与所述第二双耳时间差相邻。可见,通过比较双耳时间差集中相邻两个双耳时间差,有利于更加准确合理地确定佩戴者在预设时间段内的头部运动信息。
结合第一方面,在一种可能的方式中,上述预设时间段内的头部运动信息还包括头部转动的次数;根据佩戴者在预设时间段内的头部运动信息,确定佩戴者在预设时间段内的注意力状态,包括:响应于头部转动的次数大于或等于第二阈值,确定佩戴者在预设时间段内的注意力状态为注意力涣散;响应于头部转动的次数小于第三阈值,确定佩戴者在预设时间段内的注意力状态为注意力集中;其中,第三阈值小于第二阈值。可见,根据佩戴者在预设时间段内的头部转动的次数,确定佩戴者在预设时间段内的注意力状态,有利于提升注意力检测的可靠性。
第二方面,本申请实施例提供了一种电子设备,该电子设备包括:一个或多个处理器、显示屏和存储器;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该电子设备执行:响应于与耳机之间的距离满足注意力检测条件,在预设时间段内按照预设时间间隔向耳机发送第一信号,并统计预设时间段内获取到的双耳时间差集;对双耳时间差集进行分析,确定耳机对应的佩戴者在预设时间段内的注意力状态;注意力状态为注意力涣散或注意力集中。
结合第二方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:获取与耳机进行信号交互的实际传输时间;响应于实际传输时间小于或等于参考传输时间,确定与耳机之间的距离满足注意力检测条件。
结合第二方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:向耳机发送第一测试信号,并确定发送第一测试信号的第一时间;其中,耳机由左耳机和右耳机组成;获取第一测试信号到达左耳机的第二时间,以及第一测试信号到达右耳机的第三时间;从耳机接收第二测试信号,并确定接收到第二测试信号的第四时间;基于第一时间、第二时间、第三时间以及第四时间,确定与耳机进行信号交互的实际传输时间。
结合第二方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:根据参考距离确定与耳机进行信号交互的参考传输时间。
结合第二方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:根据双耳时间差集,确定耳机对应的佩戴者在预设时间段内的头部运动信息;根据佩戴者在预设时间段内的头部运动信息,确定佩戴者在预设时间段内的注意力状态。
结合第二方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:响应于双耳时间差集中的第一双耳时间差与第二双耳时间差之间的差值大于或等于第一阈值,确定耳机对应的佩戴者在预设时间段内的头部运动信息包括头部转动;其中,所述第一双耳时间差与所述第二双耳时间差相邻。
结合第二方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:响应于头部转动的次数大于或等于第二阈值,确定佩戴者在预设时间段内的注意力状态为注意力涣散;响应于头部转动的次数小于第三阈值,确定佩戴者在预设时间段内的注意力状态为注意力集中;其中,第三阈值小于第二阈值。
第三方面,本申请实施例提供了一种电子设备,包括:触控屏、摄像头、一个或多个处理器和一个或多个存储器;所述一个或多个处理器与所述触控屏、所述摄像头、所述一个或多个存储器耦合,所述一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法。
第四方面,本申请实施例提供了一种芯片系统,该芯片系统应用于电子设备,该芯片系统包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法。
第五方面,本申请实施例提供了一种包含指令的计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法。
第六方面,本申请实施例提供了一种计算机可读存储介质,包括指令,当该指令在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法。
附图说明
图1A是本申请实施例提供的一种应用场景示意图;
图1B是本申请实施例提供的电子设备100的硬件结构示意图;
图1C是本申请实施例提供的电子设备100的软件结构框图;
图2是本申请实施例提供的一种注意力检测方法的流程示意图;
图3A-图3D是本申请实施例提供的开启注意力检测功能的示意图;
图4A是本申请实施例提供的一种注意力检测有效区的示意图;
图4B是本申请实施例提供的一种受教者的面部朝正前方的示意图;
图4C是本申请实施例提供的一种受教者的面部朝右侧转动的示意图;
图4D是本申请实施例提供的一种受教者的面部朝左侧转动的示意图;
图4E是本申请实施例提供的一种受教者头部转动双耳时间差变化的示意图;
图5是本申请实施例提供的一种预设时间段内获取到的双耳时间差集的示意图;
图6是本申请实施例提供的另一种注意力检测方法的流程示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例中的术语“第一”、“第二”、“第三”等是区别于不同的对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元,或者可选地,还包括没有列出的步骤或单元,或者可选地还包括这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例主要用于对象注意力的检测,具体可以应用于远程教育过程中对受教者的注意力进行检测,判断受教者的注意力在学习过程中是否出现转移,从而对受教者远程教育的听课效率进行评估。
示例性的,图1A为本申请实施例的一种应用场景,电子设备100通过无线连接方式与耳机101建立连接,受教者佩戴耳机101通过电子设备100可以接入远程教育课堂。其中,耳机101由左耳机和右耳机组成。电子设备100可以向耳机101发送第一信号,耳机101接收到来自电子设备100的第一信号后,左耳机可以向电子设备100返回第二信号,右耳机可以向电子设备100返回第三信号,进而电子设备100可以通过接收的第二信号和第三信号,确定出双耳时间差。基于这种机制,电子设备100可以在预设时间段内按照预设时间间隔向耳机101发送第一信号,并统计预设时间段内获取到的双耳时间差集;然后通过分析预设时间段内获取到的双耳时间差集中各双耳时间差的变化情况,确定受教者的注意力状态。
本申请实施例中的受教者是指远程教育过程中接受知识培训的一方,施教者是指远程教育过程中提供知识培训的一方。可以理解的是,本申请实施例以远程教育场景为例进行说明,本申请也可以应用于其他需要对注意力进行检测的场景,例如远程会议场景等。
需要说明的是,本申请实施例涉及的电子设备可以是手机(mobile phone)、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device,MID)、可穿戴设备、虚拟现实(virtual reality,VR)设备、增强现实(augmented reality,AR)设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、个人数字助理(personal digital assistant,PDA)等,本申请实施例对此并不限定。
下面对电子设备100的结构进行介绍。请参见图1B,图1B是本申请实施例提供的电子设备100的硬件结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP) ,调制解调处理器,图形处理器(graphicsprocessingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如WiFi网络),蓝牙(BlueTooth,BT),BLE广播,全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light emittingdiode,OLED) ,有源矩阵有机发光二极体或主动矩阵有机发光二极体(active matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light emittingdiode,FLED),Miniled,MicroLed,MicrooLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
NPU为神经网络(neural network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“ 喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“ 听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“ 话筒”,“ 传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号、降噪、还可以识别声音来源,实现定向录音功能等。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
触摸传感器180K,也称“ 触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“ 触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。
请参见图1C,图1C是本申请实施例提供的电子设备100的软件结构框图。
在本申请实施例中,电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
如图1C所示 ,该电子设备可包括 :应用程序层、应用程序框架层、硬件抽象层(hardware abstraction layer,HAL)层及内核层(kernel)。其中:
应用程序层可以包括一系列应用程序包。如图1C所示,应用程序包可以包括相机应用,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图1C所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
硬件抽象层可以包括多个功能模块。例如,注意力检测模块、注意力检测结果响应模块等。
注意力检测模块用于向耳机发送第一信号;接收左耳机返回的第二信号和右耳机返回的第三信号,并获取接收第二信号和接收第三信号的双耳时间差;在预设时间段内按照预设时间间隔向耳机发送第一信号,并统计预设时间段内获取到的双耳时间差集。注意力检测模块还用于对所述预设时间段内获取到的双耳时间差集进行分析,得到受教者的注意力检测结果。
注意力检测结果响应模块用于在确定受教者的注意力涣散的情况下,输出注意力提醒信息。注意力检测结果响应模块还用于基于受教者目标时间段内的注意力状态数据对受教者的听课效率进行评估。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动等,本申请实施例对此不做任何限制。
下面结合附图对本申请实施例提供的注意力检测方法进行介绍。请参见图2,图2是本申请实施例提供的一种注意力检测方法的流程示意图,该方法包括但不限于如下步骤:
S201,电子设备与耳机建立连接。
在本申请实施例中,电子设备可以与耳机建立连接,以实现信号交互。耳机可以是无线耳机,例如真无线立体声(true wireless stereo,TWS)耳机,无线耳机的佩戴方式可以是入耳式、半入耳式、头戴式等。电子设备与耳机建立连接的方式可以是WiFi、蓝牙方式、红外技术、超宽带技术或无线高保真技术等,本申请对此不作限定。电子设备与耳机建立连接后,受教者通过佩戴耳机,可以从远程教育的课堂中获取施教者的发声信息。同时,电子设备通过与耳机进行信号交互,可以实现对受教者的注意力进行检测。
在一些实施例中,电子设备可以提供注意力检测设置选项,以供选择是否开启注意力检测功能。可选的,注意力检测设置选项可以是添加在电子设备的系统功能列表中,也可以是添加在远程教育应用程序的功能列表中。相应地,该注意力检测设置选项可以包括开启按键,受教者或者受教者的监护人通过点击开启按键,可以触发电子设备开启注意力检测功能。
在一些实施例中,当电子设备检测到针对注意力检测设置选项的开启操作时,例如双击或者单击开启按键,可以继续检测是否满足注意力检测条件,在满足注意力检测条件的情况下,开启注意力检测功能;在不满足注意力检测条件的情况下,可以输出失败提示信息,提示开启注意力检测功能失败的原因。可选的,若电子设备未检测到针对注意力检测设置选项的开启操作,可以在满足注意力检测条件的情况下,自动开启注意力检测功能。
其中,电子设备满足注意力检测条件包括三方面的内容:电子设备与耳机成功建立连接、电子设备成功运行远程教育应用程序、以及电子设备与耳机的距离属于参考距离范围内。也就是说,电子设备检测是否满足注意力检测条件需要检测电子设备与耳机的连接状态、远程教育应用程序的运行状态、以及电子设备与耳机的距离。电子设备与耳机的距离属于参考距离范围即表示电子设备与耳机的距离属于交互有效距离。在交互有效范围内,受教者可以进行控制电子设备的状态(如开机状态或者关机状态)、调节电子设备的音量、点击电子设备的屏幕等操作。
示例性的,下面结合图3A-图3D介绍注意力检测功能的开启过程。
图3A示出了一种开启注意力检测功能的设置界面,如图3A所示,设置界面31可以是远程教育应用程序中的界面。该设置界面31中包括多项设置选项,例如注意力检测设置选项311、音量设置选项、亮度设置选项。当电子设备检测到针对注意力检测设置选项311的开启操作时,可以开始检测是否满足注意力检测条件。若满足注意力检测条件,那么开启注意力检测功能成功,可以输出成功提示信息。如图3B所示,图3B示出了一种显示成功提示信息的示意图,成功提示信息321以悬浮框的形式显示在远程教育应用程序的界面中,包括文本“已开启注意力检测功能”,提示受教者集中注意力。若不满足注意力检测条件,那么开启注意力检测功能失败,可以输出失败提示信息,失败提示信息可以包括开启注意力检测功能失败的原因。如图3C所示,图3C示出了一种显示失败提示信息的示意图,失败提示信息331以悬浮框的形式显示在远程教育应用程序的界面中,包括文本“注意力检测功能开启失败,请检测耳机连接状态”,表示电子设备与耳机未连接或连接异常导致注意力检测功能开启失败,提示确认耳机连接状态。如图3D所示,图3D示出了另一种显示失败提示信息的示意图,失败提示信息341以悬浮框的形式显示在远程教育应用程序的界面中,包括文本“注意力检测功能开启失败,请确认设备与耳机的距离属于参考距离范围”,表示电子设备与耳机的距离超出参考距离范围,即超出交互有效距离,提示调整电子设备与耳机的距离。
在一些实施例中,电子设备与耳机之间的参考距离可以是预先设置的,该参考距离可以是经验数据,也可以是根据实验数据进行估计得到。由于电子设备与耳机之间进行信号交互的所需的时间可以反映电子设备与耳机之间的距离大小关系,电子设备确定与耳机的距离是否属于参考距离范围内具体可以包括:获取电子设备与耳机进行信号交互的实际传输时间,响应于电子设备与耳机进行信号交互的实际传输时间小于或等于参考传输时间,则可以确定电子设备与耳机的距离属于参考距离范围内,也即确定电子设备与耳机之间的距离满足注意力检测条件。可选的,参考传输时间可以是根据参考距离确定的,也可以是预设的。
具体的,由于声波在空气中的传播速度是已知的,根据声波在空气中的传播速度,以及电子设备与耳机之间的参考距离,可以确定出电子设备与耳机之间进行信号交互的参考传输时间。在确定电子设备与耳机之间进行信号交互的实际传输时间时,电子设备可以忽略左耳机与右耳机的传输延时,即认为电子设备发送的第一测试信号是同时到达左耳机与右耳机,相应地,也同样认为左耳机与右耳机是同时向电子设备发送第二测试信号。这时,电子设备接收第二测试信号的时间与发送第一测试信号的时间之间的差值,即为电子设备与耳机之间进行信号交互的实际传输时间。其中,第一测试信号例如可以是电子设备通过扬声器向耳机发送的超声信号,第二测试信号例如可以是耳机通过蓝牙向电子设备发送的电信号。
在一些实施例中,电子设备获取与耳机进行信号交互的实际传输时间可以包括:向耳机发送第一测试信号,并确定发送第一测试信号的第一时间;然后获取第一测试信号到达左耳机的第二时间,以及第一测试信号到达右耳机的第三时间;再从耳机接收第二测试信号,并确定接收到第二测试信号的第四时间;最后基于第一时间、第二时间、第三时间以及第四时间,确定与耳机进行信号交互的实际传输时间。可以理解的是,第二时间减去第一时间可以得到第一测试信号从电子设备传输到左耳机所需的时间,第三时间减去第一时间可以得到第一测试信号从电子设备传输到右耳机所需的时间。第四时间减去耳机发送第二测试信号的时间可以得到第二测试信号从耳机传输到电子设备的时间。
在忽略左耳机与右耳机之间的传输延时的情况下,电子设备与耳机之间进行信号交互的实际传输时间可以通过如下公式计算:
其中,表示电子设备发送的第一测试信号到达左耳机的时间,/>表示电子设备发送的第一测试信号到达右耳机的时间。由于忽略左耳机与右耳机的传输延时不计,即可以认为电子设备发送的第一测试信号到达左耳机的时间与第一测试信号到达右耳机的时间是相同的,通过计算二者的平均值/>便可以得到电子设备发送的第一测试信号到达耳机的时间。/>表示耳机发送的第二测试信号到达电子设备时间。
假设电子设备与耳机之间进行信号交互的参考传输时间确定为,那么电子设备与耳机之间进行信号交互的实际传输时间/>小于或等于/>,即可以确定电子设备与耳机的距离属于参考距离范围内,也可以说是确定电子设备与耳机的距离属于交互有效距离范围内,还可以说是确定佩戴耳机的受教者位于注意力检测有效区内。相应地,电子设备与耳机之间进行信号交互的实际传输时间/>大于/>,即可以确定电子设备与耳机的距离超出参考距离范围内,也可以说是确定电子设备与耳机的距离超出交互有效距离范围内,还可以说是确定佩戴耳机的受教者位于注意力检测无效区内。具体可以通过如下公式进行判断:
示例性的,如图4A所示,图4A示出了一种注意力检测有效区的示意图。图4A中O点可以是电子设备发送第一测试信号和接收第二测试信号的位置,例如可以是电子设备扬声器的位置。A点可以是左耳机接收第一测试信号的位置,B点可以是右耳机接收第一测试信号的位置,在忽略左耳机和右耳机传输延时的情况下,C点可以是耳机向电子设备发送第二测试信号的位置。由此,距离OA传输第一测试信号的时间即为电子设备发送的第一测试信号到达左耳机的时间,距离OB传输第一测试信号的时间即为电子设备发送的第一测试信号到达右耳机的时间/>,距离OC传输第二测试信号的时间即为耳机发送的第二测试信号到达电子设备时间/>。在忽略左耳机与右耳机之间的传输延时的情况下,电子设备与耳机之间进行信号交互的实际传输时间可以表示为/>+/>。注意力检测有效区即为电子设备与耳机之间进行信号交互的实际传输时间小于参考传输时间的区域,也即是满足+/>的区域。/>
S202,电子设备向耳机发送第一信号。相应地,耳机接收来自电子设备的第一信号。其中,耳机由左耳机和右耳机组成。
电子设备在满足注意力检测条件的情况下,可以向耳机发送第一信号。这里,第一信号可以是电子设备通过扬声器向耳机发送的超声信号,超声信号的频段可以为18kHz-25kHz。作为示例,第一信号例如可以是频率为20kHz左右的超声信号,具体的频率大小可以结合实际应用场景确定,此处不做限定。
在一些实施例中,电子设备可以包括一个用于输出音频信号的扬声器。该扬声器可以向耳机发送超声信号,扬声器可以设置于电子设备的左侧,或者可以设置于电子设备的右侧,或者可以设置于电子设备的顶部,或者可以设置于电子设备的底部,本申请对一个扬声器具体设置的位置不做限定。可选的,电子设备也可以包括多个用于输出音频信号的扬声器。当电子设备包括多个用于输出音频信号的扬声器时,可以选择其中一个向耳机发送超声信号。电子设备可以随机选择多个扬声器中的一个扬声器向耳机发送超声信号,也可以在检测到针对多个扬声器的选择操作时,将多个扬声器中被选中的一个扬声器作为向耳机发送超声信号的扬声器。
在一些实施例中,电子设备向耳机发送第一信号之前,可以对第一信号添加标签信息,该标签信息可以用于区别第一信号与扬声器发送的其他音频信号。例如电子设备对第一信号添加标签A,根据第一信号的标签A即可获知第一信号为通过扬声器向耳机发送的超声信号。
在一些实施例中,电子设备可以按照一定时间间隔向耳机发送第一信号,例如时间间隔可以为0.5秒、1秒、1.5秒或其他时长等。对应的,耳机可以接收电子设备发送的第一信号。其中,耳机包括左耳机和右耳机,左耳机和右耳机均可以接收到电子设备发送的第一信号。
S203,左耳机向电子设备发送第二信号。相应地,电子设备接收来自左耳机的第二信号。
当左耳机接收到来自电子设备的第一信号时,左耳机可以向电子设备发送第二信号。这里,第二信号可以是左耳机通过蓝牙向电子设备发送的电信号。第二信号可以理解为左耳机接收到来自电子设备的第一信号之后,向电子设备反馈的已成功接收的信号。例如,假设电子设备11:00:01向左耳机发送第一信号,左耳机11:00:03向电子设备发送第二信号,即可以认为左耳机11:00:03接收到电子设备发送的第一信号,也即是说第一信号从电子设备传输到左耳机的时间为2秒。
S204,右耳机向电子设备发送第三信号。相应地,电子设备接收来自右耳机的第三信号。
同理地,当右耳机接收到来自电子设备的第一信号时,右耳机可以向电子设备发送第三信号。这里,第三信号可以是右耳机通过蓝牙向电子设备发送的电信号。第三信号可以理解为右耳机接收到来自电子设备的第一信号之后,向电子设备反馈的已成功接收的信号。例如,假设电子设备11:00:01向右耳机发送第一信号,右耳机11:00:05向电子设备发送第三信号,即可认为右耳机11:00:05接收到电子设备发送的第一信号,也即是说第一信号从电子设备传输到右耳机的时间为4秒。
需要说明的是,步骤S203和步骤S204之间的执行顺序取决于左耳机和右耳机与电子设备之间的距离。也就是说,当左耳机与电子设备之间的距离小于右耳机与电子设备之间的距离时,先执行步骤S203,后执行步骤S204;当左耳机与电子设备之间的距离等于右耳机与电子设备之间的距离时,同时执行步骤S203和步骤S204,在此情况下,第二信号和第三信号可以是相同的信号;当左耳机与电子设备之间的距离大于右耳机与电子设备之间的距离时,先执行步骤S204,后执行步骤S203。其中,耳机(即左耳机和右耳机)与电子设备之间的距离可以是耳机与电子设备的扬声器之间的距离。
在一些实施例中,第二信号和第三信号均可以添加有标签信息,也即第二信号可以添加有用于标识其来自左耳机的标签信息,第三信号可以添加有用于标识其来自右耳机的标签信息,从而电子设备可以根据标签信息得知信号是由哪个耳机发出的。两个信号(第二信号和第三信号)到达电子设备的先后顺序即代表电子设备与耳机之间的距离。
S205,电子设备获取接收第二信号与接收第三信号的双耳时间差。
电子设备接收到来自左耳机的第二信号后,可以获取第二信号的接收时间,接收到来自右耳机的第三信号后,可以获取第三信号的接收时间。根据第二信号的接收时间和第三信号的接收时间,可以获取接收第二信号与接收第三信号的双耳时间差。其中,双耳时间差可以理解为左耳机和右耳机与电子设备之间的距离不同而使得信号的传输时间产生的时间差。双耳时间差可以用如下公式表示:
其中,表示电子设备接收第二信号的时间,/>表示电子设备接收第三信号的时间。举例来说,假设电子设备12:00:00向耳机发送第一信号,12:00:03接收到第二信号,12:00:05接收到第三信号,那么双耳时间差即为2秒。可以理解的是,在具体实现中,电子设备也可以不区分接收到的两个信号哪个来自左耳机哪个来自右耳机,根据前后接收到的两个信号的时间即可确定出双耳时间差。
由于电子设备扬声器的位置通常是固定的,受教者佩戴耳机存在头部转动时,左耳机和右耳机与电子设备的扬声器之间的距离会发生变化,通过获取电子设备接收第二信号与接收第三信号的双耳时间差可以判断受教者的头部运动状态。示例性,假设电子设备的扬声器位于电子设备的右侧,如图4B所示,当受教者的面部朝正前方时,电子设备的扬声器与左耳机之间的距离大于与右耳机之间的距离。如图4C所示,当受教者的头部向右侧转动,且面部朝向电子设备的扬声器方向时,电子设备的扬声器与左耳机之间的距离等于与右耳机之间的距离。如图4D所示,当受教者的面部向左侧转动,且左耳机、右耳机、电子设备的扬声器三者在同一直线时,此时电子设备的扬声器与左耳机之间的距离为最远的距离,与右耳机之间的距离为最近的距离,也就是说电子设备的扬声器与左耳机之间的距离和与右耳机之间的距离差值最大。采用双耳时间差反映左耳机和右耳机与电子设备的扬声器之间的距离变化即为,受教者的面部向左侧转动时的双耳时间差<受教者的面部朝正前方时的双耳时间差<受教者的头部向右侧转动时的双耳时间差。如图4E所示,图4E示例性地采用正弦曲线描绘了受教者头部转动与双耳时间差之间的关系。其中,Q点对应的双耳时间差最大,可以用于表示受教者的面部向左侧转动,且左耳机、右耳机、电子设备的扬声器三者在同一直线时的双耳时间差,M点对应的双耳时间差可以用于表示受教者的面部朝正前方时的双耳时间差,N点对应的双耳时间差为零,可以用于表示受教者的头部向右侧转动,且面部朝向电子设备的扬声器方向时的双耳时间差。
可以理解的是,本申请实施例以扬声器的位置位于电子设备的右侧为例进行说明,但并不对此构成限定。在实际应用场景中,扬声器也可以位于电子设备的其他位置,例如左侧、顶部、或者底部等。当扬声器的位置位于电子设备的左侧时,可以是受教者的面部向左侧转动时的双耳时间差>受教者的面部朝正前方时的双耳时间差>受教者的头部向右侧转动时的双耳时间差。
需要说明的是,步骤S201-步骤S205为本申请实施例描述的电子设备获取一次双耳时间差的过程,基于此电子设备可以在预设时间段内按照预设时间间隔多次获取双耳时间差,具体可见步骤S206的详细描述。
S206,电子设备在预设时间段内按照预设时间间隔向耳机发送第一信号,并统计预设时间段内获取到的双耳时间差集。
为了对受教者一定时间段内的注意力进行检测,电子设备可以在预设时间段内按照预设时间间隔向耳机发送第一信号,并统计预设时间段内获取到的双耳时间差集。其中,预设时间段可以是预先设置的时长,例如可以设置为远程教育过程中一堂课的时间(如45分钟),也可以是设置的变化的时长,例如可以设置为按照5分钟和10分钟交替变化。在预设时间段内按照预设时间间隔向耳机发送第一信号,可以对佩戴耳机的受教者在预设时间内的注意力变化情况进行检测。这里,预设时间间隔可以是一个较短的时长,例如可以是1秒、1.5秒、2秒等。
在一些实施例中,电子设备可以是在预设时间段内持续性地按照预设时间间隔向耳机发送第一信号,也可以是在预设时间段内间歇性地按照预设时间间隔向耳机发送第一信号。举例来说,假设预设时间段为5分钟,预设时间间隔为1秒,电子设备可以在5分钟内持续性地每隔1秒向耳机第一信号,也可以在5分钟内间歇性地按照1秒的时间间隔向耳机发送第一信号,例如5分钟内选择1分钟按照1秒的时间间隔向耳机发送第一信号。
电子设备每次向耳机发送第一信号后,可以接收到左耳机返回的第二信号,右耳机返回的第三信号,进而获取接收第二信号和接收第三信号的双耳时间差。在预设时间段内按照预设时间间隔多次向耳机发送第一信号,可以在预设时间段内获取到多个双耳时间差。通过统计预设时间段内获取到的多个双耳时间差,可以确定预设时间段内双耳时间差的变化情况。根据预设时间段内双耳时间差的变化情况,便可以对受教者的注意力状态进行判定。
S207,电子设备对预设时间段内获取到的双耳时间差集进行分析,确定耳机对应的佩戴者(即远程教育中的受教者)在预设时间段内的注意力状态。
电子设备在预设时间段内获取到多个双耳时间差后,可以对预设时间段内获取到的双耳时间差集进行分析,以确定受教者在预设时间段内的注意力状态。其中,对预设时间段内获取到的双耳时间差集进行分析的方式可以包括如下方式的至少一种:(1)将双耳时间差集中的各双耳时间差与参考时间范围进行比较,若双耳时间差集中存在双耳时间差超出参考时间范围,则确定受教者的注意力状态为注意力涣散;若双耳时间差集中的双耳时间差均属于参考时间范围,则确定受教者的注意力状态为注意力集中。其中,参考时间范围是用于区分注意力是否集中的一个或多个数值范围,可以是根据实验数据或经验数据来确定,也可以是针对不同受教者的具体情况来确定。(2)将预设时间段内获取到的双耳时间差集的分布情况进行量化显示,根据预设时间段内双耳时间差集的分布情况确定受教者的注意力状态。(3)基于预先训练好的机器学习模型对预设时间段内获取到的双耳时间差集进行分析,例如输入预设时间段内获取到的双耳时间差集,输出受教者的注意力状态,或者输出受教者注意力涣散的概率,或者输出受教者注意力集中的概率。
在一些实施例中,电子设备可以根据双耳时间差集,确定受教者在预设时间段内的头部运动信息,然后根据受教者在预设时间段内的头部运动信息,确定受教者在预设时间段内的注意力状态。可以理解的是,当受教者面部朝正前方,注意力集中时,预设时间段内双耳时间差趋于平稳;当受教者的头部存在转动,例如面部朝左转或者朝右转,这时的双耳时间差相较于注意力集中时的双耳时间差会存在较大幅度的变化,基于此机制可以根据双耳时间差的变化情况判定受教者的注意力状态。具体的,若双耳时间差集中的第一双耳时间差与第二双耳时间差之间的差值大于或等于第一阈值,可以确定受教者在预设时间段内的头部运动信息包括头部转动。其中,第一双耳时间差与第二双耳时间差相邻。进一步的,头部运动信息还可以包括头部转动的次数,若受教者头部转动的次数大于或等于第二阈值,可以确定受教者在预设时间段内的注意力状态为注意力涣散;若受教者的头部转动次数小于第三阈值,可以确定受教者在预设时间段内的注意力状态为注意力集中,其中,第三阈值可以小于第二阈值。也就是说,若受教者在预设时间段内存在较多次数的头部转动,可以判定受教者的注意力状态为注意力涣散,若受教者在预设时间段内几乎没有出现头部转动的情况,可以判定受教者的注意力状态为注意力集中。
示例性的,如图5所示,图5示出了一种预设时间段内获取到的双耳时间差集的示意图。从图5可以看出,受教者的双耳时间差在0到1分钟内波动较小,趋于平稳,在1分钟到2分钟之间出现大幅度的变化,分别在1分钟、1.2分钟、1.6分钟出现大幅跳变。由此可以判定,在0到1分钟受教者的注意力集中,在1分钟到2分钟之间存在多次头部转动,导致双耳时间差发生大幅度波动,受教者的注意力涣散。
在一些实施例中,电子设备在确定受教者的注意力涣散的情况下,可以输出注意力提醒信息,提醒受教者集中注意力。该注意力提醒信息可以是以语音的形式播报,例如,以语音的形式播放“请集中注意力”;也可以是以文字或动画的形式显示于远程教育应用程序的界面中,例如,于远程教育应用程序的界面中显示文字信息“请集中注意力”,或者于远程教育应用程序的界面中显示动画效果提醒受教者集中注意力。
在一些实施例中,电子设备可以接收来自管理设备的注意力查看指令,响应于该注意力查看指令,电子设备可以向管理设备发送注意力状态信息,注意力状态信息可以包括受教者的注意力状态。其中,管理设备可以是施教者使用的设备,也可以是受教者的监护人使用的设备,或者可以是其他具备管理权限的人员使用的设备。通过向管理设备发送注意力状态信息,使得管理人员能够及时掌握受教者在远程教育过程中的注意力状态。
在一些实施例中,电子设备可以获取受教者目标时间段内的注意力状态数据,并基于目标时间段内的注意力状态数据对受教者的听课效率进行评估。其中,目标时间段可以是以课堂为单位的时间段,例如受教者目标时间段内的注意力状态数据可以是课堂A的注意力状态数据和课堂B的注意力状态数据。在此情况下,电子设备可以分别针对课堂A评估受教者的听课效率,针对课堂B评估受教者的听课效率,也可以综合评估受教者在课堂A和课堂B上的听课效率。可选的,目标时间段也可以是以天为单位的时间段,或者以周为单位的时间段,或者以月为单位的时间段。例如,目标时间段可以是1天,假设为5月1日全天,那么电子设备可以获取受教者5月1日这一天内的注意力状态数据,并基于这一天内的注意力状态数据评估受教者在5月1日当天的听课效率。可选的,电子设备基于目标时间段内的注意力状态数据对受教者的听课效率进行评估的方式可以是,对受教者的听课效率进行打分。例如,电子设备可以基于目标时间段内受教者注意力集中的时长,对受教者的听课效率进行打分,注意力集中的时间越长,对应的分值越高。通过这种方式,可以更加直观地了解受教者在远程教育课堂中的注意力情况。
在本申请实施例中,电子设备可以向受教者佩戴的耳机发送第一信号,然后接收左耳机返回的第二信号,接收右耳机返回的第三信号,再获取接收第二信号和接收第三信号的双耳时间差,基于此机制在预设时间段内多次获取受教者的双耳时间差,通过分析双耳时间差的变化情况,判断受教者的头部运动状态,从而确定受教者在远程教育课堂中的注意力状态。通过这种方式,可以基于电子设备与耳机之间进行信号交互,更加便捷地实现对受教者的注意力检测。通过分析电子设备与左耳机和右耳机进行信号交互的双耳时间差的变化情况,可以较为准确地判断出受教者的头部运动状态,进而确定受教者是否存在注意力转移的情况,如此有利于提升注意力检测的灵活性和准确性。
请参见图6,图6是本申请实施例提供的另一种注意力检测方法的流程示意图,从图6可以看出,本申请实施例提供的注意力检测方法可以概括为三部分内容:第一部分内容为判断是否满足注意力检测条件;第二部分内容为如何对受教者的注意力进行检测;第三部分内容为如何确定受教者的注意力状态。
1)注意力检测条件判断
电子设备在对受教者进行注意力检测之前,可以先判断是否满足注意力检测条件。具体需要判断①电子设备是否与受教者佩戴的耳机建立连接,②电子设备是否正在运行远程教育应用程序,③电子设备与耳机的距离是否属于参考距离范围内。在以上三个条件均满足的情况下,可以确定电子设备满足注意力检测条件。也就是说,电子设备与受教者佩戴的耳机成功建立连接,且正在运行远程教育应用程序,与耳机的距离也属于参考距离范围内,便可以确定电子设备具备对受教者进行注意力检测的能力。
2)受教者的注意力检测
在满足注意力检测条件的情况下,电子设备可以对受教者的注意力进行检测。具体方式可以是,电子设备通过扬声器向耳机发送第一信号,第一信号可以是超声信号;左耳机接收到第一信号后,可以向电子设备发送第二信号,相应地,电子设备可以接收来自左耳机的第一信号;同理地,右耳机接收到第一信号后,可以向电子设备发送第三信号,电子设备可以接收来自右耳机的第三信号。第二信号和第三信号可以是耳机通过蓝牙发送的电信号。进而,电子设备可以获取接收第二信号和接收第三信号的双耳时间差。在预设时间段内,电子设备可以按照预设时间间隔多次向耳机发送第一信号,第一信号例如可以是超声脉冲信号,电子设备可以每5分钟向耳机发送连续超声脉冲信号,超声脉冲信号的时间间隔可以为1秒,持续时间可以为1分钟。这样,电子设备在预设时间段内便可以获取到多个双耳时间差。
可选的,电子设备每次向耳机发送的第一信号可以添加有用于标识发送顺序标签信息,左耳机接收到添加有标签信息的第一信号后,可以向电子设备返回添加有相同标签信息的第二信号,右耳机接收到添加有标签信息的第一信号后,可以向电子设备返回添加有相同标签信息的第三信号,以便于电子设备进行区分。举例来说,假设电子设备13:00:00第一次向耳机发送第一信号,该第一信号可以添加有标签1,左耳机接收到添加有标签1的第一信号后,可以向电子设备返回添加有标签1的第二信号,右耳机接收到添加有标签1的第一信号后,可以向电子设备返回添加有标签1的第三信号,电子设备若在13:00:01接收到添加有标签1的第二信号,在13:00:03接收到添加有标签1的第三信号,那么电子设备获取到的第一个双耳时间差则为2秒;假设电子设备13:00:01第二次向耳机发送第一信号,该第一信号可以添加有标签2,左耳机接收到添加有标签2的第一信号后,可以向电子设备返回添加有标签2的第二信号,右耳机接收到添加有标签2的第一信号后,可以向电子设备返回添加有标签2的第三信号,电子设备若在13:00:02接收到添加有标签2的第二信号,在13:00:05接收到添加有标签2的第三信号,那么电子设备获取到的第二个双耳时间差则为3秒。
由于受教者佩戴耳机存在头部转动时,左耳机和右耳机与扬声器之间的距离会发生变化,也即电子设备获取到的双耳时间差会发生变化。电子设备通过统计预设时间段内获取到的多个双耳时间差,可以分析出受教者的头部运动状态,进而确定受教者的注意力状态。
3)确定受教者的注意力状态
电子设备对预设时间段内获取到的双耳时间差集进行分析,可以确定受教者预设时间段内的注意力状态。具体的,若受教者的面部一直朝正前方,双耳时间差趋于稳定,可以认为受教者注视屏幕注意力集中;若受教者的面部出现转动,例如面部向左侧或者右侧转动,双耳时间差出现大幅度变化,可以认为受教者的注意力出现转移。在预设时间段内,若受教者注意力转移的次数超过阈值,或者注意力转移的持续时间超过阈值,可以判定受教者的注意状态为注意力涣散。
可选的,在确定受教者的注意力涣散的情况下,可以输出注意力提醒信息,以达到及时提醒受教者集中注意力的目的。此外,电子设备也可以存储受教者的注意力状态数据,通过获取受教者目标时间段内的注意力状态数据可以对受教者的听课效率进行评估。目标时间段可以是一天的时间,也可以是一周的时间,还可以是一个月的时间等。如此可以实现对受教者的注意力状态进行阶段性的总结。
通过实施本申请实施例,可以根据电子设备与耳机进行信号交互的双耳时间差,较为准确地判断出受教者的头部运动状态,进而确定出受教者的注意力状态,更加便捷地实现针对受教者的注意力检测,有利于提升注意力检测的灵活性和准确性。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘solid statedisk)等。
总之,以上所述仅为本发明技术方案的实施例,并非用于限定本发明的保护范围。凡根据本发明的揭露,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种注意力检测方法,其特征在于,所述方法包括:
响应于与耳机之间的距离满足注意力检测条件,在预设时间段内按照预设时间间隔向所述耳机发送第一信号,并统计所述预设时间段内获取到的双耳时间差集;
对所述双耳时间差集进行分析,确定所述耳机对应的佩戴者在所述预设时间段内的注意力状态;所述注意力状态为注意力涣散或注意力集中。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取与所述耳机进行信号交互的实际传输时间;
响应于所述实际传输时间小于或等于参考传输时间,确定与所述耳机之间的距离满足所述注意力检测条件。
3.如权利要求2所述的方法,其特征在于,所述获取与所述耳机进行信号交互的实际传输时间,包括:
向所述耳机发送第一测试信号,并确定发送所述第一测试信号的第一时间;其中,所述耳机由左耳机和右耳机组成;
获取所述第一测试信号到达所述左耳机的第二时间,以及所述第一测试信号到达所述右耳机的第三时间;
从所述耳机接收第二测试信号,并确定接收到所述第二测试信号的第四时间;
基于所述第一时间、所述第二时间、所述第三时间以及所述第四时间,确定与所述耳机进行信号交互的实际传输时间。
4.如权利要求2所述的方法,其特征在于,所述方法还包括:
根据参考距离确定与所述耳机进行信号交互的参考传输时间。
5.如权利要求1-4任一项所述的方法,其特征在于,所述对所述双耳时间差集进行分析,确定所述耳机对应的佩戴者在所述预设时间段内的注意力状态,包括:
根据所述双耳时间差集,确定所述耳机对应的佩戴者在所述预设时间段内的头部运动信息;
根据所述佩戴者在所述预设时间段内的头部运动信息,确定所述佩戴者在所述预设时间段内的注意力状态。
6.如权利要求5所述的方法,其特征在于,所述根据所述双耳时间差集,确定所述耳机对应的佩戴者在所述预设时间段内的头部运动信息,包括:
响应于所述双耳时间差集中的第一双耳时间差与第二双耳时间差之间的差值大于或等于第一阈值,确定所述耳机对应的佩戴者在所述预设时间段内的头部运动信息包括头部转动;
其中,所述第一双耳时间差与所述第二双耳时间差相邻。
7.如权利要求6所述的方法,其特征在于,所述预设时间段内的头部运动信息还包括头部转动的次数;
所述根据所述佩戴者在所述预设时间段内的头部运动信息,确定所述佩戴者在所述预设时间段内的注意力状态,包括:
响应于所述头部转动的次数大于或等于第二阈值,确定所述佩戴者在所述预设时间段内的注意力状态为所述注意力涣散;
响应于所述头部转动的次数小于第三阈值,确定所述佩戴者在所述预设时间段内的注意力状态为所述注意力集中;
其中,所述第三阈值小于所述第二阈值。
8.一种电子设备,其特征在于,包括存储器和一个或多个处理器;所述存储器与所述一个或多个处理器耦合,用于存储计算机程序,所述计算机程序包括程序指令;所述一个或多个处理器调用所述程序指令,使得所述电子设备执行如权利要求1-7中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时,实现如权利要求1-7任意一项所述的方法。
10.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1-7中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310678246.3A CN116392127B (zh) | 2023-06-09 | 2023-06-09 | 注意力检测方法及相关电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310678246.3A CN116392127B (zh) | 2023-06-09 | 2023-06-09 | 注意力检测方法及相关电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116392127A true CN116392127A (zh) | 2023-07-07 |
CN116392127B CN116392127B (zh) | 2023-10-20 |
Family
ID=87012833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310678246.3A Active CN116392127B (zh) | 2023-06-09 | 2023-06-09 | 注意力检测方法及相关电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116392127B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110164756A1 (en) * | 2001-05-04 | 2011-07-07 | Agere Systems Inc. | Cue-Based Audio Coding/Decoding |
US20190182610A1 (en) * | 2017-12-13 | 2019-06-13 | Qualcomm Incorporated | Mechanism to output audio to trigger the natural instincts of a user |
JP2019126423A (ja) * | 2018-01-22 | 2019-08-01 | 日本電信電話株式会社 | 聴覚的注意推定装置、聴覚的注意推定方法、プログラム |
CN110584657A (zh) * | 2019-03-15 | 2019-12-20 | 华为技术有限公司 | 一种注意力检测方法及系统 |
US20200012346A1 (en) * | 2017-03-07 | 2020-01-09 | Cornell University | Sensory evoked response based attention evaluation systems and methods |
CN111273767A (zh) * | 2020-01-13 | 2020-06-12 | 重庆邮电大学 | 一种基于深度迁移学习的助听脑机接口系统 |
US20210290102A1 (en) * | 2020-03-20 | 2021-09-23 | Starkey Laboratories, Inc. | Alertness determination for non-alert detection using ear-worn electronic devices |
WO2022013566A1 (en) * | 2020-07-16 | 2022-01-20 | Earswitch Ltd | Improvements in or relating to earpieces |
US20220192560A1 (en) * | 2020-12-23 | 2022-06-23 | Qatar Foundation For Education, Science And Community Development | Systems and methods for evaluating mindfulness |
US20230146178A1 (en) * | 2021-11-11 | 2023-05-11 | Kickback Space Inc. | Attention based audio adjustment in virtual environments |
-
2023
- 2023-06-09 CN CN202310678246.3A patent/CN116392127B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110164756A1 (en) * | 2001-05-04 | 2011-07-07 | Agere Systems Inc. | Cue-Based Audio Coding/Decoding |
US20200012346A1 (en) * | 2017-03-07 | 2020-01-09 | Cornell University | Sensory evoked response based attention evaluation systems and methods |
US20190182610A1 (en) * | 2017-12-13 | 2019-06-13 | Qualcomm Incorporated | Mechanism to output audio to trigger the natural instincts of a user |
JP2019126423A (ja) * | 2018-01-22 | 2019-08-01 | 日本電信電話株式会社 | 聴覚的注意推定装置、聴覚的注意推定方法、プログラム |
CN110584657A (zh) * | 2019-03-15 | 2019-12-20 | 华为技术有限公司 | 一种注意力检测方法及系统 |
CN111273767A (zh) * | 2020-01-13 | 2020-06-12 | 重庆邮电大学 | 一种基于深度迁移学习的助听脑机接口系统 |
US20210290102A1 (en) * | 2020-03-20 | 2021-09-23 | Starkey Laboratories, Inc. | Alertness determination for non-alert detection using ear-worn electronic devices |
WO2022013566A1 (en) * | 2020-07-16 | 2022-01-20 | Earswitch Ltd | Improvements in or relating to earpieces |
US20220192560A1 (en) * | 2020-12-23 | 2022-06-23 | Qatar Foundation For Education, Science And Community Development | Systems and methods for evaluating mindfulness |
US20230146178A1 (en) * | 2021-11-11 | 2023-05-11 | Kickback Space Inc. | Attention based audio adjustment in virtual environments |
Also Published As
Publication number | Publication date |
---|---|
CN116392127B (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020233564A1 (zh) | 一种对抗样本的检测方法及电子设备 | |
WO2020244622A1 (zh) | 一种通知的提示方法、终端及系统 | |
WO2021052214A1 (zh) | 一种手势交互方法、装置及终端设备 | |
CN108961681B (zh) | 疲劳驾驶提醒方法、装置及存储介质 | |
US11868463B2 (en) | Method for managing application permission and electronic device | |
CN113965807B (zh) | 消息推送方法、装置、终端、服务器及存储介质 | |
US11887261B2 (en) | Simulation object identity recognition method, related apparatus, and system | |
WO2020216098A1 (zh) | 一种跨电子设备转接服务的方法、设备以及系统 | |
WO2021000817A1 (zh) | 环境音处理方法及相关装置 | |
CN113170279B (zh) | 基于低功耗蓝牙的通信方法及相关装置 | |
EP4135308A1 (en) | Image synthesis method and related apparatus | |
CN111104980B (zh) | 确定分类结果的方法、装置、设备及存储介质 | |
WO2020211607A1 (zh) | 生成视频的方法、装置、电子设备及介质 | |
CN114185503B (zh) | 多屏交互的系统、方法、装置和介质 | |
CN110798327B (zh) | 消息处理方法、设备及存储介质 | |
CN111739517A (zh) | 语音识别方法、装置、计算机设备及介质 | |
CN115881118B (zh) | 一种语音交互方法及相关电子设备 | |
CN110493635B (zh) | 视频播放方法、装置及终端 | |
WO2022134691A1 (zh) | 一种终端设备中啸叫处理方法及装置、终端 | |
CN111554314A (zh) | 噪声检测方法、装置、终端及存储介质 | |
KR20160070529A (ko) | 웨어러블 디바이스 | |
CN116392127B (zh) | 注意力检测方法及相关电子设备 | |
CN112866470A (zh) | 来电处理方法、装置、电子设备及介质 | |
CN115641867A (zh) | 语音处理方法和终端设备 | |
WO2024046182A1 (zh) | 一种音频播放方法、系统及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |