CN108391049A - 拍摄控制方法及相关设备 - Google Patents

拍摄控制方法及相关设备 Download PDF

Info

Publication number
CN108391049A
CN108391049A CN201810142026.8A CN201810142026A CN108391049A CN 108391049 A CN108391049 A CN 108391049A CN 201810142026 A CN201810142026 A CN 201810142026A CN 108391049 A CN108391049 A CN 108391049A
Authority
CN
China
Prior art keywords
brain wave
user
electronic device
keyword
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810142026.8A
Other languages
English (en)
Inventor
张海平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810142026.8A priority Critical patent/CN108391049A/zh
Publication of CN108391049A publication Critical patent/CN108391049A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Abstract

本申请公开了一种拍摄控制方法及相关设备,应用于电子装置,该电子装置包括脑电波传感器、摄像模组和脑电波处理模块,其中:所述脑电波传感器,用于采集用户的脑电波;所述脑电波处理模块,用于根据所述脑电波识别用户是否处于兴奋状态;所述摄像模组,用于在用户处于兴奋状态的情况下,对用户注视的对象进行拍摄操作。采用本申请实施例可实现通过脑电波控制电子装置的拍摄功能,提升了拍摄控制便捷性和智能性。

Description

拍摄控制方法及相关设备
技术领域
本申请涉及电子技术领域,尤其涉及一种拍摄控制方法及相关设备。
背景技术
随着电子装置(如智能手机等)技术的迅速发展,以及越来越普及,现已成为用户日常生活中不可缺少的电子产品。在实际使用中,用户可以使用电子装置进行网页浏览、音视频播放、即时聊天、游戏等。用户通常通过手指触控、按压按键、语音输入等形式控制电子装置的拍摄功能。
发明内容
本申请实施例提供一种拍摄控制方法及相关设备,实现了通过脑电波控制电子装置的拍摄功能,提升了拍摄控制便捷性和智能性。
第一方面,本申请实施例提供一种电子装置,包括脑电波传感器、摄像模组和脑电波处理模块,其中:
所述脑电波传感器,用于采集用户的脑电波;
所述脑电波处理模块,用于根据所述脑电波识别用户是否处于兴奋状态;
所述摄像模组,用于在用户处于兴奋状态的情况下,对用户注视的对象进行拍摄操作。
第二方面,本申请实施例提供一种拍摄控制方法,应用于包括脑电波传感器、摄像模组和脑电波处理模块的电子装置,所述方法包括:
通过所述脑电波传感器采集用户的脑电波;
通过所述脑电波处理模块根据所述脑电波识别用户是否处于兴奋状态;
在用户处于兴奋状态的情况下,通过所述摄像模组对用户注视的对象进行拍摄操作。
第三方面,本申请实施例提供一种拍摄控制装置,应用于包括脑电波传感器、摄像模组和脑电波处理模块的电子装置,所述拍摄控制装置包括采集单元,识别单元和拍摄单元,其中:
所述采集单元,用于通过所述脑电波传感器采集用户的脑电波;
所述识别单元,用于通过所述脑电波处理模块根据所述脑电波识别用户是否处于兴奋状态;
所述拍摄单元,用于在用户处于兴奋状态的情况下,通过所述摄像模组对用户注视的对象进行拍摄操作。
第四方面,本申请实施例提供一种电子装置,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第二方面任一方法中的步骤的指令。
第五方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第二方面任一方法中所描述的部分或全部步骤。
第六方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第二方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,在本申请中,电子装置设置有脑电波传感器,该脑电波传感器用于采集用户的脑电波,电子装置基于采集到的脑电波识别用户是否处于兴奋状态,若是,对用户注视的对象进行拍摄操作。实现了通过脑电波控制电子装置的拍摄功能。另外,由于整个过程无需点亮屏幕、唤醒系统,也无需用户手指触碰操作,进一步提升了拍摄控制便捷性和智能性。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种电子装置的结构示意图;
图1B是本申请实施例提供的一种包括穿戴式信号采集器的电子装置的结构示意图;
图2A是本申请实施例提供的一种拍摄控制方法的流程示意图;
图2B是本申请实施例提供的脑电波的波形示例图;
图2C是本申请实施例提供的以交叠方式使脑电波信号的采样时段以预定时长滑动的示例图;
图3是本申请实施例提供的另一种拍摄控制方法的流程示意图;
图4是本申请实施例提供的一种电子装置的结构示意图;
图5是本申请实施例提供的一种拍摄控制装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
以下分别进行详细说明。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
电子装置可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(UserEquipment,UE),移动台(Mobile Station,MS),终端设备(terminal device)等等。为方便描述,上面提到的设备统称为电子装置。
下面对本申请实施例进行详细介绍。
请参阅图1A,图1A是本申请实施例提供了一种电子装置100的结构示意图,电子装置100包括:壳体10、电路板20、脑电波传感器30、显示屏40、摄像模组50、脑电波处理模块70、以及控制脑电波传感器30、显示屏40、脑电波处理模块70和摄像模组50的控制器60;脑电波传感器30和控制器60设置在电路板20上,显示屏40与控制器60连接,其中:
脑电波传感器30,用于采集用户的脑电波;
脑电波处理模块70,用于根据所述脑电波识别用户是否处于兴奋状态;
摄像模组50,用于在用户处于兴奋状态的情况下,对用户注视的对象进行拍摄操作。
其中,摄像模组50包括以下至少一种:前置摄像头、后置摄像头、人脸识别装置。
其中,电子装置100还包括至少一个功能组件80,控制器60与至少一个功能组件70连接,至少一个功能组件70包括以下至少一种:扬声器、接近传感器、环境光传感器等等。
其中,显示屏40包括触控屏和显示屏,显示屏包括有机发光二极管显示屏 OLED。
其中,显示屏40包括设定区域。其中,设定区域可以是显示屏的右下角区域、左下角区域、右上角区域、左上角区域,中间区域,等等。
或者,显示屏40包括第一区域和第二区域。其中,第一区域和第二区域可以是相邻的,也可以是不相邻的,在此不作唯一限定。
其中,脑电波(Electroencephalogram,EEG)是大脑在活动时,大量神经元同步发生的突触后电位经总和后形成的。脑电波是一种电磁波,具有一定的能量。
其中,脑电波传感器30又可以称为脑电波芯片、脑电波接收器等。脑电波传感器30集成在电子装置中。
其中,脑电波传感器30具有以下至少一种能力:信号采集能力、信号收发能力等等。其中,信号采集能力用于采集用户产生的脑电波。信号收发能力用于通过有线接口或无线接口接收其他设备(例如有其他电子装置、下述的穿戴式信号采集器等)发送的脑电波,以及通过有线或无线接口向其他设备发送脑电波。其中,无线接口是电子装置的收发器。
其中,脑电波处理模块70具有以下至少一种能力:能量存储能力、信号处理能力、能量转化能力、能量确定能力等等。
其中,能量存储能力用于存储脑电波的能量。信号处理能力用于将脑电波进行去噪、滤波等处理,最终形成基准脑电波发送给控制器进行处理。能量转化能力用于将脑电波转化为电流。能量确定能力用于确定采集到的脑电波的能量的大小,以及用于确定存储的脑电波的能量的大小。
其中,脑电波处理模块70可集成在脑电波传感器30中,也可以集成在控制器60中。
在一个实施例中,如图1B所示,该脑电波传感器30可以包括穿戴式信号采集器。在图1B中,该穿戴式信号采集器设置在电子装置的后壳上,该穿戴式信号采集器可从电子装置的后壳上拆卸,穿戴式信号采集器与电子装置本端有线连接或者无线连接(无线连接对应的穿戴式信号采集器集成有无线通讯模块与电子装置本端通信连接)。在使用时,用户可将穿戴式信号采集器从电子装置的后壳上拆卸,然后将穿戴式信号采集器紧贴用户头部。
需要说明的是,图1B所示的示例仅仅用于解释,不应构成限定。
在其他实施方式中,穿戴式信号采集器可以是不同于图1B所示的形态,比如脑电波头盔、脑电波耳环、脑电波助听器、脑电波发夹,脑电波耳机等等。
在一个实施例中,该脑电波传感器30可以包括电极阵列和信号处理模块,其中,该电子阵列埋入头皮中捕获神经元的电信号,电极部分的结构为针状整列,该信号处理电路部分可以包括仪表放大器、低通滤波电路、高通滤波电路、模数A/D转换电路以及接口电路等。
其中,控制器60可以包括处理器和存储器,该处理器是电子装置的控制中心,利用各种接口和线路连接整个电子装置的各个部分,通过运行或执行存储在存储器内的软件程序和/或模块,以及调用存储在存储器内的数据,执行电子装置的各种功能和处理数据,从而对电子装置进行整体监控。可选的,处理器可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器中。
其中,存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行电子装置的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据电子装置的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
可以看出,在本申请中,电子装置设置有脑电波传感器,该脑电波传感器用于采集用户的脑电波,以及基于采集到的脑电波识别用户是否处于兴奋状态,若是,对用户注视的对象进行拍摄操作。实现了通过脑电波控制电子装置的拍摄功能。另外,由于整个过程无需点亮屏幕、唤醒系统,也无需用户手指触碰操作,进一步提升了拍摄控制便捷性和智能性。
在本申请的一实施例中,在根据所述脑电波识别用户是否处于兴奋状态方面,脑电波传感器30具体用于:
对所述脑电波进行去噪及滤波处理,得到参考脑电波;
确定所述参考脑电波的能量是否处于设定能量范围;
在所述参考脑电波的能量处于设定能量范围的情况下,确定用户处于兴奋状态。
在本申请的一实施例中,摄像模组50,还用于采集用户的瞳孔图像;
控制器60,用于解析所述瞳孔图像,以确定用户注视的对象。
在本申请中,为了更便捷的采集到用户的瞳孔图像,上述摄像模组50是可旋转的,摄像模组50可360°旋转。进一步地,摄像模组50可调节焦距。比如,在摄像模组50不对准用户的瞳孔的情况下,控制器60控制摄像模组50旋转,以对准用户的瞳孔,然后控制器60控制摄像模组50调节焦距,以使得摄像模组50能获取到比较清晰的瞳孔图像。
在本申请的一实施例中,控制器60,还用于在用户不处于兴奋状态的情况下,确定设定关键词集合中与所述脑电波关联的目标关键词;
摄像模组50,还用于进行与所述目标关键词关联的拍摄操作。
在本申请的一实施例中,在确定设定关键词集合中与所述脑电波关联的目标关键词方面,控制器60具体用于:
解析所述脑电波,以得到所述脑电波的特征值;
根据特征值与关键词的映射关系,确定所述设定关键词集合中与所述特征值关联的关键词为所述目标关键词。
需要说明的是,本申请中所述的示例仅仅用于解释,不应构成限定。本实施例的具体实现过程可参见下述方法所述的具体实现过程,在此不再叙述。
请参阅图2A,图2A是本申请实施例提供的一种拍摄控制方法的流程示意图,应用于如图1A所示的电子装置,该方法包括:
步骤201:电子装置通过所述脑电波传感器采集用户的脑电波。
在本申请的一实施例中,在步骤201之前,所述方法还包括:
电子装置启动脑电波拍摄模式。
进一步地,在图1A的基础上电子装置还包括脑电波拍摄模式启动按键,电子装置启动脑电波拍摄模式的具体实现方式有:
在所述脑电波拍摄模式启动按键被置于开启状态的情况下,电子装置启动脑电波拍摄模式。
在本申请的一实施例中,电子装置启动脑电波拍摄模式的具体实现方式有:在所述电子装置的运动轨迹为设定运动轨迹的情况下,电子装置启动脑电波拍摄模式。其中,在图1A的基础上电子装置还包括陀螺仪,电子装置的运动轨迹可通过陀螺仪获得。比如,电子装置当前的运动轨迹为P,假如设定运动轨迹也是P,那么电子装置启动脑电波拍摄模式。
在本申请的一实施例中,电子装置启动脑电波拍摄模式的具体实现方式有:在检测到针对显示屏的滑动轨迹为设定滑动轨迹的情况下,电子装置启动脑电波拍摄模式。比如,针对显示屏的滑动轨迹为P,假如设定滑动轨迹也是P,那么电子装置启动脑电波拍摄模式。
在本申请的一实施例中,电子装置启动脑电波拍摄模式的具体实现方式有:在检测到针对显示屏的长按操作的情况下,电子装置启动脑电波拍摄模式。
在本申请的一实施例中,电子装置启动脑电波拍摄模式的具体实现方式有:在检测到针对HOME键的长按操作的情况下,电子装置启动脑电波拍摄模式。
在本申请的一实施例中,电子装置启动脑电波拍摄模式的具体实现方式有:在检测到针对显示屏的点击操作的情况下,电子装置启动脑电波拍摄模式。其中,所述点击操作可以是单击操作、双击操作、三击操作,等等。
在本申请的一实施例中,电子装置启动脑电波拍摄模式的具体实现方式有:在检测到脑电波传感器采集的脑电波的脑电图与设定脑电图匹配的情况下,电子装置启动脑电波拍摄模式。
在本申请的一实施例中,电子装置启动脑电波拍摄模式的具体实现方式有:在检测到人脸识别装置采集到的人脸图像与设定人脸图像匹配的情况下,电子装置启动脑电波拍摄模式。
在本申请的一实施例中,在图1A的基础上电子装置还包括指纹传感器,电子装置启动脑电波拍摄模式的具体实现方式有:在检测到指纹传感器采集到的指纹信息与设定指纹信息匹配的情况下,电子装置启动脑电波拍摄模式。
在本申请的一实施例中,电子装置启动脑电波拍摄模式的具体实现方式有:在检测到针对设定区域的点击操作的情况下,电子装置启动脑电波拍摄模式。其中,所述点击操作可以是单击操作、双击操作、三击操作,等等。
在本申请的一实施例中,电子装置启动脑电波拍摄模式的具体实现方式有:
在检测到针对第一区域的第一点击操作,以及检测到针对第二区域的第二点击操作的情况下,电子装置启动脑电波拍摄模式。其中,第一点击操作不同于第二点击操作,第一点击操作和第二点击操作可以是单击操作、双击操作、三击操作,等等。
步骤202:电子装置通过脑电波处理模块根据所述脑电波识别用户是否处于兴奋状态。
在本申请的一实施例中,电子装置根据所述脑电波识别用户是否处于兴奋状态的具体实现方式有:
电子装置通过所述脑电波处理模块对所述脑电波进行去噪及滤波处理,得到参考脑电波;电子装置通过所述脑电波处理模块确定所述参考脑电波的能量是否处于设定能量范围;在所述参考脑电波的能量处于设定能量范围的情况下,电子装置确定用户处于兴奋状态。
在本申请的一实施例中,电子装置根据所述脑电波识别用户是否处于兴奋状态的具体实现方式有:
电子装置通过所述脑电波处理模块对所述脑电波进行去噪及滤波处理,得到参考脑电波;电子装置通过所述脑电波处理模块确定所述参考脑电波的信号强度是否大于或等于设定信号强度范围;在所述参考脑电波的信号强度大于或等于设定信号强度范围的情况下,电子装置确定用户处于兴奋状态。
其中,兴奋状态不同于紧张状态或享受状态。
其中,紧张状态指的是用户持续的情绪或心情紧张。兴奋状态又称为精神运动性兴奋,指的是用户的情绪亢奋。享受状态指的是用户的情绪比较缓和。可见,当用户处于兴奋状态时,用户产生的脑电波是最多的,此次是紧张状态,最后是享受状态。那么上述3种状态,当用户处于兴奋状态时,脑电波传感器采集到的脑电波的能量或脑电波的信号最大,此次是紧张状态,最后是享受状态。
具体实现中,由于用户处于不同的状态下,采集到的脑电波的能量大小、信号强度互不相同,因此可事先将不同状态与不同的能量范围进行关联,或者事先将不同状态与不同的信号强度范围进行关联。比如能量范围1关联兴奋状态,能量范围2关联紧张状态、能量范围3关联享受状态,能量范围1包括的能量大小>能量范围2包括的能量大小>能量范围3包括的能量大小。又比如信号强度范围1关联兴奋状态,信号强度范围2关联紧张状态、信号强度范围3 关联享受状态,信号强度范围1包括的信号强度>信号强度范围2包括的信号强度>信号强度范围3包括的信号强度。后续电子装置可根据脑电波传感器采集到的脑电波的能量大小或脑电波的信号强度确定用户是处于兴奋状态还是处于其他状态。
步骤203:在用户处于兴奋状态的情况下,电子装置通过所述摄像模组对用户注视的对象进行拍摄操作。
可以看出,在本申请中,电子装置设置有脑电波传感器,该脑电波传感器用于采集用户的脑电波,以及基于采集到的脑电波识别用户是否处于兴奋状态,若是,对用户注视的对象进行拍摄操作。实现了通过脑电波控制电子装置的拍摄功能。另外,由于整个过程无需点亮屏幕、唤醒系统,也无需用户手指触碰操作,进一步提升了拍摄控制便捷性和智能性。
在本申请的一实施例中,在步骤203之前,所述方法还包括:
电子装置通过所述摄像模组采集用户的瞳孔图像;
电子装置解析所述瞳孔图像,以确定用户注视的对象。
进一步地,摄像模组是可旋转的和可调节焦距的,电子装置通过所述摄像模组采集用户的瞳孔图像的具体实现方式有:
电子装置通过摄像模组先获取一张图像;以及确定获取到的图像是否包括用户的瞳孔图像;若这张图像不包括瞳孔图像,电子装置控制摄像模组进行旋转直至获取到的图像包括用户的瞳孔图像;若获取到的图像包括用户的瞳孔图像,电子装置确定用户的瞳孔图像是否清晰;若清晰,则继续后续的操作;若不清晰,电子装置控制摄像模组进行调焦直至获取到的清晰的用户的瞳孔图像。
进一步地,电子装置解析所述瞳孔图像,以确定用户注视的对象的具体实现方式有:
电子装置解析所述瞳孔图像,以确定所述瞳孔图像包括的至少一个物体;
电子装置确定所述至少一个物体为用户注视的对象。
其中,物体可以是人、动物、花盆、杯子、书本、包包、笔、鞋,等等。
具体地,当用户注视某一个或某几个对象时,用户的视网膜会形成用户注视的对象的像。在本申请中,通过解析用户的瞳孔图像来确定用户注视的对象,可提升确定用户注视的对象的准确性。
在本申请的一实施例中,所述方法还包括:
在用户不处于兴奋状态的情况下,电子装置确定设定关键词集合中与所述脑电波关联的目标关键词;
电子装置通过所述摄像模组进行与所述目标关键词关联的拍摄操作。
其中,该关键词集合包括关键词,该关键词为用户希望电子装置执行拍摄功能时所冥想的特定单词、词汇或短语。
其中,不同的关键词对应不同的拍摄操作。比如,关键词“拍照”对应普通拍照,关键词“摄像”对应普通摄像,关键词“美拍”对应美颜拍照,关键词“美摄”对应美颜摄像,关键词“定时拍照”对应定时拍照,关键词“表情拍”对应携带表情拍照,关键词“表情摄”对应携带表情摄像等等。用户希望电子装置执行的拍摄操作与所冥想的关键词之间的关联关系是无法做唯一限定,针对不同的用户,此种关联关系会千差万别。
此外,用户希望电子装置执行的拍摄操作至少包括以下任意一种:普通拍照、普通摄像、美颜拍照、美颜摄像、定时拍照、关闭拍摄功能、携带表情拍照、携带表情摄像等,此处不做唯一限定。
其中,电子装置通过所述摄像模组进行与所述目标关键词关联的拍摄操作的具体实现方式有:电子装置根据该目标关键字生成对应的拍摄控制指令;电子装置根据该拍摄控制指令触发电子装置执行该拍摄控制指令所指示的拍摄操作。
在本申请的一实施例中,电子装置确定设定关键词集合中与所述脑电波关联的目标关键词的具体实现方式有:
电子装置解析所述脑电波,以得到所述脑电波的特征值;
电子装置根据特征值与关键词的映射关系,确定所述设定关键词集合中与所述特征值关联的关键词为所述目标关键词。
具体地,电子装置可以采用希尔伯特-黄变换(Hibert-Huang Transform,HHT) 算法对脑电波进行识别。首先,求出脑电波传感器采集到的脑电波x(t)中所有的极值点;接着采用三次样条函数对极大值点和极小值点进行包络拟合;然后计算出包络线的平均值m(t),并通过h(t)=x(t)-m(t)判断是否满足本质模式函数 (intrisic mode function,IMF)条件;在满足IMF条件后进行Hibert变化,且构造解析函数,然后求瞬时频率,获得希尔伯特瞬时能量谱,最后采用贝叶斯决策分类选取脑电波的特征值。
具体地,电子装置还可以基于由短时间序列构成的脑电波X1(t)、X2(t)、X3(t)、X4(t)、X5(t)、通过共同空间模式CSP方法连续地计算特征值fp。如图2B所示,电子装置首先在每个脑电波Xn(t)(n=1~5)中设定与间隔T1对应的帧,并计算每个脑电波在间隔T1内的fs×T1(fs:采样频率)个点处的值(脑数据)Dn(1)至 Dn(fs×T1)。如上所述,电子装置分别从信号X1(t)、X2(t)、X3(t)、X4(t)、X5(t) 提取脑数据D1(1)至D1(fs×T1)、D2(1)至D2(fs×T1)、D3(1)至D3(fs×T1)、D4(1) 至D4(fs×T1)、D5(1)至D5(fs×T1)。然后,电子装置基于提取的脑数据产生5(电极数)×fs×T1(采样时段T1内的脑数据项数)的矩阵E。
此外,电子装置基于所产生的矩阵E和通过已知的CSP方法获得的滤波 W1和W1通过以下公式(1)计算特征值fp。
fp=var(Zp)Σi=12var(Zt)=var(WpE)Σi=12var(WiE)]](1)式
注意上述的“var(Zp)”表示数据序列Zp的方差。
此外,电子装置相继地计算在每个预定的短时间T2(例如,T2=125ms)处的特征值fp。具体地,如图2C所示,通过在每个脑电波Xn(t)中以交叠方式使采样时段T1以每个预定短时间(预定间隔)T2滑动,电子装置相继地产生矩阵E,并连续地计算特征值fp。
电子装置基于计算得到的特征值fp以例如线性支持向量机SVM的学习功能执行信号处理,并且产生控制信号。
可以看出,在本申请中,由于用户在冥想不同关键词状态下脑电波存在差异,从而脑电波特征也存在差异,故而电子装置能够通过确定脑电波的脑电波特征,再根据该脑电波特征即可快速确定用户希望电子装置执行拍摄操作所对应的目标关键词,有利于提高电子装置对脑电波进行语义解析的准确度和实时性。
在本申请的一实施例中,所述方法还包括:
所述电子装置获取用户在冥想所述目标关键词状态下的多组脑电波;所述电子装置确定每组脑电波对应的特征值;所述电子装置确定所述多组脑电波对应的多个特征值的平均值;所述电子装置建立所述平均值与所述目标关键词的对应关系;在所述关键字集合中添加所述平均值与所述目标关键词的对应关系。
其中,基于前述用户希望电子装置执行拍摄功能与冥想的关键词之间的关联关系可知,不同用户对应的关联关系也不同,但对于同一用户,是可以通过训练得到相同操作所对应的稳定的关键词的。也就是说,针对目标操作,用户可以通过反复冥想同一目标关键词,一方面用户自己强化该目标操作与该目标关键词的关联关系,另一方面电子装置可以反复采集用户冥想状态下的脑电波,得到更为精确的特征值。
可以看出,在本申请中,电子装置通过反复多次采集用户冥想同一目标关键词状态的脑电波,并加权平均得到高度适配目标关键词的特征值,从而提高电子装置识别用户指示的准确度。
在本申请的一实施例中,电子装置确定设定关键词集合中与所述脑电波关联的目标关键词的具体实现方式有:
电子装置解析所述脑电波,以得到所述脑电波的脑电图;
电子装置确定脑电图模板集合中与所述脑电图匹配的目标脑电图模板;
电子装置根据脑电图模板与关键词的映射关系,确定所述设定关键词集合中与所述脑电图关联的关键词为所述目标关键词。
其中,所述电子装置能够对脑电图的频率、幅值等特征进行分析,确定当前脑电波对应的脑电图与脑电图模板集合中每个脑电图模板的匹配度,从而确定匹配度最高的和/或高于预设阈值的脑电图模板为匹配的目标脑电图模板。
可见,本示例中,电子装置基于波形比较,能够快速识别出匹配当前脑电波对应的目标关键词,提高电子装置识别目标关键词的实时性和准确度。
在本可能的示例中,所述方法还包括:
所述电子装置获取用户在冥想所述目标关键词状态下的多组脑电波信号;所述电子装置生成每组脑电波信号对应的脑电图;所述电子装置根据所述多组脑电波信号对应的多个脑电图生成所述目标脑电图模板;所述电子装置建立所述目标脑电图模板与所述目标关键词的对应关系;所述电子装置在所述关键字集合中添加所述目标脑电图模板与所述目标关键词的对应关系。
可见,本示例中,电子装置能够反复采集用户冥想同一目标关键词状态下的脑电波信号,最终得到匹配度较高的脑电图作为脑电图模板,提高电子装置识别目标关键词的准确度。
本申请实施例还提供了另一更为详细的方法流程,如图3所示,应用于如图1A所示的电子装置,该方法包括:
步骤301:电子装置通过所述脑电波传感器采集用户的脑电波。
步骤302:电子装置通过所述脑电波处理模块对所述脑电波进行去噪及滤波处理,得到参考脑电波。
步骤303:电子装置通过所述脑电波处理模块确定所述参考脑电波的能量是否处于设定能量范围。
若是,则执行步骤304~步骤306。
若否,则执行步骤307~步骤309。
步骤304:电子装置通过摄像模组采集用户的瞳孔图像。
步骤305:电子装置解析所述瞳孔图像,以确定用户注视的对象。
步骤306:电子装置通过所述摄像模组对用户注视的对象进行拍摄操作。
步骤307:电子装置解析所述脑电波,以得到所述脑电波的特征值。
步骤308:电子装置根据特征值与关键词的映射关系,确定所述设定关键词集合中与所述特征值关联的关键词为所述目标关键词。
步骤309:电子装置通过所述摄像模组进行与所述目标关键词关联的拍摄操作。
需要说明的是,图3所示的方法的各个步骤的具体实现过程可参见所述方法所述的具体实现过程,在此不再叙述。
与上述图2A和图3所示的实施例一致的,请参阅图4,图4是本申请实施例提供的一种电子装置的结构示意图,如图所示,该电子装置包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行以下步骤的指令:
采集用户的脑电波;
根据所述脑电波识别用户是否处于兴奋状态;
在用户处于兴奋状态的情况下,对用户注视的对象进行拍摄操作。
在本申请的一实施例中,在根据所述脑电波识别用户是否处于兴奋状态方面,上述程序包括具体用于执行以下步骤的指令:
对所述脑电波进行去噪及滤波处理,得到参考脑电波;
确定所述参考脑电波的能量是否处于设定能量范围;
在所述参考脑电波的能量处于设定能量范围的情况下,确定用户处于兴奋状态。
在本申请的一实施例中,上述程序包括还用于执行以下步骤的指令:
采集用户的瞳孔图像;
解析所述瞳孔图像,以确定用户注视的对象。
在本申请的一实施例中,上述程序包括还用于执行以下步骤的指令:
在用户不处于兴奋状态的情况下,确定设定关键词集合中与所述脑电波关联的目标关键词;
进行与所述目标关键词关联的拍摄操作。
在本申请的一实施例中,在确定设定关键词集合中与所述脑电波关联的目标关键词方面,上述程序包括具体用于执行以下步骤的指令:
解析所述脑电波,以得到所述脑电波的特征值;
根据特征值与关键词的映射关系,确定所述设定关键词集合中与所述特征值关联的关键词为所述目标关键词。
需要说明的是,本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程,在此不再叙述。
请参阅图5,图5是本申请实施例提供的一种拍摄控制装置,应用于电子装置,拍摄控制装置500包括处理单元501、通信单元502和存储单元503,处理单元501包括采集单元,识别单元和拍摄单元,其中:
采集单元,用于采集用户的脑电波;
识别单元,用于根据所述脑电波识别用户是否处于兴奋状态;
拍摄单元,用于在用户处于兴奋状态的情况下,对用户注视的对象进行拍摄操作。
在本申请的一实施例中,在根据所述脑电波识别用户是否处于兴奋状态方面,识别单元具体用于:
对所述脑电波进行去噪及滤波处理,得到参考脑电波;
确定所述参考脑电波的能量是否处于设定能量范围;
在所述参考脑电波的能量处于设定能量范围的情况下,确定用户处于兴奋状态。
在本申请的一实施例中,处理单元501还包括:
图像采集单元,用于采集用户的瞳孔图像;
解析单元,用于解析所述瞳孔图像,以确定用户注视的对象。
在本申请的一实施例中,处理单元501还包括:
获取单元,用于在用户不处于兴奋状态的情况下,确定设定关键词集合中与所述脑电波关联的目标关键词;
拍摄单元,还用于进行与所述目标关键词关联的拍摄操作。
在本申请的一实施例中,在确定设定关键词集合中与所述脑电波关联的目标关键词方面,获取单元具体用于:
解析所述脑电波,以得到所述脑电波的特征值;
根据特征值与关键词的映射关系,确定所述设定关键词集合中与所述特征值关联的关键词为所述目标关键词。
其中,处理单元501可以是处理器或控制器,(例如可以是中央处理器(CentralProcessing Unit,CPU),通用处理器,数字信号处理器(Digital Signal Processor,DSP),专用集成控制器(Application-Specific Integrated Circuit,ASIC),现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。通信单元503可以是收发器、收发控制器、射频芯片、通信接口等,存储单元502可以是存储器。
当处理单元501为处理器,通信单元503为通信接口,存储单元502为存储器时,本申请实施例所涉及的拍摄控制装置可以为图4所示的电子装置。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子装置。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子装置。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM, Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实现方式及应用范围上均会有改变之处,综上上述,本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种电子装置,其特征在于,包括脑电波传感器、摄像模组和脑电波处理模块,其中:
所述脑电波传感器,用于采集用户的脑电波;
所述脑电波处理模块,用于根据所述脑电波识别用户是否处于兴奋状态;
所述摄像模组,用于在用户处于兴奋状态的情况下,对用户注视的对象进行拍摄操作。
2.根据权利要求1所述的电子装置,其特征在于,在根据所述脑电波识别用户是否处于兴奋状态方面,所述脑电波处理模块具体用于:
对所述脑电波进行去噪及滤波处理,得到参考脑电波;
确定所述参考脑电波的能量是否处于设定能量范围;
在所述参考脑电波的能量处于所述设定能量范围的情况下,确定用户处于兴奋状态。
3.根据权利要求1或2所述的电子装置,其特征在于,所述电子装置还包括控制器,其中:
所述摄像模组,还用于采集用户的瞳孔图像;
所述控制器,用于解析所述瞳孔图像,以确定用户注视的对象。
4.根据权利要求1-3任一项所述的电子装置,其特征在于,
所述控制器,还用于在用户不处于兴奋状态的情况下,确定设定关键词集合中与所述脑电波关联的目标关键词;
所述摄像模组,还用于进行与所述目标关键词关联的拍摄操作。
5.根据权利要求4所述的电子装置,其特征在于,在确定设定关键词集合中与所述脑电波关联的目标关键词方面,所述控制器具体用于:
解析所述脑电波,以得到所述脑电波的特征值;
根据特征值与关键词的映射关系,确定所述设定关键词集合中与所述特征值关联的关键词为所述目标关键词。
6.一种拍摄控制方法,其特征在于,应用于包括脑电波传感器、摄像模组和脑电波处理模块的电子装置,所述方法包括:
通过所述脑电波传感器采集用户的脑电波;
通过所述脑电波处理模块根据所述脑电波识别用户是否处于兴奋状态;
在用户处于兴奋状态的情况下,通过所述摄像模组对用户注视的对象进行拍摄操作。
7.根据权利要求6所述的方法,其特征在于,所述通过所述脑电波传感器根据所述脑电波识别用户是否处于兴奋状态,包括:
通过所述脑电波处理模块对所述脑电波进行去噪及滤波处理,得到参考脑电波;
通过所述脑电波处理模块确定所述参考脑电波的能量是否处于设定能量范围;
在所述参考脑电波的能量处于所述设定能量范围的情况下,确定用户处于兴奋状态。
8.根据权利要求6或7所述的方法,其特征在于,所述通过所述摄像模组对用户注视的对象进行拍摄操作之前,所述方法还包括:
通过所述摄像模组采集用户的瞳孔图像;
解析所述瞳孔图像,以确定用户注视的对象。
9.根据权利要求6-8任一项所述的方法,其特征在于,所述方法还包括:
在用户不处于兴奋状态的情况下,确定设定关键词集合中与所述脑电波关联的目标关键词;
通过所述摄像模组进行与所述目标关键词关联的拍摄操作。
10.根据权利要求9所述的方法,其特征在于,所述确定设定关键词集合中与所述脑电波关联的目标关键词,包括:
解析所述脑电波,以得到所述脑电波的特征值;
根据特征值与关键词的映射关系,确定所述设定关键词集合中与所述特征值关联的关键词为所述目标关键词。
11.一种拍摄控制装置,其特征在于,应用于包括脑电波传感器、摄像模组和脑电波处理模块的电子装置,所述拍摄控制装置包括采集单元,识别单元和拍摄单元,其中:
所述采集单元,用于通过所述脑电波传感器采集用户的脑电波;
所述识别单元,用于通过所述脑电波处理模块根据所述脑电波识别用户是否处于兴奋状态;
所述拍摄单元,用于在用户处于兴奋状态的情况下,通过所述摄像模组对用户注视的对象进行拍摄操作。
12.一种电子装置,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求6-10任一项所述的方法中的步骤的指令。
13.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求6-10任一项所述的方法。
CN201810142026.8A 2018-02-11 2018-02-11 拍摄控制方法及相关设备 Pending CN108391049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810142026.8A CN108391049A (zh) 2018-02-11 2018-02-11 拍摄控制方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810142026.8A CN108391049A (zh) 2018-02-11 2018-02-11 拍摄控制方法及相关设备

Publications (1)

Publication Number Publication Date
CN108391049A true CN108391049A (zh) 2018-08-10

Family

ID=63068462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810142026.8A Pending CN108391049A (zh) 2018-02-11 2018-02-11 拍摄控制方法及相关设备

Country Status (1)

Country Link
CN (1) CN108391049A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059550A (zh) * 2019-03-11 2019-07-26 江苏理工学院 一种基于脑电信号的智能辅助学习系统
CN112532833A (zh) * 2020-11-24 2021-03-19 重庆长安汽车股份有限公司 智能拍录系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1927551A (zh) * 2006-09-30 2007-03-14 电子科技大学 一种视导脑声控的残障辅助机器人
CN101141567A (zh) * 2006-09-08 2008-03-12 索尼株式会社 图像获取和显示设备以及图像获取和显示方法
CN101523895A (zh) * 2006-10-02 2009-09-02 索尼爱立信移动通讯有限公司 通过注视方向选择对焦区域
CN202533867U (zh) * 2012-04-17 2012-11-14 北京七鑫易维信息技术有限公司 一种头戴式眼控显示终端
CN103516985A (zh) * 2013-09-18 2014-01-15 上海鼎为软件技术有限公司 移动终端及其获取图像的方法
CN105094817A (zh) * 2015-07-14 2015-11-25 努比亚技术有限公司 终端拍摄参数调整方法及装置
CN106488024A (zh) * 2016-10-18 2017-03-08 珠海格力电器股份有限公司 一种移动终端、移动终端智能拍照方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141567A (zh) * 2006-09-08 2008-03-12 索尼株式会社 图像获取和显示设备以及图像获取和显示方法
CN1927551A (zh) * 2006-09-30 2007-03-14 电子科技大学 一种视导脑声控的残障辅助机器人
CN101523895A (zh) * 2006-10-02 2009-09-02 索尼爱立信移动通讯有限公司 通过注视方向选择对焦区域
CN202533867U (zh) * 2012-04-17 2012-11-14 北京七鑫易维信息技术有限公司 一种头戴式眼控显示终端
CN103516985A (zh) * 2013-09-18 2014-01-15 上海鼎为软件技术有限公司 移动终端及其获取图像的方法
CN105094817A (zh) * 2015-07-14 2015-11-25 努比亚技术有限公司 终端拍摄参数调整方法及装置
CN106488024A (zh) * 2016-10-18 2017-03-08 珠海格力电器股份有限公司 一种移动终端、移动终端智能拍照方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059550A (zh) * 2019-03-11 2019-07-26 江苏理工学院 一种基于脑电信号的智能辅助学习系统
CN112532833A (zh) * 2020-11-24 2021-03-19 重庆长安汽车股份有限公司 智能拍录系统

Similar Documents

Publication Publication Date Title
Song et al. Design of a flexible wearable smart sEMG recorder integrated gradient boosting decision tree based hand gesture recognition
CN111209885B (zh) 一种手势信息处理方法、装置、电子设备及存储介质
CN106963372B (zh) 一种脑电-肌电信号融合装置及融合方法
Canento et al. Multimodal biosignal sensor data handling for emotion recognition
CN108334766B (zh) 电子装置、解锁方法及相关产品
Zhang et al. Recognizing hand gestures with pressure-sensor-based motion sensing
CN108495191A (zh) 视频播放控制方法及相关产品
US10521018B2 (en) Human body-based interaction method and interaction apparatus
CN108415560A (zh) 电子装置、操作控制方法及相关产品
CN107330316B (zh) 解锁处理方法及相关产品
KR102057705B1 (ko) 동작 인식을 위한 지능형 장치 및 그 제어 방법
EP3187967B1 (en) Terminal control method and system
CN108404275A (zh) 睡眠训练方法及相关设备
CN109144245A (zh) 设备控制方法及相关产品
CN110427108A (zh) 基于眼球追踪的拍照方法及相关产品
CN108519811A (zh) 截图方法及相关产品
Sim et al. Identity recognition based on bioacoustics of human body
CN108391049A (zh) 拍摄控制方法及相关设备
CN108670275A (zh) 信号处理方法及相关产品
Zheng et al. L-sign: Large-vocabulary sign gestures recognition system
Guelta et al. An Improved Behavioral Biometric System based on Gait and ECG signals.
CN108144291A (zh) 基于脑电波的游戏控制方法及相关产品
CN108427500A (zh) 锁屏杂志推送方法及相关产品
CN113749656B (zh) 基于多维生理信号的情感识别方法和装置
CN108345675A (zh) 相册显示方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180810