CN113760097A - 控制音量的方法及装置、终端及计算机可读存储介质 - Google Patents
控制音量的方法及装置、终端及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113760097A CN113760097A CN202111087304.2A CN202111087304A CN113760097A CN 113760097 A CN113760097 A CN 113760097A CN 202111087304 A CN202111087304 A CN 202111087304A CN 113760097 A CN113760097 A CN 113760097A
- Authority
- CN
- China
- Prior art keywords
- information
- face
- volume
- eye
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 210000000887 face Anatomy 0.000 claims description 45
- 230000000193 eyeblink Effects 0.000 claims description 44
- 230000004397 blinking Effects 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 11
- 238000005286 illumination Methods 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 abstract description 13
- 230000008569 process Effects 0.000 abstract description 5
- 230000008859 change Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 208000029157 Abnormality of the face Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- -1 falling Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
Abstract
本申请公开了一种控制音量的方法、控制音量的装置、终端及非易失性计算机可读存储介质。控制音量的方法包括:根据多帧人像中的目标人像信息,确定多帧人像中的人脸状态是否正常及眼部是否眨眼;识别目标人像信息中的眼部特征信息;及在人脸状态正常且眼部眨眼时,根据眼部特征信息调节终端的音量。本申请实施方式的控制音量的方法、控制音量的装置、终端及非易失性计算机可读存储介质可保证用户在使用终端过程中,若出现用户处于人脸状态异常(用户因外界因素眨眼)或用户自然眨眼的情况,则并不会调整终端的音量,从而保证判断是否调整音量的准确性,以使用户得到最佳的音量体验。
Description
技术领域
本申请涉及音量调节技术领域,更具体而言,涉及一种控制音量的方法、控制音量的装置、终端及非易失性计算机可读存储介质。
背景技术
目前,在扬声器场景时,用户往往是通过按压终端上的音量调节按键,以实现对音量的调节。但是在用户不便于用手操作终端时,则不利于用户的使用体验。然而,仅通过用户的眼部闭合,以实现自主调节终端的音量,则会导致对执行调节音量的判断不准确,从而导致用户无法得到最佳的声音体验。
发明内容
本申请实施方式提供一种控制音量的方法、控制音量的装置、终端及非易失性计算机可读存储介质。
本申请实施方式的控制音量的方法包括根据多帧人像中的目标人像信息,确定多帧所述人像中的人脸状态是否正常及眼部是否眨眼;识别所述目标人像信息中的眼部特征信息;及在所述人脸状态正常且眼部眨眼时,根据所述眼部特征信息调节终端的音量。
本申请实施方式的控制音量的装置包括确定模块、识别模块和调节模块。所述确定模块用于根据多帧人像中的目标人像信息,确定多帧所述人像中的人脸状态是否正常及眼部是否眨眼。所述识别模块用于根据识别所述目标人像信息中的眼部特征信息。及所述调节模块用于在所述人脸状态正常且眼部眨眼时,根据所述眼部特征信息调节终端的音量。
本申请实施方式的终端包括处理器。所述处理器用于根据多帧人像中的目标人像信息,确定多帧所述人像中的人脸状态是否正常及眼部是否眨眼;识别所述目标人像信息中的眼部特征信息;及在所述人脸状态正常且眼部眨眼时,根据所述眼部特征信息调节终端的音量。
本申请实施方式的非易失性计算机可读存储介质包含计算机程序,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行如下控制音量的方法:根据多帧人像中的目标人像信息,确定多帧所述人像中的人脸状态是否正常及眼部是否眨眼;识别所述目标人像信息中的眼部特征信息;及在所述人脸状态正常且眼部眨眼时,根据所述眼部特征信息调节终端的音量。
本申请实施方式的控制音量的方法、控制音量的装置、终端及非易失性计算机可读存储介质通过确定多帧人像中的人脸状态是否正常且眼部是否眨眼,并在人脸状态正常且眼部眨眼时,才会根据人脸的眼部特征信息调整终端的音量,由此,则可保证用户在使用终端过程中,若出现用户处于人脸状态异常(用户因外界因素眨眼)或用户自然眨眼的情况,便不会调整终端的音量,从而保证判断是否调整音量的准确性,以使用户得到最佳的音量体验。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本申请某些实施方式的控制音量的方法的流程示意图;
图2是本申请某些实施方式的控制音量的装置的示意图;
图3是本申请某些实施方式的终端的平面示意图;
图4至图13是本申请某些实施方式的控制音量的方法的流程示意图;
图14是本申请某些实施方式的非易失性计算机可读存储介质和处理器的连接状态示意图。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的实施方式的限制。
请参阅图1,本申请实施方式提供一种控制音量的方法。该控制音量的方法包括步骤:
01:根据多帧人像中的目标人像信息,确定多帧人像中的人脸状态是否正常及眼部是否眨眼;
02:识别目标人像信息中的眼部特征信息;及
03:在人脸状态正常且眼部眨眼时,根据眼部特征信息调节终端的音量。
请参阅图2,本申请实施方式提供一种控制音量的装置10。控制音量的装置10包括确定模块11、识别模块12及调节模块13。本申请实施方式的控制音量的方法可应用于控制音量的装置10。其中,确定模块11用于执行步骤01,识别模块12用于执行步骤02,调节模块13用于执行步骤03。即,确定模块11用于根据多帧人像中的目标人像信息,确定多帧人像中的人脸状态是否正常及眼部是否眨眼。识别模块12用于识别目标人像信息中的眼部特征信息。调节模块13用于在人脸状态正常且眼部眨眼时,根据眼部特征信息调节终端100的音量。
请参阅图3,本申请实施方式还提供一种终端100。终端100包括处理器30。本申请实施方式的控制音量的方法可应用于终端100。处理器30用于执行步骤01、步骤02和步骤03。即,处理器30根据多帧人像中的目标人像信息,确定多帧人像中的人脸状态是否正常及眼部是否眨眼;识别目标人像信息中的眼部特征信息;及在人脸状态正常且眼部眨眼时,根据眼部特征信息调节终端的音量。
其中,终端100还包括壳体40。终端100可以是手机、平板电脑、显示设备、笔记本电脑、柜员机、闸机、智能手表、头显设备、游戏机等。如图3所示,本申请实施方式以终端100是手机为例进行说明,可以理解,终端100的具体形式并不限于手机。壳体40还可用于安装终端100的显示装置、成像装置、供电装置、通信装置等功能模块,以使壳体40为功能模块提供防尘、防摔、防水等保护。
具体地,在调整终端100的播放音量前,处理器30需先根据多帧人像中的目标人像信息,以确定对人像中的人脸状态是否正常及眼部是否眨眼。其中,目标人像信息为终端100的机主的人脸,即目标人脸图像。
更具体地,在根据眼部特征信息调节终端100的音量前,由于用户眨眼的情况会有多种,如用户打喷嚏时的眨眼、大笑时的眨眼或吃到较酸的食物时,进行眨眼等,这些外界因素均会影响处理器30对用户是否需要调节音量的判断,以导致用户无需调节音量时,处理器30却对终端100进行了音量调节的情况发生。
因此,在处理器30根据人像信息以获取眼部特征信息前,需先确定人脸状态是否正常及眼部是否眨眼。人脸状态正常代表处理器30获取的多帧人像中,目标人像的人脸表情变化较小,如多帧人像中,目标人像的人脸均处于同一个正常的(较为平静的)表情时,则说明人脸状态正常。在确定人脸状态正常的同时,还可确定眼部是否眨眼,而当处理器30同时确定人脸差异小且眼部眨眼后,处理器30便可判断此种情况下,用户是需要进行调节音量的。
其中,处理器30获取的连续多帧的人像的时间间隔需大于人本身自然眨眼的时长,以防止人自然眨眼的情况,导致处理器30误判用户需要调节终端100的音量的情况出现。
此外,为保证在调节终端100的音量时,用户是需要位于终端100可获取到人像的角度范围内的,即处理器30判断用户是需要进行音量调节的。
因此,在处理器30判断人脸的角度是否有效前,可预先设定有预定角度,预定角度为人脸与终端100的夹角。处理器30可通过判断多帧人像中,目标人像与终端100的夹角是否小于预定角度,以确定人脸的角度是否有效。当目标人像与终端100的夹角小于预定角度时,则处理器30确定人脸的角度有效,当目标人像与终端100的夹角大于预定角度时,则处理器30确定人脸的角度无效。需要说明的是,处理器30在判断人脸的角度有效时,则多帧人脸图像中的人脸与终端100的夹角均需小于预定角度。
在某些实施方式中,用户可预先在终端100中存储有正对终端100所拍摄的预设人像,处理器30可对比当前人像与预设人像的变化程度,如当前人像中的人脸特征点相对预设人像中的人脸特征点的位移距离或当前人像相对预设人像的畸变程度等,以得到处理器30获取的多帧人像中人脸与终端100的夹角,即角度。
接下来,处理器30则根据目标人像信息,以获取眼部特征信息,由此,在人脸状态正常且眼部眨眼的情况下,处理器30便可根据眼部特征信息以调节终端100的音量。
例如,处理器30获取的眼部特征信息为用户的双眼进行了两秒以上的闭合,处理器30则会快速减小或增加终端100的音量。又例如,处理器30获取的眼部特征信息为用户的左眼进行了闭合,处理器30则增加终端100的音量。还例如,处理器30获取的眼部特征信息为用户的油烟进行了闭合,处理器30则减少终端100的音量。
在本申请实施方式的控制音量的方法、音量调节装置及终端100通过确定多帧人像中的人脸状态是否正常且眼部是否眨眼,并在人脸状态正常且眼部眨眼时,才会根据人脸的眼部特征信息调整终端100的音量,由此,则可保证用户在使用终端100过程中,若出现用户处于人脸状态异常(用户因外界因素眨眼)或用户自然眨眼的情况,便不会调整终端100的音量,从而保证判断是否调整音量的准确性,以使用户得到最佳的音量体验。
请参阅图2至图4,在某些实施方式中,步骤01:根据多帧人像中的目标人像信息,确定多帧人像中的人脸状态是否正常及眼部是否眨眼,包括步骤:
011:获取第二预定时长内的连续多帧人像;
012:判断连续多帧人像中,任意两帧人像中的人脸除眼部以外的特征点的位置坐标的差值是否小于预定差值;
013:若是,则确定所述人脸状态正常;
014:获取第二预定时长内的连续多帧人像;
015:判断连续多帧人像中,任意两帧人像中的人脸的眼部特征点是否发生变化;及
016:若是,则确定眼部眨眼。
在某些实施方式中,确定模块11还用于执行步骤011、步骤012、步骤013、步骤014、步骤015和步骤16。即确定模块11用于获取第一预定时长内的连续多帧人像;判断连续多帧人像中,任意两帧人像中的人脸除眼部以外的特征点的位置坐标的差值是否小于预定差值;若是,则确定人脸状态正常;获取第二预定时长内的连续多帧人像;判断连续多帧人像中,任意两帧人像中的人脸的眼部特征点是否发生变化;及若是,则确定眼部眨眼。
在某些实施方式中,处理器30还用于执行步骤011、步骤012、步骤013、步骤014、步骤015和步骤16。即处理器30用于获取第一预定时长内的连续多帧人像;判断连续多帧人像中,任意两帧人像中的人脸除眼部以外的特征点的位置坐标的差值是否小于预定差值;若是,则确定人脸状态正常;获取第二预定时长内的连续多帧人像;判断连续多帧人像中,任意两帧人像中的人脸的眼部特征点是否发生变化;及若是,则确定眼部眨眼。
具体地,处理器30还会获取分别第一预定时长和第二预定时长内的连续多帧人像,从而根据第一预定时长内的多帧人像中的人脸除眼部以外的特征点位置坐标的差值,以确定人脸差异的大小,并根据第二预定时长内的多帧人像中的眼部特征点是否发生变化,以确定眼部是否眨眼。
其中,人脸状态的异常为可以是用户在操作终端100时,因外界因素导致的表情异常。由于人脸在表情发生变化时,人脸除眼部以外的特征点,则会发生位置变化,因此,通过检测人脸除眼部以外的特征点的位置坐标是否发生较大变化,则可判断人脸状态是否异常。第二预定时长可以大于第一预定时长,也可以小于第一预定时长,还可以等于第一预定时长。第二预定时长还需大于人自然眨眼时长,如人自然眨眼一次时长为0.2秒至0.4秒,则第二预定时长需大于0.4秒。在本申请实施方式中的控制音量的方法中,第一预定时长与第二预定时长相同,即在大于人自然眨眼时长的情况下,以获取多帧人像,从而判断人脸状态是否异常和眼部是否眨眼。
例如,第一预定时长为1秒,处理器30在1秒内获取得到5帧人像,此时,由于每帧人像的坐标系是一致的,则可通过对比5帧人像中任意两帧人像中的人脸除眼部以外的特征点的位置坐标,以得到坐标差值。如鼻子特征点的位置坐标,嘴部特征点的位置坐标,眉部特征点的位置坐标。
其中,任意两帧人像可以是第1帧人像和第2帧人像中的人脸除眼部以外的特征点的位置坐标的差值,又如第1帧人脸图像和第5帧人脸图像中的人脸除眼部以外的特征点的位置坐标的差值,还如第2帧人脸图像和第4帧人脸图像中的人脸除眼部以外的特征点的位置坐标的差值等。
接下来,处理器30可根据位置坐标的差值,以得出任意两帧人像除眼部以外的特征点是否发生了变化,即差异。处理器30再根据比较位置坐标的差值和预定差值的大小,以确定人脸差异的大小。例如,预设差值为(1,1),即允许任意两帧人像中的人脸除眼部以外的特征点(如嘴部特征点、鼻部特征点和眉部特征点)在X轴和Y轴上位置发生变化的最大距离为1个像素。则当任意两帧人像中的人脸除眼部以外的特征点的位置坐标的差值大于预设差值时,则说明人脸状态异常;当任意两帧人像中的人脸除眼部以外的特征点的位置坐标的差值小于预设差值时,则说明人脸状态正常。
需要说明的是,当任意两帧人像中的人脸除眼部以外的特征点的位置坐标的差值为负数时,处理器30比较的是该置坐标X坐标和Y坐标的绝对值与预设差值的大小关系。
在处理器30判断人脸状态是否正常的同时,处理器30还会判断任意两帧人像中的人脸的眼部特征点是否发生变化。其中,眼部特征点包括并不限于眼部的上眼睑的特征点、下眼睑的特征点及眼角的特征点。而当处理器30判断任意两帧人像中的人脸的眼部特征点发生变化时,此时则说明眼部眨眼。
需要说明的是,处理器30在判断任意两帧人像中的人脸的眼部特征点是否发生变化时,并不是判断人脸的眼部特征点的位置坐标是否发生变化,而是对比任意两帧人像的眼部特征点在图像表现上是否发生变化,即眼部是否由睁眼变成闭眼,或眼部是否由闭眼变为睁眼。
在某些实施方式中,处理器30可以同时确定人脸状态是否异常及眼部是否眨眼的工作;处理器30也可以先确定人脸状态是否异常的工作,再确定眼部是否眨眼的工作;处理器30还可以先确定眼部是否眨眼的工作,再确定人脸状态是否异常的工作。
当处理器30同时确定人脸状态是否异常及眼部是否眨眼的工作时,则在满足人脸状态异常或眼部未眨眼的其中一种时,处理器30则不会调整终端100的音量。当处理器30分先后确定人脸状态是否异常及眼部是否眨眼的工作时,则在先确定的工作不满足条件时,处理器30便不会再进行后续的工作。例如,处理器30先确定人脸状态异常后,处理器30则不会再去确定眼部是否眨眼的工作。
请参阅图2、图3和图5,本申请实施方式的控制音量的方法,步骤01还可包括步骤:
017:获取第三预定时长内的连续多帧人像;
018:判断连续多帧人像中,人脸的角度是否均小于预定角度;及
019:若是,则确定人脸的角度有效。
在某些实施方式中,确定模块11用于执行步骤017、步骤018和步骤019。即确定模块11用于获取第三预定时长内的连续多帧人像;判断连续多帧人像中,人脸的角度是否均小于预定角度;及若是,则确定人脸的角度有效。
在某些实施方式中,处理器30用于执行步骤017、步骤018和步骤019。即处理器30用于获取第三预定时长内的连续多帧人像;判断连续多帧人像中,人脸的角度是否均小于预定角度;及若是,则确定人脸的角度有效。
具体地,处理器30会获取第三预定时长内的连续多帧人脸图像,并通过判断连续多帧人像中,人脸的角度是否均小于预设角度,以确定人脸的角度是否有效。同样的,第三预定时长可大于第一预定时长或第二预定时长,第三预定时长也可等于第一预定时长或第二预定时长,第三预定时长还可小于第一预定时长或第二预定时长。
更具体地,为了保证不会出现误操作(即在用户不需要调整终端100的播放音量时,而调整了播放音量)的情况出现,处理器30可预先设定有预设角度阈值,当人脸的角度小于预设角度阈值时,处理器30才会根据眼部特征信息,以调整终端100的音量。其中,预设角度阈值为包含有方位的具体角度。
例如,预设角度阈值可以为70度,则说明人脸相对于终端100,左侧头、右侧头、抬头及低头的角度阈值为60度,若处理器30获取10帧人像,处理器30则分别判断这5帧人像中人脸的角度是否小于60度,即用户与终端100在各个方位的夹角是否小于60度,如人脸相对于终端100为左侧头时,处理器30判断用户在左侧头时的角度是否小于60度,并在小于60度时,以确定人脸的角度有效,此时,则说明用户是需要调整终端100的音量的。
请参阅图2、图3和图6,本申请实施方式的控制音量的方法,还包括步骤:
04:接收录入人像操作,以设置多个不同用户的人脸的优先级;及
05:获取人像中,优先级最高的人脸的第一人脸信息,以作为目标人像信息。
在某些实施方式中,音量调节装置还包括设置模块14,设置模块14用于执行步骤04和步骤05。即设置模块14用于接收录入人像操作,以设置多个不同用户的人脸的优先级;及获取人像中,优先级最高的人脸的第一人脸信息,以作为目标人像信息。
在某些实施方式中,处理器30用于执行步骤04和步骤05。即处理器30用于接收录入人像操作,以设置多个不同用户的人脸的优先级;及获取人像中,优先级最高的人脸的第一人脸信息,以作为目标人像信息。
具体地,在处理器30获取连续多帧人像中的目标人像信息前,多个用户可在终端100内录入自身的人脸信息,处理器30则可接收录入人像操作,即接收到多个用户的人脸信息。
接下来,终端100的机主可通过终端100设置多个不同用户的人脸的优先级,例如,终端100机主录入了包括自身的人脸在内的3个用户的人脸,终端100的机主则可将自身的人脸设置为第一优先级,剩下两个用户的人脸分别设置为第二优先级和第三优先级。
在设置好多个用户的人脸的优先级后,处理器30则可根据获取到的人像中,优先级最高的人脸的第一人脸信息,以作为目标人脸信息。
例如,终端100的共设置有三个优先级的人脸,分别为第一优先级的人脸、第二优先级的人脸和第三优先级的人脸。则当处理器30获取到连续多帧人像后,处理器30会先找第一优先级的人脸,若没有第一优先级的人脸,则接着找第二优先级的人脸,若没有第二优先级的人脸,则再去找第三优先级的人脸。需要说明的是,若人像中同时包含第一优先级的人脸、第二优先级的人脸和第三优先级的人脸,则处理器30会选取第一优先级(即优先级最高)的人脸的第一人脸信息,以作为目标人像信息。若人像中均不包含第一优先级的人脸、第二优先级的人脸和第三优先级的人脸,则说明该连续多帧的人像无效,处理器30不会执行本申请实施方式的控制音量的方法。
由此,处理器30仅会为终端100的机主,提供调节音量的工作,以避免获取的多帧人像中包含有其他人脸时,出现其他人脸影响处理器30判断是否调节音量的准确性的情况,从而保证处理器30执行调节音量任务的准确性。
请参阅图2、图3和图7,在某些实施方式中,步骤05:获取人脸图像中,优先级最高的人脸的第一人脸信息,以作为目标人脸信息,还包括步骤:
051:识别人像中的一个或多个人脸的第二人脸信息;
052:将一个或多个第二人脸信息与预设的人脸库中的预存人脸信息进行比对,以获取与预存人脸信息匹配的第二人脸信息,作为第一人脸信息;及
053:获取人脸中优先级最高的第一人脸信息,以作为目标人像信息。
在某些实施方式中,设置模块14用于执行步骤051、步骤052及步骤053。即设置模块14用于识别人像中的一个或多个人脸的第二人脸信息;将一个或多个第二人脸信息与预设的人脸库中的预存人脸信息进行比对,以获取与预存人脸信息匹配的第二人脸信息,作为第一人脸信息;及获取人脸中优先级最高的第一人脸信息,以作为目标人像信息。
在某些实施方式中,处理器30用于执行步骤051、步骤052及步骤053。即处理器30用于识别人像中的一个或多个人脸的第二人脸信息;将一个或多个第二人脸信息与预设的人脸库中的预存人脸信息进行比对,以获取与预存人脸信息匹配的第二人脸信息,作为第一人脸信息;及获取人脸中优先级最高的第一人脸信息,以作为目标人像信息。
具体地,处理器30在获取人像中,优先级最高的人脸的第一人脸信息的前,终端100内可设置有预设的人脸库,该预设的人脸库中包含有预存人脸信息。在处理器30获取到多帧人像后,处理器30则可识别出人像中所有人脸的人脸信息,并将所有的人脸信息作为第二人脸信息。需要说明的是,当人像中包含有多个人脸时,处理器30则可获取多个第二人脸信息。
其中,预设的人脸库中的预存人脸信息可以是根据不同的用户在不同光照条件下的人像生成的,也可以是根据不同的用户在不同的拍摄角度下的人像生成的。
由此,在用户需要调整终端100的播放音量时,处理器30可以提醒用户在与预存人脸信息相同的光照条件下进行操作,或处理器30可以提醒用户在与预存人脸信息相同的拍摄角度下进行操作,从而保证调节音量的准确性。
接下来,处理器30则可将第二人脸信息与预存人脸信息进行比对,从而找到与预存人脸信息匹配(即一致)的第二人脸信息,并将该第二人脸信息作为第一人脸信息。当处理器30对比得到多个预存人脸信息匹配的第二人脸信息时,则可得到多个第一人脸信息。
最后,处理器30则可根据不同的人脸的优先级,以找出多个第一人脸信息中优先级最高的第一人脸信息,以作为目标人脸信息。即处理器30仅会针对优先级最高的第一人脸信息,进行确定人脸的角度是否有效、人脸差异大小及眼部是否眨眼的工作,并根据优先级最高的第一人脸信息作为目标人脸信息,以获取人脸的眼部特征信息,从而执行调节音量的工作。
请参阅图8至图10,在某些实施方式中,步骤03:根据眼部特征信息调节终端100的音量,还包括步骤:
031:根据左眼特征信息调节终端100的音量;和/或
032:根据右眼特征信息调节终端100的音量;和/或
033:根据左眼特征信息、右眼特征信息及眼部闭合时长,以调节终端100的音量。
更具体地,请参阅图11至图13,步骤031:根据左眼特征信息调节终端100的音量,包括步骤:
0311:根据左眼特征信息确定左眼是否眨眼;
0312:在左眼眨眼时,增大终端100的音量;
步骤032:根据右眼特征信息调节终端100的音量,包括步骤:
0321:根据右眼特征信息确定右眼是否眨眼;
0322:在右眼眨眼时,减小终端100的音量;
步骤033:根据左眼特征信息、右眼特征信息及眼部闭合时长,以调节终端100的音量,包括步骤:
0331:根据左眼特征信息、右眼特征信息确定左眼和右眼是否同时眨眼;
0332:在左眼和右眼同时眨眼,且闭眼时长大于预设时长时,快速增大或缩小终端100的音量。
请参阅图2,在某些实施方式中,调节模块13用于执行步骤031、步骤032、步骤033、步骤0311、步骤0312、步骤0321、步骤0322、步骤0331和步骤0332。即调节模块13用于根据左眼特征信息调节终端100的音量;和/或根据右眼特征信息调节终端100的音量;和/或根据左眼特征信息、右眼特征信息及眼部闭合时长,以调节终端100的音量;根据左眼特征信息确定左眼是否眨眼;在左眼眨眼时,增大终端100的音量;根据右眼特征信息确定右眼是否眨眼;在右眼眨眼时,减小终端100的音量;根据左眼特征信息、右眼特征信息确定左眼和右眼是否同时眨眼;在左眼和右眼同时眨眼,且闭眼时长大于预设时长时,快速增大或缩小终端100的音量。
请参阅图3,在某些实施方式中,处理器30用于执行步骤031、步骤032、步骤033、步骤0311、步骤0312、步骤0321、步骤0322、步骤0331和步骤0332。即处理器30用于根据左眼特征信息调节终端100的音量;和/或根据右眼特征信息调节终端100的音量;和/或根据左眼特征信息、右眼特征信息及眼部闭合时长,以调节终端100的音量;根据左眼特征信息确定左眼是否眨眼;在左眼眨眼时,增大终端100的音量;根据右眼特征信息确定右眼是否眨眼;在右眼眨眼时,减小终端100的音量;根据左眼特征信息、右眼特征信息确定左眼和右眼是否同时眨眼;在左眼和右眼同时眨眼,且闭眼时长大于预设时长时,快速增大或缩小终端100的音量。
具体地,在处理器30根据眼部特征信息以调节终端100的音量时,由于眼部特征信息可具体细分为左眼特征信息和右眼特征信息,因此,处理器30可根据不同的眼部特征信息,以做出不同的调节音量的方式。其中,左眼特征信息和右眼特征信息还可包括有眼睛闭合的具体时长。
更具体地,在处理器30根据眼部特征信息确定眼部是否眨眼时,可分别根据左眼特征信息和右眼特征信息中的眼部特征点是否发生变化,以确定眼部是否眨眼。例如,当处理器30判断左眼特征信息中的眼部特征点发生变化时,则处理器30确定左眼眨眼。又例如,当处理器30判断右眼特征信息中的眼部特征点发生变化时,则处理器30确定右眼眨眼。还例如,当处理器30判断左眼特征信息和右眼特征信息中的眼部特征点均发生变化时,则处理器30确定左眼和右眼均眨眼。
在一个实施方式中,处理器30可根据左眼特征信息以调节终端100的音量,具体地,当处理器30确定眼部是否眨眼时,可以是确定左眼是否眨眼,并在左眼眨眼时,处理器30进行调节终端100的音量的工作。例如,在左眼发生闭合时,处理器30控制终端100增大音量。又例如,在左眼发生闭合,且闭合时长大于等于2秒时,处理器30控制终端100快速增大音量。
在另一个实施方式中,处理器30可根据右眼特征信息以调节终端100的音量,具体地,当处理器30确定眼部是否眨眼时,可以是确定右眼是否眨眼,并在右眼眨眼时,处理器30进行调节终端100的音量的工作。例如,在右眼发生闭合时,处理器30控制终端100减小音量。又例如,在右眼发生闭合,且闭合时长大于等于2秒时,处理器30控制终端100快速减小音量。
在还一个实施方式中,处理器30可根据左眼特征信息、右眼特征信息和闭合时长,以调节终端100的音量,具体地,当处理器30确定眼部眨眼后,处理器30还会对眼部闭合时长进行计时,从而根据眼部眨眼动作及闭合时长,以对终端100的音量的进行调节。例如,在左眼和右眼发生闭合时,且闭合时长大于等于2秒时,处理器30判断用户睡着,可控制终端100快速减小音量,以防止吵醒用户,还可控制终端100快速增大音量,已提醒用户收好终端100或关闭终端100。又例如,在左眼和右眼发生闭合时,且闭合时长小于2秒时,处理器30还可控制终端100停止播放。
需要说明的是,处理器30可提前设定好闭合时长的预定时长(并不限于上述实施方式中的2秒),处理器30可根据判断眼部特征信息中的闭合时长是否大于预定时长,以实现对终端100的音量调节的不同控制。例如,当左眼和右眼同时眨眼,且闭合时长大于预定时长时,则处理器30控制终端100的音量快速增大或缩小。又例如,当左眼和右眼同时眨眼,但闭合时长小于预定时长时,则处理器30控制终端100停止播放音频。
请参阅图12,本申请实施方式还提供一种包含计算机程序201的非易失性计算机可读存储介质200。当计算机程序201被一个或多个处理器30执行时,使得一个或多个处理器30执行上述任一实施方式的控制音量的方法。
例如,计算机程序201被一个或多个处理器30执行时,使得处理器30执行以下控制音量的方法:
01:根据多帧人像中的目标人像信息,确定多帧人像中的人脸状态是否正常及眼部是否眨眼;
02:识别目标人像信息中的眼部特征信息;及
03:在人脸状态正常且眼部眨眼时,根据眼部特征信息调节终端的音量。
又例如,计算机程序201被一个或多个处理器30执行时,使得处理器30执行以下控制音量的方法:
011:获取第二预定时长内的连续多帧人像;
012:判断连续多帧人像中,任意两帧人像中的人脸除眼部以外的特征点的位置坐标的差值是否小于预定差值;
013:若是,则确定所述人脸状态正常;
014:获取第二预定时长内的连续多帧人像;
015:判断连续多帧所述人像中,任意两帧人像中的人脸的眼部特征点是否发生变化;及
016:若是,则确定眼部眨眼。
又例如,计算机程序201被一个或多个处理器30执行时,使得处理器30执行以下控制音量的方法:
017:获取第三预定时长内的连续多帧人像;
018:判断连续多帧人像中,人脸的角度是否均小于预定角度;及
019:若是,则确定人脸的角度有效。
又例如,计算机程序201被一个或多个处理器30执行时,使得处理器30执行以下控制音量的方法:
04:接收录入人像操作,以设置多个不同用户的人脸的优先级;及
05:获取人像中,优先级最高的人脸的第一人脸信息,以作为目标人像信息。
又例如,计算机程序201被一个或多个处理器30执行时,使得处理器30执行以下控制音量的方法:
051:识别人像中的一个或多个人脸的第二人脸信息;
052:将一个或多个第二人脸信息与预设的人脸库中的预存人脸信息进行比对,以获取与预存人脸信息匹配的第二人脸信息,作为第一人脸信息;及
053:获取人脸中优先级最高的第一人脸信息,以作为目标人像信息。
再例如,计算机程序201被一个或多个处理器30执行时,使得处理器30执行以下控制音量的方法:
031:根据左眼特征信息调节终端100的音量;和/或
032:根据右眼特征信息调节终端100的音量;和/或
033:根据左眼特征信息、右眼特征信息及眼部闭合时长,以调节终端100的音量。
还例如,计算机程序201被一个或多个处理器30执行时,使得处理器30执行以下控制音量的方法:
0311:根据左眼特征信息确定左眼是否眨眼;
0312:在左眼眨眼时,增大终端100的音量;
0321:根据右眼特征信息确定右眼是否眨眼;
0322:在右眼眨眼时,减小终端100的音量;
0331:根据左眼特征信息、右眼特征信息确定左眼和右眼是否同时眨眼;
0332:在左眼和右眼同时眨眼,且闭眼时长大于预设时长时,快速增大或缩小终端100的音量。
在本说明书的描述中,参考术语“某些实施方式”、“一个例子中”、“示例地”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (11)
1.一种控制音量的方法,其特征在于,包括:
根据多帧人像中的目标人像信息,确定多帧所述人像中的人脸状态是否正常及眼部是否眨眼;
识别所述目标人像信息中的眼部特征信息;及
在所述人脸状态正常且眼部眨眼时,根据所述眼部特征信息调节终端的音量。
2.根据权利要求1所述的控制音量的方法,其特征在于,所述根据多帧人像中的目标人像信息,确定多帧所述人像中的人脸状态是否正常,包括:
获取第一预定时长内的连续多帧所述人像;
判断连续多帧所述人像中,任意两帧所述人像中的人脸除眼部以外的特征点的位置坐标的差值是否小于预定差值;
若是,则确定所述人脸状态正常。
3.根据权利要求1所述的控制音量的方法,其特征在于,所述根据多帧人像中的目标人像信息,确定多帧所述人像中的眼部是否眨眼,包括:
获取第二预定时长内的连续多帧所述人像;
判断连续多帧所述人像中,任意两帧所述人像中的人脸的眼部特征点是否发生变化;
若是,则确定所述眼部眨眼。
4.根据权利要求1所述的控制音量的方法,其特征在于,在所述根据多帧所述人像中的目标人像信息,确定多帧人像中的人脸的角度是否有效、所述人脸差异大小及所述眼部是否眨眼之前,还包括:
接收录入人像操作,以设置多个不同用户的所述人脸的优先级;及
获取所述人像中,所述优先级最高的所述人脸的第一人脸信息,以作为所述目标人像信息。
5.根据权利要求4所述的控制音量的方法,其特征在于,所述获取所述人像中,所述优先级最高的所述人脸的第一人脸信息,以作为所述目标人像信息,包括:
识别所述人像中的一个或多个所述人脸的所述第二人脸信息;
将一个或多个所述第二人脸信息与预设的人脸库中的预存人脸信息进行比对,以获取与所述预存人脸信息匹配的所述第二人脸信息,作为所述第一人脸信息;
获取所述人脸中所述优先级最高的所述第一人脸信息,以作为所述目标人像信息。
6.根据权利要求5所述的控制音量的方法,其特征在于,所述预存人脸信息根据不同所述用户在不同光照强度条件下的所述人像生成。
7.根据权利要求1所述的控制音量的方法,其特征在于,所述眼部特征包括左眼特征信息和右眼特征信息,根据所述眼部特征信息调节终端的音量,包括:
根据所述左眼特征信息调节所述终端的音量;和/或
根据所述右眼特征信息调节所述终端的音量;和/或
根据所述左眼特征信息、所述右眼特征信息及眼部闭合时长,以调节所述终端的音量。
8.根据权利要求7所述的控制音量的方法,其特征在于,所述根据所述左眼特征信息调节所述终端的音量,包括:
根据所述左眼特征信息确定左眼是否眨眼;
在所述左眼眨眼时,增大所述终端的音量;
所述根据所述右眼特征信息调节所述终端的音量,包括:
根据所述右眼特征信息确定右眼是否眨眼;
在所述右眼眨眼时,减小所述终端的音量;
根据所述左眼特征信息、所述右眼特征信息及眼部闭合时长,以调节所述终端的音量,包括:
根据所述左眼特征信息、所述右眼特征信息确定左眼和右眼是否同时眨眼;
在所述左眼和所述右眼同时眨眼,且闭眼时长大于预设时长时,快速增大或缩小所述终端的音量。
9.一种控制音量的装置,其特征在于,包括:
确定模块,所述确定模块用于根据多帧人像中的目标人像信息,确定多帧所述人像中的人脸状态是否正常及眼部是否眨眼;
识别模块,所述识别模块用于识别所述目标人像信息中的眼部特征信息;及
调节模块,所述调节模块用于在所述人脸状态正常且眼部眨眼时,根据所述眼部特征信息调节终端的音量。
10.一种终端,其特征在于,包括处理器,所述处理器用于:
根据多帧人像中的目标人像信息,确定多帧所述人像中的人脸状态是否正常及眼部是否眨眼;
识别所述目标人像信息中的眼部特征信息;及
在所述人脸状态正常且眼部眨眼时,根据所述眼部特征信息调节终端的音量。
11.一种包括计算机程序的非易失性计算机可读存储介质,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1-8任意一项所述的控制音量的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111087304.2A CN113760097A (zh) | 2021-09-16 | 2021-09-16 | 控制音量的方法及装置、终端及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111087304.2A CN113760097A (zh) | 2021-09-16 | 2021-09-16 | 控制音量的方法及装置、终端及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113760097A true CN113760097A (zh) | 2021-12-07 |
Family
ID=78796012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111087304.2A Withdrawn CN113760097A (zh) | 2021-09-16 | 2021-09-16 | 控制音量的方法及装置、终端及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113760097A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105430262A (zh) * | 2015-11-17 | 2016-03-23 | 小米科技有限责任公司 | 拍摄控制方法及装置 |
CN106681503A (zh) * | 2016-12-19 | 2017-05-17 | 惠科股份有限公司 | 一种显示控制方法、终端及显示装置 |
CN106886290A (zh) * | 2017-04-08 | 2017-06-23 | 闲客智能(深圳)科技有限公司 | 一种眼动控制方法及装置 |
CN109166579A (zh) * | 2018-09-04 | 2019-01-08 | 广州市果豆科技有限责任公司 | 一种结合人脸信息的语音控制方法及系统 |
CN110705454A (zh) * | 2019-09-29 | 2020-01-17 | 东华大学 | 一种具有活体检测功能的人脸识别方法 |
CN111006679A (zh) * | 2018-10-05 | 2020-04-14 | 现代自动车株式会社 | 注视检测装置及其拥塞控制方法 |
CN113283318A (zh) * | 2021-05-13 | 2021-08-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
-
2021
- 2021-09-16 CN CN202111087304.2A patent/CN113760097A/zh not_active Withdrawn
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105430262A (zh) * | 2015-11-17 | 2016-03-23 | 小米科技有限责任公司 | 拍摄控制方法及装置 |
CN106681503A (zh) * | 2016-12-19 | 2017-05-17 | 惠科股份有限公司 | 一种显示控制方法、终端及显示装置 |
CN106886290A (zh) * | 2017-04-08 | 2017-06-23 | 闲客智能(深圳)科技有限公司 | 一种眼动控制方法及装置 |
CN109166579A (zh) * | 2018-09-04 | 2019-01-08 | 广州市果豆科技有限责任公司 | 一种结合人脸信息的语音控制方法及系统 |
CN111006679A (zh) * | 2018-10-05 | 2020-04-14 | 现代自动车株式会社 | 注视检测装置及其拥塞控制方法 |
CN110705454A (zh) * | 2019-09-29 | 2020-01-17 | 东华大学 | 一种具有活体检测功能的人脸识别方法 |
CN113283318A (zh) * | 2021-05-13 | 2021-08-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103945121B (zh) | 一种信息处理方法及电子设备 | |
WO2017161867A1 (zh) | 一种调节屏幕亮度的方法、装置及智能终端 | |
EP3143545B1 (en) | Electronic device with method for controlling access to the same | |
US8957943B2 (en) | Gaze direction adjustment for video calls and meetings | |
US10083710B2 (en) | Voice control system, voice control method, and computer readable medium | |
CN105353875B (zh) | 调节屏幕可视区域的方法和装置 | |
KR102334212B1 (ko) | 3d 이미지를 디스플레이하는 방법 및 이를 위한 장치 | |
US10380420B2 (en) | Electronic device and screen adjusting method based on condition of user's eye | |
KR100926978B1 (ko) | 영상 수집 제어 방법 및 장치 | |
TWI571860B (zh) | 字體調整系統及方法 | |
JP2017534090A (ja) | 顔認識方法、装置及び端末 | |
EP3761627B1 (en) | Image processing method and apparatus | |
CN108986019A (zh) | 肤色调整方法及装置、电子设备、机器可读存储介质 | |
CN105072327A (zh) | 一种防闭眼的人像拍摄处理的方法和装置 | |
CN104754219A (zh) | 一种终端 | |
CN110602379A (zh) | 一种拍摄证件照的方法、装置、设备及存储介质 | |
CN110211549A (zh) | 一种屏幕亮度调整方法、装置、终端及存储介质 | |
US11322113B2 (en) | Techniques for eye fatigue mitigation | |
US10842430B1 (en) | Eye fatigue detection using visual imaging | |
CN105554389A (zh) | 拍摄方法及装置 | |
CN104754220A (zh) | 一种拍摄的方法 | |
CN106941588B (zh) | 一种数据处理方法及电子设备 | |
CN105827943A (zh) | 一种人眼的自拍方法及电子设备 | |
CN104883509A (zh) | 一种使用闪光灯拍摄的方法及终端 | |
CN110731076A (zh) | 一种拍摄处理方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211207 |
|
WW01 | Invention patent application withdrawn after publication |