CN107015745A - 屏幕操作方法、装置、终端设备及计算机可读存储介质 - Google Patents
屏幕操作方法、装置、终端设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN107015745A CN107015745A CN201710356887.1A CN201710356887A CN107015745A CN 107015745 A CN107015745 A CN 107015745A CN 201710356887 A CN201710356887 A CN 201710356887A CN 107015745 A CN107015745 A CN 107015745A
- Authority
- CN
- China
- Prior art keywords
- contour curve
- eyebrow
- screen
- default
- matching similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000003860 storage Methods 0.000 title claims description 9
- 210000004709 eyebrow Anatomy 0.000 claims abstract description 124
- 230000001815 facial effect Effects 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 20
- 238000011017 operating method Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 18
- 238000011088 calibration curve Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000000926 separation method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000011946 reduction process Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 241000256844 Apis mellifera Species 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于技术领域,提供了一种屏幕操作方法及装置,包括:获取人脸图像,基于所述人脸图像进行图像识别,定位眉毛,获取所述眉毛的轮廓曲线信息,计算获取的轮廓曲线信息与预设轮廓曲线的匹配相似度,其中,存在至少两种预设轮廓曲线,每一种预设轮廓曲线对应一种屏幕操作,根据计算的匹配相似度及其对应的预设轮廓曲线,进行对应的屏幕操作。通过上述方法能够实现自适应解锁屏,提高终端操作效率。
Description
技术领域
本发明属于终端技术领域,尤其涉及一种屏幕操作方法、装置、终端设备及计算机可读存储介质。
背景技术
随着科技、生活水平的提高,智能移动设备越来越普及。广义的说,智能移动设备包括智能手机、智能平板、笔记本电脑,甚至还包括车载电脑。智能移动设备的种类、功能越来越多,人们对于智能移动设备的依赖性越来越强。在智能移动设备的使用过程成,每天唤醒屏幕和息屏操作的频次相当高。目前,主流的唤醒屏幕、息屏方法包括按物理按键唤醒方式、触屏唤醒方式、指纹识别唤醒以及第三方的一键息屏APP,这些唤醒屏幕、息屏方法主要有以下不足:均需要依赖于用户手的操作,而且,物理按键使用寿命有限,触摸屏唤醒则要求触摸IC(触摸集成电路)时刻处于工作状态。当用户双手都拿了东西或者双手很脏不便于触碰手机时,若此时想看看时间或者新收到的信息,采用现有的依赖于手指操作的唤醒方式并不方便。因此,现有的屏幕唤醒方式不够方便快捷,导致了用户操作智能终端效率较低。
发明内容
有鉴于此,本发明实施例提供了一种屏幕操作方法及装置,以解决现有技术中屏幕操作方式不够方便快捷,从而导致用户操作智能终端效率较低的问题。
本发明实施例的第一方面提供了一种屏幕操作方法,所述屏幕操作方法包括:
获取人脸图像;
基于所述人脸图像进行图像识别,定位眉毛;
获取所述眉毛的轮廓曲线信息;
计算获取的轮廓曲线信息与预设轮廓曲线的匹配相似度,其中,存在至少两种预设轮廓曲线,每一种预设轮廓曲线对应一种屏幕操作;
根据计算的匹配相似度及其对应的预设轮廓曲线,进行对应的屏幕操作。
本发明实施例的第二方面提供了一种屏幕操作装置,所述屏幕操作装置包括:
图像获取单元,用于获取人脸图像;
定位单元,用于基于所述人脸图像进行图像识别,定位眉毛;
眉毛轮廓获取单元,用于获取所述眉毛的轮廓曲线信息;
相似度计算单元,用于计算获取的轮廓曲线信息与预设轮廓曲线的匹配相似度,其中,存在至少两种预设轮廓曲线,每一种预设轮廓曲线对应一种屏幕操作;
第一屏幕操作单元,用于根据计算的匹配相似度及其对应的预设轮廓曲线,进行对应的屏幕操作。
本发明实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本发明实施例的第一方面所述屏幕操作方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如本发明实施例的第一方面所述屏幕操作方法的步骤。
本发明实施例与现有技术相比存在的有益效果是:本发明实施例通过获取人脸图像,并基于所述人脸图像进行图像识别,定位眉毛,然后获取所述眉毛的轮廓曲线信息,计算获取的轮廓曲线信息与预设轮廓曲线的匹配相似度,其中,存在至少两种预设轮廓曲线,每一种预设轮廓曲线对应一种屏幕操作,最后根据计算的匹配相似度及其对应的预设轮廓曲线,进行对应的屏幕操作,实现无需使用手指即可自动对屏幕进行相应操作,方便用户进行屏幕解锁与锁屏,从而提高智能终端操作效率,提高用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种屏幕操作方法的实现流程图;
图2是本发明实施例提供的另一种屏幕操作方法的实现流程图;
图3是本发明实施例提供的一种屏幕操作装置的结构框图;
图4是本发明实施例提供的一种智能终端的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例一:
图1示出了本发明第一实施例提供的一种屏幕操作方法的流程图,详述如下:
步骤S101,获取人脸图像。
具体地,启动智能终端的前置摄像头,在所述前置摄像头拍摄范围内的拍摄图像。进一步地,采用指定频率拍摄图像。根据拍摄的图像,进行人脸识别,即在拍摄的图像上定位人脸,截取人脸部分的图像,从而获取人脸图像。
可选地,为准确获取人脸图像,所述步骤S101具体包括:
A1、启动前置摄像头进行图像采集,并在所采集的图像中定位人脸所在的区域。
A2、将所述人脸所在的区域的图像与所述人脸之外的背景图像分离,得到背景分离后的人脸的图像。
A3、将背景分离后的人脸的图像进行降噪处理,获取人脸图像。其中,可以采用采用中值滤波方法消除噪声点。
在本发明实施例中,可对获取的人脸图像采用图像处理技术,将人脸与人脸之外的背景图像分离,并进行降噪处理,以使得获取的人脸图像更清楚准确。
步骤S102,基于所述人脸图像进行图像识别,定位眉毛。
其中,眉毛包括眉头和眉尾,且所述眉毛包括第一眉毛与第二眉毛,所述第一眉毛包括第一眉头与第一眉尾,所述第二眉毛包括第二眉头与第二眉尾。具体地,根据步骤S101所获取的人脸图像进行图像识别处理,定位人脸中的眉毛。
步骤S103,获取所述眉毛的轮廓曲线信息。
在本发明实施例中,用户的双眉毛可以有多种状态,例如,当用户瞪大双眼紧盯着屏幕时,眉尾会往上挑,眉头往下,此时,双眉毛呈现倒八字状态;当用户双眼疲劳,甚至双眼合上睡着时,眉尾会下垂,此时,双眉呈现正八字状态;当双眼放松时,眉毛附着的肌肉也处于放松状态,此时,双眉呈现自然状态。即,当双眉处于不同状态时,眉毛轮廓也会产生变化。当然,用户还可以通过自主的眼部肌肉运动,使得眉毛状态发生变化。
可选地,在本发明实施例中,为获取眉毛的轮廓曲线信息,所述步骤S103包括:
B1、在所述人脸图像上建立直角坐标系。
B2、基于所述直角坐标系,分别获取眉头坐标与眉尾坐标。
B3、基于所述眉头坐标与所述眉尾坐标,获取眉毛轮廓曲线信息。具体地,通过眉头与眉尾的连线,获取眉毛的轮廓曲线信息。
步骤S104,计算获取的轮廓曲线信息与预设轮廓曲线的匹配相似度,其中,存在至少两种预设轮廓曲线,每一种预设轮廓曲线对应一种屏幕操作。
具体地,在本发明实施例中,包括至少两种预设轮廓曲线,例如,正八字状态眉毛的轮廓曲线和倒八字状态眉毛的轮廓曲线。其中,每一种预设轮廓曲线对应一种屏幕操作。例如,正八字状态眉毛的轮廓曲线对应锁屏操作,倒八字状态眉毛的轮廓曲线对应解锁状态。预设轮廓曲线还包括自然舒展状态眉毛的轮廓曲线,该种轮廓曲线可以对应不对屏幕进行操作。将步骤S103中获取的所述眉毛的轮廓曲线信息,与每一种预设轮廓曲线信息进行匹配,计算匹配相似度。
可选地,为了能够提高匹配的精确性,所述步骤S104,包括:
C1、根据所述眉毛的轮廓曲线信息,计算所述眉毛的倾斜角度。在本发明实施例中,当眉毛处于不同状态时,即,眉毛的轮廓曲线不同时,眉毛的倾斜角度不同,具体地,所述步骤C1包括:
C11、在所述人脸图像上建立直角坐标系。
C12、基于所述直角坐标系,分别获取眉头坐标与眉尾坐标。进一步地,分别获取第一眉头与第一眉尾的坐标,以及第二眉头与第二眉尾的坐标。
C13、基于所述眉头坐标与所述眉尾坐标,计算所述眉毛的倾斜角度。进一步地,基于所述第一眉头的坐标与所述第一眉尾的坐标,计算第一眉毛的倾斜角度,基于所述第二眉头的坐标与所述第二眉尾的坐标,计算第二眉毛的倾斜角度。
C2、根据所述眉毛的倾斜角度与所述预设轮廓曲线中的倾斜角度,计算匹配相似度。
本发明实施例中,不同状态下眉毛轮廓曲线的倾斜角度不同。例如,正八字状态时,第一眉毛的倾斜角度为10°,第二眉毛的倾斜角度为-10°,倒八字状态时,第一眉毛的倾斜角度为-12°,第二眉毛的倾斜角度为12°。因此,需要计算当前眉毛的倾斜角度与每一种预设轮廓曲线中的倾斜角度的匹配相似度,从而方便判断将对屏幕进行何种操作。
步骤S105根据计算的匹配相似度及其对应的预设轮廓曲线,进行对应的屏幕操作。
其中,所述步骤S105具体包括:
D1、比较所述眉毛的轮廓曲线信息与每一种预设轮廓曲线的匹配相似度,获取最高的匹配相似度对应的预设轮廓曲线。
D2、若匹配相似度最高的预设轮廓曲线为倒八字状态,则进行屏幕解锁操作。
D3、若匹配相似度最高的预设轮廓曲线为正八字状态,则进行屏幕锁屏操作。
D4、若匹配相似度最高的预设轮廓曲线为自然舒展状态,则维持屏幕当前状态。
在本发明实施例中,通过步骤S104计算当前眉毛的轮廓曲线信息与每一种预设轮廓曲线的匹配相似度,在步骤S105中,比较这几种匹配相似度,选取最高的匹配相似度对应的预设轮廓曲线,由于,每一种预设轮廓曲线对应一种屏幕操作,因此,在选最高的匹配相似度对应的预设轮廓曲线后,执行该预设轮廓曲线对应的屏幕操作,从而实现自动解锁、锁屏操作,解放用户双手,方便用户对智能终端的操作,提高智能终端的操作效率。
可选地,为进一步提高自动屏幕操作的准确性,在所述步骤S105之后,还包括:
E1、根据眉毛的轮廓曲线信息,计算所述轮廓曲线信息中,眉毛倾斜角度的角度变化值。其中,所述角度变化值是指定时间段内,当前眉毛倾斜角度与初始眉毛倾斜角度的差值。
E2、若所述角度变化值大于或等于预设倾斜角度变化阈值,则根据所述眉毛的当前轮廓曲线信息,进行对应的屏幕操作。例如,当用户在观看视频中,明明已经困乏想睡却强撑着半睁眼看,甚至可能观看中途睡着了,而此时,视频依然在播放,浪费了终端电量,因此,当检测到指定时间段内,眉毛倾斜角度的变化值大于预设锁屏倾斜角度变化值时,进行锁屏操作,对屏幕进行息屏处理,节省终端的电量。当检测到指定时间段内,眉毛倾斜角度的变化值大于预设解锁倾斜角度变化值时,进行屏幕解锁操作,唤醒屏幕,从而实现屏幕自动解锁和锁屏,方便用户的使用。
本发明第一实施例中,通过获取人脸图像,并基于所述人脸图像进行图像识别,定位眉毛,然后获取所述眉毛的轮廓曲线信息,计算获取的轮廓曲线信息与预设轮廓曲线的匹配相似度,其中,存在至少两种预设轮廓曲线,每一种预设轮廓曲线对应一种屏幕操作,具体地,可以通过根据轮廓曲线信息计算眉毛的倾斜角度,并根据倾斜角度计算获取的轮廓曲线信息与每一种预设轮廓曲线的匹配相似度,比较计算的匹配相似度,并根据匹配相似度对应的预设轮廓曲线,进行对应的屏幕操作,实现无需使用手指即可自动对屏幕进行相应操作,方便用户进行屏幕解锁与锁屏,从而提高智能终端操作效率,提高用户体验。
实施例二:
图2示出了本发明第一实施例提供的一种屏幕操作方法的流程图,详述如下:
步骤S201,获取人脸图像。
步骤S202,基于所述人脸图像进行图像识别,定位眉毛。
步骤S203,获取所述眉毛的轮廓曲线信息。
在本实施例中,步骤S201至步骤S203的具体步骤参见实施例一步骤S101至步骤S103,在此不再赘述。
步骤S204,基于所述人脸图像进行人脸识别认证。
具体地,在本发明实施例中,为保证用户的个人隐私,避免他人随意解锁用户的智能终端屏幕,对步骤S201获取的人脸图像进行人脸识别认证,即,将获取的人脸图像与终端预存的人脸图像进行匹配认证,以提高终端的安全性。
步骤S205,若认证通过,获取该人脸对应的预设轮廓曲线。
其中,若认证通过,则获取与通过认证的人脸所对应的预设轮廓曲线,其中,若终端预存不止一个用户的人脸,则每一个预存人脸对应一组预设轮廓曲线。
步骤S206,计算获取的轮廓曲线信息与通过人脸认证的用户所对应的预设轮廓曲线的匹配相似度,其中,存在至少两种预设轮廓曲线,每一种预设轮廓曲线对应一种屏幕操作。
在本实施例中,由于通过人脸认证的用户对于一组预设轮廓曲线,一组预设轮廓曲线包括至少两种预设轮廓曲线,每一种预设轮廓曲线对应一种屏幕操作。
因此,计算获取的轮廓曲线与通过人脸认证的用户所对应的一组预设轮廓曲线中,每一种预设轮廓曲线的匹配相似度。除此之外,所述步骤S206的具体步骤参见实施例一步骤S104,在此不再赘述。
步骤S207,根据计算的匹配相似度及其对应的预设轮廓曲线,进行对应的屏幕操作。
本实施例中,步骤S207的具体步骤参见实施例一步骤S105,在此不再赘述。
本发明第二实施例中,通过获取人脸图像,并基于所述人脸图像进行图像识别,定位眉毛,然后获取所述眉毛的轮廓曲线信息,在计算获取的轮廓曲线信息与预设轮廓曲线的匹配相似度之前进行人脸识别认证,若认证通过,则获取该人脸对应的预设轮廓曲线,其中,存在至少两种预设轮廓曲线,每一种预设轮廓曲线对应一种屏幕操作,最后根据计算的匹配相似度及其对应的预设轮廓曲线,进行对应的屏幕操作,实现无需使用手指即可自动对屏幕进行相应操作,方便用户进行屏幕解锁与锁屏,同时可提高用户智能终端的保密性,提高用户体验。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
实施例三:
对应于上文实施例所述的一种屏幕操作方法,图3示出了本发明实施例提供的一种屏幕操作装置的结构框图,该装置可应用于智能终端,该智能终端可以包括经无线接入网RAN与一个或多个核心网进行通信的用户设备,该用户设备可以是移动电话(或称为“蜂窝”电话)、具有移动设备的计算机等,例如,用户设备还可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置,它们与无线接入网交换语音和/或数据。又例如,该移动设备可以包括智能手机、平板电脑、个人数字助理PDA、销售终端POS或车载电脑等。为了便于说明,仅示出了与本发明实施例相关的部分。
参照图3,该屏幕操作装置包括:图像获取单元31,定位单元32,眉毛轮廓获取单元33,相似度计算单元34,第一屏幕操作单元35,其中:
图像获取单元31,用于获取人脸图像。
定位单元32,用于基于所述人脸图像进行图像识别,定位眉毛。
眉毛轮廓获取单元33,用于获取所述眉毛的轮廓曲线信息。
相似度计算单元34,用于计算获取的轮廓曲线信息与预设轮廓曲线的匹配相似度,其中,存在至少两种预设轮廓曲线,每一种预设轮廓曲线对应一种屏幕操作。
第一屏幕操作单元35,用于根据计算的匹配相似度及其对应的预设轮廓曲线,进行对应的屏幕操作。
可选地,为准确获取人脸图像,所述图像获取单元31具体包括:
图像采集模块,用于启动前置摄像头进行图像采集,并在所采集的图像中定位人脸所在的区域。
背景分离模块,用于将所述人脸所在的区域的图像与所述人脸之外的背景图像分离,得到背景分离后的人脸的图像。
噪声处理模块,用于将背景分离后的人脸的图像进行降噪处理,获取人脸图像。其中,可以采用采用中值滤波方法消除噪声点。
在本发明实施例中,可对获取的人脸图像采用图像处理技术,将人脸与人脸之外的背景图像分离,并进行降噪处理,以使得获取的人脸图像更清楚准确。
可选地,在本发明实施例中,为获取眉毛的轮廓曲线信息,所述眉毛轮廓获取单元33包括:
坐标系建立模块,用于在所述人脸图像上建立直角坐标系。
坐标获取模块,用于基于所述直角坐标系,分别获取眉头坐标与眉尾坐标。
轮廓获取模块,用于基于所述眉头坐标与所述眉尾坐标,获取眉毛轮廓曲线信息。具体地,通过眉头与眉尾的连线,获取眉毛的轮廓曲线信息。
可选地,本发明实施例中,所述屏幕操作装置还包括:
角度变化计算单元,用于根据眉毛的轮廓曲线信息,计算所述眉毛的倾斜角度的角度变化值。
第二屏幕操作单元,用于若所述角度变化值大于或等于预设倾斜角度变化阈值,则根据所述眉毛的当前轮廓曲线信息,进行对应的屏幕操作。
可选地,所述屏幕操作装置还包括:
人脸认证单元,用于基于所述人脸图像进行人脸识别认证。
预设轮廓获取单元,用于若认证通过,获取该人脸对应的预设轮廓曲线。
可选地,所述相似度计算单元34包括:
角度计算模块,用于根据所述眉毛的轮廓曲线信息,计算所述眉毛的倾斜角度;
相似度计算模块,用于根据所述眉毛的倾斜角度与所述预设轮廓曲线中的倾斜角度,计算匹配相似度。
可选地,所述第一屏幕操作单元包括:
相似度比较模块,用于比较所述眉毛的轮廓曲线信息与每一种预设轮廓曲线的匹配相似度,获取最高的匹配相似度对应的预设轮廓曲线;
第一操作模块,用于若匹配相似度最高的预设轮廓曲线为倒八字状态,则进行屏幕解锁操作;
第二操作模块,用于若匹配相似度最高的预设轮廓曲线为正八字状态,则进行屏幕锁屏操作;
第三操作模块,用于若匹配相似度最高的预设轮廓曲线为自然舒展状态,则维持屏幕当前状态。
本发明第三实施例中,通过获取人脸图像,并基于所述人脸图像进行图像识别,定位眉毛,然后获取所述眉毛的轮廓曲线信息,在计算获取的轮廓曲线信息与预设轮廓曲线的匹配相似度之前进行人脸识别认证,若认证通过,则获取该人脸对应的预设轮廓曲线,其中,存在至少两种预设轮廓曲线,每一种预设轮廓曲线对应一种屏幕操作,最后根据计算的匹配相似度及其对应的预设轮廓曲线,进行对应的屏幕操作,实现无需使用手指即可自动对屏幕进行相应操作,方便用户进行屏幕解锁与锁屏的,同时可提高用户智能终端的保密性,提高用户体验。
实施例四:
图4是本发明第四实施例提供的终端设备的示意图。如图4所示,该实施例的终端设备4包括:处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42,例如屏幕操作程序。所述处理器40执行所述计算机程序42时实现上述方法实施例中各个屏幕操作方法实施例中的步骤,例如图1所示的步骤S101至步骤S105,或者如图2所示的步骤S201至步骤S207。或者,所述处理器40执行所述计算机程序42时实现上述装置实施例中各模块/单元的功能,例如图3所示单元31至单元35的功能。
示例性的,所述计算机程序42可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器41中,并由所述处理器40执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序42在所述终端设备4中的执行过程。例如,所述计算机程序42可以被分割成图像获取单元、定位单元、眉毛轮廓获取单元、相似度计算单元以及第一屏幕操作单元,各单元具体功能如下:
图像获取单元,用于获取人脸图像。
定位单元,用于基于所述人脸图像进行图像识别,定位眉毛。
眉毛轮廓获取单元,用于获取所述眉毛的轮廓曲线信息。
相似度计算单元,用于计算获取的轮廓曲线信息与预设轮廓曲线的匹配相似度,其中,存在至少两种预设轮廓曲线,每一种预设轮廓曲线对应一种屏幕操作。
第一屏幕操作单元,用于根据计算的匹配相似度及其对应的预设轮廓曲线,进行对应的屏幕操作。
所述终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器40、存储器41。本领域技术人员可以理解,图4仅仅是终端设备4的示例,并不构成对终端设备4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述终端设备4的内部存储单元,例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备,例如所述终端设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端设备4所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种屏幕操作方法,其特征在于,所述屏幕操作方法包括:
获取人脸图像;
基于所述人脸图像进行图像识别,定位眉毛;
获取所述眉毛的轮廓曲线信息;
计算获取的轮廓曲线信息与预设轮廓曲线的匹配相似度,其中,存在至少两种预设轮廓曲线,每一种预设轮廓曲线对应一种屏幕操作;
根据计算的匹配相似度及其对应的预设轮廓曲线,进行对应的屏幕操作。
2.如权利要求1所述的屏幕操作方法,其特征在于,所述计算获取的轮廓曲线信息与预设轮廓曲线的匹配相似度,包括:
根据所述眉毛的轮廓曲线信息,计算所述眉毛的倾斜角度;
根据所述眉毛的倾斜角度与所述预设轮廓曲线中的倾斜角度,计算匹配相似度。
3.如权利要求1所述的屏幕操作方法,其特征在于,在所述根据计算的匹配相似度及其对应的预设轮廓曲线,进行对应的屏幕操作之后,包括:
根据眉毛的轮廓曲线信息,计算所述轮廓曲线信息中,眉毛倾斜角度的角度变化值;
若所述角度变化值大于或等于预设倾斜角度变化阈值,则根据所述眉毛的当前轮廓曲线信息,进行对应的屏幕操作。
4.如权利要求1所述的屏幕操作方法,其特征在于,在所述基于所述状态信息,计算获取的轮廓曲线信息与预设轮廓曲线的匹配相似度之前,包括:
基于所述人脸图像进行人脸识别认证;
若认证通过,获取该人脸对应的预设轮廓曲线。
5.如权利要求1至4任一项所述的屏幕操作方法,其特征在于,所述根据计算的匹配相似度及其对应的预设轮廓曲线,进行对应的屏幕操作,包括:
比较所述眉毛的轮廓曲线信息与每一种预设轮廓曲线的匹配相似度,获取最高的匹配相似度对应的预设轮廓曲线;
若匹配相似度最高的预设轮廓曲线为倒八字状态,则进行屏幕解锁操作;
若匹配相似度最高的预设轮廓曲线为正八字状态,则进行屏幕锁屏操作;
若匹配相似度最高的预设轮廓曲线为自然舒展状态,则维持屏幕当前状态。
6.一种屏幕操作装置,其特征在于,所述屏幕操作装置包括:
图像获取单元,用于获取人脸图像;
定位单元,用于基于所述人脸图像进行图像识别,定位眉毛;
眉毛轮廓获取单元,用于获取所述眉毛的轮廓曲线信息;
相似度计算单元,用于计算获取的轮廓曲线信息与预设轮廓曲线的匹配相似度,其中,存在至少两种预设轮廓曲线,每一种预设轮廓曲线对应一种屏幕操作;
第一屏幕操作单元,用于根据计算的匹配相似度及其对应的预设轮廓曲线,进行对应的屏幕操作。
7.如权利要求6所述的屏幕操作装置,其特征在于,所述屏幕操作装置还包括:
角度变化计算单元,用于根据眉毛的轮廓曲线信息,计算所述眉毛的倾斜角度的角度变化值;
第二屏幕操作单元,用于若所述角度变化值大于或等于预设倾斜角度变化阈值,则根据所述眉毛的当前轮廓曲线信息,进行对应的屏幕操作;
人脸认证单元,用于基于所述人脸图像进行人脸识别认证;
预设轮廓获取单元,用于若认证通过,获取该人脸对应的预设轮廓曲线;
所述相似度计算单元包括:
角度计算模块,用于根据所述眉毛的轮廓曲线信息,计算所述眉毛的倾斜角度;
相似度计算模块,用于根据所述眉毛的倾斜角度与所述预设轮廓曲线中的倾斜角度,计算匹配相似度。
8.如权利要求6至7任一项所述的屏幕操作装置,其特征在于,所述第一屏幕操作单元包括:
相似度比较模块,用于比较所述眉毛的轮廓曲线信息与每一种预设轮廓曲线的匹配相似度,获取最高的匹配相似度对应的预设轮廓曲线;
第一操作模块,用于若匹配相似度最高的预设轮廓曲线为倒八字状态,则进行屏幕解锁操作;
第二操作模块,用于若匹配相似度最高的预设轮廓曲线为正八字状态,则进行屏幕锁屏操作;
第三操作模块,用于若匹配相似度最高的预设轮廓曲线为自然舒展状态,则维持屏幕当前状态。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710356887.1A CN107015745B (zh) | 2017-05-19 | 2017-05-19 | 屏幕操作方法、装置、终端设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710356887.1A CN107015745B (zh) | 2017-05-19 | 2017-05-19 | 屏幕操作方法、装置、终端设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107015745A true CN107015745A (zh) | 2017-08-04 |
CN107015745B CN107015745B (zh) | 2020-03-24 |
Family
ID=59449345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710356887.1A Active CN107015745B (zh) | 2017-05-19 | 2017-05-19 | 屏幕操作方法、装置、终端设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107015745B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108536296A (zh) * | 2018-03-30 | 2018-09-14 | 优酷网络技术(北京)有限公司 | 设备控制方法及装置 |
CN108536381A (zh) * | 2018-03-26 | 2018-09-14 | 珠海格力电器股份有限公司 | 一种短时锁屏的方法及装置 |
CN108905193A (zh) * | 2018-07-03 | 2018-11-30 | 百度在线网络技术(北京)有限公司 | 游戏操控处理方法、设备及存储介质 |
CN109447031A (zh) * | 2018-11-12 | 2019-03-08 | 北京旷视科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN109542572A (zh) * | 2018-11-27 | 2019-03-29 | 维沃移动通信有限公司 | 一种界面显示方法和移动终端 |
CN109557999A (zh) * | 2017-09-25 | 2019-04-02 | 北京小米移动软件有限公司 | 亮屏控制方法、装置及存储介质 |
US11100312B2 (en) | 2017-09-07 | 2021-08-24 | Vivo Mobile Communication Co., Ltd. | Face recognition method and mobile terminal |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509053A (zh) * | 2011-11-23 | 2012-06-20 | 唐辉 | 用于验证授权的方法、处理器、设备和移动终端 |
CN102722664A (zh) * | 2012-05-21 | 2012-10-10 | 北京百纳威尔科技有限公司 | 一种解锁方法及设备 |
US20130159895A1 (en) * | 2011-12-15 | 2013-06-20 | Parham Aarabi | Method and system for interactive cosmetic enhancements interface |
CN103309449A (zh) * | 2012-12-17 | 2013-09-18 | 广东欧珀移动通信有限公司 | 基于面部表情识别自动切换壁纸的移动终端及其方法 |
WO2015149498A1 (zh) * | 2014-04-02 | 2015-10-08 | 百度在线网络技术(北京)有限公司 | 用于屏幕模式切换的方法、装置、计算机存储介质和设备 |
CN106203329A (zh) * | 2016-07-08 | 2016-12-07 | 安徽工业大学 | 一种基于眉毛建立身份标识模板及进行身份识别的方法 |
-
2017
- 2017-05-19 CN CN201710356887.1A patent/CN107015745B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509053A (zh) * | 2011-11-23 | 2012-06-20 | 唐辉 | 用于验证授权的方法、处理器、设备和移动终端 |
US20130159895A1 (en) * | 2011-12-15 | 2013-06-20 | Parham Aarabi | Method and system for interactive cosmetic enhancements interface |
CN102722664A (zh) * | 2012-05-21 | 2012-10-10 | 北京百纳威尔科技有限公司 | 一种解锁方法及设备 |
CN103309449A (zh) * | 2012-12-17 | 2013-09-18 | 广东欧珀移动通信有限公司 | 基于面部表情识别自动切换壁纸的移动终端及其方法 |
WO2015149498A1 (zh) * | 2014-04-02 | 2015-10-08 | 百度在线网络技术(北京)有限公司 | 用于屏幕模式切换的方法、装置、计算机存储介质和设备 |
CN106203329A (zh) * | 2016-07-08 | 2016-12-07 | 安徽工业大学 | 一种基于眉毛建立身份标识模板及进行身份识别的方法 |
Non-Patent Citations (1)
Title |
---|
朱忠江: "基于Gabor特征和神经网络的人脸识别研究与实现", 《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11100312B2 (en) | 2017-09-07 | 2021-08-24 | Vivo Mobile Communication Co., Ltd. | Face recognition method and mobile terminal |
CN109557999A (zh) * | 2017-09-25 | 2019-04-02 | 北京小米移动软件有限公司 | 亮屏控制方法、装置及存储介质 |
CN109557999B (zh) * | 2017-09-25 | 2022-08-26 | 北京小米移动软件有限公司 | 亮屏控制方法、装置及存储介质 |
CN108536381A (zh) * | 2018-03-26 | 2018-09-14 | 珠海格力电器股份有限公司 | 一种短时锁屏的方法及装置 |
CN108536381B (zh) * | 2018-03-26 | 2021-11-09 | 珠海格力电器股份有限公司 | 一种短时锁屏的方法及装置 |
CN108536296A (zh) * | 2018-03-30 | 2018-09-14 | 优酷网络技术(北京)有限公司 | 设备控制方法及装置 |
CN108905193A (zh) * | 2018-07-03 | 2018-11-30 | 百度在线网络技术(北京)有限公司 | 游戏操控处理方法、设备及存储介质 |
CN108905193B (zh) * | 2018-07-03 | 2022-04-15 | 百度在线网络技术(北京)有限公司 | 游戏操控处理方法、设备及存储介质 |
CN109447031A (zh) * | 2018-11-12 | 2019-03-08 | 北京旷视科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN109447031B (zh) * | 2018-11-12 | 2022-02-18 | 北京旷视科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN109542572A (zh) * | 2018-11-27 | 2019-03-29 | 维沃移动通信有限公司 | 一种界面显示方法和移动终端 |
Also Published As
Publication number | Publication date |
---|---|
CN107015745B (zh) | 2020-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107015745A (zh) | 屏幕操作方法、装置、终端设备及计算机可读存储介质 | |
CN110110118A (zh) | 妆容推荐方法、装置、存储介质及移动终端 | |
CN105303149B (zh) | 人物图像的展示方法和装置 | |
CN110248025B (zh) | 多指纹与掌纹信息的身份识别方法、装置及存储介质 | |
CN107330316A (zh) | 解锁处理方法及相关产品 | |
CN107277657A (zh) | 一种耳机找回方法、装置及耳机 | |
EP3610738B1 (en) | Method and system for unlocking electronic cigarette | |
CN107657161A (zh) | 基于人脸识别的移动支付方法及相关产品 | |
CN107480488A (zh) | 解锁控制方法及相关产品 | |
CN107787026A (zh) | 用于识别位置的方法和实现该方法的电子装置 | |
CN108334766A (zh) | 电子装置、解锁方法及相关产品 | |
CN108932702A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN104392162A (zh) | 一种身份验证方法及智能卡 | |
CN107451453A (zh) | 解锁控制方法及相关产品 | |
CN107368255B (zh) | 解锁方法、移动终端及计算机可读存储介质 | |
CN105094342A (zh) | 滑动式指纹识别和音量控制系统及方法 | |
CN108805046B (zh) | 用于面部匹配的方法、设备、装置和存储介质 | |
CN107194232A (zh) | 解锁控制方法、装置、计算机装置及计算机可读存储介质 | |
CN108388842B (zh) | 智能提醒方法及相关产品 | |
CN117809342A (zh) | 生物特征识别模组及其控制方法、电子设备 | |
CN108932415A (zh) | 一种终端设备的权限获取方法、装置及耳机 | |
CN107657221A (zh) | 一种面部信息采集方法及相关设备 | |
CN208689589U (zh) | 图像识别系统及电子装置 | |
CN108876294A (zh) | 考勤实现方法及相关产品 | |
CN107463819A (zh) | 解锁处理方法及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |