CN106991376A - 结合深度信息的侧脸验证方法及装置与电子装置 - Google Patents

结合深度信息的侧脸验证方法及装置与电子装置 Download PDF

Info

Publication number
CN106991376A
CN106991376A CN201710137948.5A CN201710137948A CN106991376A CN 106991376 A CN106991376 A CN 106991376A CN 201710137948 A CN201710137948 A CN 201710137948A CN 106991376 A CN106991376 A CN 106991376A
Authority
CN
China
Prior art keywords
side face
information
depth
face region
master image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710137948.5A
Other languages
English (en)
Other versions
CN106991376B (zh
Inventor
曾元清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201710137948.5A priority Critical patent/CN106991376B/zh
Publication of CN106991376A publication Critical patent/CN106991376A/zh
Application granted granted Critical
Publication of CN106991376B publication Critical patent/CN106991376B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Abstract

本发明公开了一种结合深度信息的侧脸验证方法。侧脸验证方法包括:处理成像装置采集的场景数据以获得当前用户的侧脸区域的特征信息,所述特征信息包括角度信息和深度信息;在数据库中寻找是否存在与所述角度信息和所述深度信息相匹配的特征模板;在存在所述特征模板时确定所述当前用户的侧脸验证成功。本发明还公开了一种侧脸验证装置和电子装置。本发明实施方式的侧脸验证方法、侧脸验证装置和电子装置利用侧脸具有的特征点,获取侧脸的角度信息和深度信息并将角度信息和深度信息作为安全验证的匹配信息,提升验证系统的安全性。

Description

结合深度信息的侧脸验证方法及装置与电子装置
技术领域
本发明涉及人脸验证技术,尤其涉及一种结合深度信息的侧脸验证方法及装置与电子装置。
背景技术
基于人脸的安全验证技术大多数是基于正脸的安全验证,但基于正脸的验证存在易被其他用户利用注册用户的正脸照片通过安全验证的问题,安全性不高。
发明内容
本发明的实施例提供一种结合深度信息的侧脸验证方法及装置与电子装置。
本发明实施方式的结合深度信息的侧脸验证方法包括以下步骤:
处理成像装置采集的场景数据以获得当前用户的侧脸区域的特征信息,所述特征信息包括角度信息和深度信息;
在数据库中寻找是否存在与所述角度信息和所述深度信息相匹配的特征模板;和
在存在所述特征模板时确定所述当前用户的侧脸验证成功。
本发明实施方式的侧脸验证装置包括处理模块、匹配模块和确定模块。所述处理模块用于处理成像装置采集的场景数据以获得当前用户的侧脸区域的特征信息,所述特征信息包括角度信息和深度信息;所述匹配模块用于在数据库中寻找是否存在与所述角度信息和所述深度信息相匹配的特征模板;所述确定模块用于在存在所述特征模板时确定所述当前用户的侧脸验证成功。
本发明实施方式得电子装置包括成像装置和上述的侧脸验证装置。所述侧脸验证装置和成像装置电连接。
在某些实施方式中,所述成像装置包括主摄像头和副摄像头。
在某些实施方式中,所述成像装置包括深度摄像头。
本发明实施方式的侧脸验证方法、侧脸验证装置和电子装置利用侧脸具有的特征点,获取侧脸的角度信息和深度信息并将角度信息和深度信息作为安全验证的匹配信息,提升验证系统的安全性。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本发明实施方式的结合深度信息的侧脸验证方法的流程示意图;
图2是本发明实施方式的电子装置的功能模块示意图;
图3是本发明实施方式的侧脸验证方法的状态示意图;
图4是本发明某些实施方式的侧脸验证方法的流程示意图;
图5是本发明某些实施方式的处理模块的功能模块示意图;
图6是本发明某些实施方式的侧脸验证方法的流程示意图;
图7是是本发明某些实施方式的第二处理子模块的功能模块示意图;
图8是本发明某些实施方式的侧脸验证方法的流程示意图;
图9是是本发明某些实施方式的第二处理子模块的功能模块示意图;
图10是本发明某些实施方式的侧脸验证方法的流程示意图;
图11是是本发明某些实施方式的第三处理单元的功能模块示意图;
图12是本发明某些实施方式的侧脸验证方法的状态示意图;
图13是本发明某些实施方式的侧脸验证方法的流程示意图;
图14是是本发明某些实施方式的电子装置的功能模块示意图;
图15是本发明某些实施方式的侧脸验证方法的流程示意图;和
图16是是本发明某些实施方式的匹配模块的功能模块示意图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
请一并参阅图1至2,本发明实施方式的侧脸验证方法包括以下步骤:
S13:处理成像装置20采集的场景数据以获得当前用户的侧脸区域的特征信息,所述特征信息包括角度信息和深度信息;
S15:在数据库中寻找是否存在与所述角度信息和所述深度信息相匹配的特征模板;和
S17:在存在所述特征模板时确定所述当前用户的侧脸验证成功。
本发明实施方式的侧脸验证方法可以应用于本发明实施方式的侧脸验证装置10。本发明实施方式的侧脸验证装置10包括处理模块13、匹配模块15和确定模块17。步骤S13可以由处理模块13实现,步骤S15可以由匹配模块15实现,步骤S17可以由确定模块17实现。
也即是说,处理模块13用于处理成像装置20采集的场景数据以获得当前用户的侧脸区域的特征信息,所述特征信息包括角度信息和深度信息;匹配模块15用于在数据库中寻找是否存在与所述角度信息和所述深度信息相匹配的特征模板;确定模块17用于在存在所述特征模板时确定所述当前用户的侧脸验证成功。
本发明实施方式的侧脸验证装置10可以应用于本发明实施方式的电子装置100。也即是说,本发明实施方式的电子装置100包括本发明实施方式的侧脸验证装置10。当然,本发明实施方式的电子装置100还包括成像装置20。其中,侧脸验证装置10和成像装置20电连接。
在某些实施方式中,本发明实施方式的电子装置100包括手机、平板电脑、智能手环、智能手表、智能头盔、智能眼镜及笔记本电脑等,在此不作任何限制。在本发明的具体实施例中,电子装置100为手机。
请参阅图3,可以理解,人的侧脸同正脸一样包含丰富的特征,如图3中所示鼻梁突出的长度、耳廓的形状及耳廓到脸部皮肤的距离、颧骨的高度等。通过获取侧脸的关于特征点的特征信息即角度信息和深度信息,并将侧脸的角度信息和深度信息作为安全验证的匹配信息。如此,利用两层验证信息进行安全验证,可以提高验证系统的安全性。
请参阅图4,在某些实施方式中,所述场景数据包括场景主图像,步骤S13处理成像装置20采集的场景数据以获得当前用户的侧脸区域的特征信息包括以下子步骤:
S131:处理所述场景主图像以识别是否存在所述当前用户的侧脸;
S132:在存在所述侧脸时处理所述场景主图像以识别所述侧脸区域;和
S133:处理所述侧脸区域以提取所述特征信息。
请参阅图5,在某些实施方式中,处理模块13包括第一处理子模块131、识别子模块132和第二处理子模块133。步骤S131可以由第一处理子模块131实现,步骤S132可以由识别处理子模块132实现,步骤S133可以由第二处理子模块133实现。
也即是说,第一处理子模块131用于处理所述场景主图像以识别是否存在所述当前用户的侧脸;识别子模块132用于在存在所述侧脸时处理所述场景主图像以识别所述侧脸区域;第二处理子模块133用于处理所述侧脸区域以提取所述特征信息。
如此,在检测到场景主图像中存在侧脸时,提取场景主图像中的侧脸区域,并获取侧脸区域的特征信息以便在后续的步骤S15中进行特征信息的匹配验证。
请参阅图6,在某些实施方式中,所述场景数据包括场景主图像和与所述场景主图像对应的深度图像,步骤S133处理所述侧脸区域以提取所述特征信息包括以下子步骤:
S1331:处理所述深度图像以获得对应所述侧脸区域的深度数据;
S1332:处理所述深度数据以得到所述侧脸区域的深度信息;和
S1333:处理所述场景主图像以获取对应所述侧脸区域的角度信息。
请参阅图7,在某些实施方式中,第二处理子模块133包括第一处理单元1331、第二处理单元1332和第三处理单元1333。步骤S1331可以由第一处理单元1331实现,步骤S1332可以由第二处理单元1332实现,步骤S133可以由第三处理单元1333实现。
也即是说,第一处理单元1331用于处理所述深度图像以获得对应所述侧脸区域的深度数据;第二处理单元1332用于处理所述深度数据以得到所述侧脸区域的深度信息;第三处理单元1333用于处理所述场景主图像以获取对应所述侧脸区域的角度信息。
可以理解,场景数据包括与场景主图像对应的深度图像。其中,场景主图像为RGB彩色图像,深度图像包含场景中各个人或物体的深度信息。由于场景主图像的色彩信息与深度图像的深度信息是一一对应的关系,因此,在场景主图像中检测到侧脸区域时,即可在对应的深度图像中获取到侧脸区域的深度信息。此外,在场景主图像中检测到侧脸区域时,可以根据侧脸区域中包含的特征点计算侧脸区域的角度信息。
需要说明的是,在深度图像中,侧脸区域中鼻子、眼睛、耳朵等特征在深度图像中所对应的深度数据是不同的,如当侧脸相对于正脸的偏转角度为30度时,侧脸区域对应的深度图像中,鼻子的深度数据可能较小,而耳朵对应的深度数据可能较大。因此,在本发明的具体实施例中,获取到的侧脸区域的深度信息可能为一个数值或一个数值范围。其中,当侧脸区域的深度信息为一个数值时,该数值可通过对侧脸区域的深度数据求取平均值得到,或者通过对侧脸区域的深度数据取中值得到。
在某些实施方式中,成像装置20包括深度摄像头。深度摄像头可用来获取深度图像。深度摄像头包括基于结构光深度测距的深度摄像头和基于TOF深度测距的深度摄像头。
具体地,结构光深度测距的深度摄像头包括摄像头和投射器。投射器将一定模式的光结构投射到当前待拍摄的场景中,在场景中的各个人或物体表面形成由该场景中的人或物调制后的光条三维图像,再通过摄像头探测上述的光条三维图像即可获得光条二维畸变图像。光条的畸变程度取决于投射器与摄像头之间的相对位置以及当前待拍摄场景中的各个人或物体表面的形廓或高度。由于深度摄像头中的摄像头和投射器之间的相对位置是一定的,因此,由畸变的二维光条图像坐标便可重现场景中各个人或物体表面的三维轮廓,从而可以获取深度信息。结构光深度测距具有较高的分辨率和测量精度,可以提升获取的深度信息的精确度。
基于TOF(time of flight)测距的深度摄像头是通过传感器记录从发光单元发出的调制红外光发射到物体,再从物体反射回来的相位变化,在一个波长的范围内根据光速,可以实时的获取整个场景深度距离。当前待拍摄的场景中各个人或物体所处的深度位置不一样,因此调制红外光从发出到接收所用时间是不同的,如此,便可获取场景的深度信息。基于TOF深度测距的深度摄像头计算深度信息时不受被摄物表面的灰度和特征的影响,且可以快速地计算深度信息,具有很高的实时性。
请参阅图8,在某些实施方式中,所述场景数据包括场景主图像和与所述场景主图像对应的场景副图像,步骤S133处理所述侧脸区域以提取所述特征信息包括以下子步骤:
S1334:处理所述场景主图像和所述场景副图像以获得对应所述侧脸区域的深度数据;
S1335:处理所述深度数据以得到所述侧脸区域的深度信息;和
S1336:处理所述场景主图像以获取对应所述侧脸区域的角度信息。
请参阅图9,在某些实施方式中,第二处理子模块133包括第四处理单元1334和第五处理单元1335。步骤S1334可以由第四处理单元1334实现,,步骤S1335可以由第五处理单元1335实现,步骤S1336可以由第三处理单元1333实现。
也即是说,第四处理单元1334用于处理所述场景主图像和所述场景副图像以获得对应所述侧脸区域的深度数据;第五处理单元1334用于处理所述深度数据以得到所述侧脸区域的深度信息;第三处理单元1335还用于处理所述场景主图像以获取对应所述侧脸区域的角度信息。
在某些实施方式中,成像装置20包括主摄像头和副摄像头。
可以理解,深度信息可以通过双目立体视觉测距的方法进行获取,此时场景数据包括场景主图像和场景副图像。其中,场景主图像由主摄像头拍摄得到,场景副图像由副摄像头拍摄得到,且场景主图像与场景副图像均为RGB彩色图像。在一些示例中,主摄像头和副摄像头可以是相同规格的两个摄像头,双目立体视觉测距是运用两个规格相同的摄像头对同一场景从不同的位置成像以获得场景的立体图像对,再通过算法匹配出立体图像对的响应想点,从而计算出视差,最后采用基于三角测量的方法恢复深度信息。在一些示例中,主摄像头和副摄像头可以是不用规格的摄像头,主摄像头用于获取当前场景的彩色信息,副摄像头用于记录场景的深度数据。如此,通过对场景主图像和场景副图像这一立体图像对进行匹配便可获得侧脸区域的深度数据。随后,对侧脸区域的深度数据进行处理获得侧脸区域的深度信息。由于侧脸区域中包含多个特征,各个特征对应的深度数据可能不一样,因此,侧脸区域的深度信息可以为一个数值范围;或者,可对深度信息进行求取平均值处理以得到侧脸区域的深度信息,或取深度数据的中值以获得侧脸区域的深度信息。而在场景主图像中检测到侧脸区域时,可以根据侧脸区域中包含的特征点计算侧脸区域的角度信息。
对于侧脸区域的角度信息的计算,具体地,请参阅图10,在某些实施方式中,步骤S1333或步骤S1336处理所述场景主图像以获取对应所述侧脸区域的角度信息的步骤包括以下子步骤:
S13331:获取所述当前用户的正脸时的瞳距;
S13332:获取所述当前用户的侧脸时的瞳距沿正脸方向的投影距离;和
S13333:根据所述瞳距及所述投影距离计算所述角度信息。
请参阅图11,在某些实施方式中,第三处理单元1333包括第一获取子单元13331、第二获取子单元13332和计算子单元13333。步骤S13331可以由第一获取子单元1331实现,步骤S13332可以由第二获取子单元13332实现,步骤S13333可以由计算子单元13333实现。
也即是说,第一获取子单元13331用于获取所述当前用户的正脸时的瞳距;第二获取子单元13332用于获取所述当前用户的侧脸时的瞳距沿正脸方向的投影距离;计算子单元13333用于根据所述瞳距及所述投影距离计算所述角度信息。
请参阅图12,具体地,当人脸偏转一定角度后,如图12中所示,此时人的瞳距在正脸方向上的投影距离与正脸时的瞳距相比较小。如此,首先需先拍摄一张当前用户的正脸图像,并计算出正脸图像中当前用户的瞳距。随后,计算出场景主图像中侧脸时的瞳距沿正脸方向的投影距离。最后,根据正脸时的瞳距及投影距离即可计算出当前用户的侧脸的偏转角即角度信息。
请参阅图13,在某些实施方式中,本发明实施方式的侧脸验证方法在步骤S13处理成像装置20采集的场景数据以获得当前用户的侧脸区域的特征信息前包括以下步骤:
S11:获取注册用户的模板信息,所述模板信息包括注册用户的侧脸区域的角度信息和深度信息;和
S12:采用所述数据库存储所述模板信息。
请参阅图14,在某些实施方式中,本发明实施方式的侧脸验证装置10还包括获取模块11和存储模块12。步骤S11可以由获取模块11实现,步骤S12可以由存储模块12实现。
也即是说,获取模块11用于获取注册用户的模板信息,所述模板信息包括注册用户的侧脸区域的角度信息和深度信息;存储模块12用于采用所述数据库存储所述模板信息。
如此,获取注册用户的侧脸区域的角度信息和深度信息,并将角度信息和深度信息存储在数据库中。数据库中的角度信息和深度信息可以作为侧脸安全验证时用于匹配的特征模板。其中,注册用户的侧脸信息同样可以利用上述步骤中基于注册用户的正脸的瞳距和注册用户侧脸时的瞳距沿正脸方向的投影距离计算得到。深度信息可以通过深度摄像头获取,或通过双目立体视觉测距的方法获取。
请参阅图15,在某些实施方式中,步骤S15在数据库中寻找是否存在与所述角度信息和深度信息相匹配的特征模板包括以下子步骤:
S151:匹配所述当前用户的角度信息与所有所述注册用户的角度信息;
S152:匹配所述当前用户的深度信息与所有所述注册用户的深度信息;和
S153:在所述注册用户的角度信息中匹配到与所述当前用户的角度信息一致的角度信息,及在同一所述注册用户的深度信息中匹配到与所述当前用户的深度信息一致的深度信息时确定存在所述特征模板。
请参阅图16,在某些实施方式中,匹配模块15包括第一匹配子模块151、第二匹配子模块152和确定子模块153。步骤S151可以由第一匹配子模块151实现,步骤S152可以由第二匹配子模块152实现,步骤S153可以由确定子模块153实现。
也即是说,第一批配子模块151用于匹配所述当前用户的角度信息与所有所述注册用户的角度信息;第二匹配子模块152用于匹配所述当前用户的深度信息与所有所述注册用户的深度信息;确定子模块153用于在所述注册用户的角度信息中匹配到与所述当前用户的角度信息一致的角度信息,及在同一所述注册用户的深度信息中匹配到与所述当前用户的深度信息一致的深度信息时确定存在所述特征模板。
可以理解,数据库中存储有多个注册用户,当前用户的角度信息和深度信息需同数据库中的所有注册用户进行匹配,若遍历所有注册用户后仍未匹配成功,则表明当前用户为非法用户即不允许被验证通过的用户。若在所有注册用户中找到一个注册用户,该注册用户的角度信息和深度信息同时与当前用户的角度信息和深度信息匹配,则该注册用户即为当前用户存储于数据库中的特征模板,当前用户为合法用户,可以被允许验证通过。如此,本发明实施方式的侧脸验证方法两个验证信息即角度信息和深度信息的匹配,提升身份验证通过的难度,提高安全验证系统的安全性。
电子装置100还包括壳体、存储器、电路板和电源电路。其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路用于为电子装置100的各个电路或器件供电;存储器用于存储可执行程序代码;侧脸验证装置10通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序以实现上述的本发明任一实施方式的侧脸验证方法。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (17)

1.一种结合深度信息的侧脸验证方法,其特征在于,所述侧脸验证方法包括以下步骤:
处理成像装置采集的场景数据以获得当前用户的侧脸区域的特征信息,所述特征信息包括角度信息和深度信息;
在数据库中寻找是否存在与所述角度信息和所述深度信息相匹配的特征模板;和
在存在所述特征模板时确定所述当前用户的侧脸验证成功。
2.如权利要求1所述的侧脸验证方法,其特征在于,所述侧脸验证方法在所述处理成像装置采集的场景数据以获得用户的侧脸区域的特征信息的步骤前包括以下步骤:
获取注册用户的模板信息,所述模板信息包括注册用户的侧脸区域的角度信息和深度信息;和
采用所述数据库存储所述模板信息。
3.如权利要求2所述的侧脸验证方法,其特征在于,所述在数据库中寻找是否存在与所述角度信息和所述深度信息相匹配的特征模板的步骤包括以下步骤:
匹配所述当前用户的角度信息与所有所述注册用户的角度信息;
匹配所述当前用户的深度信息与所有所述注册用户的深度信息;和
在所述注册用户的角度信息中匹配到与所述当前用户的角度信息一致的角度信息,及在同一所述注册用户的深度信息中匹配到与所述当前用户的深度信息一致的深度信息时确定存在所述特征模板。
4.如权利要求1所述的侧脸验证方法,其特征在于,所述场景数据包括场景主图像,所述处理成像装置采集的场景数据以获得用户的侧脸区域的特征信息的步骤包括以下子步骤:
处理所述场景主图像以识别是否存在所述当前用户的侧脸;
在存在所述侧脸时处理所述场景主图像以识别所述侧脸区域;和
处理所述侧脸区域以提取所述特征信息。
5.如权利要求4所述的侧脸验证方法,其特征在于,所述场景数据包括场景主图像和与所述场景主图像对应的深度图像,所述处理所述侧脸区域以提取所述特征信息的步骤包括以下子步骤:
处理所述深度图像以获得对应所述侧脸区域的深度数据;
处理所述深度数据以得到所述侧脸区域的深度信息;和
处理所述场景主图像以获取对应所述侧脸区域的角度信息。
6.如权利要求4所述的侧脸验证方法,其特征在于,所述场景数据包括场景主图像和与所述场景主图像对应的场景副图像,所述处理所述侧脸区域以提取所述特征信息的步骤包括以下子步骤:
处理所述场景主图像和所述场景副图像以获得对应所述侧脸区域的深度数据;
处理所述深度数据以得到所述侧脸区域的深度信息;和
处理所述场景主图像以获取对应所述侧脸区域的角度信息。
7.如权利要求5或6所述的侧脸验证方法,其特征在于,所述处理所述场景主图像以获取对应所述侧脸区域的角度信息的步骤包括以下子步骤:
获取所述当前用户的正脸时的瞳距;
获取所述当前用户的侧脸时的瞳距沿正脸方向的投影距离;和
根据所述瞳距及所述投影距离计算所述角度信息。
8.一种结合深度信息的侧脸验证装置,其特征在于,所述侧脸验证装置包括:
处理模块,所述处理模块用于处理成像装置采集的场景数据以获得当前用户的侧脸区域的特征信息,所述特征信息包括角度信息和深度信息;
匹配模块,所述匹配模块用于在数据库中寻找是否存在与所述角度信息和所述深度信息相匹配的特征模板;和
确定模块,所述确定模块用于在存在所述特征模板时确定所述当前用户的侧脸验证成功。
9.如去哪里要求8所述的侧脸验证装置,其特征在于,所述侧脸验证装置包括:
获取模块,所述获取模块用于获取注册用户的模板信息,所述模板信息包括注册用户的侧脸区域的角度信息和深度信息;和
存储模块,所述存储模块用于采用所述数据库存储所述模板信息。
10.如权利要求9所述的侧脸验证装置,其特征在于,所述匹配模块包括:
第一匹配子模块,所述第一批配子模块用于匹配所述当前用户的角度信息与所有所述注册用户的角度信息;
第二匹配子模块,所述第二匹配子模块用于匹配所述当前用户的深度信息与所有所述注册用户的深度信息;和
确定子模块,所述确定子模块用于在所述注册用户的角度信息中匹配到与所述当前用户的角度信息一致的角度信息,及在同一所述注册用户的深度信息中匹配到与所述当前用户的深度信息一致的深度信息时确定存在所述特征模板。
11.如权利要求8所述的侧脸验证装置,其特征在于,所述场景数据包括场景主图像,所述处理模块包括:
第一处理子模块,所述第一处理子模块用于处理所述场景主图像以识别是否存在所述当前用户的侧脸;
识别子模块,所述识别子模块用于在存在所述侧脸时处理所述场景主图像以识别所述侧脸区域;和
第二处理子模块,所述第二处理子模块用于处理所述侧脸区域以提取所述特征信息。
12.如权利要求11所述的侧脸验证装置,其特征在于,所述场景数据包括场景主图像和与所述场景主图像对应的深度图像,所述第二处理子模块包括:
第一处理单元,所述第一处理单元用于处理所述深度图像以获得对应所述侧脸区域的深度数据;
第二处理单元,所述第二处理单元用于处理所述深度数据以得到所述侧脸区域的深度信息;和
第三处理单元,所述第三处理单元用于处理所述场景主图像以获取对应所述侧脸区域的角度信息。
13.如权利要求11所述的侧脸验证装置,其特征在于,所述场景数据包括场景主图像和与所述场景主图像对应的场景副图像,所述第二处理子模块包括:
第四处理单元,所述第四处理单元用于处理所述场景主图像和所述场景副图像以获得对应所述侧脸区域的深度数据;
第五处理单元,所述第五处理单元用于处理所述深度数据以得到所述侧脸区域的深度信息;和
所述第三处理单元还用于处理所述场景主图像以获取对应所述侧脸区域的角度信息。
14.如权利要求12或13所述的侧脸验证装置,其特征在于,所述第三处理单元包括:
第一获取子单元,所述第一获取子单元用于获取所述当前用户的正脸时的瞳距;
第二获取子单元,所述第二获取子单元用于获取所述当前用户的侧脸时的瞳距沿正脸方向的投影距离;和
计算子单元,所述计算子单元用于根据所述瞳距及所述投影距离计算所述角度信息。
15.一种电子装置,其特征在于,所述电子装置包括:
成像装置;和
如权利要求7至14任意一项所述的侧脸验证装置,所述侧脸验证装置与所述成像装置电连接。
16.如权利要求15所述的电子装置,其特征在于,所述成像装置包括主摄像头和副摄像头。
17.如权利要求15所述的电子装置,其特征在于,所述成像装置包括深度摄像头。
CN201710137948.5A 2017-03-09 2017-03-09 结合深度信息的侧脸验证方法及装置与电子装置 Expired - Fee Related CN106991376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710137948.5A CN106991376B (zh) 2017-03-09 2017-03-09 结合深度信息的侧脸验证方法及装置与电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710137948.5A CN106991376B (zh) 2017-03-09 2017-03-09 结合深度信息的侧脸验证方法及装置与电子装置

Publications (2)

Publication Number Publication Date
CN106991376A true CN106991376A (zh) 2017-07-28
CN106991376B CN106991376B (zh) 2020-03-17

Family

ID=59413098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710137948.5A Expired - Fee Related CN106991376B (zh) 2017-03-09 2017-03-09 结合深度信息的侧脸验证方法及装置与电子装置

Country Status (1)

Country Link
CN (1) CN106991376B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483428A (zh) * 2017-08-09 2017-12-15 广东欧珀移动通信有限公司 身份验证方法、装置和终端设备
CN107491675A (zh) * 2017-07-31 2017-12-19 广东欧珀移动通信有限公司 信息安全处理方法、装置和终端
CN108960156A (zh) * 2018-07-09 2018-12-07 苏州浪潮智能软件有限公司 一种人脸检测识别方法及装置
CN109376515A (zh) * 2018-09-10 2019-02-22 Oppo广东移动通信有限公司 电子装置及其控制方法、控制装置和计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101815174A (zh) * 2010-01-11 2010-08-25 北京中星微电子有限公司 摄像控制方法及控制装置
US20100328307A1 (en) * 2009-06-25 2010-12-30 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN103198330A (zh) * 2013-03-19 2013-07-10 东南大学 基于深度视频流的实时人脸姿态估计方法
CN103220466A (zh) * 2013-03-27 2013-07-24 华为终端有限公司 图片的输出方法及装置
CN104376022A (zh) * 2013-08-16 2015-02-25 联想(北京)有限公司 一种数据处理方法和装置
CN105224924A (zh) * 2015-09-29 2016-01-06 小米科技有限责任公司 活体人脸识别方法和装置
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、系统及拍摄终端
CN106156702A (zh) * 2015-04-01 2016-11-23 北京市商汤科技开发有限公司 身份认证方法及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100328307A1 (en) * 2009-06-25 2010-12-30 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN101815174A (zh) * 2010-01-11 2010-08-25 北京中星微电子有限公司 摄像控制方法及控制装置
CN103198330A (zh) * 2013-03-19 2013-07-10 东南大学 基于深度视频流的实时人脸姿态估计方法
CN103220466A (zh) * 2013-03-27 2013-07-24 华为终端有限公司 图片的输出方法及装置
CN104376022A (zh) * 2013-08-16 2015-02-25 联想(北京)有限公司 一种数据处理方法和装置
CN106156702A (zh) * 2015-04-01 2016-11-23 北京市商汤科技开发有限公司 身份认证方法及设备
CN105224924A (zh) * 2015-09-29 2016-01-06 小米科技有限责任公司 活体人脸识别方法和装置
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、系统及拍摄终端

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491675A (zh) * 2017-07-31 2017-12-19 广东欧珀移动通信有限公司 信息安全处理方法、装置和终端
CN107491675B (zh) * 2017-07-31 2020-01-10 Oppo广东移动通信有限公司 信息安全处理方法、装置和终端
CN107483428A (zh) * 2017-08-09 2017-12-15 广东欧珀移动通信有限公司 身份验证方法、装置和终端设备
CN108960156A (zh) * 2018-07-09 2018-12-07 苏州浪潮智能软件有限公司 一种人脸检测识别方法及装置
CN108960156B (zh) * 2018-07-09 2020-11-13 浪潮金融信息技术有限公司 一种人脸检测识别方法及装置
CN109376515A (zh) * 2018-09-10 2019-02-22 Oppo广东移动通信有限公司 电子装置及其控制方法、控制装置和计算机可读存储介质

Also Published As

Publication number Publication date
CN106991376B (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
CN106991377A (zh) 结合深度信息的人脸识别方法、人脸识别装置和电子装置
JP6844038B2 (ja) 生体検出方法及び装置、電子機器並びに記憶媒体
CN106991654A (zh) 基于深度的人体美化方法和装置及电子装置
CN105740778B (zh) 一种改进的三维人脸活体检测方法及其装置
CN106851238B (zh) 白平衡控制方法、白平衡控制装置及电子装置
CN106909911A (zh) 图像处理方法、图像处理装置和电子装置
CN106991688A (zh) 人体跟踪方法、人体跟踪装置和电子装置
CN107018323B (zh) 控制方法、控制装置和电子装置
RU2431190C2 (ru) Способ и устройство распознавания рельефности лица
CN106993112A (zh) 基于景深的背景虚化方法及装置和电子装置
CN107341481A (zh) 利用结构光图像进行识别
CN108764071A (zh) 一种基于红外和可见光图像的真实人脸检测方法及装置
US20040037450A1 (en) Method, apparatus and system for using computer vision to identify facial characteristics
CN108733208A (zh) 智能设备的交互目标确定方法和装置
KR20190097640A (ko) 영상 정합 방법 및 장치
CN106991376A (zh) 结合深度信息的侧脸验证方法及装置与电子装置
CN107563304A (zh) 终端设备解锁方法及装置、终端设备
US20170186170A1 (en) Facial contour recognition for identification
CN106991378B (zh) 基于深度的人脸朝向检测方法、检测装置和电子装置
KR101919090B1 (ko) 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
CN109478227A (zh) 计算设备上的虹膜或其他身体部位识别
KR20180134280A (ko) 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
CN106997457A (zh) 人物肢体识别方法、人物肢体识别装置及电子装置
CN107016348A (zh) 结合深度信息的人脸检测方法、检测装置和电子装置
CN107341467A (zh) 虹膜采集方法及设备、电子装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200317