CN112861568A - 认证方法和装置、电子设备、计算机可读存储介质 - Google Patents
认证方法和装置、电子设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN112861568A CN112861568A CN201911102674.1A CN201911102674A CN112861568A CN 112861568 A CN112861568 A CN 112861568A CN 201911102674 A CN201911102674 A CN 201911102674A CN 112861568 A CN112861568 A CN 112861568A
- Authority
- CN
- China
- Prior art keywords
- pixel
- depth information
- face image
- phase difference
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请涉及一种认证方法,包括:当检测到认证时,获取人脸图像中各像素的相位差,所述相位差是根据所述图像传感器采集的数据生成的;根据所述人脸图像中各像素的相位差确定所述人脸图像中各像素的深度信息;根据所述人脸图像中各像素的深度信息判断是否满足预设条件,若是,则表示活体认证成功。本申请还公开了一种认证装置、电子设备以及计算机可读存储介质。本申请避免了传统的活体检测方法繁琐的操作过程,并且,提高了活体检测的准确性。
Description
技术领域
本申请涉及电子设备技术领域,特别是涉及一种认证方法和装置、电子设备、计算机可读存储介质。
背景技术
在一些身份验证场景下,常常需要对用户进行活体检测。活体检测是确定对象真实生理特征的方法,通过指示用户做出眨眼、张嘴、摇头、点头等动作,来确保用户为真实活体本人操作。活体检测可有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的攻击手段,从而保障用户的利益。
但是,传统的活体检测方法,由于需要指示用户做出动作,且在用户动作不标准、光线差等条件下需要反复指示用户做出动作,使得操作过程繁琐。
发明内容
本申请实施例提供一种认证方法和装置、电子设备、计算机可读存储介质,通过人脸图像中各像素的深度信息进行活体检测,避免了传统的活体检测方法繁琐的操作过程。
一种认证方法,用于摄像设备,所述摄像设备包括图像传感器,所述图像传感器包括阵列排布的多个像素点组,每个所述像素点组包括阵列排布的多个像素点,所述方法包括:
当检测到认证时,获取人脸图像中各像素的相位差,所述相位差是根据所述图像传感器采集的数据生成的;
根据所述人脸图像中各像素的相位差确定所述人脸图像中各像素的深度信息;
根据所述人脸图像中各像素的深度信息判断是否满足预设条件,若是,则表示活体认证成功。
一种认证装置,用于摄像设备,所述摄像设备包括图像传感器,所述图像传感器包括阵列排布的多个像素点组,每个所述像素点组包括阵列排布的多个像素点,装置包括:
获取模块,用于当检测到认证时,获取人脸图像中各像素的相位差,所述相位差是根据所述图像传感器采集的数据生成的;
确定模块,用于根据所述人脸图像中各像素的相位差确定所述人脸图像中各像素的深度信息;
判断模块,用于根据所述人脸图像中各像素的深度信息判断是否满足预设条件,若是,则表示活体认证成功。
一种电子设备,包括图像传感器、存储器和处理器,所述图像传感器包括阵列排布的多个像素点组,每个所述像素点组包括阵列排布的多个像素点,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
当检测到认证时,获取人脸图像中各像素的相位差,所述相位差是根据所述图像传感器采集的数据生成的;
根据所述人脸图像中各像素的相位差确定所述人脸图像中各像素的深度信息;
根据所述人脸图像中各像素的深度信息判断是否满足预设条件,若是,则表示活体认证成功。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
当检测到认证时,获取人脸图像中各像素的相位差,所述相位差是根据所述图像传感器采集的数据生成的;
根据所述人脸图像中各像素的相位差确定所述人脸图像中各像素的深度信息;
根据所述人脸图像中各像素的深度信息判断是否满足预设条件,若是,则表示活体认证成功。
上述认证方法、装置、电子设备和计算机可读存储介质,当检测到认证时,获取人脸图像中各像素的相位差,该相位差是根据图像传感器采集的数据生成的,根据人脸图像中各像素的相位差确定人脸图像中各像素的深度信息,并根据人脸图像中各像素的深度信息判断是否满足预设条件,若是,则表示活体认证成功,这样,通过人脸图像中各像素的深度信息进行活体检测,避免了传统的活体检测方法繁琐的操作过程,并且,利用图像传感器采集的数据来精确获取各像素的相位差,进而根据各像素的相位差确定各像素的深度信息,提高了活体检测的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中认证方法的应用环境示意图;
图2为本申请实施例提供的一种摄像设备的结构示意图;
图3为本申请实施例提供的一种图像传感器的部分的结构示意图;
图4为本申请实施例提供的一种像素点组的示意图;
图5为一个实施例中摄像设备的结构示意图;
图6为一个实施例中认证方法的流程图;
图7为另一个实施例中认证方法的流程图;
图8为一个实施例中认证装置的结构框图;
图9为一个实施例中电子设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中认证方法的应用环境示意图。如图1所示,该应用环境可以包括摄像设备102,该摄像设备102可以为具有数字图像拍摄功能的电子设备,例如,该摄像设备102可用于身份认证,比如人脸识别设备、智能手机、平板电脑等。该摄像设备102,当检测到认证时,获取人脸图像中各像素的相位差,该相位差是根据图像传感器采集的数据生成的,根据人脸图像中各像素的相位差确定人脸图像中各像素的深度信息,并根据人脸图像中各像素的深度信息判断是否满足预设条件,若是,则表示活体认证成功。
请参考图2,其示出了摄像设备的结构示意图,如图2所示,该摄像设备可以包括镜头202和图像传感器204,其中,镜头202可以由一系列透镜组成,图像传感器204可以为金属氧化物半导体元件(英文:Complementary Metal Oxide Semiconductor;简称:CMOS)图像传感器、电荷耦合元件(英文:Charge-coupled Device;简称:CCD)、量子薄膜传感器或者有机传感器等。
请参考图3,其示出了图像传感器204的一部分的结构示意图,如图3所示,该图像传感器204可以包括阵列排布的多个像素点组Z,其中,每个像素点组Z包括阵列排布的多个像素点D,每个像素点包括阵列排布的多个子像素点d。请参考图3,可选的,每个像素点组Z可以包括按照两行两列的阵列排布方式进行排布的4个像素点D,每个像素点可以包括按照两行两列的阵列排布方式进行排布的4个子像素点d。
需要指出的是,图像传感器204包括的像素点指的是一个感光单元,该感光单元可以由多个阵列排布的感光元件(也即是子像素点)组成,其中,感光元件是一种能够将光信号转化为电信号的元件。可选的,感光单元还可以包括微透镜以及滤光片等,其中,微透镜设置于滤光片之上,滤光片设置于感光单元包括的各个感光元件之上,滤光片可以包括红、绿、蓝三种,分别只能透过红色、绿色、蓝色对应波长的光线。
请参考图4,其示出了一种示例性的像素点组Z的示意图,如图4所示,像素点组Z包括按照两行两列的阵列排布方式进行排布的4个像素点D,其中,第一行第一列的像素点的颜色通道为绿色,也即是,第一行第一列的像素点包括的滤光片为绿色滤光片,第一行第二列的像素点的颜色通道为红色,也即是,第一行第二列的像素点包括的滤光片为红色滤光片,第二行第一列的像素点的颜色通道为蓝色,也即是,第二行第一列的像素点包括的滤光片为蓝色滤光片,第二行第二列的像素点的颜色通道为绿色,也即是,第二行第二列的像素点包括的滤光片为绿色滤光片。
每个像素点组Z包括2*2阵列排布的4个像素点D,每个像素点可包括2*2阵列排布的4个子像素点d。其中,每个像素点组形成2*2PD,可以直接接收光信号,进行光电转换,可以同时输出左右和上下的信号。每个颜色通道可以由4个子像素点组成。以每个像素点包括子像素点1、子像素点2、子像素点3和子像素点4为例,可将子像素点1和子像素点2合成,子像素点3和子像素点4合成,形成上下方向的PD像素对,检测水平边缘,得到第二方向的相位差值,即竖直方向的PD值;将子像素点1和子像素点3合成,子像素点2和子像素点4合成,形成左右方向的PD像素对,可以检测竖直边缘,得到第一方向的相位差值,即水平方向的PD值。
图5为一个实施例中成像设备的结构示意图。如图5所示,该成像设备包括微透镜50、滤光片52和成像组件54。微透镜50、滤光片52和成像组件54依次位于入射光路上,即微透镜50设置在滤光片52之上,滤光片52设置在成像组件54上。
滤光片52可包括红、绿、蓝三种,分别只能透过红色、绿色、蓝色对应波长的光线。一个滤光片52设置在一个像素点上。
成像组件54包括图3中的图像传感器。
透镜50用于接收入射光,并将入射光传输给滤光片52。滤光片52对入射光进行平滑处理后,将平滑处理后的光以像素为基础入射到成像组件54上。
图像传感器中的感光单元通过光电效应将从滤光片52入射的光转换成电荷信号,并生成与电荷信号一致的像素信号。电荷信号与接收的光强度相一致。
请参考图6,其示出了本申请实施例提供的一种认证方法的流程图,该认证方法可以应用于图1至图4所示的摄像设备中。如图6所示,认证方法可以包括以下步骤:
步骤602,当检测到认证时,获取人脸图像中各像素的相位差,所述相位差是根据所述图像传感器采集的数据生成的。
其中,相位差用于表征从不同方向射入镜头的成像光线在图像传感器中所成的像在位置上的差异。
在一个实施例中,获取人脸图像中各像素的相位差的方式可以是:根据每个像素点组包括的像素点的亮度值获取目标亮度图;对目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,并根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异,确定相互匹配的像素的相位差。所述人脸图像中每一个像素的相位差,即为一对相互匹配的像素所对应的相位差。
步骤604,根据所述人脸图像中各像素的相位差确定所述人脸图像中各像素的深度信息。
具体地,可根据相互匹配的像素的相位差确定该相互匹配的像素对应的离焦值,根据摄像头成像原理及该离焦值可以转换得到该相互匹配的像素所对应的深度信息。所述人脸图像中每一个像素的深度信息,即为一对相互匹配的像素所对应的深度信息。
离焦值与相位差之间的对应关系可通过标定得到。离焦值与相位差之间的对应关系为:defocus=PD*slope(DCC),其中,DCC(Defocus Conversion Coefficient,离焦系数)由标定得到,PD为相位差。
步骤606,根据所述人脸图像中各像素的深度信息判断是否满足预设条件,若是,则表示活体认证成功。
具体地,可根据人脸图像中不同像素的深度信息判断是否满足预设条件。在一个实施例中,在人脸图像中获取各个面部器官对应的像素的深度信息,根据各个面部器官对应的像素的深度信息判断是否满足预设条件。
其中,面部器官可以是眼睛、鼻子、嘴巴、耳朵、额头、脸颊、下巴等。
在人脸图像中获取各个面部器官对应的像素的深度信息的方式可以是:通过人脸识别算法在人脸图像中获取各个面部器官,进而获取各个面部器官对应的像素的深度信息。人脸识别算法可以是MTCNN(multi-task cascaded convolutional networks)算法、PFLD(practical facial landmark detector)算法等。
在一个实施例中,可根据同一面部器官的不同部位对应的像素的深度信息判断是否满足预设条件。由于面部器官的结构不同,同一面部器官的不同部位对应的像素的深度信息也会存在差异。比如鼻子呈突出状,使得鼻子前后位置对应的像素的深度信息存在差异;眼睛呈略微突出状,使得眼睛前后位置对应的像素的深度信息存在差异;脸颊在前后方向上呈连续性延展,使得脸颊前后位置对应的像素的深度信息存在差异。可以理解,这里的前后位置是指,在人脸面对镜头时,相对镜头较近的位置为前,相对镜头较远的位置为后。
获取同一面部器官的不同部位对应的像素的深度信息之间的差值,若该差值在预设差值范围,则判定同一面部器官的不同部位对应的像素的深度信息满足预设条件。其中,预设差值范围可参照人脸中各个面部器官的正常尺寸进行设定。
在另一个实施例中,不同的面部器官的深度信息也会存在差异,可根据不同面部器官之间的相对深度信息判断是否满足预设条件。比如,眼睛、嘴巴、耳朵相对鼻子靠后,使得眼睛、嘴巴、耳朵对应的像素的深度信息与鼻子对应的像素的深度信息存在明显的差异;而耳朵又相对眼睛、嘴巴靠后,使得耳朵对应的像素的深度信息与眼睛、嘴巴对应的像素的深度信息存在较大的差异。
一个面部器官对应有多个像素对应的深度信息,可取该面部器官的任一像素对应的深度信息作为该面部器官的深度信息,也可取该面部器官的多个像素对应的深度信息的平均值作为该面部器官的深度信息,也可取该面部器官的多个像素对应的深度信息的最大值或者最小值作为该面部器官的深度信息。
根据各个面部器官的深度信息确定不同的面部器官的相对深度信息,根据不同的面部器官的相对深度信息判断是否满足预设条件。其中,相对深度信息可以是不同的面部器官的深度信息的差值。
若不同的面部器官的深度信息的差值在预定差值范围,则判定不同面部器官之间的相对深度信息满足预设条件。其中,预定差值范围可参照人脸中各个面部器官的正常尺寸进行设定。
获取预设的相对深度信息,判断不同的面部器官的相对深度信息是否与预设的相对深度信息相匹配,其中,若不同的面部器官的相对深度信息与预设的相对深度信息相匹配,则判定不同的面部器官之间的相对深度信息满足预设条件。预设的相对深度信息包括预先设置的不同的面部器官的深度信息的差值,或者不同的面部器官的深度信息的差值范围。
在实际应用时,可根据同一面部器官的不同部位对应的像素的深度信息判断是否满足预设条件;也可根据不同面部器官之间的相对深度信息判断是否满足预设条件;也可根据同一面部器官的不同部位对应的像素的深度信息以及不同面部器官之间的相对深度信息相结合来判断是否满足预设条件。
本实施例中的认证方法,当检测到认证时,获取人脸图像中各像素的相位差,该相位差是根据图像传感器采集的数据生成的,根据人脸图像中各像素的相位差确定人脸图像中各像素的深度信息,并根据人脸图像中各像素的深度信息判断是否满足预设条件,若是,则表示活体认证成功,这样,通过人脸图像中各像素的深度信息进行活体检测,避免了传统的活体检测方法繁琐的操作过程,并且,利用图像传感器采集的数据来精确获取各像素的相位差,进而根据各像素的相位差确定各像素的深度信息,提高了活体检测的准确性。
在一个实施例中,所述获取人脸图像中各像素的相位差,包括:根据每个所述像素点组包括的像素点的亮度值获取目标亮度图;对所述目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,并根据所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的位置差异,确定所述相互匹配的像素的相位差,得到所述人脸图像中各像素的相位差。
通常情况下,图像传感器的像素点的亮度值可以由该像素点包括的子像素点的亮度值来进行表征,即摄像设备可以根据每个像素点组包括的像素点中子像素点的亮度值来获取该目标亮度图。所谓“子像素点的亮度值”指的是该子像素点接收到的光信号的亮度值。
图像传感器包括的子像素点是一种能够将光信号转化为电信号的感光元件,因此,可以根据子像素点输出的电信号来获取该子像素点接收到的光信号的强度,根据子像素点接收到的光信号的强度即可得到该子像素点的亮度值。
本申请实施例中的目标亮度图用于反映图像传感器中子像素点的亮度值,该目标亮度图可以包括多个像素,其中,目标亮度图中的每个像素的像素值均是根据图像传感器中子像素点的亮度值得到的。
在一种可能的实现方式中,摄像设备可以沿列的方向(图像坐标系中的y轴方向)对该目标亮度图进行切分处理,在沿列的方向对目标亮度图进行切分处理的过程中,切分处理时的每一分割线都与列的方向垂直。
在另一种可能的实现方式中,摄像设备可以沿行的方向(图像坐标系中的x轴方向)对该目标亮度图进行切分处理,在沿行的方向对目标亮度图进行切分处理的过程中,切分处理时的每一分割线都与行的方向垂直。
沿列的方向对目标亮度图进行切分处理后得到的第一切分亮度图和第二切分亮度图可以分别称为上图和下图。沿行的方向对目标亮度图进行切分处理后得到的第一切分亮度图和第二切分亮度图可以分别称为左图和右图。
其中,“相互匹配的像素”指的是由像素本身及其周围像素组成的像素矩阵相互相似。例如,第一切分亮度图中像素a和其周围的像素组成一个3行3列的像素矩阵,该像素矩阵的像素值为:
2 10 90
1 20 80
0 100 1
第二切分亮度图中像素b和其周围的像素也组成一个3行3列的像素矩阵,该像素矩阵的像素值为:
1 10 90
1 21 80
0 100 2
由上文可以看出,这两个矩阵是相似的,则可以认为像素a和像素b相互匹配。至于如何判断像素矩阵是否相似,实际应用中有许多不同的方法,一种较为常见的方法是,对两个像素矩阵中的每个对应的像素的像素值求差,再将求得的差值的绝对值进行相加,利用该相加的结果来判断像素矩阵是否相似,也即是,若该相加的结果小于预设的某一阈值,则认为像素矩阵相似,否则,则认为像素矩阵不相似。
例如,对于上述两个3行3列的像素矩阵而言,可以分别将1和2求差,将10和10求差,将90和90求差,……,再将求得的差的绝对值相加,得到相加结果为3,该相加结果3小于预设的阈值,则认为上述两个3行3列的像素矩阵相似。
另一种比较常见的判断像素矩阵是否相似的方法是利用sobel卷积核计算方式或者高拉普拉斯计算方式等方式提取其边缘特征,通过边缘特征来判断像素矩阵是否相似。
在本申请实施例中,“相互匹配的像素的位置差异”指的是,相互匹配的像素中位于第一切分亮度图中的像素的位置和位于第二切分亮度图中的像素的位置的差异。如上述举例,相互匹配的像素a和像素b的位置差异指的是像素a在第一切分亮度图中的位置和像素b在第二切分亮度图中的位置的差异。
相互匹配的像素分别对应于从不同方向射入镜头的成像光线在图像传感器中所成的不同的像。根据相互匹配的像素的位置差异,即可确定该相互匹配的像素的相位差。所述人脸图像中每一个像素的相位差,即为一对相互匹配的像素所对应的相位差。
本实施例中的认证方法,利用图像传感器中每个像素点组包括的像素点的亮度值来获取人脸图像中各像素的相位差,可以提高获取相位差的精确度。
在一个实施例中,所述根据所述人脸图像中各像素的相位差确定所述人脸图像中各像素的深度信息,包括:根据所述人脸图像中各像素的相位差确定所述人脸图像中各像素的离焦值;根据所述人脸图像中各像素的离焦值确定所述人脸图像中各像素的深度信息。
具体地,可根据相互匹配的像素的相位差确定该相互匹配的像素对应的离焦值,根据摄像头成像原理及该离焦值可以转换得到该相互匹配的像素所对应的深度信息。
通常,相互匹配的像素的相位差越小,则说明该相互匹配的像素与摄像头的合焦位置的距离越小,即该相互匹配的像素所对应的离焦值越小。离焦值与相位差之间的对应关系为:defocus=PD*slope(DCC),其中,DCC(Defocus Conversion Coefficient,离焦系数)由标定得到,PD为相位差。
基于几何光学的牛顿公式,有:
其中,depth为像素所对应的深度信息,f为摄像头所采用的镜头的焦距,shift为该像素为图像的对焦点时,像距与焦距的差值。像距为摄像头进行曝光拍摄时,透镜与图像传感器之间的距离。摄像头曝光得到目标亮度图时,透镜与图像传感器之间的距离即像距是确定的,摄像头曝光得到目标亮度图时像距与焦距的差值shiftcur是已知的,则像素为图像的对焦点时的shift=shiftcur+defocus;由此,可以将相互匹配的像素所对应的离焦值代入下列公式:
即可以得到相互匹配的像素所对应的深度信息。所述人脸图像中每一个像素的深度信息,即为一对相互匹配的像素所对应的深度信息。
本实施例中的认证方法,由于可以利用图像传感器中每个像素点组包括的像素点的亮度值确定相互匹配的像素的相位差,进而根据相位差得到对应的深度信息,可以提高获取深度信息的精确度。
在一个实施例中,所述根据所述人脸图像中各像素的深度信息判断是否满足预设条件,包括:在所述人脸图像中获取各个面部器官对应的像素的深度信息;根据各个所述面部器官对应的像素的深度信息判断是否满足所述预设条件。
其中,面部器官可以是眼睛、鼻子、嘴巴、耳朵、额头、脸颊、下巴等。
具体地,在人脸图像中获取各个面部器官对应的像素的深度信息的方式可以是:通过人脸识别算法在人脸图像中获取各个面部器官,进而获取各个面部器官对应的像素的深度信息。人脸识别算法可以是MTCNN(multi-task cascaded convolutional networks)算法、PFLD(practical facial landmark detector)算法等。
在一个实施例中,可根据同一面部器官的不同部位对应的像素的深度信息判断是否满足预设条件。由于面部器官的结构不同,同一面部器官的不同部位对应的像素的深度信息也会存在差异。比如鼻子呈突出状,使得鼻子前后位置对应的像素的深度信息存在差异;眼睛呈略微突出状,使得眼睛前后位置对应的像素的深度信息存在差异;脸颊在前后方向上呈连续性延展,使得脸颊前后位置对应的像素的深度信息存在差异。可以理解,这里的前后位置是指,在人脸面对镜头时,相对镜头较近的位置为前,相对镜头较远的位置为后。
具体地,获取同一面部器官的不同部位对应的像素的深度信息之间的差值,若该差值在预设差值范围,则判定同一面部器官的不同部位对应的像素的深度信息满足预设条件。其中,预设差值范围可参照人脸中各个面部器官的正常尺寸进行设定。
在一个实施例中,不同的面部器官的深度信息也会存在差异,可根据不同面部器官之间的相对深度信息判断是否满足预设条件。具体地,根据各个面部器官对应的像素的深度信息确定不同的面部器官的相对深度信息,根据不同的面部器官的相对深度信息判断是否满足预设条件。其中,相对深度信息可以是不同的面部器官对应的像素的深度信息的差值。
在一个实施例中,若不同的面部器官的深度信息的差值在预定差值范围,则判定不同的面部器官之间的相对深度信息满足预设条件。其中,预定差值范围可参照人脸中各个面部器官的正常尺寸进行设定。
本实施例中的认证方法,根据各个面部器官对应的像素的深度信息判断活体认证是否成功,提升了活体认证的精确度。
在一个实施例中,所述根据各个所述面部器官对应的像素的深度信息判断是否满足所述预设条件,包括:根据各个所述面部器官对应的像素的深度信息确定不同的所述面部器官的相对深度信息;根据不同的所述面部器官的相对深度信息判断是否满足所述预设条件。
不同的面部器官的深度信息也会存在差异,可根据不同面部器官之间的相对深度信息判断是否满足预设条件。比如,眼睛、嘴巴、耳朵相对鼻子靠后,使得眼睛、嘴巴、耳朵对应的像素的深度信息与鼻子对应的像素的深度信息存在明显的差异;而耳朵又相对眼睛、嘴巴靠后,使得耳朵对应的像素的深度信息与眼睛、嘴巴对应的像素的深度信息存在较大的差异。
一个面部器官对应有多个像素对应的深度信息,可取该面部器官的任一像素对应的深度信息作为该面部器官的深度信息,也可取该面部器官的多个像素对应的深度信息的平均值作为该面部器官的深度信息,也可取该面部器官的多个像素对应的深度信息的最大值或者最小值作为该面部器官的深度信息。
根据各个面部器官的深度信息确定不同的面部器官的相对深度信息,根据不同的面部器官的相对深度信息判断是否满足预设条件。其中,相对深度信息可以是不同的面部器官对应的像素的深度信息的差值。
在一个实施例中,若不同的面部器官对应的像素的深度信息的差值在预定差值范围,则判定不同面部器官之间的相对深度信息满足预设条件。其中,预定差值范围可参照人脸中各个面部器官的正常尺寸进行设定。
在另一实施例中,获取预设的相对深度信息,判断不同的面部器官的相对深度信息是否与预设的相对深度信息相匹配,其中,若不同的面部器官的相对深度信息与预设的相对深度信息相匹配,则判定不同的面部器官之间的相对深度信息满足预设条件。其中,预设的相对深度信息包括预先设置的不同的面部器官的深度信息的差值。
本实施例中的认证方法,根据面部器官的相对深度信息判断活体认证是否成功,提升了活体认证的精确度。
在一个实施例中,所述根据不同的所述面部器官的相对深度信息判断是否满足所述预设条件,包括:获取预设的相对深度信息;判断不同的所述面部器官的相对深度信息是否与所述预设的相对深度信息相匹配,其中,若不同的所述面部器官的相对深度信息与所述预设的相对深度信息相匹配,则判定不同的所述面部器官的相对深度信息满足所述预设条件。
其中,相对深度信息可以是不同的面部器官对应的像素的深度信息的差值。预设的相对深度信息包括预先设置的不同的面部器官的深度信息的差值。
由于不同的人的相貌存在差异,因此相对深度信息也会存在差异。
在一个实施例中,可预先收集并存储各个用户的人脸图像,在认证时,根据预先存储的用户的人脸图像得到用户对应的预设的相对深度信息,判断获取的相对深度信息是否与预设的相对深度信息相匹配,其中,若获取的相对深度信息与预设的相对深度信息相匹配(即获取的相对深度信息与预设的相对深度信息之间的差值在预设范围),则判定不同面部器官之间的相对深度信息满足预设条件。
在另一实施例中,可根据性别、国籍、地区、年龄等特征对用户进行分类,并预先获取并存储各类用户对应的预设的相对深度信息。在认证时,判断获取的人脸图像所属的类别,调用该类别对应的预设的相对深度信息,判断获取的相对深度信息是否与预设的相对深度信息相匹配,其中,若获取的相对深度信息与预设的相对深度信息相匹配(即获取的相对深度信息与预设的相对深度信息之间的差值在预设范围),则判定不同面部器官之间的相对深度信息满足预设条件。
本实施例中的认证方法,根据各个面部器官的相对深度信息实现认证,提升了认证的精确度。
在一个实施例中,所述获取预设的相对深度信息,包括:根据所述人脸图像,获取预先存储的预设的人脸图像;根据所述预设的人脸图像获取所述预设的相对深度信息。
在一个实施例中,可预先收集并存储各个用户的人脸图像,在认证时,根据预先存储的用户的人脸图像得到用户对应的预设的相对深度信息。具体的,可通过人脸图像中的一些特征,比如虹膜特征,在数据库中找到与该特征相匹配的预存的人脸图像,进而获取预存的人脸图像对应的预设的相对深度信息。
在另一实施例中,可预先获取并存储各类用户对应的预设的相对深度信息。其中,可根据性别、国籍、地区、年龄等特征对用户进行分类。在认证时,判断获取的人脸图像所属的类别,调用该类别对应的预设的相对深度信息。具体的,可通过人脸图像中的一些特征,比如虹膜特征,判断人脸图像所属的类别,进而获取该类别对应的预设的相对深度信息。
本实施例中的认证方法,根据各个面部器官的相对深度信息实现认证,提升了认证的精确度。
在一个实施例中,所述获取人脸图像中各像素的相位差之前,还包括:根据所述人脸图像获取虹膜识别信息;根据所述虹膜识别信息判断是否满足预定条件,若是,则执行所述获取人脸图像中各像素的相位差的步骤。
其中,虹膜识别信息是指基于虹膜识别技术得到的信息,该信息用于身份识别。人的眼睛结构由巩膜、虹膜、瞳孔晶状体、视网膜等部分组成。虹膜是位于黑色瞳孔和白色巩膜之间的圆环状部分,其包含有很多相互交错的斑点、细丝、冠状、条纹、隐窝等的细节特征。虹膜在胎儿发育阶段形成后,在整个生命历程中将是保持不变的,这些特征决定了虹膜特征的唯一性,也决定了身份识别的唯一性。因此,可将眼睛的虹膜特征作为每个人的身份识别对象。
其中,预定条件可以是预定的虹膜识别信息,即判断获取的虹膜识别信息是否与预定的虹膜识别信息相匹配,若是,则判定虹膜识别通过。可根据获取的虹膜识别信息遍历数据库,若数据库中存在与获取的虹膜识别信息相匹配的预定的虹膜识别信息,则判定虹膜识别通过。
若虹膜识别通过,可进一步获取人脸图像中各像素的相位差,根据人脸图像中各像素的相位差确定人脸图像中各像素的深度信息,根据人脸图像中各像素的深度信息进行活体认证,这样,结合虹膜识别和人脸图像中各像素的深度信息进行身份认证。
本实施例中的认证方法,结合虹膜识别技术和人脸图像中各像素的深度信息进行身份认证,由于可以利用图像传感器中每个像素点组包括的像素点的亮度值确定相互匹配的像素的相位差,进而根据相位差得到对应的深度信息,加强了身份认证的准确性。
在一个实施例中,如图7所示,下面结合具体实施例进行举例说明:
步骤702,当检测到认证时,根据人脸图像获取虹膜识别信息;
步骤704,根据所述虹膜识别信息判断虹膜认证是否成功;
步骤706,若是,在所述人脸图像中获取各个面部器官对应的像素的深度信息,根据各个所述面部器官对应的像素的深度信息确定不同的所述面部器官的相对深度信息;
步骤708,根据不同的所述面部器官的相对深度信息判断活体认证是否成功;
步骤710,若是,则表示身份认证成功。
其中,通过2*2PDAF(Phase Detection Auto Focus)传感器采集数据生成人脸图像中各像素的相位差,根据人脸图像中各像素的相位差确定人脸图像中各像素的深度信息。
通过人脸识别算法在人脸图像中获取各个面部器官,进而获取各个面部器官对应的像素的深度信息,根据各个面部器官对应的像素的深度信息确定不同的面部器官的相对深度信息。人脸识别算法可以是MTCNN(multi-task cascaded convolutional networks)算法、PFLD(practical facial landmark detector)算法等。
本实施例中的认证方法,当检测到认证时,获取人脸图像中各像素的相位差,该相位差是根据图像传感器采集的数据生成的,根据人脸图像中各像素的相位差确定人脸图像中各像素的深度信息,并根据人脸图像中各像素的深度信息判断是否满足预设条件,若是,则表示活体认证成功,这样,通过人脸图像中各像素的深度信息进行活体检测,避免了传统的活体检测方法繁琐的操作过程,并且,利用图像传感器采集的数据来精确获取各像素的相位差,进而根据各像素的相位差确定各像素的深度信息,提高了活体检测的准确性。
应该理解的是,虽然图2和图7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2和图7中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图8为一个实施例中认证装置800的结构框图。如图8所示,一种认证装置800,包括获取模块802、确定模块804和判断模块806。其中:
获取模块802,用于当检测到认证时,获取人脸图像中各像素的相位差,所述相位差是根据所述图像传感器采集的数据生成的;
确定模块804,用于根据所述人脸图像中各像素的相位差确定所述人脸图像中各像素的深度信息;
判断模块806,用于根据所述人脸图像中各像素的深度信息判断是否满足预设条件,若是,则表示活体认证成功。
本实施中的认证装置800,当检测到认证时,获取人脸图像中各像素的相位差,该相位差是根据图像传感器采集的数据生成的,根据人脸图像中各像素的相位差确定人脸图像中各像素的深度信息,并根据人脸图像中各像素的深度信息判断是否满足预设条件,若是,则表示活体认证成功,这样,通过人脸图像中各像素的深度信息进行活体检测,避免了传统的活体检测方法繁琐的操作过程,并且,利用图像传感器采集的数据来精确获取各像素的相位差,进而根据各像素的相位差确定各像素的深度信息,提高了活体检测的准确性。
在一个实施例中,所述获取模块,具体用于:根据每个所述像素点组包括的像素点的亮度值获取目标亮度图;对所述目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,并根据所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的位置差异,确定所述相互匹配的像素的相位差,得到所述人脸图像中各像素的相位差。
在一个实施例中,所述确定模块,具体用于:根据所述人脸图像中各像素的相位差确定所述人脸图像中各像素的离焦值;根据所述人脸图像中各像素的离焦值确定所述人脸图像中各像素的深度信息。
在一个实施例中,所述判断模块,具体用于:在所述人脸图像中获取各个面部器官对应的像素的深度信息;根据各个所述面部器官对应的像素的深度信息判断是否满足所述预设条件。
在一个实施例中,所述判断模块,具体用于:根据各个所述面部器官对应的像素的深度信息确定不同的所述面部器官的相对深度信息;根据不同的所述面部器官的相对深度信息判断是否满足所述预设条件。
在一个实施例中,所述判断模块,具体用于:获取预设的相对深度信息;判断不同的所述面部器官的相对深度信息是否与所述预设的相对深度信息相匹配,其中,若不同的所述面部器官的相对深度信息与所述预设的相对深度信息相匹配,则判定不同的所述面部器官的相对深度信息满足所述预设条件。
在一个实施例中,所述判断模块,具体用于:根据所述人脸图像,获取预先存储的预设的人脸图像;根据所述预设的人脸图像获取所述预设的相对深度信息。
在一个实施例中,所述认证装置还包括执行模块,所述执行模块,具体用于:根据所述人脸图像获取虹膜识别信息;根据所述虹膜识别信息判断是否满足预定条件,若是,则执行所述获取人脸图像中各像素的相位差的步骤。
关于认证装置的具体限定可以参见上文中对于认证方法的限定,在此不再赘述。上述认证装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图9为一个实施例中电子设备的内部结构示意图。如图9所示,该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以上各个实施例所提供的一种认证方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
本申请实施例中提供的认证装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行认证方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行认证方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种认证方法,其特征在于,用于摄像设备,所述摄像设备包括图像传感器,所述图像传感器包括阵列排布的多个像素点组,每个所述像素点组包括阵列排布的多个像素点,所述方法包括:
当检测到认证时,获取人脸图像中各像素的相位差,所述相位差是根据所述图像传感器采集的数据生成的;
根据所述人脸图像中各像素的相位差确定所述人脸图像中各像素的深度信息;
根据所述人脸图像中各像素的深度信息判断是否满足预设条件,若是,则表示活体认证成功。
2.根据权利要求1所述的方法,其特征在于,所述获取人脸图像中各像素的相位差,包括:
根据每个所述像素点组包括的像素点的亮度值获取目标亮度图;
对所述目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,并根据所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的位置差异,确定所述相互匹配的像素的相位差,得到所述人脸图像中各像素的相位差。
3.根据权利要求1所述的方法,其特征在于,所述根据所述人脸图像中各像素的相位差确定所述人脸图像中各像素的深度信息,包括:
根据所述人脸图像中各像素的相位差确定所述人脸图像中各像素的离焦值;
根据所述人脸图像中各像素的离焦值确定所述人脸图像中各像素的深度信息。
4.根据权利要求1所述的方法,其特征在于,所述根据所述人脸图像中各像素的深度信息判断是否满足预设条件,包括:
在所述人脸图像中获取各个面部器官对应的像素的深度信息;
根据各个所述面部器官对应的像素的深度信息判断是否满足所述预设条件。
5.根据权利要求4所述的方法,其特征在于,所述根据各个所述面部器官对应的像素的深度信息判断是否满足所述预设条件,包括:
根据各个所述面部器官对应的像素的深度信息确定不同的所述面部器官的相对深度信息;
根据不同的所述面部器官的相对深度信息判断是否满足所述预设条件。
6.根据权利要求5所述的方法,其特征在于,所述根据不同的所述面部器官的相对深度信息判断是否满足所述预设条件,包括:
获取预设的相对深度信息;
判断不同的所述面部器官的相对深度信息是否与所述预设的相对深度信息相匹配,其中,若不同的所述面部器官的相对深度信息与所述预设的相对深度信息相匹配,则判定不同的所述面部器官的相对深度信息满足所述预设条件。
7.根据权利要求6所述的方法,其特征在于,所述获取预设的相对深度信息,包括:
根据所述人脸图像,获取预先存储的预设的人脸图像;
根据所述预设的人脸图像获取所述预设的相对深度信息。
8.根据权利要求1所述的方法,其特征在于,所述获取人脸图像中各像素的相位差之前,还包括:
根据所述人脸图像获取虹膜识别信息;
根据所述虹膜识别信息判断是否满足预定条件,若是,则执行所述获取人脸图像中各像素的相位差的步骤。
9.一种认证装置,用于摄像设备,所述摄像设备包括图像传感器,所述图像传感器包括阵列排布的多个像素点组,每个所述像素点组包括阵列排布的多个像素点,其特征在于,包括:
获取模块,用于当检测到认证时,获取人脸图像中各像素的相位差,所述相位差是根据所述图像传感器采集的数据生成的;
确定模块,用于根据所述人脸图像中各像素的相位差确定所述人脸图像中各像素的深度信息;
判断模块,用于根据所述人脸图像中各像素的深度信息判断是否满足预设条件,若是,则表示活体认证成功。
10.一种电子设备,包括图像传感器、存储器和处理器,所述图像传感器包括阵列排布的多个像素点组,每个所述像素点组包括阵列排布的多个像素点,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911102674.1A CN112861568A (zh) | 2019-11-12 | 2019-11-12 | 认证方法和装置、电子设备、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911102674.1A CN112861568A (zh) | 2019-11-12 | 2019-11-12 | 认证方法和装置、电子设备、计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112861568A true CN112861568A (zh) | 2021-05-28 |
Family
ID=75984418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911102674.1A Pending CN112861568A (zh) | 2019-11-12 | 2019-11-12 | 认证方法和装置、电子设备、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112861568A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103493484A (zh) * | 2011-03-31 | 2014-01-01 | 富士胶片株式会社 | 成像装置和成像方法 |
CN105868677A (zh) * | 2015-01-19 | 2016-08-17 | 阿里巴巴集团控股有限公司 | 一种活体人脸检测方法及装置 |
CN107563329A (zh) * | 2017-09-01 | 2018-01-09 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和移动终端 |
CN108764052A (zh) * | 2018-04-28 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
CN108805024A (zh) * | 2018-04-28 | 2018-11-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
CN109981939A (zh) * | 2017-12-28 | 2019-07-05 | 半导体元件工业有限责任公司 | 成像系统 |
CN110287900A (zh) * | 2019-06-27 | 2019-09-27 | 深圳市商汤科技有限公司 | 验证方法和验证装置 |
-
2019
- 2019-11-12 CN CN201911102674.1A patent/CN112861568A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103493484A (zh) * | 2011-03-31 | 2014-01-01 | 富士胶片株式会社 | 成像装置和成像方法 |
CN105868677A (zh) * | 2015-01-19 | 2016-08-17 | 阿里巴巴集团控股有限公司 | 一种活体人脸检测方法及装置 |
CN107563329A (zh) * | 2017-09-01 | 2018-01-09 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和移动终端 |
CN109981939A (zh) * | 2017-12-28 | 2019-07-05 | 半导体元件工业有限责任公司 | 成像系统 |
CN108764052A (zh) * | 2018-04-28 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
CN108805024A (zh) * | 2018-04-28 | 2018-11-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
CN110287900A (zh) * | 2019-06-27 | 2019-09-27 | 深圳市商汤科技有限公司 | 验证方法和验证装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109767467B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN107730445B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
CN107977940B (zh) | 背景虚化处理方法、装置及设备 | |
CN107948519B (zh) | 图像处理方法、装置及设备 | |
CN109089047B (zh) | 控制对焦的方法和装置、存储介质、电子设备 | |
KR102270674B1 (ko) | 생체인식 카메라 | |
US20220166930A1 (en) | Method and device for focusing on target subject, and electronic device | |
CN110536068B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN107734253B (zh) | 图像处理方法、装置、移动终端和计算机可读存储介质 | |
KR102229811B1 (ko) | 단말기를 위한 촬영 방법 및 단말기 | |
CN107862653B (zh) | 图像显示方法、装置、存储介质和电子设备 | |
CN108322651B (zh) | 拍摄方法和装置、电子设备、计算机可读存储介质 | |
CN112866549B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN109559353B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
CN109685853B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
US8937662B2 (en) | Image processing device, image processing method, and program | |
WO2021093637A1 (zh) | 追焦方法和装置、电子设备、计算机可读存储介质 | |
US8929685B2 (en) | Device having image reconstructing function, method, and recording medium | |
CN110365897B (zh) | 图像修正方法和装置、电子设备、计算机可读存储介质 | |
CN110830709A (zh) | 图像处理方法和装置、终端设备、计算机可读存储介质 | |
CN112866553B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN112261292A (zh) | 图像获取方法、终端、芯片及存储介质 | |
CN109068060B (zh) | 图像处理方法和装置、终端设备、计算机可读存储介质 | |
CN112866655A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN107911609B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |