CN107491744B - 人体身份识别方法、装置、移动终端和存储介质 - Google Patents
人体身份识别方法、装置、移动终端和存储介质 Download PDFInfo
- Publication number
- CN107491744B CN107491744B CN201710642706.1A CN201710642706A CN107491744B CN 107491744 B CN107491744 B CN 107491744B CN 201710642706 A CN201710642706 A CN 201710642706A CN 107491744 B CN107491744 B CN 107491744B
- Authority
- CN
- China
- Prior art keywords
- user
- human body
- features
- target
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种人体身份识别方法、装置、移动终端和计算机可读存储介质。其中方法包括:从预先建立的目标用户的三维立体模型中,提取目标用户的参考人体特征,其中,参考人体特征包含多个参考特征;从多个参考特征中选取目标参考特征;根据目标参考特征对用户进行人体身份识别。由此,本发明实施例从三维立体模型中提取人体特征,使得该人体特征更加符合用户的真实情况,并且这种具有三维特性的人体特征不会受光线、遮挡以及人的姿态等因素的影响,提高了人体身份识别的成功率,并且从多个参考特征中选择目标参考特征,大大缩短了特征匹配环节的时间,提高了身份识别的效率。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种人体身份识别方法、装置、移动终端和存储介质。
背景技术
生物识别技术是指利用人体生物特征进行身份认证的一种技术。通过计算机与光学、声学、生物传感器和生物统计学原理等技术手段密切结合,利用人体固有的生理特征和行为特征来进行个人身份的确认。
目前主流的身份识别方法有指纹识别、人脸识别和虹膜识别等。其中指纹识别和虹膜识别等方法需要被识别对象主动接受识别,智能性较低。人脸识别目前虽可主动捕捉被识别对象进行识别,但是受光线、遮挡以及人的姿态等因素影响较大。因此,如何提高人脸识别的成功率已经成为亟待解决的问题。
发明内容
本发明的目的旨在至少在一定程度上解决上述的技术问题之一。
为此,本发明的第一个目的在于提出一种人体身份识别方法。该方法可以提高人体身份识别的成功率,并且可以缩短了特征匹配环节的时间,提高了身份识别的效率。
本发明的第二个目的在于提出一种人体身份识别装置。
本发明的第三个目的在于提出一种移动终端。
本发明的第四个目的在于提出一种计算机可读存储介质。
为达到上述目的,本发明第一方面实施例提出的人体身份识别方法,包括:从预先建立的目标用户的三维立体模型中,提取所述目标用户的参考人体特征,其中,所述参考人体特征包含多个参考特征;从所述多个参考特征中选取目标参考特征;根据所述目标参考特征对用户进行人体身份识别。
根据本发明实施例的人体身份识别方法,在建立目标用户的三维立体模型之后,将该目标用户的参考人体特征进行裁剪存储,并从该参考人体特征中选取目标参考特征,这样在对用户进行人体身份识别的过程中,可将待识别用户的特征与目标参考特征进行匹配,以实现该待识别用户是否为目标用户,相较于基于二维图像的人体身份识别而言,本发明从三维立体模型中提取人体特征,使得该人体特征更加符合用户的真实情况,并且这种具有三维特性的人体特征不会受光线、遮挡以及人的姿态等因素的影响,大大提高了人体身份识别的成功率,并且从多个参考特征中选择目标参考特征,大大缩短了特征匹配环节的时间,提高了身份识别的效率。
为达到上述目的,本发明第二方面实施例提出的人体身份识别装置,包括:提取模块,用于从预先建立的目标用户的三维立体模型中,提取所述目标用户的参考人体特征,其中,所述参考人体特征包含多个参考特征;选取模块,用于从所述多个参考特征中选取目标参考特征;识别模块,用于根据所述目标参考特征对用户进行人体身份识别。
根据本发明实施例的人体身份识别装置,在建立目标用户的三维立体模型之后,将该目标用户的参考人体特征进行裁剪存储,并从该参考人体特征中选取目标参考特征,这样在对用户进行人体身份识别的过程中,可将待识别用户的特征与目标参考特征进行匹配,以实现该待识别用户是否为目标用户,相较于基于二维图像的人体身份识别而言,本发明从三维立体模型中提取人体特征,使得该人体特征更加符合用户的真实情况,并且这种具有三维特性的人体特征不会受光线、遮挡以及人的姿态等因素的影响,大大提高了人体身份识别的成功率,并且从多个参考特征中选择目标参考特征,大大缩短了特征匹配环节的时间,提高了身份识别的效率。
为达到上述目的,本发明第三方面实施例提出的移动终端,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行本发明第一方面实施例所述的人体身份识别方法。
为达到上述目的,本发明第四方面实施例提出的一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行本发明第一方面实施例所述的人体身份识别方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明一个实施例的人体身份识别方法的流程图;
图2是根据本发明一个实施例的用户的深度图像的测量示例图;
图3是根据本发明一个实施例的获得用户的深度图像的原理示例图;
图4是根据本发明一个具体实施例的人体身份识别方法的流程图;
图5是根据本发明一个实施例的人体身份识别装置的结构示意图;
图6是根据本发明一个具体实施例的人体身份识别装置的结构示意图;
图7是根据本发明另一个具体实施例的人体身份识别装置的结构示意图;
图8是根据本发明又一个具体实施例的人体身份识别装置的结构示意图;
图9为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
可以理解,本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本发明的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。
下面参考附图描述本发明实施例的人体身份识别方法、装置以及移动终端。
图1是根据本发明一个实施例的人体身份识别方法的流程图。需要说明的是,本发明实施例的人体身份识别方法可应用于本发明实施例的人体身份识别装置。该人体身份识别装置可被配置于移动终端。其中,该移动终端可以是手机、平板电脑、个人数字助理等具有各种操作系统的硬件设备。
如图1所示,该人体身份识别方法可以包括:
S110,从预先建立的目标用户的三维立体模型中,提取目标用户的参考人体特征,其中,参考人体特征包含多个参考特征。
具体地,可从该目标用户的三维立体模型中提取该目标用户的参考人体特征。其中,参考人体特征可理解为在后续对用户进行人体身份识别时,用来作为参考基准的人体特征。该参考人体特征可包含多个参考特征。其中,该多个参考特征可包括但不限于脸型特征、五官特征(即眉、眼、耳、鼻、口这五种影响容貌面部特征)、三围(即胸围、腰围、臀围)特征等。
可选地,在本发明的一个实施例中,可预先建立目标用户的三维立体模型。作为一种示例,该目标用户的三维立体模型可通过以下步骤预先建立:通过移动终端的投射装置和摄像头,获取目标用户的结构光图像,并对该结构光图像进行解调以获得该目标用户的深度信息,并根据深度信息建立目标用户的三维立体模型。
在本示例中,上述通过移动终端的投射装置和摄像头以获取目标用户的深度信息的具体实现过程可如下:通过移动终端的投射装置向目标用户所处的空间投射预设的散斑图案,并通过移动终端的摄像头对目标用户进行采集,得到带有散斑图案的目标用户的二维畸变图像,并利用预设公式经对二维畸变图像进行计算后得到目标用户的深度图像,该深度图像中各个像素信息即为该目标用户的深度信息。
可以理解,如图2所示,光学投射装置可将一个预设的散斑图案投射到目标用户所处的空间内,在被测物体(如目标用户)的表面上形成由目标用户表面形状所调制的光条的三维图像。该三维图像由处于移动终端的另一位置的摄像头探测,从而获得光条二维畸变图像。其中,光条的畸变程度取决于投射装置与摄像头之间的相对位置和目标用户表面轮廓,直观上,沿光条显示出的位移(或偏移)与目标用户表面高度成比例,扭曲表示了平面的变化,不连续显示了表面的物理间隙,当投射装置与摄像头之间的相对位置一定时,由畸变的二维图像的坐标即可重现目标用户表面的三维轮廓,即该三维轮廓即理解为目标用户的深度图像,该深度图像中各个像素信息即为该目标用户的深度信息。
也就是说,可通过移动终端的投射装置向目标用户所处的空间投射一个散斑图案,该散斑图案中具有多个光斑点,该散斑图案被投射到目标用户表面上时,该散斑图案中的好多光斑点的位置由于目标用户表面的原因而发生了偏移,这样,利用预设公式根据相对于光斑点的初始位置偏移的量计算出目标用户的深度信息。
作为一种示例,上述预设公式可为:
其中,(x,y,z)为目标用户的深度图像的坐标,b为投射装置与摄像头之间的基线间距,F为摄像头的焦距,θ为投射装置向目标用户所处的空间投射预设的散斑图案时的投影角度,(x',y')为带有散斑图案的目标用户的二维畸变图像的坐标。
为了更加清楚的说明上述预设公式的原理,下面以投射的散斑图案中的一个单点为例说明,如图3所示,通过上述预设公式即可获得投射点的深度信息。也就是说,通过从已知角度投影一个激光点到目标用户上,然后用摄像头获取该点的二维畸变图像,并确定投射装置与摄像头之间相距一个基线距离b,这样,将已知投影角度、投射装置与摄像头之间的基线间距、摄像头的焦距、该单点对应的二维畸变图像的坐标,代入上述预设公式(1)即可得到该单点对应的目标用户的深度图像的坐标。由此,实现了由畸变的二维图像坐标重现物体表面的三维轮廓的目的,进而得到了目标用户的深度信息。
在本示例中,在得到目标用户的深度信息之后,可利用IBMR(Image-BasedModeling and Rendering,基于图像的建模和绘制)技术根据该深度信息建立该目标用户的三维立体模型。
S120,从多个参考特征中选取目标参考特征。
在本步骤中,从多个参考特征中选取目标参考特征的方式有很多,下面将给出两种不同选取方式的示例,其中,可以理解,下面两种示例仅是为了方便本领域技术人员了解如何选取目标参考特征的两种不同的实现方式,并非是对本发明的具体限定。也就是说,除了下面给出的两种实现方式之外,还可以通过其他方式以实现从多个参考特征中选取目标参考特征,在此本发明不做具体限定。
作为一种示例,可将匹配相似度最高的参考特征作为目标参考特征。也就是说,在人体身份识别时,可提取用户的多个待匹配特征,并将该多个待匹配特征分别与各个参考特征进行匹配,此时,可将匹配相似度最高的参考特征作为目标参考特征。
作为另一种示例,可对用户进行人体身份识别成功时所采用的各个参考特征的次数进行排序,这样,将采用次数最多的参考特征作为目标参考特征。
S130,根据目标参考特征对用户进行人体身份识别。
具体地,可对用户进行深度图像采集,并从采集到的深度图像中获取该用户的人体特征,并将该用户的人体特征与目标参考特征进行匹配,以识别该用户是否为目标用户。
作为一种示例,可通过移动终端的投射装置和摄像头,获取用户的深度图像,并从深度图像中获取用户的人体特征,其中,人体特征包含多个特征,以及将用户的人体特征与目标参考特征进行匹配,以识别用户是否为目标用户。例如,如果用户的人体特征与该目标参考特征的匹配相似度大于或等于一定阈值,则可判定该用户即为该目标用户,即该用户通过了身份识别。
在本发明的一个实施例中,上述通过移动终端的投射装置和摄像头,获取用户的深度图像的具体实现过程可如下:通过移动终端的投射装置向用户所处的空间投射预设的散斑图案,并通过移动终端的摄像头对用户进行采集,得到带有散斑图案的用户的二维畸变图像,并利用预设公式经对二维畸变图像进行计算后得到用户的深度图像。
作为一种示例,上述预设公式可为:
其中,(x,y,z)为用户的深度图像的坐标,b为投射装置与摄像头之间的基线间距,F为摄像头的焦距,θ为投射装置向用户所处的空间投射预设的散斑图案时的投影角度,(x',y')为带有散斑图案的用户的二维畸变图像的坐标。
需要说明的是,上述用户的深度图像的获取方式与上述目标用户的深度信息的获取方式基本相同,因此,所述用户的深度图像的获取方式可参见上述目标用户的深度信息的获取方式的描述,在此不再赘述。
根据本发明实施例的人体身份识别方法,在建立目标用户的三维立体模型之后,将该目标用户的参考人体特征进行裁剪存储,并从该参考人体特征中选取目标参考特征,这样在对用户进行人体身份识别的过程中,可将待识别用户的特征与目标参考特征进行匹配,以实现该待识别用户是否为目标用户,相较于基于二维图像的人体身份识别而言,本发明从三维立体模型中提取人体特征,使得该人体特征更加符合用户的真实情况,并且这种具有三维特性的人体特征不会受光线、遮挡以及人的姿态等因素的影响,大大提高了人体身份识别的成功率,并且从多个参考特征中选择目标参考特征,大大缩短了特征匹配环节的时间,提高了身份识别的效率。
图4是根据本发明一个具体实施例的人体身份识别方法的流程图。
为了提高人体身份识别的成功率,并缩短特征匹配环节的时间,提高了身份识别的效率,在本发明的实施例中,可将用户进行人体身份识别成功时所采用次数最多的参考特征作为目标参考特征,以便后续根据该目标参考特征对用户进行人体身份识别。具体地,如图4所示,该人体身份识别方法可以包括:
S410,从预先建立的目标用户的三维立体模型中,提取目标用户的参考人体特征,其中,参考人体特征包含多个参考特征。
作为一种示例,该目标用户的三维立体模型可通过以下步骤预先建立:通过移动终端的投射装置和摄像头,获取目标用户的深度信息,并根据深度信息建立目标用户的三维立体模型。
S420,对用户进行人体身份识别成功时所采用的各个参考特征的次数进行排序。
具体地,可记录每次对用户进行人体身份识别成功时所采用的参考特征,并进行排序,例如,假设参考特征的个数为3个,比如参考特征1、参见特征2和参考特征3,对用户进行人体身份识别成功30次中,参考特征1采用5次,参考特征2采用15次,参考特征3采用10次.按照参考特征的采用次数由多至少的顺序排列为:参考特征2、参考特征3及参考特征1。
S430,将采用次数最多的参考特征作为目标参考特征。
如上述实施例中,可将采用次数最多的参考特征2作为目标参考特征,以便后续利用该参考特征2以对用户进行人体身份识别。这样,在对用户进行人体身份识别时,只需利用目标参考特征对用户进行人体身份识别即可,无需再利用参考人体特征中的其他参考特征对该用户进行人体身份识别,由此可见,大大缩短了特征匹配环节的时间,提高了身份识别的效率,并且,通过将采用识别成功次数最多的参考特征作为目标参考特征,在缩短特征匹配环节的时间的同时,保证了人体身份识别的成功率。
S440,根据目标参考特征对用户进行人体身份识别。
作为一种示例,可通过移动终端的投射装置和摄像头,获取用户的深度图像,并从深度图像中获取用户的人体特征,其中,人体特征包含多个特征,以及将用户的人体特征与目标参考特征进行匹配,以识别用户是否为目标用户。例如,如果用户的人体特征与该目标参考特征的匹配相似度大于或等于一定阈值,则可判定该用户即为该目标用户,即该用户通过了身份识别。
在本发明的一个实施例中,上述通过移动终端的投射装置和摄像头,获取用户的深度图像的具体实现过程可如下:通过移动终端的投射装置向用户所处的空间投射预设的散斑图案,并通过移动终端的摄像头对用户进行采集,得到带有散斑图案的用户的二维畸变图像,并利用预设公式经对二维畸变图像进行计算后得到用户的深度图像。
作为一种示例,上述预设公式可为:
其中,(x,y,z)为用户的深度图像的坐标,b为投射装置与摄像头之间的基线间距,F为摄像头的焦距,θ为投射装置向用户所处的空间投射预设的散斑图案时的投影角度,(x',y')为带有散斑图案的用户的二维畸变图像的坐标。
进一步地,在本发明的一个实施例中,所述对用户进行人体身份识别的步骤还可包括:如果根据采用次数最多的参考特征进行人体身份识别失败,则根据排序按照参考特征的采用次数由多至少,将采用次数由多至少的参考特征依次作为新的目标特征,并根据新的目标特征对用户进行人体身份识别。
例如,如上述实施例中,在根据采用次数最多的参考特征2进行人体身份识别失败时,可将采用菜熟由多至少的参考特征3、及参考特征1依次作为新的目标特征,并根据该新的目标特征对用户进行人体身份识别。比如,可将参考特征3作为新的目标特征,并根据该参考特征3对用户进行人体身份识别,若身份识别成功,则可判定该用户即为目标用户,否则,可继续将该参考特征1作为新的目标特征,并利用该参考特征1对用户进行人体身份识别,若身份识别成功,则可判定该用户即为目标用户,否则可判定该用户不是目标用户,即该用户的身份识别未通过。
根据本发明实施例的人体身份识别方法,可对用户进行人体身份识别成功时所采用的各个参考特征的次数进行排序,并将采用次数最多的参考特征作为目标参考特征,以便后续利用该目标参考特征以对用户进行人体身份识别。这样,在对用户进行人体身份识别时,只需利用目标参考特征对用户进行人体身份识别即可,无需再利用参考人体特征中的其他参考特征对该用户进行人体身份识别,由此可见,大大缩短了特征匹配环节的时间,提高了身份识别的效率,并且,通过将采用识别成功次数最多的参考特征作为目标参考特征,在缩短特征匹配环节的时间的同时,保证了人体身份识别的成功率。
与上述几种实施例提供的人体身份识别方法相对应,本发明的一种实施例还提供一种人体身份识别装置,由于本发明实施例提供的人体身份识别装置与上述几种实施例提供的人体身份识别方法相对应,因此在前述人体身份识别方法的实施方式也适用于本实施例提供的人体身份识别装置,在本实施例中不再详细描述。图5是根据本发明一个实施例的人体身份识别装置的结构示意图。如图5所示,该人体身份识别装置可以包括:提取模块510、选取模块520和识别模块530。
具体地,提取模块510可用于从预先建立的目标用户的三维立体模型中,提取目标用户的参考人体特征,其中,参考人体特征包含多个参考特征。
选取模块520可用于从多个参考特征中选取目标参考特征。作为一种示例,如图6所示,该选取模块520可包括:排序单元521和选取单元522。其中,排序单元521可用于对用户进行人体身份识别成功时所采用的各个参考特征的次数进行排序。选取单元522可用于将采用次数最多的参考特征作为目标参考特征。这样,在对用户进行人体身份识别时,只需利用目标参考特征对用户进行人体身份识别即可,无需再利用参考人体特征中的其他参考特征对该用户进行人体身份识别,由此可见,大大缩短了特征匹配环节的时间,提高了身份识别的效率,并且,通过将采用识别成功次数最多的参考特征作为目标参考特征,在缩短特征匹配环节的时间的同时,保证了人体身份识别的成功率。
识别模块530可用于根据目标参考特征对用户进行人体身份识别。作为一种示例,如图7所示,该识别模块530可包括:第一获取单元531、第二获取单元532和识别单元533。其中,第一获取单元531用于通过移动终端的投射装置和摄像头,获取用户的深度图像。第二获取单元532用于从深度图像中获取用户的人体特征,其中,人体特征包含多个特征。识别单元533用于将用户的人体特征与目标参考特征进行匹配,以识别用户是否为目标用户。
在本发明的一个实施例中,第一获取单元531可通过移动终端的投射装置向用户所处的空间投射预设的散斑图案,并通过移动终端的摄像头对用户进行采集,得到带有散斑图案的用户的二维畸变图像,并利用预设公式经对二维畸变图像进行计算后得到用户的深度图像。
作为一种示例,上述预设公式可为:
其中,(x,y,z)为用户的深度图像的坐标,b为投射装置与摄像头之间的基线间距,F为摄像头的焦距,θ为投射装置向用户所处的空间投射预设的散斑图案时的投影角度,(x',y')为带有散斑图案的用户的二维畸变图像的坐标。
可选地,在本发明的一个实施例中,如图8所述,该人体身份识别装置还可包括:建立模块540,该建立模块540可用于预先建立目标用户的三维立体模型。其中,在本发明的实施例中,如图8所示,该建立模块540可包括:获取单元541和建立单元542。其中,获取单元541用于通过移动终端的投射装置和摄像头,获取目标用户的结构光图像,并对该结构光图像进行解调以获取该目标用户的深度信息。建立单元542用于根据深度信息建立目标用户的三维立体模型。
为了保证人体身份识别的成功率,进一步地,在本发明的一个实施例中,选取模块还可用于:在根据采用次数最多的参考特征进行人体身份识别失败时,根据排序按照参考特征的采用次数由多至少,将采用次数由多至少的参考特征依次作为新的目标特征;识别模块还可用于:根据新的目标特征对用户进行人体身份识别。
根据本发明实施例的人体身份识别装置,在建立目标用户的三维立体模型之后,将该目标用户的参考人体特征进行裁剪存储,并从该参考人体特征中选取目标参考特征,这样在对用户进行人体身份识别的过程中,可将待识别用户的特征与目标参考特征进行匹配,以实现该待识别用户是否为目标用户,相较于基于二维图像的人体身份识别而言,本发明从三维立体模型中提取人体特征,使得该人体特征更加符合用户的真实情况,并且这种具有三维特性的人体特征不会受光线、遮挡以及人的姿态等因素的影响,大大提高了人体身份识别的成功率,并且从多个参考特征中选择目标参考特征,大大缩短了特征匹配环节的时间,提高了身份识别的效率。
上述人体身份识别装置中各个模块的划分仅用于举例说明,在其他实施例中,可将人体身份识别装置按照需要划分为不同的模块,以完成上述人体身份识别装置的全部或部分功能。
本发明实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行以下步骤:
S110’,从预先建立的目标用户的三维立体模型中,提取目标用户的参考人体特征,其中,参考人体特征包含多个参考特征;
S120’,从多个参考特征中选取目标参考特征;
S130’,根据目标参考特征对用户进行人体身份识别。
本发明实施例还提供一种移动终端。上述移动终端中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
如图9所示,图像处理电路包括成像设备910、ISP处理器930和控制逻辑器940。成像设备910可包括具有一个或多个透镜912、图像传感器914的摄像头和结构光投射器916。结构光投射器916将结构光投影至被测物。其中,该结构光图案可为激光条纹、格雷码、正弦条纹、或者,随机排列的散斑图案等。图像传感器914捕捉投影至被测物形成的结构光图像,并将结构光图像发送至ISP处理器930,由ISP处理器930对结构光图像进行解调获取被测物的深度信息。同时,图像传感器914也可以捕捉被测物的色彩信息。当然,也可以由两个图像传感器914分别捕捉被测物的结构光图像和色彩信息。
其中,以散斑结构光为例,ISP处理器930对结构光图像进行解调,具体包括,从该结构光图像中采集被测物的散斑图像,将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算,获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值,并根据该深度值得到被测物的深度信息。
当然,还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等,在此不做限定,只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。
在ISP处理器930接收到图像传感器914捕捉到的被测物的色彩信息之后,可被测物的色彩信息对应的图像数据进行处理。ISP处理器930对图像数据进行分析以获取可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜),图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器930处理的一组原始图像数据。
ISP处理器930按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器930可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器930还可从图像存储器920接收像素数据。图像存储器920可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct MemoryAccess,直接直接存储器存取)特征。
当接收到原始图像数据时,ISP处理器930可进行一个或多个图像处理操作。
在ISP处理器930获取到被测物的色彩信息和深度信息后,可对其进行融合,得到三维图像。其中,可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法,提取被测物的特征,在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合,也可以是将不同图像中相同的特征进行权重设定后组合,也可以有其他融合方式,最终根据融合后的特征,生成三维图像。
三维图像的图像数据可发送给图像存储器920,以便在被显示之前进行另外的处理。ISP处理器930从图像存储器920接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器960,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器930的输出还可发送给图像存储器920,且显示器960可从图像存储器920读取图像数据。在一个实施例中,图像存储器920可被配置为实现一个或多个帧缓冲器。此外,ISP处理器930的输出可发送给编码器/解码器950,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器960设备上之前解压缩。编码器/解码器950可由CPU或GPU或协处理器实现。
ISP处理器930确定的图像统计信息可发送给控制逻辑器940单元。控制逻辑器940可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的图像统计信息,确定成像设备910的控制参数。
以下为运用图9中图像处理技术实现人体身份识别方法的步骤:
S910’,从预先建立的目标用户的三维立体模型中,提取目标用户的参考人体特征,其中,参考人体特征包含多个参考特征;
S920’,从多个参考特征中选取目标参考特征;
S930’,根据目标参考特征对用户进行人体身份识别。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种人体身份识别方法,其特征在于,应用于移动终端,所述移动终端包括结构光投射器以及摄像头,所述方法包括以下步骤:
从预先建立的目标用户的三维立体模型中,提取所述目标用户的参考人体特征,其中,所述参考人体特征包含多个参考特征,所述多个参考特征至少包括脸型特征、五官特征以及三围特征;
在对用户进行人体身份识别时,提取所述用户的多个待匹配特征,将所述多个待匹配特征分别与各个参考特征进行匹配;
将匹配相似度最高的参考特征作为目标参考特征;
通过所述结构光投射器和摄像头,获取用户的深度图像;
从所述深度图像中获取所述用户的人体特征,其中,所述人体特征包含多个特征;
将所述用户的人体特征与所述目标参考特征进行匹配,以识别所述用户是否为所述目标用户。
2.如权利要求1所述的人体身份识别方法,其特征在于,所述通过移动终端的投射装置和摄像头,获取用户的深度图像,包括:
通过移动终端的投射装置向用户所处的空间投射预设的散斑图案,并通过所述移动终端的摄像头对所述用户进行采集,得到带有所述散斑图案的用户的二维畸变图像;
利用预设公式经对所述二维畸变图像进行计算后得到所述用户的深度图像。
4.如权利要求1所述的人体身份识别方法,其特征在于,所述目标用户的三维立体模型通过以下步骤预先建立:
通过移动终端的投射装置和摄像头,获取目标用户的深度信息;
根据所述深度信息建立所述目标用户的三维立体模型。
5.如权利要求1所述的人体身份识别方法,其特征在于,对用户进行人体身份识别的步骤还包括:
如果根据采用次数最多的参考特征进行人体身份识别失败,则根据排序按照参考特征的采用次数由多至少,将所述采用次数由多至少的参考特征依次作为新的目标特征;
根据所述新的目标特征对用户进行人体身份识别。
6.一种人体身份识别装置,其特征在于,应用于移动终端,所述移动终端包括结构光投射器以及摄像头,所述装置包括:
提取模块,用于从预先建立的目标用户的三维立体模型中,提取所述目标用户的参考人体特征,其中,所述参考人体特征包含多个参考特征,所述多个参考特征至少包括脸型特征、五官特征以及三围特征;
选取模块,用于在对用户进行人体身份识别时,提取所述用户的多个待匹配特征,将所述多个待匹配特征分别与各个参考特征进行匹配,将匹配相似度最高的参考特征作为目标参考特征;
识别模块,包括第一获取单元、第二获取单元以及识别单元,所述第一获取单元用于通过所述投射装置和摄像头,获取用户的深度图像,所述第二获取单元用于从所述深度图像中获取所述用户的人体特征,其中,所述人体特征包含多个特征,所述识别单元用于将所述用户的人体特征与所述目标参考特征进行匹配,以识别所述用户是否为所述目标用户。
7.如权利要求6所述的人体身份识别装置,其特征在于,所述第一获取单元具体用于:
通过移动终端的投射装置向用户所处的空间投射预设的散斑图案,并通过所述移动终端的摄像头对所述用户进行采集,得到带有所述散斑图案的用户的二维畸变图像;
利用预设公式经对所述二维畸变图像进行计算后得到所述用户的深度图像。
9.如权利要求6所述的人体身份识别装置,其特征在于,还包括:
建立模块,用于预先建立所述目标用户的三维立体模型;
其中,所述建立模块包括:
获取单元,用于通过移动终端的投射装置和摄像头,获取目标用户的深度信息;
建立单元,用于根据所述深度信息建立所述目标用户的三维立体模型。
10.如权利要求6所述的人体身份识别装置,其特征在于,
所述选取模块还用于:在根据采用次数最多的参考特征进行人体身份识别失败时,根据排序按照参考特征的采用次数由多至少,将所述采用次数由多至少的参考特征依次作为新的目标特征;
所述识别模块还用于:根据所述新的目标特征对用户进行人体身份识别。
11.一种移动终端,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述的人体身份识别方法。
12.一种包含一个或多个计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述的人体身份识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710642706.1A CN107491744B (zh) | 2017-07-31 | 2017-07-31 | 人体身份识别方法、装置、移动终端和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710642706.1A CN107491744B (zh) | 2017-07-31 | 2017-07-31 | 人体身份识别方法、装置、移动终端和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107491744A CN107491744A (zh) | 2017-12-19 |
CN107491744B true CN107491744B (zh) | 2021-03-02 |
Family
ID=60644121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710642706.1A Expired - Fee Related CN107491744B (zh) | 2017-07-31 | 2017-07-31 | 人体身份识别方法、装置、移动终端和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107491744B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10614292B2 (en) * | 2018-02-06 | 2020-04-07 | Kneron Inc. | Low-power face identification method capable of controlling power adaptively |
CN108647636B (zh) * | 2018-05-09 | 2024-03-05 | 深圳阜时科技有限公司 | 身份鉴权方法、身份鉴权装置及电子设备 |
CN108921008B (zh) * | 2018-05-14 | 2024-06-11 | 深圳市商汤科技有限公司 | 人像识别方法、装置及电子设备 |
CN109684918A (zh) * | 2018-11-14 | 2019-04-26 | 南宁学院 | 一种高速物体识别系统 |
CN112149447A (zh) * | 2019-06-26 | 2020-12-29 | 杭州海康威视数字技术股份有限公司 | 一种人员识别方法、装置及电子设备 |
CN110472485A (zh) * | 2019-07-03 | 2019-11-19 | 华为技术有限公司 | 识别身份的方法和装置 |
CN111015650A (zh) * | 2019-11-18 | 2020-04-17 | 安徽机电职业技术学院 | 一种多点确定目标位置的工业机器人智能视觉系统及方法 |
CN112702652A (zh) * | 2020-12-25 | 2021-04-23 | 珠海格力电器股份有限公司 | 智能家居的控制方法和装置、存储介质、电子装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102175179A (zh) * | 2011-02-23 | 2011-09-07 | 东南大学 | 一种人体表面轮廓三维重建的方法与装置 |
CN102622591A (zh) * | 2012-01-12 | 2012-08-01 | 北京理工大学 | 3d人体姿态捕捉模仿系统 |
CN104680168A (zh) * | 2015-03-10 | 2015-06-03 | 无锡桑尼安科技有限公司 | 用于公路地貌识别的特征向量提取设备 |
CN106504751A (zh) * | 2016-08-01 | 2017-03-15 | 深圳奥比中光科技有限公司 | 自适应唇语交互方法以及交互装置 |
CN106774856A (zh) * | 2016-08-01 | 2017-05-31 | 深圳奥比中光科技有限公司 | 基于唇语的交互方法以及交互装置 |
-
2017
- 2017-07-31 CN CN201710642706.1A patent/CN107491744B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102175179A (zh) * | 2011-02-23 | 2011-09-07 | 东南大学 | 一种人体表面轮廓三维重建的方法与装置 |
CN102622591A (zh) * | 2012-01-12 | 2012-08-01 | 北京理工大学 | 3d人体姿态捕捉模仿系统 |
CN104680168A (zh) * | 2015-03-10 | 2015-06-03 | 无锡桑尼安科技有限公司 | 用于公路地貌识别的特征向量提取设备 |
CN106504751A (zh) * | 2016-08-01 | 2017-03-15 | 深圳奥比中光科技有限公司 | 自适应唇语交互方法以及交互装置 |
CN106774856A (zh) * | 2016-08-01 | 2017-05-31 | 深圳奥比中光科技有限公司 | 基于唇语的交互方法以及交互装置 |
Non-Patent Citations (1)
Title |
---|
基于线结构光的三维视觉表面测量系统关键技术研究;范建华;《中国优秀硕士学位论文全文数据库信息科技辑》;20150715(第 07 期);第I138-1316页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107491744A (zh) | 2017-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107491744B (zh) | 人体身份识别方法、装置、移动终端和存储介质 | |
CN107480613B (zh) | 人脸识别方法、装置、移动终端和计算机可读存储介质 | |
CN107563304B (zh) | 终端设备解锁方法及装置、终端设备 | |
US11176406B2 (en) | Edge-based recognition, systems and methods | |
CN107479801B (zh) | 基于用户表情的终端显示方法、装置及终端 | |
CN107368730B (zh) | 解锁验证方法和装置 | |
CN106372629B (zh) | 一种活体检测方法和装置 | |
CN107481304B (zh) | 在游戏场景中构建虚拟形象的方法及其装置 | |
CN107016348B (zh) | 结合深度信息的人脸检测方法、检测装置和电子装置 | |
CN107483845B (zh) | 拍照方法及其装置 | |
CN107610171B (zh) | 图像处理方法及其装置 | |
CN107592449B (zh) | 三维模型建立方法、装置和移动终端 | |
CN107481317A (zh) | 人脸3d模型的面部调整方法及其装置 | |
CN107392874B (zh) | 美颜处理方法、装置及移动设备 | |
CN107493428A (zh) | 拍摄控制方法和装置 | |
EP3241151A1 (en) | An image face processing method and apparatus | |
CN107491675B (zh) | 信息安全处理方法、装置和终端 | |
KR20170092533A (ko) | 얼굴 포즈 교정 방법 및 장치 | |
CN107465906A (zh) | 场景的全景拍摄方法、装置及终端设备 | |
CN107705278B (zh) | 动态效果的添加方法和终端设备 | |
CN107590828B (zh) | 拍摄图像的虚化处理方法和装置 | |
CN107659985B (zh) | 降低移动终端功耗的方法、装置、存储介质和移动终端 | |
CN107360354B (zh) | 拍照方法、装置、移动终端和计算机可读存储介质 | |
CN107463659A (zh) | 物体搜索方法及其装置 | |
CN107613239B (zh) | 视频通信背景显示方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210302 |