CN108629261B - 远距离的身份识别方法及其系统与计算机可读取记录媒体 - Google Patents

远距离的身份识别方法及其系统与计算机可读取记录媒体 Download PDF

Info

Publication number
CN108629261B
CN108629261B CN201710232732.7A CN201710232732A CN108629261B CN 108629261 B CN108629261 B CN 108629261B CN 201710232732 A CN201710232732 A CN 201710232732A CN 108629261 B CN108629261 B CN 108629261B
Authority
CN
China
Prior art keywords
user
similarity
image
registered
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710232732.7A
Other languages
English (en)
Other versions
CN108629261A (zh
Inventor
徐佑钧
卓卿安
何明哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN108629261A publication Critical patent/CN108629261A/zh
Application granted granted Critical
Publication of CN108629261B publication Critical patent/CN108629261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

一种远距离的身份识别方法及其系统与计算机可读取记录媒体。该方法适用于具有影像撷取装置以及深度传感器的系统并且包括下列步骤:利用该影像撷取装置撷取使用者的影像,以产生使用者影像;利用该深度传感器检测该使用者的深度信息,以产生使用者深度信息;根据该使用者影像以及该使用者深度信息,取得该使用者的多个软性生物特征,其中所述软性生物特征包括该使用者的轮廓信息以及多个身体部位特征;以及根据所述软性生物特征,利用多个已注册使用者的注册信息,计算该使用者的软性生物特征相似度,并根据该软性生物特征相似度输出该使用者的身份识别结果。本发明可达到非接触性、速度快并且高成效的身份识别。

Description

远距离的身份识别方法及其系统与计算机可读取记录媒体
技术领域
本发明涉及一种身份识别方法及其系统与计算机可读取记录媒体,且特别涉及一种远距离的身份识别方法及其系统与计算机可读取记录媒体。
背景技术
随着人机界面的应用日渐普及以及数字化的发展趋势,目前已发展出的身份识别技术种类繁多,其大致可略分为近距离以及远距离两大类。
近距离的身份识别可细分为基于人体生物特征以及基于行为特征两类。基于人体生物特征的识别例如是脸部、指纹、虹膜识别等技术发展成熟且识别率佳,但皆需要在使用者正对镜头或是手指放置在指纹识别器上等特定情境才能使用。基于行为特征的识别例如是声纹或是签名等亦是需要在使用者进行特定行为时才能使用,并且此类技术对于距离的要求高甚至为接触性,因而增加了应用的限制。
另一方面,远距离的身份识别包括例如步态、穿着等非接触性的识别方式,因此使用上弹性较高,适用于安全监控系统或是机器人视觉上。然而,远距离所能获取到的人体特征较少且不明确。以步态识别而言,其虽拥有其独特性并且不易伪装,但识别过程需要经由一连串的影像序列进行判断,因此识别过程相当耗时。此外,步态识别会因为穿着的舒适度或是身体受伤而影响到判断结果。以穿着识别而言,相同使用者的穿着变化极多,且不同使用者有可能具有相似的穿着,导致其识别的独特性较弱。因此,远距离的身份识别成效相对较差。
因此,需要提供一种远距离的身份识别方法及其系统与计算机可读取记录媒体来解决上述问题。
发明内容
有鉴于此,本发明提供一种远距离的身份识别方法及其系统与计算机可读取记录媒体,其可达到非接触性、速度快并且高成效的身份识别。
在本发明的一实施例中,上述远距离的身份识别方法适用于具有影像撷取装置以及深度传感器的系统并且包括下列步骤:利用该影像撷取装置撷取使用者的影像,以产生使用者影像;利用该深度传感器检测该使用者的深度信息,以产生使用者深度信息;根据该使用者影像以及该使用者深度信息,取得该使用者的多个软性生物特征,其中所述软性生物特征包括该使用者的轮廓信息以及多个身体部位特征;以及根据所述软性生物特征,利用多个已注册使用者的注册信息,计算该使用者的软性生物特征相似度,并根据该软性生物特征相似度输出该使用者的身份识别结果。
在本发明的一实施例中,上述身份识别系统包括影像撷取装置,该影像撷取装置用以撷取影像;深度传感器,该深度传感器用以检测深度信息;存储器,该存储器用以储存多个已注册使用者的注册信息;处理器,该处理器耦接该影像撷取装置、该深度传感器以及该存储器,用以执行下列步骤:利用该影像撷取装置撷取使用者的影像,以产生使用者影像;利用该深度传感器检测该使用者的深度信息,以产生使用者深度信息;根据该使用者影像以及该使用者深度信息,取得该使用者的多个软性生物特征,其中所述软性生物特征包括该使用者的轮廓信息以及多个身体部位特征;以及根据所述软性生物特征,利用多个已注册使用者的注册信息,计算该使用者的软性生物特征相似度,并根据该软性生物特征相似度输出该使用者的身份识别结果。
在本发明的一实施例中,上述计算机可读取记录媒体记录计算机程序,其经由上述身份识别系统的处理器载入以执行下列步骤:利用影像撷取装置撷取使用者的影像,以产生使用者影像;利用深度传感器检测该使用者的深度信息,以产生使用者深度信息;根据该使用者影像以及该使用者深度信息,取得该使用者的多个软性生物特征,其中所述软性生物特征包括该使用者的轮廓信息以及多个身体部位特征;以及根据所述软性生物特征,利用多个已注册使用者的注册信息,计算该使用者的软性生物特征相似度,并根据该软性生物特征相似度输出该使用者的身份识别结果。
综上所述,本发明所提出的远距离的身份识别方法及其系统与计算机可读取记录媒体,其利用软性生物特征作为身份识别的依据,以达到非接触性并且高成效的判断结果。此外,本发明还可导入脸部识别以及日常穿着来作为辅助判断,相较于现有的身份识别方式,本发明可在不干扰到使用者的前提下,达到速度快并且精确的身份识别。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合附图作详细说明如下。
附图说明
图1为根据本发明一实施例所绘示的身份识别系统的框图。
图2为根据本发明一实施例所绘示的远距离的身份识别方法的流程图。
图3A为根据公知GrabCut所绘示的影像示意图。
图3B为根据本发明一实施例所绘示的影像分割的示意图。
图4为根据本发明另一实施例所绘示的远距离的身份识别方法的流程图。
主要组件符号说明:
100 身份识别系统
110 影像撷取装置
120 深度传感器
130 存储器
14021 处理器
S202~S210、S402~S420 远距离的身份识别方法流程
Img 影像
BG、PFG、FG 区块
Img1 深度前景影像
Img2 形态学影像
Img3 细线化影像
Img4 切割后的前景影像
具体实施方式
本发明的部分实施例接下来将会配合附图来详细描述,以下的描述所引用的组件符号,当不同附图出现相同的组件符号将视为相同或相似的组件。这些实施例只是本发明的一部分,并未公开所有本发明的可实施方式。更确切的说,这些实施例只是本发明的权利要求书中的方法、系统以及计算机可读取记录媒体的范例。
图1为根据本发明一实施例所绘示的身份识别系统的框图,但此仅是为了方便说明,并不用以限制本发明。首先图1先介绍身份识别系统中的所有构件以及配置关系,详细功能将配合图2一并公开。
请参照图1,身份识别系统100包括影像撷取装置110、深度传感器120、存储器130以及处理器140,其中处理器140耦接至影像撷取装置110、深度传感器120以及存储器130,而影像撷取装置110与深度传感器120设置于同一侧。在本实施例中,身份识别系统100可以是将所有构件整合为例如是智能型手机、平板计算机、笔记本型计算机等单一电子装置。在另一实施例中,身份识别系统100可以是具有存储器130以及处理器140的计算机系统,而影像撷取装置110以及深度传感器120则是外接于计算机系统或上述电子装置。身份识别系统100可以是设置于居家环境、医院病房等地,以达到安全监控的目的,然而本发明不在此设限。
影像撷取装置110用以撷取其前方的影像并且包括具有透镜以及感光组件的摄像镜头。感光组件用以感测进入透镜的光线强度,进而产生影像。感光组件可以例如是电荷耦合组件(charge coupled device,CCD)、互补性氧化金属半导体(complementary metal-oxide semiconductor,CMOS)组件或其他组件,本发明不在此设限。
深度传感器120用以检测其前方的深度信息,其可以分为主动式深度传感器以及被动式深度传感器。主动式深度传感器可藉由主动发出光源、超音波、激光等作为信号来计算前方的深度信息。另一方面,被动式深度传感器可以例如是另一个影像撷取装置,并且与影像撷取装置110以不同视角同时撷取前方的两张影像,以利用两张影像的视差来计算前方的深度信息。
存储器130用以储存影像、数据、程序代码等数据,其可以例如是任意形式的固定式或可移动式随机存取存储器(random access memory,RAM)、只读存储器(read-onlymemory,ROM)、闪存(flash memory)、硬盘或其他类似装置、集成电路及其组合。
处理器140用以控制身份识别系统100的构件之间的动作,其可以例如是中央处理单元(central processing unit,CPU),或是其他可编程的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signal processor,DSP)、可编程控制器、特殊应用集成电路(application specific integrated circuits,ASIC)、可编程逻辑器件(programmable logic device,PLD)、应用处理器(application processor,AP)或其他类似装置或这些装置的组合。
以下即搭配图1的身份识别系统100的各组件列举实施例,以说明身份识别系统100执行其远距离的身份识别方法的详细步骤。
图2为根据本发明一实施例所绘示的远距离的身份识别方法的流程图。
请同时参照图1以及图2,在此可假设使用者已存在于身份识别系统100的影像撷取装置110以及深度传感器120可检测到的范围中。首先,处理器140将利用影像撷取装置110撷取使用者的影像,以产生使用者影像(步骤S202),并且利用深度传感器120检测使用者的深度信息,以产生使用者深度信息(步骤S204)。详细来说,影像撷取装置110可撷取其前方使用者的影像,而深度传感器120可检测其前方使用者的深度信息。处理器140会将所撷取到的使用者影像的各个像素与检测到的深度信息相关联,进而取得各个像素所对应的深度信息。
接着,处理器140将根据使用者影像以及使用者深度信息,取得使用者的多个软性生物特征(步骤S206),其中软性生物特征可包括使用者的轮廓信息以及多个身体部位特征。轮廓信息可以是使用者上半身的身形以及姿态角度,而软性生物特征可以是使用者的身高、肩宽以及头宽等身体部位的尺寸。在此,处理器140是基于特征撷取(FeatureExtraction)以及影像分割(Image Segmentation)的算法自使用者影像取得使用者的软性生物特征。
详细来说,处理器140可以利用基于AdaBoost算法的Haar分类器或者是方向梯度直方图(histogram of gradient)来针对使用者影像进行特征撷取,以先初步地自使用者影像中过滤取出候选人体区块,而在此的候选人体区块可以是具有使用者全身或上半身的矩形范围。接着,处理器140可以根据使用者深度信息来针对候选人体区块进行粗略的前背景分割(Foreground-Background Segmentation),再利用GrabCut算法进行精确的前背景分割,以提取出前景区域并且设定为使用者的轮廓信息。
一般而言,GrabCut算法虽可分离出精确的前景与背景,但前提是要提供足够的候选前背景信息,因此此算法通常会以半互动的方式达到良好的分割效果。然而,本实施例中的处理器140可利用使用者深度信息进行形态学图像处理(morphological imageprocessing)以及细线化处理(thinning processing),并且将处理后的深度信息来作为GrabCut算法所需要的前背景信息,以达到全自动的前背景分割。
具体来说,公知GrabCut算法可将影像分为背景、前景、可能的背景以及可能的前景四种类型。此算法的最低要求仅需将影像分成背景以及可能的前景即可,而前景以及可能的背景这两类为可让分割效果更好的加强部分并且通常为人为标注。以图3A根据公知GrabCut所绘示的影像示意图为例,区块FG为所需要自影像Img所切割出的前景,而区块PFG(包括区块FG)为可能的前景,区块PFG以外的区块BG皆为背景。因此,若能准确地标记出区块FG的特定像素为前景,则可提升分割效果。
基于此,处理器140可以利用的信息为可能存在使用者的矩形范围、深度信息(在此称为“深度前景”)以及影像,其中深度信息可以是以深度图的形式来表示,因此深度前景亦可称为“深度前景影像”。详细来说,图3B根据本发明一实施例所绘示的影像切割的示意图。请参照图3B,处理器140可先将根据深度信息所粗略地判断出的深度前景影像Img1进行形态学图像处理,以将破洞部分补齐并且设定为可能的前景,以产生形态学影像Img2。接着,处理器140再针对形态学影像Img2进行细线化处理并且标记为前景,以产生细线化影像Img3。之后,处理器140可将细线化影像Img3对应到使用者影像的原始图,以自使用者影像的原始图找出前景。最后是将使用者影像的原始图中可能存在使用者的矩形范围内的剩余像素点(非对应于所标记为前景的像素点)设定为背景,从而产生分割后的前景影像Img4。因此,良好的前背景分割除了可得精确的轮廓信息之外,其对于身体部位特征的识别结果亦有帮助。
请再回到图2,处理器140将根据上述软性生物特征,利用存储器130所预先储存的多个已注册使用者的注册信息,计算使用者的软性生物特征相似度(步骤S208),据以输出使用者的身份识别结果(步骤S210)。换句话说,身份识别系统100在进行使用者的身份识别之前,会先要求使用者进行注册程序,以将使用者的注册信息储存至存储器130中。类似于身份识别的步骤,处理器140将先利用影像撷取装置110撷取使用者在不同角度的影像,以产生多张注册影像,并且利用深度传感器120检测使用者的深度信息,以产生注册深度信息。接着,处理器140将根据注册影像以及注册深度信息,取得使用者的多个注册生物特征,以将使用者设定为已注册使用者,并且将其注册生物特征设定为注册信息,以供处理器140在进行身份识别时进行比对。
在本实施例中,处理器140可以先利用影像撷取装置110以使用者正脸对着镜头的情况下撷取10张具有人脸的上半身影像后,再撷取使用者相对于镜头45度以及90度各一张上半身的影像,而使用者即完成注册。在此的10张人脸影像中,使用者的表情并不见得相同。处理器140可以是利用Fisherface算法来针对10张具有人脸的上半身影像来进行特征撷取,并且针对0度(即10张人脸影像中的其中一张)、45度以及90度的上半身影像进行两种不同的特征撷取。第一种为利用深度信息所计算出的身高、肩宽以及头宽等身体部位特征的尺寸,第二种为利用形状上下文(shape context)所取得的轮廓信息。
因此,在软性生物特征的比对上,处理器140将利用步骤S206所取得到的使用者的轮廓信息与已注册使用者的注册影像进行基于像素点的形状上下文比对,以计算轮廓相似度,其中处理器140会将与使用者具有最高轮廓相似度的已注册使用者视为候选使用者。此外,处理器140将利用步骤S206所取得到的使用者的身体部位特征与候选使用者所注册的身体部位特征进行尺寸比对,以计算身体部位相似度。处理器140可以是利用基于欧氏距离(Euclidean distance)的支持向量机(support vector machine,SVM)算法来计算轮廓相似度以及身体部位相似度。必须说明的是,在另一实施例中,处理器140可以先进行身体部位特征的比对,以取得候选使用者及其身体部位相似度后,再针对此候选使用者影像的注册影像进行轮廓信息的比对,以取得轮廓相似度。本发明将不限制计算轮廓相似度以及身体部位相似度的顺序。
接着,处理器140将根据轮廓相似度以及身体部位相似度来计算软性生物特征相似度,而其计算方式可以是轮廓相似度与身体部位相似度的权重总和(weighted sum)。举例来说,假设轮廓相似度与身体部位相似度具有相同的权重,则软性生物特征相似度即为轮廓相似度与身体部位相似度的加总。
之后,处理器140将根据软性生物特征相似度,输出使用者的身份识别结果。在此,处理器140可以判断软性生物特征相似度是否大于软性生物特征阈值。若是,处理器140将判定使用者确实为候选使用者。若否,则代表身份识别结果为失败,而处理器140可例如是回到步骤S202以及步骤S204以重新针对使用者进行影像撷取以及深度计算。在一实施例中,假设身份识别系统100是作为居家安全监控的用途,则处理器140可在连续身份识别失败到达一定次数以上以短信、电子邮件、移动应用程序等方式通知身份识别系统100的使用者,以提供完善的安全防护。
前述实施例是基于软性生物特征来作为身份识别的依据。在另一实施例中,身份识别系统100还可以是利用脸部识别以及日常穿着作为辅助的判断依据,以达到更为精确的身份识别。详细来说,图4为根据本发明另一实施例所绘示的远距离的身份识别方法的流程图,而图4的流程亦可以身份识别系统100的各组件来实现。
请同时参照图1以及图4,假设处理器140已事先利用影像撷取装置110撷取使用者影像以及利用深度传感器120检测使用者深度信息,其相关说明请参照步骤S202~S204,在此不再赘述。在第一阶段的身份识别中,处理器140将利用存储器130中所储存的已注册使用者的注册影像,针对目前所撷取到的使用者影像以公知的人脸识别算法进行脸部识别(步骤S402),以自所有已注册使用者的注册影像中比对以及识别出与使用者具有最高脸部相似度的已注册使用者,并且将其视为候选使用者,其中使用者影像与候选使用者的注册影像之间的脸部相似度将以S1来表示。接着,处理器140将判断使用者影像的脸部相似度S1是否大于脸部阈值t1(步骤S404)。若是,则代表脸部识别成功,而处理器140将直接输出使用者的识别结果(步骤S420),即使用者为具有最高脸部相似度的已注册使用者。若否,有可能是使用者是以斜脸、侧脸或、背对影像撷取装置110或者是距离影像撷取装置110太远以至于影像撷取装置110无法补捉到用以进行人脸识别的影像时,处理器140将进入第二阶段的身份识别。
在第二阶段的身份识别中,处理器140将利用轮廓信息以及身体部位特征来进行软性生物特征识别(步骤S406),其中软性生物特征识别的实施方式请参照步骤S206的相关说明,在此不再赘述。接着,处理器140将计算使用者与各个已注册使用者的之间的软性生物特征相似度,其中软性生物特征相似度包括轮廓相似度S2以及身体部位相似度S3,并且与使用者具有最高软性生物特征相似度的已注册使用者将视为候选使用者。软性生物特征相似度的计算方式请参照步骤S208的相关说明,在此不再赘述。
在本实施例中,软性生物特征相似度即为轮廓相似度S2与身体部位相似度S3的加总(即S2+S3),以代表两者相似度具有均等的权重。处理器140将判断软性生物特征相似度S2+S3是否大于软性生物特征阈值t2(步骤S408)。若否,则处理器140将判定身份识别结果为失败,而结束此身份识别流程或是重新利用影像撷取装置110以及深度传感器120重新进行影像撷取以及深度检测。若是,处理器140在进入第三阶段的衣着识别之前,会先判断软性生物特征相似度S2+S3是否大于阈值t4(以下称为“最大阈值t4”)(步骤S410),其中t4>t2。在此设置最大阈值t4的原因在于,当软性生物特征相似度S2+S3的值越高,即代表第二阶段的识别结果的可信赖度高,因此当软性生物特征相似度S2+S3高到一定的程度时,无须再进行第三阶段的衣着识别即可输出识别结果(步骤S420),也就是处理器140将判定使用者确实为候选使用者。另一方面,当软性生物特征相似度S2+S3不大于软性生物特征阈值t4时,则将进入第三阶段的衣着识别。
必须先说明的是,处理器140在进行使用者的注册程序时,还会根据注册影像取得使用者的衣着特征。在本实施例中,衣着特征包括服饰的纹理信息以及色彩信息。处理器140可以是基于高阶局部自相关(higher-order local auto-correlation,HLAC)来进行纹理分析,以针对0度、45度以及90度的上半身影像中的下半部分(即,非头部的部分)分别提取出25个特征。此外,处理器140可以是基于RGB组合的三通道来进行色彩特征的判断。举例来说,此三通道可以分别为R+G-B、R-G以及R+G。在另一实施例中,衣着特征还可以包括例如项链、帽子、手环、眼镜等有助于识别的饰品配件。处理器140在注册程序中所取得的衣着特征亦会一并将其设定为注册信息并且储存于存储器130中。
请再回到图4的流程,在第三阶段的身份识别中,处理器140将先自使用者影像取得衣着特征,并且针对衣着特征进行衣着识别(步骤S412),以取得使用者与候选使用者之间的衣着相似度S4。由于相同使用者的穿着变化极多,且不同使用者有可能具有相似的穿着,因此衣着识别仅是作为辅助之用,处理器140并不会单独地根据衣着特征来作为识别的判断。基此,处理器140将根据衣着相似度搭配软性生物特征相似度,输出使用者的身份识别结果。
在本实施例中,处理器140会先将软性生物特征相似度与衣着相似度进行加总(即S2+S3+S4,以下称为“相似度总和”),以代表这些相似度具有均等的权重。处理器140将判断相似度总和S2+S3+S4是否大于最大阈值t4(步骤S416)。若是,处理器140将会判定此使用者确实为候选使用者,并且将以目前使用者的衣着特征更新其所注册的衣着信息(步骤S414),以增加往后衣着识别的强度,并且输出识别结果(步骤S420),也就是处理器140将判定使用者确实为候选使用者。此外,在前述的步骤S410中,当软性生物特征相似度S2+S3大于软性生物特征阈值t4时,亦可以以目前使用者的衣着特征更新其所注册的衣着信息。
另一方面,为了避免因衣着特征不相似而做出错误的判断,当处理器140判定相似度总和S2+S3+S4不大于最大阈值t4,处理器140可以降低判断标准,以进一步地判断相似度总和S2+S3+S4是否大于最大阈值t3(步骤S418),其中t4>t3>t2。若否,则处理器140将判定身份识别结果为失败,而结束此身份识别流程或是重新利用影像撷取装置110以及深度传感器120重新进行影像撷取以及深度检测。若是,则处理器140将输出识别结果(步骤S420),也就是处理器140将判定使用者确实为候选使用者但不更新衣着信息。
本发明另提供一种非瞬时的计算机可读取媒体,此计算机可读取媒体可储存多个程序代码段(例如建立组织程序代码段、签核表单程序代码段、设定程序代码段、以及部署程序代码段),并且这些程序代码段在载入身份识别系统100的处理器140中并执行之后,即可完成上述远距离的身份识别方法步骤。
综上所述,本发明所提出的远距离的身份识别方法及其系统与计算机可读取记录媒体,其利用软性生物特征作为身份识别的依据,以达到非接触性并且高成效的判断结果。此外,本发明还可导入脸部识别以及日常穿着来作为辅助判断,相较于现有的身份识别方式,本发明可在不干扰到使用者的前提下,达到速度快并且精确的身份识别。
虽然本发明已以实施例公开如上,然而其并非用以限定本发明,任何本领域技术人员,在不脱离本发明的精神和范围的情况下,应当可作些许的更动与润饰,故本发明的保护范围应当视所附的权利要求书所界定者为准。辅以脸部识别以及日常穿着作为身份识别的依据。

Claims (21)

1.一种远距离的身份识别方法,该方法适用于具有影像撷取装置以及深度传感器的系统,该方法包括下列步骤:
利用该影像撷取装置撷取使用者的影像,以产生使用者影像;
利用该深度传感器检测该使用者的深度信息,以产生使用者深度信息;
根据该使用者影像以及该使用者深度信息,取得该使用者的多个软性生物特征,其中所述软性生物特征包括该使用者的轮廓信息以及多个身体部位特征;以及
根据所述软性生物特征,利用多个已注册使用者的注册信息,计算该使用者的软性生物特征相似度,并根据该软性生物特征相似度输出该使用者的身份识别结果;
其中该软性生物特征相似度至少包括轮廓相似度与身体部位相似度的权重总和;
其中取得该使用者的所述软性生物特征之中的该轮廓信息的步骤包括:
自该使用者影像撷取具有该使用者的区块,并且自该使用者深度信息取得该区块所对应的深度信息,以产生深度前景影像;
针对该深度前景影像进行形态学处理以及细线化处理,以产生处理后的深度前景影像;以及
根据该处理后的深度前景影像,针对该使用者影像进行前背景分割处理,以自该使用者影像中切割出前景区域,并且设定该前景区域为该轮廓信息。
2.如权利要求1所述的方法,其中取得该使用者的所述软性生物特征之中的所述身体部位特征的步骤包括:
利用该使用者深度信息,计算所述身体部位特征的尺寸。
3.如权利要求2所述的方法,其中所述身体部位特征的所述尺寸包括该使用者的身高、肩宽以及头宽。
4.如权利要求1所述的方法,其中在利用该影像撷取装置撷取该使用者的该影像以及利用该深度传感器取得该使用者的该深度信息的步骤之前,该方法还包括:
利用该影像撷取装置撷取该使用者在不同角度的影像,以产生该使用者的多张注册影像;
利用该深度传感器检测该使用者的深度信息,以产生该使用者的注册深度信息;
根据所述注册影像以及该注册深度信息,取得该使用者的多个注册软性生物特征;以及
设定该使用者为所述已注册使用者之一,并且设定该使用者的所述注册影像以及所述注册软性生物特征为该使用者的该注册信息。
5.如权利要求1所述的方法,其中各所述已注册使用者的该注册信息包括多个注册软性生物特征,所述软性生物特征包括注册轮廓信息以及多个注册身体部位特征,而根据所述软性生物特征,利用所述已注册使用者的该注册信息,计算该使用者的软性生物特征相似度,并根据该软性生物特征相似度输出该使用者的身份识别结果的步骤包括:
针对该轮廓信息与所述已注册使用者的所述注册轮廓信息进行形状上下文的比对,以取得该使用者与所述已注册使用者之中的候选使用者的轮廓相似度,其中该使用者与该候选使用者之间具有最高轮廓相似度;
针对所述身体部位特征与该候选使用者的所述注册身体部位特征进行尺寸的比对,以计算该使用者与该候选使用者的身体部位相似度;
根据该轮廓相似度以及该身体部位相似度,计算该软性生物特征相似度;以及
根据该软性生物特征相似度,输出该使用者的该身份识别结果。
6.如权利要求5所述的方法,其中根据该软性生物特征相似度,输出该使用者的该身份识别结果的步骤包括:
判断该软性生物特征相似度是否大于软性生物特征阈值;
若是,判定该使用者为该候选使用者;以及
若否,判定该身份识别结果为失败。
7.如权利要求1所述的方法,其中各所述已注册使用者的该注册信息包括多个注册影像,而根据所述软性生物特征,利用所述已注册使用者的该注册信息,计算该使用者的软性生物特征相似度,并根据该软性生物特征相似度输出该使用者的身份识别结果的步骤包括:
利用所述已注册使用者的所述注册影像,针对该使用者影像进行脸部识别,取得该使用者与所述已注册使用者之中的候选使用者的脸部相似度,其中该使用者与该候选使用者之间具有最高脸部相似度;
判断该脸部相似度是否大于脸部阈值;
若是,直接输出该使用者的该身份识别结果;以及
若否,执行该使用者与该候选使用者的该软性生物特征相似度的计算,并根据该软性生物特征相似度输出该使用者的该身份识别结果。
8.如权利要求5所述的方法,其中各所述已注册使用者的该注册信息包括多个注册衣着特征,而根据该软性生物特征相似度,输出该使用者的该身份识别结果的步骤还包括:
自该使用者影像取得多个衣着特征;
利用所述衣着特征与该候选使用者的所述注册衣着特征进行衣着识别,以取得该使用者的衣着相似度;以及
根据该衣着相似度以及该软性生物特征相似度,据以输出该使用者的身份识别结果。
9.如权利要求8所述的方法,其中根据该衣着相似度以及该软性生物特征相似度,据以输出该使用者的身份识别结果的步骤还包括:
以所述衣着特征更新该使用者的注册衣着特征。
10.如权利要求8所述的方法,其中该衣着特征包括衣服的纹理信息以及色彩信息。
11.一种身份识别系统,该系统包括:
影像撷取装置,该影像撷取装置用以撷取影像;
深度传感器,该深度传感器用以检测深度信息;
存储器,该存储器用以储存多个已注册使用者的注册信息;
处理器,该处理器耦接该影像撷取装置、该深度传感器以及该存储器,用以执行下列步骤:
利用该影像撷取装置撷取使用者的影像,以产生使用者影像;
利用该深度传感器检测该使用者的深度信息,以产生使用者深度信息;
根据该使用者影像以及该使用者深度信息,取得该使用者的多个软性生物特征,其中所述软性生物特征包括该使用者的轮廓信息以及多个身体部位特征;以及
根据所述软性生物特征,利用多个已注册使用者的注册信息,计算该使用者的软性生物特征相似度,并根据该软性生物特征相似度输出该使用者的身份识别结果;
其中该软性生物特征相似度至少包括轮廓相似度与身体部位相似度的权重总和;
其中该处理器自该使用者影像撷取具有该使用者的区块,并且自该使用者深度信息取得该区块所对应的深度信息,以产生深度前景影像,再针对该深度前景影像进行形态学处理以及细线化处理,以产生处理后的深度前景影像,以及根据该处理后的深度前景影像,针对该使用者影像进行前背景分割处理,以自该使用者影像中切割出前景区域并且设定该前景区域为该轮廓信息。
12.如权利要求11所述的系统,其中该处理器利用该使用者深度信息,计算所述身体部位特征的尺寸。
13.如权利要求12所述的系统,其中所述身体部位特征的所述尺寸包括该使用者的身高、肩宽以及头宽。
14.如权利要求11所述的系统,其中该处理器还利用该影像撷取装置撷取该使用者在不同角度的影像,以产生该使用者的多张注册影像,并且利用该深度传感器检测该使用者的深度信息,以产生该使用者的注册深度信息,再根据所述注册影像以及该注册深度信息,取得该使用者的多个注册软性生物特征,以及设定该使用者为所述已注册使用者之一,并且设定该使用者的所述注册影像以及所述注册软性生物特征为该使用者的该注册信息。
15.如权利要求11所述的系统,其中各所述已注册使用者的该注册信息包括多个注册软性生物特征,所述软性生物特征包括注册轮廓信息以及多个注册身体部位特征,而该处理器针对该轮廓信息与所述已注册使用者的所述注册轮廓信息进行形状上下文的比对,以取得该使用者与所述已注册使用者之中的候选使用者的轮廓相似度,又针对所述身体部位特征与该候选使用者的所述注册身体部位特征进行尺寸的比对,以计算该使用者与该候选使用者的身体部位相似度,再根据该轮廓相似度以及该身体部位相似度,计算该软性生物特征相似度,以及根据该软性生物特征相似度,输出该使用者的该身份识别结果,其中该使用者与该候选使用者之间具有最高轮廓相似度。
16.如权利要求15所述的系统,其中该处理器判断该软性生物特征相似度是否大于软性生物特征阈值,若是,该处理器判定该使用者为该候选使用者,而若否,该处理器判定该身份识别结果为失败。
17.如权利要求11所述的系统,其中各所述已注册使用者的该注册信息包括多个注册影像,而该处理器利用所述已注册使用者的所述注册影像,针对该使用者影像进行脸部识别,取得该使用者与所述已注册使用者之中的候选使用者的脸部相似度,判断该脸部相似度是否大于脸部阈值,若是,直接输出该使用者的该身份识别结果,而若否,执行该使用者与该候选使用者的该软性生物特征相似度的计算,并根据该软性生物特征相似度输出该使用者的该身份识别结果,其中该使用者与该候选使用者之间具有最高脸部相似度。
18.如权利要求15所述的系统,其中各所述已注册使用者的该注册信息包括多个注册衣着特征,而该处理器还自该使用者影像取得多个衣着特征,再利用所述衣着特征与该候选使用者的所述注册衣着特征进行衣着识别,以取得该使用者的衣着相似度,以及根据该衣着相似度以及该软性生物特征相似度,据以输出该使用者的身份识别结果。
19.如权利要求18所述的系统,其中该处理器还以所述衣着特征更新该使用者的注册衣着特征。
20.如权利要求18所述的系统,其中该衣着特征包括衣服的纹理信息以及色彩信息。
21.一种计算机可读取记录媒体,该媒体记录计算机程序,经由身份识别系统的处理器载入以执行下列步骤:
利用影像撷取装置撷取使用者的影像,以产生使用者影像;
利用深度传感器检测该使用者的深度信息,以产生使用者深度信息;
根据该使用者影像以及该使用者深度信息,取得该使用者的多个软性生物特征,其中所述软性生物特征包括该使用者的轮廓信息以及多个身体部位特征;以及
根据所述软性生物特征,利用多个已注册使用者的注册信息,计算该使用者的软性生物特征相似度,并根据该软性生物特征相似度输出该使用者的身份识别结果;
其中该软性生物特征相似度至少包括轮廓相似度与身体部位相似度的权重总和;
其中取得该使用者的所述软性生物特征之中的该轮廓信息的步骤包括:
自该使用者影像撷取具有该使用者的区块,并且自该使用者深度信息取得该区块所对应的深度信息,以产生深度前景影像;
针对该深度前景影像进行形态学处理以及细线化处理,以产生处理后的深度前景影像;以及
根据该处理后的深度前景影像,针对该使用者影像进行前背景分割处理,以自该使用者影像中切割出前景区域,并且设定该前景区域为该轮廓信息。
CN201710232732.7A 2017-03-24 2017-04-11 远距离的身份识别方法及其系统与计算机可读取记录媒体 Active CN108629261B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106109923A TWI604332B (zh) 2017-03-24 2017-03-24 遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體
TW106109923 2017-03-24

Publications (2)

Publication Number Publication Date
CN108629261A CN108629261A (zh) 2018-10-09
CN108629261B true CN108629261B (zh) 2021-04-09

Family

ID=61022995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710232732.7A Active CN108629261B (zh) 2017-03-24 2017-04-11 远距离的身份识别方法及其系统与计算机可读取记录媒体

Country Status (3)

Country Link
US (1) US10423848B2 (zh)
CN (1) CN108629261B (zh)
TW (1) TWI604332B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832535A (zh) * 2018-08-24 2020-10-27 创新先进技术有限公司 人脸识别方法及装置
EP3893193A4 (en) * 2018-12-07 2021-12-22 NEC Corporation INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
JP7196932B2 (ja) * 2018-12-07 2022-12-27 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
CN111754559A (zh) * 2019-03-26 2020-10-09 群光电子股份有限公司 监控装置与监控方法
WO2020258119A1 (zh) * 2019-06-27 2020-12-30 深圳市汇顶科技股份有限公司 人脸识别的方法、装置和电子设备
CN113705426B (zh) * 2019-07-24 2023-10-27 创新先进技术有限公司 人脸校验方法、装置、服务器及可读存储介质
CN111178252A (zh) * 2019-12-27 2020-05-19 东北大学 多特征融合的身份识别方法
CN111444849B (zh) * 2020-03-27 2024-02-27 上海依图网络科技有限公司 人员识别方法、装置、电子设备、及计算机可读存储介质
CN111651742A (zh) * 2020-04-29 2020-09-11 华为技术有限公司 验证用户身份的方法、电子设备和系统
DE102020113318A1 (de) * 2020-05-15 2021-11-18 Bundesdruckerei Gmbh Verfahren und Vorrichtung zum biometrischen Identifizieren einer Person sowie Zugangskontrolleinrichtung
CN112307934B (zh) * 2020-10-27 2021-11-09 深圳市商汤科技有限公司 图像检测方法及相关模型的训练方法、装置、设备、介质
CN113393151B (zh) * 2021-06-30 2024-05-10 深圳优地科技有限公司 收货人识别方法、送货机器人及计算机存储介质
CN113516082A (zh) * 2021-07-19 2021-10-19 曙光信息产业(北京)有限公司 安全帽的检测方法、装置、计算机设备及存储介质
CN113537121A (zh) * 2021-07-28 2021-10-22 浙江大华技术股份有限公司 身份识别方法和装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533332A (zh) * 2013-10-22 2014-01-22 清华大学深圳研究生院 一种2d视频转3d视频的图像处理方法
CN103559719A (zh) * 2013-11-20 2014-02-05 电子科技大学 一种交互式图像分割方法
CN104572804A (zh) * 2013-10-24 2015-04-29 Tcl集团股份有限公司 一种视频物体检索的方法及其系统
CN105120167A (zh) * 2015-08-31 2015-12-02 广州市幸福网络技术有限公司 一种证照相机及证照拍摄方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2049273A1 (en) * 1990-10-25 1992-04-26 Cindy E. Daniell Self adaptive hierarchical target identification and recognition neural network
US5291560A (en) * 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US5335288A (en) * 1992-02-10 1994-08-02 Faulkner Keith W Apparatus and method for biometric identification
JP2007206991A (ja) * 2006-02-02 2007-08-16 Hitachi Ltd 生体情報処理装置及び生体情報処理プログラム
CN101075868B (zh) * 2006-05-19 2010-05-12 华为技术有限公司 一种远程身份认证的系统、终端、服务器和方法
CN101408938B (zh) * 2008-11-18 2012-05-23 华南理工大学 基于指部生物特征的身份认证装置
JP5228872B2 (ja) * 2008-12-16 2013-07-03 富士通株式会社 生体認証装置、生体認証方法及び生体認証用コンピュータプログラムならびにコンピュータシステム
US8638985B2 (en) * 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
CN102521565B (zh) * 2011-11-23 2014-02-26 浙江晨鹰科技有限公司 低分辨率视频的服装识别方法及系统
CN102706319B (zh) * 2012-06-13 2015-05-13 深圳泰山在线科技有限公司 一种基于图像拍摄的距离标定和测量方法及系统
CN104813340B (zh) * 2012-09-05 2018-02-23 体通有限公司 从2d图像序列导出准确身体尺寸测量的系统和方法
US9395543B2 (en) * 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
JP2015087102A (ja) * 2013-09-26 2015-05-07 株式会社リコー 機器管理システム、機器管理装置、制御方法及びプログラム
JP6197613B2 (ja) * 2013-12-02 2017-09-20 富士通株式会社 生体情報抽出装置、生体情報抽出方法、および生体情報抽出プログラム
US20160162673A1 (en) * 2014-12-05 2016-06-09 Gershom Kutliroff Technologies for learning body part geometry for use in biometric authentication
US9886769B1 (en) * 2014-12-09 2018-02-06 Jamie Douglas Tremaine Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems
US9836756B2 (en) * 2015-06-24 2017-12-05 Intel Corporation Emotional engagement detector
CN105096420A (zh) * 2015-07-31 2015-11-25 北京旷视科技有限公司 门禁系统以及用于其的数据处理方法
CN105447466B (zh) * 2015-12-01 2019-07-23 深圳市图灵机器人有限公司 一种基于Kinect传感器的身份综合识别方法
CN105740683B (zh) * 2016-01-20 2018-10-12 北京信安盟科技有限公司 基于多因素、多引擎、人机相结合的身份验证方法与系统
CN105989604A (zh) * 2016-02-18 2016-10-05 合肥工业大学 一种基于kinect的目标物体三维彩色点云生成方法
CN205693767U (zh) * 2016-03-31 2016-11-16 深圳奥比中光科技有限公司 无人机系统
US11017901B2 (en) * 2016-08-02 2021-05-25 Atlas5D, Inc. Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533332A (zh) * 2013-10-22 2014-01-22 清华大学深圳研究生院 一种2d视频转3d视频的图像处理方法
CN104572804A (zh) * 2013-10-24 2015-04-29 Tcl集团股份有限公司 一种视频物体检索的方法及其系统
CN103559719A (zh) * 2013-11-20 2014-02-05 电子科技大学 一种交互式图像分割方法
CN105120167A (zh) * 2015-08-31 2015-12-02 广州市幸福网络技术有限公司 一种证照相机及证照拍摄方法

Also Published As

Publication number Publication date
US20180276487A1 (en) 2018-09-27
TWI604332B (zh) 2017-11-01
US10423848B2 (en) 2019-09-24
TW201835805A (zh) 2018-10-01
CN108629261A (zh) 2018-10-09

Similar Documents

Publication Publication Date Title
CN108629261B (zh) 远距离的身份识别方法及其系统与计算机可读取记录媒体
CN106909911B (zh) 图像处理方法、图像处理装置和电子装置
JP7132387B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN105893920B (zh) 一种人脸活体检测方法和装置
KR101538935B1 (ko) 깊이 차이를 이용한 얼굴 구성요소의 자동 분류 방법
US7580587B2 (en) Device and method for correcting image including person area
EP2357589B1 (en) Image recognition apparatus and method
KR100480781B1 (ko) 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치
CN106326832B (zh) 基于物体区域处理图像的装置及方法
US9626553B2 (en) Object identification apparatus and object identification method
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
CN106997457B (zh) 人物肢体识别方法、人物肢体识别装置及电子装置
KR20150143304A (ko) 화상 인식 장치 및 화상 인식 장치에의 특징량 데이터 등록 방법
KR20160058129A (ko) 홍채 기반 생체 인식을 위한 방법 및 장치
CN107346419B (zh) 虹膜识别方法、电子装置和计算机可读存储介质
JP2000105829A (ja) 顔パーツ検出方法及びその装置
JP6157165B2 (ja) 視線検出装置及び撮像装置
CN113614731A (zh) 使用软生物特征的认证验证
KR101089847B1 (ko) 얼굴 인식을 위한 sift 알고리즘을 이용한 키포인트 매칭 시스템 및 방법
KR20160118502A (ko) 얼굴 영상 기반 성별 인식 방법 및 장치
JP5648452B2 (ja) 画像処理プログラムおよび画像処理装置
KR101769741B1 (ko) 동공 탐지를 통한 홍채 인식 방법 및 홍채 인식 장치
JP6296769B2 (ja) 物体検出装置
US8903170B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
CN113553887A (zh) 一种基于单目摄像头的活体检测方法、设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant